JP7419427B2 - Imaging device and its control method - Google Patents
Imaging device and its control method Download PDFInfo
- Publication number
- JP7419427B2 JP7419427B2 JP2022069042A JP2022069042A JP7419427B2 JP 7419427 B2 JP7419427 B2 JP 7419427B2 JP 2022069042 A JP2022069042 A JP 2022069042A JP 2022069042 A JP2022069042 A JP 2022069042A JP 7419427 B2 JP7419427 B2 JP 7419427B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- imaging
- tilt
- plane
- focus plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 137
- 238000000034 method Methods 0.000 title claims description 28
- 230000003287 optical effect Effects 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000007689 inspection Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012806 monitoring device Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
本発明は、あおり撮像が可能な撮像装置に関する。 The present invention relates to an imaging device capable of tilting imaging.
ピントが合う面（ピント面）を傾けること等を目的として、撮像光学系の光軸に直交する面と撮像面とを相対的に傾けることで、あおり（ティルト）撮像が可能である。あおり撮像を行うことで、絞りを絞らずに被写界深度を増やすことができ、光量が少ないシーンにおいても水平奥行き方向の広い範囲の被写体にピントを合わせた撮像を行うことができる。 Tilt imaging is possible by relatively tilting a surface orthogonal to the optical axis of the imaging optical system and the imaging surface for the purpose of tilting the surface that is in focus (focus surface). By performing tilt imaging, it is possible to increase the depth of field without narrowing down the aperture, and even in scenes with low light intensity, it is possible to perform imaging that focuses on a wide range of subjects in the horizontal and depth directions.
特許文献１には、撮像により生成された撮像画像内の水平面を検出し、検出された水平面に対してピントが合うように、あおり制御を行う撮像装置が開示されている。特許文献２には、撮像画像内の２つの領域における合焦度を取得し、これら合焦度の差に基づいて奥行き方向にあるそれら２つの領域にピントが合うようにあおり動作とフォーカス動作を制御する撮像装置が開示されている。 Patent Document 1 discloses an imaging device that detects a horizontal plane in a captured image generated by imaging and performs tilt control so that the detected horizontal plane is in focus. Patent Document 2 discloses that the degree of focus in two areas in a captured image is obtained, and based on the difference in the degree of focus, a tilting operation and a focus operation are performed to bring the two areas in the depth direction into focus. An imaging device for controlling is disclosed.
しかしながら、特許文献１および特許文献２に開示された撮像装置では、あおり撮像に特有のぼけである、ピント面に対する高さの違いにより発生するぼけ（上下ぼけと称されることが多い）については考慮されていない。具体的には、特許文献１の撮像装置のように検出された水平面に対してピントを合わせるあおり制御を行うと、水平面とは高さが異なる被写体に対してぼけが生じるおそれがある。また、特許文献２の撮像装置において、撮像画像内の３つ以上の領域に被写体が存在し、あおり動作とフォーカス動作の制御に使用される２つの領域の被写体に対してそれ以外の領域の被写体の高さが異なっていると、該高さが異なる被写体に対してぼけが生じるおそれがある。 However, in the imaging devices disclosed in Patent Document 1 and Patent Document 2, the blur (often referred to as vertical blur) caused by the difference in height relative to the focal plane, which is characteristic of tilted imaging, cannot be addressed. Not considered. Specifically, when tilting control is performed to focus on a detected horizontal plane as in the imaging device of Patent Document 1, there is a risk that blurring may occur for a subject whose height is different from that of the horizontal plane. Furthermore, in the imaging device of Patent Document 2, objects exist in three or more areas in the captured image, and objects in two areas used for controlling the tilting operation and focus operation are compared to objects in other areas. If the heights of the images are different, there is a risk that objects having different heights will be blurred.
本発明は、ピント面に対して位置（高さ等）が異なる被写体に対して発生するぼけを低減したあおり撮像が可能な撮像装置およびその制御方法等を提供する。 The present invention provides an imaging device and a control method thereof, which are capable of performing tilted imaging with reduced blurring of objects at different positions (such as heights) with respect to the focal plane.
本発明の一側面としての撮像装置は、撮像光学系により形成される光学像を撮像する撮像素子と、該撮像素子の撮像面と撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、撮像光学系に含まれるフォーカスレンズの位置およびあおり角 のうち少なくとも一方を制御して、ピント面を光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定する制御手段とを有する。制御手段は、ピント面が地面である第１の位置にあるときに第１の位置よりも下側に被写界深度が存在する場合に、フォーカスレンズの位置およびあおり角のうち少なくとも一方を制御して、被写界深度の一端が第１の位置に位置するように第２の位置にピント面の位置を設定することを特徴とする。 An imaging device according to one aspect of the present invention includes an imaging element that captures an optical image formed by an imaging optical system, and a tilt angle between an imaging surface of the imaging element and a surface perpendicular to an optical axis of the imaging optical system. In tilt imaging that changes the angle, at least one of the position and tilt angle of the focus lens included in the imaging optical system is controlled, and the focal plane is moved to a position where the angle the focal plane makes with respect to the optical axis is different. and control means for setting. The control means controls at least one of the position and tilt angle of the focus lens when the focus plane is at the first position, which is the ground, and the depth of field exists below the first position. The present invention is characterized in that the position of the focal plane is set at the second position so that one end of the depth of field is located at the first position.
また、本発明の他の一側面としての制御方法は、撮像光学系により形成される光学像を撮像する撮像素子を有する撮像装置に適用される。該制御方法は、撮像素子の撮像面と撮像光学系の光軸に直交する面との間にあおり角が設けられた撮像において、撮像光学系に含まれるフォーカスレンズの位置およびあおり角のうち少なくとも一方を制御して、ピント面を光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定するステップを有する。該ステップにおいて、ピント面が地面である第１の位置にあるときに第１の位置よりも下側に被写界深度が存在する場合に、フォーカスレンズの位置およびあおり角の少なくとも一方を制御して、被写界深度の一端が第１の位置に位置するように第２の位置にピント面の位置を設定するように上記少なくとも一方を制御することを特徴とする。なお、撮像装置のコンピュータに、上記制御方法に従う処理を実行させるプログラムも本発明の他の一側面を構成する。 Further, a control method as another aspect of the present invention is applied to an imaging device having an image sensor that captures an optical image formed by an imaging optical system. The control method controls at least the position and tilt angle of a focus lens included in the imaging optical system in imaging in which a tilt angle is provided between the imaging surface of the imaging element and the plane orthogonal to the optical axis of the imaging optical system. The method includes the step of controlling one of the two and setting the focal plane at a position where the angle of the focal plane with respect to the optical axis is different. In this step, if the depth of field exists below the first position when the focus plane is at the first position which is the ground, at least one of the position and tilt angle of the focus lens is controlled. The present invention is characterized in that at least one of the above is controlled so as to set the position of the focal plane at a second position such that one end of the depth of field is located at the first position. Note that a program that causes the computer of the imaging device to execute processing according to the above control method also constitutes another aspect of the present invention.
本発明によれば、あおり撮像において、ピント面と異なる位置で発生するぼけを低減することができる。 According to the present invention, in tilted imaging, it is possible to reduce blur that occurs at a position different from the focal plane.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１は、本発明の実施例である撮像装置１００の構成を示している。撮像光学系は、光軸方向に移動して焦点距離を変更するズームレンズ１０１と、光軸方向に移動して焦点調節を行うフォーカスレンズ１０２と、光量を調整する絞りユニット１０３とを有する。なお、撮像光学系は、撮像装置１００に一体に設けられてもよいし、撮像装置１００に対して着脱可能であってもよい。撮像光学系を通過した光は、バンドパスフィルタ（ＢＰＦ）１０４およびカラーフィルタ１０５を介して撮像素子１０６上に光学像としての被写体像を形成する。ＢＰＦ１０４は、撮像光学系の光路に対して出入り可能なものでもよい。被写体像は、撮像素子１０６により光電変換される。 FIG. 1 shows the configuration of an imaging device 100 that is an embodiment of the present invention. The imaging optical system includes a zoom lens 101 that moves in the optical axis direction to change the focal length, a focus lens 102 that moves in the optical axis direction to adjust the focus, and an aperture unit 103 that adjusts the amount of light. Note that the imaging optical system may be provided integrally with the imaging device 100 or may be detachable from the imaging device 100. The light that has passed through the imaging optical system forms a subject image as an optical image on the image sensor 106 via a band pass filter (BPF) 104 and a color filter 105. The BPF 104 may be able to enter and exit the optical path of the imaging optical system. The subject image is photoelectrically converted by the image sensor 106.
本実施例では、撮像光学系の光軸に直交する主面（以下、レンズ主面という）に対して撮像素子１０６の撮像面を傾けて、ピント面をレンズ主面に対して傾けるあおり撮像が可能である。以下の説明において、レンズ主面に対して傾いたピント面を「あおりピント面」という。さらに本実施例では、あおりピント面の上下方向（高さ方向）での位置を、光軸に対してあおりピント面がなす角度が異なるいずれかの位置に設定することが可能である。あおりピント面の高さ方向での位置を、以下の説明では、あおりピント面の高さという。 In this embodiment, tilt imaging is performed in which the imaging surface of the image sensor 106 is tilted with respect to the principal surface perpendicular to the optical axis of the imaging optical system (hereinafter referred to as the lens principal surface), and the focal plane is tilted with respect to the lens principal surface. It is possible. In the following description, a focusing surface that is tilted with respect to the main surface of the lens will be referred to as a "tilt focusing surface." Furthermore, in this embodiment, the position of the tilt focus surface in the vertical direction (height direction) can be set to any position where the tilt focus surface makes a different angle with respect to the optical axis. In the following explanation, the position of the tilt focus plane in the height direction will be referred to as the height of the tilt focus plane.
撮像素子１０６から出力されたアナログ撮像信号（出力信号）は、ＡＧＣ１０７によりゲイン調整され、ＡＤ変換器１０８によりデジタル撮像信号に変換された後、カメラ信号処理部（画像生成手段）１０９に入力される。カメラ信号処理部１０９は、デジタル撮像信号に対して各種画像処理を行って映像信号（撮像画像）を生成する。 The analog imaging signal (output signal) output from the image sensor 106 is gain-adjusted by the AGC 107, converted to a digital imaging signal by the AD converter 108, and then input to the camera signal processing unit (image generation means) 109. . The camera signal processing unit 109 performs various image processing on the digital imaging signal to generate a video signal (captured image).
映像信号は、通信部１１０を介して撮像装置１００に有線または無線通信により接続された監視モニタ装置１１１に出力される。監視モニタ装置１１１は、撮像装置１００から入力された撮像画像を表示したり記録したりする。また、監視モニタ装置１１１は、ユーザによる指示に応じて、通信部１１０を介して撮像装置１００内のあおり制御部１１７、フォーカス制御部１１８およびズーム制御部１１９にコマンド等の制御信号を出力する。 The video signal is output to a surveillance monitor device 111 connected to the imaging device 100 via wired or wireless communication via the communication unit 110. The surveillance monitor device 111 displays and records captured images input from the imaging device 100. Further, the monitoring device 111 outputs control signals such as commands to the tilt control section 117, the focus control section 118, and the zoom control section 119 in the imaging device 100 via the communication section 110 in response to instructions from the user.
対象物検出部１１２は、入力された撮像画像から撮像対象である対象物を検出するための画像処理を行う。対象物検出部により検出された対象物の位置情報を含む対象物情報は、通信部１１０を介して合焦度取得部１１４に送られる。合焦度取得部１１４は、対象物情報に基づいて後述する合焦評価値を算出（取得）する。なお、図１では対象物検出部１１２が撮像装置１００の外部に設けられている場合を示しているが、対象物検出部１１２を撮像装置１００の内部に設けてもよい。 The object detection unit 112 performs image processing to detect an object to be imaged from the input captured image. Object information including position information of the object detected by the object detection section is sent to the focus degree acquisition section 114 via the communication section 110. The focus degree acquisition unit 114 calculates (acquires) a focus evaluation value, which will be described later, based on the object information. Note that although FIG. 1 shows a case where the object detection section 112 is provided outside the imaging device 100, the object detection section 112 may be provided inside the imaging device 100.
あおりピント面検出部１１３は、撮像画像のうち、あおりピント面を設定可能な領域（手前から奥にかけての合焦可能な領域）を検出する。具体的には、撮像画像を複数の領域に分割してフォーカスレンズ１０２を駆動しながら領域ごとに被写体距離を取得する。そして、被写体距離が短い領域から長い領域に順に被写体距離を比較し、隣り合う２つの領域の被写体距離の差が所定値以上である複数の領域（例えば水平領域）をあおりピント面を設定可能な領域として検出する。隣り合う２つの領域の被写体距離の差が所定値未満（例えば０）となる場合は、水平面上に立体物が存在するものとして、あおりピント面を設定可能な領域としては検出しない。 The tilt focus plane detection unit 113 detects an area in which a tilt focus plane can be set (a focusable area from the front to the back) in the captured image. Specifically, the captured image is divided into a plurality of regions, and the object distance is acquired for each region while driving the focus lens 102. Then, the subject distances are compared in order from the area with the shortest distance to the area with the longest subject distance, and the focus plane can be set by tilting multiple areas (for example, horizontal areas) where the difference in subject distance between two adjacent areas is greater than a predetermined value. Detect as an area. If the difference in subject distance between two adjacent areas is less than a predetermined value (for example, 0), it is assumed that a three-dimensional object exists on the horizontal plane, and the area is not detected as an area where the tilt focus plane can be set.
なお、図１ではあおりピント面検出部１１３が撮像装置１００の外部（例えばパーソナルコンピュータ）に設けられている場合を示しているが、あおりピント面検出部１１３を撮像装置１００の内部に設けてもよい。また、対象物検出部１１２とあおりピント面検出部１１３の両方を撮像装置１００の内部に設けてもよい。 Note that although FIG. 1 shows a case where the tilt focus plane detection unit 113 is provided outside the imaging device 100 (for example, a personal computer), the tilt focus plane detection unit 113 may be provided inside the imaging device 100. good. Further, both the object detection section 112 and the tilt/focus plane detection section 113 may be provided inside the imaging device 100.
また、あおりピント面検出部１１３は、ユーザからの指示に応じて、該ユーザがあおりピント面を設定する意図を有する領域を検出してもよい。すなわち、ユーザが入力した領域をあおりピント面として設定することも可能である。 Further, the tilt focus plane detection unit 113 may detect an area in which the user intends to set the tilt focus plane in response to an instruction from the user. That is, it is also possible to set the area input by the user as the tilt focus plane.
合焦度取得部１１４は、対象物検出部１１２から受け取った対象物情報のうち位置情報に基づいて合焦度を取得する評価領域（評価枠）を設定する。そして、設定した評価枠ごとに、ＡＤ変換器１０８から受け取ったデジタル撮像信号またはカメラ信号処理部１０９から受け取った映像信号におけるＲＧＢの画素値または輝度値を用いて特定周波数のコントラスト、つまりは合焦度を示す合焦評価値を算出（取得）する。 The focus degree acquisition unit 114 sets an evaluation area (evaluation frame) for acquiring the focus degree based on position information among the object information received from the target object detection unit 112. Then, for each set evaluation frame, the RGB pixel values or brightness values in the digital image signal received from the AD converter 108 or the video signal received from the camera signal processing unit 109 are used to determine the contrast of a specific frequency, that is, focus. A focus evaluation value indicating the degree of focus is calculated (obtained).
あおり角／フォーカス量算出部１１５は、あおりピント面の高さを変化させる際のフォーカスレンズ１０２の駆動量としてのフォーカス量と撮像素子１０６のあおり駆動量としてのあおり角を算出する。フォーカス補正量算出部１１６は、あおりピント面に対する高さの違いより発生する上下ぼけを低減するためのフォーカスレンズ１０２の駆動量（または位置）の補正量であるフォーカス補正量を算出する。 The tilt angle/focus amount calculation unit 115 calculates the focus amount as the drive amount of the focus lens 102 and the tilt angle as the tilt drive amount of the image sensor 106 when changing the height of the tilt focus plane. The focus correction amount calculation unit 116 calculates a focus correction amount that is a correction amount of the drive amount (or position) of the focus lens 102 to reduce vertical blur caused by a difference in height with respect to the tilted focus plane.
あおり制御部１１７は、あおり角／フォーカス量算出部１１５で算出されたあおり角または通信部１１０を介した監視モニタ装置１１１からのユーザによる指示に応じてあおり駆動部１２０に対してあおり設定位置を指示する。あおり駆動部１２０は、撮像素子１０６をあおり制御部１１７により指示されたあおり設定位置に回転させるように撮像素子１０６をあおり駆動する。これにより、あおりピント面がその高さが変化するように移動する。 The tilt control unit 117 sets the tilt setting position for the tilt drive unit 120 according to the tilt angle calculated by the tilt angle/focus amount calculation unit 115 or an instruction from the user from the monitoring device 111 via the communication unit 110. Instruct. The tilt drive section 120 tilts and drives the image sensor 106 so as to rotate the image sensor 106 to the tilt setting position instructed by the tilt control section 117 . As a result, the tilt focus plane moves so that its height changes.
フォーカス制御部１１８は、あおり角／フォーカス量算出部１１５で算出されたフォーカス量、フォーカス補正量算出部１１６で算出されたフォーカス補正量または通信部１１０を介した監視モニタ装置１１１からの指示に応じて、フォーカス駆動部１２１にフォーカス設定位置を指示する。フォーカス駆動部１２１は、フォーカス制御部１１８から指示されたフォーカス設定位置にフォーカスレンズ１０２を駆動する。このようにして、あおり角／フォーカス量算出部１１５、フォーカス補正量算出部１１６、あおり制御部１１７およびフォーカス制御部１１８により構成される制御手段としてのコントローラ１５０が、あおり駆動部１２０およびフォーカス駆動部１２１を介してあおり制御を行う。 The focus control unit 118 responds to the focus amount calculated by the tilt angle/focus amount calculation unit 115, the focus correction amount calculated by the focus correction amount calculation unit 116, or an instruction from the monitoring device 111 via the communication unit 110. Then, the focus driving unit 121 is instructed to set the focus position. The focus drive unit 121 drives the focus lens 102 to the focus setting position instructed by the focus control unit 118. In this way, the controller 150 as a control means constituted by the tilt angle/focus amount calculation section 115, the focus correction amount calculation section 116, the tilt control section 117, and the focus control section 118 controls the tilt drive section 120 and the focus drive section. Tilt control is performed via 121.
ズーム制御部１１９は、通信部１１０を介した監視モニタ装置１１１からの指示に応じて、ズーム駆動部１２２に対してズーム設定位置を指示する。ズーム駆動部１２２は、ズーム制御部１１９から指示されたズーム設定位置にズームレンズ１０１を駆動する。 The zoom control unit 119 instructs the zoom driving unit 122 to set the zoom position in response to an instruction from the monitoring device 111 via the communication unit 110. The zoom drive unit 122 drives the zoom lens 101 to the zoom setting position instructed by the zoom control unit 119.
次に、あおり制御の概要について、図２を用いて説明する。図２は、撮像装置１００からの距離が互いに異なる２つの対象物Ａ、Ｂとしての人の顔の高さにあおりピント面が位置するようにあおり制御を行った例を示している。あおり制御は、シャインプルーフの原理に基づいて行われる。シャインプルーフの原理は、レンズ主面２０１と撮像面２０２とがある１点（シャインプルーフポイント２０４）で交わるとき、あおりピント面２０３もその点で交わるというものである。撮像光学系の焦点距離をｆ、光軸上での被写体距離をＬ、光軸が水平面に対してなす角度である俯角θとすると、あおり角αはシャインプルーフの原理より、次式（１）で算出される。 Next, an outline of tilt control will be explained using FIG. 2. FIG. 2 shows an example in which tilting control is performed so that the tilting and focusing plane is located at the height of human faces, which are two objects A and B whose distances from the imaging device 100 are different from each other. Tilt control is performed based on the Scheimpflug principle. The Scheimpflug principle is that when the lens principal surface 201 and the imaging surface 202 intersect at a certain point (Scheimpflug point 204), the tilting focus surface 203 also intersects at that point. Assuming that the focal length of the imaging optical system is f, the subject distance on the optical axis is L, and the angle of depression θ is the angle that the optical axis makes with respect to the horizontal plane, then the tilt angle α is determined by the following formula (1) based on the Scheimpflug principle. It is calculated by
これにより、あおりピント面２０３上における近距離から遠距離までの対象物にピントを合わせることが可能となる。 This makes it possible to focus on objects ranging from short distances to long distances on the tilting focus plane 203.
図３を用いて、あおり被写界深度を説明する。あおり制御を行わない（レンズ主面と撮像面が平行である）場合の通常の被写界深度は、合焦位置Ｐ０よりも手前側においてピントが合って見える範囲である前方被写界深度ｄ１と、合焦位置Ｐ０よりも奥側のピントが合って見える範囲である後方被写界深度ｄ２からなる。前方被写界深度ｄ１と後方被写界深度ｄ２は、焦点距離をｆ、光軸上での被写体距離をＬ、Ｆ値をＦｎｏ 、許容錯乱円径をδとするとき次式（２）、（３）で算出される。許容錯乱円径δは、撮像素子１０６の画素ピッチに相当する。 The tilt depth of field will be explained using FIG. 3. The normal depth of field when tilt control is not performed (the main surface of the lens and the imaging surface are parallel) is the front depth of field d1, which is the range that appears to be in focus on the side closer to you than the focus position P0. and a rear depth of field d2, which is a range that appears to be in focus on the back side of the focus position P0. The front depth of field d1 and the rear depth of field d2 are calculated by the following formula (2), where f is the focal length, L is the subject distance on the optical axis, Fno is the F value, and δ is the allowable circle of confusion diameter. Calculated in (3). The allowable circle of confusion diameter δ corresponds to the pixel pitch of the image sensor 106.
一方、あおり被写界深度は、図３に示すように、該あおり被写界深度の上側の端である上深度端３０１と下側の端である下深度端３０２との間の合焦範囲を意味する。基準となる合焦位置Ｐ０から光軸上において前方被写界距離ｄ１だけ手前側の点をＰ１とし、シャインプルーフポイントＰｓと点Ｐ１を通る直線により上深度端３０１が定義される。また、合焦位置Ｐ０から光軸上において後方被写界距離ｄ２だけ奥側の点をＰ２とするとき、シャインプルーフポイントＰｓと点Ｐ２を通る直線により下深度端３０２が定義される。図３から分かるように、あおり被写界深度は、撮像装置１００からの距離が近い程、合焦範囲の上下方向の幅が狭くなっており、対象物のうち合焦範囲に入らない上部と下部の光学像がぼける「上下ぼけ」が生じやすい。 On the other hand, as shown in FIG. 3, the tilt depth of field is a focusing range between an upper depth end 301, which is the upper end of the tilt field depth, and a lower depth end 302, which is the lower end. means. A point on the optical axis on the front side by a front field distance d1 from a reference focusing position P0 is defined as P1, and an upper depth end 301 is defined by a straight line passing through the Scheimpflug point Ps and the point P1. Further, when P2 is a point on the optical axis from the focus position P0 on the back side by the distance of field d2, the lower depth of field end 302 is defined by a straight line passing through the Scheimpflug point Ps and the point P2. As can be seen from FIG. 3, in the tilt depth of field, the shorter the distance from the imaging device 100, the narrower the vertical width of the in-focus range. "Vertical blur", where the optical image at the bottom is blurred, is likely to occur.
ここで、あおり被写界深度の一端である下深度端３０２に着目する。図３に示すように、あおりピント面２０３を地面に対応する（理想的には一致する）位置に設定した場合、あおりピント面２０３から下深度端３０２までの合焦範囲は地面よりも下側に存在することになる。撮像画像において、地面より低い対象物は写らないため、あおりピント面２０３から下深度端３０２までの合焦範囲は無駄となる。このように、あおり被写界深度のうち撮像画像に写る対象物が存在しない領域（以下、無効深度領域という）４０１がある場合には、無効深度領域４０１を小さくする（望ましくは無くする）ようにあおりピント面２０３の高さを変化させる。これにより、あおり被写界深度を有効利用して上下ぼけを低減することが可能である。 Here, we will focus on the lower depth of field end 302, which is one end of the tilted depth of field. As shown in FIG. 3, when the tilt focus plane 203 is set to a position corresponding to (ideally coincident with) the ground, the focusing range from the tilt focus plane 203 to the lower depth end 302 is below the ground. will exist in In the captured image, since objects lower than the ground are not captured, the focusing range from the tilt focus plane 203 to the lower depth end 302 is wasted. In this way, if there is an area 401 in the tilt depth of field where no object appears in the captured image (hereinafter referred to as an invalid depth area), the invalid depth area 401 is made smaller (preferably eliminated). The height of the focus plane 203 is changed. This makes it possible to effectively utilize the tilt depth of field to reduce vertical blur.
図４（ａ）、（ｂ）を用いて、あおりピント面２０３の高さを変化させる制御について説明する。図４（ａ）は、無効深度領域４０１を小さくするようにあおりピント面２０３の高さを制御する前の状態を示し、この状態では、図３と同様にあおりピント面２０３が地面（第１の対象物）の高さとなっており、下深度端３０２が地面より低くなっている。このときに光軸に対してあおりピント面２０３がなす角度をβとする。図４（ａ）では、βは図３に示した俯角θと同じである。 Control for changing the height of the tilt focus plane 203 will be explained using FIGS. 4(a) and 4(b). FIG. 4(a) shows a state before the height of the tilting focus plane 203 is controlled so as to reduce the invalid depth area 401. In this state, similarly to FIG. object), and the lower depth end 302 is lower than the ground. At this time, the angle that the tilting focus plane 203 makes with respect to the optical axis is assumed to be β. In FIG. 4(a), β is the same as the depression angle θ shown in FIG.
図４（ｂ）は無効深度領域４０１を小さくするようにあおりピント面２０３の高さを制御した後の状態を示す。制御後では、図４（ａ）の状態に比べて、下深度端３０２が地面に近い（望ましくは一致する）位置となるようにあおりピント面２０３が上に移動している。このとき、光軸に対してあおりピント面２０３がなす角度β′は、βよりも大きくなっている。 FIG. 4(b) shows the state after the height of the tilting focus plane 203 is controlled so as to reduce the invalid depth region 401. After the control, compared to the state shown in FIG. 4A, the tilting focus plane 203 has moved upward so that the lower depth end 302 is closer to (preferably coincident with) the ground. At this time, the angle β' that the tilting focus plane 203 makes with respect to the optical axis is larger than β.
このようにあおりピント面２０３の高さを制御するためには、フォーカスレンズ１０２を至近側（Ｎｅａｒ側）または無限遠側（Ｆａｒ側）に移動させるレンズ制御を行う。例えば、図４（ａ）に示す制御前の状態から図４（ｂ）に示すようにあおりピント面２０３を上に移動させる（光軸に対してあおりピント面２０３がなす角度を大きくする）。このためには、図４（ａ）における光軸上の点Ｐ２を光軸とあおりピント面２０３との交点Ｐ０に一致させるようにフォーカスレンズ１０２をＮｅａｒ側に移動させる。このとき、制御前における光軸上での被写体距離をＬ、制御後における光軸上での被写体距離をＬ′、制御後における後方被写界深度をｄ２′とするとき、以下の式（４）、（５）の関係が成り立つ。 In order to control the height of the tilting focus plane 203 in this manner, lens control is performed to move the focus lens 102 to the close side (Near side) or to the infinite side (Far side). For example, the tilting focus surface 203 is moved upward as shown in FIG. 4(b) from the state before the control shown in FIG. 4(a) (the angle formed by the tilting focus surface 203 with respect to the optical axis is increased). To do this, the focus lens 102 is moved toward the Near side so that the point P2 on the optical axis in FIG. 4A coincides with the intersection P0 between the optical axis and the tilting focus plane 203. At this time, when the subject distance on the optical axis before control is L, the subject distance on the optical axis after control is L', and the rear depth of field after control is d2', the following equation (4 ), the relationship (5) holds true.
式（４）、（５）の連立方程式により、図４（ｂ）に示すように下深度端３０２を地面の高さに設定するために合焦すべき被写体距離Ｌ′は、以下の式（６）により求めることができる。この被写体距離Ｌ′に合焦する位置にフォーカスレンズ１０２を移動させることで、図４（ｂ）に示すあおりピント面２０３が得られる。 Using the simultaneous equations (4) and (5), the subject distance L' that should be focused in order to set the lower depth end 302 at the ground level as shown in FIG. 4(b) can be calculated using the following equation ( 6). By moving the focus lens 102 to a position where the subject distance L' is in focus, a tilted focus plane 203 shown in FIG. 4(b) is obtained.
こうして無効深度領域４０１を小さくしてあおり被写体深度領域のほとんどを地面より
上に位置させることで、上下ぼけが生じにくくすることができる。
In this way, by making the invalid depth area 401 smaller and positioning most of the tilted depth of field area above the ground, it is possible to prevent vertical blur from occurring.
一方、あおりピント面２０３から上深度端３０１までの間が無効深度領域となる場合は、フォーカスレンズ１０２をＦａｒ側に移動させてあおりピント面２０３を下に移動させる（光軸に対してあおりピント面２０３がなす角度を小さくする）。このときの合焦すべき被写体距離Ｌ′は、以下の式（７）により求めることができる。この被写体距離Ｌ′に合焦する位置にフォーカスレンズ１０２を移動させることで、無効深度領域を小さくすることができる。 On the other hand, if the area between the tilt focus plane 203 and the upper depth end 301 is an invalid depth area, move the focus lens 102 to the Far side and move the tilt focus plane 203 downward (tilt focus with respect to the optical axis). (reducing the angle formed by surface 203). The subject distance L' to be focused at this time can be determined by the following equation (7). By moving the focus lens 102 to a position where it focuses on this subject distance L', the invalid depth region can be made smaller.
以上のようにあおりピント面２０３の高さ（光軸に対してあおりピント面２０３がなす角度）を変化させるようにフォーカスレンズ１０２の位置を制御することで、上下ぼけを低減したあおり撮像が可能となる。すなわち、通常のあおり撮像に比べて広い範囲でピントが合った撮像画像が得られる。 As described above, by controlling the position of the focus lens 102 so as to change the height of the tilt focus surface 203 (the angle that the tilt focus surface 203 makes with respect to the optical axis), tilt imaging with reduced vertical blur is possible. becomes. In other words, a captured image that is in focus over a wider range than normal tilted imaging can be obtained.
以下、具体的なあおりピント面の制御を示す実施例について説明する。 Hereinafter, an embodiment showing specific control of the tilt and focus plane will be described.
実施例１では、撮像画像に含まれるあおりピント面を検出し、検出されたあおりピント面２０３の高さを変化させる。図５は、例として、電気製品の工場で様々な電子部品が実装された基板５０３の検査において取得される撮像画像５０１を示している。ここでは、水平な検査台５０２の上に置かれた基板５０３から近距離の位置で撮像光学系のズーム状態を望遠状態としてあおり撮像が行われている。このあおり撮像では、基板５０３に対して撮像光学系の被写界深度が浅く、上下ぼけが発生しやすい。このため、無効深度領域を小さくして上下ぼけの発生を低減するようにあおりピント面２０３の高さを制御することが望ましい。 In the first embodiment, a tilt focus plane included in a captured image is detected, and the height of the detected tilt focus plane 203 is changed. FIG. 5 shows, by way of example, a captured image 501 acquired during an inspection of a board 503 on which various electronic components are mounted at an electrical product factory. Here, tilting imaging is performed at a position close to a substrate 503 placed on a horizontal inspection table 502, with the imaging optical system set to a telephoto zoom state. In this tilted imaging, the depth of field of the imaging optical system is shallow with respect to the substrate 503, and vertical blur tends to occur. For this reason, it is desirable to control the height of the tilting focus plane 203 so as to reduce the invalid depth region and reduce the occurrence of vertical blur.
図６のフローチャートは、あおりピント面を制御するためにコントローラ１５０が実行する処理（制御方法）を示している。コンピュータであるコントローラ１５０は、コンピュータプログラムに従って本処理を実行する。図中のＳは、ステップを意味する。 The flowchart in FIG. 6 shows a process (control method) executed by the controller 150 to control the tilt/focus plane. The controller 150, which is a computer, executes this process according to a computer program. S in the figure means a step.
ステップ６０１では、コントローラ１５０（あおりピント面検出部１１３）は、基準となるあおりピント面を設定する領域（以下、基準あおりピント領域という）を検出する。図５に示した撮像画像５０１では、基板５０３が置かれている水平な検査台（第１の対象物）５０２の領域が基準あおりピント領域として検出される。 In step 601, the controller 150 (tilt focus plane detection unit 113) detects an area (hereinafter referred to as a reference tilt focus area) in which a reference tilt focus plane is set. In the captured image 501 shown in FIG. 5, a region of a horizontal inspection table (first object) 502 on which a substrate 503 is placed is detected as a reference tilt focus region.
次にステップ６０２では、コントローラ１５０（あおり角／フォーカス量算出部１１５ ）は、ステップ６０１で検出された基準あおりピント領域に合焦させる（つまりは、あおりピント面を基準あおりピント領域の高さに対応する高さ（第１の位置）に設定する）ためのあおり角とフォーカス量を算出する。 Next, in step 602, the controller 150 (tilt angle/focus amount calculation unit 115) focuses on the reference tilt focus area detected in step 601 (that is, adjusts the tilt focus plane to the height of the reference tilt focus area). The tilt angle and focus amount for setting the corresponding height (first position ) are calculated.
この際、あおり角／フォーカス量算出部１１５は、撮像条件（撮像面から被写体までの光軸上での被写体距離、焦点距離、俯角および撮像装置１００の設置高さ等）を示す情報を各レンズの位置情報、外部センサまたはユーザにより入力された指示等から取得する。そして、これら取得した撮像条件の情報を用いてあおり角とフォーカス量を算出する。 At this time, the tilt angle/focus amount calculation unit 115 sends information indicating imaging conditions (subject distance on the optical axis from the imaging surface to the subject, focal length, depression angle, installation height of the imaging device 100, etc.) to each lens. location information, external sensors, instructions input by the user, etc. Then, the tilt angle and focus amount are calculated using the acquired imaging condition information.
なお、撮像素子１０６を基準あおりピント領域に合焦するようにフォーカスレンズ１０２を駆動した上で、撮像素子１０６のあおり角を所定量ずつ変化させ、合焦度取得部１１４により基準あおりピント領域で取得された合焦度（合焦評価値）が最大となるあおり角を求めてもよい。 Note that after driving the focus lens 102 so that the image sensor 106 is focused on the reference tilt focus area, the tilt angle of the image sensor 106 is changed by a predetermined amount, and the focus degree acquisition unit 114 focuses on the reference tilt focus area. The tilt angle at which the acquired degree of focus (focus evaluation value) is maximum may be determined.
次にステップ６０３では、コントローラ１５０（フォーカス補正量算出部１１６）は、ステップ６０２で算出されたフォーカス量を、無効被写界深度を小さくするために実際のあおりピント面を基準あおりピント領域よりも高い位置（目標位置としての第２の位置）に移動させるように補正するためのフォーカス補正量を算出する。図４（ａ）を用いて前述したようにあおりピント面２０３と下深度端３０２との間の合焦範囲が無効深度領域４０１となる場合に、フォーカスレンズ１０２をＮｅａｒ側へ移動させることで無効深度領域４０１を小さく（または無くする）ことができる。このときのフォーカスレンズ１０２の移動量がフォーカス補正量に相当し、フォーカス補正量算出部１１６は前述した式（６）によりフォーカス補正量を算出する。 Next, in step 603, the controller 150 (focus correction amount calculation unit 116) adjusts the focus amount calculated in step 602 so that the actual tilt focus plane is smaller than the reference tilt focus area in order to reduce the invalid depth of field. A focus correction amount for correcting the movement to a higher position (second position as the target position) is calculated. As described above using FIG. 4(a), when the focusing range between the tilt focus plane 203 and the lower depth end 302 becomes the invalid depth area 401, the focus lens 102 can be moved to the Near side to be invalidated. Depth region 401 can be made smaller (or eliminated). The amount of movement of the focus lens 102 at this time corresponds to the focus correction amount, and the focus correction amount calculation unit 116 calculates the focus correction amount using the above-mentioned equation (6).
次にステップ６０４では、コントローラ１５０（あおり制御部１１７）は、あおり駆動部１２０を介して、撮像素子１０６のあおり角がステップ６０２で算出されたあおり角となるように撮像素子１０６をあおり駆動する。また、コントローラ１５０（フォーカス制御部１１８）は、フォーカス駆動部１２１を介して、ステップ６０２で算出されたフォーカス量をステップ６０３で算出されたフォーカス補正量により補正して得られる補正フォーカス量だけフォーカスレンズ１０２を駆動する。 Next, in step 604, the controller 150 (tilt control unit 117) tilts and drives the image sensor 106 via the tilt drive unit 120 so that the tilt angle of the image sensor 106 becomes the tilt angle calculated in step 602. . Further, the controller 150 (focus control unit 118), via the focus drive unit 121, adjusts the focus amount by the corrected focus amount obtained by correcting the focus amount calculated in step 602 by the focus correction amount calculated in step 603. 102 is driven.
このように本実施例では、あおりピント面２０３が第１の対象物（検査台５０２）の位置に対応する第１の位置に設定されるときのフォーカスレンズ１０２の位置を、あおりピント面２０３が第１の位置とは異なる位置であって第１の対象物の位置が被写界深度内に含まれる第２の位置に設定されるフォーカスレンズ１０２の位置に補正する。 As described above, in this embodiment, the position of the focus lens 102 when the tilt focus plane 203 is set to the first position corresponding to the position of the first object (examination table 502) is adjusted so that the tilt focus plane 203 The position of the focus lens 102 is corrected to a second position that is different from the first position and in which the position of the first object is included within the depth of field.
図７（ａ）は、ステップ６０２で算出されたあおり角で撮像素子１０６（撮像面２０２）をレンズ主面２０１に対してあおり駆動し、同ステップで算出されたフォーカス量でフォーカスレンズ１０２を駆動したときのあおりピント面２０３を示している。あおりピント面２０３は、検査台５０２の高さに対応する高さに設定されており、あおりピント面２０３から下深度端３０２までの合焦範囲は検査台５０２よりも下側の無効深度領域４０１となっている。これにより、実際の合焦範囲は、あおりピント面２０３から上深度端３０１までの狭い範囲となっており、撮像装置１００からの距離が近い電子部品の上部があおり被写界深度から外れて、上ぼけが生じている。 In FIG. 7A, the image sensor 106 (imaging surface 202) is tilted with respect to the lens main surface 201 using the tilt angle calculated in step 602, and the focus lens 102 is driven with the focus amount calculated in the same step. It shows the tilting focus plane 203 when the image is tilted. The tilt focus plane 203 is set to a height corresponding to the height of the examination table 502, and the focusing range from the tilt focus plane 203 to the lower depth end 302 is an invalid depth area 401 below the examination table 502. It becomes. As a result, the actual focusing range is a narrow range from the tilt focus plane 203 to the upper depth of field end 301, and the upper part of the electronic component that is close to the imaging device 100 is tilted and is out of the depth of field. The top is blurred.
これに対して、図７（ｂ）は、ステップ６０２で算出されたあおり角で撮像素子１０６をあおり駆動し、ステップ６０４で得られた補正フォーカス量でフォーカスレンズ１０２を駆動したときのあおりピント面２０３を示している。あおりピント面２０３は、下深度端３０２が検査台５０２の高さに近づく（望ましくは対応する又は一致する）ように検査台５０２よりも上に位置している。このため、無効深度領域４０１がほぼ無くなっている。これにより、撮像装置１００からの距離が近い電子部品の上部も概ねあおり被写界深度内に入り、図７（ａ）よりも上ぼけが低減された撮像画像が得られる。 On the other hand, FIG. 7B shows the tilt focus plane when the image sensor 106 is tilted and driven using the tilt angle calculated in step 602, and the focus lens 102 is driven with the corrected focus amount obtained in step 604. 203 is shown. The tilt focus plane 203 is located above the inspection table 502 such that the lower depth end 302 approaches (preferably corresponds to or coincides with) the height of the inspection table 502. Therefore, the invalid depth region 401 is almost eliminated. As a result, the upper portions of the electronic components that are close to the imaging device 100 are also generally tilted to fall within the depth of field, and a captured image with reduced top blur than that in FIG. 7(a) is obtained.
以上説明したように、本実施例によれば、あおりピント面を第１の位置よりも無効深度領域を小さくなる第２の位置に設定するように制御することで、あおり被写界深度を有効利用して上下ぼけの発生を低減することができる。 As explained above, according to this embodiment, the tilt focus plane is controlled to be set at the second position where the invalid depth area is smaller than the first position, thereby making the tilt depth of field effective. This can be used to reduce the occurrence of vertical blur.
なお、本実施例では、あおりピント面を実際に第１の位置に設定することなく（第１の位置に設定するときのフォーカスレンズの位置を算出するのみで）、あおりピント面を第２の位置に設定する場合について説明した。しかし、あおりピント面を第１の位置に設定した後に第２の位置に設定してもよい。 Note that in this embodiment, the tilting focus plane is not set to the first position (by simply calculating the position of the focus lens when setting it to the first position), but the tilting focus plane is set to the second position. We have explained the case where it is set to the position. However, the tilting focus plane may be set to the second position after being set to the first position.
実施例２では、撮像されるシーン内の対象物の検出結果を用いて、そのシーンに適切なあおりピント面が得られるように動的に制御する。本実施例における撮像装置の構成は、後述する判定部を有する以外は実施例１（図１）の撮像装置１００と同じである。 In the second embodiment, a detection result of an object in a scene to be imaged is used to dynamically control the tilting and focusing plane to obtain an appropriate focus plane for the scene. The configuration of the imaging device in this example is the same as the imaging device 100 in Example 1 (FIG. 1), except that it includes a determination section to be described later.
図９（ａ）、（ｂ）はそれぞれ、あおりピント面の動的制御を行うべきシーン９０１、９０２の例を示している。シーン９０１では、対象物としての多くの大人や子供が歩道を歩いており、実線枠で囲まれた大人の顔（第１の対象物）に対して合焦が得られるようにあおりピント面９０３が設定されている。この場合、大人の顔の高さより低い位置において点線枠で囲まれた子供の顔（第２の対象物）に対する合焦が得られず、下ぼけが生じる。 FIGS. 9A and 9B show examples of scenes 901 and 902, respectively, in which dynamic control of the tilt and focus plane is to be performed. In a scene 901, many adults and children as objects are walking on the sidewalk, and the focus plane 903 is tilted so that the adult's face (first object) surrounded by a solid line frame is in focus. is set. In this case, the child's face (second object) surrounded by the dotted line frame cannot be brought into focus at a position lower than the height of the adult's face, resulting in downward blur.
また、シーン９０２は、電車の駅のホームに設置された撮像装置により撮像されるシーンであり、実線枠で囲まれたホーム上の人の顔（第１の対象物）に対して合焦が得られるようにあおりピント面９０４が設定されている。この場合、ホームより下の線路に人が立ち入った異常時に点線枠で囲まれた線路内の人の顔（第２の対象物）に対する合焦が得られず、下ぼけが生じる。 Further, a scene 902 is a scene imaged by an imaging device installed on a platform of a train station, and a person's face (first object) on the platform surrounded by a solid line frame is in focus. The tilting focus plane 904 is set so as to obtain the following. In this case, in the event of an abnormality in which a person enters the track below the platform, the face (second object) of the person on the track surrounded by the dotted line frame cannot be focused, resulting in downward blur.
本実施例では、これらのシーンにおいてあおりピント面の高さを適切に設定することにより、上記のような下ぼけを含む上下ぼけを低減する。なお、対象物は、人やその顔以外でもよく、車両やそのナンバープレート等でもよい。 In this embodiment, by appropriately setting the height of the tilt focus plane in these scenes, vertical blur including the above-mentioned bottom blur is reduced. Note that the target object may be other than a person or his or her face, or may be a vehicle, its license plate, or the like.
図８のフローチャートは、あおりピント面を制御するためにコントローラ１５０が実行する処理（制御方法）を示している。コンピュータであるコントローラ１５０は、コンピュータプログラムに従って本処理を実行する。なお、本実施例では、図１に括弧書きで示すように、コントローラ１５０内に判定部１３０が設けられている。 The flowchart in FIG. 8 shows a process (control method) executed by the controller 150 to control the tilt/focus plane. The controller 150, which is a computer, executes this process according to a computer program. In this embodiment, as shown in parentheses in FIG. 1, a determination unit 130 is provided within the controller 150.
ステップ８０１では、コントローラ１５０（あおり制御部１１７およびフォーカス制御部１１８）は、あおりピント面が撮像画像に含まれる第１の対象物の高さに対応する基準となる高さ（第１の位置）となるように撮像素子１０６のあおり駆動およびフォーカスレンズ１０２の駆動を制御する。第１の対象物の高さは、監視モニタ装置１１１を通じてユーザが入力して指定してもよいし、対象物検出部１１２による対象物（歩道上やホーム上の人）の検出結果に基づいて設定された、複数の第１の対象物が存在する高さとしてもよい。 In step 801, the controller 150 (tilt control unit 117 and focus control unit 118) sets the tilt focus plane to a reference height (first position) corresponding to the height of the first object included in the captured image. The tilting drive of the image sensor 106 and the drive of the focus lens 102 are controlled so that the following is achieved. The height of the first object may be input and specified by the user through the monitoring device 111, or may be specified based on the detection result of the object (person on the sidewalk or platform) by the object detection unit 112. The height may be a set height at which a plurality of first objects exist.
また、あおりピント面を第１の対象物の高さに対応する高さに設定するための撮像素子１０６のあおり角とフォーカスレンズ１０２の移動量であるフォーカス量は、実施例１でも説明したように撮像条件に基づいて算出することができる。さらに、あおり角とフォーカス量を、第１の対象物の像高とデフォーカス量とに基づいて算出したり、複数の第１の対象物のうち合焦度が最大となるあおり角とフォーカス量をサーチして取得したりしてもよい。 Further, the tilt angle of the image sensor 106 and the focus amount, which is the amount of movement of the focus lens 102, for setting the tilt focus plane to a height corresponding to the height of the first object are as explained in the first embodiment. can be calculated based on the imaging conditions. Furthermore, the tilt angle and focus amount may be calculated based on the image height and defocus amount of the first object, or the tilt angle and focus amount may be calculated based on the image height and defocus amount of the first object. You may also search for and obtain it.
図９（ａ）、（ｂ）に示したシーン９０１、９０２においてそれぞれ、あおりピント面９０３、９０４が設定されると、手前から奥までの人の実線枠で囲まれた顔に合焦した撮像画像が得られる。 When the tilt focus planes 903 and 904 are set in the scenes 901 and 902 shown in FIGS. 9(a) and 9(b), respectively, the image is captured in focus on the face of the person surrounded by the solid line frame from the front to the back. An image is obtained.
次にステップ８０２では、コントローラ１５０（判定部１３０）は、対象物検出部１１２により撮像画像における現在のフレーム内において対象物が検出されているか否かを判定する。図９（ａ）、（ｂ）のシーン９０１、９０２では対象物は人の顔である。コントローラ１５０は、現在のフレーム内に人の顔が検出されている場合はステップ８０３に進み、検出されていない場合は次のフレーム内における対象物の検出の有無の判定を繰り返す。 Next, in step 802, the controller 150 (determination unit 130) determines whether the target object is detected by the target object detection unit 112 in the current frame of the captured image. In scenes 901 and 902 in FIGS. 9A and 9B, the objects are human faces. If a human face is detected in the current frame, the controller 150 proceeds to step 803, and if not detected, the controller 150 repeats the determination of whether or not an object is detected in the next frame.
ステップ８０３では、コントローラ１５０（判定部１３０）は、撮像画像において検出された対象物に対する合焦度（合焦評価値）を合焦度取得部１１４から取得する。対象物が複数検出された場合には、個々の対象物に対する合焦度を取得する。 In step 803, the controller 150 (determination unit 130) acquires the degree of focus (focus evaluation value) for the object detected in the captured image from the degree of focus acquisition unit 114. If multiple objects are detected, the degree of focus for each object is acquired.
次にステップ８０４では、コントローラ１５０（判定部１３０）は、ステップ８０３で取得した対象物に対する合焦度を所定値である閾値と比較し、合焦度が閾値より低い対象物が存在するか否かを判定する。合焦度が閾値より低い対象物が存在する場合は、撮像画像内にぼけた対象物が存在しており、ステップ８０１においてあおりピント面が適切なあおり被写界深度を与えるように設定されなかったことを意味している。例えば、図９（ａ）、（ｂ）のシーン９０１、９０２において、点線枠により囲まれた顔が合焦度が閾値より低いと判定された対象物である。これら点線枠で囲まれた対象物はあおりピント面９０３、９０４に対して高さ（あおりピント面２０３の位置が設定される方向での位置）が低いために、該対象物に対する下ぼけが生じる。合焦度が閾値より低い対象物が存在する場合はステップ８０５に進み、存在しない場合はステップ８０２に戻る。 Next, in step 804, the controller 150 (determination unit 130) compares the degree of focus for the object obtained in step 803 with a threshold value, which is a predetermined value, and determines whether there is an object with a degree of focus lower than the threshold value. Determine whether If there is an object whose degree of focus is lower than the threshold, there is a blurred object in the captured image, and the tilt focus plane was not set to give an appropriate tilt depth of field in step 801. It means that. For example, in scenes 901 and 902 in FIGS. 9A and 9B, a face surrounded by a dotted line frame is an object whose focus degree is determined to be lower than the threshold value. Since the objects surrounded by these dotted lines are lower in height (position in the direction in which the position of the tilt focus plane 203 is set) relative to the tilt focus planes 903 and 904, downward blurring occurs with respect to the target objects. . If there is an object whose focus level is lower than the threshold, the process advances to step 805; if there is no object, the process returns to step 802.
ステップ８０５では、コントローラ１５０は（判定部１３０）は、ステップ８０３で取得された対象物ごとの合焦度を全て加算して合焦度の合計値（以下、合計合焦度という）を算出する。そして、フォーカス制御部１１８およびフォーカス駆動部１２１を介してフォーカスレンズ１０２をステップ８０１で駆動した位置から所定量ずつ移動させながら合計合焦度が最大となるフォーカスレンズ１０２の位置（以下、ピークフォーカス位置という）を探索するフォーカスサーチを行う。この際、ステップ８０４で合焦度が閾値より低いと判定された対象物の高さを推定することで、該対象物とあおりピント面との高さの関係に基づいてフォーカスサーチにおけるフォーカスレンズ１０２の駆動方向を決定することができる。 In step 805, the controller 150 (determination unit 130) calculates a total value of the focus degrees (hereinafter referred to as total focus degree) by adding up all the focus degrees for each object acquired in step 803. . Then, the focus lens 102 is moved from the position driven in step 801 by a predetermined amount via the focus control unit 118 and the focus drive unit 121 to the position of the focus lens 102 where the total degree of focus is maximum (hereinafter referred to as the peak focus position). Perform a focus search to search for At this time, by estimating the height of the object whose degree of focus was determined to be lower than the threshold in step 804, the focus lens 102 in the focus search is The direction of drive can be determined.
図１０（ａ）、（ｂ）は、フォーカスサーチにおけるフォーカスレンズ１０２の駆動方向の決定方法を示す。図１０（ａ）、（ｂ）では、３つの対象物（顔）Ａ、Ｂ、ＣのうちＡ、Ｃ（第１の対象物）があおりピント面２０３の高さに位置し、Ｂ（第２の対象物）がそれよりも高い位置または低い位置にあってあおり被写界深度から外れている。これらの場合、対象物Ｂに対する合焦度が閾値より低いと判定される。このとき、フォーカスレンズ１０２をＦａｒ側に駆動するとあおりピント面２０３は下に移動し、フォーカスレンズ１０２をＮｅａｒ側に駆動するとあおりピント面２０３は上に移動する。図１０（ａ）では、あおりピント面２０３を適度に上に移動させることで、対象物Ａ、Ｂ、Ｃのすべてがあおり被写界深度内に入る。また図１０（ｂ）では、あおりピント面２０３を適度に下に移動させることで、対象物Ａ、Ｂ、Ｃのすべてがあおり被写界深度内に入る。 FIGS. 10A and 10B show a method for determining the driving direction of the focus lens 102 in focus search. In FIGS. 10(a) and (b), among three objects (faces) A, B, and C, A and C (the first objects) are located at the height of the focus plane 203, and B (the first object) is located at the height of the focus plane 203. 2) is located at a higher or lower position than that and is tilted and out of the depth of field. In these cases, it is determined that the degree of focus on object B is lower than the threshold. At this time, when the focus lens 102 is driven toward the Far side, the tilting focus surface 203 moves downward, and when the focus lens 102 is driven toward the Near side, the tilting focus surface 203 moves upward. In FIG. 10A, by moving the tilt focus plane 203 appropriately upward, all of the objects A, B, and C come within the tilt depth of field. Further, in FIG. 10(b), by moving the tilt focus plane 203 appropriately downward, all of the objects A, B, and C come within the tilt depth of field.
この関係を用いることで、無駄なフォーカスレンズ１０２の駆動を行うことなくフォーカスサーチを行うことができ、あおりピント面２０３を適切なあおり被写界深度を与える高さに素早く制御することができる。 By using this relationship, focus search can be performed without unnecessary driving of the focus lens 102, and the tilt focus plane 203 can be quickly controlled to a height that provides an appropriate tilt depth of field.
また、フォーカスサーチにおけるフォーカスレンズ１０２の駆動範囲を、移動するあおりピント面２０３に対する上深度端３０１と下深度端３０２がそれぞれ移動前のあおりピント面に対応する位置となるフォーカスレンズ１０２の位置を両端とする範囲内とすることが望ましい。言い換えれば、あおりピント面２０３が対象物Ａ、Ｂの高さに対応する高さにあるときの被写界深度の範囲内であおりピント面２０３が移動するようにフォーカスレンズ１０２の駆動範囲を制限することが望ましい。これにより、さらに無駄なフォーカスレンズ１０２の駆動を含まないフォーカスサーチを行うことができる。 In addition, the driving range of the focus lens 102 in the focus search is determined by setting the position of the focus lens 102 at both ends where the upper depth end 301 and the lower depth end 302 respectively correspond to the tilt focus plane before movement with respect to the tilt focus plane 203 that moves. It is desirable to keep it within the range specified above. In other words, the driving range of the focus lens 102 is limited so that the tilt focus plane 203 moves within the range of the depth of field when the tilt focus plane 203 is at a height corresponding to the height of objects A and B. It is desirable to do so. Thereby, it is possible to perform a focus search that does not involve unnecessary driving of the focus lens 102.
次にステップ８０６では、コントローラ１５０（フォーカス制御部１１８）は、フォーカス駆動部１２１を介して、ステップ８０５で探索されたピークフォーカス位置にフォーカスレンズ１０２を駆動する。 Next, in step 806, the controller 150 (focus control unit 118) drives the focus lens 102 to the peak focus position searched in step 805 via the focus drive unit 121.
このように本実施例では、あおりピント面２０３を第１の対象物（ホーム上の人）の位置に対応する第１の位置に設定し、その後に第１および第２の対象物に対する合焦度を取得する。そして、取得した合焦度に基づいて第１の対象物と第２の対象物（線路内の人）の位置がともに被写界深度内に含まれる目標位置としての第２の位置にあおりピント面２０３を設定するようにフォーカスレンズ１０２の位置を制御する。 As described above, in this embodiment, the tilt focus plane 203 is set to the first position corresponding to the position of the first object (person on the platform), and then the focus is focused on the first and second objects. Get degrees. Then, based on the obtained focus degree, the focus is shifted to a second position as a target position where the positions of the first object and the second object (a person on the railway) are both included within the depth of field. The position of the focus lens 102 is controlled to set the plane 203.
図１１（ａ）は、図９（ｂ）のシーンにおいて、ステップ８０１で制御されたあおりピント面２０３、あおり被写界深度（上下深度端３０１、３０２）および対象物（ホーム上の人と線路内の人）の関係を示している。このとき、あおり被写界深度内に入っているホーム上の人に対しては合焦した撮像画像が得られるが、あおり被写界深度から外れた線路内の人についてはぼけた撮像画像しか得られない。 FIG. 11(a) shows the tilted focus plane 203, tilted depth of field (upper and lower depth edges 30 1 and 30 2 ), and objects (persons on the platform) controlled in step 801 in the scene of FIG. 9(b). and people on the tracks). At this time, a focused image will be obtained for the person on the platform who is within the tilt depth of field, but a blurred image will be obtained for the person on the track who is outside the tilt depth of field. I can't get it.
図１１（ｂ）は、図９（ｂ）のシーンにおいて、ステップ８０５でフォーカスレンズ１０２がピークフォーカス位置に制御された後のあおりピント面２０３、あおり被写界深度および対象物の関係を示している。この図では、図１１（ａ）のようにあおりピント面２０３がホーム上の人の顔（第１の対象物）の高さに対応する高さにある場合に比べて、被写界深度の一端である上深度端３０２がホーム上の人の顔の高さに近くなるようにあおりピント面２０３の高さが設定されている。これにより、ホーム上の人も線路内の人もあおり被写界深度（上下深度端３０１、３０２）内に入り、これら全ての人に対して合焦した撮像画像が得られる。 FIG. 11(b) shows the relationship between the tilted focus plane 203, tilted depth of field, and object after the focus lens 102 is controlled to the peak focus position in step 805 in the scene of FIG. 9(b). There is. In this figure, the depth of field is lower than when the tilt focus plane 203 is at a height corresponding to the height of the person's face (first object) on the platform as shown in FIG. 11(a). The height of the tilt focus plane 203 is set so that the upper depth end 302, which is one end, is close to the height of a person's face on the platform. As a result, both the people on the platform and the people on the tracks fall within the depth of field (upper and lower depth edges 30 1 and 30 2 ), and a captured image that focuses on all these people is obtained.
以上説明したように、本実施例では、対象物の検出結果を応じてあおりピント面の高さを動的に設定するように制御することで、対象物の高さが変化する場合でもそれらの対象物に対する上下ぼけの発生を低減することができる。 As explained above, in this embodiment, by controlling the height of the tilting and focusing plane to be dynamically set according to the detection result of the target object, even if the height of the target object changes, It is possible to reduce the occurrence of vertical blur with respect to the target object.
なお、本実施例のように合焦度を用いた第１および第２の対象物がともに被写界深度内に含まれるようにするあおりピント面の位置の制御を、実施例１で説明した検査台（第１の対象物）５０２と基板（第２の対象物）５０３のあおり撮像に適用してもよい。この場合、検査台５０２と基板５０３のそれぞれに対する合焦度の合計値が最大となるようにあおりピント面を設定することで、結果的に下深度端が検査台５０２に近づいた位置又は対応する位置になるようにしてもよい。 In addition, as described in Example 1, the control of the position of the tilting focus plane so that both the first and second objects are included in the depth of field using the degree of focus as in this example is described in Example 1. The present invention may also be applied to tilted imaging of an inspection table (first object) 502 and a substrate (second object) 503. In this case, by setting the tilting focus plane so that the total value of the degree of focus for each of the inspection table 502 and the substrate 503 is maximized, the bottom depth end will be at a position close to or corresponding to the inspection table 502. It may be possible to change the position.
また、図９（ｂ）に示したように複数の対象物が存在する場合に、全ての対象物を認識し易くするために、これら対象物のそれぞれに対する合焦評価値の最小値が最大になるようなピント面の位置の設定を行ってもよい。図１２は、図９（ｂ）におけるホーム上の奥側の対象物、手前側の対象物および線路上の対象物のそれぞれに対するフォーカスレンズの位置ごとの合焦評価値９０５Ａ、９０５Ｂ、９０５Ｃを示している。図１２に示すように、これら３つの対象物に対する合焦評価値９０５Ａ、９０５Ｂ、９０５Ｃの最小値が最大になるようにピント面の位置の設定を行うことで、全ての対象物を認識し易くすることができる。 In addition, when there are multiple objects as shown in Figure 9(b), in order to make it easier to recognize all the objects, the minimum value of the focus evaluation value for each of these objects is set to the maximum value. The position of the focal plane may be set so that FIG. 12 shows focus evaluation values 905A, 905B, and 905C for each position of the focus lens for the object on the far side of the platform, the object on the near side, and the object on the track in FIG. 9(b). ing. As shown in FIG. 12, by setting the position of the focus plane so that the minimum value of the focus evaluation values 905A, 905B, and 905C for these three objects becomes the maximum, all objects can be easily recognized. can do.
さらに図９（ｂ）に示したようにホーム上ではなく線路上に対象物が存在する場合のように、通常の検出領域とは異なる検出領域、すなわち通常は対象物が存在しない領域に対象物の存在を検出した場合には、特別な状況が発生しているとみなす。そして、その対象物に対する合焦評価値９０５Ｃを高くするようなフォーカスレンズまたはあおり角の制御を行ってもよい。 Furthermore, as shown in Fig. 9(b), when an object exists on the track rather than on the platform, an object may be detected in a detection area different from the normal detection area, that is, in an area where no object normally exists. If the presence of is detected, it is assumed that a special situation has occurred. Then, the focus lens or the tilt angle may be controlled to increase the focus evaluation value 905C for the object.
フォーカスレンズの位置の変化によって合焦評価値が変化した場合の制御方法について説明を追加する。図１３（ａ）は、図９（ｂ）に示したホーム上の奥前の対象物と手前側の対象物に対する合焦評価値９０５Ａ、９０５Ｂを示している。例えば、フォーカスレンズが至近（Ｎｅａｒ）側から無限遠（Ｆａｒ）側に移動すると、手前側の対象物に対する合焦評価値９０５Ｂが合焦度の閾値（合焦閾値）を下回って手前側の対象物がぼける場合がある。この場合には、絞りユニット１０３を絞ることで、図１３（ｂ）に示すように手前側の対象物に対する合焦評価値９０５Ｂを合焦閾値を上回るように増加させて、手前側の対象物にピントを合わせることができる。奥側の対象物に対する合焦評価値９０５Ａについても同様により増加させることができる。 An explanation will be added regarding the control method when the focus evaluation value changes due to a change in the position of the focus lens. FIG. 13A shows focus evaluation values 905A and 905B for the object in the back and the object in the front on the platform shown in FIG. 9B. For example, when the focus lens moves from the near (Near) side to the infinity (Far) side, the focus evaluation value 905B for the near object falls below the focus degree threshold (focus threshold), and the near object Objects may become blurry. In this case, by narrowing down the aperture unit 103, the focus evaluation value 905B for the object on the near side is increased to exceed the focus threshold value as shown in FIG. can focus on. The focus evaluation value 905A for the object on the far side can also be increased in the same manner.
図１４のフローチャートは、あおりピント面を制御するためにコントローラ１５０が実行する、図８の処理に対する変形例としての処理（制御方法）を示している。この処理を実行するコントローラ１５０も、図１に括弧書きで示すように判定部１３０を有する。図１４中のステップ１４０１～１４０６は、図８中のステップ８０１～８０６と同じである。 The flowchart in FIG. 14 shows a process (control method) as a modification of the process in FIG. 8, which is executed by the controller 150 to control the tilt/focus plane. The controller 150 that executes this process also includes a determination unit 130, as shown in parentheses in FIG. Steps 1401 to 1406 in FIG. 14 are the same as steps 801 to 806 in FIG. 8.
ステップ１４０６において、ステップ１４０５で探索されたピークフォーカス位置にフォーカスレンズ１０２を駆動したコントローラ１５０は、ステップ１４０７に進む。ステップ１４０７では、コントローラ１５０（判定部１３０）は、ステップ１４０４と同様に、合焦度が閾値より低い対象物が存在するか否かを判定する。合焦度が閾値より低い対象物が存在する場合はステップ１４０８に進み、存在しない場合は本処理を終了する。 In step 1406, the controller 150 drives the focus lens 102 to the peak focus position searched in step 1405, and proceeds to step 1407. In step 1407, similarly to step 1404, the controller 150 (determination unit 130) determines whether there is an object whose focus degree is lower than the threshold value. If there is an object whose focus degree is lower than the threshold value, the process advances to step 1408, and if there is no object, the process ends.
ステップ１４０８では、コントローラ１５０は、絞りユニット１０３を撮像条件（被写体距離、焦点距離等）に基づいて調整する。そして本処理を終了する。 In step 1408, the controller 150 adjusts the aperture unit 103 based on imaging conditions (subject distance, focal length, etc.). Then, this process ends.
なお、本実施例において、対象物の検出と顔認証等の認証系技術とを併せ用してもよい。認証系技術には、認証評価値が所定の認証閾値以上である場合にその対象物が特定の対象物と認証するものがある。この場合に、図１５に示すように合焦評価値が低い対象物については認証もし難い。このため、コントローラ１５０は、合焦評価値（合焦度）に応じて認証閾値を変更する（下げる）ことにより、合焦評価値が低い対象物に対しても特定の対象物との認証率を高めることができる。 Note that in this embodiment, object detection and authentication technology such as face recognition may be used in combination. Some authentication-related technologies authenticate an object as a specific object when an authentication evaluation value is equal to or higher than a predetermined authentication threshold. In this case, as shown in FIG. 15, it is difficult to authenticate objects with low focus evaluation values. Therefore, by changing (lowering) the authentication threshold according to the focus evaluation value (focus degree), the controller 150 can increase the authentication rate of a specific object even for objects with a low focus evaluation value. can be increased.
また、上記各実施例では、固定されたレンズ主面（つまりは撮像光学系）に対して撮像素子（撮像面）をあおり駆動する場合について説明したが、固定された撮像面に対して撮像光学系をあおり駆動したり、両方をあおり駆動したりしてもよい。すなわち、撮像面と撮像光学系のうち少なくとも一方をあおり駆動すればよい。撮像光学系をあおり駆動する場合において、該撮像光学系が交換タイプである場合は、そのあおり駆動は撮像装置（コントローラ）により制御することが望ましい。 In addition, in each of the above embodiments, the case where the image sensor (imaging surface) is tilted and driven with respect to the fixed main surface of the lens (that is, the imaging optical system) has been explained. It is also possible to drive the system or both of the systems. That is, at least one of the imaging surface and the imaging optical system may be tilted and driven. When the imaging optical system is tilted and driven, if the imaging optical system is of a replaceable type, it is desirable that the tilting drive be controlled by the imaging device (controller).
また、上記各実施例では、上下方向において傾きを有するあおりピント面の高さを適切に設定する場合について説明したが、各実施例と同様の制御により水平方向において傾きを有するあおりピント面の水平方向での位置を設定するようしてしてもよい。（その他の実施例） 本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Furthermore, in each of the above embodiments, a case has been described in which the height of the tilting focus surface that is tilted in the vertical direction is appropriately set. The position in the direction may also be set. (Other Embodiments) The present invention provides a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and supplies the program to one or more computers in the system or device. This can also be realized by a process in which a processor reads and executes a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上説明した実施の形態は、以下の構成を含む。
（構成１）
撮像光学系により形成される光学像を撮像する撮像素子と、
前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対する該ピント面の角度が異なるいずれかの位置に設定する制御手段とを有し、
前記制御手段は、前記ピント面を撮像対象である第１の対象物の位置に対応する第１の位置とは異なる位置であって前記第１の対象物の位置が被写界深度内に含まれる第２の位置に設定するように前記少なくとも一方を制御することを特徴とする撮像装置。
（構成２）
前記制御手段は、前記ピント面が前記第１の位置に設定されるときの前記少なくとも一方を、前記ピント面が前記第２の位置に設定されるように補正することを特徴とする構成１に記載の撮像装置。
（構成３）
前記制御手段は、前記フォーカスレンズの位置および前記あおり角を前記ピント面が前記第１の位置に設定されるように制御した後に、前記少なくとも一方を前記ピント面が前記第２の位置に設定されるように制御することを特徴とする構成１に記載の撮像装置。
（構成４）
前記第２の位置は、前記被写界深度の一端が、前記ピント面が前記第１の位置に設定されるときよりも前記第１の対象物の位置に近くなる又は前記第１の対象物の位置に対応する位置となる前記ピント面の位置であることを特徴とする構成１から３のいずれか１つに記載の撮像装置。
（構成５）
前記第２の位置は、前記第１の対象物と、前記ピント面の位置が設定される方向において前記第１の対象物とは位置が異なる撮像対象である第２の対象物とがともに前記被写界深度内に含まれる前記ピント面の位置であることを特徴とする構成１から４のいずれか１つに記載の撮像装置。
（構成６）
前記制御手段は、前記第１の対象物および前記第２の対象物のそれぞれに対する合焦度を取得し、該合焦度に基づいて前記少なくとも一方を制御することを特徴とする構成５に記載の撮像装置。
（構成７）
前記第２の位置は、前記第１の対象物と前記第２の対象物のそれぞれに対して取得された合焦度の合計値が最大となる前記ピント面の位置であることを特徴とする構成６に記載の撮像装置。
（構成８）
前記第２の位置は、複数の対象物とそれぞれに対して取得された合焦度の最小値が最大となる前記ピント面の位置であることを特徴とする構成６に記載の撮像装置。
（構成９）
前記制御手段は、前記ピント面が前記第１の位置に設定されたときの前記第２の対象物に対する前記合焦度が所定値より低い場合に、前記ピント面を前記第２の位置に設定するように前記少なくとも一方を制御することを特徴とする構成６から８のいずれか１つに記載の撮像装置。
（構成１０）
前記制御手段は、
前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
前記ピント面の位置と前記第２の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させる方向を決定することを特徴とする構成６から８のいずれか１つに記載の撮像装置。
（構成１１）
前記制御手段は、前記ピント面が前記第１の位置に設定されているときの被写界深度の範囲内で前記ピント面が移動するように前記フォーカスレンズを前記所定量ずつ移動させることを特徴とする構成１０に記載の撮像装置。
（構成１２）
前記制御手段は、撮像により生成された撮像画像において検出された前記第１の対象物
の位置に基づいて、前記第１の位置を設定することを特徴とする構成１から１１のいずれか１つに記載の撮像装置。
（構成１３）
前記制御手段は、ユーザにより入力された前記第１の対象物の位置に基づいて、前記第１の位置を設定することを特徴とする構成１から１２のいずれか１つに記載の撮像装置。
（構成１４）
前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
前記ピント面の位置と前記第２の対象物の位置とから前記フォーカスレンズを前記所定量ずつ移動させ、対象被写体の合焦度が所定値より低い場合に前記撮像光学系に含まれる絞りを絞ることを特徴とする構成１から１３のいずれか１つに記載の撮像装置
（構成１５）
前記制御手段は、前記フォーカスレンズを所定量ずつ移動させながら前記合焦度を取得し、
通常の検出領域とは異なる検出領域において対象物の存在を検出した場合に、該対象物の合焦度が高くなるように前記少なくとも一方を制御することを特徴とする構成１から１４のいずれか１つに記載の撮像装置。
（構成１６）
前記制御手段は、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより大きくなる位置に設定する際には前記フォーカスレンズを至近側に移動させ、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより小さくなる位置に設定する際には前記フォーカスレンズを無限遠側に移動させることを特徴とする構成１から１５のいずれか１つに記載の撮像装置。
（構成１７）
前記制御手段は、
特定の対象物を認証するための評価値が認証閾値以上である対象物を前記特定の被写体と認証し、
前記合焦度に応じて前記認証閾値を変更することを特徴とする構成１から１６のいずれか１つに記載の撮像装置。
（他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
The embodiment described above includes the following configuration.
(Configuration 1)
an image sensor that captures an optical image formed by an imaging optical system;
In tilt imaging that changes the tilt angle between the imaging surface of the image sensor and a surface perpendicular to the optical axis of the imaging optical system, at least one of the position of a focus lens included in the imaging optical system and the tilt angle. and a control means for controlling the focus plane to set the focus plane at any position where the angle of the focus plane with respect to the optical axis is different,
The control means sets the focus plane to a position different from a first position corresponding to a position of a first object to be imaged, and the position of the first object is within a depth of field. An imaging device characterized in that the at least one of the imaging devices is controlled so as to be set at a second position.
(Configuration 2)
In configuration 1, the control means corrects the at least one when the focus plane is set at the first position so that the focus plane is set at the second position. The imaging device described.
(Configuration 3)
The control means controls the position of the focus lens and the tilt angle so that the focus plane is set to the first position, and then controls the at least one of the focus lenses so that the focus plane is set to the second position. The imaging device according to configuration 1, characterized in that the imaging device is controlled so as to
(Configuration 4)
The second position is such that one end of the depth of field is closer to the position of the first object than when the focus plane is set to the first position, or the second position is the first object. 4. The imaging device according to any one of configurations 1 to 3, wherein the position of the focus plane is a position corresponding to a position.
(Configuration 5)
The second position is such that both the first object and a second object, which is an imaging object whose position is different from that of the first object in the direction in which the position of the focus plane is set, are at the same time. 5. The imaging device according to any one of configurations 1 to 4, wherein the position of the focus plane is included within the depth of field.
(Configuration 6)
According to configuration 5, the control means obtains a degree of focus for each of the first object and the second object, and controls at least one of the objects based on the degree of focus. imaging device.
(Configuration 7)
The second position is a position of the focus plane where the total value of the degrees of focus obtained for each of the first object and the second object is maximum. The imaging device according to configuration 6.
(Configuration 8)
7. The imaging device according to configuration 6, wherein the second position is a position of the focus plane where a minimum value of a degree of focus obtained for each of the plurality of objects is maximum.
(Configuration 9)
The control means sets the focus plane to the second position if the degree of focus on the second object when the focus plane is set to the first position is lower than a predetermined value. 9. The imaging device according to any one of configurations 6 to 8, characterized in that the at least one of the above is controlled so as to.
(Configuration 10)
The control means includes:
acquiring the degree of focus while moving the focus lens by a predetermined amount;
9. The imaging device according to any one of configurations 6 to 8, wherein the direction in which the focus lens is moved by the predetermined amount is determined based on the position of the focus plane and the position of the second object.
(Configuration 11)
The control means moves the focus lens by the predetermined amount so that the focus plane moves within a depth of field when the focus plane is set at the first position. The imaging device according to configuration 10.
(Configuration 12)
Any one of configurations 1 to 11, wherein the control means sets the first position based on the position of the first object detected in the captured image generated by imaging. The imaging device described in .
(Configuration 13)
13. The imaging device according to any one of configurations 1 to 12, wherein the control means sets the first position based on a position of the first object input by a user.
(Configuration 14)
The control means acquires the degree of focus while moving the focus lens by a predetermined amount,
The focus lens is moved by the predetermined amount from the position of the focus plane and the position of the second object, and when the degree of focus of the target object is lower than a predetermined value, the aperture included in the imaging optical system is narrowed down. The imaging device according to any one of configurations 1 to 13 (configuration 15), characterized in that:
The control means acquires the degree of focus while moving the focus lens by a predetermined amount,
Any one of configurations 1 to 14, characterized in that, when the presence of an object is detected in a detection area different from a normal detection area, at least one of the above-mentioned objects is controlled so that the degree of focus on the object is increased. 1. The imaging device according to item 1.
(Configuration 16)
The control means includes:
When setting the position of the focusing surface to a position where the angle formed by the focusing surface with respect to the optical axis becomes larger, the focusing lens is moved to the close side,
Any one of configurations 1 to 15, characterized in that when setting the position of the focus surface to a position where the angle formed by the focus surface with respect to the optical axis is smaller, the focus lens is moved toward infinity. The imaging device according to item 1.
(Configuration 17)
The control means includes:
authenticating an object whose evaluation value for authenticating a specific object is equal to or higher than an authentication threshold as the specific object;
17. The imaging device according to any one of configurations 1 to 16, wherein the authentication threshold is changed depending on the degree of focus.
(Other examples)
The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 The embodiments described above are merely representative examples, and various modifications and changes can be made to each embodiment when implementing the present invention.
１０２ フォーカスレンズ
１０６ 撮像素子
１１３ あおりピント面検出部
１１５ あおり角／フォーカス量算出部
１１６ フォーカス補正量算出部
１１７ あおり制御部
１１８ フォーカス制御部
102 Focus lens 106 Image sensor 113 Tilt focus plane detection unit 115 Tilt angle/focus amount calculation unit 116 Focus correction amount calculation unit 117 Tilt control unit 118 Focus control unit
Claims (8)
前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対する該ピント面の角度が異なるいずれかの位置に設定する制御手段とを有し、
前記制御手段は、前記ピント面が地面である第１の位置にあるときに前記第１の位置よりも下側に被写界深度が存在する場合に、前記フォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、前記被写界深度の一端が前記第１の位置に位置するように第２の位置に前記ピント面の位置を設定することを特徴とする撮像装置。 an image sensor that captures an optical image formed by an imaging optical system;
In tilt imaging that changes the tilt angle between the imaging surface of the image sensor and a surface perpendicular to the optical axis of the imaging optical system, at least one of the position of a focus lens included in the imaging optical system and the tilt angle. and a control means for controlling the focus plane to set the focus plane at any position where the angle of the focus plane with respect to the optical axis is different,
The control means controls the position of the focus lens and the tilt angle when the depth of field exists below the first position when the focus plane is at a first position that is the ground. An imaging apparatus characterized by controlling at least one of them to set the position of the focus plane at a second position such that one end of the depth of field is located at the first position.
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより大きくなる位置に設定する際には前記フォーカスレンズを至近側に移動させ、
前記ピント面の位置を前記光軸に対して該ピント面がなす角度がより小さくなる位置に設定する際には前記フォーカスレンズを無限遠側に移動させることを特徴とする請求項１に記載の撮像装置。 The control means includes:
When setting the position of the focusing surface to a position where the angle formed by the focusing surface with respect to the optical axis becomes larger, the focusing lens is moved to the close side,
2. The focus lens according to claim 1, wherein the focus lens is moved toward infinity when the focus surface is set to a position where an angle formed by the focus surface with respect to the optical axis is smaller. Imaging device.
前記撮像素子の撮像面と前記撮像光学系の光軸に直交する面との間のあおり角を変更するあおり撮像において、前記撮像光学系に含まれるフォーカスレンズの位置および前記あおり角のうち少なくとも一方を制御して、ピント面を前記光軸に対して該ピント面がなす角度が異なるいずれかの位置に設定するステップを有し、
前記ステップにおいて、前記ピント面が地面である第１の位置にあるときに前記第１の位置よりも下側に被写界深度が存在する場合に、前記フォーカスレンズの位置および前記あおり角の少なくとも一方を制御して、前記被写界深度の一端が前記第１の位置に位置するように第２の位置に前記ピント面の位置を設定することを特徴とする制御方法。 A method of controlling an imaging device having an image sensor that captures an optical image formed by an imaging optical system, the method comprising:
In tilt imaging that changes the tilt angle between the imaging surface of the image sensor and a surface perpendicular to the optical axis of the imaging optical system, at least one of the position of a focus lens included in the imaging optical system and the tilt angle. controlling the focus plane to set the focus plane at any position where the angle the focus plane makes with respect to the optical axis is different;
In the step, when the depth of field exists below the first position when the focus plane is at the first position which is the ground, at least the position of the focus lens and the tilt angle are A control method characterized in that the focus plane is set at a second position so that one end of the depth of field is located at the first position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/880,066 US11722775B2 (en) | 2021-08-17 | 2022-08-03 | Image pickup apparatus and controlling method thereof |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021132724 | 2021-08-17 | ||
| JP2021132724 | 2021-08-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023027743A JP2023027743A (en) | 2023-03-02 |
| JP7419427B2 true JP7419427B2 (en) | 2024-01-22 |
Family
ID=85330494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022069042A Active JP7419427B2 (en) | 2021-08-17 | 2022-04-19 | Imaging device and its control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7419427B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020106630A (en) | 2018-12-27 | 2020-07-09 | キヤノン株式会社 | Control device, imaging apparatus and program |
| JP2020144158A (en) | 2019-03-04 | 2020-09-10 | キヤノン株式会社 | Imaging device and control device therefor |
| JP2020194125A (en) | 2019-05-29 | 2020-12-03 | キヤノン株式会社 | Information processing device, imaging device, camera system, information processing method, a program, and storage medium |
| JP2021005860A (en) | 2019-06-25 | 2021-01-14 | キヤノン株式会社 | Imaging apparatus and method for controlling imaging apparatus |
| JP2021113909A (en) | 2020-01-20 | 2021-08-05 | キヤノン株式会社 | Control unit, imaging apparatus, surveillance camera system, control method, and program |
-
2022
- 2022-04-19 JP JP2022069042A patent/JP7419427B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020106630A (en) | 2018-12-27 | 2020-07-09 | キヤノン株式会社 | Control device, imaging apparatus and program |
| JP2020144158A (en) | 2019-03-04 | 2020-09-10 | キヤノン株式会社 | Imaging device and control device therefor |
| JP2020194125A (en) | 2019-05-29 | 2020-12-03 | キヤノン株式会社 | Information processing device, imaging device, camera system, information processing method, a program, and storage medium |
| JP2021005860A (en) | 2019-06-25 | 2021-01-14 | キヤノン株式会社 | Imaging apparatus and method for controlling imaging apparatus |
| JP2021113909A (en) | 2020-01-20 | 2021-08-05 | キヤノン株式会社 | Control unit, imaging apparatus, surveillance camera system, control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023027743A (en) | 2023-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11750939B2 (en) | Imaging apparatus, imaging control method, and storage medium | |
| US11343432B2 (en) | Imaging apparatus | |
| US10659691B2 (en) | Control device and imaging apparatus | |
| JP7362360B2 (en) | Control device, imaging device, lens device, and program | |
| EP3667409B1 (en) | Control apparatus, imaging apparatus and program | |
| US20090095880A1 (en) | Autofocus control circuit, autofocus control method and image pickup apparatus | |
| US11582394B2 (en) | Control apparatus, control method, and storage medium for providing tilt control | |
| JP2008052123A (en) | Imaging apparatus | |
| JP5455361B2 (en) | Auto focus system | |
| US11190675B2 (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
| CN114567725B (en) | Image pickup apparatus having event camera | |
| JP2006058431A (en) | Autofocusing system | |
| JP2010145965A (en) | Autofocus system | |
| JPH089424A (en) | Stereoscopic image pickup controller | |
| JP7419427B2 (en) | Imaging device and its control method | |
| US20150281554A1 (en) | Image-capturing apparatus | |
| KR20200014204A (en) | Control apparatus, imaging apparatus, and storage medium | |
| US11722775B2 (en) | Image pickup apparatus and controlling method thereof | |
| JP5004099B2 (en) | Cursor movement control method and cursor movement control apparatus | |
| JP6260399B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| US12003854B2 (en) | Imaging device, storage medium, and method of controlling imaging device | |
| JP7427912B2 (en) | Imaging device | |
| KR20240010421A (en) | Image capturing apparatus, control method, and computer program | |
| JP7293309B2 (en) | IMAGING DEVICE, CONTROL METHOD AND STORAGE MEDIUM | |
| JP7293310B2 (en) | IMAGING DEVICE, CONTROL METHOD, AND STORAGE MEDIUM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220623 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230705 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231030 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240110 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7419427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |