JP2020067503A

JP2020067503A - Imaging device, monitoring system, method for controlling imaging device, and program

Info

Publication number: JP2020067503A
Application number: JP2018198489A
Authority: JP
Inventors: 愛彦沼田; Aihiko Numata
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-10-22
Filing date: 2018-10-22
Publication date: 2020-04-30

Abstract

To provide an imaging device capable of suppressing an increase in deviation from a focusing position, a monitoring system, a method for controlling an imaging device, and a program.SOLUTION: An imaging device includes: a solid state imaging element for outputting image information; an image formation optical system for adjusting a diaphragm; and control means for controlling the diaphragm of the image formation opticals system so as to include a first region in which an evaluation value showing recognition performance is equal to or more than a first threshold among a plurality of regions constituting the image information, within the depth of field.SELECTED DRAWING: Figure 4

Description

本発明は、撮像装置、監視システム、撮像装置の制御方法およびプログラムに関する。 The present invention relates to an imaging device, a monitoring system, a method for controlling the imaging device, and a program.

コンパクトカメラやデジタルスチルカメラ等の撮像装置を用いて、複数の人物を撮影する場合、各人物に対してピントが合っていることが要求される場合がある。関連する技術として、特許文献１の撮像装置が提案されている。特許文献１の撮像装置では、複数の特定被写体のうちの最至近の特定被写体から最遠方の特定被写体までの距離を算出して、そのほぼ中央の位置が被写界深度の中心となるように、絞りと撮影光学系とが駆動される。 When a plurality of persons are photographed using an imaging device such as a compact camera or a digital still camera, it may be required that each person be in focus. As a related technique, the imaging device of Patent Document 1 has been proposed. In the imaging device of Patent Document 1, the distance from the closest specific subject of the plurality of specific subjects to the farthest specific subject is calculated, and the substantially central position thereof becomes the center of the depth of field. , The diaphragm and the photographing optical system are driven.

特開２０１２−１８１３２４号公報JP2012-181324A

例えば、撮像装置が監視カメラ等の用途に使用される場合、被写体が人物であるか否かによらず、特定の被写体にピントが合っていることが求められることがある。このような撮像装置では、常に特定の領域を撮影し続けるために、合焦位置を固定した連続撮影を継続する必要がある。この点、特許文献１の撮像装置では、最至近の特定被写体と最遠方の特定被写体との中心に基づいて合焦位置が調節されてしまうため、合焦位置が変化することがある。特に、現在の合焦位置から最至近の特定被写体までの距離の逆数、または現在の合焦点位置から最遠方の特定被写体までの距離の逆数が大きい場合、現在の合焦位置からのずれが大きくなってしまう。 For example, when the image pickup apparatus is used for a surveillance camera or the like, it may be required that a specific subject be in focus regardless of whether or not the subject is a person. In such an image pickup apparatus, continuous shooting with a fixed focus position needs to be continued in order to always shoot a specific area. In this regard, in the image pickup apparatus of Patent Document 1, the focus position is adjusted based on the centers of the closest specific subject and the farthest specific subject, so the focus position may change. In particular, if the reciprocal of the distance from the current focus position to the closest specific subject or the reciprocal of the distance from the current focus position to the farthest specific subject is large, the deviation from the current focus position is large. turn into.

本発明の目的は、合焦位置からのずれが大きくなることを抑制することができる撮像装置、監視システム、撮像装置の制御方法およびプログラムを提供することにある。 An object of the present invention is to provide an image pickup apparatus, a monitoring system, a control method for the image pickup apparatus, and a program capable of suppressing a large deviation from the in-focus position.

上記目的を達成するために、本発明の撮像装置は、画像情報を出力する固体撮像素子と、絞りを調節する結像光学系と、前記画像情報を構成する複数の領域のうち、認識性能を示す評価値が第１閾値以上の第１領域を被写界深度内に収めるように前記結像光学系の前記絞りを制御する制御手段と、を備えることを特徴とする。 In order to achieve the above-mentioned object, an imaging device of the present invention has a solid-state imaging device that outputs image information, an imaging optical system that adjusts a diaphragm, and a recognition performance of a plurality of regions that configure the image information. And a control unit that controls the diaphragm of the imaging optical system so that a first region having an evaluation value that is equal to or larger than a first threshold value is included in the depth of field.

本発明によれば、合焦位置からのずれが大きくなることを抑制することができる。 According to the present invention, it is possible to suppress a large deviation from the in-focus position.

撮像装置の構成例を示す図である。It is a figure which shows the structural example of an imaging device. 結像光学系の断面図および絞りの部分を示す図である。FIG. 3 is a cross-sectional view of an imaging optical system and a diagram showing a stop portion. 固体撮像素子の各画素と結像光学系の射出瞳領域との関係を示す図である。It is a figure which shows the relationship between each pixel of a solid-state image sensor, and the exit pupil area of an imaging optical system. 第１実施形態に係る処理の流れを示すフローチャートである。It is a flow chart which shows a flow of processing concerning a 1st embodiment. 第１実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。It is a figure which shows the distance distribution of a to-be-photographed object which concerns on 1st Embodiment, an in-focus position, and an example of depth of field. 画素信号レベルのヒストグラムおよび合焦位置からの距離の逆数とカットオフ周波数との関係を示す図である。It is a figure which shows the histogram of a pixel signal level, and the relationship of the reciprocal of the distance from a focus position, and a cutoff frequency. 他の例における固体撮像素子の各画素と結像光学系の射出瞳領域との関係を示す図である。It is a figure which shows each pixel of the solid-state image sensor in another example, and the relationship of the exit pupil area of an imaging optical system. 第２実施形態の処理の流れを示すフローチャートである。It is a flow chart which shows a flow of processing of a 2nd embodiment. 第２実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。It is a figure which shows the distance distribution of a to-be-photographed object which concerns on 2nd Embodiment, an in-focus position, and an example of depth of field. 第３実施形態に係る第１閾値の設定方法を説明する図である。It is a figure explaining the setting method of the 1st threshold value concerning a 3rd embodiment. 第４実施形態に係る監視システムの構成例を示す図である。It is a figure which shows the structural example of the monitoring system which concerns on 4th Embodiment.

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the configurations described in each of the following embodiments are merely examples, and the scope of the present invention is not limited by the configurations described in each of the embodiments.

＜第１実施形態＞
図１は、各実施形態に係る撮像装置１００の構成例を示す図である。撮像装置１００は、結像光学系１０１、固体撮像素子１０２および制御部１０４を有する。固体撮像素子１０２は、距離情報取得手段１０３の機能を併せ持つ。制御部１０４は、ＣＰＵ２００、ＲＡＭ２０１およびＲＯＭ２０２を有する制御手段である。例えば、ＲＯＭ２０２に記憶されている所定のプログラムがＲＡＭ２０１に展開され、ＣＰＵ２００がＲＡＭ２０１に展開されたプログラムを実行することにより、各実施形態の処理が実現されてもよい。制御部１０４は、所定のプログラミング回路等により実現されてもよい。制御部１０４は、所定の画像処理を実施する画像処理部としても機能する。 <First Embodiment>
FIG. 1 is a diagram illustrating a configuration example of an imaging device 100 according to each embodiment. The image pickup apparatus 100 has an image forming optical system 101, a solid-state image pickup element 102, and a controller 104. The solid-state image sensor 102 also has the function of the distance information acquisition unit 103. The control unit 104 is a control unit having a CPU 200, a RAM 201 and a ROM 202. For example, a predetermined program stored in the ROM 202 may be expanded in the RAM 201, and the CPU 200 may execute the program expanded in the RAM 201 to implement the processing of each embodiment. The control unit 104 may be realized by a predetermined programming circuit or the like. The control unit 104 also functions as an image processing unit that performs predetermined image processing.

図２は、結像光学系１０１の断面図および絞り１０８の部分を示す図である。図２（Ａ）に示されるように、結像光学系１０１は、絞り調節機構１０５、焦点調節機構１０６、フォーカスレンズ１０７および絞り１０８を有する。図２（Ａ）は、＋Ｙ方向から見た場合の結像光学系１０１の断面図である。Ｘ軸とＹ軸とＺ軸とは、相互に直交する関係にあるものとする。結像光学系１０１は、複数のレンズを有しており、当該複数のレンズのうち１つがフォーカスレンズ１０７である。焦点調節機構１０６は、例えば、ステッピングモーター等の駆動機構であり、フォーカスレンズ１０７を光軸方向（Ｚ軸方向）に移動させる。これにより、結像光学系１０１（フォーカスレンズ１０７）の合焦位置が調節される。また、結像光学系１０１は、複数の絞り羽根が重なり合って開口を形成する絞り１０８を有している。絞り調節機構１０５は、例えば、ステッピングモーター等によって絞り羽根（絞り１０８）の開口部の大きさを制御することで、結像光学系１０１の絞り値を調節する。図２（Ｂ）は、絞り羽根が８枚の場合の、絞り１０８の部分を−Ｚ方向から見た場合の平面図である。絞り羽根の枚数は、任意の枚数であってよい。 FIG. 2 is a cross-sectional view of the image forming optical system 101 and a diagram showing a portion of the diaphragm 108. As shown in FIG. 2A, the imaging optical system 101 has a diaphragm adjusting mechanism 105, a focus adjusting mechanism 106, a focus lens 107, and a diaphragm 108. FIG. 2A is a sectional view of the imaging optical system 101 when viewed from the + Y direction. It is assumed that the X axis, the Y axis, and the Z axis are in a relationship orthogonal to each other. The imaging optical system 101 has a plurality of lenses, and one of the plurality of lenses is a focus lens 107. The focus adjustment mechanism 106 is, for example, a drive mechanism such as a stepping motor, and moves the focus lens 107 in the optical axis direction (Z-axis direction). As a result, the focus position of the imaging optical system 101 (focus lens 107) is adjusted. Further, the imaging optical system 101 has a diaphragm 108 in which a plurality of diaphragm blades are overlapped to form an aperture. The aperture adjusting mechanism 105 adjusts the aperture value of the imaging optical system 101 by controlling the size of the aperture of the aperture blade (aperture 108) by, for example, a stepping motor or the like. FIG. 2B is a plan view of the diaphragm 108 as viewed from the −Z direction when the number of diaphragm blades is eight. The number of diaphragm blades may be any number.

次に、固体撮像素子１０２について説明する。固体撮像素子１０２は、結像光学系１０１の光軸上に配置されており、被写体の画像情報を取得可能に構成されている。固体撮像素子１０２で取得された被写体の画像情報は、制御部１０４に出力（転送）される。制御部１０４は、被写体の画像情報（画像）を構成する各領域の認識性能評価値（認識性能を示す評価値）を取得する。各実施形態では、各領域のサイズは、１０×１０画素以上であり、且つ１００×１００画素以下に設定されるものとして説明するが、各領域は任意の画素数により構成されてよい。 Next, the solid-state image sensor 102 will be described. The solid-state image sensor 102 is arranged on the optical axis of the imaging optical system 101, and is configured to be able to acquire image information of a subject. The image information of the subject acquired by the solid-state image sensor 102 is output (transferred) to the control unit 104. The control unit 104 acquires the recognition performance evaluation value (evaluation value indicating the recognition performance) of each area forming the image information (image) of the subject. In each embodiment, the size of each area is set to 10 × 10 pixels or more and set to 100 × 100 pixels or less, but each area may be configured by an arbitrary number of pixels.

認識性能評価値は、画像の各領域中の被写体を認識可能であるか否かを示す評価指標である。被写体が認識可能であるか否かは、被写体の視認性によって定められてもよい。例えば、認識性能評価値が高い被写体は視認性が高い被写体であり、認識性能評価値が低い被写体は視認性が低い被写体である。認識性能評価値は、画像における各領域のコントラストや明るさ、色差、空間周波数成分等の評価指標に応じて、または各評価指標の組み合わせに応じて決定される。以下、認識性能評価値に、コントラストが適用された例について説明する。この場合、各領域における最大信号レベルと最小信号レベルとの差（コントラスト）が認識性能評価値となる。コントラストが適用された認識性能評価値は、コントラスト評価値である。認識性能評価値に、各領域における明るさ、色差、空間周波数成分等を適用した例については、後述する。 The recognition performance evaluation value is an evaluation index indicating whether or not the subject in each area of the image can be recognized. Whether or not the subject can be recognized may be determined by the visibility of the subject. For example, a subject having a high recognition performance evaluation value is a subject having high visibility, and a subject having a low recognition performance evaluation value is a subject having low visibility. The recognition performance evaluation value is determined according to an evaluation index such as contrast, brightness, color difference, and spatial frequency component of each area in the image, or according to a combination of each evaluation index. Hereinafter, an example in which contrast is applied to the recognition performance evaluation value will be described. In this case, the difference (contrast) between the maximum signal level and the minimum signal level in each area is the recognition performance evaluation value. The recognition performance evaluation value to which contrast is applied is a contrast evaluation value. An example in which the brightness, color difference, spatial frequency component, etc. in each area are applied to the recognition performance evaluation value will be described later.

上述したように、固体撮像素子１０２は、距離情報取得手段１０３の機能を併せ持つ。図３は、固体撮像素子１０２の中の各々の画素１１０と、結像光学系１０１の射出瞳領域との関係を示す図である。画素１１０は、第１光電変換部１１１、第２光電変換部１１２およびマイクロレンズ１１３を有している。マイクロレンズ１１３は、第１光電変換部１１１と第２光電変換部１１２とに跨って配置されている。第１光電変換部１１１は、結像光学系１０１の射出瞳１２３のうち、第１瞳領域１２１からの光束を受光できるようになっている。第２光電変換部１１２は、結像光学系１０１の射出瞳１２３のうち、第２瞳領域１２２からの光束を受光できるようになっている。ここで、複数の画素１１０の中の第１光電変換部１１１からの信号で生成された第１画像と、複数の画素１１０の中の第２光電変換部１１２からの信号で生成された第２画像との間のずれ量から、像ずれ量を求めることができる。当該像ずれ量に対して三角測量の原理を適用することで、被写体までの距離を求めることができる。そして、第１光電変換部１１１からの信号と第２光電変換部１１２からの信号との和に基づいて、被写体の画像情報（第３画像）を取得することができる。 As described above, the solid-state image sensor 102 also has the function of the distance information acquisition unit 103. FIG. 3 is a diagram showing the relationship between each pixel 110 in the solid-state image sensor 102 and the exit pupil area of the imaging optical system 101. The pixel 110 has a first photoelectric conversion unit 111, a second photoelectric conversion unit 112, and a microlens 113. The microlens 113 is arranged across the first photoelectric conversion unit 111 and the second photoelectric conversion unit 112. The first photoelectric conversion unit 111 can receive the light flux from the first pupil region 121 of the exit pupil 123 of the imaging optical system 101. The second photoelectric conversion unit 112 can receive the light flux from the second pupil region 122 of the exit pupil 123 of the imaging optical system 101. Here, the first image generated by the signal from the first photoelectric conversion unit 111 in the plurality of pixels 110 and the second image generated by the signal from the second photoelectric conversion unit 112 in the plurality of pixels 110. The image shift amount can be obtained from the shift amount from the image. By applying the principle of triangulation to the image shift amount, the distance to the subject can be obtained. Then, based on the sum of the signal from the first photoelectric conversion unit 111 and the signal from the second photoelectric conversion unit 112, the image information (third image) of the subject can be acquired.

次に、第１実施形態に係る処理について説明する。図４は、第１実施形態に係る処理の流れを示すフローチャートである。以下、撮像装置１００は、被写界深度優先モードに設定されているものとする。被写界深度優先モードの設定については後述する。制御部１０４は、固体撮像素子１０２で取得された被写体の画像情報と、距離情報取得手段１０３で取得された距離情報とに基づいて、画像情報の各領域における距離情報を取得する（Ｓ１１）。そして、制御部１０４は、固体撮像素子１０２で取得された被写体の画像情報に基づいて、画像における各領域の認識性能評価値を算出する（Ｓ１２）。上述したように、画像（画像情報）は、複数の領域により構成されている。制御部１０４は、Ｓ１２で算出された各領域の認識性能評価値と、第１閾値との比較結果に基づいて、各領域のそれぞれを、領域Ａ（第１領域）または領域Ｂ（第２領域）に振り分ける（Ｓ１３）。制御部１０４は、画像を構成する各領域のそれぞれについて、認識性能評価値が第１閾値以上の領域を領域Ａに振り分け、認識性能評価値が第１閾値未満の領域を領域Ｂに振り分ける。これにより、画像を構成する各領域は、領域Ａまたは領域Ｂの何れかに設定される。 Next, the processing according to the first embodiment will be described. FIG. 4 is a flowchart showing the flow of processing according to the first embodiment. Hereinafter, it is assumed that the imaging device 100 is set in the depth of field priority mode. The setting of the depth of field priority mode will be described later. The control unit 104 acquires the distance information in each area of the image information based on the image information of the subject acquired by the solid-state image sensor 102 and the distance information acquired by the distance information acquisition unit 103 (S11). Then, the control unit 104 calculates the recognition performance evaluation value of each region in the image based on the image information of the subject acquired by the solid-state image sensor 102 (S12). As described above, the image (image information) is composed of a plurality of areas. The control unit 104 sets each of the areas to the area A (first area) or the area B (second area) based on the comparison result between the recognition performance evaluation value of each area calculated in S12 and the first threshold. )) (S13). For each of the regions forming the image, the control unit 104 allocates a region having a recognition performance evaluation value equal to or higher than a first threshold to a region A, and allocates a region having a recognition performance evaluation value less than the first threshold to a region B. As a result, each area forming the image is set to either the area A or the area B.

制御部１０４は、Ｓ１３で求めた全ての領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下になるように、結像光学系１０１の合焦位置および絞りを調節する（Ｓ１４）。つまり、制御部１０４は、認識性能評価値が第１閾値未満の領域Ｂについては、被写界深度内に収まらなくてもよいと判定する。上述したように、認識性能評価値がコントラストの場合、画像信号のうち、最大信号レベルと最小信号レベルとの差が認識性能評価値となる。この場合、第１閾値は、画素信号の飽和レベルとダークレベルとの差の６４分の１以上に設定されることが好ましい。また、第１閾値は、画素信号の飽和レベルとダークレベルとの差の１６分の１以上に設定されると、さらに好ましい。被写界深度は、画像の１画素分の大きさで決定される許容錯乱円、および結像光学系１０１の結像特性から求めることができる。上述した例では、認識性能評価値としてコントラストを適用した例について説明したが、認識性能評価値には、他の評価指標（コントラストや明るさ、色差、空間周波数成分等）が適用されてもよい。他の評価指標が認識性能評価値に適用された場合、適用された認識性能評価値に対応する第１閾値が設定される。 The control unit 104 controls the focus position and the aperture of the imaging optical system 101 so that the shift amount of the focus position is equal to or less than the second threshold value while keeping the entire area A obtained in S13 within the depth of field. Is adjusted (S14). That is, the control unit 104 determines that the region B whose recognition performance evaluation value is less than the first threshold does not have to be within the depth of field. As described above, when the recognition performance evaluation value is contrast, the difference between the maximum signal level and the minimum signal level of the image signal becomes the recognition performance evaluation value. In this case, it is preferable that the first threshold value is set to 1/64 or more of the difference between the saturation level and the dark level of the pixel signal. Further, it is more preferable that the first threshold value is set to 1/16 or more of the difference between the saturation level and the dark level of the pixel signal. The depth of field can be obtained from the permissible circle of confusion determined by the size of one pixel of the image and the imaging characteristics of the imaging optical system 101. In the above-mentioned example, an example in which contrast is applied as the recognition performance evaluation value has been described, but other evaluation indexes (contrast, brightness, color difference, spatial frequency component, etc.) may be applied to the recognition performance evaluation value. . When another evaluation index is applied to the recognition performance evaluation value, the first threshold value corresponding to the applied recognition performance evaluation value is set.

上述したように、Ｓ１４において、制御部１０４は、全ての領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下になるように、結像光学系１０１の合焦位置および絞りを調節する。このとき、制御部１０４は、Ｓ１１で求めた各領域の距離情報を用いて、調節前と調節後との間の結像光学系１０１の合焦位置のずらし量が第２閾値以下となるように、合焦位置を調節する。第２閾値は、合焦位置のずれ量が目立たない程度の値に設定することができる。例えば、第２閾値は、結像光学系１０１の絞り１０８を最も開放した場合の被写界深度の５倍に設定されることが好ましい。また、第２閾値が、結像光学系１０１の絞りを最も開放した場合の被写界深度の２倍に設定されると、さらに好ましい。 As described above, in S14, the control unit 104 adjusts the focusing optical system 101 so that the shift amount of the focusing position is equal to or less than the second threshold value while keeping the entire area A within the depth of field. Adjust the focus position and aperture. At this time, the control unit 104 uses the distance information of each area obtained in S11 so that the shift amount of the focusing position of the imaging optical system 101 before and after the adjustment becomes equal to or less than the second threshold value. Adjust the in-focus position. The second threshold can be set to a value such that the amount of shift of the in-focus position is inconspicuous. For example, the second threshold value is preferably set to 5 times the depth of field when the diaphragm 108 of the imaging optical system 101 is fully opened. Further, it is more preferable that the second threshold value is set to twice the depth of field when the diaphragm of the imaging optical system 101 is fully opened.

図５は、第１実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。図５において、領域Ａおよび領域Ｂは被写体であるものとし、領域Ａと領域Ｂとの何れであるかを識別するラベルが各被写体に付されている。図５における被写体は人物を示しているが、被写体は人物以外であってもよい。図５（Ａ）は、Ｓ１４の調節前における被写体の距離分布、合焦位置および被写界深度の例を示す。図５（Ｂ）は、Ｓ１４の調節後における被写体の距離分布、合焦位置および被写界深度の例を示す。Ｓ１４の合焦位置および絞りの調節が行われることで、合焦位置のずれ量を低減しつつ、適正な被写界深度での撮影が可能となる。 FIG. 5 is a diagram showing an example of the distance distribution of the subject, the focus position, and the depth of field according to the first embodiment. In FIG. 5, regions A and B are assumed to be subjects, and a label for identifying which of regions A and B is attached to each subject. Although the subject in FIG. 5 shows a person, the subject may be other than a person. FIG. 5A shows an example of the distance distribution of the subject, the focus position, and the depth of field before the adjustment in S14. FIG. 5B shows an example of the distance distribution of the subject, the focus position, and the depth of field after the adjustment of S14. By adjusting the focus position and the aperture in S14, it is possible to reduce the shift amount of the focus position and shoot with an appropriate depth of field.

絞り１０８を絞ることにより、被写界深度外に位置していた領域を被写界深度内に収めることができるため、視認性が向上する。しかしながら、認識性能評価値がもともと低い領域（例えば空やテクスチャの無い壁等）は、被写界深度内に収めたとしても十分な視認性を得ることができない。図５（Ａ）は、実施形態のＳ１４の調節が行われていない状態である。この場合、認識性能評価値によらず、全ての領域を被写界深度内に収めるように、結像光学系１０１の合焦位置および絞りが調節されると、合焦位置のずれ量が大きくなってしまう。図５（Ａ）の例において、端部に位置する被写体Ｂが、被写界深度内に収めたとしても十分な視認性を得ることができない被写体である場合、当該被写体Ｂを被写界深度内に収めようとすると、合焦位置が大きくずれる。 By narrowing the diaphragm 108, the region located outside the depth of field can be accommodated within the depth of field, so that the visibility is improved. However, in a region where the recognition performance evaluation value is originally low (for example, the sky or a wall without texture), sufficient visibility cannot be obtained even if it is contained within the depth of field. FIG. 5A shows a state in which the adjustment of S14 of the embodiment is not performed. In this case, if the focus position and the diaphragm of the imaging optical system 101 are adjusted so that the entire area is within the depth of field, the shift amount of the focus position is large regardless of the recognition performance evaluation value. turn into. In the example of FIG. 5A, if the subject B located at the end is a subject that cannot obtain sufficient visibility even if it is contained within the depth of field, the subject B is set to the depth of field. If you try to fit it in, the focus position will shift significantly.

一方、各実施形態の制御部１０４は、被写界深度内に収めることによって十分な視認性が得られる領域Ａ（認識性能評価値が第１閾値以上の領域）については被写界深度内に収めるように制御している。一方、制御部１０４は、被写界深度内に収めても十分な視認性が得られない領域Ｂ（認識性能評価値が第１閾値未満の領域）については、被写界深度内に収める対象から除外している。つまり、制御部１０４は、被写界深度内に収めても十分な視認性が得られない領域Ｂは、被写界深度内に収めなくてよいと判定している。例えば、図５（Ｂ）の場合、被写界深度に収まっていない領域Ｂ（端部の領域Ｂ）が存在するが、領域Ｂは、被写界深度内に収めても十分な視認性が得られない領域である。従って、制御部１０４は、当該領域Ｂを除外して、領域Ａが被写界深度内に収まるように合焦位置を制御する。これにより、合焦位置のずれ量が大きくなることが抑制される。 On the other hand, the control unit 104 of each embodiment sets the region A (where the recognition performance evaluation value is the first threshold value or more) in which sufficient visibility is obtained by keeping the depth of field within the depth of field. It is controlled to fit. On the other hand, the control unit 104 sets a region B (where the recognition performance evaluation value is less than the first threshold value) in which sufficient visibility is not obtained even if it is included in the depth of field, as a target to be included in the depth of field. Excluded from. That is, the control unit 104 determines that the region B in which sufficient visibility is not obtained even if it is included in the depth of field need not be included in the depth of field. For example, in the case of FIG. 5B, there is a region B (end region B) that is not within the depth of field, but the region B has sufficient visibility even if it is within the depth of field. This is an area that cannot be obtained. Therefore, the control unit 104 excludes the region B and controls the focus position so that the region A falls within the depth of field. As a result, it is possible to prevent the shift amount of the in-focus position from increasing.

そして、制御部１０４は、合焦位置および絞りの調節前と調節後との間の結像光学系１０１の合焦位置のずらし量が第２閾値以下となるように、合焦位置および絞りを調節している。これにより、合焦位置のずれ量が大きくなることを、さらに抑制することができる。このとき、制御部１０４は、合焦位置のずらし量が第２閾値以下となるように制御することなく、各領域Ａが被写界深度内に収まるように合焦位置の制御を行ってもよい。この場合でも、合焦位置のずれ量が大きくなることが抑制される。ただし、合焦位置のずらし量が第２閾値を超えると、合焦位置のずれ量が大きくなる。従って、制御部１０４は、各領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下となるように制御することが好ましい。これにより、合焦位置のずれ量の抑制効果がより高くなり、各領域Ａの視認性がさらに向上する。 Then, the control unit 104 sets the focus position and the aperture so that the shift amount of the focus position of the imaging optical system 101 between before and after the adjustment of the focus position and the aperture becomes the second threshold value or less. I am adjusting. As a result, it is possible to further suppress an increase in the shift amount of the in-focus position. At this time, the control unit 104 may control the focus position so that each area A is within the depth of field without controlling the shift amount of the focus position to be equal to or less than the second threshold value. Good. Even in this case, it is possible to prevent the shift amount of the in-focus position from increasing. However, when the shift amount of the focus position exceeds the second threshold value, the shift amount of the focus position becomes large. Therefore, it is preferable that the control unit 104 controls each of the areas A so that the shift amount of the in-focus position is equal to or less than the second threshold value while keeping the area A within the depth of field. As a result, the effect of suppressing the shift amount of the in-focus position is further enhanced, and the visibility of each area A is further improved.

ここで、撮像装置１００が、監視カメラ等のように、常に特定の領域を撮影し続けるカメラである場合、合焦位置を固定した連続撮影（または逐次撮影）を継続する必要がある。このとき、撮像装置１００の前を物体（領域Ｂに対応する物体）が横切った場合等の状況下では、撮影環境が変化し、合焦位置が変化する。例えば、撮像装置１００の前を上記物体が横切った場合等においては、合焦位置が大きく変化する。この点、本実施形態の撮像装置１００の制御部１０４は、各領域Ａを被写界深度内に収めるように制御するが、領域Ｂを被写界深度内に収めないように制御している。これにより、上記物体が撮像装置１００の前を横切ったとしても、合焦位置が大きく変化することが抑制される。 Here, when the image capturing apparatus 100 is a camera that constantly captures a specific area, such as a surveillance camera, it is necessary to continue continuous capturing (or sequential capturing) with a fixed focus position. At this time, in a situation where an object (an object corresponding to the area B) crosses in front of the imaging device 100, the shooting environment changes and the focus position changes. For example, when the object crosses the front of the imaging device 100, the focus position changes significantly. In this respect, the control unit 104 of the imaging apparatus 100 of the present embodiment controls each area A so as to be within the depth of field, but controls the area B so as not to be within the depth of field. . As a result, even if the object crosses the front of the imaging device 100, a large change in the in-focus position is suppressed.

上述したように、制御部１０４は、各領域Ａを被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下となるように制御する。このため、領域Ｂの視認性は低くなる。制御部１０４は、領域Ｂに対して、画像の輪郭部の認識性能比を画像処理で強調することで、視認性を向上させてもよい。例えば、制御部１０４は、領域Ｂにおいて、元の画像の画素信号に対して、その２次微分との間の差分を取る演算（所謂、ラプラシアンフィルタ）を実施することで、画像の輪郭部の認識性能比を向上させることができる。これにより、被写界深度内に収めなくてもよいと判定された領域Ｂについての視認性も向上させることができる。 As described above, the control unit 104 controls each area A so that the shift amount of the in-focus position is equal to or less than the second threshold value while keeping the area A within the depth of field. Therefore, the visibility of the area B is low. The control unit 104 may improve the visibility by emphasizing the recognition performance ratio of the contour portion of the image in the region B by image processing. For example, in the area B, the control unit 104 performs an operation (a so-called Laplacian filter) on the pixel signal of the original image to obtain the difference between the pixel signal and the second derivative, so that the contour portion of the image is detected. The recognition performance ratio can be improved. As a result, it is possible to improve the visibility of the region B that is determined not to fit within the depth of field.

制御部１０４は、被写界深度内に収めると判定した各領域Ａのうち、認識性能評価値が十分に高い領域（第３閾値よりも大きい領域）を、被写界深度内に収めないように制御してもよい。第３閾値は第１閾値よりも大きい値であり、被写界深度内に収めなくても十分な視認性が得られていると判定できる値である。従って、制御部１０４が、被写界深度内に収める領域は、認識性能評価値が第１閾値以上であり、且つ第３閾値以下の領域である。画素信号のうち、最大信号レベルと最小信号レベルとの差（コントラスト）が認識性能評価値として適用される場合、第３閾値は、画素信号の飽和レベルとダークレベルとの差の２分の１以下に設定されることが好ましい。換言すれば、制御部１０４は、認識性能評価値が第１閾値以上であって、第３閾値以下である領域を、被写界深度内に収めつつ、合焦位置のずらし量が第２閾値以下となるように、結像光学系１０１の合焦位置および絞りを調節する。これにより、結像光学系１０１のＦ値を明るく保ちつつ、領域Ａに対して十分な視認性を得ることができる。その結果、画像のＳＮ比を低減させずに、より適正な被写界深度での撮影を可能とすることができる。認識性能評価値にコントラスト以外の他の評価指標が用いられる場合は、当該他の評価指標に応じた第３閾値が設定される。 The control unit 104 does not allow an area having a sufficiently high recognition performance evaluation value (area larger than the third threshold value) to be included in the depth of field among the areas A determined to be included in the depth of field. You may control to. The third threshold value is a value larger than the first threshold value, and is a value that can be determined to be sufficient visibility even if it is not included in the depth of field. Therefore, the area that the control unit 104 stores within the depth of field is an area where the recognition performance evaluation value is equal to or higher than the first threshold and equal to or lower than the third threshold. When the difference (contrast) between the maximum signal level and the minimum signal level among the pixel signals is applied as the recognition performance evaluation value, the third threshold value is one half of the difference between the saturation level and the dark level of the pixel signal. The following settings are preferable. In other words, the control unit 104 keeps the region whose recognition performance evaluation value is equal to or higher than the first threshold value and equal to or lower than the third threshold value within the depth of field, and shifts the focus position by the second threshold value. The focus position and the diaphragm of the imaging optical system 101 are adjusted as follows. This makes it possible to obtain sufficient visibility for the area A while keeping the F value of the imaging optical system 101 bright. As a result, it is possible to shoot with a more appropriate depth of field without reducing the SN ratio of the image. When the evaluation index other than the contrast is used as the recognition performance evaluation value, the third threshold value is set according to the other evaluation index.

上述したように、制御部１０４は、認識性能評価値として、コントラストとは異なる他の評価指標を使用してもよい。例えば、図６（Ａ）に示されるように、制御部１０４は、各領域内の画素信号レベルのヒストグラムを生成し、ヒストグラムから認識性能評価値を求めてもよい。例えば、制御部１０４は、画素信号レベルが最も大きい方から所定数の画素、および画素信号レベルが最も小さい方から所定数の画素を除外した場合における画素信号レベルの最大値と最小値との差を認識性能評価値として定義してもよい。上記所定数の画素は、例えば、１割の画素である。このように、ヒストグラムを用いて認識性能評価値が定義されることで、キズ画素等に起因する特異点が画像中に存在した場合でも、領域の視認性を正確に評価することができる。 As described above, the control unit 104 may use another evaluation index different from the contrast as the recognition performance evaluation value. For example, as shown in FIG. 6A, the control unit 104 may generate a histogram of the pixel signal level in each area and obtain the recognition performance evaluation value from the histogram. For example, the control unit 104 excludes a predetermined number of pixels from the highest pixel signal level and a difference between the maximum and minimum pixel signal levels when a predetermined number of pixels from the lowest pixel signal level are excluded. May be defined as the recognition performance evaluation value. The predetermined number of pixels is, for example, 10% of pixels. In this way, by defining the recognition performance evaluation value using the histogram, it is possible to accurately evaluate the visibility of the area even when a singular point due to a defective pixel or the like exists in the image.

また、制御部１０４は、コントラストの大小だけではなく、コントラストの空間周波数依存性を用いて認識性能評価値を求めてもよい。例えば、制御部１０４は、高い空間周波数のコントラスト成分に対する、低い空間周波数のコントラスト成分の比（周波数成分比）を認識性能評価値として定義することができる。なお、コントラスト成分の周波数依存性は、画像における各領域の画素信号を２次元フーリエ変換することで求めることができる。 The control unit 104 may obtain the recognition performance evaluation value using not only the contrast magnitude but also the spatial frequency dependence of the contrast. For example, the control unit 104 can define the ratio of the contrast component of the low spatial frequency to the contrast component of the high spatial frequency (frequency component ratio) as the recognition performance evaluation value. The frequency dependence of the contrast component can be obtained by two-dimensional Fourier transforming the pixel signal of each area in the image.

図６（Ｂ）は、合焦位置からの距離の逆数とカットオフ周波数との関係を示す図である。合焦位置からの距離の逆数が小さくなるに応じて、結像光学系１０１のカットオフ周波数は小さくなる。そして、絞り１０８が開かれるに応じて（Ｆ値が明るくなるに応じて）、合焦位置からの距離の逆数が小さくなった場合のカットオフ周波数の減少度合いが大きくなる。つまり、合焦位置からの距離の逆数が小さい領域においては、カットオフ周波数以上の周波数成分が結像しないため、高い周波数のコントラスト成分が小さくなる。従って、上述した周波数成分比が大きい場合には、結像光学系１０１の性能によって視認性が低下している可能性が高く、結像光学系１０１の絞り１０８を絞ることで視認性が向上する可能性が高い。一方、周波数成分比が小さい場合には、カットオフ周波数によって視認性が低下している可能性は低く、結像光学系１０１の絞り１０８を絞ったとしても視認性が向上しない可能性が高い。従って、制御部１０４は、周波数成分比を認識性能評価値として使用し、認識性能評価値が第１閾値以上の領域を被写界深度内に収めるように、結像光学系１０１の絞り１０８を調節してもよい。 FIG. 6B is a diagram showing the relationship between the reciprocal of the distance from the focus position and the cutoff frequency. The cut-off frequency of the imaging optical system 101 decreases as the reciprocal of the distance from the in-focus position decreases. Then, as the diaphragm 108 is opened (as the F-number becomes brighter), the reduction degree of the cutoff frequency becomes larger when the reciprocal of the distance from the in-focus position becomes smaller. In other words, in a region where the reciprocal of the distance from the in-focus position is small, the frequency component above the cutoff frequency is not imaged, so the contrast component of high frequency becomes small. Therefore, when the above-mentioned frequency component ratio is large, there is a high possibility that visibility is lowered due to the performance of the imaging optical system 101, and visibility is improved by narrowing the diaphragm 108 of the imaging optical system 101. Probability is high. On the other hand, when the frequency component ratio is small, the cutoff frequency is unlikely to reduce the visibility, and even if the diaphragm 108 of the imaging optical system 101 is narrowed, the visibility is not likely to be improved. Therefore, the control unit 104 uses the frequency component ratio as the recognition performance evaluation value, and sets the diaphragm 108 of the imaging optical system 101 so that the area having the recognition performance evaluation value equal to or higher than the first threshold value is included in the depth of field. You may adjust.

上述したように、認識性能は、コントラスト以外にも、明るさや色差、大きさ、空間周波数成分等にも依存する。従って、制御部１０４は、各種の評価指標を総合的に用いることが好ましい。例えば、制御部１０４は、予め、同じ被写体に対してぼけ具合や明るさの異なる画像を所定枚数以上収集し、収集された画像に映っている被写体が認識可能であるか否かの判定を行う。制御部１０４が収集する画像は、撮影された画像自体であってもよい。また、制御部１０４は、収集した画像に対して、結像光学系１０１のＰＳＦ（点像分布関数）をコンボリューションする画像処理、またはランダムノイズを付加する画像処理を行ってもよい。また、被写体を認識できるか否かの判定は、人手により行われてもよいし、機械学習による被写体認識技術により行われてもよい。制御部１０４が機械学習による被写体認識技術を使用して認識性能評価値を決定する場合、類似する複数の被写体と正答率（複数の被写体のそれぞれについての正答率）とを入力とした機械学習を行う。これにより、人手によらず、機械学習により、認識性能評価値を決定することができる。 As described above, the recognition performance depends not only on contrast but also on brightness, color difference, size, spatial frequency component, and the like. Therefore, it is preferable that the control unit 104 comprehensively use various evaluation indexes. For example, the control unit 104 collects in advance a predetermined number or more of images having different degrees of blurring and brightness for the same subject, and determines whether or not the subject shown in the collected images can be recognized. . The image collected by the control unit 104 may be the captured image itself. Further, the control unit 104 may perform image processing of convolving the PSF (point spread function) of the imaging optical system 101 or image processing of adding random noise to the collected image. Further, the determination as to whether or not the subject can be recognized may be performed manually or by a subject recognition technique using machine learning. When the control unit 104 determines the recognition performance evaluation value by using the subject recognition technology by machine learning, machine learning is performed by inputting a plurality of similar subjects and the correct answer rate (correct answer rate for each of the plurality of subjects). To do. As a result, the recognition performance evaluation value can be determined by machine learning without manual labor.

また、制御部１０４は、後処理でぼけを復元することまで考慮して、認識性能評価値を決定してもよい。即ち、制御部１０４は、画像情報に加えて距離情報（被写体の領域までの距離を示す情報）を用いてぼけを復元した場合における認識性能の向上度合いが高くなるに応じて、認識性能評価値を高く設定してもよい。この場合、制御部１０４は、画像情報および距離情報に基づいて、認識性能評価値を決定する。例えば、制御部１０４は、予め、画像情報と距離情報とが紐づいたデータを所定量以上収集しておき、距離情報を用いてぼけが復元できるか否かの判定を行う。以上により、制御部１０４は、後処理でぼけを復元することによって認識性能が向上しない被写体を、被写界深度内に収めないように制御する。その結果、結像光学系１０１のＦ値を明るく保ちつつ、適正な被写界深度での撮影が可能となる。 Further, the control unit 104 may determine the recognition performance evaluation value in consideration of restoring the blur in the post-processing. That is, the control unit 104 recognizes the recognition performance evaluation value as the degree of improvement of the recognition performance increases when the blur is restored using the distance information (information indicating the distance to the area of the subject) in addition to the image information. May be set higher. In this case, the control unit 104 determines the recognition performance evaluation value based on the image information and the distance information. For example, the control unit 104 collects in advance a predetermined amount or more of data in which image information and distance information are associated with each other, and uses the distance information to determine whether or not the blur can be restored. As described above, the control unit 104 controls a subject whose recognition performance is not improved by restoring the blurring in the post-processing so that the subject does not fall within the depth of field. As a result, it is possible to shoot with an appropriate depth of field while keeping the F value of the imaging optical system 101 bright.

次に、距離情報取得のバリエーションについて説明する。上述したように、固体撮像素子１０２は、距離情報取得手段１０３の機能を併せ持つ。図３の例では、各画素１１０について、第１光電変換部１１１および第２光電変換部１１２は、両者とも光束を受光可能である。図７は、他の例における固体撮像素子の各画素と結像光学系の射出瞳領域との関係を示す図である。 Next, variations of distance information acquisition will be described. As described above, the solid-state image sensor 102 also has the function of the distance information acquisition unit 103. In the example of FIG. 3, for each pixel 110, both the first photoelectric conversion unit 111 and the second photoelectric conversion unit 112 can receive a light beam. FIG. 7 is a diagram showing the relationship between each pixel of the solid-state image sensor and the exit pupil region of the imaging optical system in another example.

図７に一例を示した。図７に示す固体撮像素子は、結像光学系の瞳領域１２１からの光束を選択的に受光可能な画素１４１（図７Ａ）、結像光学系の瞳領域１２２からの光束を選択的に受光可能な画素１４２（図７Ｂ）、および、結像光学系の全瞳領域１２３からの光束を受光可能な画素１４３を有している（図７Ｃ）。具体的には、画素１４１は結像光学系の射出瞳１２３のうち、第一の瞳領域１２１以外からの領域からの光束を遮光する遮光膜１３１を有している。また、画素１４２は結像光学系の射出瞳１２３のうち、第二の瞳領域１２２以外からの領域からの光束を遮光する遮光膜１３２を有している。そして、画素１４３は遮光膜を有しておらず、結像光学系の射出瞳領域全体からの光束を受光可能な構造となっている。 An example is shown in FIG. The solid-state imaging device shown in FIG. 7 has a pixel 141 (FIG. 7A) capable of selectively receiving the light flux from the pupil area 121 of the imaging optical system, and selectively receives the light flux from the pupil area 122 of the imaging optical system. It has possible pixels 142 (FIG. 7B) and pixels 143 capable of receiving the light flux from the entire pupil region 123 of the imaging optical system (FIG. 7C). Specifically, the pixel 141 has a light blocking film 131 that blocks a light flux from a region other than the first pupil region 121 in the exit pupil 123 of the imaging optical system. Further, the pixel 142 has a light shielding film 132 that shields a light beam from a region other than the second pupil region 122 in the exit pupil 123 of the imaging optical system. The pixel 143 has no light-shielding film, and has a structure capable of receiving the light flux from the entire exit pupil region of the imaging optical system.

撮像装置１００は、撮像面位相差測距を用いた距離情報取得精度を向上させるために、照明光照射装置を有していてもよい。上記照明光照射装置による照明光によって被写体の明るさが向上する。また、空間的な分布を有する照明光を有することで像ずれ量の検出精度が向上する。これにより、距離情報取得精度が向上する。また、距離情報取得手段１０３は、固体撮像素子１０２とは別個に設けられていてもよい。例えば、距離情報取得手段１０３は、レーザーレーダーやＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）センサ等であってもよい。以上において、撮像装置１００が被写界深度優先モードで駆動される場合について説明したが、撮像装置１００は、被写界深度優先モード以外のモードで駆動可能であってもよい。例えば、撮像装置１００は操作部を有しており、ユーザが操作部を操作することにより、被写界深度優先モードに設定するか否かを選択できるようになっていてもよい。 The imaging device 100 may include an illumination light irradiation device in order to improve the accuracy of distance information acquisition using the imaging plane phase difference distance measurement. The illumination light from the illumination light irradiation device improves the brightness of the subject. Further, by having the illumination light having a spatial distribution, the detection accuracy of the image shift amount is improved. This improves the distance information acquisition accuracy. Further, the distance information acquisition means 103 may be provided separately from the solid-state image sensor 102. For example, the distance information acquisition unit 103 may be a laser radar, a TOF (Time Of Flight) sensor, or the like. Although the case where the imaging apparatus 100 is driven in the depth of field priority mode has been described above, the imaging apparatus 100 may be driven in a mode other than the depth of field priority mode. For example, the image capturing apparatus 100 may include an operation unit, and the user may select whether to set the depth of field priority mode by operating the operation unit.

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態の撮像装置１００は、被写界深度内に収める領域の判定を、認識性能評価値および距離情報に基づいて行う。図８は、第２実施形態の処理の流れを示すフローチャートである。Ｓ２１およびＳ２２は、第１実施形態における図４のＳ１１およびＳ１２と同様であるため、説明を省略する。制御部１０４は、Ｓ２２で算出された各領域の認識性能評価値と、合焦位置からの距離情報とに基づいて、各領域のそれぞれを、領域Ｃ（第１領域）または領域Ｄ（第２領域）に振り分ける（Ｓ２３）。領域Ｃは、合焦位置および絞りの調節時に、被写界深度に収める対象となる領域である。領域Ｄは、合焦位置および絞りの調節時に、被写界深度に収める対象にならない領域である。制御部１０４は、上記の振り分けにより、被写界深度に収める対象となる領域Ｃを設定する。 <Second Embodiment>
Next, a second embodiment will be described. The image capturing apparatus 100 according to the second embodiment determines an area to be included in the depth of field based on the recognition performance evaluation value and the distance information. FIG. 8 is a flowchart showing the flow of processing of the second embodiment. Since S21 and S22 are the same as S11 and S12 of FIG. 4 in the first embodiment, description thereof will be omitted. The control unit 104 sets each of the areas to the area C (first area) or the area D (second) based on the recognition performance evaluation value of each area calculated in S22 and the distance information from the focus position. (S23). Area C is an area to be included in the depth of field when the focus position and the aperture are adjusted. The area D is an area that is not included in the depth of field when the focus position and the aperture are adjusted. The control unit 104 sets the region C to be included in the depth of field by the above-mentioned distribution.

Ｓ２３において、制御部１０４は、各領域のそれぞれについて、認識性能評価値が第１閾未満である領域を領域Ｄに割り振る。認識性能評価値が第１閾未満である領域は、第１実施形態の領域Ｂに対応する。つまり、領域Ｄは、領域Ｂと同様、合焦位置および絞りの調節時に、被写界深度に収める対象にならない。Ｓ２３において、制御部１０４は、認識性能評価値が第１閾以上である領域のうち、調節前の結像光学系１０１の合焦位置からの距離が第４閾値（所定距離）より大きい領域を領域Ｄに割り振る。一方、Ｓ２３において、制御部１０４は、認識性能評価値が第１閾以上である領域のうち、調節前の結像光学系１０１の合焦位置からの距離が第４閾値以下である領域を領域Ｃに割り振る。従って、各領域のうち、認識性能評価値が第１閾値以上であり、且つ上記合焦位置からの距離が第４閾値以下であるという条件を満たす領域が、被写界深度に収める対象となる領域Ｃとなる。一方、上記条件を満たさない領域は、被写界深度に収める対象とならない領域Ｄとなる。 In S23, the control unit 104 allocates a region having a recognition performance evaluation value less than the first threshold to the region D for each of the regions. A region whose recognition performance evaluation value is less than the first threshold corresponds to the region B of the first embodiment. That is, the region D, like the region B, is not a target to be included in the depth of field when the focus position and the aperture are adjusted. In step S23, the control unit 104 selects an area in which the distance from the in-focus position of the imaging optical system 101 before adjustment is larger than the fourth threshold value (predetermined distance) among the areas in which the recognition performance evaluation value is equal to or higher than the first threshold value. Allocate to area D. On the other hand, in S23, the control unit 104 determines an area in which the distance from the focus position of the imaging optical system 101 before adjustment is equal to or less than the fourth threshold value in the area in which the recognition performance evaluation value is equal to or higher than the first threshold value. Allocate to C. Therefore, among the respective regions, a region satisfying the condition that the recognition performance evaluation value is equal to or larger than the first threshold value and the distance from the in-focus position is equal to or smaller than the fourth threshold value is a target to be included in the depth of field. It becomes the area C. On the other hand, a region that does not satisfy the above condition is a region D that is not a target to be included in the depth of field.

制御部１０４は、Ｓ２３で求めた全ての領域Ｃが、被写界深度内に収まるようにしつつ、合焦位置のずらし量が第２閾値以下となるように、結像光学系１０１の合焦位置および絞りを調節する（Ｓ２４）。つまり、制御部１０４は、認識性能評価値が第１閾値未満であるか、または、調節前の合焦位置からの距離が第４閾値よりも大きい領域Ｄについては、被写界深度内に収まらなくてもよいと判定する。第１実施形態と同様、Ｓ２４において、制御部１０４は、調節前と調節後との間の合焦位置のずらし量が第２閾値以下となるか否かにかかわらず、結像光学系１０１の絞り１０８を調節してもよい。制御部１０４は、認識性能評価値に加えて、距離情報も使用して、結像光学系１０１の合焦位置および絞り１０８を調節する。これにより、第１実施形態と比較して、結像光学系１０１のＦ値が大幅に暗くなることを抑制することができる。 The control unit 104 adjusts the focus of the imaging optical system 101 so that all the areas C obtained in S23 fall within the depth of field and the shift amount of the focus position becomes equal to or less than the second threshold value. The position and diaphragm are adjusted (S24). That is, the control unit 104 does not fall within the depth of field with respect to the region D in which the recognition performance evaluation value is less than the first threshold value or the distance from the in-focus position before adjustment is greater than the fourth threshold value. It is determined that it is not necessary. Similar to the first embodiment, in S24, the control unit 104 controls the imaging optical system 101 regardless of whether the shift amount of the in-focus position between before adjustment and after adjustment becomes the second threshold value or less. The diaphragm 108 may be adjusted. The control unit 104 adjusts the focus position of the imaging optical system 101 and the diaphragm 108 by using the distance information in addition to the recognition performance evaluation value. As a result, it is possible to prevent the F value of the imaging optical system 101 from being significantly darker than in the first embodiment.

図９は、第２実施形態に係る被写体の距離分布、合焦位置および被写界深度の例を示す図である。図９（Ａ）および（Ｂ）は、図５（Ａ）および（Ｂ）と同様である。つまり、図９（Ｂ）および（Ｂ）では、認識性能評価値が第１閾値以上である領域が被写界深度内に収まるように絞り１０８の調節がされている。一方、第２実施形態の制御部１０４は、認識性能評価値に加えて、距離情報も使用して、結像光学系１０１の合焦位置および絞り１０８を調節する。図９（Ｃ）において、制御部１０４は、上記合焦位置からの距離が第４閾値よりも大きい領域を被写界深度内に収めなくてもよいと判定している。図９（Ｃ）の例の場合、両端の被写体Ｄは、被写界深度内に収まらない。このため、図９（Ｃ）における調節後の被写界深度は、図９（Ｂ）における調節後の被写界深度よりも浅くなっている。第２実施形態の制御部１０４が、上記の制御に基づいて、結像光学系１０１の合焦位置および絞りを調節することで、Ｆ値を明るくすることができる（Ｆ値を小さくすることができる）。つまり、制御部１０４は、上記合焦位置からの距離が第４閾値（所定距離）よりも離れた領域を被写界深度内に収めないように制御することで、結像光学系１０１のＦ値が明るいままでの撮影が可能となる。その結果、画像のＳＮ比を低減させずに、適正な被写界深度での撮影を可能とすることができる。 FIG. 9 is a diagram showing an example of the distance distribution of the subject, the in-focus position, and the depth of field according to the second embodiment. 9A and 9B are similar to FIGS. 5A and 5B. That is, in FIGS. 9B and 9B, the diaphragm 108 is adjusted so that the region in which the recognition performance evaluation value is equal to or higher than the first threshold falls within the depth of field. On the other hand, the control unit 104 according to the second embodiment adjusts the focus position and the diaphragm 108 of the imaging optical system 101 by using the distance information in addition to the recognition performance evaluation value. In FIG. 9C, the control unit 104 determines that the area whose distance from the in-focus position is larger than the fourth threshold does not have to be included in the depth of field. In the case of the example in FIG. 9C, the subject D at both ends does not fit within the depth of field. Therefore, the adjusted depth of field in FIG. 9C is shallower than the adjusted depth of field in FIG. 9B. The control unit 104 according to the second embodiment adjusts the focus position and the aperture of the imaging optical system 101 based on the above control, so that the F value can be made brighter (the F value can be made smaller. it can). That is, the control unit 104 controls so that an area whose distance from the in-focus position is farther than the fourth threshold value (predetermined distance) does not fall within the depth of field, so that the F of the imaging optical system 101 is reduced. It is possible to shoot while the value remains bright. As a result, it is possible to shoot with an appropriate depth of field without reducing the SN ratio of the image.

制御部１０４は、上述した第４閾値を、許容される画像のＳＮ比や、絞り調節機構１０５のメカ精度から設定してもよい。例えば、制御部１０４は、許容される最大のＦ値を１６とした場合、Ｆ値が「１６」の場合の被写界深度を、第４閾値としてもよい。許容される画像のＳＮ比は、被写体の明るさ、即ち、画素信号レベルによって変化する。従って、画素信号レベルの平均値や中央値から求まる被写体の明るさが暗いほど、第４閾値を小さくした方が好ましい。 The control unit 104 may set the above-mentioned fourth threshold value based on the SN ratio of an allowable image and the mechanical accuracy of the aperture adjustment mechanism 105. For example, when the maximum allowable F value is 16, the control unit 104 may set the depth of field when the F value is “16” as the fourth threshold value. The allowable SN ratio of the image changes depending on the brightness of the subject, that is, the pixel signal level. Therefore, it is preferable to make the fourth threshold value smaller as the brightness of the subject obtained from the average value or the median value of the pixel signal levels becomes darker.

また、制御部１０４は、合焦位置からの距離が第４閾値以上の領域については、絞り１０８を絞ることによって被写界深度を深くするのではなく、画像の輪郭部の認識性能比を強調する画像処理を行う。これにより、合焦位置からの距離が第４閾値以上の領域の視認性が向上する。例えば、制御部１０４は、上述したようにラプラシアンフィルタ等を用いて、画像の輪郭部の認識性能比を強調する画像処理を行ってもよい。 In addition, the control unit 104 emphasizes the recognition performance ratio of the contour portion of the image in a region where the distance from the in-focus position is equal to or greater than the fourth threshold value, instead of increasing the depth of field by narrowing the diaphragm 108. Image processing. As a result, the visibility of the area where the distance from the focus position is the fourth threshold value or more is improved. For example, the control unit 104 may perform image processing that emphasizes the recognition performance ratio of the contour portion of the image by using the Laplacian filter or the like as described above.

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態の制御部１０４は、画像の各領域の認識性能評価値と距離情報との双方を連動させて、被写界深度内に収める領域を判定している。第３実施形態の制御部１０４は、各々の領域について、調節前の合焦位置からの距離の逆数が小さくなるに応じて、第１閾値を小さくする。図１０は、第３実施形態に係る第１閾値の設定方法を説明する図である。図１０（Ａ）は、合焦位置からの距離の逆数と、結像光学系１０１の解像力の関係を示した図である。結像光学系１０１の解像力は、合焦位置近傍が最も高く、被写体が十分に遠い場合、ピント面から離れるにしたがって、合焦位置からの距離の逆数に比例して低下する傾向にある。合焦位置での解像力は、収差や回折の影響によって多少のずれを生じるものの、概略、結像光学系１０１の瞳透過率に基づく実効的なＦ値に反比例する。また、解像力の合焦位置からの距離の逆数に対する比例係数は、収差や回折の影響によって多少ずれるものの、概略、結像光学系の実効的なＦ値の２乗に反比例する。従って、合焦位置近傍では絞り１０８を開くほど認識性能評価値が高くなり、合焦位置から一定の距離以上離れた場合、絞り１０８を絞るほど認識性能評価値が低くなる。 <Third Embodiment>
Next, a third embodiment will be described. The control unit 104 according to the third embodiment determines an area to be included in the depth of field by linking both the recognition performance evaluation value of each area of the image and the distance information. The control unit 104 of the third embodiment reduces the first threshold value for each region as the reciprocal of the distance from the focus position before adjustment decreases. FIG. 10 is a diagram illustrating a method of setting the first threshold value according to the third embodiment. FIG. 10A is a diagram showing the relationship between the reciprocal of the distance from the in-focus position and the resolving power of the imaging optical system 101. The resolving power of the imaging optical system 101 is highest in the vicinity of the in-focus position, and when the subject is sufficiently far, the resolving power tends to decrease in proportion to the reciprocal of the distance from the in-focus position, as the distance from the focus surface increases. The resolving power at the in-focus position is roughly inversely proportional to the effective F value based on the pupil transmittance of the imaging optical system 101, although a slight deviation occurs due to the influence of aberration and diffraction. Further, the proportional coefficient of the resolving power to the reciprocal of the distance from the in-focus position is roughly inversely proportional to the square of the effective F value of the imaging optical system, although it is slightly shifted due to the influence of aberration and diffraction. Therefore, in the vicinity of the in-focus position, the recognition performance evaluation value becomes higher as the diaphragm 108 is opened, and when the distance from the in-focus position is a certain distance or more, the recognition performance evaluation value becomes lower as the diaphragm 108 is closed.

以上より、合焦位置からの距離の逆数が大きいにもかかわらず、認識性能評価値が低い領域は、もともとテクスチャが無いこと等に起因して認識性能評価値が低いと判定することができる。一方、合焦位置からの距離の逆数が小さいにもかかわらず、認識性能評価値がある程度高い領域（十分な視認性が得られるほど認識性能評価値が高くない領域）は、絞り１０８を絞ることによって視認性が向上する可能性が高いと判定することができる。そこで、図１０（Ｂ）のように、制御部１０４は、画像を構成する各領域の合焦位置からの距離の逆数が小さい領域ほど、第１閾値を小さく設定する。概略、結像光学系１０１の解像力と認識性能評価値とは比例するため、制御部１０４は、各領域について、合焦位置からの距離の逆数が小さくなるに応じて、第１閾値が小さくなるように設定する。以上のように、制御部１０４は、合焦位置からの距離の逆数に応じて第１閾値を設定する。これにより、制御部１０４は、絞り１０８を絞ることによって視認性が向上する領域を被写界深度内に収め、絞り１０８を絞っても視認性が向上しない領域を被写界深度内に収めない、と判定できる。その結果、画像のＳＮ比を低下させずに、適正な被写界深度での撮影が可能となる。 From the above, it can be determined that the recognition performance evaluation value is low in a region where the recognition performance evaluation value is low even though the reciprocal of the distance from the in-focus position is large, because the recognition performance evaluation value is originally absent. On the other hand, in a region where the reciprocal of the distance from the in-focus position is small, but the recognition performance evaluation value is somewhat high (a region where the recognition performance evaluation value is not high enough to obtain sufficient visibility), the diaphragm 108 should be narrowed. Therefore, it can be determined that the visibility is likely to be improved. Therefore, as illustrated in FIG. 10B, the control unit 104 sets the first threshold value to be smaller in an area in which the reciprocal of the distance from the in-focus position of each area forming the image is smaller. Generally, since the resolving power of the imaging optical system 101 and the recognition performance evaluation value are proportional to each other, the control unit 104 decreases the first threshold value for each area as the reciprocal of the distance from the in-focus position decreases. To set. As described above, the control unit 104 sets the first threshold according to the reciprocal of the distance from the in-focus position. As a result, the control unit 104 keeps the region whose visibility is improved by narrowing the diaphragm 108 within the depth of field, and does not store the region whose visibility is not improved even if the diaphragm 108 is narrowed within the depth of field. , Can be determined. As a result, it is possible to shoot with an appropriate depth of field without reducing the SN ratio of the image.

＜第４実施形態＞
次に、第４実施形態について説明する。図１１は、第４実施形態に係る監視システム５００の構成例を示す図である。監視システム５００では、撮像装置１００とクライアント装置５０１とがネットワーク５０２を介して、相互に通信可能な状態に接続されている。撮像装置１００には、第１実施形態乃至第３実施形態のうち何れかの撮像装置１００を適用することができる。クライアント装置５０１は、撮像装置１００を制御する各種コマンドを送信する。例えば、撮像装置１００が監視カメラである場合、クライアント装置５０１は、監視カメラとしての撮像装置１００を制御する外部機器（例えば、パーソナルコンピュータ等）である。撮像装置１００は、クライアント装置５０１からの各種コマンドを受けて、コマンドに対するレスポンスや撮像した画像データをクライアント装置５０１に送信する。撮像装置１００を被写界深度優先モードで駆動するか否かは、クライアント装置５０１を介してユーザが選択できるようになっている。なお、撮像装置１００を被写界深度優先モードで駆動するか否かは、撮像装置１００に対する操作によって選択されてもよい。ネットワーク５０２は、有線ＬＡＮや無線ＬＡＮ等により構成されている。また、ネットワーク５０２を介して撮像装置１００に電源を供給する構成となっていてもよい。 <Fourth Embodiment>
Next, a fourth embodiment will be described. FIG. 11 is a diagram showing a configuration example of the monitoring system 500 according to the fourth embodiment. In the monitoring system 500, the imaging device 100 and the client device 501 are connected via a network 502 so that they can communicate with each other. The image pickup apparatus 100 may be any of the image pickup apparatuses 100 of the first to third embodiments. The client device 501 transmits various commands that control the imaging device 100. For example, when the imaging device 100 is a surveillance camera, the client device 501 is an external device (for example, a personal computer or the like) that controls the imaging device 100 as a surveillance camera. The image capturing apparatus 100 receives various commands from the client apparatus 501, and transmits a response to the command and captured image data to the client apparatus 501. The user can select via the client device 501 whether or not to drive the imaging apparatus 100 in the depth of field priority mode. It should be noted that whether or not to drive the image pickup apparatus 100 in the depth of field priority mode may be selected by an operation on the image pickup apparatus 100. The network 502 is composed of a wired LAN, a wireless LAN, or the like. Further, the power may be supplied to the image pickup apparatus 100 via the network 502.

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made within the scope of the gist thereof. The present invention supplies a program that realizes one or more functions of each of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors of a computer of the system or apparatus execute the program. It can also be realized by a process of reading and executing. The present invention can also be realized by a circuit that realizes one or more functions (for example, ASIC).

１００撮像装置
１０１結像光学系
１０２固体撮像素子
１０３距離情報取得手段
１０４制御部
１０５絞り調節機構
１０６焦点調節機構
１０７フォーカスレンズ
２００ＣＰＵ 100 image pickup apparatus 101 imaging optical system 102 solid-state image pickup element 103 distance information acquisition means 104 control section 105 aperture adjustment mechanism 106 focus adjustment mechanism 107 focus lens 200 CPU

Claims

画像情報を出力する固体撮像素子と、
絞りを調節する結像光学系と、
前記画像情報を構成する複数の領域のうち、認識性能を示す評価値が第１閾値以上の第１領域を被写界深度内に収めるように前記結像光学系の前記絞りを制御する制御手段と、
を備えることを特徴とする撮像装置。 A solid-state image sensor that outputs image information;
An imaging optical system that adjusts the diaphragm,
A control unit that controls the diaphragm of the imaging optical system so that a first region, of the plurality of regions forming the image information, whose evaluation value indicating recognition performance is equal to or higher than a first threshold value falls within the depth of field. When,
An imaging device comprising:

前記結像光学系は、フォーカスレンズを有し、
前記制御手段は、前記第１領域を前記被写界深度内に収めつつ、前記フォーカスレンズの合焦位置のずらし量が第２閾値以下となるように前記結像光学系の前記フォーカスレンズを制御する、
ことを特徴とする請求項１記載の撮像装置。 The imaging optical system has a focus lens,
The control means controls the focus lens of the imaging optical system so that the shift amount of the focus position of the focus lens is equal to or less than a second threshold value while keeping the first region within the depth of field. To do
The imaging device according to claim 1, wherein

前記制御手段は、前記複数の領域のうち、前記評価値が前記第１閾値未満の第２領域に対して、輪郭部の認識性能比を強調する画像処理を行う、
ことを特徴とする請求項１または２記載の撮像装置。 The control means performs image processing for emphasizing a recognition performance ratio of a contour portion with respect to a second area having the evaluation value less than the first threshold value among the plurality of areas.
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is provided.

前記制御手段は、前記第１領域のうち前記第１閾値より大きい第３閾値以下の領域を前記被写界深度内に収め、前記第３閾値より大きい領域を前記被写界深度内に収めないように前記結像光学系を制御する、
ことを特徴とする請求項１乃至３のうち何れか１項に記載の撮像装置。 The control means stores an area, which is larger than the first threshold value and is equal to or smaller than a third threshold value, in the depth of field, and does not store an area larger than the third threshold value in the depth of field. To control the imaging optics,
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus.

前記制御手段は、前記領域までの距離情報を用いてぼけが復元できるか否かに基づいて、前記評価値を決定する、
ことを特徴とする請求項１乃至４のうち何れか１項に記載の撮像装置。 The control means determines the evaluation value based on whether or not the blur can be restored using the distance information to the area.
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus.

前記制御手段は、ぼけを復元した場合の認識性能の向上度合いが高くなるに応じて、前記評価値を高く設定する、
ことを特徴とする請求項５記載の撮像装置。 The control means sets the evaluation value to be high as the degree of improvement in recognition performance when the blur is restored increases.
The image pickup apparatus according to claim 5, wherein

前記制御手段は、前記フォーカスレンズの調節前の合焦位置と前記領域との間の距離、および前記評価値に基づいて、前記被写界深度内に収める前記第１領域を設定する、
ことを特徴とする請求項２記載の撮像装置。 The control unit sets the first area to be included in the depth of field based on a distance between a focus position before adjustment of the focus lens and the area, and the evaluation value,
The imaging device according to claim 2, wherein

前記制御手段は、前記距離が所定距離より大きく、且つ前記評価値が前記第１閾値以上の領域を前記第１領域に設定する、
ことを特徴とする請求項７記載の撮像装置。 The control means sets, as the first region, a region in which the distance is larger than a predetermined distance and the evaluation value is equal to or more than the first threshold value.
The imaging device according to claim 7, wherein

前記制御手段は、前記画像情報の明るさが暗くなるに応じて、前記所定距離を短くする、
ことを特徴とする請求項８記載の撮像装置。 The control means shortens the predetermined distance in accordance with a decrease in the brightness of the image information,
The imaging device according to claim 8, wherein

前記制御手段は、前記フォーカスレンズの調節前の合焦位置と前記領域との間の距離の逆数が小さくなるに応じて、前記第１閾値を小さくする、
ことを特徴とする請求項２記載の撮像装置。 The control unit decreases the first threshold value in accordance with a decrease in the reciprocal of the distance between the focus position before adjustment of the focus lens and the region,
The imaging device according to claim 2, wherein

前記評価値は、コントラストと明るさと色差と空間周波数成分とのうち何れかまたは組み合わせであること、
を特徴とする請求項１乃至１０のうち何れか１項に記載の撮像装置。 The evaluation value is any one or a combination of contrast, brightness, color difference and spatial frequency component,
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus.

請求項１乃至１１のうち何れか１項に記載の撮像装置と、
クライアント装置と、
を備えることを特徴とする監視システム。 The image pickup apparatus according to claim 1,
A client device,
A monitoring system comprising:

画像情報を出力する固体撮像素子と、絞りを調節する結像光学系と、を有する撮像装置の制御方法であって、
前記画像情報を構成する複数の領域のうち、認識性能を示す評価値が第１閾値以上の第１領域を被写界深度内に収めるように前記結像光学系の前記絞りを制御する工程、
を備えることを特徴とする撮像装置の制御方法。 A method for controlling an image pickup apparatus, comprising: a solid-state image pickup device that outputs image information; and an image forming optical system that adjusts a diaphragm.
A step of controlling the aperture of the imaging optical system so that a first area having an evaluation value indicating recognition performance of a plurality of areas forming the image information, the evaluation value being equal to or more than a first threshold value is included in the depth of field;
A method for controlling an imaging device, comprising:

請求項１３記載の撮像装置の制御方法をコンピュータに実行させるためのプログラム。 A program for causing a computer to execute the method for controlling an imaging device according to claim 13.