JP2015215372A - Focus adjustment unit, control method therefor, control program therefor, and storage medium - Google Patents
Focus adjustment unit, control method therefor, control program therefor, and storage medium Download PDFInfo
- Publication number
- JP2015215372A JP2015215372A JP2014096147A JP2014096147A JP2015215372A JP 2015215372 A JP2015215372 A JP 2015215372A JP 2014096147 A JP2014096147 A JP 2014096147A JP 2014096147 A JP2014096147 A JP 2014096147A JP 2015215372 A JP2015215372 A JP 2015215372A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- subject
- area
- focus detection
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像から被写体領域を検出し自動的に合焦させる焦点調節装置等に関する。 The present invention relates to a focus adjustment device that detects a subject region from an image and automatically focuses the subject region.
デジタルビデオカメラ等の撮像装置において、撮像素子から出力された画像内の各被写体を判別し、それぞれの被写体を含む複数の被写体領域に画像を分割して、被写体領域ごとに異なる撮像処理を行う技術が提案されている。例えば特許文献1では、主被写体領域と背景領域を分離して、背景をぼかしたり、主被写体のコントラストや彩度を高める等の画像処理手法が提案されている。また、単に画像を被写体領域に分割するだけでなく、各領域の被写体像の特徴から被写体の属性(人物、建築物、空、木など)を判別する手法も種々提案されている。 Technology for discriminating each subject in an image output from an image sensor in an imaging device such as a digital video camera, dividing the image into a plurality of subject areas including each subject, and performing different imaging processing for each subject area Has been proposed. For example, Patent Document 1 proposes an image processing method in which a main subject region and a background region are separated to blur the background or increase the contrast and saturation of the main subject. In addition to simply dividing an image into subject areas, various methods for discriminating subject attributes (persons, buildings, sky, trees, etc.) from the characteristics of subject images in each region have been proposed.
一方で、被写体領域の検出をオートフォーカス(AF)制御に適用する手法が提案されている。例えば特許文献2では、主被写体領域の内部に焦点検出領域を設定することで主被写体に合焦させるAF制御の手法が提案されている。 On the other hand, a method has been proposed in which detection of a subject area is applied to autofocus (AF) control. For example, Patent Document 2 proposes an AF control method for focusing on a main subject by setting a focus detection region inside the main subject region.
特許文献1のように被写体領域を分割する場合に、撮影者が選択した主被写体に対応する被写体領域を検出し、その内部に、特許文献2のように焦点検出領域を設定することが想定される。ここで、撮影者が選択した主被写体が別の物体に遮られた場合に、AF動作が不安定になったり、別の被写体に合焦してしまうことが起こり得る。これについて、図4を用いて説明する。 When the subject area is divided as in Patent Document 1, it is assumed that the subject area corresponding to the main subject selected by the photographer is detected, and the focus detection area is set therein as in Patent Document 2. The Here, when the main subject selected by the photographer is blocked by another object, the AF operation may become unstable or focus on another subject. This will be described with reference to FIG.
図4(a)は、撮影中の画像を表した図で、画像内には被写体として建物401、人物402、空403がある。撮影者は建物401を主被写体として撮影を行っている。ここで、主被写体は撮影者がタッチパネルなどの操作手段で意図的に選択しているものとする。
FIG. 4A is a diagram showing an image being shot. In the image, there are a
図4(b)は、図4(a)の画像に対して特許文献1のような被写体領域の分割処理を施した例であり、画像が建物領域405、人物領域406、空領域407に分割されている。撮像装置は、図4(b)の領域分割結果から、主被写体である建物401に対応する領域405の内部に焦点検出領域を設定することで、建物401に合焦するようAF制御を行う。図4(a)に示した矩形領域404は、このようにして設定された焦点検出領域を示している。
FIG. 4B is an example in which subject area division processing as in Patent Document 1 is performed on the image in FIG. 4A, and the image is divided into a
ここで、人物402が移動することで、図4(c)に示すように人物402が建物401を遮ったとする。この時の領域分割結果は図4(d)のようになり、主被写体である建物401の領域405の面積は、人物領域406に遮られたために狭くなっている。この領域分割結果に基づいて建物領域405の内部に焦点検出領域を設定すると、図4(c)の矩形領域408のようになり、焦点検出領域の大きさは図4(a)の場合より狭くなっている。撮像装置で一般的に用いられるコントラストAF(山登りAF)方式では、焦点検出領域の大きさが小さい場合は手ぶれなどによる画像の変化により、AF制御に用いるコントラスト信号が変動し、焦点調節動作が不安定になってしまう。この傾向は動画撮影でのAF制御において特に顕著であり、AF動作が不安定になってしまう。
Here, it is assumed that the
なお、図4(e)は、図4(d)の領域分割結果に基づいて焦点検出領域を設定する別の例であり、焦点検出領域409はAF動作が不安定にならないよう、所定の大きさ以下にならないように設定されている。しかしながら、この場合、焦点検出領域409の内部には建物領域405だけでなく人物領域406も含まれてしまっている。特に、主被写体以外で人物のような移動する被写体が焦点検出領域に含まれると、焦点検出領域に占める主被写体以外の領域が頻繁に変化することで、かえってAFが不安定になるおそれがある。
FIG. 4E is another example of setting the focus detection area based on the area division result of FIG. 4D. The
以上に述べたように、被写体領域の分割結果に基づいて焦点検出領域を設定する場合に、主被写体が別の物体に遮られるとAF動作が不安定になってしまう場合がある。本発明の目的は、被写体領域の分割結果に基づいてAF制御を行う場合に、主被写体が別の物体に遮られた場合でも主被写体に対して安定したAF動作を可能にすることである。 As described above, when the focus detection region is set based on the division result of the subject region, the AF operation may become unstable if the main subject is blocked by another object. An object of the present invention is to enable a stable AF operation on a main subject even when the main subject is obstructed by another object when performing AF control based on the division result of the subject area.
上記目的を達成するため、本発明の焦点調節装置は、フォーカスレンズを含む撮影光学系を通過した光を光電変換して画像を生成する撮像手段と、前記画像の特徴量に基づいて当該画像の被写体領域を分割する領域分割手段と、分割されたそれぞれの被写体領域に含まれる被写体の属性を判定する属性判定手段と、前記画像内の焦点検出領域から焦点信号を生成する信号生成手段と、前記画像内に前記焦点検出領域を設定し、前記焦点信号に基づいて前記フォーカスレンズの駆動を制御する焦点調節制御を行う制御手段とを有し、前記制御手段は、主被写体を含む第1の被写体領域に基づいて設定される第1の焦点検出領域のサイズが第1の閾値より大きい場合、当該第1の焦点検出領域からの焦点信号に基づいて前記焦点調節制御を行い、前記第1の焦点検出領域のサイズが前記第1の閾値以下の場合であって、前記第1の被写体領域に隣接する第2の被写体領域の属性が所定の属性でない場合に、前記第1の被写体領域及び前記第2の被写体領域の少なくとも一部を含む第2の焦点検出領域を設定し、当該第2の焦点検出領域からの焦点信号に基づいて前記焦点調節制御を行うことを特徴とする。 In order to achieve the above object, a focus adjustment apparatus according to the present invention includes an imaging unit that photoelectrically converts light that has passed through a photographing optical system including a focus lens to generate an image, and an image of the image based on a feature amount of the image. Area dividing means for dividing the subject area, attribute determining means for determining attributes of the subject included in each divided subject area, signal generating means for generating a focus signal from the focus detection area in the image, Control means for performing focus adjustment control for setting the focus detection area in an image and controlling driving of the focus lens based on the focus signal, and the control means includes a first subject including a main subject. When the size of the first focus detection area set based on the area is larger than the first threshold, the focus adjustment control is performed based on the focus signal from the first focus detection area, When the size of the first focus detection area is equal to or smaller than the first threshold and the attribute of the second subject area adjacent to the first subject area is not a predetermined attribute, A second focus detection region including at least a part of the subject region and the second subject region is set, and the focus adjustment control is performed based on a focus signal from the second focus detection region. .
本発明によれば、被写体領域の分割結果に基づいてAF制御を行う場合に、主被写体が別の物体に遮られた場合でも主被写体に対して安定したAF動作が可能になる。 According to the present invention, when performing AF control based on the result of dividing the subject area, stable AF operation can be performed on the main subject even when the main subject is blocked by another object.
図1は、本実施形態におけるビデオカメラ(撮像装置)の構成を示している。図1において、フォーカスレンズ101は、光軸方向に移動することで焦点調節を行う。一般的に、撮影光学系はフォーカスレンズを含む複数のレンズにより構成されるが、ここでは他のレンズは省略している。撮像素子102は、CCDセンサやCMOSセンサを備えて構成される光電変換素子であり、撮影光学系を通過した光を電気信号に変換する。信号処理部103は、撮像素子102の出力信号に対して各種の画像処理を施し、撮像信号を生成する。
FIG. 1 shows the configuration of a video camera (imaging device) in the present embodiment. In FIG. 1, a focus lens 101 performs focus adjustment by moving in the optical axis direction. In general, the photographing optical system includes a plurality of lenses including a focus lens, but other lenses are omitted here. The
画像表示部104は、信号処理部103により生成された撮像信号を表示する画像表示部であり、液晶パネルなどの表示デバイスとその制御回路などから構成される。画像記録部105は、信号処理部103からの撮像信号を半導体メモリ、磁気テープ、光ディスク等の記録媒体に記録する。
The
焦点検出領域設定部106は、信号処理部103からの撮像信号のうち焦点信号の生成に用いる領域の信号のみを抽出する。焦点検出領域は、後述するカメラマイコン111によって画像内に設定される。焦点信号生成部107は、焦点検出領域設定部106より出力された信号から高周波成分を抽出して焦点信号を生成する。この焦点信号は、撮像素子102からの出力信号に基づいて生成される画像の鮮鋭度(コントラスト状態)を表す値である。合焦状態の画像の鮮鋭度は高く、ボケた画像の鮮鋭度は低いので、撮影光学系の焦点状態を表す値として、後述するカメラマイコン111で実行される焦点調節制御に利用される。公知のコントラストAF方式による焦点調節制御処理では、焦点信号が大きくなる位置(あるいは方向)へフォーカスレンズ101を移動するよう制御する。
The focus detection
被写体領域分割部108は、信号処理部103の出力に対して、公知の被写体領域分割処理を施し、画像の特徴量に基づいて複数の被写体領域に画像を分割する。被写体属性判定部109は、被写体領域分割部108にて分割された複数の被写体領域について、各々の領域の特徴情報から被写体の属性を判定する。被写体属性としては、例えば「人物」、「自然(山や木)」、「空」、「建物」、「花」、「動物」、「その他」といった被写体の種類が挙げられる。またそれぞれの被写体種類に合わせて、移動物体(移動可能な物体)か固定物体かの判別も行う。前述した例では、「人物」、「動物」が移動物体、「自然」、「空」、「建物」、「花」が固定物体と判別される。
The subject
主被写体領域設定部110は、被写体属性判定部109にて属性が判定された複数の被写体領域の中から、主被写体の領域を設定する。主被写体をどの領域に設定するかは、例えば画像表示部104の液晶パネル上に配置された不図示のタッチパネルにて、撮影者が所望の画像領域をタッチすることで設定される。また、後述するように特定の撮影条件においてカメラマイコン111で自動的に主被写体領域を設定することもできる。以上に述べた被写体の種類の分類や、主被写体の選択方法については、ここで記載したものに限られるものではなく、種類をさらに細かく判別したり、他の手段で撮影者が主被写体を選択してもよい。なお、上述した被写体領域分割部108、被写体属性判定部109での処理結果は、カメラマイコン111からも参照できるようになっている。
The main subject
カメラマイコン111は、ビデオカメラ全体の動作の制御を司るマイクロコンピュータであり、本実施形態に関わる焦点検出領域サイズの演算や後述する被写体領域割合の演算、AFの制御処理などもこのマイコンにより実行される。また、上述の被写体領域分割処理、被写体属性判定処理、主被写体領域設定処理なども、カメラマイコン111で実行されるプログラムによって行っても構わない。 The camera microcomputer 111 is a microcomputer that controls the operation of the entire video camera. The microcomputer also performs calculation of a focus detection area size, calculation of a subject area ratio (to be described later), AF control processing, and the like related to this embodiment. The Further, the above-described subject area division processing, subject attribute determination processing, main subject region setting processing, and the like may be performed by a program executed by the camera microcomputer 111.
フォーカスレンズ駆動部112は、フォーカスレンズ101を移動させるためのアクチュエータおよびその駆動回路を含む。アクチュエータとしては、ステッピングモータ、DCモータ、振動型モータ、ボイスコイルモータ等が一般に用いられる。カメラマイコン111にて、焦点信号生成部107から出力された焦点信号に基づいて公知のコントラストAF方式による焦点調節制御処理が実行される。ここで、カメラマイコン111がフォーカスレンズ駆動部112を制御しフォーカスレンズ101を駆動することにより、撮影光学系の焦点調節が実行される。
The focus
次に、カメラマイコン111で実行される焦点調節制御処理(オートフォーカス制御処理)について、図2のフローチャートを用いて説明する。特段の記載がない限り、図2で説明する処理はカメラマイコン111で行われるものとする。 Next, focus adjustment control processing (autofocus control processing) executed by the camera microcomputer 111 will be described with reference to the flowchart of FIG. Unless otherwise specified, the processing described in FIG. 2 is performed by the camera microcomputer 111.
ステップS201では、主被写体領域設定部110で設定された主被写体領域(S0)内に設定可能な、焦点検出領域の位置及びサイズを演算する。動画撮影におけるコントラストAF方式では、一般に焦点検出領域サイズが大きい方が安定したAFが可能であるので、ここではS0内に設定可能な最大の焦点検出領域のサイズが演算される。ここで、焦点検出領域のサイズとしては、焦点検出領域の面積でもよいし、一般に焦点検出領域としては矩形領域が用いられるため、焦点検出領域の辺の長さとしても良い。
In step S201, the position and size of the focus detection area that can be set in the main subject area (S0) set by the main subject
次に、ステップS202では、ステップS201で演算された焦点検出領域サイズが所定の閾値TH1(第1の閾値)より大きいかどうかを判別する。ここで閾値TH1の値は、撮像装置の動画撮影において焦点調節制御が安定して行える最小の焦点検出領域サイズに基づいて決定すればよい。焦点検出領域サイズが閾値TH1より大きいと判別された場合は、S0内に十分な大きさの焦点検出領域が設定できるので、ステップS208に進み、焦点検出領域設定部106に焦点検出領域を設定する。一方、焦点検出領域サイズが閾値TH1以下(第1の閾値以下)と判別された場合には、焦点検出領域サイズが小さすぎてAF制御が不安定になる可能性があるため、ステップS203以降の処理で焦点検出領域の再演算を行う。
Next, in step S202, it is determined whether or not the focus detection area size calculated in step S201 is larger than a predetermined threshold TH1 (first threshold). Here, the value of the threshold TH1 may be determined based on the minimum focus detection area size that can stably perform focus adjustment control in moving image shooting of the imaging apparatus. If it is determined that the focus detection area size is larger than the threshold value TH1, a sufficiently large focus detection area can be set in S0. Therefore, the process proceeds to step S208, and the focus detection area is set in the focus detection
ステップS203では、S0に隣接する領域について、属性が移動物体でない領域があるかどうかを判別する。属性が移動物体であるかどうかは、被写体属性判定部109の判定結果をカメラマイコン111が参照することで判別できる。S0に隣接する領域が複数ある場合は、すべての隣接領域について判別を行う。S0に隣接する領域が移動物体だけである場合は、十分な大きさの焦点検出領域が設定できずAF制御が不安定になる可能性があることから、後述するステップS210以降の処理に進む。一方、隣接する領域に移動物体でない領域(S1)がある場合はステップS204に進む。
In step S203, it is determined whether there is a region whose attribute is not a moving object for the region adjacent to S0. Whether the attribute is a moving object can be determined by the camera microcomputer 111 referring to the determination result of the subject
ステップS204では、S0とS1を合わせた領域(S2)内に設定可能な、焦点検出領域の位置及びサイズを演算する。ここでもステップS201での処理と同様に、S2内に設定可能な最大の焦点検出領域のサイズが演算される。 In step S204, the position and size of the focus detection area that can be set in the area (S2) obtained by combining S0 and S1 are calculated. Here, as in the process in step S201, the maximum focus detection area size that can be set in S2 is calculated.
次に、ステップS205では、ステップS204で演算された焦点検出領域サイズが上述の閾値TH1より大きいかどうかを判別する。焦点検出領域サイズが閾値TH1以下と判別された場合には、十分な大きさの焦点検出領域が設定できずAF制御が不安定になる可能性があるため、後述するステップS210以降の処理に進む。一方、焦点検出領域サイズが閾値TH1より大きいと判定された場合はステップS206に進む。 Next, in step S205, it is determined whether or not the focus detection area size calculated in step S204 is larger than the above-described threshold value TH1. If it is determined that the focus detection area size is equal to or smaller than the threshold value TH1, a sufficiently large focus detection area cannot be set, and AF control may become unstable. . On the other hand, if it is determined that the focus detection area size is larger than the threshold value TH1, the process proceeds to step S206.
ステップS206では、S0とS1を合わせた領域(S2)内に、焦点検出領域のサイズが所定の閾値TH1より大きく、かつ焦点検出領域内において主被写体領域(S0)の占める割合が略最大となるような焦点検出領域(S3)の位置及びサイズを演算する。なお、S1が複数ある場合には、S0と全てのS1を合わせた領域をS2としてもよいし、優先度の高い属性のS1のみをS2に含めてもよい。また、ここでの優先度は、S0の属性に応じて設定されるようにしてもよい。例えば、S0の属性が「花」で、複数のS1の属性の一つが「空」である場合、無限遠にある「空」に属するS1をS2から除外するようにしてもよい。 In step S206, the size of the focus detection area is larger than a predetermined threshold value TH1 in the area (S2) obtained by combining S0 and S1, and the ratio of the main subject area (S0) in the focus detection area is substantially maximized. The position and size of the focus detection area (S3) are calculated. Note that when there are a plurality of S1, an area obtained by combining S0 and all S1s may be S2, or only S1 having a high priority attribute may be included in S2. The priority here may be set according to the attribute of S0. For example, when the attribute of S0 is “flower” and one of the plurality of attributes of S1 is “sky”, S1 belonging to “sky” at infinity may be excluded from S2.
次に、ステップS207では、ステップS206で演算された焦点検出領域(S3)に占める主被写体領域(S0)の割合(比率)が、所定の閾値TH2より大きいかどうかを判別する。ここで、閾値TH2は、主被写体に合焦するために必要な焦点検出領域内の主被写体の領域の割合(例えば50%以上)から決めればよい。S3に占める主被写体領域の割合が閾値TH2以下と判別された場合は、主被写体以外の領域の被写体に合焦してしまう可能性があるため、後述するステップS210以降の処理に進む。一方、S3に占める主被写体領域の割合が閾値TH2より大きいと判別された場合は、主被写体に合焦可能な焦点検出領域が設定できるので、ステップS208に進み、焦点検出領域設定部106に焦点検出領域を設定する。
Next, in step S207, it is determined whether or not the ratio (ratio) of the main subject area (S0) to the focus detection area (S3) calculated in step S206 is greater than a predetermined threshold value TH2. Here, the threshold value TH2 may be determined from the ratio (for example, 50% or more) of the main subject area within the focus detection area necessary for focusing on the main subject. If it is determined that the ratio of the main subject area in S3 is equal to or less than the threshold value TH2, there is a possibility of focusing on a subject in an area other than the main subject. On the other hand, if it is determined that the ratio of the main subject area in S3 is larger than the threshold value TH2, a focus detection area capable of focusing on the main subject can be set, and the process proceeds to step S208, and the focus detection
図3はこのようにして設定された焦点検出領域の例である。主被写体領域である建物401の領域は人物402の領域に遮られており、建物401の領域の内部のみでは所定の大きさを満たす(TH1より大きい)焦点検出領域が設定できない。建物401の領域に隣接する領域としては人物402の領域と空403の領域がある。このうち人物402の領域は移動物体であるので除外し、建物401の領域と空403の領域を合わせた領域に、所定値より大きい(TH1より大きい)焦点検出領域410が設定されている。さらに焦点検出領域410に占める建物401の領域の割合は、閾値(TH2、例えば50%)より大きいため、主被写体である建物に安定して合焦させることができる。
FIG. 3 shows an example of the focus detection area set as described above. The area of the
ステップS209では、S208で設定された焦点検出領域の撮像信号をもとに焦点信号生成部107から出力された焦点信号に基づいて、公知のコントラストAF方式による焦点調節制御処理を実行する。フォーカスレンズ駆動部112を制御してフォーカスレンズ101を駆動することにより、撮影光学系の焦点調節が実行される。ここでは、ステップS209で実行されるAF制御を、後述するステップS214での制御と区別するために「通常制御モード」と呼ぶ。ここまでの処理は、カメラマイコン111で所定の周期(例えば撮像信号のフレームレートの間隔)で実行され、次回は再びステップS201からの処理が繰り返される。
In step S209, based on the focus signal output from the focus
以下では、ステップS203、S205、S207での判定結果から、ステップS210以降の処理に進んだ場合について説明する。この場合は、主被写体に合焦させるための焦点検出領域を設定することができないため、撮影者の意図に反した移動物体に合焦してしまうことを防ぐようにAF制御を抑制する。 Below, the case where it progresses to the process after step S210 from the determination result in step S203, S205, S207 is demonstrated. In this case, since the focus detection area for focusing on the main subject cannot be set, the AF control is suppressed so as to prevent focusing on a moving object contrary to the photographer's intention.
ステップS210では、AF制御が後述する「抑制制御モード」で動作しているかどうかを判別する。抑制制御モードでない場合にはステップS211に進み、抑制制御モードで動作している時間の長さを計測するためのカウンタデータを0にクリアしてステップS214に進む。このカウンタデータはカメラマイコン111で実行されるプログラムで用いるRAMデータである。一方、抑制制御モードで動作中であると判別された場合はステップS212に進み、抑制制御モードでの動作時間を計測するためにカウンタデータに1を加える。 In step S210, it is determined whether or not the AF control is operating in a “suppression control mode” to be described later. If it is not the suppression control mode, the process proceeds to step S211, the counter data for measuring the length of time operating in the suppression control mode is cleared to 0, and the process proceeds to step S214. This counter data is RAM data used in a program executed by the camera microcomputer 111. On the other hand, if it is determined that the operation is in the suppression control mode, the process proceeds to step S212, and 1 is added to the counter data in order to measure the operation time in the suppression control mode.
次に、ステップS213では、カウンタデータが閾値TH3より大きいかどうかを判別する。後述するように、抑制制御モードではAF制御を抑制するため、長時間継続すると撮像装置のピントがボケたままになってしまい、映像としての品位が悪くなってしまう。具体的な撮影状況としては、撮影者の意図した被写体(例えば建物)が、手前に立った人物に遮られたままになっているような場合が挙げられる。そこで、所定の時間が経過しても抑制制御モードの状態が継続しているかどうかを、カウンタデータの値を閾値TH3と比較することで判定している。カウンタデータの値が閾値TH3より大きいと判別された場合はステップS215に進み、長時間にわたって抑制制御モードが継続することを防ぐため主被写体領域を変更して、次回の処理でステップS201からの処理を繰り返す。ここで、変更後の主被写体領域としては、公知の被写体決定アルゴリズムにより撮像装置が自動的に決定しても良いし、撮影者に被写体の変更を促すような警告を画像表示部104の液晶パネル上に表示しても良い。一方、カウンタデータの値が閾値TH3以下と判定された場合はステップS214に進み、抑制制御モードのAF制御を実行する。
Next, in step S213, it is determined whether the counter data is greater than a threshold value TH3. As will be described later, since the AF control is suppressed in the suppression control mode, if it continues for a long time, the focus of the imaging device remains blurred, and the quality of the image is deteriorated. As a specific photographing situation, there is a case where a subject (for example, a building) intended by the photographer is blocked by a person standing in front. Therefore, it is determined by comparing the value of the counter data with the threshold value TH3 whether or not the state of the suppression control mode continues even after a predetermined time has elapsed. If it is determined that the value of the counter data is greater than the threshold value TH3, the process proceeds to step S215, the main subject area is changed to prevent the suppression control mode from continuing for a long time, and the process from step S201 is performed in the next process. repeat. Here, as the main subject area after the change, the imaging apparatus may automatically determine the main subject area by a known subject determination algorithm, or a warning that prompts the photographer to change the subject is displayed on the liquid crystal panel of the
ステップS214では、撮影者の意図に反した移動物体に合焦してしまうことを防ぐようにAF制御を抑制する、「抑制制御モード」でのAF制御を行う。具体的には、公知のコントラストAF方式において合焦方向を判定するためのフォーカスレンズ101の往復動作や、合焦位置を探索するための無限または至近方向へのフォーカスレンズ101の移動動作において、移動量や移動速度の少なくとも一方を制限する。より具体的には、上述した通常制御モードよりもフォーカスレンズ101の移動量や移動速度を小さくしたり(例えば1/2)、フォーカスレンズ101の移動を禁止したりする。これにより、AFによる合焦制御が抑制され、意図しない被写体に合焦することを抑えることができる。なお、抑制制御モードで設定される焦点検出領域は、S201で演算されたS0内の焦点検出領域、S204で演算されたS2内の焦点検出領域、あるいはS206で演算されたS3内の焦点検出領域とする。以上の処理も通常制御モードの場合と同様にカメラマイコン111で所定の周期で実行され、次回は再びステップS201からの処理が繰り返される。 In step S214, AF control is performed in the “suppression control mode” in which AF control is suppressed so as to prevent focusing on a moving object contrary to the photographer's intention. Specifically, in the known contrast AF method, the reciprocating operation of the focus lens 101 for determining the in-focus direction or the moving operation of the focus lens 101 in the infinite or close-up direction for searching for the in-focus position. Limit at least one of quantity and speed. More specifically, the moving amount and moving speed of the focus lens 101 are made smaller (for example, 1/2) than the normal control mode described above, or the movement of the focus lens 101 is prohibited. Thereby, focusing control by AF is suppressed, and focusing on an unintended subject can be suppressed. Note that the focus detection area set in the suppression control mode is the focus detection area in S0 calculated in S201, the focus detection area in S2 calculated in S204, or the focus detection area in S3 calculated in S206. And The above processing is also executed at a predetermined cycle by the camera microcomputer 111 as in the normal control mode, and the processing from step S201 is repeated again next time.
以上に述べたように、本実施形態の焦点調節装置においては、主被写体領域内に所定値より大きい焦点検出領域を設定することで、主被写体に合焦させる制御を行う。そして所定値より大きい焦点検出領域が設定できない場合には、主被写体領域に隣接する、移動物体の領域を除く領域も含めて焦点検出領域を設定する。その際に焦点検出領域が所定値より大きく、かつ主被写体領域の占める割合が所定の割合より大きくなるように焦点検出領域を設定することで、主被写体に合焦させる制御を行う。さらに、以上のような焦点検出領域が設定できない場合には、AF制御を所定時間の間抑制することで、撮影者の意図に反した移動物体に合焦してしまうこと防止している。このため、本実施形態によれば、主被写体が別の物体に遮られた場合にも主被写体に対して安定して合焦させることができる。 As described above, in the focus adjustment apparatus of the present embodiment, control for focusing on the main subject is performed by setting a focus detection region larger than a predetermined value in the main subject region. If a focus detection area larger than the predetermined value cannot be set, the focus detection area is set including the area excluding the moving object area adjacent to the main subject area. At this time, the focus detection area is set so that the focus detection area is larger than a predetermined value and the ratio of the main subject area is larger than the predetermined ratio, thereby performing control for focusing on the main subject. Further, when the focus detection area as described above cannot be set, the AF control is suppressed for a predetermined time, thereby preventing focusing on a moving object contrary to the photographer's intention. For this reason, according to the present embodiment, the main subject can be stably focused even when the main subject is blocked by another object.
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体および制御プログラムは本発明を構成することになる。
(Other embodiments)
The object of the present invention can also be achieved as follows. That is, a storage medium in which a program code of software in which a procedure for realizing the functions of the above-described embodiments is described is recorded is supplied to the system or apparatus. A computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the novel function of the present invention, and the storage medium storing the program code and the control program constitute the present invention.
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。 Examples of the storage medium for supplying the program code include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, a CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD-R, magnetic tape, nonvolatile memory card, ROM, or the like can also be used.
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。 Further, by making the program code read by the computer executable, the functions of the above-described embodiments are realized. Furthermore, when the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, the functions of the above-described embodiments are realized by the processing. Is also included.
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。 Furthermore, the following cases are also included. First, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.
また、本発明はビデオカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ(ラップトップ型、デスクトップ型、タブレット型など)、ゲーム機など、焦点調節装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「焦点調節装置」は、焦点調節機能を備えた任意の電子機器を包含することが意図されている。以上、本発明の好ましい実施例について説明したが、本発明は上記実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 In addition, the present invention is not limited to a device mainly intended for shooting such as a video camera, and has a built-in focusing device such as a mobile phone, a personal computer (laptop type, desktop type, tablet type, etc.), a game machine, or the like. It can be applied to any device connected externally. Accordingly, the “focus adjustment device” in this specification is intended to include any electronic device having a focus adjustment function. As mentioned above, although the preferable Example of this invention was described, this invention is not limited to the said Example, A various deformation | transformation and change are possible within the range of the summary.
101 フォーカスレンズ
102 撮像素子
104 画像表示部
106 焦点検出領域設定部
107 焦点信号生成部
108 被写体領域分割部
109 被写体属性判定部
110 主被写体領域設定部
111 カメラマイコン
112 フォーカスレンズ駆動部
DESCRIPTION OF SYMBOLS 101
Claims (11)
前記画像の特徴量に基づいて当該画像の被写体領域を分割する領域分割手段と、
分割されたそれぞれの被写体領域に含まれる被写体の属性を判定する属性判定手段と、
前記画像内の焦点検出領域から焦点信号を生成する信号生成手段と、
前記画像内に前記焦点検出領域を設定し、前記焦点信号に基づいて前記フォーカスレンズの駆動を制御する焦点調節制御を行う制御手段とを有し、
前記制御手段は、
主被写体を含む第1の被写体領域に基づいて設定される第1の焦点検出領域のサイズが第1の閾値より大きい場合、当該第1の焦点検出領域からの焦点信号に基づいて前記焦点調節制御を行い、
前記第1の焦点検出領域のサイズが前記第1の閾値以下の場合であって、前記第1の被写体領域に隣接する第2の被写体領域の属性が所定の属性でない場合に、前記第1の被写体領域及び前記第2の被写体領域の少なくとも一部を含む第2の焦点検出領域を設定し、当該第2の焦点検出領域からの焦点信号に基づいて前記焦点調節制御を行うことを特徴とする焦点調節装置。 Imaging means for photoelectrically converting light that has passed through a photographing optical system including a focus lens to generate an image;
Area dividing means for dividing the subject area of the image based on the feature amount of the image;
Attribute determination means for determining the attributes of the subject included in each of the divided subject areas;
Signal generating means for generating a focus signal from a focus detection region in the image;
Control means for performing focus adjustment control for setting the focus detection area in the image and controlling driving of the focus lens based on the focus signal;
The control means includes
When the size of the first focus detection region set based on the first subject region including the main subject is larger than the first threshold, the focus adjustment control is performed based on the focus signal from the first focus detection region. And
When the size of the first focus detection area is equal to or smaller than the first threshold and the attribute of the second subject area adjacent to the first subject area is not a predetermined attribute, A second focus detection region including at least a part of the subject region and the second subject region is set, and the focus adjustment control is performed based on a focus signal from the second focus detection region. Focus adjustment device.
前記画像の特徴量に基づいて当該画像の被写体領域を分割する領域分割ステップと、
分割されたそれぞれの被写体領域に含まれる被写体の属性を判定する属性判定ステップと、
前記画像内の焦点検出領域から焦点信号を生成する信号生成ステップと、
前記画像内に前記焦点検出領域を設定する設定ステップと、
前記焦点信号に基づいて前記フォーカスレンズの駆動を制御する焦点調節制御を行う制御ステップとを有し、
前記設定ステップにおいて、主被写体を含む第1の被写体領域に基づいて第1の焦点検出領域を設定し、
前記第1の焦点検出領域のサイズが第1の閾値より大きい場合、前記制御ステップにおいて、当該第1の焦点検出領域からの焦点信号に基づいて前記焦点調節制御を行い、
前記第1の焦点検出領域のサイズが前記第1の閾値以下の場合であって、前記第1の被写体領域に隣接する第2の被写体領域の属性が所定の属性でない場合に、前記設定ステップにおいて、前記第1の被写体領域及び前記第2の被写体領域の少なくとも一部を含む第2の焦点検出領域を設定し、前記制御ステップにおいて、当該第2の焦点検出領域からの焦点信号に基づいて前記焦点調節制御を行うことを特徴とする焦点調節装置の制御方法。 A control method for a focus adjustment apparatus including an imaging unit that photoelectrically converts light that has passed through a photographing optical system including a focus lens to generate an image,
A region dividing step of dividing the subject region of the image based on the feature amount of the image;
An attribute determination step for determining an attribute of a subject included in each of the divided subject areas;
A signal generating step for generating a focus signal from a focus detection region in the image;
A setting step for setting the focus detection area in the image;
A control step for performing focus adjustment control for controlling driving of the focus lens based on the focus signal;
In the setting step, a first focus detection region is set based on a first subject region including a main subject,
When the size of the first focus detection area is larger than a first threshold, in the control step, the focus adjustment control is performed based on a focus signal from the first focus detection area,
In the setting step, when the size of the first focus detection area is equal to or smaller than the first threshold and the attribute of the second subject area adjacent to the first subject area is not a predetermined attribute, , Setting a second focus detection area including at least a part of the first subject area and the second subject area, and in the control step, based on a focus signal from the second focus detection area A control method for a focus adjustment apparatus, characterized by performing focus adjustment control.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014096147A JP2015215372A (en) | 2014-05-07 | 2014-05-07 | Focus adjustment unit, control method therefor, control program therefor, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014096147A JP2015215372A (en) | 2014-05-07 | 2014-05-07 | Focus adjustment unit, control method therefor, control program therefor, and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015215372A true JP2015215372A (en) | 2015-12-03 |
Family
ID=54752339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014096147A Pending JP2015215372A (en) | 2014-05-07 | 2014-05-07 | Focus adjustment unit, control method therefor, control program therefor, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015215372A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022068282A (en) * | 2017-07-05 | 2022-05-09 | キヤノン株式会社 | White balance adjustment device, focus control device, exposure control device, white balance adjustment method, focus control method, exposure control method and program |
JP7467084B2 (en) | 2019-11-26 | 2024-04-15 | キヤノン株式会社 | Image capture device, image capture device control method and program |
US12002259B2 (en) | 2017-07-05 | 2024-06-04 | Canon Kabushiki Kaisha | Image processing apparatus, training apparatus, image processing method, training method, and storage medium |
-
2014
- 2014-05-07 JP JP2014096147A patent/JP2015215372A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022068282A (en) * | 2017-07-05 | 2022-05-09 | キヤノン株式会社 | White balance adjustment device, focus control device, exposure control device, white balance adjustment method, focus control method, exposure control method and program |
JP7300027B2 (en) | 2017-07-05 | 2023-06-28 | キヤノン株式会社 | Image processing device, image processing method, learning device, learning method, and program |
JP2023115104A (en) * | 2017-07-05 | 2023-08-18 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP7350208B2 (en) | 2017-07-05 | 2023-09-25 | キヤノン株式会社 | Image processing device, image processing method, and program |
US12002259B2 (en) | 2017-07-05 | 2024-06-04 | Canon Kabushiki Kaisha | Image processing apparatus, training apparatus, image processing method, training method, and storage medium |
JP7467084B2 (en) | 2019-11-26 | 2024-04-15 | キヤノン株式会社 | Image capture device, image capture device control method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107950018B (en) | Image generation method and system, and computer readable medium | |
CN107258077B (en) | System and method for Continuous Auto Focus (CAF) | |
US9723208B2 (en) | Image processing apparatus, method for controlling the same, and storage medium | |
US9635280B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
EP2211306A1 (en) | Imaging apparatus, subject tracking method and storage medium | |
JP6184189B2 (en) | SUBJECT DETECTING DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE, SUBJECT DETECTING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM | |
US20150163391A1 (en) | Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium | |
CN108391051B (en) | Focusing abnormity processing method and mobile terminal | |
US20150054978A1 (en) | Imaging apparatus, its control method, and storage medium | |
US9843728B2 (en) | Focus control apparatus, control method therefor, storage medium therefor, and image capturing apparatus | |
JP2009177503A (en) | Imaging apparatus | |
JP2017129613A (en) | Focus adjustment device and focus adjustment method | |
JP2009111716A (en) | Imaging apparatus, program and template generating method | |
JP2015215372A (en) | Focus adjustment unit, control method therefor, control program therefor, and storage medium | |
KR20100035381A (en) | Image processing method and apparatus, and digital photographing apparatus | |
US20150015771A1 (en) | Image-capturing devices and methods | |
JP5635546B2 (en) | Imaging device and method for controlling imaging device | |
JP6164978B2 (en) | FOCUS ADJUSTMENT DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE | |
US10412317B2 (en) | Display control apparatus and display control method | |
US9479701B2 (en) | Image reproducing apparatus, image reproducing method, image capturing apparatus, and storage medium | |
US9959904B2 (en) | Reproduction control apparatus and control method for the same | |
US9736359B2 (en) | Image capturing apparatus and control method therefor | |
JP6094613B2 (en) | Projection control device, display control device, and display control method | |
US11012611B2 (en) | Electronic apparatus, control method, and storage medium | |
JP6262958B2 (en) | Imaging apparatus and control method thereof |