JP5949306B2 - Image processing apparatus, imaging apparatus, and image processing program - Google Patents
Image processing apparatus, imaging apparatus, and image processing program Download PDFInfo
- Publication number
- JP5949306B2 JP5949306B2 JP2012179351A JP2012179351A JP5949306B2 JP 5949306 B2 JP5949306 B2 JP 5949306B2 JP 2012179351 A JP2012179351 A JP 2012179351A JP 2012179351 A JP2012179351 A JP 2012179351A JP 5949306 B2 JP5949306 B2 JP 5949306B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- image processing
- subject
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 112
- 238000003384 imaging method Methods 0.000 title claims description 49
- 238000000034 method Methods 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Description
本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。 The present invention relates to an image processing device, an imaging device, and an image processing program.
従来、被写体抽出に関する様々な技術が考えられている。例えば、特許文献１の発明では、被写体形状の変化量に応じてＡＦ測距枠を変形することにより、被写体がカメラ方向に移動する場合でも、被写体に対して最適に自動焦点調節する撮像装置が開示されている。
Conventionally, various techniques relating to subject extraction have been considered. For example, in the invention of
ところで、被写体抽出に際しては、抽出した被写体領域にバラツキが生じる場合や、抽出自体が不安定である場合がある。このような場合には、被写体抽出により抽出した被写体領域の表示に際して、ユーザによる視認性が低下する場合もある。 By the way, when extracting a subject, the extracted subject region may vary, or the extraction itself may be unstable. In such a case, when the subject area extracted by subject extraction is displayed, the visibility by the user may be reduced.
本発明は、前記の点に鑑みてなされたものであり、特徴量に基づいて検出した被写体領域の表示に際にして、画像処理の精度を維持しつつ、ユーザにとって視認性の高い表示を行うことを目的とする。 The present invention has been made in view of the above points, and performs display with high visibility for a user while maintaining the accuracy of image processing when displaying a subject area detected based on a feature amount. For the purpose.
本発明の画像処理装置は、処理対象の画像データを取得する取得部と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、前記画像に対して、前記領域検出部により検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理部と、前記領域検出部により検出した前記被写体領域もしくは、前記被写体領域に基づく領域を視認可能に表示する表示部と、前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示部により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出部により検出した前記被写体領域の情報に基づいて決定する制御部とを備える。 An image processing apparatus according to the present invention includes an acquisition unit that acquires image data to be processed, an area detection unit that calculates a feature amount of an image indicated by the image data, and detects a subject region determined based on the feature amount; An image processing unit that performs image processing on the image based on information on the subject area detected by the region detection unit, and the subject region detected by the region detection unit or a region based on the subject region Is a region that is different from the first region that is a region of interest in the image processing, and is based on the subject region or the subject region by the display unit. A control unit that determines a second region, which is a display region when displaying the region, based on information on the subject region detected by the region detection unit.
なお、前記制御部は、ユーザによる前記被写体領域についての視認性を加味して前記第２の領域を決定しても良い。 The control unit may determine the second region in consideration of the visibility of the subject region by the user.
また、前記制御部は、所定の図形への近似を行うことにより前記第１の領域および前記第２の領域を決定し、前記近似における精度は、前記第１の領域の方が前記第２の領域よりも高い、または、前記第１の領域と前記第２の領域とで同じであっても良い。 In addition, the control unit determines the first region and the second region by performing approximation to a predetermined figure, and the accuracy in the approximation is higher in the first region than in the second region. It may be higher than the region, or may be the same in the first region and the second region.
また、前記近似における精度は、前記図形の形状と、前記図形の大きさと、近似に用いる前記図形の個数との少なくとも１つにより決まっても良い。 The accuracy in the approximation may be determined by at least one of the shape of the graphic, the size of the graphic, and the number of the graphic used for the approximation.
また、前記制御部は、前記画像処理装置における処理能力と、前記第１の領域および前記第２の領域の決定に要求される速度と、前記第１の領域および前記第２の領域の決定に要求される精度との少なくとも１つに基づいて、前記第１の領域および前記第２の領域に関する前記近似における精度を決定しても良い。 The control unit may determine the processing capability of the image processing apparatus, the speed required for determining the first area and the second area, and the determination of the first area and the second area. Based on at least one of the required accuracy, the accuracy in the approximation with respect to the first region and the second region may be determined.
また、前記制御部は、前記領域検出部により複数の前記被写体領域が検出された場合に、前記第２の領域については、複数の前記被写体領域もしくは、それぞれの前記被写体領域に対応する複数の前記表示領域の重複具合に応じて、前記第２の領域を決定しても良い。 In addition, when the plurality of subject regions are detected by the region detection unit, the control unit may include a plurality of the subject regions or a plurality of the subject regions corresponding to the respective subject regions. The second area may be determined according to the overlapping state of the display areas.
また、前記制御部は、時間的に連続或いは間欠連続した複数の前記画像に関する前記第２の領域について、位置と大きさと形状との少なくとも１つを比較し、変化の度合が所定の範囲以内である場合には、同じ前記第２の領域としても良い。 Further, the control unit compares at least one of the position, the size, and the shape of the second region related to the plurality of images that are temporally continuous or intermittently continuous, and the degree of change is within a predetermined range. In some cases, the second region may be the same.
また、前記制御部は、前記領域検出部により検出した前記被写体領域の面積変化に応じて、前記第２の領域を決定しても良い。 Further, the control unit may determine the second region in accordance with a change in the area of the subject region detected by the region detection unit.
また、前記制御部は、複数の前記画像に関する前記第２の領域について、アスペクト比を固定してそれぞれの前記第２の領域を決定しても良い。 Further, the control unit may determine each of the second regions with a fixed aspect ratio for the second regions related to the plurality of images.
また、前記制御部は、時間的に連続或いは間欠連続する２枚の前記画像に関する前記第２の領域について、位置と大きさとアスペクト比との少なくとも１つを固定してそれぞれの前記第２の領域を決定しても良い。 Further, the control unit fixes at least one of a position, a size, and an aspect ratio for each of the second regions related to the two images that are continuous or intermittently continuous in time. May be determined.
本発明の撮像装置は、光学系による像を撮像して画像を生成する撮像部と、上述した何れかに記載の画像処理装置とを備え、 前記取得部は、前記撮像部から前記画像を取得する。 An imaging apparatus according to the present invention includes an imaging unit that captures an image by an optical system and generates an image, and the image processing device according to any one of the above-described units, and the acquisition unit acquires the image from the imaging unit. To do.
なお、前記第１の領域は、焦点調節に関わる領域であっても良い。 The first area may be an area related to focus adjustment.
また、前記第１の領域は、前記領域検出部により検出した前記被写体領域の周辺エッジを含み、前記被写体領域よりも広い領域と前記被写体領域に内接する領域との少なくとも一方であっても良い。 The first region may include at least one of a region wider than the subject region and a region inscribed in the subject region, including a peripheral edge of the subject region detected by the region detection unit.
また、前記第１の領域は、露出調整に関わる領域であっても良い。 The first area may be an area related to exposure adjustment.
また、前記第１の領域は、前記領域検出部により検出した前記被写体領域に内接する領域であっても良い。 The first area may be an area inscribed in the subject area detected by the area detecting unit.
本発明の画像処理プログラムは、コンピュータに、処理対象の画像データを取得する取得手順と、前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、前記画像に対して、前記領域検出手順において検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理手順と、前記領域検出手順において検出した前記被写体領域もしくは、前記被写体領域に基づく領域を表示部に視認可能に表示する表示手順と、前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示手順により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出手順において検出した前記被写体領域の情報に基づいて決定する制御手順とを実行させる。 An image processing program according to the present invention is an area for detecting an object region determined based on an acquisition procedure for acquiring image data to be processed, a feature amount of an image indicated by the image data, and a computer. A detection procedure, an image processing procedure for performing image processing on the image based on information on the subject region detected in the region detection procedure, and the subject region or the subject region detected in the region detection procedure. A display procedure for displaying a region based on the display unit in a visible manner, a first region that is a region of interest in the image processing, and a region different from the first region. The second area which is a display area when displaying an area based on the subject area is detected in the area detection procedure. To execute a control procedure for determining based on the information of Utsushitai area.
本発明によれば、特徴量に基づいて検出した被写体領域の表示に際にして、画像処理の精度を維持しつつ、ユーザにとって視認性の高い表示を行うことができる。 According to the present invention, it is possible to perform display with high visibility for a user while maintaining the accuracy of image processing when displaying a subject area detected based on a feature amount.
以下、本実施形態について図面を参照して詳細に説明する。 Hereinafter, the present embodiment will be described in detail with reference to the drawings.
本実施形態では、図１に示すようなレンズ鏡筒１０と、撮像装置２０と、記録媒体４０とからなる装置を例に挙げて説明する。
In the present embodiment, a description will be given by taking as an example an apparatus including a lens barrel 10, an imaging device 20, and a
撮像装置２０は、レンズ鏡筒１０から入射される光学像を撮像する。得られた画像は静止画又は動画の画像として、記憶媒体４０に記憶される。
The imaging device 20 captures an optical image incident from the lens barrel 10. The obtained image is stored in the
レンズ鏡筒１０は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」と称する）１１と、レンズ駆動部１２と、ＡＦエンコーダ１３と、鏡筒制御部１４とを備える。なお、レンズ鏡筒１０は、撮像装置２０に着脱可能に接続されてもよいし、撮像装置２０と一体であってもよい。
The lens barrel 10 includes a focus adjustment lens (hereinafter referred to as an “AF (Auto Focus) lens”) 11, a lens driving unit 12, an AF encoder 13, and a lens
撮像装置２０は、撮像部２１と、画像処理装置２２と、表示部２３と、バッファメモリ部２４と、記憶部２５と、ＣＰＵ２６と、操作部２７と、通信部２８とを備える。撮像部２１は、撮像素子２９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０とを備える。撮像部２１は、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ２６により制御される。
The imaging device 20 includes an imaging unit 21, an
レンズ鏡筒１０において、ＡＦレンズ１１は、レンズ駆動部１２により駆動され、撮像装置２０の撮像素子２９の受光面（光電変換面）に、光学像を導く。ＡＦエンコーダ１３は、ＡＦレンズ１１の移動を検出し、ＡＦレンズ１１の移動量に応じた信号を、鏡筒制御部１４に出力する。ここで、ＡＦレンズ１１の移動量に応じた信号とは、例えば、ＡＦレンズ１１の移動量に応じて位相が変化するサイン（ｓｉｎ）波信号であってもよい。
In the lens barrel 10, the AF lens 11 is driven by the lens driving unit 12 and guides an optical image to the light receiving surface (photoelectric conversion surface) of the
鏡筒制御部１４は、撮像装置２０のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部１２を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１を光軸方向に駆動させる制御信号である。鏡筒制御部１４は、駆動制御信号に応じて、例えば、レンズ駆動部１２に出力するパルス電圧のステップ数を変更する。また、鏡筒制御部１４は、ＡＦレンズ１１の移動量に応じた信号に基づいて、レンズ鏡筒１０におけるＡＦレンズ１１の位置（フォーカスポジション）を、撮像装置２０のＣＰＵ２６に出力する。ここで、鏡筒制御部１４は、例えば、ＡＦレンズ１１の移動量に応じた信号を、ＡＦレンズ１１の移動方向に応じて積算することで、レンズ鏡筒１０におけるＡＦレンズ１１の移動量（位置）を算出してもよい。レンズ駆動部１２は、鏡筒制御部１４の制御に応じてＡＦレンズ１１を駆動し、ＡＦレンズ１１をレンズ鏡筒１０内で光軸方向に移動させる。
The lens
撮像装置２０において、撮像素子２９は、光電変換面を備え、レンズ鏡筒１０（光学系）により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。また、撮像素子２９は、光電変換面の一部の領域について、光学像を電気信号に変換するようにしてもよい（画像切り出し）。また、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部３０および通信部２８を介して記憶媒体４０に出力する。一方、撮像素子２９は、操作部２７を介してユーザからの撮影指示を受け付ける前の状態において、連続的に得られる画像をスルー画像として、バッファメモリ部２４及び表示部２３に、Ａ／Ｄ変換部３０を介して出力する。
In the imaging device 20, the
Ａ／Ｄ変換部３０は、撮像素子２９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部２４等に出力する。
The A /
画像処理装置２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像に対する画像処理を行う。そして、画像処理後の画像は、通信部２８を介して記憶媒体４０に記憶される。また、画像処理装置２２は、バッファメモリ部２４に一時的に記憶されている画像に対して、マスク抽出処理を行う（詳細は後述する）。そして、抽出したマスクに関する情報は、ＣＰＵ２６に出力されるとともに、記憶部２５や記憶媒体４０等に記憶される。
The
表示部２３は、例えば液晶ディスプレイであって、撮像部２１によって生成された画像、及び操作画面等を表示する。バッファメモリ部２４は、撮像部２１によって生成された画像を一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する。
The display unit 23 is, for example, a liquid crystal display, and displays an image generated by the imaging unit 21, an operation screen, and the like. The
ＣＰＵ２６は、画像処理部２２や記憶部２５などから適宜必要な情報を取得し、取得した情報に基づいて、撮像装置２０内の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。また、ＣＰＵ２６は、操作部２７の操作状態を監視するとともに、表示部２３への画像データの出力を行う。
The
操作部２７は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。
The
通信部２８は、カードメモリ等の取り外しが可能な記憶媒体４０と接続され、この記憶媒体４０への情報（画像データ、領域の情報など）の書込み、読み出し、あるいは消去を行う。
The
記憶媒体４０は、撮像装置２０に対して着脱可能に接続される記憶部であって、情報（画像データ、領域の情報など）を記憶する。なお、記憶媒体４０は、撮像装置２０と一体であってもよい。
The
撮像装置２０は、撮影時に、焦点調節情報に基づいて主要被写体領域を検出する通常モードの他に、自動で主要被写体領域を検出する自動検出モードを備える。自動検出モードは、構図確認用のスルー画像等に基づいて、主要被写体領域を自動で継続的に検出し、検出した主要被写体領域の情報を表示部２３に表示するとともに、バッファメモリ部２４や記憶部２５等に記憶するモードである。この自動検出モードは操作部２７を介したユーザ操作により設定可能であっても良いし、ＣＰＵ２６により自動で設定可能であっても良い。
The imaging device 20 includes an automatic detection mode for automatically detecting the main subject area in addition to the normal mode for detecting the main subject area based on the focus adjustment information at the time of shooting. In the automatic detection mode, a main subject area is automatically and continuously detected based on a through image for composition confirmation, etc., and information on the detected main subject area is displayed on the display unit 23, and the
以下、自動検出モード実行時のＣＰＵ２６の動作について、図２から図５のフローチャートおよび図６から図１２の模式図を参照して説明する。
Hereinafter, the operation of the
ステップＳ１０１において、ＣＰＵ２６は、撮像部２１を制御して、スルー画像の取得を開始する。取得されたスルー画像の画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像は、所定の時間間隔で連続して生成される。そして、ＣＰＵ２６によるスルー画像の取得は、時間的に連続して順次行われる。
In step S <b> 101, the
ステップＳ１０２において、ＣＰＵ２６は、画像処理装置２２を制御して通常の画像処理を行う。通常の画像処理とは、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などである。各処理の具体的な方法は公知技術と同様であるため説明を省略する。画像処理装置２２は、バッファメモリ部２４から対象となる画像の画像データを取得し、画像処理を施した後に、再びバッファメモリ部２４に出力する。
In step S102, the
ステップＳ１０３において、ＣＰＵ２６は、画像処理装置２２を制御してマスク抽出処理を行う。マスク抽出処理とは、画像における特徴量を算出し、前記特徴量に基づいて被写体領域を検出するための一手法である。例えば、画像における特徴量から評価値を求め、同じ評価値の連続領域を求めることによりマスク抽出を行う。マスク抽出の手法はどのような方法であっても良い。また、マスク抽出の具体的な方法は公知技術と同様であるため説明を省略する。
In step S103, the
ステップＳ１０４において、ＣＰＵ２６は、被写体領域を抽出できたか否かを判定する。ＣＰＵ２６は、被写体領域を抽出できたと判定するとステップＳ１０５に進む。一方、被写体領域を抽出できないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。
In step S104, the
被写体領域を抽出できたか否かとは、すなわち、ステップＳ１０３におけるマスク抽出処理によりマスク抽出が成功したか否かということである。例えば、ステップＳ１０３におけるマスク抽出処理において、特徴量が算出できなかったり、評価値が低すぎたりした場合には、マスク抽出が失敗し、被写体領域を抽出できないことになる。被写体領域を抽出できない場合、ＣＰＵ２６は、以降の処理を行わずに、被写体領域を抽出できるまで、ステップＳ１０２の通常の画像処理およびステップＳ１０３のマスク抽出処理を繰り返す。
Whether or not the subject area has been extracted means that the mask extraction has succeeded by the mask extraction processing in step S103. For example, if the feature amount cannot be calculated or the evaluation value is too low in the mask extraction process in step S103, the mask extraction fails and the subject area cannot be extracted. If the subject area cannot be extracted, the
ステップＳ１０５において、ＣＰＵ２６は、マスク情報をバッファメモリ部２４や記憶部２５等に記録する。マスク情報には、ステップＳ１０３のマスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状などの情報が含まれる。
In step S105, the
ステップＳ１０６において、ＣＰＵ２６は、ｎ回（ｎフレーム）以上連続して同一のマスクを抽出したか否かを判定する。ＣＰＵ２６は、ｎ回以上連続して同一のマスクを抽出したと判定すると後述するステップＳ１０７に進む。一方、ｎ回以上連続して同一のマスクを抽出していないと判定すると、ＣＰＵ２６は、後述するステップＳ１１２に進む。
In step S106, the
同一のマスクを抽出する場合とは、複数フレームにおいて、略同色、略同サイズのマスクが、略同じ位置において抽出する場合である。この判定には、ステップＳ１０５で説明したマスク情報等を用いれば良い。何れの場合も、フレーム間の変化量が規定以内である場合に、同一と判定することができる。ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述した変化量が規定以内であるかを判断する閾値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、閾値を大きめに変更しても良い。 The case where the same mask is extracted is a case where masks of substantially the same color and size are extracted at substantially the same position in a plurality of frames. For this determination, the mask information described in step S105 may be used. In any case, when the amount of change between frames is within a specified range, it can be determined that they are the same. Based on the mask information or the like described in step S105, the tendency of mask extraction performed in the past (extracted mask type, appearance frequency, etc.) is obtained, and the amount of change described above is within the specified range according to this tendency. It may be possible to appropriately change the threshold for determining whether or not. For example, the threshold value may be changed to a larger value for a mask extracted at a high frequency in the past.
この判定は、ステップＳ１０３のマスク抽出処理により任意の主要被写体領域が安定して検出されているか否かを判定するためのものである。このように、連続（あるいは間欠連続）の複数のフレームにおいて、略同色、略同サイズ、略同じ位置の被写体が検出され手射る状態を、「マスク抽出処理が安定して行われている」と称する。ステップＳ１０３のマスク抽出処理が安定して行われている場合、主要被写体領域を正しく検出していると判断することができる。なお、上述したｎは所定の閾値（例えば、ｎ＝７）であり、撮像部２１による撮像時のフレームレート、レンズ鏡筒１０におけるズーム倍率、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、ステップＳ１０５で説明したマスク情報等に基づいて、過去に行われたマスク抽出の傾向（抽出されたマスクの種類、出現頻度など）を求め、この傾向に応じて上述したｎの値を適宜変更可能としても良い。例えば、過去に高い頻度で抽出されたマスクについては、ｎの値を小さめに変更しても良い。
This determination is for determining whether or not an arbitrary main subject region has been stably detected by the mask extraction processing in step S103. In this way, in a plurality of continuous (or intermittent continuous) frames, a state in which a subject of substantially the same color, substantially the same size, and substantially the same position is detected and shot manually is referred to as “the mask extraction process is stably performed”. Called. If the mask extraction process in step S103 is performed stably, it can be determined that the main subject area is correctly detected. Note that n described above is a predetermined threshold (for example, n = 7), and is appropriately determined based on the frame rate at the time of image capturing by the image capturing unit 21, the zoom magnification in the lens barrel 10, the user operation via the
また、ステップＳ１０６で行った判定の内容を、ステップＳ１０５で説明したマスク情報に追加して記録しておき、以降のフレームに関する処理時に用いる構成としても良い。 Further, the contents of the determination made in step S106 may be recorded in addition to the mask information described in step S105, and used in subsequent processing relating to frames.
また、上述した以外の方法でマスク抽出処理が安定して行われているか否かを判定する構成としても良い。例えば、前回まで連続して同一のマスクを抽出したか否かを加味して判定を行っても良い。このような構成とすれば、今回のみ一時の未抽出が発生した場合でも、それまでの蓄積を無効にせず、次のフレームにおいて同一のマスクを抽出した場合には、前回までの安定状態が維持されているものと見なすことができる。 Moreover, it is good also as a structure which determines whether the mask extraction process is performed stably by methods other than the above-mentioned. For example, the determination may be performed in consideration of whether the same mask has been extracted continuously until the previous time. With this configuration, even if temporary unextraction occurs only this time, if the same mask is extracted in the next frame without invalidating the previous accumulation, the previous stable state is maintained. Can be considered.
ステップＳ１０７において、ＣＰＵ２６は、抽出したマスクに基づいて主要被写体領域を記録する。主要被写体領域は、ステップＳ１０６において判定の対象となったフレームの画像において、ステップＳ１０３で抽出されたマスクに基づいて求められる。ＣＰＵ２６は、主要被写体領域の情報をバッファメモリ部２４や記憶部２５等に記録する。主要被写体領域の情報には、用いられたマスクに関するマスク情報、主要被写体領域の位置、主要被写体領域の大きさや形状などの情報が含まれる。
In step S107, the
ステップＳ１０８において、ＣＰＵ２６は、ＡＦ用注目領域を設定する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に基づいて、撮影時のＡＦ処理における注目領域であるＡＦ用注目領域を設定する。ＡＦ用注目領域の設定の詳細は後述する。
In step S108, the
ステップＳ１０９において、ＣＰＵ２６は、ＡＥ用注目領域を設定する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に基づいて、撮影時のＡＥ処理における注目領域であるＡＥ用注目領域を設定する。ＡＥ用注目領域の設定の詳細は後述する。
In step S109, the
ステップＳ１１０において、ＣＰＵ２６は、表示領域を設定する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に基づいて、表示部２３により主要被写体領域を表示する際の表示領域を設定する。なお、表示領域は、上述したＡＦ用注目領域およびＡＥ用注目領域とは異なる領域である。表示領域の設定の詳細は後述する。
In step S110, the
ステップＳ１１１において、ＣＰＵ２６は、主要被写体領域の情報を表示部２３に表示する。ＣＰＵ２６は、表示部２３を制御し、ステップＳ１０１で取得を開始したスルー画像に重畳して、ステップＳ１０７で記録した主要被写体領域を視認可能に表示する。このとき、ＣＰＵ２６は、ステップＳ１１０で設定した表示領域に合わせて、主要被写体領域に枠などを表示する。このような表示を行うことにより、ユーザは、ＣＰＵ２６が自動で検出している主要被写体領域がどのようなものであるかを、容易に把握することができる。なお、上述した枠を表示する際に、枠の線の太さ、濃淡、色などはどのようなものであっても良い。また、これらのファクターと、検出の精度などを関連付けて表示を行う構成としても良い。
In step S <b> 111, the
ステップＳ１１２において、ＣＰＵ２６は、主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、通常の３Ａ処理を行う。３Ａ処理とは、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）であり、公知技術と同様に行われる。
In step S112, the
なお、任意の被写体領域がステップＳ１０７の処理により主要被写体領域として記録されている場合には、ＣＰＵ２６は、その記録に基づく一部または全ての設定を解除するとともに、表示部２３における主要被写体領域の情報の表示を終了してステップＳ１１３に進む。
If an arbitrary subject area is recorded as the main subject area by the process of step S107, the
ステップＳ１１３において、ＣＰＵ２６は、撮影指示が行われたか否かを判定する。ＣＰＵ２６は、撮影指示が行われたと判定するとステップＳ１１４に進む。一方、撮影指示が行われないと判定すると、ＣＰＵ２６は、ステップＳ１０２に戻り、次のフレームの画像に対してステップＳ１０２以降の処理を行う。撮影指示は、操作部２７のシャッタボタンを介したユーザ操作により行われる。このユーザ操作は、いわゆる半シャッタと全シャッタの何れであっても良い。
In step S113, the
ステップＳ１１４において、ＣＰＵ２６は、ＡＦ・ＡＥ処理を行う。ＣＰＵ２６は、ステップＳ１０８で設定したＡＦ用注目領域に基づいて、ＡＦ処理（焦点調整）を行うとともに、ステップＳ１０９で設定したＡＥ用注目領域に基づいて、ＡＥ処理（露出調整）を行う。なお、ステップＳ１１２で通常の３Ａ処理を行っている場合には、ＣＰＵ２６は、３Ａ処理の結果に基づいて、ＡＦ処理およびＡＥ処理を行う。
In step S114, the
ステップＳ１１５において、ＣＰＵ２６は、各部を制御して撮影を実行する。このとき、ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域の情報に基づいて、画像処理装置２２における各種画像処理の条件等を決定する。また、ステップＳ１１２で通常の３Ａ処理を行っている場合には、３Ａ処理の結果に基づいて、画像処理装置２２における各種画像処理の条件等を決定する。
In step S115, the
ステップＳ１１６において、ＣＰＵ２６は、撮像により生成した画像を、通信部２８を介して記憶媒体４０に記録して一連の処理を終了する。
In step S116, the
次に、ステップＳ１０８で説明したＡＦ用注目領域の設定について、図３のフローチャートおよび図６の模式図を参照して説明する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域を、所定の図形へ近似させることにより、ＡＦ用注目領域の設定を行う。ここでは、主要被写体領域を１つ以上の矩形に近似させる場合を例に挙げて説明する。なお、矩形以外のどのような図形を採用しても良い。また、複数種類の図形を組み合わせて採用しても良い。
Next, the setting of the AF attention area described in step S108 will be described with reference to the flowchart of FIG. 3 and the schematic diagram of FIG. The
ＡＦ用注目領域は、焦点調節に用いられる領域であり、基本的に、上述した主要被写体領域の周辺エッジを含み、主要被写体領域よりも広い領域であることが求められる。したがって、従来採用されている外接矩形よりも、より主要被写体領域の形状に即したものの方が好ましい。そこで、ＣＰＵ２６は、主要被写体領域を、複数の矩形の集合に近似させる。なお、この近似における精度は、近似に用いる図形の形状や、図形の大きさや、図形の個数などにより決まる。また、この近似における精度は、撮像装置２０の処理能力や、要求される速度や、要求される精度等に基づいて変化する。さらに、ＡＦ用注目領域の近似における精度は、後述する表示領域の近似における精度以上であることが好ましい。これは、ＡＦ用注目領域は、焦点調節に最適化させるための十分な精度が必要であるが、表示領域は、ユーザによる視認性を重視する必要があるためである。
The AF attention area is an area used for focus adjustment, and basically includes a peripheral edge of the main subject area described above and is wider than the main subject area. Therefore, it is more preferable to conform to the shape of the main subject area than the circumscribed rectangle conventionally employed. Therefore, the
ステップＳ２０１において、ＣＰＵ２６は、最大分割数をチェックする。最大分割数は、撮像装置２０の処理能力に応じて予め決められた数である。
In step S201, the
ステップＳ２０２において、ＣＰＵ２６は、図６Ａに示すように、ステップＳ１０７で記録した主要被写体領域の外接矩形Ａ１を算出する。
In step S202, the
ステップＳ２０３において、ＣＰＵ２６は、図６Ｂに示すように、ステップＳ１０７で記録した主要被写体領域の画像を分割する。なお、初期段階においては、図６Ｂに示すように、分割数は４とする。２回目以降は、後述するステップＳ２０７で変更された分割数にしたがって、主要被写体領域の画像を分割する。また、分割数は、レンズ鏡筒１０におけるズーム倍率や絞り、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。例えば、レンズ鏡筒１０におけるズーム倍率がテレ側の時には、精度が必要であるため分割数を多く設定し、ワイド側の時には、最小分割数など、分割数を少なめに設定すると良い。ＣＰＵ２６は、上述した分割数で主要被写体領域の画像を分割する。図６Ｂは、分割数が４である場合の例であり、図６Ｃは、分割数が９である場合の例を示す。
In step S203, the
ステップＳ２０４において、ＣＰＵ２６は、分割領域ごとの充填率を算出する。
In step S204, the
ステップＳ２０５において、ＣＰＵ２６は、低充填率の分割領域を除外する。ある分割領域が低充填率であるか否かの判定は、ステップＳ２０４で算出した分割領域ごとの充填率と所定の閾値を比較することにより行う。そして、ＣＰＵ２６は、低充填率であると判定された分割領域を、主要被写体領域から除外する。例えば、図６Ｂの例では、右下の分割領域が主要被写体領域から除外されている例を示し、図６Ｃの例では、上段の左端の分割領域と、中段の右端の分割領域と、下段の右側２つの分割領域が主要被写体領域から除外されている例を示す。
In step S205, the
ステップＳ２０６において、ＣＰＵ２６は、全体の充填率が所定の閾値Ｔａ以上であるか否かを判定する。ＣＰＵ２６は、ステップＳ２０５で低充填率の分割領域が除外された主要被写体領域全体の充填率を算出し、算出した主要被写体領域全体の充填率が所定の閾値Ｔａ以上であると判定すると後述するステップＳ２０８に進む。一方、主要被写体領域全体の充填率が所定の閾値Ｔａ未満であると判定すると、ＣＰＵ２６は、ステップＳ２０７に進む。なお、上述した閾値Ｔａは予め定められても良いし、対象画像の解像度や、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。さらに、後述する分割数に応じて上述した閾値Ｔａの値を適宜変更可能としても良い。例えば、分割数が多いほど、閾値Ｔａの値を大きく変更しても良い。
In step S206, the
ステップＳ２０７において、ＣＰＵ２６は、分割数を変更する。ＣＰＵ２６は、前回の画像の分割（ステップＳ２０３）よりも分割数を大きく変更する。なお、分割数の増やし方は予め定められている（例えば、分割数＝４，９，１６・・・ｎ２）ものとする。ただし、分割数の上限はステップＳ２０１でチェックした最大分割数である。
In step S207, the
つまり、ＣＰＵ２６は、主要被写体領域全体の充填率が所定の閾値Ｔａ以上となるまで、ステップＳ２０３からステップＳ２０７の処理を繰り返し、分割数を増やしつつ、低充填率の分割領域が除外された主要被写体領域全体の充填率をチェックする。なお、主要被写体領域全体の充填率が所定の閾値Ｔａ以上となる前に、分割数が最大分割数に到達してしまった場合には、ＣＰＵ２６は、処理を中断したり、前回までの処理による主要被写体領域を採用するなどのエラー処理を行う。
That is, the
ステップＳ２０８において、ＣＰＵ２６は、ステップＳ２０５で低充填率の分割領域が除外された残りである残留分割領域の番地を、バッファメモリ部２４や記憶部２５等に記録する。残留分割領域とは、ステップＳ２０６において主要被写体領域全体の充填率の算出対象となった領域と同じである。
In step S208, the
上述した一連の処理により、ＣＰＵ２６は、ＡＦ用注目領域として、主要被写体領域の周辺エッジを含む包含枠、あるいは包絡矩形領域のうち、最小の領域を設定することができる。
Through the series of processes described above, the
なお、より精度良くＡＦ用注目領域を求める際には、上述した分割領域を移動させて充填率をさらに向上させても良い。例えば、図６Ｄに示すように、分割領域を横方向に移動させて、より充填率の高い配置を求める構成としても良い。また、分割領域を縦方向に移動させても良いし、回転・拡大縮小させても良い。 When obtaining the AF attention area with higher accuracy, the filling ratio may be further improved by moving the above-described divided areas. For example, as illustrated in FIG. 6D, a configuration may be employed in which the divided region is moved in the horizontal direction to obtain an arrangement with a higher filling rate. Further, the divided area may be moved in the vertical direction, or may be rotated / enlarged / reduced.
次に、ステップＳ１０９で説明したＡＥ用注目領域の設定について、図４のフローチャートおよび図７の模式図を参照して説明する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に内接する矩形を求めることにより、主要被写体領域を矩形に近似させ、ＡＥ用注目領域の設定を行う。ここでは、主要被写体領域に内接する１つの矩形を求める場合を例に挙げて説明する。なお、矩形以外のどのような図形を採用しても良い。また、複数種類の図形を組み合わせて採用しても良い。
Next, the setting of the attention area for AE described in step S109 will be described with reference to the flowchart of FIG. 4 and the schematic diagram of FIG. The
ＡＥ用注目領域は、露出調整に用いられる領域であり、上述した主要被写体領域外の余分な領域が含まれない領域であることが求められる。そこで、ＣＰＵ２６は、上述したように、主要被写体領域に内接する領域を求める。なお、この近似における精度は、図形の形状や、図形の大きさや、近似に用いる図形の個数などにより決まる。また、この近似における精度は、撮像装置２０の処理能力や、要求される速度や、要求される精度等に基づいて変化する。さらに、ＡＥ用注目領域の近似における精度は、上述したＡＦ用注目領域と同様に、後述する表示領域の近似における精度以上であることが好ましい。
The AE attention area is an area used for exposure adjustment, and is required to be an area that does not include an extra area outside the main subject area described above. Therefore, as described above, the
ステップＳ３０１において、ＣＰＵ２６は、図７Ａに示すように、ステップＳ１０７で記録した主要被写体領域の内接矩形Ａ２を算出する。なお、内接矩形Ａ２は、図７Ａに示すように複数存在するが、ＣＰＵ２６は、図７Ａに示すように面積が最大となる内接矩形Ａ２を算出する。
In step S301, as shown in FIG. 7A, the
ステップＳ３０２において、ＣＰＵ２６は、ステップＳ３０１で算出した内接矩形Ａ２内の輝度値を算出する。
In step S302, the
ステップＳ３０３において、ＣＰＵ２６は、ステップＳ３０２で算出した内接矩形Ａ２内の輝度値に基づいてＡＥ値を算出する。ＡＥ値の算出は、公知技術と同様に行われる。
In step S303, the
ステップＳ３０４において、ＣＰＵ２６は、ステップＳ３０３で算出したＡＥ値をバッファメモリ部２４や記憶部２５等に記録する。
In step S304, the
なお、より精度良くＡＥ用注目領域を求める際には、上述したＡＦ用注目領域と同様に、分割領域を組み合わせても良い。例えば、図７Ｂに示すように、複数の分割領域を横方向に移動して適宜配置し、より充填率の高い配置を求めてＡＥ用注目領域としても良い。さらに、分割領域を縦方向に移動させても良いし、回転・拡大縮小させても良い。 When obtaining the AE attention area with higher accuracy, the divided areas may be combined in the same manner as the AF attention area described above. For example, as shown in FIG. 7B, a plurality of divided regions may be moved in the horizontal direction and appropriately arranged, and an arrangement with a higher filling rate may be obtained and used as the attention region for AE. Furthermore, the divided area may be moved in the vertical direction, or may be rotated / enlarged / reduced.
さらに、ＡＥ用注目領域を、上述したＡＦ用注目領域として利用しても良い。例えば、上述したＡＦ用注目領域において説明した「主要被写体領域の周辺エッジを含み、主要被写体領域よりも広い領域」と、ＡＥ用注目領域として説明した「主要被写体領域に内接する領域」との両方をＡＦ用注目領域として求め、２つのＡＦ用注目領域を用いてＡＦ処理を行っても良い。この場合、例えば、小さい方の領域である「主要被写体領域に内接する領域」に基づいてＡＦ処理を行い、ＡＦ処理が良好に行えない（合焦しない等）場合には、大きい方の領域である「主要被写体領域の周辺エッジを含み、主要被写体領域よりも広い領域」に基づいてＡＦ処理を行うと良い。 Further, the AE attention area may be used as the AF attention area described above. For example, both the “region including the peripheral edge of the main subject region and wider than the main subject region” described in the AF attention region described above and the “region inscribed in the main subject region” described as the AE attention region May be obtained as the AF attention area, and the AF processing may be performed using the two AF attention areas. In this case, for example, when the AF process is performed based on the smaller area “area inscribed in the main subject area” and the AF process cannot be performed satisfactorily (not in focus), the larger area is used. The AF process may be performed based on a certain “region including the peripheral edge of the main subject region and wider than the main subject region”.
次に、ステップＳ１１０で説明した表示領域の設定について、図５のフローチャートおよび図８から図１２の模式図を参照して説明する。ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域に外接する矩形を求めることにより、主要被写体領域を矩形に近似させ、表示領域の設定を行う。ここでは、主要被写体領域に外接する１つの矩形を求める場合を例に挙げて説明する。なお、矩形以外のどのような図形を採用しても良い。また、複数種類の図形を組み合わせて採用しても良い。
Next, the setting of the display area described in step S110 will be described with reference to the flowchart of FIG. 5 and the schematic diagrams of FIGS. The
表示領域は、ステップＳ１０７で記録した主要被写体領域を視認可能に表示部２３に表示する際に用いられる領域であり、ユーザにとっての視認性の高さが求められる。そこで、ＣＰＵ２６は、ユーザによる視認性を加味して表示領域を求める。なお、この近似における精度は、近似に用いる図形の形状や、図形の大きさや、図形の個数などにより決まる。また、この近似における精度は、撮像装置２０の処理能力や、要求される速度や、要求される精度等に基づいて変化する。さらに、表示領域の近似における精度は、上述したＡＦ用注目領域およびＡＥ表示領域の近似における精度未満であって構わない。これは、これは、表示領域は、ユーザによる視認性を満たしていれば、上述したＡＦ用注目領域やＡＥ用注目領域のように厳密な精度を必要としないためである。
The display area is an area that is used when the main subject area recorded in step S107 is displayed on the display unit 23 so as to be visible, and requires high visibility for the user. Therefore, the
ステップＳ４０１において、ＣＰＵ２６は、図８Ａに示すように、ステップＳ１０７で記録した主要被写体領域の外接矩形Ａ３を算出する。
In step S401, as shown in FIG. 8A, the
ステップＳ４０２において、ＣＰＵ２６は、ステップＳ４０１で算出した外接矩形Ａ３内の充填率を算出する。
In step S402, the
ステップＳ４０３において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３内の充填率が所定の閾値Ｔｂ以上であるか否かを判定する。ＣＰＵ２６は、外接矩形Ａ３内の充填率が所定の閾値Ｔｂ以上であると判定するとステップＳ４０４に進む。一方、外接矩形Ａ３内の充填率が所定の閾値Ｔｂ未満であると判定すると、ＣＰＵ２６は、後述するステップＳ４０６に進む。なお、上述した閾値Ｔｂは予め定められても良いし、対象画像の解像度や、操作部２７を介したユーザ操作などに基づいて適宜変更可能としても良い。
In step S403, the
ステップＳ４０４において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３の中心の座標を算出する。
In step S404, the
ステップＳ４０５において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３の大きさを算出する。
In step S405, the
ステップＳ４０６において、ＣＰＵ２６は、ステップＳ１０７で記録した主要被写体領域の重心の座標を算出する。
In step S406, the
ステップＳ４０７において、ＣＰＵ２６は、ステップＳ４０２で算出した外接矩形Ａ３の１／２の大きさを算出する。
In step S407, the
ステップＳ４０８において、ＣＰＵ２６は、表示領域の中心座標および大きさをバッファメモリ部２４や記憶部２５等に記録する。
In step S408, the
ステップＳ４０４およびステップＳ４０５の処理において、表示領域は、図８Ｂに示す矩形Ａ４の領域となる。一方、ステップＳ４０６およびステップＳ４０７の処理において、表示領域は、図８Ｃに示す矩形Ａ５の領域となる。ステップＳ４０６およびステップＳ４０７の処理は、上述したように、外接矩形Ａ３内の充填率＜所定の閾値Ｔｂである場合に行われる。このような場合には、外接矩形Ａ３を表示領域とするよりも、充填率に合わせて小さめの矩形Ａ５を表示領域とするほうがユーザの違和感が少ない。また、ＡＦ用注目領域やＡＥ用注目領域と同じ領域を表示領域としてしまうと、ユーザがスルー画像を目視する際の主要被写体領域の視認性が低下してしまう。 In the processing of step S404 and step S405, the display area is an area of a rectangle A4 shown in FIG. 8B. On the other hand, in the processing of step S406 and step S407, the display area is an area of a rectangle A5 shown in FIG. 8C. As described above, the processes in steps S406 and S407 are performed when the filling rate in the circumscribed rectangle A3 <the predetermined threshold Tb. In such a case, the user feels less uncomfortable when the smaller rectangle A5 is used as the display area in accordance with the filling rate than when the circumscribed rectangle A3 is used as the display area. Further, if the same region as the AF attention region or the AE attention region is set as the display region, the visibility of the main subject region when the user views the through image is deteriorated.
なお、上述した表示領域の設定において、以下（ａ）〜（ｄ）のような処理を行っても良い。 In the above-described display area setting, the following processes (a) to (d) may be performed.
（ａ）主要被写体領域の変化が少ない場合に、表示領域を固定する（変化させない）。 (A) When there is little change in the main subject area, the display area is fixed (not changed).
ＣＰＵ２６は、複数フレームの画像において求めた表示領域を比較し、その変化の度合いが所定の範囲内である場合には、表示領域を変化させずに固定する。変化の度合いは、それぞれの表示領域の位置や大きさ（面積）や形状などを比較し、変化量に基づいて求めることができる。例えば、第ｎフレームにおける表示領域が図９Ａの矩形Ａ６−１であり、次のフレームである第（ｎ＋１）フレームにおける表示領域が図９Ｂの矩形Ａ６−２である場合、ＣＰＵ２６は、矩形Ａ６−１および矩形Ａ６−２を比較し、その変化の度合いが所定の範囲内である場合には、図９Ｃに示すように、第（ｎ＋１）フレームにおける表示領域を矩形Ａ６−２ではなく矩形Ａ６−１とする。つまり、前フレームにおける表示領域を継続する。さらに、図９Ｄに示すように、矩形Ａ６−１および矩形Ａ６−２を包含する矩形Ａ６−３を採用する構成としても良い。ただし、このような統合を繰り返すことにより、表示領域が過剰に大きくなることは好ましくない。したがって、表示領域の大きさ（面積）には上限を定めておくものとする。
The
このように、表示領域を固定することにより、表示領域が小刻みに変化するなどのバラツキを抑え、ユーザによる視認性を向上させることができる。 In this way, by fixing the display area, it is possible to suppress variations such as a small change in the display area and improve visibility by the user.
（ｂ）アスペクト比を固定する。 (B) The aspect ratio is fixed.
ＣＰＵ２６は、複数フレームの画像において、それぞれの主要被写体領域の面積変化に基づいて、アスペクト比を固定する。例えば、第ｎフレームにおける表示領域が図１０Ａの矩形Ａ７−１であり、縦長がａ、横長がｂ、主要被写体領域の面積がＳ１であるものとする。そして、次のフレームである第（ｎ＋１）フレームにおける主要被写体領域の面積がＳ２である場合、ＣＰＵ２６は、図１０Ｂの矩形Ａ７−２に示すように、縦長および横長については、面積変化（Ｓ２／Ｓ１）の平方根を上述した縦長ａおよび横長ｂに乗じたものとする。なお、位置については、第ｎフレームにおける主要被写体領域の重心位置や第（ｎ＋１）フレームにおける主要被写体領域の重心位置などに応じて定めれば良い。
The
このように、表示領域のアスペクト比を固定することにより、表示領域の見た目の変化を抑え、ユーザによる視認性を向上させることができる。なお、上述した例以外にも、第ｎフレームにおける主要被写体領域の面積や第（ｎ＋１）フレームにおける主要被写体領域の面積変化に応じていれば、どのようにアスペクト比を固定しても良い。 Thus, by fixing the aspect ratio of the display area, it is possible to suppress changes in the appearance of the display area and improve the visibility by the user. In addition to the above-described example, the aspect ratio may be fixed as long as the area of the main subject region in the nth frame and the change in the area of the main subject region in the (n + 1) th frame are met.
（ｃ）位置、大きさ、アスペクト比の一部を固定する。 (C) A part of the position, size, and aspect ratio is fixed.
ＣＰＵ２６は、複数フレームの画像において、表示領域の位置、大きさ、アスペクト比の少なくとも１つを固定する。例えば、位置および大きさを変更する際にはアスペクト比を固定し、位置およびアスペクト比を変更する際には大きさを固定するなど、位置、大きさ、アスペクト比の一部を固定することにより、表示領域の見た目の変化を抑え、ユーザによる視認性を向上させることができる。
The
（ｄ）複数の被写体領域について、表示領域の重複具合に応じて表示領域を決定する。 (D) For a plurality of subject areas, the display area is determined according to the overlapping state of the display areas.
ＣＰＵ２６は、ステップＳ１０３のマスク抽出処理により複数の主要被写体領域が検出された場合に、各々の主要被写体領域について表示領域を求めた後に、それらの重複具合に応じて表示領域を決定する。例えば、図１１Ａに示すように、ステップＳ１０３において２つの主要被写体領域が検出された場合、ＣＰＵ２６は、それぞれの表示領域である矩形Ａ８−１および矩形Ａ８−２を比較し、矩形Ａ８−２が矩形Ａ８−１に包含されている場合には、図１１Ｂに示すように、より広い方の矩形Ａ８−１を表示領域とする。なお、選択的に一方の表示領域を採用する代わりに、２つの表示領域の平均を取って表示領域を決める構成としても良い。
When a plurality of main subject areas are detected by the mask extraction process in step S103, the
また、例えば、図１２Ａに示すように、ステップＳ１０３において２つの主要被写体領域が検出された場合、ＣＰＵ２６は、それぞれの表示領域である矩形Ａ９−１および矩形Ａ９−２を比較し、図１１Ｂに示すように、重複部分が占める割合がより高い矩形Ａ９−２を表示領域とする。
Also, for example, as shown in FIG. 12A, when two main subject areas are detected in step S103, the
なお、ステップＳ１０３のマスク抽出処理により複数の主要被写体領域が検出された場合に、表示領域については重複具合に応じて表示領域を決定するが、ＡＦ用注目領域およびＡＥ用注目領域については、それぞれの主要被写体領域を独立に扱い、ＡＦ用注目領域およびＡＥ用注目領域をそれぞれ決定するものとする。 In addition, when a plurality of main subject areas are detected by the mask extraction process in step S103, the display area is determined according to the degree of overlap for the display area. For the AF attention area and the AE attention area, The main subject area is independently handled, and the AF attention area and the AE attention area are respectively determined.
このように、複数の主要被写体領域について、表示領域の重複具合に応じて表示領域を決定することにより、ユーザによる見た目が煩雑化するのを防ぎ、ユーザによる視認性を向上させることができる。 As described above, by determining the display areas of the plurality of main subject areas in accordance with the overlapping state of the display areas, it is possible to prevent the appearance of the user from becoming complicated and to improve the visibility of the user.
以上説明したように、本実施形態によれば、取得した画像データにより示される画像の特徴量を算出し、特徴量に基づいて定まる被写体領域を検出する。そして、画像に対して、検出した被写体領域の情報に基づいて、画像処理を施すとともに、検出した被写体領域もしくは、検出した被写体領域に基づく領域を視認可能に表示する。このとき、画像処理における注目領域である第１の領域と、第１の領域とは異なる領域であり、被写体領域もしくは、検出した被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、領域検出部により検出した被写体領域の情報に基づいて決定する。 As described above, according to the present embodiment, the feature amount of the image indicated by the acquired image data is calculated, and the subject area determined based on the feature amount is detected. Then, image processing is performed on the image based on the detected subject area information, and the detected subject area or the area based on the detected subject area is displayed so as to be visible. At this time, the first area, which is the attention area in the image processing, is different from the first area, and is the second display area when displaying the subject area or the area based on the detected subject area. The region is determined based on the information of the subject region detected by the region detection unit.
したがって、画像処理に最適化した第１の領域と、表示に最適化した第２の領域とを独立に決定することにより、特徴量に基づいて検出した被写体領域の表示に際にして、画像処理の精度を維持しつつ、ユーザにとって視認性の高い表示を行うことができる。 Accordingly, by independently determining the first region optimized for image processing and the second region optimized for display, image processing is performed when displaying the subject region detected based on the feature amount. While maintaining this accuracy, it is possible to perform display with high visibility for the user.
特に、第２の領域である表示領域については、単純に検出した被写体領域に即した領域とすると、抽出した被写体領域にバラツキが生じる場合や、抽出自体が不安定である場合や、見た目が煩雑化する場合などがある。しかし、本実施形態のように、ユーザの視認性を加味して表示領域を決定することにより、適切な加工が加えられ、ユーザによる利便性も向上する。また、構図確認用のスルー画像については、一般に表示時間が長くなるため、このような工夫が大きな効果を発揮することとなる。 In particular, regarding the display area that is the second area, if the area is simply adapted to the detected subject area, the extracted subject area may vary, the extraction itself may be unstable, or the appearance may be complicated. There are some cases. However, as in this embodiment, by determining the display area in consideration of the visibility of the user, appropriate processing is added, and the convenience for the user is improved. In addition, since a display time is generally increased for a through image for composition confirmation, such a device has a great effect.
また、特に、第１の領域として、焦点調節に関わる領域を決定する際には、基本的に、検出した被写体領域に即した領域を採用する。したがって、領域を助長させて余分な情報が混入することにより焦点調節の精度が低下するという問題を抑えることができる。 In particular, when determining a region related to focus adjustment as the first region, a region corresponding to the detected subject region is basically employed. Therefore, it is possible to suppress the problem that the accuracy of the focus adjustment is deteriorated by promoting the area and mixing extra information.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
また、上記の実施形態においては、図２のステップＳ１０６において、マスク抽出処理が安定して行われているか否かを判定する例を示したが、この判定を行わない構成としても良い。すなわち、図２のステップＳ１０４において被写体領域を抽出できたと判定された全ての画像を対象としてステップＳ１０７からステップＳ１１１の処理を行う構成としても良い。 In the above embodiment, the example in which it is determined whether or not the mask extraction process is stably performed in step S106 in FIG. 2 is described. However, a configuration in which this determination is not performed may be employed. In other words, the process from step S107 to step S111 may be performed for all images for which it has been determined that the subject area has been extracted in step S104 of FIG.
また、上記の実施形態において、自動検出モードの中断処理、再開処理を適宜実行しても良い。 In the above-described embodiment, the automatic detection mode interruption processing and resumption processing may be appropriately executed.
また、上記の実施形態においては、主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、通常の３Ａ処理を行う例を示したが、本発明はこの例に限定されない。例えば、主要被写体領域の設定処理を行っていない状態で撮影指示を含む所定のユーザ操作が行われた場合に、マスク情報（図２ステップＳ１０５等）を用いて簡易的に主要被写体領域を設定する構成としても良い。 In the above-described embodiment, an example in which normal 3A processing is performed is shown in preparation for a case where a shooting instruction is performed in a state where the main subject region setting processing is not performed. It is not limited to. For example, when a predetermined user operation including a photographing instruction is performed in a state where the main subject region setting process is not performed, the main subject region is simply set using mask information (step S105 in FIG. 2). It is good also as a structure.
また、上記の実施形態においては、構図確認用のスルー画像に基づいて、一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、一眼レフカメラなどにおいて生成される構図確認用のライブビュー画像を対象とする場合にも、本発明を同様に適用することができる。また、記録媒体４０等に記録された動画像を対象とする場合にも、本発明を同様に適用することができる。
In the above-described embodiment, an example in which a series of processing is performed based on a through image for composition confirmation has been described, but the present invention is not limited to this example. For example, the present invention can be similarly applied to a case where a live view image for composition confirmation generated in a single-lens reflex camera or the like is targeted. Further, the present invention can be similarly applied to a case where a moving image recorded on the
また、上記の実施形態においては、すべてのフレームを対象として一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、時間的に間欠連続して生成された複数の画像を対象としても良い。具体的には、適宜フレーム間引きを行った複数の画像を対象としても良い。この場合、上記の実施形態における一連の処理は間引きされた複数の画像を対象として実行しつつ、すべての画像について表示を行っても良い。このような処理を行うことにより、処理負荷を軽減することができる。 In the above embodiment, an example in which a series of processing is performed for all frames has been described, but the present invention is not limited to this example. For example, a plurality of images generated intermittently in time may be targeted. Specifically, a plurality of images subjected to frame thinning as appropriate may be targeted. In this case, a series of processes in the above embodiment may be performed on a plurality of thinned images, and all the images may be displayed. By performing such processing, the processing load can be reduced.
また、コンピュータと画像処理プログラムとからなる「コンピュータシステム」により、上述した実施形態で説明した画像処理をソフトウェア的に実現しても良い。この場合、実施形態で説明したフローチャートの処理の一部または全部をコンピュータシステムで実行する構成とすれば良い。例えば、図２のステップＳ１０１からステップＳ１１１の処理の一部または全部をコンピュータで実行しても良い。このような構成とすることにより、上述した実施形態と同様の処理を実施することが可能になる。 Further, the image processing described in the above-described embodiment may be realized by software by a “computer system” including a computer and an image processing program. In this case, a part or all of the processing of the flowchart described in the embodiment may be configured to be executed by the computer system. For example, part or all of the processing from step S101 to step S111 in FIG. 2 may be executed by a computer. By adopting such a configuration, it is possible to perform the same processing as in the above-described embodiment.
この画像処理プログラムにおいては、画像処理の内容として様々なものが考えられる。例えば、動画像の編集時にも本発明を同様に適用することができる。また、例えば、対象画像がマルチアレイレンズを備えた撮像装置により生成された画像である場合に、画像処理としてリフォーカス処理を行う際にも、本発明を同様に適用することができる。 In this image processing program, various contents of image processing can be considered. For example, the present invention can be similarly applied when editing a moving image. Further, for example, when the target image is an image generated by an imaging device including a multi-array lens, the present invention can be similarly applied when performing refocus processing as image processing.
また、「コンピュータシステム」は、ｗｗｗシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Further, the “computer system” includes a homepage providing environment (or display environment) if a www system is used. The computer-readable recording medium is a writable nonvolatile memory such as a flexible disk, a magneto-optical disk, a ROM, or a flash memory, a portable medium such as a CD-ROM, and a storage such as a hard disk built in the computer system. Refers to the device.
さらにコンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。 Further, the computer-readable recording medium is a volatile memory (for example, DRAM (Dynamic Random Access) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Memory)) that holds a program for a certain period of time is also included.
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
２０…撮像装置、２１…撮像部、２２…画像処理装置、２３‥表示部、２６…ＣＰＵ DESCRIPTION OF SYMBOLS 20 ... Imaging device, 21 ... Imaging part, 22 ... Image processing apparatus, 23 ... Display part, 26 ... CPU
Claims (16)
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出部と、
前記画像に対して、前記領域検出部により検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理部と、
前記領域検出部により検出した前記被写体領域もしくは、前記被写体領域に基づく領域を視認可能に表示する表示部と、
前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示部により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出部により検出した前記被写体領域の情報に基づいて決定する制御部と
を備えることを特徴とする画像処理装置。 An acquisition unit for acquiring image data to be processed;
A region detecting unit that calculates a feature amount of an image indicated by the image data and detects a subject region determined based on the feature amount;
An image processing unit that performs image processing on the image based on information on the subject region detected by the region detection unit;
A display unit that displays the subject region detected by the region detection unit or a region based on the subject region so as to be visible;
The first area, which is the attention area in the image processing, is an area different from the first area, and is a display area when the display area displays the subject area or an area based on the subject area. An image processing apparatus comprising: a control unit that determines a second region based on information on the subject region detected by the region detection unit.
前記制御部は、ユーザによる前記被写体領域についての視認性を加味して前記第２の領域を決定する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The image processing apparatus, wherein the control unit determines the second region in consideration of visibility of the subject region by a user.
前記制御部は、所定の図形への近似を行うことにより前記第１の領域および前記第２の領域を決定し、
前記近似における精度は、前記第１の領域の方が前記第２の領域よりも高い、または、前記第１の領域と前記第２の領域とで同じである
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The controller determines the first region and the second region by approximating a predetermined figure,
The accuracy in the approximation is higher in the first area than in the second area, or is the same in the first area and the second area.
前記近似における精度は、前記図形の形状と、前記図形の大きさと、近似に用いる前記図形の個数との少なくとも１つにより決まる
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 3.
The accuracy in the approximation is determined by at least one of the shape of the graphic, the size of the graphic, and the number of the graphic used for the approximation.
前記制御部は、前記画像処理装置における処理能力と、前記第１の領域および前記第２の領域の決定に要求される速度と、前記第１の領域および前記第２の領域の決定に要求される精度との少なくとも１つに基づいて、前記第１の領域および前記第２の領域に関する前記近似における精度を決定する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 3 or 4,
The control unit is required for determining the processing capacity of the image processing apparatus, the speed required for determining the first area and the second area, and determining the first area and the second area. An image processing apparatus, wherein the accuracy in the approximation relating to the first region and the second region is determined based on at least one of the following accuracy.
前記制御部は、前記領域検出部により複数の前記被写体領域が検出された場合に、前記第２の領域については、複数の前記被写体領域もしくは、それぞれの前記被写体領域に対応する複数の前記表示領域の重複具合に応じて、前記第２の領域を決定する
ことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 5,
When the plurality of subject regions are detected by the region detection unit, the control unit may include the plurality of subject regions or the plurality of display regions corresponding to the subject regions for the second region. The image processing apparatus, wherein the second region is determined in accordance with the degree of overlap.
前記制御部は、時間的に連続或いは間欠連続した複数の前記画像に関する前記第２の領域について、位置と大きさと形状との少なくとも１つを比較し、変化の度合が所定の範囲以内である場合には、同じ前記第２の領域とする
ことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 6,
The control unit compares at least one of a position, a size, and a shape with respect to the second region related to the plurality of images that are temporally continuous or intermittently continuous, and the degree of change is within a predetermined range. In the image processing apparatus, the second region is the same.
前記制御部は、前記領域検出部により検出した前記被写体領域の面積変化に応じて、前記第２の領域を決定する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 7.
The image processing apparatus, wherein the control unit determines the second region according to a change in the area of the subject region detected by the region detection unit.
前記制御部は、複数の前記画像に関する前記第２の領域について、アスペクト比を固定してそれぞれの前記第２の領域を決定する
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 7 or 8,
The control unit determines the second regions by fixing an aspect ratio for the second regions related to the plurality of images.
前記制御部は、時間的に連続或いは間欠連続する２枚の前記画像に関する前記第２の領域について、位置と大きさとアスペクト比との少なくとも１つを固定してそれぞれの前記第２の領域を決定する
ことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 7 to 9,
The control unit determines each of the second regions by fixing at least one of a position, a size, and an aspect ratio for the second region relating to the two images that are continuous or intermittently continuous in time. An image processing apparatus.
請求項１から請求項１０の何れか１項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記画像を取得する
ことを特徴とする撮像装置。 An imaging unit that captures an image by an optical system and generates an image;
An image processing apparatus according to any one of claims 1 to 10,
The said acquisition part acquires the said image from the said imaging part. The imaging device characterized by the above-mentioned.
前記第１の領域は、焦点調節に関わる領域である
ことを特徴とする撮像装置。 The imaging device according to claim 11,
The imaging device, wherein the first region is a region related to focus adjustment.
前記第１の領域は、前記領域検出部により検出した前記被写体領域の周辺エッジを含み、前記被写体領域よりも広い領域と前記被写体領域に内接する領域との少なくとも一方である
ことを特徴とする撮像装置。 The imaging apparatus according to claim 12,
The first area includes a peripheral edge of the subject area detected by the area detection unit, and is at least one of an area wider than the subject area and an area inscribed in the subject area. apparatus.
前記第１の領域は、露出調整に関わる領域である
ことを特徴とする撮像装置。 The imaging apparatus according to any one of claims 11 to 13,
The image pickup apparatus, wherein the first area is an area related to exposure adjustment.
前記第１の領域は、前記領域検出部により検出した前記被写体領域に内接する領域である
ことを特徴とする撮像装置。 The imaging device according to claim 14, wherein
The imaging apparatus, wherein the first area is an area inscribed in the subject area detected by the area detection unit.
処理対象の画像データを取得する取得手順と、
前記画像データにより示される画像の特徴量を算出し、前記特徴量に基づいて定まる被写体領域を検出する領域検出手順と、
前記画像に対して、前記領域検出手順において検出した前記被写体領域の情報に基づいて、画像処理を施す画像処理手順と、
前記領域検出手順において検出した前記被写体領域もしくは、前記被写体領域に基づく領域を表示部に視認可能に表示する表示手順と、
前記画像処理における注目領域である第１の領域と、前記第１の領域とは異なる領域であり、前記表示手順により前記被写体領域もしくは、前記被写体領域に基づく領域を表示する際の表示領域である第２の領域とを、前記領域検出手順において検出した前記被写体領域の情報に基づいて決定する制御手順と
を実行させるための画像処理プログラム。 On the computer,
An acquisition procedure for acquiring image data to be processed;
A region detection procedure for calculating a feature amount of an image indicated by the image data and detecting a subject region determined based on the feature amount;
An image processing procedure for performing image processing on the image based on information on the subject region detected in the region detection procedure;
A display procedure for displaying the subject area detected in the area detection procedure or an area based on the subject area in a visible manner on a display unit;
The first area, which is the attention area in the image processing, is an area different from the first area, and is a display area when the subject area or an area based on the subject area is displayed by the display procedure. An image processing program for executing a control procedure for determining a second region based on information on the subject region detected in the region detection procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012179351A JP5949306B2 (en) | 2012-08-13 | 2012-08-13 | Image processing apparatus, imaging apparatus, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012179351A JP5949306B2 (en) | 2012-08-13 | 2012-08-13 | Image processing apparatus, imaging apparatus, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014039099A JP2014039099A (en) | 2014-02-27 |
| JP5949306B2 true JP5949306B2 (en) | 2016-07-06 |
Family
ID=50286920
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012179351A Active JP5949306B2 (en) | 2012-08-13 | 2012-08-13 | Image processing apparatus, imaging apparatus, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5949306B2 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7769285B2 (en) * | 2005-02-07 | 2010-08-03 | Panasonic Corporation | Imaging device |
| JP5055018B2 (en) * | 2006-06-14 | 2012-10-24 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and control method for image processing apparatus |
| JP4775644B2 (en) * | 2006-06-20 | 2011-09-21 | カシオ計算機株式会社 | Imaging apparatus and program thereof |
| JP2009177358A (en) * | 2008-01-22 | 2009-08-06 | Canon Inc | Image processor, image processing method, and program |
| JP5195663B2 (en) * | 2009-06-19 | 2013-05-08 | カシオ計算機株式会社 | Imaging apparatus, focusing method, and program |
| JP6083987B2 (en) * | 2011-10-12 | 2017-02-22 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
-
2012
- 2012-08-13 JP JP2012179351A patent/JP5949306B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014039099A (en) | 2014-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6512810B2 (en) | Image pickup apparatus, control method and program | |
| JP6518452B2 (en) | Imaging apparatus and imaging method | |
| JP6418879B2 (en) | Image processing apparatus, control method thereof, control program, and imaging apparatus | |
| US11184524B2 (en) | Focus control device, focus control method, program, and imaging device | |
| US11275230B2 (en) | Detection apparatus, detection method, detection program, and imaging apparatus | |
| JP6460721B2 (en) | Image processing apparatus, image processing method, and program | |
| WO2016002355A1 (en) | Image capturing device and image capturing method | |
| US20130128090A1 (en) | Image photographing device and image photographing method thereof | |
| US11252347B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
| US9986163B2 (en) | Digital photographing apparatus and digital photographing method | |
| JP5370555B2 (en) | Imaging apparatus, imaging method, and program | |
| US11513315B2 (en) | Focus control device, focus control method, program, and imaging device | |
| US20130265473A1 (en) | Imaging apparatus, focus control method, and program | |
| JP5949306B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| US10694096B2 (en) | Image pickup apparatus, method for controlling image pickup apparatus, and computer-readable storage medium | |
| CN106464783B (en) | Image pickup control apparatus, image pickup apparatus, and image pickup control method | |
| US20230217126A1 (en) | Imaging apparatus, imaging method | |
| JP2018151415A (en) | Imaging device, method of controlling imaging device, and program | |
| JP2011164428A (en) | Imaging apparatus and control method for the imaging apparatus | |
| JP6003383B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| US9979861B2 (en) | Photographing apparatus | |
| JP6148575B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2018116723A (en) | Image processing system | |
| JP2013243440A (en) | Imaging apparatus | |
| JP2014232418A (en) | Image processing apparatus, imaging device, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160421 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160523 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5949306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |