JP6098374B2

JP6098374B2 - Image processing apparatus, imaging apparatus, and image processing program

Info

Publication number: JP6098374B2
Application number: JP2013115642A
Authority: JP
Inventors: 鉾井　逸人; 逸人鉾井
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2013-05-31
Filing date: 2013-05-31
Publication date: 2017-03-22
Anticipated expiration: 2033-05-31
Also published as: JP2014236310A

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。 The present invention relates to an image processing device, an imaging device, and an image processing program.

従来、被写体の動きに合わせて焦点調節時に用いるフォーカスエリアを追従させる、所謂追尾に関して様々な技術が考案されている。この追尾に関する技術として、例えばカメラに近づく、或いはカメラから離れる方向に移動する被写体の形状や大きさ等に応じて、フォーカスエリアを変化させる技術が挙げられる（特許文献１参照）。 Conventionally, various techniques have been devised for so-called tracking in which a focus area used for focus adjustment is adjusted in accordance with the movement of a subject. As a technique related to this tracking, for example, a technique of changing a focus area according to the shape or size of a subject moving in a direction approaching or moving away from the camera (see Patent Document 1).

特開２００９−６９７４８号公報JP 2009-69748 A

例えば風景などの撮影は、人物の撮影と異なり、撮影範囲（画角）内に被写体となる対象物が少ないことから、予め画角内に設定された複数の領域をフォーカスエリアとした焦点調節を行うことが一般的である。したがって、ユーザが注目する領域が画角内に含まれる場合であっても、ユーザが注目する領域が上述したフォーカスエリアとして用いられないことが多い。その結果、ユーザが注目する領域に焦点が合わない画像が得られてしまうという欠点がある。 For example, when shooting landscapes, unlike subjects, there are few objects that are subjects within the shooting range (angle of view), so focus adjustment is performed using multiple areas set in advance within the angle of view as the focus area. It is common to do. Therefore, even when a region focused on by the user is included within the angle of view, the region focused on by the user is often not used as the focus area described above. As a result, there is a drawback in that an image that does not focus on the region that the user pays attention to is obtained.

本発明は、上述した課題を鑑みて発明されたものであり、ユーザが注目する領域をフォーカスエリアとして設定することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。 The present invention has been invented in view of the above-described problems, and an object of the present invention is to provide an image processing apparatus, an imaging apparatus, and an image processing program that can set an area focused by a user as a focus area. And

上述した課題を解決するために、本発明の画像処理装置は、画像に含まれる被写体領域を抽出する抽出部と、前記抽出部が前記被写体領域を抽出したか否かを判定する第１の判定部と、前記第１の判定部が前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定部と、前記推定部が前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更部と、変更した前記抽出条件を用いて前記画像から前記被写体領域を再度抽出する再抽出部と、前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定部と、を備えたことを特徴とする。 In order to solve the above-described problem, an image processing apparatus according to the present invention includes an extraction unit that extracts a subject area included in an image, and a first determination that determines whether the extraction unit has extracted the subject area. And an estimation unit that estimates whether the image is a landscape image when the first determination unit determines that the subject region is not extracted, and the estimation unit is an image of the landscape A condition changing unit that changes an extraction condition used when extracting the subject region, a re-extracting unit that re-extracts the subject region from the image using the changed extraction condition, and A setting unit configured to set the subject area extracted using the changed extraction condition as a main subject area.

また、本発明の撮像装置は、前記画像を取得する撮像部と、上述した画像処理装置と、を備えたことを特徴とする。 In addition, an imaging apparatus of the present invention includes an imaging unit that acquires the image and the above-described image processing apparatus.

また、本発明の画像処理プログラムは、画像に含まれる被写体領域を抽出する抽出工程と、前記抽出工程により前記被写体領域を抽出したか否かを判定する判定工程と、前記判定工程により前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定工程と、前記推定工程により前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更工程と、変更した前記抽出条件を用いて、前記画像から前記被写体領域を再度抽出する再抽出工程と、前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定工程と、をコンピュータに実行させることが可能なものである。 The image processing program of the present invention includes an extraction step of extracting a subject region included in an image, a determination step of determining whether or not the subject region has been extracted by the extraction step, and the subject region by the determination step. When it is determined that the image is a landscape image, and when the estimation step estimates that the image is not a landscape image, the subject region is extracted. A condition changing step for changing the extraction condition used at the time, a re-extraction step for re-extracting the subject region from the image using the changed extraction condition, and the extracted using the changed extraction condition It is possible to cause the computer to execute a setting step of setting the subject area as the main subject area.

本発明によれば、ユーザが注目する領域をフォーカスエリアとして設定することができる。 According to the present invention, it is possible to set a region that the user pays attention as a focus area.

撮像装置の構成における一形態を示す機能ブロック図である。It is a functional block diagram which shows one form in the structure of an imaging device. 画像処理回路の構成における一例を示す機能ブロック図である。It is a functional block diagram showing an example in the configuration of an image processing circuit. 撮像時の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process at the time of imaging. 撮像時の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process at the time of imaging. マスク抽出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a mask extraction process. 山を撮影する場合の表示部の表示例を示す図である。It is a figure which shows the example of a display of a display part in the case of imaging | photography a mountain.

以下、撮像装置の一形態について、図１を用いて説明する。この撮像装置１０は、装置本体１１、レンズ鏡筒１２から構成される。ここで、レンズ鏡筒１２は、装置本体１１に一体であってもよいし、着脱できるものであってもよい。 Hereinafter, an embodiment of the imaging device will be described with reference to FIG. The imaging device 10 includes a device main body 11 and a lens barrel 12. Here, the lens barrel 12 may be integrated with the apparatus main body 11 or may be detachable.

装置本体１１は、撮像部２１、画像処理回路２２、表示部２３、バッファメモリ部２４、記憶部２５、ＣＰＵ２６、操作部２７及び通信部２８を備えている。撮像部２１、画像処理回路２２、表示部２３、バッファメモリ部２４、記憶部２５、ＣＰＵ２６、操作部２７及び通信部２８は、バスを介して電気的に接続される。なお、本発明の画像処理装置は、ＣＰＵ２６及び画像処理回路２２からなる。 The apparatus main body 11 includes an imaging unit 21, an image processing circuit 22, a display unit 23, a buffer memory unit 24, a storage unit 25, a CPU 26, an operation unit 27, and a communication unit 28. The imaging unit 21, the image processing circuit 22, the display unit 23, the buffer memory unit 24, the storage unit 25, the CPU 26, the operation unit 27, and the communication unit 28 are electrically connected via a bus. The image processing apparatus of the present invention includes a CPU 26 and an image processing circuit 22.

撮像部２１は、撮像素子２９、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３０を有している。撮像部２１は、設定された撮像条件（例えば露出値、シャッタ速度等）に従って、ＣＰＵ２６により、その動作が制御される。 The imaging unit 21 includes an imaging element 29 and an A / D (Analog / Digital) conversion unit 30. The operation of the imaging unit 21 is controlled by the CPU 26 in accordance with the set imaging conditions (for example, exposure value, shutter speed, etc.).

撮像素子２９は、光電変換面を備え、レンズ鏡筒１２により光電変換面に結像された光学像を電気信号に変換して、Ａ／Ｄ変換部３０に出力する。撮像素子２９は、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子で構成される。ここで、撮像素子２９は、光電変換面の全領域において光学像を電気信号に変換してもよいし、光電変換面の一部領域において光学像を電気信号に変換するようにしてもよい。この撮像素子２９から出力される電気信号が画像データとなる。 The imaging device 29 includes a photoelectric conversion surface, converts an optical image formed on the photoelectric conversion surface by the lens barrel 12 into an electric signal, and outputs the electric signal to the A / D conversion unit 30. The imaging element 29 is configured by a photoelectric conversion element such as a CMOS (Complementary Metal Oxide Semiconductor), for example. Here, the imaging element 29 may convert the optical image into an electric signal in the entire region of the photoelectric conversion surface, or may convert the optical image into an electric signal in a partial region of the photoelectric conversion surface. The electrical signal output from the image sensor 29 becomes image data.

Ａ／Ｄ変換部３０は、撮像素子２９から出力される画像データをデジタル化して、デジタル化した画像データをバッファメモリ部２４等に出力する。 The A / D conversion unit 30 digitizes the image data output from the image sensor 29 and outputs the digitized image data to the buffer memory unit 24 or the like.

画像処理回路２２は、記憶部２５に記憶されている画像処理条件に基づいて、バッファメモリ部２４に一時的に記憶されている画像データに対する画像処理を行う。ここで、画像処理としては、ホワイトバランス調整、補間処理、色調補正処理、階調変換処理などが挙げられる。画像処理回路２２にて画像処理が施された画像データは、バッファメモリ部２４に一次記憶される他、通信部２８を介して記憶媒体３１に記憶される。 The image processing circuit 22 performs image processing on the image data temporarily stored in the buffer memory unit 24 based on the image processing conditions stored in the storage unit 25. Here, examples of the image processing include white balance adjustment, interpolation processing, color tone correction processing, and gradation conversion processing. Image data subjected to image processing by the image processing circuit 22 is temporarily stored in the buffer memory unit 24 and also stored in the storage medium 31 via the communication unit 28.

また、画像処理回路２２は、撮影指示が行われていない状態で撮像部２１にて連続して得られる画像データを用いて、主要被写体領域を設定する処理を実行する。ここで、撮影指示が行われていない状態で撮像部２１にて連続して得られる画像データを、スルー画像データと称する。なお、主要被写体領域を設定する処理については、後述する。 In addition, the image processing circuit 22 executes a process of setting a main subject region using image data continuously obtained by the imaging unit 21 in a state where no photographing instruction is performed. Here, the image data continuously obtained by the imaging unit 21 in a state where no photographing instruction is performed is referred to as through image data. The process for setting the main subject area will be described later.

表示部２３は、例えば液晶ディスプレイが挙げられる。この表示部２３は制御部を有し、この制御部により表示部２３における画像の表示制御が行われる。ここで、表示部２３に表示される画像としては、撮像部２１により得られた画像データに基づく画像や、各種設定を行う際に表示する画像が挙げられる。バッファメモリ部２４は、撮像部２１によって生成された画像データや画像処理回路２２によって画像処理が施された画像データを一時的に記憶する。記憶部２５は、撮像条件や、各種判定の際にＣＰＵ２６によって参照される判定条件などを記憶する他、マスク抽出処理の結果を示すフラグや、フラグの履歴を記憶する。 An example of the display unit 23 is a liquid crystal display. The display unit 23 includes a control unit, and display control of images on the display unit 23 is performed by the control unit. Here, examples of the image displayed on the display unit 23 include an image based on image data obtained by the imaging unit 21 and an image displayed when various settings are performed. The buffer memory unit 24 temporarily stores the image data generated by the imaging unit 21 and the image data subjected to image processing by the image processing circuit 22. The storage unit 25 stores imaging conditions, determination conditions referred to by the CPU 26 in various determinations, and the like, and a flag indicating the result of the mask extraction process and a flag history.

ＣＰＵ２６は、画像処理回路２２や記憶部２５などから取得した情報や、操作部２７の操作状態などに基づいて、装置本体１１の各部を統括的に制御する。ＣＰＵ２６による制御には、焦点調整（ＡＦ）の設定、露出調整（ＡＥ）の設定、ホワイトバランス調整（ＡＷＢ）の設定、閃光の発光量の変更の設定、被写体追尾の設定、各種撮影モードの設定、各種画像処理の設定、各種表示の設定、ズーム倍率に連動した明るさの最適化の設定などが含まれる。 The CPU 26 comprehensively controls each unit of the apparatus main body 11 based on information acquired from the image processing circuit 22 and the storage unit 25 and the operation state of the operation unit 27. Control by the CPU 26 includes focus adjustment (AF) setting, exposure adjustment (AE) setting, white balance adjustment (AWB) setting, flash emission amount change setting, subject tracking setting, and various shooting mode settings. , Various image processing settings, various display settings, brightness optimization settings linked to zoom magnification, and the like.

操作部２７は、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーから構成される。なお、表示部２３がタッチパネルを備えた表示部２３となる場合、タッチパネルも操作部２７として機能する。この操作部２７は、ユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ２６に出力する。 The operation unit 27 includes a power switch, a shutter button, a multi selector (cross key), or other operation keys. When the display unit 23 is the display unit 23 including a touch panel, the touch panel also functions as the operation unit 27. The operation unit 27 receives a user operation input and outputs a signal corresponding to the operation input to the CPU 26.

通信部２８は、不揮発性メモリからなるメモリカード等、装置本体１１に対して着脱することができる記憶媒体３１と電気的に接続される。通信部２８は、装置本体１１に装着された記憶媒体３１にデータ（画像データ、領域の情報など）を書き込む、または記憶媒体３１に記憶されたデータを消去する。通信部２８は、必要に応じて、記憶媒体３１に記憶されたデータの読み出しを行う。 The communication unit 28 is electrically connected to a storage medium 31 that can be attached to and detached from the apparatus main body 11 such as a memory card including a nonvolatile memory. The communication unit 28 writes data (image data, area information, etc.) to the storage medium 31 attached to the apparatus main body 11 or erases the data stored in the storage medium 31. The communication unit 28 reads data stored in the storage medium 31 as necessary.

レンズ鏡筒１２は、撮像光学系３５、レンズ駆動部３６、エンコーダ３７、鏡筒制御部３８を有している。撮像光学系３５はフォーカスレンズやズームレンズなどの複数のレンズを有している。この撮像光学系３５の各レンズは、レンズ駆動部３６により、その位置が光軸方向に移動するように制御される。撮像光学系３５は、装置本体１１に設けられた撮像素子２９の受光面（光電変換面）に取り込まれた光学像を導く。 The lens barrel 12 includes an imaging optical system 35, a lens driving unit 36, an encoder 37, and a barrel control unit 38. The imaging optical system 35 has a plurality of lenses such as a focus lens and a zoom lens. Each lens of the imaging optical system 35 is controlled by the lens driving unit 36 so that the position thereof moves in the optical axis direction. The imaging optical system 35 guides the optical image captured on the light receiving surface (photoelectric conversion surface) of the imaging element 29 provided in the apparatus main body 11.

レンズ駆動部３６は、例えば駆動モータや、ギヤ機構又はヘリコイド機構などの駆動機構を有し、撮像光学系３５の各レンズを光軸方向に移動させる。エンコーダ３７は、撮像光学系３５のズームレンズやフォーカスレンズが光軸方向に移動したときに、その移動に伴う位置や移動方向を検出し、鏡筒制御部３８に出力する。 The lens driving unit 36 includes a driving mechanism such as a driving motor, a gear mechanism, or a helicoid mechanism, and moves each lens of the imaging optical system 35 in the optical axis direction. When the zoom lens or focus lens of the imaging optical system 35 moves in the optical axis direction, the encoder 37 detects the position and moving direction accompanying the movement and outputs the detected position and moving direction to the lens barrel control unit 38.

鏡筒制御部３８は、装置本体１１のＣＰＵ２６から入力される駆動制御信号に応じて、レンズ駆動部３６を制御する。ここで、駆動制御信号とは、撮像光学系３５の各レンズを光軸方向に移動させる制御信号である。鏡筒制御部３８は、駆動制御信号に応じて、レンズ駆動部３６に出力するパルス電圧のステップ数を制御する。また、鏡筒制御部３８は、撮像光学系３５の各レンズの移動量に応じた信号に基づいて、フォーカスレンズの位置（フォーカスポジション）を、装置本体１１のＣＰＵ２６に出力する。 The lens barrel control unit 38 controls the lens driving unit 36 in accordance with a drive control signal input from the CPU 26 of the apparatus main body 11. Here, the drive control signal is a control signal for moving each lens of the imaging optical system 35 in the optical axis direction. The lens barrel control unit 38 controls the number of steps of the pulse voltage output to the lens driving unit 36 according to the drive control signal. In addition, the lens barrel control unit 38 outputs the position (focus position) of the focus lens to the CPU 26 of the apparatus main body 11 based on a signal corresponding to the movement amount of each lens of the imaging optical system 35.

次に、画像処理回路２２の構成について説明する。上述したように、画像処理回路２２は、画像処理条件に基づいて画像データに対する画像処理を実行する他に、スルー画像データを用いて、主要被写体領域を設定する処理を実行する。図２に示すように、画像処理回路２２は、抽出部４１、判定部４２、追尾部４３、評価部４４及び設定部４５の機能を有している。 Next, the configuration of the image processing circuit 22 will be described. As described above, the image processing circuit 22 executes processing for setting a main subject area using through image data, in addition to performing image processing on image data based on image processing conditions. As illustrated in FIG. 2, the image processing circuit 22 has functions of an extraction unit 41, a determination unit 42, a tracking unit 43, an evaluation unit 44, and a setting unit 45.

抽出部４１は、撮像部２１にて取得されるスルー画像データを用いて、該スルー画像データに基づいた画像に含まれる被写体の領域をマスクとして抽出する。以下、スルー画像データに基づく画像をスルー画像と称する。なお、マスク抽出処理については後述する。マスク抽出処理を行うことで、抽出部４１は、マスクとして抽出した被写体の情報（以下、マスク情報）を記憶部２５に記憶する。ここで、マスク情報としては、マスク抽出処理の抽出条件（色区分やマスク区分など）、マスクの位置、マスクの大きさや形状、マスクの動き（移動方向、移動ベクトル）、マスクに該当する被写体までの距離の情報が含まれる。 The extraction unit 41 uses the through image data acquired by the imaging unit 21 to extract a subject area included in an image based on the through image data as a mask. Hereinafter, an image based on the through image data is referred to as a through image. The mask extraction process will be described later. By performing the mask extraction process, the extraction unit 41 stores information on the subject extracted as a mask (hereinafter, mask information) in the storage unit 25. Here, the mask information includes extraction conditions for mask extraction processing (color classification, mask classification, etc.), mask position, mask size and shape, mask movement (movement direction, movement vector), and subject corresponding to the mask. Contains distance information.

判定部４２は、複数のスルー画像のそれぞれから得られるマスク情報を用いて、同一のマスクがｎ回（ｎフレーム）以上連続して検出されるか否かを判定する。この判定を行うことで、同一のマスクが安定しているか否かが判定される。 The determination unit 42 determines whether or not the same mask is continuously detected n times (n frames) or more using mask information obtained from each of the plurality of through images. By performing this determination, it is determined whether or not the same mask is stable.

例えば、図示を省略した撮像光学系３５における光学ズーム倍率が一定の場合には、対象となるマスクと同色で、且つ同一サイズとなるマスクが、連続するｎフレーム以上のスルー画像データのそれぞれで検出されているか否かを判定する。この場合、被写体自体が動いていても、静止していてもよい。 For example, when the optical zoom magnification in the imaging optical system 35 (not shown) is constant, a mask having the same color and the same size as the target mask is detected in each of the through image data of n or more consecutive frames. It is determined whether or not it has been done. In this case, the subject itself may be moving or may be stationary.

また、撮像光学系３５における光学ズーム倍率を変更する場合や、撮像光学系３５における光学ズーム倍率が一定で被写体又は撮影者が撮像光学系３５の光軸方向に変化する場合もある。このような場合、連続して得られるスルー画像においては検出される被写体の領域の大きさが変化する。よって、対象となるマスクと同色となり、且つ光学ズーム倍率に合わせた拡大率又は縮小率でサイズが変化しているマスクが、連続するｎフレーム以上のスルー画像のそれぞれで検出されているか否かを判定すればよい。 In some cases, the optical zoom magnification in the imaging optical system 35 is changed, or the subject or the photographer changes in the optical axis direction of the imaging optical system 35 while the optical zoom magnification in the imaging optical system 35 is constant. In such a case, the size of the area of the detected subject changes in through images obtained continuously. Therefore, whether or not a mask having the same color as the target mask and changing in size at an enlargement rate or reduction rate that matches the optical zoom magnification is detected in each of through images of n or more consecutive frames is detected. What is necessary is just to judge.

ここで、判定部４２においては、同一のマスクがｎ回（ｎフレーム）以上連続して検出されるか否かを判定するようにしているが、少なくとも２回（２フレーム）以上連続して検出される場合に、マスクが安定していると判定することもできる。なお、マスクが安定しているか否かの判定として用いるスルー画像については、撮像部２１から出力される全てのスルー画像を対象としてもよいし、撮像部２１から出力されるスルー画像のうち、例えば３フレームおき等、所定フレーム間隔を空けて得られるスルー画像を対象のスルー画像として上記判定を行うことも可能である。 Here, the determination unit 42 determines whether or not the same mask is detected continuously n times (n frames) or more, but is continuously detected at least twice (2 frames) or more. In this case, it can be determined that the mask is stable. In addition, about the through image used as determination of whether the mask is stable, all the through images output from the imaging unit 21 may be targeted, and among the through images output from the imaging unit 21, for example, It is also possible to perform the above determination using a through image obtained at predetermined frame intervals, such as every three frames, as a target through image.

追尾部４３は、主要被写体領域が設定された以降に得られるスルー画像に対して、例えば主要被写体領域として設定されたマスクを用いたテンプレートマッチングの手法を用い、取得されるスルー画像に含まれる主要被写体領域の位置を特定する。この処理をスルー画像のそれぞれに対して行うことで、主要被写体を追尾することが可能となる。 The tracking unit 43 uses, for example, a template matching method using a mask set as the main subject region for the through image obtained after the main subject region is set, and includes the main image included in the acquired through image. The position of the subject area is specified. By performing this process on each of the through images, the main subject can be tracked.

評価部４４は、判定部４２において、ｎ回（ｎフレーム）以上連続して検出されるマスク（主要被写体領域として設定されるマスクも含む）に対する評価を実行する。ここで、評価部４４は、記憶部２５に記憶されたマスク情報を用いて、マスクに対する評価を行う。 The evaluation unit 44 performs an evaluation on a mask (including a mask set as a main subject region) that is continuously detected n times (n frames) or more in the determination unit 42. Here, the evaluation unit 44 evaluates the mask using the mask information stored in the storage unit 25.

設定部４５は、評価部４４における評価結果に基づいて主要被写体領域を設定する。ここで、主要被写体領域を設定する処理としては、主要被写体領域が設定されていないときに、新規に主要被写体領域を設定する場合の他に、主要被写体領域が設定されているときに、主要被写体領域となる被写体の領域を切り替える（再設定する）処理が含まれる。設定部４５は、主要被写体領域を設定したときに、該設定した情報を記憶部２５に書き込む。なお、この情報は、マスク情報に対応付けて記憶してもよいし、個別に記憶してもよい。 The setting unit 45 sets a main subject area based on the evaluation result in the evaluation unit 44. Here, as a process of setting the main subject area, in addition to setting a new main subject area when the main subject area is not set, the main subject area is set when the main subject area is set. A process of switching (resetting) the area of the subject to be an area is included. The setting unit 45 writes the set information in the storage unit 25 when the main subject area is set. This information may be stored in association with the mask information or may be stored individually.

以下、主要被写体領域として用いるマスクを抽出する処理について、図３のフローチャートを参照して説明する。 Hereinafter, a process of extracting a mask used as a main subject area will be described with reference to a flowchart of FIG.

ステップＳ１０１は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを生成する処理である。画像処理回路２２は、画像処理済みのスルー画像データを読み出す。そして画像処理回路２２は、読み出したスルー画像データから、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを生成する。 Step S101 is processing for generating Y image data, Cb image data, and Cr image data. The image processing circuit 22 reads through image data that has undergone image processing. Then, the image processing circuit 22 generates Y image data, Cb image data, and Cr image data from the read through image data.

ステップＳ１０２は、注目点を推定する処理である。画像処理回路２２は、生成されたＹ画像データに対して、例えば２次元のガボールフィルタ関数を用いたフィルタ処理を行い、マップ（ガボールマップ）を生成する。ここで、２次元のガボールフィルタ関数を用いたフィルタ処理としては、複数方向（例えば４５°及び１３５°）の２次元のガボールフィルタ関数のそれぞれとＹ画像データとを畳み込みし、その演算結果を加算することで、畳み込み和を求める処理である。この処理を行うことで、ガボールマップが生成される。画像処理回路２２は、生成したガボールマップに対して２値化処理を行う。画像処理回路２２は、２値化処理を行ったガボールマップに含まれる白画素の領域の重心を注目点として推定する。なお、このステップＳ１０２における注目点を推定する処理は、上記に限定されるものではなく、例えばユーザが指定した位置を注目点の位置としてもよい。 Step S102 is processing for estimating a point of interest. The image processing circuit 22 performs a filter process using, for example, a two-dimensional Gabor filter function on the generated Y image data to generate a map (Gabor map). Here, as the filter processing using the two-dimensional Gabor filter function, each of the two-dimensional Gabor filter functions in a plurality of directions (for example, 45 ° and 135 °) is convolved with the Y image data, and the calculation result is added. This is a process for obtaining the convolution sum. By performing this process, a Gabor map is generated. The image processing circuit 22 performs binarization processing on the generated Gabor map. The image processing circuit 22 estimates the centroid of the white pixel area included in the binarized Gabor map as a point of interest. Note that the process of estimating the attention point in step S102 is not limited to the above, and for example, the position designated by the user may be set as the position of the attention point.

ステップＳ１０３は、対象となるマスクを抽出する処理である。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データのそれぞれを用いて、ステップＳ１０２にて推定した注目点となる画素と、その周辺部の画素を含む例えば３×３画素の領域における画素値の平均Ａｖｅを求める。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データに対して、Ａｖｅ±ασを用いた２値化処理を行う。ここで、αは係数であり、例えばα＝０．６が挙げられる。また、σは標準偏差である。画像処理回路２２は、２値化処理によりＡｖｅ±ασの範囲に含まれる画素に対してラベリング処理を行う。このラベリング処理を行うことで、上記範囲に含まれる画素値を有する画素が白画素となり、上記範囲から外れる画素値を有する画素が黒画素となる。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データのそれぞれから生成された２値化画像データを合成する。画像処理回路２２は、合成後の２値化画像データを用いて、白画素となる画素の領域が重なり合う領域をマスクとして抽出する。画像処理回路２２は、抽出したマスクに係る情報を、記憶部２５に記憶する。 Step S103 is processing for extracting a target mask. The image processing circuit 22 uses, for example, each of Y image data, Cb image data, and Cr image data, and is an area of, for example, 3 × 3 pixels including the pixel that is the target point estimated in step S102 and the peripheral pixels The average Ave of the pixel values at is obtained. The image processing circuit 22 performs binarization processing using Ave ± ασ on the Y image data, Cb image data, and Cr image data. Here, α is a coefficient, for example, α = 0.6. Σ is a standard deviation. The image processing circuit 22 performs a labeling process on the pixels included in the range of Ave ± ασ by the binarization process. By performing this labeling process, pixels having pixel values included in the above range become white pixels, and pixels having pixel values outside the above range become black pixels. The image processing circuit 22 combines the binarized image data generated from each of the Y image data, Cb image data, and Cr image data. The image processing circuit 22 uses the binarized image data after synthesis to extract, as a mask, a region where pixel regions that are white pixels overlap. The image processing circuit 22 stores information related to the extracted mask in the storage unit 25.

このステップＳ１０３においては、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データから生成された２値化画像データを合成したときに、白画素となる領域が重なり合う領域をマスクとして抽出している。この他に、２値化画像データのいずれかにおいて白画素となる領域があれば、その領域をマスクとして抽出することも可能である。 In step S103, when the binarized image data generated from the Y image data, the Cb image data, and the Cr image data are combined, an area where white pixel areas overlap is extracted as a mask. In addition, if there is a region that becomes a white pixel in any of the binarized image data, it is also possible to extract that region as a mask.

ステップＳ１０４は、面積が大きいマスク又は面積が小さいマスクを除外する処理である。画像処理回路２２は、抽出されたマスクのうち、合成された２値化画像の総面積に対するマスクの総面積の比率が６０％以上となるマスクや、１％以下となるマスクを除外する。 Step S104 is a process of excluding a mask having a large area or a mask having a small area. The image processing circuit 22 excludes masks in which the ratio of the total area of the mask to the total area of the synthesized binarized image is 60% or more from among the extracted masks or a mask in which the ratio is 1% or less.

ステップＳ１０５は、充填率が低いマスクを除外する処理である。画像処理回路２２は、マスクが含まれる矩形の領域（以下、矩形領域）毎に、矩形領域に対してマスクが占める比率を求める。そして、画像処理回路２２は、求めた比率が閾値（例えば０．２）以下である場合に、そのマスクを充填率が低いマスクとして除外する。 Step S105 is processing to exclude a mask with a low filling rate. The image processing circuit 22 determines the ratio of the mask to the rectangular area for each rectangular area (hereinafter, rectangular area) including the mask. The image processing circuit 22 excludes the mask as a mask with a low filling rate when the obtained ratio is equal to or less than a threshold value (for example, 0.2).

ステップＳ１０６は、横長及び縦長となるマスクを除外する処理である。画像処理回路２２は、マスクが含まれる矩形領域の縦横比を求める。画像処理回路２２は、求めた縦横比が、例えば０．２以上５未満の範囲から外れるマスクを横長のマスク又は縦長のマスクとして除外する。 Step S <b> 106 is a process of excluding a horizontally long and vertically long mask. The image processing circuit 22 obtains the aspect ratio of the rectangular area including the mask. For example, the image processing circuit 22 excludes a mask whose aspect ratio is outside the range of 0.2 or more and less than 5 as a horizontally long mask or a vertically long mask.

ステップＳ１０７は、背景となるマスクを除外する処理である。画像処理回路２２は、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データを参照して、対象となるマスクにおける輝度値や色相の情報を読み出す。そして、画像処理回路２２は、輝度値や色相の情報から、背景に想到する輝度値や色相の情報を有するマスクを除外する。 Step S107 is processing for excluding the background mask. The image processing circuit 22 reads out the luminance value and hue information in the target mask with reference to the Y image data, Cb image data, and Cr image data. Then, the image processing circuit 22 excludes the mask having the luminance value and hue information conceived in the background from the luminance value and hue information.

ステップＳ１０８は、画像の周縁部に位置するマスクを除外する処理である。画像処理回路２２は、画像の左端および右端にかかるマスクや、例えば左端、右端にかかるマスクの画素数が縦辺に配置される画素の総数の１／３以上であれば排除する。 Step S108 is processing for excluding the mask located at the peripheral portion of the image. The image processing circuit 22 eliminates a mask applied to the left end and the right end of the image, for example, if the number of pixels of the mask applied to the left end and the right end is 1/3 or more of the total number of pixels arranged on the vertical side.

ステップＳ１０９は、除外したマスクの情報を記憶する処理である。画像処理回路２２は、ステップＳからステップＳによって除外したマスクの情報を記憶部に記憶する。 Step S109 is processing for storing information of the excluded mask. The image processing circuit 22 stores information on the masks excluded from step S to step S in the storage unit.

ステップＳ１１０は、抽出したマスクの優先度を設定する処理である。画像処理回路２２は、残りのマスクのそれぞれに対して、マスクの面積を慣性モーメントで除算した値（評価値）を求める。そして、求めた値（評価値）の高いマスクから順に優先度を設定する。 Step S110 is processing for setting the priority of the extracted mask. The image processing circuit 22 obtains a value (evaluation value) obtained by dividing the mask area by the moment of inertia for each of the remaining masks. Then, priorities are set in order from the mask with the highest value (evaluation value).

次に、撮影時の処理の流れについて、図４及び図５のフローチャートを用いて説明する。なお、これらフローチャートは、レリーズボタンが半押し操作されたことを契機にして実行される。 Next, the flow of processing during shooting will be described with reference to the flowcharts of FIGS. These flowcharts are executed when the release button is pressed halfway.

ステップＳ２０１は、スルー画像データを取得する処理である。ＣＰＵ２６は、撮像部２１を制御して、スルー画像データの取得を開始する。取得されたスルー画像データの画像情報はバッファメモリ部２４に一時的に記憶される。このスルー画像データは、所定の時間間隔で連続して取得される。 Step S201 is processing for acquiring through image data. The CPU 26 controls the imaging unit 21 to start obtaining through image data. The acquired image information of the through image data is temporarily stored in the buffer memory unit 24. This through image data is acquired continuously at predetermined time intervals.

ステップＳ２０２は、画像処理である。ＣＰＵ２６は、画像処理回路２２に対して画像処理を行う指示を行う。この指示を受けて、画像処理回路２２は、バッファメモリ部２４に記憶されたスルー画像データを読み出す。そして、画像処理回路２２は、読み出したスルー画像データに対して、ホワイトバランス調整処理、補間処理、色調補正処理、階調変換処理などの画像処理を実行する。これら画像処理が実行された後、画像処理回路２２は、スルー画像データをバッファメモリ部２４に一時記憶する。 Step S202 is image processing. The CPU 26 instructs the image processing circuit 22 to perform image processing. In response to this instruction, the image processing circuit 22 reads through image data stored in the buffer memory unit 24. Then, the image processing circuit 22 performs image processing such as white balance adjustment processing, interpolation processing, color tone correction processing, and gradation conversion processing on the read through image data. After these image processes are executed, the image processing circuit 22 temporarily stores the through image data in the buffer memory unit 24.

ステップＳ２０３は、スルー画像を表示する処理である。このステップＳ２０３の処理において、ＣＰＵ２６は、バッファメモリ部２４に一時記憶されたスルー画像データを読み出し、表示部２３に出力する。これを受けて、表示部２３は読み出したスルー画像データに基づくスルー画像を表示する。 Step S203 is processing to display a through image. In the process of step S <b> 203, the CPU 26 reads through image data temporarily stored in the buffer memory unit 24 and outputs it to the display unit 23. In response to this, the display unit 23 displays a through image based on the read through image data.

ステップＳ２０４は、マスク抽出処理である。ＣＰＵ２６は、画像処理回路２２に対して、主要被写体領域を設定する指示を行う。この指示を受けて、画像処理回路２２は、バッファメモリ部２４からスルー画像データを読み出す。そして、画像処理回路２２は、読み出したスルー画像データを用いてマスク抽出処理を行う。マスクが抽出される場合、ＣＰＵ２６は、マスクが抽出されたことを示すフラグを記憶部２５に書き込む。一方、マスクが抽出されない場合、ＣＰＵ２６は、マスクが抽出されないことを示すフラグを記憶部２５に書き込む。 Step S204 is a mask extraction process. The CPU 26 instructs the image processing circuit 22 to set the main subject area. In response to this instruction, the image processing circuit 22 reads through image data from the buffer memory unit 24. Then, the image processing circuit 22 performs mask extraction processing using the read through image data. When the mask is extracted, the CPU 26 writes a flag indicating that the mask has been extracted in the storage unit 25. On the other hand, when the mask is not extracted, the CPU 26 writes a flag indicating that the mask is not extracted in the storage unit 25.

ステップＳ２０５は、マスクが抽出できたか否かを判定する処理である。ステップＳ２０４の処理により、記憶部２５にはマスク抽出の結果を示すフラグが記憶される。画像処理回路２２は、記憶部２５からフラグを読み出す。読み出したフラグが、マスクを抽出したことを示すフラグであれば、画像処理回路２２は、ステップＳ２０５の判定結果をＹｅｓとする。この場合、ステップＳ２０６に進む。一方、読み出したフラグが、マスクを抽出されていないことを示すフラグであれば、画像処理回路２２は、ステップＳ２０５の判定結果をＮｏとする。この場合、ステップＳ２２０に進む。 Step S205 is processing for determining whether or not a mask has been extracted. As a result of the processing in step S204, the storage unit 25 stores a flag indicating the result of mask extraction. The image processing circuit 22 reads the flag from the storage unit 25. If the read flag is a flag indicating that the mask has been extracted, the image processing circuit 22 sets the determination result in step S205 to Yes. In this case, the process proceeds to step S206. On the other hand, if the read flag is a flag indicating that the mask has not been extracted, the image processing circuit 22 sets the determination result in step S205 to No. In this case, the process proceeds to step S220.

ステップＳ２０６は、マスク情報を記録する処理である。画像処理回路２２は、ステップＳ２０４により抽出したマスクに係る情報をマスク情報として記憶部２５等に記録する。 Step S206 is processing to record mask information. The image processing circuit 22 records information relating to the mask extracted in step S204 in the storage unit 25 or the like as mask information.

ステップＳ２０７は、ｎ回以上連続して抽出されたマスクがあるか否かを判定する処理である。このステップＳ２０７における判定は、ステップＳ２０４のマスク抽出処理により抽出されたマスクが安定しているか否かを判定するためのものである。よって、ｎ回以上連続して同一のマスクを抽出した場合、画像処理回路２２は、抽出されたマスクが安定していると判定する。つまり、主要被写体領域を正しく検出していると判断することができる。画像処理回路２２は、ステップＳ２０７の判定結果をＹｅｓとする。この場合、ステップＳ２０８に進む。一方、ｎ回以上連続して同一のマスクを抽出していない場合は、画像処理回路２２は、ステップＳ２０４のマスク抽出処理により抽出されたマスクが安定していないと判定する。画像処理回路２２は、ステップＳ２０７の判定結果をＮｏとする。この場合、ステップＳ２１５に進む。 Step S207 is processing for determining whether or not there is a mask extracted n times or more continuously. The determination in step S207 is for determining whether or not the mask extracted by the mask extraction process in step S204 is stable. Therefore, when the same mask is extracted n times or more continuously, the image processing circuit 22 determines that the extracted mask is stable. That is, it can be determined that the main subject area is correctly detected. The image processing circuit 22 sets the determination result in step S207 to Yes. In this case, the process proceeds to step S208. On the other hand, if the same mask is not extracted n times or more consecutively, the image processing circuit 22 determines that the mask extracted by the mask extraction process in step S204 is not stable. The image processing circuit 22 sets the determination result in step S207 to No. In this case, the process proceeds to step S215.

ステップＳ２０８は、主要被写体領域を設定する処理である。画像処理回路２２は、ステップＳ２０４におけるマスク抽出処理により抽出されたマスクから、優先度の高いマスクを選択する。そして、画像処理回路２２は、選択されたマスクに対応する領域を主要被写体領域として設定する。 Step S208 is processing for setting a main subject area. The image processing circuit 22 selects a mask having a high priority from the masks extracted by the mask extraction process in step S204. Then, the image processing circuit 22 sets an area corresponding to the selected mask as a main subject area.

ステップＳ２０９は、主要被写体領域に係る情報を記憶する処理である。画像処理回路２２は、主要被写体領域の情報（主要被写体領域情報）を記憶部２５等に記録する。主要被写体領域情報としては、マスクに関するマスク情報、主要被写体領域の位置、主要被写体領域の大きさや形状などの情報が挙げられる。 Step S209 is processing to store information relating to the main subject area. The image processing circuit 22 records main subject area information (main subject area information) in the storage unit 25 and the like. The main subject area information includes mask information related to the mask, information on the position of the main subject area, the size and shape of the main subject area, and the like.

ステップＳ２１０は、主要被写体領域情報を表示する処理である。ＣＰＵ２６は、主要被写体領域情報を表示部２３に出力する。表示部２３は、主要被写体領域情報に基づいた表示をスルー画像に重畳して表示する。主要被写体領域情報に基づいた表示としては、例えば主要被写体領域であることを示す枠が挙げられる。なお、この枠は、主要被写体領域の形状に応じた枠であってもよいし、矩形や円形など所定の形状の枠であってもよい。このような表示を行うことにより、ユーザは、自動で検出される主要被写体領域の位置や形状がどのようなものであるかを、容易に把握することができる。 Step S210 is processing for displaying main subject area information. The CPU 26 outputs main subject area information to the display unit 23. The display unit 23 displays a display based on the main subject area information superimposed on the through image. Examples of the display based on the main subject area information include a frame indicating the main subject area. This frame may be a frame according to the shape of the main subject area, or may be a frame having a predetermined shape such as a rectangle or a circle. By performing such a display, the user can easily grasp what the position and shape of the main subject area detected automatically are.

ステップＳ２１１は、撮影指示があるか否かを判定する処理である。操作部２７を用いた入力操作が行われた場合、ＣＰＵ２６には、操作部２７における入力操作に基づく信号が入力される。ＣＰＵ２６は、この入力される信号が撮影指示を示す信号であるか否かを判定する。例えばレリーズボタンの全押し操作が行われた場合に入力される信号など、撮影指示を示す信号であれば、ＣＰＵ２６は、ステップＳ２１１の判定結果をＹｅｓとする。この場合、ステップＳ２１２に進む。一方、入力される信号が撮影指示を示す信号でない場合には、ＣＰＵ２６は、ステップＳ２１１の判定結果をＮｏとする。この場合、ステップＳ２０１に戻る。 Step S211 is processing for determining whether or not there is a shooting instruction. When an input operation using the operation unit 27 is performed, a signal based on the input operation in the operation unit 27 is input to the CPU 26. The CPU 26 determines whether or not the input signal is a signal indicating a shooting instruction. For example, if the signal indicates a shooting instruction, such as a signal input when the release button is fully pressed, the CPU 26 sets the determination result in step S211 to Yes. In this case, the process proceeds to step S212. On the other hand, if the input signal is not a signal indicating a shooting instruction, the CPU 26 sets the determination result in step S211 to No. In this case, the process returns to step S201.

ステップＳ２１２は、撮像処理である。例えば安定したマスク抽出が行えている場合には、ステップＳ２０８で主要被写体領域を設定し、ステップＳ２０９で該主要被写体領域情報を記憶している。ＣＰＵ２６は、記憶部２５に記憶される主要被写体領域情報に基づいて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行う。また、ＣＰＵ２６は、画像処理回路２２における各種画像処理の条件等を決定する。 Step S212 is an imaging process. For example, when stable mask extraction can be performed, a main subject area is set in step S208, and the main subject area information is stored in step S209. The CPU 26 performs 3A processing of focus adjustment (AF) setting processing, exposure adjustment (AE) setting processing, and white balance adjustment processing (AWB) based on main subject area information stored in the storage unit 25. Further, the CPU 26 determines various image processing conditions in the image processing circuit 22.

一方、安定したマスク抽出が行えていないときにも、ユーザの操作により撮影が実行される場合がある。このような場合には、ＣＰＵ２６は、例えば中央の領域など特定の領域を用いて、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）の３Ａ処理を行う。これに合わせて、ＣＰＵ２６は、画像処理回路２２における各種画像処理の条件等を決定する。ＣＰＵ２６は、上述した処理の結果に基づいて、撮像処理を実行する。 On the other hand, even when stable mask extraction cannot be performed, photographing may be performed by a user operation. In such a case, the CPU 26 uses a specific area such as a central area, for example, a focus adjustment (AF) setting process, an exposure adjustment (AE) setting process, and a white balance adjustment process (AWB) 3A process. I do. In accordance with this, the CPU 26 determines various image processing conditions in the image processing circuit 22. The CPU 26 executes an imaging process based on the result of the process described above.

ステップＳ２１３は、画像を記録する処理である。ＣＰＵ２６は、ステップＳ２１２による撮像処理により取得された画像データを、通信部２８を介して記憶媒体３１に記録して一連の処理を終了する。 Step S213 is processing to record an image. CPU26 records the image data acquired by the imaging process by step S212 to the storage medium 31 via the communication part 28, and complete | finishes a series of processes.

ステップＳ２０７の判定結果がＮｏとなる、言い換えれば、ｎ回以上連続して抽出されたマスクがないと判定された場合、ステップＳ２１５に進む。 If the determination result in step S207 is No, in other words, if it is determined that there is no mask extracted n times or more continuously, the process proceeds to step S215.

ステップＳ２１５は、前回までのマスク抽出処理で連続して抽出されたマスクがあるか否かを判定する処理である。画像処理回路２２は、記憶部２５に記憶されたマスク情報を読み出す。例えば、前回までのマスク抽出処理において連続して抽出されたマスクに関するマスク情報があれば、画像処理回路２２は、ステップＳ２１５の判定結果をＹｅｓとする。この場合、ステップＳ２１０に進む。一方、前回までのマスク抽出処理において連続して抽出されたマスクに関するマスク情報がない場合、画像処理回路２２は、ステップＳ２１５の判定結果をＮｏとする。この場合、ステップＳ２１６に進む。 Step S215 is processing for determining whether or not there is a mask extracted continuously in the previous mask extraction processing. The image processing circuit 22 reads the mask information stored in the storage unit 25. For example, if there is mask information related to a mask extracted continuously in the previous mask extraction process, the image processing circuit 22 sets the determination result in step S215 to Yes. In this case, the process proceeds to step S210. On the other hand, when there is no mask information regarding the masks extracted continuously in the previous mask extraction process, the image processing circuit 22 sets the determination result in step S215 to No. In this case, the process proceeds to step S216.

ステップＳ２１６は、通常の３Ａ処理である。例えば主要被写体領域の設定処理を行っていない状態で撮影指示が行われてしまう場合に備えて、ＣＰＵ２６は、通常の３Ａ処理を行う。３Ａ処理とは、焦点調整（ＡＦ）の設定処理、露出調整（ＡＥ）の設定処理、ホワイトバランス調整処理（ＡＷＢ）であり、公知技術と同様に行われる。この処理が実行された後、ステップＳ２１１に進む。 Step S216 is a normal 3A process. For example, the CPU 26 performs a normal 3A process in preparation for a case where a shooting instruction is issued in a state where the main subject area setting process is not performed. The 3A process is a focus adjustment (AF) setting process, an exposure adjustment (AE) setting process, and a white balance adjustment process (AWB), and is performed in the same manner as a known technique. After this process is executed, the process proceeds to step S211.

また、ステップＳ２０５の判定結果がＮｏとなる場合、言い換えれば、取得されたスルー画像からマスクが抽出されない場合には、ステップＳ２２０に進む。 If the determination result in step S205 is No, in other words, if no mask is extracted from the acquired through image, the process proceeds to step S220.

ステップＳ２２０は、ｍ（ｍ＜ｎ）回以上マスク抽出されていないか否かを判定する処理である。画像処理回路２２は、記憶部２５に書き込まれたフラグの履歴を参照する。画像処理回路２２は、記憶部２５に記憶されたフラグの履歴からｍ回以上マスクが抽出されていないか否かを判定する。例えばｍ回以上連続してマスクが抽出されていない場合には、画像処理回路２２は、ステップＳ２２０の判定結果をＹｅｓとする。この場合、ステップＳ２２１に進む。一方、ｍ回以上連続してマスクが抽出されている場合には、画像処理回路２２は、ステップＳ２２０の判定結果をＮｏとする。この場合、ステップＳ２１１に進む。 Step S220 is a process of determining whether or not the mask has been extracted m (m <n) times or more. The image processing circuit 22 refers to the flag history written in the storage unit 25. The image processing circuit 22 determines whether or not a mask has been extracted m or more times from the flag history stored in the storage unit 25. For example, if the mask has not been extracted m times or more, the image processing circuit 22 sets the determination result in step S220 to Yes. In this case, the process proceeds to step S221. On the other hand, when the mask has been extracted continuously m times or more, the image processing circuit 22 sets the determination result in step S220 to No. In this case, the process proceeds to step S211.

ステップＳ２２１は、画像の輝度値Ｂｖが所定値を超過するか否かを判定する処理である。画像処理回路２２は、バッファメモリ部２４に記憶されたスルー画像データを読み出す。画像処理回路２２は、読み出したスルー画像データを用いて画像の輝度値を求める。画像処理回路２２は、求めた画像の輝度値Ｂｖが所定値（例えば６）を超過するか否かを判定する。求めた画像の輝度値Ｂｖが所定値を超過する場合、画像処理回路２２は、ステップＳ２２１の判定結果をＹｅｓとする。この場合、ステップＳ２２２に進む。一方、求めた画像の輝度値Ｂｖが所定値以下となる場合には、画像処理回路２２は、ステップＳ２２１の判定結果をＮｏとする。この場合、ステップＳ２２４に進む。 Step S221 is processing for determining whether or not the luminance value Bv of the image exceeds a predetermined value. The image processing circuit 22 reads through image data stored in the buffer memory unit 24. The image processing circuit 22 obtains the luminance value of the image using the read through image data. The image processing circuit 22 determines whether or not the obtained luminance value Bv of the image exceeds a predetermined value (for example, 6). When the calculated luminance value Bv of the image exceeds the predetermined value, the image processing circuit 22 sets the determination result in step S221 to Yes. In this case, the process proceeds to step S222. On the other hand, when the luminance value Bv of the obtained image is equal to or less than the predetermined value, the image processing circuit 22 sets the determination result in step S221 to No. In this case, the process proceeds to step S224.

ステップＳ２２２は、風景撮影用に設定される領域を主要被写体領域として設定する処理である。画像処理回路２２は、記憶部２５から風景撮影用に設定される領域の情報を読み出す。そして、画像処理回路２２は、読み出した風景撮影用に設定される領域を主要被写体領域として設定する。なお、風景撮影用に設定される領域としては、画像の中央の領域が挙げられ、その領域の横幅及び縦幅は、例えば画像の横幅及び縦幅の０．４倍に設定される。なお、風景撮影用に設定される領域の幅は一例を示すものである。 Step S222 is processing for setting an area set for landscape photography as a main subject area. The image processing circuit 22 reads out information on an area set for landscape photography from the storage unit 25. Then, the image processing circuit 22 sets the read area set for landscape photography as the main subject area. The area set for landscape photography includes the center area of the image, and the horizontal width and vertical width of the area are set to 0.4 times the horizontal width and vertical width of the image, for example. The width of the area set for landscape photography is an example.

ステップＳ２２３は、主要被写体領域情報を記録する処理である。このステップＳ２２３の処理は、ステップＳ２０９と同一の処理である。 Step S223 is processing for recording main subject area information. The process of step S223 is the same process as step S209.

ステップＳ２２４は、主要被写体領域情報を表示する処理である。このステップＳ２２４の処理は、ステップＳ２１０と同一の処理である。 Step S224 is processing to display main subject area information. The process of step S224 is the same process as step S210.

例えば、図６に示すように、晴れた日に山を撮影する場合には、スルー画像５１においては画像全体の輝度が高く、また画像全体の色相が類似していることから、スルー画像５１に含まれる山の部分を主要被写体として特定することができない。このような場合には、画像全体の輝度値に基づいて風景撮影であるか否かを自動的に判別する。つまり、輝度値が高い場合には風景撮影であると自動的に判別される。その結果、予め風景撮影用として設定される領域が主要被写体領域として設定される。したがって、このような場合には、表示部２３においては、スルー画像５１と風景撮影用の枠５２が表示される。 For example, as shown in FIG. 6, when shooting a mountain on a sunny day, the through image 51 has a high luminance as a whole image and the hue of the entire image is similar. The included mountain portion cannot be identified as the main subject. In such a case, it is automatically determined whether or not it is landscape photography based on the luminance value of the entire image. In other words, when the luminance value is high, it is automatically determined that the image is landscape photography. As a result, an area previously set for landscape photography is set as the main subject area. Therefore, in such a case, the through image 51 and the landscape shooting frame 52 are displayed on the display unit 23.

上述したステップＳ２２１の判定結果がＮｏとなる場合、言い換えれば、被写体輝度Ｂｖが所定値以下となる場合には、ステップＳ２２５に進む。 If the determination result in step S221 described above is No, in other words, if the subject brightness Bv is equal to or lower than the predetermined value, the process proceeds to step S225.

ステップＳ２２５は、マスク抽出処理時に除外されたマスクのうち、中央の領域に位置するマスクがあるか否かを判定する処理である。画像処理回路２２は、記憶部２５に記憶されたマスク情報を参照する。そして、参照したマスク情報に含まれるマスクの位置情報から、中央の領域に位置するマスクがあるか否かを判定する。中央の領域に位置するマスクがある場合、画像処理回路２２は、ステップＳ２２５の判定結果をＹｅｓとする。この場合、ステップＳ２２６に進む。一方、中央の領域に位置するマスクがない場合、画像処理回路２２は、ステップＳ２２５の判定結果をＮｏとする。この場合、ステップＳ２２８に進む。ここで、画像の中央の領域としては、例えば画像の横幅及び縦幅の１／２の領域を示す。なお、画像の中央の領域と、上述した風景撮影用の領域とは、同一の大きさであってもよいし、異なる大きさであってもよい。 Step S225 is a process of determining whether or not there is a mask located in the center area among the masks excluded during the mask extraction process. The image processing circuit 22 refers to the mask information stored in the storage unit 25. Then, it is determined from the mask position information included in the referenced mask information whether there is a mask located in the central region. If there is a mask located in the center area, the image processing circuit 22 sets the determination result in step S225 to Yes. In this case, the process proceeds to step S226. On the other hand, when there is no mask located in the central region, the image processing circuit 22 sets the determination result in step S225 to No. In this case, the process proceeds to step S228. Here, as the central region of the image, for example, a region having a half of the horizontal width and vertical width of the image is shown. Note that the central area of the image and the above-described landscape photographing area may have the same size or different sizes.

ステップＳ２２６は、対象となるマスクを主要被写体領域として設定する処理である。例えばステップＳ２２５において中央の領域に位置するマスクがあると判定された場合には、該マスクを主要被写体領域として設定する。また、後述するステップＳ２２９において条件を満足するマスクがあると判定された場合には、抽出条件を変更することで抽出されたマスクを主要被写体領域として設定する。そして、画像処理回路２２は、主要被写体領域の情報を記憶部２５等に記録する。 Step S226 is processing for setting a target mask as a main subject region. For example, if it is determined in step S225 that there is a mask located in the center area, the mask is set as the main subject area. If it is determined in step S229 that will be described later that there is a mask that satisfies the condition, the mask extracted by changing the extraction condition is set as the main subject region. Then, the image processing circuit 22 records information on the main subject area in the storage unit 25 and the like.

ステップＳ２２７は、主要被写体領域情報を表示する処理である。ＣＰＵ２６は、主要被写体領域の情報を表示部２３に出力する。表示部２３は、入力された主要被写体領域の情報に基づいた表示をスルー画像に重畳して表示する。この処理が実行されると、ステップＳ２１１に進む。 Step S227 is processing for displaying main subject area information. The CPU 26 outputs information on the main subject area to the display unit 23. The display unit 23 displays a display based on the input main subject area information superimposed on the through image. When this process is executed, the process proceeds to step S211.

このように、マスク抽出処理で除外されるマスクのうち、画像の中央の領域に位置するマスクがあれば、そのマスクを主要被写体領域として設定する。例えば建造物などを含む風景を撮影する場合等、マスク抽出処理によりマスクの対象から除外される場合がある。しかしながら、除外されたマスクのうち、ユーザが注目するマスクが中央の領域にあれば、そのマスクが主要被写体として設定される。したがって、主要被写体として抽出された対象物に合わせた枠が表示されるので、ユーザはユーザ自身が狙っている被写体の位置や大きさを確認することが可能となる。 As described above, if there is a mask located in the center area of the image among the masks excluded in the mask extraction process, the mask is set as the main subject area. For example, when shooting a landscape including a building or the like, the mask may be excluded from the mask target by the mask extraction process. However, if the mask that is noticed by the user is in the central area among the excluded masks, the mask is set as the main subject. Therefore, since a frame that matches the object extracted as the main subject is displayed, the user can check the position and size of the subject that the user is targeting.

ステップＳ２２５の判定結果がＮｏとなる、言い換えれば、除外されたマスクのいずれもが中央の領域に位置していない場合には、ステップＳ２２８に進む。 If the determination result in step S225 is No, in other words, if none of the excluded masks is located in the central region, the process proceeds to step S228.

ステップＳ２２８は、抽出条件を変更してマスク抽出を行う処理である。なお、抽出条件を変更するとは、上述したマスク抽出処理時に実行される２値化処理における係数αの値を、α＝０．６ではなく、他の値（例えばα＝０．８，１．０，１．２）に変更することが挙げられる。なお、このステップＳ２２８の処理は、係数αの値を変更して、上述したマスク抽出処理（ステップＳ１０１からステップＳ１１０の処理）を実行する。この係数αの値を変更することで、ステップＳ２０４の処理におけるマスク抽出処理の際にマスクが抽出されない場合であっても、抽出条件を変更することでマスクを抽出することが可能となる。 Step S228 is a process of performing mask extraction by changing the extraction condition. Note that changing the extraction condition means that the value of the coefficient α in the binarization processing executed during the mask extraction processing described above is not α = 0.6 but another value (for example, α = 0.8, 1.. 0, 1.2). In the process of step S228, the value of the coefficient α is changed and the above-described mask extraction process (processes from step S101 to step S110) is executed. By changing the value of the coefficient α, it is possible to extract the mask by changing the extraction condition even if the mask is not extracted during the mask extraction process in the process of step S204.

ここで、抽出条件を変更する例として、Ｙ画像データ、Ｃｂ画像データ及びＣｒ画像データに対して２値化処理を行う際の係数αの値を変更する場合を例に取り上げているが、この他に、注目点及びその周辺部の画素からなる３×３画素の領域ではなく、例えば注目点及びその周辺部の画素からなる３×３画素の領域に対して、上方向、下方向、左方向或いは右方向に３画素ずらした領域に含まれる画素の画素値の平均値、及び標準偏差をそれぞれ求め、これら値を用いた２値化処理を行うことも可能である。 Here, as an example of changing the extraction condition, the case of changing the value of the coefficient α when binarizing the Y image data, Cb image data, and Cr image data is taken as an example. Other than the 3 × 3 pixel region composed of the pixel of interest and its peripheral portion, for example, the upward direction, the downward direction, and the left side with respect to the 3 × 3 pixel region composed of the pixel of interest and its peripheral portion. It is also possible to obtain an average value and a standard deviation of pixel values of pixels included in a region shifted by three pixels in the right direction or the right direction, and perform binarization processing using these values.

ステップＳ２２９は、条件を満足するマスクがあるか否かを判定する処理である。画像処理回路２２は、ステップＳ２２８の処理を行うことで抽出されたマスクがあるか否かを判定する。抽出したマスクがあれば、画像処理回路２２は、ステップＳ２２９の判定結果をＹｅｓとする。この場合、ステップＳ２２６に進む。一方、抽出したマスクがない場合には、ステップＳ２２９の判定結果をＮｏとする。この場合、ステップＳ２３０に進む。 Step S229 is processing for determining whether there is a mask that satisfies the condition. The image processing circuit 22 determines whether there is a mask extracted by performing the process of step S228. If there is an extracted mask, the image processing circuit 22 sets the determination result in step S229 to Yes. In this case, the process proceeds to step S226. On the other hand, if there is no extracted mask, the determination result in step S229 is No. In this case, the process proceeds to step S230.

ステップＳ２３０は、中央の領域を主要被写体領域として設定する処理である。ＣＰＵ２６は、画像の中央の領域を主要被写体領域として設定する。そして、ＣＰＵ２６は主要被写体領域の情報を記憶部２５に書き込む。 Step S230 is a process of setting the central area as the main subject area. The CPU 26 sets the central area of the image as the main subject area. Then, the CPU 26 writes information on the main subject area in the storage unit 25.

ステップＳ２３１は主要被写体領域情報を表示する処理である。ＣＰＵ２６は、ステップＳ２３０にて設定した主要被写体領域の情報を表示部２３に出力する。この処理が実行されると、ステップＳ２１１に進む。 Step S231 is processing for displaying main subject area information. The CPU 26 outputs information on the main subject area set in step S230 to the display unit 23. When this process is executed, the process proceeds to step S211.

このように、マスク抽出処理で除外されるマスクのうち、中央の領域に位置するマスクがない場合には、抽出条件を変更してマスク抽出処理が再度実行される。再度実行されるマスク抽出処理によりマスクが抽出された場合には、抽出されたマスクを主要被写体領域とした枠が表示される。したがって、ユーザは新たに抽出されたマスクに基づく枠の表示を確認しながら、画角の調整を行うことが可能となる。 As described above, when there is no mask located in the center area among the masks excluded in the mask extraction process, the mask extraction process is executed again by changing the extraction condition. When a mask is extracted by the mask extraction process executed again, a frame with the extracted mask as the main subject area is displayed. Therefore, the user can adjust the angle of view while confirming the display of the frame based on the newly extracted mask.

一方、抽出条件を変更してもマスクが抽出されない場合には、予め設定されている画像の中央の領域を主要被写体領域とした枠が表示される。この場合には、ユーザが注目している対象が枠の中に入るように画角の調整を行うことが可能となる。 On the other hand, if the mask is not extracted even if the extraction condition is changed, a frame with the central area of the preset image as the main subject area is displayed. In this case, the angle of view can be adjusted so that the target focused on by the user falls within the frame.

本実施形態では、ステップＳ１０２において注目点を推定する処理を行っているが、この動作を行う必要はなく、例えばユーザによる操作部の入力操作に基づく位置を注目点とすることも可能である。 In the present embodiment, the process of estimating the point of interest is performed in step S102. However, this operation is not necessary, and for example, a position based on the input operation of the operation unit by the user can be set as the point of interest.

本実施形態では、抽出されたマスクのうち、最も評価値の高いマスクを主要被写体領域として設定しているが、例えばマスク抽出処理により抽出されたマスクを全て表示部に表示し、ユーザによる操作部の入力操作により、主要被写体領域とするマスクを選択させることも可能である。 In the present embodiment, among the extracted masks, the mask with the highest evaluation value is set as the main subject region. However, for example, all the masks extracted by the mask extraction process are displayed on the display unit, and the operation unit by the user It is also possible to select a mask as a main subject area by the input operation.

本実施形態では、画像処理装置を備えた撮像装置を例に取り上げているが、これに限定される必要はなく、図２に示す画像処理回路の構成や、図３から図５に示すフローチャートの処理をコンピュータに実行させることが可能な画像処理プログラムであってもよい。この場合、画像処理プログラムは、メモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取り可能な記憶媒体に記憶されることが好ましい。 In the present embodiment, an imaging apparatus provided with an image processing apparatus is taken as an example, but the present invention is not limited to this, and the configuration of the image processing circuit shown in FIG. 2 and the flowcharts shown in FIGS. It may be an image processing program capable of causing a computer to execute processing. In this case, the image processing program is preferably stored in a computer-readable storage medium such as a memory card, an optical disk, or a magnetic disk.

１０…撮像装置、２１…撮像部、２２…画像処理回路、２３…表示部、２６…ＣＰＵ、４１…抽出部、４２…判定部、４３…追尾部、４４…評価部、４５…設定部 DESCRIPTION OF SYMBOLS 10 ... Imaging device, 21 ... Imaging part, 22 ... Image processing circuit, 23 ... Display part, 26 ... CPU, 41 ... Extraction part, 42 ... Determination part, 43 ... Tracking part, 44 ... Evaluation part, 45 ... Setting part

Claims

画像に含まれる被写体領域を抽出する抽出部と、
前記抽出部が前記被写体領域を抽出したか否かを判定する第１の判定部と、
前記第１の判定部が前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定部と、
前記推定部が前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更部と、
変更した前記抽出条件を用いて前記画像から前記被写体領域を再度抽出する再抽出部と、
前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定部と、
を備えたことを特徴とする画像処理装置。 An extraction unit for extracting a subject area included in the image;
A first determination unit that determines whether or not the extraction unit has extracted the subject region;
An estimation unit that estimates whether the image is a landscape image when the first determination unit determines that the subject region is not extracted;
A condition changing unit that changes an extraction condition used when extracting the subject region when the estimating unit estimates that the image is not the landscape image;
A re-extraction unit that re-extracts the subject area from the image using the extracted extraction condition;
A setting unit that sets the subject area extracted using the changed extraction condition as a main subject area;
An image processing apparatus comprising:

請求項１に記載の画像処理装置において、
前記第１の判定部が前記被写体領域を抽出していないと判定したときに、前記画像が取得される以前に前記被写体領域を安定して抽出していたか否かを判定する第２の判定部を備え、
前記推定部は、前記第２の判定部が前記被写体領域を安定して抽出していないと判定したときに、前記画像が前記風景の画像であるか否かを推定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
A second determination unit that determines whether or not the subject region has been stably extracted before the image is acquired when the first determination unit determines that the subject region has not been extracted; With
The estimation unit is configured to estimate whether the image is an image of the landscape when the second determination unit determines that the subject area is not stably extracted. Processing equipment.

請求項１又は請求項２に記載の画像処理装置において、
前記推定部は、前記画像の輝度値に基づいて、前記画像が風景の画像であるか否かを推定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
The image processing apparatus, wherein the estimation unit estimates whether or not the image is a landscape image based on a luminance value of the image.

請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記設定部は、前記推定部が前記風景の画像であると推定したときに、風景撮影用として設定される領域を前記主要被写体領域として設定することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 3,
The image processing apparatus according to claim 1, wherein when the estimation unit estimates that the image is an image of the landscape, the setting unit sets an area set for landscape photography as the main subject area.

請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記設定部は、変更した前記抽出条件を用いて前記被写体領域を抽出する処理を行っても前記画像から前記被写体領域を抽出していないときに、前記画像の中央の領域を前記主要被写体領域として設定することを特徴とする画像処理装置。 The image processing apparatus according to claim 1, wherein:
The setting unit sets a central region of the image as the main subject region when the subject region is not extracted from the image even when the subject region is extracted using the changed extraction condition. An image processing apparatus characterized by setting.

請求項１から請求項５のいずれか１項に記載の画像処理装置において、
前記抽出部は、
前記画像を、輝度画像及び色度画像に変換する変換部と、
前記輝度画像及び前記色度画像のそれぞれに対して前記抽出条件を用いた２値化処理を実行する２値化処理部と、
前記２値化処理により生成された２値化画像を合成する合成部と、
を備えたことを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 5,
The extraction unit includes:
A conversion unit for converting the image into a luminance image and a chromaticity image;
A binarization processing unit that executes binarization processing using the extraction condition for each of the luminance image and the chromaticity image;
A combining unit that combines the binarized images generated by the binarization process;
An image processing apparatus comprising:

請求項６に記載の画像処理装置において、
前記抽出部は、合成された２値化画像に含まれる白画素で構成される白画素領域のうち、該白画素領域を含む矩形の面積に対する前記白画素領域の面積の比が閾値以下となる白画素領域を除外することを特徴とする画像処理装置。 The image processing apparatus according to claim 6.
In the extraction unit, the ratio of the area of the white pixel region to the rectangular area including the white pixel region out of the white pixel region composed of white pixels included in the synthesized binary image is equal to or less than a threshold value. An image processing apparatus characterized by excluding a white pixel region.

請求項６に記載の画像処理装置において、
前記抽出部は、合成された２値化画像に含まれる白画素で構成される白画素領域のうち、該白画素領域を含む矩形の縦横比が所定範囲内に含まれる白画素領域を除外することを特徴とする画像処理装置。 The image processing apparatus according to claim 6.
The extraction unit excludes a white pixel area including a white pixel area including a white pixel area within a predetermined range from white pixel areas including white pixels included in the synthesized binary image. An image processing apparatus.

請求項６から請求項８のいずれか１項に記載の画像処理装置において、
前記設定部は、変更した前記抽出条件を用いて前記画像から前記被写体領域を抽出する処理を実行したときに、合成された２値化画像に対して設定された所定領域に含まれる白画素領域を前記主要被写体領域として設定することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 6 to 8,
The setting unit, when executing the process of extracting the subject area from the image using the changed extraction condition, a white pixel area included in a predetermined area set for the synthesized binary image Is set as the main subject area.

請求項１から請求項９のいずれか１項に記載の画像処理装置において、
前記設定部が設定した前記主要被写体領域の情報を前記画像とともに表示する表示部を、さらに備えることを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 9,
An image processing apparatus, further comprising: a display unit configured to display information on the main subject region set by the setting unit together with the image.

前記画像を取得する撮像部と、
請求項１から請求項１０のいずれか１項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。 An imaging unit for acquiring the image;
The image processing apparatus according to any one of claims 1 to 10,
An imaging apparatus comprising:

画像に含まれる被写体領域を抽出する抽出工程と、
前記抽出工程により前記被写体領域を抽出したか否かを判定する判定工程と、
前記判定工程により前記被写体領域を抽出していないと判定したときに、前記画像が風景の画像であるか否かを推定する推定工程と、
前記推定工程により前記風景の画像でないと推定したときに、前記被写体領域を抽出する際に用いる抽出条件を変更する条件変更工程と、
変更した前記抽出条件を用いて、前記画像から前記被写体領域を再度抽出する再抽出工程と、
前記変更した前記抽出条件を用いて抽出された前記被写体領域を主要被写体領域として設定する設定工程と、
をコンピュータに実行させることが可能な画像処理プログラム。 An extraction step of extracting a subject area included in the image;
A determination step of determining whether or not the subject region has been extracted by the extraction step;
An estimation step of estimating whether or not the image is a landscape image when it is determined that the subject region is not extracted by the determination step;
A condition changing step of changing an extraction condition used when extracting the subject region when the estimation step estimates that the image is not an image of the landscape;
A re-extraction step of re-extracting the subject region from the image using the changed extraction condition;
A setting step of setting the subject region extracted using the changed extraction condition as a main subject region;
An image processing program capable of causing a computer to execute.