JP2014179755A - Image processing device, control method therefor and control program - Google Patents
Image processing device, control method therefor and control program Download PDFInfo
- Publication number
- JP2014179755A JP2014179755A JP2013051878A JP2013051878A JP2014179755A JP 2014179755 A JP2014179755 A JP 2014179755A JP 2013051878 A JP2013051878 A JP 2013051878A JP 2013051878 A JP2013051878 A JP 2013051878A JP 2014179755 A JP2014179755 A JP 2014179755A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- evaluation value
- subject
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、電子スチルカメラなどの撮像装置で用いられ、撮影の結果得られた画像から得られた特徴量に応じて特定の被写体を示す被写体領域を抽出する画像処理装置に関する。 The present invention relates to an image processing apparatus, a control method thereof, and a control program, and in particular, is used in an imaging apparatus such as an electronic still camera, and a specific subject is selected according to a feature amount obtained from an image obtained as a result of shooting. The present invention relates to an image processing apparatus that extracts a subject area to be shown.
一般に、電子スチルカメラなどの撮像装置による撮影の結果得られた画像から得られた特徴量を用いて、画像から特定の被写体領域を抽出する画像処理装置が知られている。そして、当該被写体領域から被写体の種別、画像上の位置、およびその大きさなどの被写体情報を得て、当該被写体情報に応じてオートフォーカスおよびオート露出制御などを行うようにしている。 In general, an image processing apparatus that extracts a specific subject region from an image using a feature amount obtained from an image obtained as a result of photographing by an imaging device such as an electronic still camera is known. Then, subject information such as the type of subject, the position on the image, and its size is obtained from the subject region, and autofocus and auto exposure control are performed according to the subject information.
例えば、被写体領域として空を示す空領域を抽出する場合には、無彩色又は青色を示しエッジを有しないという特徴量に応じて空領域の抽出が行われる。 For example, when a sky area indicating sky is extracted as the subject area, the sky area is extracted according to the feature amount indicating achromatic or blue and having no edge.
ところが、上述の特徴量に対して同等な特徴量を示す被写体が存在する画像においては、所定の固定化されたパラメータを用いて所望の領域を正しく抽出することは困難である。そこで、画像が撮影された環境を考慮して、画像から被写体領域を適正に検出して抽出するようにした手法がある。 However, it is difficult to correctly extract a desired region using a predetermined fixed parameter in an image in which an object having a feature amount equivalent to the above-described feature amount exists. Therefore, there is a technique in which the subject region is appropriately detected and extracted from the image in consideration of the environment in which the image was captured.
例えば、複数の特徴量マップを作成して、これら特徴量マップを撮影モードなどの撮像環境に対応付けて重み付けして得られた特徴分布に応じて、特定の被写体領域を検出する画像処理装置がある（特許文献１参照）。 For example, an image processing apparatus that detects a specific subject region according to a feature distribution obtained by creating a plurality of feature amount maps and weighting these feature amount maps in association with an imaging environment such as a shooting mode. Yes (see Patent Document 1).
さらに、被写体の３次元的な配置位置、撮像装置から被写体までの距離、および明るさなどから撮影シーンの判別を行って、撮影の際のユーザの設定負荷を軽減するようにした撮像装置が知られている（特許文献２参照）。 Furthermore, an imaging apparatus that recognizes a shooting scene based on a three-dimensional arrangement position of a subject, a distance from the imaging apparatus to the subject, brightness, and the like to reduce a user's setting load at the time of shooting is known. (See Patent Document 2).
ところで、特許文献１に記載のように、撮影モードに応じて特徴量の重み付けを変更する手法では、当該画像が屋内外のいずれにおいて撮影されたかについて正確に把握できないことがある。このため、特許文献１においては、特定の被写体を誤検出することがある。撮影の際にはユーザが撮影モードの設定を行う必要があり、ユーザによる設定負荷が増大してしまう。 By the way, as described in Patent Document 1, the technique of changing the weighting of the feature amount according to the shooting mode may not be able to accurately grasp whether the image was shot indoors or outdoors. For this reason, in Patent Document 1, a specific subject may be erroneously detected. When shooting, the user needs to set the shooting mode, which increases the setting load on the user.
また、特許文献２に記載の手法では、照明光などの影響があると屋内外のいずれにおいて撮影されたかを正確に把握できず、撮影シーンの判別が困難となって、特定の被写体領域を誤検出する恐れがある。 In addition, in the method described in Patent Document 2, if there is an influence of illumination light or the like, it cannot be accurately grasped whether the image is taken indoors or outdoors, so that it is difficult to determine a photographing scene, and a specific subject region is mistaken. There is a risk of detection.
このように、特許文献１および２ともに、特定の被写体に類似する被写体が存在する撮影シーンにおいては、特定の被写体を誤検出する可能性が高い。 As described above, in both Patent Documents 1 and 2, there is a high possibility that a specific subject is erroneously detected in a shooting scene where a subject similar to the specific subject exists.
従って、本発明の目的は、特定の被写体領域と類似する被写体領域が存在する撮影シーンにおいても、誤判別を抑えて特定の被写体領域を抽出することができる画像処理装置、その制御方法、および制御プログラムを提供することにある。 Accordingly, an object of the present invention is to provide an image processing apparatus capable of extracting a specific subject area while suppressing erroneous determination even in a shooting scene in which a subject area similar to the specific subject area exists, and a control method and control thereof. To provide a program.
上記の目的を達成するため、本発明による画像処理装置は、複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置であって、前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得手段と、前記画像を複数のブロック領域に分割する画像分割手段と、前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出手段と、前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別する領域判別手段と、を有することを特徴とする。 In order to achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus for discriminating a plurality of subjects as mutually different subject areas in an image obtained by photographing a plurality of subjects. An evaluation value acquisition unit that acquires a shooting evaluation value indicating a shooting scene in which the image was shot based on the image, an image dividing unit that divides the image into a plurality of block regions, and a feature that indicates the characteristics of each of the block regions A feature amount extracting means for extracting a quantity; and an area discriminating means for discriminating whether each of the block areas belongs to the subject area based on the shooting evaluation value and the feature quantity. And
本発明による制御方法は、複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置の制御方法であって、前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、前記画像を複数のブロック領域に分割する画像分割ステップと、前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別する領域判別ステップと、を有することを特徴とする。 A control method according to the present invention is a control method of an image processing apparatus that discriminates the plurality of subjects as mutually different subject areas in an image obtained by photographing a plurality of subjects, and the image is processed based on the images. An evaluation value acquisition step for acquiring a shooting evaluation value indicating a shot shooting scene, an image division step for dividing the image into a plurality of block regions, and a feature amount for extracting a feature amount indicating the feature of each of the block regions An extraction step; and an area determination step of determining whether each of the block areas belongs to the subject area based on the photographing evaluation value and the feature amount.
本発明による制御プログラムは、複数の被写体を撮影して得られた画像において前記複数の被写体をそれぞれ互いに異なる被写体領域として判別する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、前記画像を複数のブロック領域に分割する画像分割ステップと、前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別する領域判別ステップと、を実行させることを特徴とする。 A control program according to the present invention is a control program used in an image processing apparatus that discriminates the plurality of subjects as different subject areas in an image obtained by photographing a plurality of subjects, and the image processing device includes the control program. For each of the block areas, an evaluation value acquisition step for acquiring a shooting evaluation value indicating a shooting scene in which the image is shot based on the image, a image division step for dividing the image into a plurality of block areas, and A feature amount extracting step for extracting a feature amount indicating the feature; an area determining step for determining which of the subject areas each of the block areas belongs based on the shooting evaluation value and the feature amount; Is executed.
本発明によれば、画像を撮影した撮影シーンを示す撮影評価値を取得して、ブロック領域毎の特徴量にくわえて、当該撮影評価値を考慮してブロック領域がいずれの被写体領域に属するかを判別するようにしたので、特定の被写体領域と類似する被写体領域が存在する撮影シーンにおいても、誤判別を抑えて特定の被写体領域を検出して抽出することができる。 According to the present invention, a shooting evaluation value indicating a shooting scene in which an image is shot is acquired, and in addition to the feature amount for each block area, which subject area the block area belongs to in consideration of the shooting evaluation value. Therefore, even in a shooting scene where a subject area similar to the specific subject area exists, it is possible to detect and extract the specific subject area while suppressing erroneous discrimination.
以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。 Hereinafter, an example of an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of an example of an image processing apparatus according to an embodiment of the present invention.
図示の画像処理装置は、例えば、電子スチルカメラなどの撮像装置で用いられる。図示はしないが、撮像装置では撮影の際には撮影シーンに応じてシッタースピード、絞り値、およびホワイトバランスなどの撮影条件が設定される。この撮影条件を設定する際には、後述する撮影評価値が用いられる。撮像装置はＣＭＯＳイメージセンサなどの撮像素子を備えており、撮影レンズユニットを介して撮像素子に被写体像（光学像）が結像される。撮像素子は光学像に応じた電気信号（アナログ信号）を出力し、このアナログ信号はＡ／Ｄ変換部によってデジタル信号に変換されて、画像処理装置に与えられる。 The illustrated image processing apparatus is used in an imaging apparatus such as an electronic still camera, for example. Although not shown, in the imaging apparatus, shooting conditions such as a sitter speed, an aperture value, and a white balance are set according to a shooting scene when shooting. When setting the shooting conditions, shooting evaluation values described later are used. The imaging apparatus includes an imaging element such as a CMOS image sensor, and a subject image (optical image) is formed on the imaging element via a photographing lens unit. The image sensor outputs an electrical signal (analog signal) corresponding to the optical image, and the analog signal is converted into a digital signal by the A / D conversion unit and provided to the image processing apparatus.
画像処理装置は評価値取得部１００、画像取得部１１０、画像分割部１２０、特徴量算出部１３０、および領域判別部１４０を備えており、上記のデジタル信号が撮影画像として評価値取得部１００および画像取得部１１０に与えられる。そして、画像処理装置１００は撮影画像における被写体領域を判別して領域判別結果を出力する。 The image processing apparatus includes an evaluation value acquisition unit 100, an image acquisition unit 110, an image division unit 120, a feature amount calculation unit 130, and an area determination unit 140, and the digital signal is used as a captured image as the evaluation value acquisition unit 100 and This is given to the image acquisition unit 110. Then, the image processing apparatus 100 determines the subject area in the captured image and outputs the area determination result.
評価値取得部１１０は撮影画像を受けて、後述するようにして撮影シーンに応じた撮影条件を設定するための撮影評価値を求めて、当該撮影評価値を画像取得部１１０および領域判別部１４０に与える。画像取得部１１０は撮影評価値に応じて撮影画像に対して所定の信号処理を施して画像データとして出力する。そして、この画像データは画像分割部１２０に与えられる。 The evaluation value acquisition unit 110 receives the captured image, obtains a shooting evaluation value for setting shooting conditions according to the shooting scene as described later, and uses the shooting evaluation value as the image acquisition unit 110 and the area determination unit 140. To give. The image acquisition unit 110 performs predetermined signal processing on the photographed image according to the photographing evaluation value, and outputs it as image data. This image data is given to the image dividing unit 120.
画像分割部１２０は、画像データが示す画像を所定の大きさのブロック領域（例えば、１２×８個のブロック領域）に分割して、特徴量算出部１３０および領域判別部１４０にこれらブロック領域に分割された画像を出力する。特徴量算出部１３０はブロック領域の各々について、後述するように、輝度および色相のヒストグラム情報とエッジ量とを特徴量として求める。そして、特徴量算出部１３０は当該特徴量を領域判別部１４０に与える。 The image dividing unit 120 divides the image indicated by the image data into block areas of a predetermined size (for example, 12 × 8 block areas), and the feature amount calculating unit 130 and the area determining unit 140 are divided into these block areas. Output the divided image. As will be described later, the feature amount calculation unit 130 obtains luminance and hue histogram information and edge amounts as feature amounts for each block region. Then, the feature amount calculation unit 130 gives the feature amount to the region determination unit 140.
領域判別部１４０は、撮影評価値および特徴量に応じて、後述するようにブロック領域の各々について当該ブロック領域が特定の被写体を示す被写体領域であるか否かを判定して、領域判別結果を出力する。 The area determination unit 140 determines whether or not the block area is a subject area indicating a specific subject for each of the block areas, as described later, according to the shooting evaluation value and the feature amount, and determines the area determination result. Output.
図２は、図１に示す画像処理装置による画像の領域判別を説明するためのフローチャートである。 FIG. 2 is a flowchart for explaining image region determination by the image processing apparatus shown in FIG.
いま、画像処理装置に撮影画像が順次入力されて画像の領域判別が開始されると、評価値取得部１００は、後述するようにして撮影画像に応じて色温度および被写体輝度を撮影評価値として算出する（ステップＳ２００：撮影評価値取得）。そして、画像取得部１１０は、撮影評価値に基づいてシャッタースピード、絞り値、およびホワイトバランスなどの撮影条件を設定して、撮像画像に対して撮影条件に応じた所定の信号処理を施して画像データを生成する。 Now, when photographed images are sequentially input to the image processing apparatus and image region determination is started, the evaluation value acquisition unit 100 uses the color temperature and subject luminance as photographing evaluation values according to the photographed image as described later. Calculate (Step S200: Acquisition evaluation value acquisition). Then, the image acquisition unit 110 sets shooting conditions such as a shutter speed, an aperture value, and a white balance based on the shooting evaluation value, and performs predetermined signal processing on the captured image according to the shooting conditions to generate an image. Generate data.
図３は、図２に示す撮影評価値取得処理を説明するためのフローチャートである。 FIG. 3 is a flowchart for explaining the photographing evaluation value acquisition process shown in FIG.
撮影評価値取得処理を開始すると、評価値取得部１００は、まず撮影画像についてその色温度を求める（ステップＳ２０１：色温度取得）。ここでは、評価値取得部１００は撮影画像３００および３２０について、撮影の際の光源下における色温度を推定する処理を行う（例えば、特開２００８−２８９２４号公報参照）。 When the photographing evaluation value acquisition process is started, the evaluation value acquisition unit 100 first obtains the color temperature of the captured image (step S201: color temperature acquisition). Here, the evaluation value acquisition unit 100 performs a process of estimating the color temperature under the light source at the time of shooting for the shot images 300 and 320 (see, for example, JP 2008-28924 A).
図４は、図１に示す画像処理装置で用いられる色温度と色評価値との関係を示す色評価値テーブルの一例を示す図である。 FIG. 4 is a diagram showing an example of a color evaluation value table showing the relationship between the color temperature and the color evaluation value used in the image processing apparatus shown in FIG.
図４に示す色評価値テーブルは予め評価値取得部１００に設定されており、図４において縦軸は色温度を示し、横軸は色評価値（Ｃｘ）を示す。評価値取得部１００は、例えば、白サーチ処理、つまり、白色の領域を検出する処理を行って、色領域毎の色評価値を得る。そして、評価値取得部１００は全ての白領域についてその色評価値を平均して平均値を求めて、色評価値テーブルを参照して当該色評価値Ｃｘの平均値に対応する色温度（推定色温度）ＣＴｅｍｐを得る。 The color evaluation value table shown in FIG. 4 is set in advance in the evaluation value acquisition unit 100. In FIG. 4, the vertical axis indicates the color temperature, and the horizontal axis indicates the color evaluation value (Cx). The evaluation value acquisition unit 100 performs, for example, white search processing, that is, processing for detecting a white region, and obtains a color evaluation value for each color region. Then, the evaluation value acquisition unit 100 averages the color evaluation values for all the white areas to obtain an average value, refers to the color evaluation value table, and determines the color temperature (estimated) corresponding to the average value of the color evaluation value Cx. Color temperature) CTemp is obtained.
続いて、評価値取得部１００は、撮影画像３００および３２０について撮影の際における被写体の測光値を算出する処理を行う（ステップＳ２０２：被写体測光値取得）。例えば、評価値取得部１００は測光モードに応じて得られた露出値Ｅｖとプログラム線図とを用いて、絞り値Ａｖおよびシャッタースピード値Ｔｖを算出する。そして、評価値取得部１００は絞り値Ａｖおよびシャッタースピード値ＴｖとＩＳＯ感度値Ｓｖとを用いて、次の式（１）に基づいて被写体測光値Ｂｖを算出する（例えば、特開２００３−１２５２８３号公報参照）。 Subsequently, the evaluation value acquisition unit 100 performs a process of calculating the photometric value of the subject at the time of shooting for the captured images 300 and 320 (step S202: acquisition of the photometric value of the subject). For example, the evaluation value acquisition unit 100 calculates the aperture value Av and the shutter speed value Tv using the exposure value Ev obtained according to the photometry mode and the program diagram. Then, the evaluation value acquisition unit 100 calculates the subject photometric value Bv based on the following equation (1) using the aperture value Av, the shutter speed value Tv, and the ISO sensitivity value Sv (for example, Japanese Patent Application Laid-Open No. 2003-125283). No. publication).
Ｂｖ＝Ａｖ＋Ｔｖ−Ｓｖ （１）
評価値取得部１００は、上述の推定色温度ＣＴｅｍｐおよび被写体測光値Ｂｖを撮影評価値として画像取得部１１０および領域判別部１４０に出力して、撮影評価値取得処理を終了する。
Bv = Av + Tv-Sv (1)
The evaluation value acquisition unit 100 outputs the estimated color temperature CTemp and the subject photometric value Bv as the imaging evaluation values to the image acquisition unit 110 and the area determination unit 140, and ends the imaging evaluation value acquisition process.
図５は、図１に示す画像分割部１２０に入力される画像と領域分割後の画像の一例を説明するための図である。そして、図５（Ａ）は画像分割部１２０に入力される画像の一例を示す図であり、図５（Ｂ）は図５（Ａ）に示す画像を領域分割した画像を示す図である。また、図５（Ｃ）は画像分割部１２０に入力される画像の他の例を示す図であり、図５（Ｄ）は図５（Ｃ）に示す画像を領域分割した画像を示す図である。 FIG. 5 is a diagram for explaining an example of an image input to the image dividing unit 120 shown in FIG. 1 and an image after region division. FIG. 5A shows an example of an image input to the image dividing unit 120, and FIG. 5B shows an image obtained by dividing the image shown in FIG. 5A. 5C is a diagram illustrating another example of an image input to the image dividing unit 120, and FIG. 5D is a diagram illustrating an image obtained by segmenting the image illustrated in FIG. 5C. is there.
図５（Ａ）に示す画像３００においては、人物３００ａ、木３３０ｂ、および空３００ｃなどが存在し、図５（Ｃ）に示す画像３２０においては、人物３２０ａ、光源３２０ｂ、および壁３２０ｃなどが存在する。 In the image 300 shown in FIG. 5A, there are a person 300a, a tree 330b, and a sky 300c. In the image 320 shown in FIG. 5C, there are a person 320a, a light source 320b, a wall 320c, and the like. To do.
図２および図５を参照して、ここでは、画像取得部１１０は図５に示す画像３００および３２０を出力するものとする。画像取得部１１０から画像（画像データ）を受けると、画像分割部１２０は画像３００および３２０の各々を１２×８個のブロック領域３００ｄおよび３２０ｄに分割する分割処理を行って画像３１０および３３０（以下分割画像と呼ぶ）を得る（ステップＳ２１０）。そして、画像分割部１２０は当該分割画像３１０および３３０を特徴量算出部１３０および領域判別部１４０に出力する。 Referring to FIGS. 2 and 5, here, image acquisition unit 110 outputs images 300 and 320 shown in FIG. 5. When the image (image data) is received from the image acquisition unit 110, the image dividing unit 120 performs a dividing process of dividing each of the images 300 and 320 into 12 × 8 block regions 300d and 320d, thereby performing the images 310 and 330 (hereinafter referred to as the images 310 and 330). (Referred to as a divided image) (step S210). Then, the image dividing unit 120 outputs the divided images 310 and 330 to the feature amount calculating unit 130 and the region determining unit 140.
分割画像３１０および３２０を受けると、特徴量算出部１３０は分割画像３１０および３３０の各々の各ブロック領域についてその特徴量を算出する（ステップＳ２２０）。ここでは、特徴量算出部１３０は分割画像３１０および３３０の各々の各ブロック領域について画素毎の輝度値および色相値を求める。そして、特徴量算出部１３０はブロック領域毎に輝度値および色相値のヒストグラムを算出してヒストグラム情報を得る。 Upon receiving the divided images 310 and 320, the feature amount calculation unit 130 calculates the feature amount for each block area of each of the divided images 310 and 330 (step S220). Here, the feature amount calculation unit 130 obtains a luminance value and a hue value for each pixel for each block area of each of the divided images 310 and 330. Then, the feature amount calculation unit 130 calculates a histogram of luminance values and hue values for each block region to obtain histogram information.
特徴量算出部１３０は、輝度値および色相値を算出する際、画素毎のＲ（赤）、Ｇ（緑）、およびＢ（青）の値を用いて次の式（２）および式（３）によってそれぞれ輝度値Ｙおよび色相値Ｈを算出する。 When calculating the luminance value and the hue value, the feature amount calculation unit 130 uses the values of R (red), G (green), and B (blue) for each pixel to calculate the following formulas (2) and (3): ) To calculate the luminance value Y and the hue value H, respectively.
図６は、図５に示す分割画像の１つについてその左上隅に位置するブロック領域における輝度値および色相値のヒストグラムを算出した結果の一例を示す図である。そして、図６（Ａ）は輝度ヒストグラムを示す図であり、図６（Ｂ）は色相ヒストグラムを示す図である。 FIG. 6 is a diagram illustrating an example of a result of calculating a histogram of luminance values and hue values in a block region located in the upper left corner of one of the divided images illustrated in FIG. 6A shows a luminance histogram, and FIG. 6B shows a hue histogram.
図６において、図示の例では、輝度値Ｙが２００付近でその頻度数が最大となっており、色相値Ｙが１８０付近でその頻度数が最大となっていることが分かる。 In the example shown in FIG. 6, it can be seen that the frequency number is maximum when the luminance value Y is around 200, and the frequency number is maximum when the hue value Y is around 180.
さらに、特徴量算出部１３０はブロック領域毎にそのエッジを抽出して積分する処理を行う。例えば、特徴量算出部１３０は上記の輝度値（Ｙ信号）に対して、水平および垂直方向それぞれに［−１ ０ ２ ０ −１］などのフィルタ処理を行った信号を加算して、当該加算結果をブロック領域の全体で積分してエッジ量を得る。 Further, the feature amount calculation unit 130 performs processing for extracting and integrating the edge for each block region. For example, the feature amount calculation unit 130 adds a signal obtained by performing filter processing such as [−1 0 2 0 −1] in the horizontal and vertical directions to the luminance value (Y signal), and adds the signal. The result is integrated over the entire block area to obtain the edge amount.
そして、特徴量算出部１３０は上記のヒストグラム情報およびブロック領域毎のエッジ量を特徴量として領域判別部１４０に出力する。なお、上記のエッジの抽出は一例であって、上述した手法以外の既知の手法を用いるようにしてもよい。 Then, the feature amount calculation unit 130 outputs the histogram information and the edge amount for each block region to the region determination unit 140 as feature amounts. Note that the above-described edge extraction is an example, and a known method other than the above-described method may be used.
次に、領域判別部１４０は、前述の撮影評価値およびブロック領域毎の特徴量に基づいて分割画像３１０および３３０のブロック領域毎に当該ブロック領域が特定の被写体（例えば、空又は樹木）を示す被写体領域に属するか否かを判別する領域判別処理を行う（ステップＳ２３０）。 Next, the area determination unit 140 indicates a specific subject (for example, sky or tree) for each block area of the divided images 310 and 330 based on the above-described shooting evaluation value and the feature amount for each block area. An area determination process is performed to determine whether the image belongs to the subject area (step S230).
図７は、図１に示す領域判別部１４０で行われる領域判別処理を説明するためのフローチャートである。 FIG. 7 is a flowchart for explaining the area determination processing performed by the area determination unit 140 shown in FIG.
領域判別処理を開始すると、領域判別部１４０はまず全てのブロック領域について当該ブロック領域が特定の被写体を示す被写体領域（以下特定被写体領域と呼ぶ）に属するか否かの判別処理が済んでいるか否かを判定する（ステップＳ２３１）。全てのブロック領域について判別処理が済んでいると（ステップＳ２３１において、ＹＥＳ）、領域判別部１４０は領域判別処理を終了する。 When the area determination process is started, the area determination unit 140 first determines whether or not the block area belongs to a subject area indicating a specific subject (hereinafter referred to as a specific subject area) for all block areas. Is determined (step S231). When the discrimination process has been completed for all the block areas (YES in step S231), area discrimination unit 140 ends the area discrimination process.
一方、全てのブロック領域について判別処理が済んでいないと（ステップＳ２３１において、ＮＯ）、領域判別部１４０は判別処理の済んでいないブロック領域について、当該ブロック領域が特定被写体領域である第１の被写体領域（ここでは、空領域）に属するか否かを判定する（ステップＳ２３２）。例えば、まず、領域判別部１４０はエッジ量、輝度ヒストグラムのピーク値、および色相ヒストグラムのピーク値に基づいて、ブロック領域が第１の被写体領域（空領域）である信頼度を算出する。 On the other hand, if the discrimination process has not been completed for all the block areas (NO in step S231), the area discrimination unit 140 is the first subject whose block area is the specific subject area for the block areas for which the discrimination process has not been completed. It is determined whether it belongs to an area (here, an empty area) (step S232). For example, first, the region determination unit 140 calculates the reliability that the block region is the first subject region (empty region) based on the edge amount, the peak value of the luminance histogram, and the peak value of the hue histogram.
図８は、第１の被写体領域について図１に示す特徴量算出部１３０で算出された特徴量とその信頼度との関係を説明するための図である。そして、図８（Ａ）は輝度ヒストグラムのピーク値（Ｙ＿Ｈｓｔ）と信頼度との関係を示す図であり、図８（Ｂ）は色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）と信頼度との関係を示す図である。また、図８（Ｃ）はエッジ量（Ｅ＿ｉｔｇ）と信頼度との関係を示す図である。 FIG. 8 is a diagram for explaining the relationship between the feature amount calculated by the feature amount calculation unit 130 shown in FIG. 1 and the reliability of the first subject region. 8A shows the relationship between the peak value (Y_Hst) of the luminance histogram and the reliability, and FIG. 8B shows the relationship between the peak value (H_Hst) of the hue histogram and the reliability. FIG. FIG. 8C shows the relationship between the edge amount (E_itg) and the reliability.
図８において、縦軸の信頼度は最大値を１とするスコアであり、横軸はそれぞれ輝度ヒストグラムのピーク値（Ｙ＿Ｈｓｔ）、色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）、およびエッジ量（Ｅ＿ｉｔｇ）を示す。図８に示すように、高輝度である程、そして、青色又は無彩色であり、エッジ量が低い程スコアが高くなることが分かる。 In FIG. 8, the vertical axis represents the score with the maximum value being 1, and the horizontal axis represents the luminance histogram peak value (Y_Hst), hue histogram peak value (H_Hst), and edge amount (E_itg), respectively. . As shown in FIG. 8, it can be seen that the higher the luminance is, the blue or achromatic color, and the lower the edge amount, the higher the score.
領域判別部１４０は図８（Ａ）〜図８（Ｃ）に示す関係に応じて、特徴量算出部１２０で求められた特徴量、つまり、Ｙ＿Ｈｓｔ、Ｈ＿Ｈｓｔ、およびＥ＿ｉｔｇに応じてその信頼度ａ、ｂ、およびｃを得る。そして、領域判別部１４０はこれら信頼度ａ、ｂ、およびｃを乗算した乗算結果を最終的な信頼度とする。 The region discriminating unit 140 determines the reliability a according to the feature amount obtained by the feature amount calculating unit 120, that is, Y_Hst, H_Hst, and E_itg, according to the relationships shown in FIGS. 8A to 8C. , B, and c are obtained. Then, the region discriminating unit 140 sets the multiplication result obtained by multiplying the reliability a, b, and c as the final reliability.
なお、上述の例は、ブロック領域が空領域に属するか否かを判別するための判別条件の一例であって、この例に限られるものではない。また、図８に示す関係は信頼度テーブルとして領域判別部１４０に予め設定されている。つまり、信頼度テーブルには、輝度、色相、およびエッジ量と被写体のいずれかであるかの信頼度との関係が規定されている。 The above-described example is an example of a determination condition for determining whether or not a block area belongs to an empty area, and is not limited to this example. Further, the relationship shown in FIG. 8 is preset in the area determination unit 140 as a reliability table. In other words, the reliability table defines the relationship between the luminance, hue, and edge amount and the reliability of the subject.
領域判別部１４０は、ブロック領域においてそのエッジ量が所定のエッジ閾値よりも小さく（エッジ量少）、かつ輝度が所定の輝度閾値よりも高いか（高輝度か）又は色相が青（又は無彩色）であるか否かを示す空領域判定条件を満足するか否かを判定する。空領域判定条件を満足すると、つまり、空領域の信頼度を満足すると（ステップＳ２３２において、ＹＥＳ）、領域判別部１４０は、当該ブロック領域が空領域に属すると判別する（ステップＳ２３３）。そして、領域判別部１３０はステップＳ２３１の処理に戻る。 In the block area, the area determination unit 140 has an edge amount smaller than a predetermined edge threshold (less edge amount) and a luminance higher than a predetermined luminance threshold (high luminance) or a hue blue (or achromatic) It is determined whether or not an empty region determination condition indicating whether or not is satisfied. If the empty area determination condition is satisfied, that is, if the reliability of the empty area is satisfied (YES in step S232), the area determining unit 140 determines that the block area belongs to the empty area (step S233). Then, the area determination unit 130 returns to the process of step S231.
空領域判定条件を満足しないと（ステップＳ２３２において、ＮＯ）、領域判別部１４０は、当該ブロック領域が特定被写体領域である第２の被写体領域（ここでは、森などの木領域）に属するか否かを判定する（ステップＳ２３４）。例えば、領域判別部１４０はエッジ量および輝度ヒストグラムのピーク値に基づいてブロック領域が第２の被写体領域（木領域）である信頼度を算出する。 If the sky region determination condition is not satisfied (NO in step S232), region determination unit 140 determines whether or not the block region belongs to the second subject region (here, a tree region such as a forest) that is the specific subject region. Is determined (step S234). For example, the region determination unit 140 calculates the reliability that the block region is the second subject region (tree region) based on the edge amount and the peak value of the luminance histogram.
図９は、第２の被写体領域について図１に示す特徴量算出部１３０で算出された特徴量とその信頼度との関係を説明するための図である。そして、図９（Ａ）は色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）と信頼度との関係を示す図であり、図９（Ｂ）はエッジ量（Ｅ＿ｉｔｇ）と信頼度との関係を示す図である。 FIG. 9 is a diagram for explaining the relationship between the feature amount calculated by the feature amount calculation unit 130 shown in FIG. 1 and the reliability of the second subject region. FIG. 9A is a diagram showing the relationship between the peak value (H_Hst) of the hue histogram and the reliability, and FIG. 9B is a diagram showing the relationship between the edge amount (E_itg) and the reliability. .
図９において、縦軸の信頼度は最大値を１とするスコアであり、横軸はそれぞれ色相ヒストグラムのピーク値（Ｈ＿Ｈｓｔ）およびエッジ量（Ｅ＿ｉｔｇ）を示す。図９に示すように、色相のピーク値が所定の範囲であるとそのスコアが高くなり、エッジ量が高い程そのスコアが高くなることが分かる。 In FIG. 9, the reliability on the vertical axis is a score with a maximum value of 1, and the horizontal axis indicates the peak value (H_Hst) and edge amount (E_itg) of the hue histogram, respectively. As shown in FIG. 9, it can be seen that the score increases when the hue peak value is within a predetermined range, and the score increases as the edge amount increases.
領域判別部１４０は図９（Ａ）および図９（Ｂ）に示す関係に応じて、特徴量算出部１２０で求められた特徴量、つまり、Ｈ＿ＨｓｔおよびＥ＿ｉｔｇに応じてその信頼度ｄおよびｅを得る。そして、領域判別部１４０はこれら信頼度ｄおよびｅを乗算した乗算結果を最終的な信頼度とする。なお、上述の例は、ブロック領域が木領域に属するか否かを判別するための判別条件の一例であって、この例に限られるものではない。 The area discriminating unit 140 determines the reliability d and e according to the feature amount obtained by the feature amount calculating unit 120, that is, H_Hst and E_itg, in accordance with the relationship shown in FIG. 9 (A) and FIG. 9 (B). obtain. Then, the region discriminating unit 140 sets the multiplication result obtained by multiplying the reliability d and e as the final reliability. The above-described example is an example of a determination condition for determining whether or not a block region belongs to a tree region, and is not limited to this example.
領域判別部１４０は、ブロック領域においてそのエッジ量が所定のエッジ閾値よりも大きく（エッジ量大）、かつ色相が緑であるか否かを示す木領域判定条件を満足するか否かを判定する。木領域判定条件を満足すると、つまり、木領域の信頼度を満足すると（ステップＳ２３４において、ＹＥＳ）、領域判別部１４０は、当該ブロック領域が木領域に属すると判別する（ステップＳ２３５）。そして、領域判別部１３０はステップＳ２３１の処理に戻る。 The region discriminating unit 140 determines whether or not a block region satisfies a tree region determination condition indicating whether the edge amount is larger than a predetermined edge threshold (edge amount is large) and the hue is green. . If the tree area determination condition is satisfied, that is, if the reliability of the tree area is satisfied (YES in step S234), the area determination unit 140 determines that the block area belongs to the tree area (step S235). Then, the area determination unit 130 returns to the process of step S231.
なお、木領域の信頼度を満足しないと（ステップＳ２３４において、ＹＥＳ）、領域判別部１４０は、当該ブロック領域が木領域に属しないと判別して、ステップＳ２３１の処理に戻る。 If the reliability of the tree area is not satisfied (YES in step S234), area determination unit 140 determines that the block area does not belong to the tree area, and returns to the process of step S231.
図１０は、図１に示す領域判別部１４０による領域判別処理によって得られた画像の一例を示す図である。そして、図１０（Ａ）は図５（Ｂ）に示す画像３１０を領域判別処理した画像を示す図であり、図１０（Ｂ）は図５（Ｄ）に示す画像３３０を領域判別処理した画像を示す図である。 FIG. 10 is a diagram illustrating an example of an image obtained by the region determination processing by the region determination unit 140 illustrated in FIG. 10A shows an image obtained by subjecting the image 310 shown in FIG. 5B to region discrimination processing, and FIG. 10B shows an image obtained by subjecting the image 330 shown in FIG. 5D to region discrimination processing. FIG.
画像８００および８２０はそれぞれ分割画像３１０および３３０（つまり、画像３００および３２０）を領域判別処理した画像である。図１０において、斜線が施された領域８００ａおよび８２０ａは空領域、点が施された領域８００ｂおよび８２０ｂは木領域と判別された領域である。図示のように、画像３００については空領域および木領域が正しく判別されているのに対して、画像３２０においては、例えば水色の壁３２０ｃ又は緑色の額縁３２０ｅがそれぞれ空領域および木領域と判別されている。このように誤判別が生じるのは、壁および額縁が有する特徴量が空および木と類似していることが原因であると考えられる。 Images 800 and 820 are images obtained by subjecting the divided images 310 and 330 (that is, the images 300 and 320) to region determination processing, respectively. In FIG. 10, hatched areas 800a and 820a are empty areas, and dotted areas 800b and 820b are areas determined as tree areas. As illustrated, in the image 300, the sky region and the tree region are correctly determined, whereas in the image 320, for example, the light blue wall 320c or the green frame 320e is determined as the sky region and the tree region, respectively. ing. Such misclassification is considered to be caused by the fact that the feature values of the wall and the frame are similar to those of the sky and the tree.
再び図２を参照して、上述のようにして、領域判別処理を行った後、領域判別部１４０は撮影評価値（つまり、被写体測光値Ｂｖおよび推定色温度ＣＴｅｍｐ）に基づいて領域判別処理結果の変更処理を行う。 Referring to FIG. 2 again, after performing the region determination processing as described above, the region determination unit 140 performs the region determination processing result based on the photographing evaluation values (that is, the subject photometric value Bv and the estimated color temperature CTemp). Perform the change process.
図１１は、屋内および日中の屋外で撮影した複数枚の画像から求めた被写体測光値Ｂｖと推定色温度ＣＴｅｍｐとの関係を示す図である。 FIG. 11 is a diagram showing the relationship between the subject photometric value Bv obtained from a plurality of images taken indoors and outdoors during the day and the estimated color temperature CTemp.
図１１において、横軸は被写体測光値Ｂｖを示し、縦軸は推定色温度ＣＴｅｍｐを示す。図示のように、統計的に屋内で撮影された画像は被写体測光値Ｂｖが低くさらに推定色温度ＣＴｅｍｐも低いことが分かる。つまり、被写体測光値Ｂｖが所定の測光閾値よりも低く、かつ推定色温度ＣＴｅｍｐが所定の色温度閾値よりも低い場合には、撮影シーンが日中の明るい屋外であるよりも室内又は夜である可能性が高い。 In FIG. 11, the horizontal axis indicates the subject photometric value Bv, and the vertical axis indicates the estimated color temperature CTemp. As shown in the figure, it is understood that an image photographed indoors statistically has a low subject photometric value Bv and a low estimated color temperature CTemp. In other words, when the subject photometric value Bv is lower than the predetermined photometric threshold and the estimated color temperature CTemp is lower than the predetermined color temperature threshold, the shooting scene is indoor or night rather than a bright outdoor daytime. Probability is high.
そこで、領域判別部１４０は領域判別処理結果についてそのブロック領域毎に被写体測光値が所定の測光閾値よりも低く（被写体測光値低）、かつ推定色温度が所定の色温度閾値よりも低いか（色温度低）否かを判定する（ステップＳ２４０）。 Therefore, the area discriminating unit 140 determines whether the subject photometric value is lower than a predetermined photometric threshold value (subject photometric value is low) and the estimated color temperature is lower than a predetermined color temperature threshold value for each block area in the area discrimination processing result ( It is determined whether or not the color temperature is low (step S240).
ブロック領域において被写体測光値が低であり、かつ推定色温度が低であると（ステップＳ２４０において、ＹＥＳ）、領域判別部１４０は当該ブロック領域について空領域および木領域であるとする信頼度を低下させる処理を行う（ステップＳ２５０）。つまり、領域判別部１４０は被写体測光値が小さい程、そして、色温度が小さい程、領域判別処理結果において空領域又は木領域であると判別されたブロック領域について信頼度を低く設定する処理を行う。 If the subject photometric value is low and the estimated color temperature is low in the block area (YES in step S240), the area determination unit 140 decreases the reliability that the block area is an empty area and a tree area. Is performed (step S250). That is, the area determination unit 140 performs a process of setting a lower reliability for a block area that is determined to be an empty area or a tree area in the area determination processing result as the subject photometric value is smaller and the color temperature is smaller. .
ここでは、被写体測光値が所定の測光閾値未満であり、かつ推定色温度が所定の色温度閾値未満であると（ステップＳ２４０において、ＹＥＳ）、領域判別部１４０は、ステップＳ２５０の処理に移行して空領域又は木領域であると判別されたブロック領域についてその信頼度を低く設定する。 Here, when the subject photometric value is less than the predetermined photometric threshold value and the estimated color temperature is less than the predetermined color temperature threshold value (YES in step S240), area determination unit 140 proceeds to the process of step S250. Thus, the reliability of the block area determined to be an empty area or a tree area is set low.
一方、被写体測光値が所定の測光閾値以上であるか又は推定色温度が所定の色温度閾値以上であると（ステップＳ２４０において、ＮＯ）、領域判別部１４０は領域判別処理結果を領域判別結果として出力して、画像における領域判別を終了する。 On the other hand, if the subject photometric value is equal to or greater than a predetermined photometric threshold value or the estimated color temperature is equal to or greater than a predetermined color temperature threshold value (NO in step S240), region determination unit 140 uses the region determination processing result as the region determination result. The region determination in the image is completed.
例えば、空領域又は木領域であると判別されたブロック領域について、領域判別部１４０は被写体測光値Ｂｖに応じた第１の信頼度係数αを求める。ここでは、被写体測光値Ｂｖが６以上であれば、領域判別部１４０は第１の信頼度係数α＝１とする。また、被写体測光値Ｂｖが４以下であれば、領域判別部１４０は第１の信頼度係数α＝０とする。そして、被写体測光値Ｂｖが上述の範囲以外であると、領域判別部１４０は第１の信頼度係数α＝（Ｂｖ−４）／２とする。 For example, for a block area determined to be an empty area or a tree area, the area determination unit 140 obtains a first reliability coefficient α corresponding to the subject photometric value Bv. Here, if the subject photometric value Bv is 6 or more, the area determination unit 140 sets the first reliability coefficient α = 1. If the subject photometric value Bv is 4 or less, the area determination unit 140 sets the first reliability coefficient α = 0. If the subject photometric value Bv is outside the above range, the area determination unit 140 sets the first reliability coefficient α = (Bv−4) / 2.
同様に、空領域又は木領域であると判別されたブロック領域について、領域判別部１４０は推定色温度ＣＴｅｍｐに応じた第２の信頼度係数βを求める。ここでは、推定色温度ＣＴｅｍｐが５０００以上であれば、領域判別部１４０は第２の信頼度係数β＝１とする。また、推定色温度ＣＴｅｍｐが３０００以下であれば、領域判別部１４０は第２の信頼度係数β＝０とする。そして、推定色温度ＣＴｅｍｐが上述の範囲以外であると、領域判別部１４０は第２の信頼度係数β＝（ＣＴｅｍｐ−３０００）／２０００とする。 Similarly, the area determination unit 140 calculates a second reliability coefficient β corresponding to the estimated color temperature CTemp for the block area determined to be an empty area or a tree area. Here, if the estimated color temperature CTemp is 5000 or more, the area determination unit 140 sets the second reliability coefficient β = 1. If the estimated color temperature CTemp is 3000 or less, the area determination unit 140 sets the second reliability coefficient β = 0. If the estimated color temperature CTemp is outside the above range, the area determination unit 140 sets the second reliability coefficient β = (CTemp−3000) / 2000.
続いて、ステップＳ２５０では、領域判別部１４０は、図７のステップＳ２３２において求めた空領域の信頼度に第１および第２の信頼度係数αおよびβを乗算して、空領域であると判別されたブロック領域に係る修正信頼度（修正空領域信頼度）を求める。同様にして、領域判別部１４０は、図７のステップＳ２３４において求めた木領域の信頼度に第１および第２の信頼度係数αおよびβを乗算して、木領域であると判別されたブロック領域に係る修正信頼度（修正木領域信頼度）を求める。 Subsequently, in step S250, the area determination unit 140 determines that the area is an empty area by multiplying the reliability of the empty area obtained in step S232 of FIG. 7 by the first and second reliability coefficients α and β. The correction reliability (corrected sky area reliability) related to the block area thus determined is obtained. Similarly, the area discriminating unit 140 multiplies the reliability of the tree area obtained in step S234 of FIG. 7 by the first and second reliability coefficients α and β, and determines the block determined to be a tree area The correction reliability (corrected tree area reliability) related to the area is obtained.
次に、領域判別部１４０は、修正空領域信頼度および修正木領域信頼度に基づいて、図７で説明した領域判別処理を再度行って、領域判別処理結果を得る。そして、領域判別部１４０は当該領域判別処理結果を領域判別結果として出力して、画像における領域判別を終了する。 Next, the area determination unit 140 performs the area determination process described with reference to FIG. 7 again based on the corrected sky area reliability and the corrected tree area reliability, and obtains an area determination process result. Then, the area determination unit 140 outputs the area determination processing result as the area determination result, and ends the area determination in the image.
ところで、図５（Ａ）に示す撮影画像３００を撮影した撮影シーンでは、その光源が晴天時における太陽光であるので、例えば、被写体測光値Ｂｖ＝１０、推定色温度ＣＴｅｍｐ＝７０００が得られる。この結果、第１の信頼度係数αと第２の信頼度係数βとを乗算した乗算結果＝１×１＝１となる。 By the way, in the photographic scene in which the photographic image 300 shown in FIG. 5A is photographed, the light source is sunlight in fine weather, so that, for example, subject photometric value Bv = 10 and estimated color temperature CTemp = 7000 are obtained. As a result, a multiplication result obtained by multiplying the first reliability coefficient α and the second reliability coefficient β is 1 × 1 = 1.
一方、図５（Ｃ）に示す撮影画像３２０を撮影した撮影シーンでは、その光源が室内の蛍光灯であるので、被写体測光値Ｂｖ＝４．５、推定色温度ＣＴｅｍｐ＝３０００が得られる。この結果、第１の信頼度係数αと第２の信頼度係数βとを乗算した乗算結果＝０．２５×０＝０となる。よって、撮影画像３２０においては、修正空領域信頼度および修正木領域信頼度ともに０となって、空領域又は木領域と判別されたブロック領域は空領域又は木領域に属しないと判別されることになる。 On the other hand, in the shooting scene in which the shot image 320 shown in FIG. 5C is shot, the light source is a fluorescent lamp in the room, so that the subject photometric value Bv = 4.5 and the estimated color temperature CTemp = 3000 are obtained. As a result, the multiplication result of multiplying the first reliability coefficient α and the second reliability coefficient β is 0.25 × 0 = 0. Therefore, in the photographed image 320, both the modified sky region reliability and the modified tree region reliability are 0, and it is determined that the block region determined as the empty region or the tree region does not belong to the empty region or the tree region. become.
このように、本発明の実施の形態では、検出すべき特定の被写体領域と類似する特徴量を有する別の被写体領域が画像に存在する場合においても、撮影の際に取得した撮影評価値を用いて信頼度を修正して領域判別を行うようにしたので、特定の被写体領域の誤判別を抑えることができる。 As described above, in the embodiment of the present invention, the shooting evaluation value acquired at the time of shooting is used even when another subject region having a feature amount similar to the specific subject region to be detected exists in the image. Thus, since the reliability is corrected and the region is determined, erroneous determination of a specific subject region can be suppressed.
上述の実施の形態では、撮影の際の撮影シーンを評価する撮影評価値を撮影画像に応じて算出するハードウェアを備えているが、例えば、Ｅｘｉｆ情報に記録された絞り値Ａｖ値およびシャッタースピード値Ｔｖなどに基づいてソフトウェアによって撮影評価値を算出するようにしてもよい。 In the above-described embodiment, the hardware for calculating the shooting evaluation value for evaluating the shooting scene at the time of shooting according to the shot image is provided. For example, the aperture value Av value and the shutter speed recorded in the Exif information are provided. The photographing evaluation value may be calculated by software based on the value Tv and the like.
さらに、上述の実施の形態では、入力画像（撮影画像）を同一のサイズのブロック領域に分割して当該ブロック領域毎に領域判別を行うようにしたが、撮影画像からエッジを抽出して、当該エッジに基づいて領域分割を行って領域判別を行うとようにしてもよい。これによって、エッジをあまり含まない所謂平坦な画像においては分割領域の数が少なくなって、領域判別に要する処理時間を短縮することができる。 Furthermore, in the above-described embodiment, the input image (captured image) is divided into block regions of the same size and the region is determined for each block region. The region may be determined by dividing the region based on the edge. As a result, in a so-called flat image that does not include many edges, the number of divided regions is reduced, and the processing time required for region determination can be shortened.
また、上述の実施の形態では、撮影評価値に応じて一つの画像に対して一律に信頼度係数を適用するようにしたが、撮影評価値に応じて分割領域毎に信頼度を算出して、判別結果に反映させるようにしてもよい。 In the above-described embodiment, the reliability coefficient is uniformly applied to one image according to the shooting evaluation value. However, the reliability is calculated for each divided region according to the shooting evaluation value. Alternatively, it may be reflected in the determination result.
図１２は、図１に示す評価値取得部１００で求められる撮影評価値の他の例を説明するための図である。そして、図１２（Ａ）は図１に示す画像取得部１１０が取得した撮影画像１０００の一例を示す図であり、図１２（Ｂ）は分割領域毎の撮影評価値を示す図である。 FIG. 12 is a diagram for explaining another example of the imaging evaluation value obtained by the evaluation value acquisition unit 100 shown in FIG. 12A is a diagram illustrating an example of the captured image 1000 acquired by the image acquisition unit 110 illustrated in FIG. 1, and FIG. 12B is a diagram illustrating the captured evaluation value for each divided region.
いま、画像取得部１１０が図１２（Ａ）に示す画像１０００を取得したとする。図示の画像１０００には窓を介して空（空領域）１００１が存在し、さらに照明１００２とすりガラスを介して空１００２が存在する。 Now, assume that the image acquisition unit 110 acquires the image 1000 shown in FIG. The illustrated image 1000 includes a sky (empty region) 1001 through a window, and further includes a sky 1002 through an illumination 1002 and ground glass.
この場合、画像分割部１２０は、画像取得部１１０で取得された画像１０００を複数のブロック領域に分割する。ここでは、上述の露出値の算出および白サーチ処理を行うため、図２に示すステップＳ２１０で行う分割サイズよりもそのサイズが大きいブロック領域に分割することが望ましい（例えば６×４個）。 In this case, the image dividing unit 120 divides the image 1000 acquired by the image acquiring unit 110 into a plurality of block areas. Here, in order to perform the above-described exposure value calculation and white search processing, it is desirable to divide into block areas whose size is larger than the division size performed in step S210 shown in FIG. 2 (for example, 6 × 4).
評価値取得部１００は、図３に示すステップＳ２０２で説明した露出値Ｅｖをブック領域毎に求めて被写体測光値Ｂｖを算出する。さらに、評価値取得部１００はステップＳ２０１で説明した白サーチ処理をブロック領域毎に行って推定色温度ＣＴｅｍｐを算出する。そして、画像分割部１２０は撮影評価値が類似する隣接ブロック領域が存在すると、これら類似のブロック領域を統合して、新たな分割領域（ブロック領域）とする。 The evaluation value acquisition unit 100 calculates the subject photometric value Bv by obtaining the exposure value Ev described in step S202 shown in FIG. 3 for each book area. Further, the evaluation value acquisition unit 100 calculates the estimated color temperature CTemp by performing the white search process described in step S201 for each block region. Then, if there are adjacent block areas having similar imaging evaluation values, the image dividing unit 120 integrates these similar block areas into a new divided area (block area).
これによって、評価値取得部１００は新たな分割領域毎に異なる撮影評価値を求めて、当該撮影評価値に応じた信頼度係数を得る。なお、図１には示されていないが、ここでは、画像分割部１２０から評価値取得部１００に新たな分割領域が送られることになる。 As a result, the evaluation value acquisition unit 100 obtains a different shooting evaluation value for each new divided region, and obtains a reliability coefficient corresponding to the shooting evaluation value. Although not shown in FIG. 1, a new divided area is sent from the image dividing unit 120 to the evaluation value acquiring unit 100 here.
上述のようにして、新たな分割領域毎に撮影評価値を求めると、ここでは、画像１０００は３×２個の分割領域に統合され、これら分割領域毎に撮影評価値１０１０が求められる（図１２（Ｂ）参照）。 As described above, when the shooting evaluation value is obtained for each new divided area, here, the image 1000 is integrated into 3 × 2 divided areas, and the shooting evaluation value 1010 is obtained for each of these divided areas (see FIG. 12 (B)).
図１３は、図１２（Ｂ）に示す撮影評価値１０１０を用いて画像１０００の領域判別を行った結果得られた画像１１００の一例を示す図である。 FIG. 13 is a diagram illustrating an example of an image 1100 obtained as a result of performing region discrimination of the image 1000 using the imaging evaluation value 1010 illustrated in FIG.
図示のように、領域判別結果を示す画像１１００では、画像右上部の領域（濃い斜線部）１１０１は被写体測光値Ｂｖ＝９でありかつ推定色温度ＣＴｅｍｐ＝６０００であるから信頼度が高い空領域１１０１と判別される。一方、画像左部の領域（薄い斜線部）１１０２は被写体測光値Ｂｖ＝５．５でありかつ推定色温度ＣＴｅｍｐ＝４０００であるから信頼度の低い空領域と判別される。 As shown in the figure, in the image 1100 showing the area discrimination result, the area (dark shaded area) 1101 in the upper right part of the image has the subject photometric value Bv = 9 and the estimated color temperature CTemp = 6000, and thus an empty area with high reliability. 1101 is determined. On the other hand, the region (light hatched portion) 1102 on the left side of the image is determined as an empty region with low reliability because the subject photometric value Bv = 5.5 and the estimated color temperature CTemp = 4000.
上述の説明から明らかなように、図１に示す例においては、評価値取得部１００が評価値取得手段として機能し、画像取得部１１０および画像分割部１２０が画像分割手段として機能する。さらに、特徴量算出部１３０が特徴量抽出手段として機能し、領域判別部１４０が領域判別手段として機能する。 As is clear from the above description, in the example shown in FIG. 1, the evaluation value acquisition unit 100 functions as an evaluation value acquisition unit, and the image acquisition unit 110 and the image division unit 120 function as an image division unit. Further, the feature amount calculation unit 130 functions as a feature amount extraction unit, and the region determination unit 140 functions as a region determination unit.
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the image processing apparatus. In addition, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the image processing apparatus. The control program is recorded on a computer-readable recording medium, for example.
上記の制御方法および制御プログラムの各々は、少なくとも評価値取得ステップ、画像分割ステップ、特徴量抽出ステップ、および領域判別ステップを有している。 Each of the above control method and control program has at least an evaluation value acquisition step, an image division step, a feature amount extraction step, and an area determination step.
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.
１００ 評価値取得部
１１０ 画像取得部
１２０ 画像分割部
１３０ 特徴量算出部
１４０ 領域判別部
DESCRIPTION OF SYMBOLS 100 Evaluation value acquisition part 110 Image acquisition part 120 Image division part 130 Feature-value calculation part 140 Area | region discrimination | determination part
Claims (8)
前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得手段と、
前記画像を複数のブロック領域に分割する画像分割手段と、
前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出手段と、
前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別する領域判別手段と、
を有することを特徴とする画像処理装置。 An image processing apparatus for discriminating the plurality of subjects as mutually different subject areas in an image obtained by photographing a plurality of subjects,
Evaluation value acquisition means for acquiring a shooting evaluation value indicating a shooting scene in which the image is shot based on the image;
Image dividing means for dividing the image into a plurality of block regions;
Feature quantity extraction means for extracting a feature quantity indicating the feature of each of the block regions;
Area discriminating means for discriminating whether each of the block areas belongs to the subject area based on the photographing evaluation value and the feature amount;
An image processing apparatus comprising:
前記領域判別手段には、前記輝度、前記色相、および前記エッジ量と前記被写体領域のいずれかであるかの信頼度との関係が規定された信頼度テーブルが予め設定されており、
前記領域判別手段は、前記特徴量に基づいて前記信頼度テーブルを参照して得られた前記信頼度に応じて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。 As the feature amount, brightness, hue, and edge amount in each of the block regions are used,
In the area discriminating means, a reliability table in which a relationship between the brightness, the hue, and the edge amount and the reliability of whether the subject area is defined is set in advance.
The area determination means determines whether each of the block areas belongs to the subject area according to the reliability obtained by referring to the reliability table based on the feature amount. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized in that:
前記領域判別手段は、前記被写体測光値および前記色温度に基づいて前記信頼度を修正することを特徴とする請求項４に記載の画像処理装置。 As the shooting evaluation value, a subject photometric value indicating the brightness of the subject and a color temperature indicated by the subject are used.
The image processing apparatus according to claim 4, wherein the area determination unit corrects the reliability based on the subject photometric value and the color temperature.
前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、
前記画像を複数のブロック領域に分割する画像分割ステップと、
前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、
前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別する領域判別ステップと、
を有することを特徴とする制御方法。 A control method of an image processing apparatus for determining the plurality of subjects as mutually different subject areas in an image obtained by photographing a plurality of subjects,
An evaluation value acquisition step for acquiring a shooting evaluation value indicating a shooting scene in which the image is shot based on the image;
An image dividing step of dividing the image into a plurality of block regions;
A feature amount extracting step of extracting a feature amount indicating the feature of each of the block regions;
An area determination step for determining whether each of the block areas belongs to the subject area based on the shooting evaluation value and the feature amount;
A control method characterized by comprising:
前記画像処理装置が備えるコンピュータに、
前記画像に基づいて当該画像を撮影した撮影シーンを示す撮影評価値を取得する評価値取得ステップと、
前記画像を複数のブロック領域に分割する画像分割ステップと、
前記ブロック領域の各々についてその特徴を示す特徴量を抽出する特徴量抽出ステップと、
前記撮影評価値および前記特徴量に基づいて前記ブロック領域の各々が前記被写体領域のいずれに属するか否かを判別する領域判別ステップと、
を実行させることを特徴とする制御プログラム。 A control program used in an image processing apparatus for discriminating the plurality of subjects as mutually different subject areas in an image obtained by photographing a plurality of subjects,
In the computer provided in the image processing apparatus,
An evaluation value acquisition step for acquiring a shooting evaluation value indicating a shooting scene in which the image is shot based on the image;
An image dividing step of dividing the image into a plurality of block regions;
A feature amount extracting step of extracting a feature amount indicating the feature of each of the block regions;
An area determination step for determining whether each of the block areas belongs to the subject area based on the shooting evaluation value and the feature amount;
A control program characterized by causing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013051878A JP6188360B2 (en) | 2013-03-14 | 2013-03-14 | Image processing apparatus, control method thereof, control program, and discrimination apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013051878A JP6188360B2 (en) | 2013-03-14 | 2013-03-14 | Image processing apparatus, control method thereof, control program, and discrimination apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014179755A true JP2014179755A (en) | 2014-09-25 |
| JP6188360B2 JP6188360B2 (en) | 2017-08-30 |
Family
ID=51699292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013051878A Expired - Fee Related JP6188360B2 (en) | 2013-03-14 | 2013-03-14 | Image processing apparatus, control method thereof, control program, and discrimination apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6188360B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017005389A (en) * | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | Image recognition device, image recognition method, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001330882A (en) * | 2000-05-24 | 2001-11-30 | Canon Inc | Camera with subject recognizing function |
| JP2013042206A (en) * | 2011-08-11 | 2013-02-28 | Canon Inc | Imaging apparatus, control method therefor, and control program |
-
2013
- 2013-03-14 JP JP2013051878A patent/JP6188360B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001330882A (en) * | 2000-05-24 | 2001-11-30 | Canon Inc | Camera with subject recognizing function |
| JP2013042206A (en) * | 2011-08-11 | 2013-02-28 | Canon Inc | Imaging apparatus, control method therefor, and control program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017005389A (en) * | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | Image recognition device, image recognition method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6188360B2 (en) | 2017-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107241559B (en) | Portrait photographing method and device and camera equipment | |
| KR101906316B1 (en) | Image processing device that performs white balance control, method of controlling the same, and image pickup apparatus | |
| EP2775719B1 (en) | Image processing device, image pickup apparatus, and storage medium storing image processing program | |
| JP4217698B2 (en) | Imaging apparatus and image processing method | |
| US20130343646A1 (en) | Image processing apparatus and control method thereof | |
| JP2008042617A (en) | Digital camera | |
| JP2015032966A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| JP2006333205A (en) | Imaging apparatus, image processing method and image processing program | |
| US10863103B2 (en) | Setting apparatus, setting method, and storage medium | |
| JP2002150287A (en) | Image detector, image detection method, digital camera and printer | |
| JP4726251B2 (en) | Imaging apparatus and image processing method | |
| JP2015192338A (en) | Image processing device and image processing program | |
| JP6188360B2 (en) | Image processing apparatus, control method thereof, control program, and discrimination apparatus | |
| JP7455656B2 (en) | Image processing device, image processing method, and program | |
| JP2007243542A (en) | Imaging apparatus, image processing apparatus, image processing method, and image processing program | |
| CN109447925B (en) | Image processing method and device, storage medium and electronic equipment | |
| JP6316006B2 (en) | SUBJECT SEARCH DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE | |
| JP6137856B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP2006042152A (en) | White balancer, imaging device, method for processing white balance and program | |
| JP2007288245A (en) | Imaging apparatus, image processing method, and image processing program | |
| JP2007312099A (en) | Image-taking device | |
| JP2007184887A (en) | Image pickup device, image processor, image processing method and image processing program | |
| JP2013132065A (en) | Imaging apparatus and flash control method | |
| JP5818571B2 (en) | Imaging device, control method thereof, and control program | |
| JP2007201679A (en) | Imaging apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170123 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170606 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6188360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |