JP2015198388A - Image processing system, control method of the same, and control program - Google Patents

Image processing system, control method of the same, and control program Download PDF

Info

Publication number
JP2015198388A
JP2015198388A JP2014076171A JP2014076171A JP2015198388A JP 2015198388 A JP2015198388 A JP 2015198388A JP 2014076171 A JP2014076171 A JP 2014076171A JP 2014076171 A JP2014076171 A JP 2014076171A JP 2015198388 A JP2015198388 A JP 2015198388A
Authority
JP
Japan
Prior art keywords
area
trimming
region
image processing
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014076171A
Other languages
Japanese (ja)
Other versions
JP2015198388A5 (en
JP6320130B2 (en
Inventor
裕佑 田村
Yusuke Tamura
裕佑 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014076171A priority Critical patent/JP6320130B2/en
Publication of JP2015198388A publication Critical patent/JP2015198388A/en
Publication of JP2015198388A5 publication Critical patent/JP2015198388A5/ja
Application granted granted Critical
Publication of JP6320130B2 publication Critical patent/JP6320130B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

PROBLEM TO BE SOLVED: To suppress monotonousness of a trimming image when the trimming image is generated from a photographic image.SOLUTION: In the case of trimming by extracting a trimming area out of an image obtained as a result of photographing, a characteristic area extraction unit 103 detects an area characteristic in an image as a characteristic area, and a trimming area extraction result output unit 107 outputs as the trimming area an area which includes at least a portion of the characteristic area and in which a result of evaluation corresponding to a feature amount included in the area satisfies a predetermined condition.

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、撮影の結果得られた画像に応じてトリミング画像を生成する画像処理装置に関する。   The present invention relates to an image processing apparatus, a control method thereof, and a control program, and more particularly to an image processing apparatus that generates a trimmed image according to an image obtained as a result of photographing.

一般に、画像処理装置の一つであるデジタルカメラなどの撮像装置において、撮影の結果得られた画像(撮影画像)から特定の領域を抽出して、当該抽出した領域に基づいて撮影画像からトリミング画像を生成するようにしたものがある。   In general, in an imaging apparatus such as a digital camera which is one of image processing apparatuses, a specific area is extracted from an image (captured image) obtained as a result of shooting, and a trimmed image is extracted from the captured image based on the extracted area. There is something that was made to generate.

例えば、撮影画像から注目する被写体を特定の領域として抽出し、当該被写体領域を含む複数のトリミング枠を抽出するようにしたものがある(特許文献1参照)。そして、ここでは、複数のトリミング枠に基づいて、撮影画像から複数のトリミング画像を生成するようにしている。   For example, there is a technique in which a subject of interest is extracted from a captured image as a specific area, and a plurality of trimming frames including the subject area are extracted (see Patent Document 1). Here, a plurality of trimmed images are generated from the captured image based on the plurality of trimming frames.

さらに、撮影画像から主要被写体の位置を検出し、当該主要被写体の位置が所定の位置になるようにトリミング領域を決定するようにしたものがある(特許文献2参照)。ここでは、トリミング領域についてトリミング処理を行って、撮影画像からトリミング画像を生成するようにしている。   Further, there is a technique in which a position of a main subject is detected from a photographed image, and a trimming area is determined so that the position of the main subject becomes a predetermined position (see Patent Document 2). Here, a trimming process is performed on the trimming area to generate a trimmed image from the captured image.

特開2011−211629号公報JP 2011-2111629 A 特開2010−103972号公報JP 2010-103972 A

ところで、上述の特許文献1および特許文献2に記載の手法では、トリミング画像を生成する際、トリミング画像が単調となることがある。   By the way, in the methods described in Patent Document 1 and Patent Document 2 described above, when a trimmed image is generated, the trimmed image may be monotonous.

従って、本発明の目的は、撮影画像からトリミング画像を生成する際、当該トリミング画像が単調な画像となることを抑止することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。   Accordingly, an object of the present invention is to provide an image processing apparatus, a control method thereof, and a control program capable of preventing the trimmed image from becoming a monotonous image when generating a trimmed image from a captured image. is there.

上記の目的を達成するため、本発明による画像処理装置は、撮影の結果得られた画像からトリミング領域を抽出してトリミング処理を行う画像処理装置であって、前記画像において特徴的な領域を特徴領域として検出する検出手段と、前記特徴領域の少なくとも一部を含む領域であり、かつ、該領域に含まれる特徴量に応じた評価結果が予め定められた条件を満たす領域を、トリミング領域として出力する出力手段と、を有することを特徴とする。   In order to achieve the above object, an image processing apparatus according to the present invention is an image processing apparatus that extracts a trimming region from an image obtained as a result of photographing and performs a trimming process, and features a characteristic region in the image. A detection means for detecting as an area, and an area including at least a part of the feature area, and an area that satisfies a predetermined evaluation result according to a feature amount included in the area is output as a trimming area Output means.

本発明による制御方法は、撮影の結果得られた画像からトリミング領域を抽出してトリミング処理を行う画像処理装置の制御方法であって、前記画像において特徴的な領域を特徴領域として検出する検出ステップと、前記特徴領域の少なくとも一部を含む領域であり、かつ、該領域に含まれる特徴量に応じた評価結果が予め定められた条件を満たす領域を、トリミング領域として出力する出力ステップと、を有することを特徴とする。   The control method according to the present invention is a control method for an image processing apparatus that performs a trimming process by extracting a trimming area from an image obtained as a result of photographing, and detecting a characteristic area as a characteristic area in the image And an output step of outputting, as a trimming region, a region that includes at least a part of the feature region and that satisfies an evaluation result according to a feature amount included in the region that satisfies a predetermined condition. It is characterized by having.

本発明による制御プログラムは、撮影の結果得られた画像からトリミング領域を抽出してトリミング処理を行う画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像において特徴的な領域を特徴領域として検出する検出ステップと、前記特徴領域の少なくとも一部を含む領域であり、かつ、該領域に含まれる特徴量に応じた評価結果が予め定められた条件を満たす領域を、トリミング領域として出力する出力ステップと、を実行させることを特徴とする。   A control program according to the present invention is a control program used in an image processing apparatus that performs a trimming process by extracting a trimming region from an image obtained as a result of shooting, and is characterized in the image in a computer provided in the image processing apparatus. A detection step of detecting a specific region as a feature region, a region including at least a part of the feature region, and a region satisfying a predetermined condition for an evaluation result corresponding to a feature amount included in the region And an output step of outputting as a trimming region.

本発明によれば、画像において特徴的な領域である特徴領域の少なくとも一部を含む領域であって、かつ当該領域に含まれる特徴量に応じた評価結果が予め定められた条件を満たす領域を、トリミング領域として出力する。これによって、撮影画像からトリミング画像を生成する際、当該トリミング画像が単調な画像となることを抑止することができる。   According to the present invention, an area that includes at least a part of a characteristic area that is a characteristic area in an image and that satisfies an evaluation result corresponding to a feature amount included in the area satisfies a predetermined condition. And output as a trimming area. Thus, when generating a trimmed image from a captured image, the trimmed image can be prevented from becoming a monotonous image.

本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。It is a block diagram which shows the structure about an example of the image processing apparatus by embodiment of this invention. 図1に示す特徴領域抽出部で行われる特徴領域候補の抽出処理を説明するためのフローチャートである。It is a flowchart for demonstrating the extraction process of the feature area candidate performed in the feature area extraction part shown in FIG. 図1に示す特徴領域抽出部で行われる領域分割を説明するための図であり、(a)は色相ヒストグラムの一例を示す図、(b)は領域分割の一例を示す図である。2A and 2B are diagrams for describing region division performed by a feature region extraction unit illustrated in FIG. 1, in which FIG. 1A illustrates an example of a hue histogram, and FIG. 2B illustrates an example of region division; 図1に示す特徴領域抽出部で行われる特徴評価値の算出処理を説明するためのフローチャートである。It is a flowchart for demonstrating the calculation process of the feature evaluation value performed in the feature area extraction part shown in FIG. 図1に示すトリミング領域候補抽出部でおいて主被写体領域の位置をパラメータとするトリミング領域候補の抽出を説明するための図である。FIG. 6 is a diagram for explaining extraction of a trimming region candidate using a position of a main subject region as a parameter in the trimming region candidate extraction unit shown in FIG. 1. 図1に示すトリミング領域候補抽出部でおいて主要被写体領域の含有率をパラメータとするトリミング領域候補の設定を説明するための図である。FIG. 6 is a diagram for explaining setting of trimming area candidates using a content rate of a main subject area as a parameter in the trimming area candidate extraction unit shown in FIG. 1. 図1に示すトリミング領域候補抽出部でおいてトリミングサイズをパラメータとするトリミング領域候補の設定を説明するための図である。FIG. 6 is a diagram for explaining setting of trimming region candidates using a trimming size as a parameter in the trimming region candidate extraction unit illustrated in FIG. 1. 図1に示すトリミング領域評価部で行われるトリミング領域候補の特徴量に応じた評価値の算出を説明するためのフローチャートである。6 is a flowchart for explaining calculation of an evaluation value according to a feature amount of a trimming region candidate performed by a trimming region evaluation unit illustrated in FIG. 1. 図1に示すトリミング領域評価部で行われる分布幅の算出を説明するための図であり、(a)はその一例を示す図、(b)は他の例を示す図である。2A and 2B are diagrams for explaining calculation of a distribution width performed by a trimming area evaluation unit illustrated in FIG. 1, in which FIG. 1A is a diagram illustrating an example thereof, and FIG. 2B is a diagram illustrating another example. 図1に示すトリミング領域評価部で用いられる主要被写体領域の含有率と評価値との関係の一例を示す図である。It is a figure which shows an example of the relationship between the content rate of the main subject area | region used by the trimming area | region evaluation part shown in FIG. 1, and an evaluation value.

以下に、本発明の実施の形態による画像処理装置の一例について、図面を参照して説明する。   Hereinafter, an example of an image processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.

<画像処理装置の構成>
図1は、本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。
<Configuration of image processing apparatus>
FIG. 1 is a block diagram showing the configuration of an example of an image processing apparatus according to an embodiment of the present invention.

図示の画像処理装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)などの撮像装置に備えられているが、撮像装置に限らず、パーソナルコンピュータ(PC)などの情報処理装置が画像処理装置であってもよい。   The illustrated image processing apparatus is provided in an imaging apparatus such as a digital camera (hereinafter simply referred to as a camera), but is not limited to the imaging apparatus, and an information processing apparatus such as a personal computer (PC) is an image processing apparatus. There may be.

図示の画像処理装置は、撮影の結果得られた画像(以下撮影画像と呼ぶ)においてトリミング領域を抽出して、当該トリミング領域に基づいて撮影画像についてトリミング処理を行う。   The illustrated image processing apparatus extracts a trimming region from an image obtained as a result of photographing (hereinafter referred to as a photographed image), and performs a trimming process on the photographed image based on the trimming region.

画像処理装置は、画像信号入力部101を有しており、画像信号入力部101からデジタル画像信号を入力する。ここでは、カメラにおいて、レンズなどで構成される光学部(図示せず)を介してCCDなどの撮像素子(図示せず)が光学像を受ける。そして、撮像素子は光学像に応じたアナログ画像信号を出力する。A/D変換部(図示せず)は、撮像素子の出力であるアナログ画像信号に対してサンプリング、ゲイン調整、A/D変換処理を行ってデジタル画像信号を撮影画像として出力する。   The image processing apparatus has an image signal input unit 101 and inputs a digital image signal from the image signal input unit 101. Here, in the camera, an image sensor (not shown) such as a CCD receives an optical image via an optical unit (not shown) constituted by a lens or the like. Then, the image sensor outputs an analog image signal corresponding to the optical image. An A / D converter (not shown) performs sampling, gain adjustment, and A / D conversion processing on an analog image signal that is an output of the image sensor, and outputs a digital image signal as a captured image.

画像処理部102は、画像信号入力部101から入力されたデジタル画像信号に対して各種の画像処理を行って、処理済みデジタル画像信号として出力する。例えば、画像処理部102はデジタル画像信号をYUV画像信号に変換する。   The image processing unit 102 performs various types of image processing on the digital image signal input from the image signal input unit 101 and outputs the processed digital image signal. For example, the image processing unit 102 converts a digital image signal into a YUV image signal.

特徴領域抽出部103は、YUV画像信号(つまり、画像)において、複数の画素で構成されるブロックがその特徴によって連結された連結領域を特徴領域として抽出する。例えば、特徴領域抽出部103は、画像を色毎にブロックに分割して、同一色の隣接するブロックを同一色グループとしてグルーピングする。そして、特徴領域抽出部103は、同一色グループにおいてその特徴量に基づいて特徴領域を抽出する。   The feature region extraction unit 103 extracts, as a feature region, a connected region in which blocks composed of a plurality of pixels are connected by their features in a YUV image signal (that is, an image). For example, the feature region extraction unit 103 divides the image into blocks for each color, and groups adjacent blocks of the same color as the same color group. Then, the feature region extraction unit 103 extracts a feature region based on the feature amount in the same color group.

トリミング領域候補抽出部104は特徴領域の少なくとも一部を含む枠をトリミング領域候補として抽出する。トリミング領域評価部105は、トリミング領域候補抽出部104によって抽出されたトリミング領域候補について、特徴量に基づいて好適度を示す評価値(評価結果)を算出する。   The trimming region candidate extraction unit 104 extracts a frame including at least a part of the feature region as a trimming region candidate. The trimming region evaluation unit 105 calculates an evaluation value (evaluation result) indicating a degree of suitability for the trimming region candidate extracted by the trimming region candidate extraction unit 104 based on the feature amount.

好適度を示す評価値を算出する際には、トリミング領域評価部105は、少なくともトリミング領域候補における特徴量である輝度ヒストグラムに基づいて評価値(評価結果)を算出する。例えば、トリミング領域評価部105は、輝度ヒストグラムにおいて輝度分布が広い程、評価値を高くする。この際には、トリミング領域評価部105は、例えば、所定の閾値以上の頻度となる区間の幅を求めて、当該幅が大きい程、評価値を高くする。   When calculating the evaluation value indicating the degree of suitability, the trimming region evaluation unit 105 calculates an evaluation value (evaluation result) based on at least a luminance histogram that is a feature amount in the trimming region candidate. For example, the trimming region evaluation unit 105 increases the evaluation value as the luminance distribution is wider in the luminance histogram. At this time, for example, the trimming region evaluation unit 105 obtains the width of a section having a frequency equal to or higher than a predetermined threshold, and increases the evaluation value as the width is larger.

トリミング領域抽出部106は、前述の好適度を示す評価値に基づいて、トリミング領域候補抽出部104によって抽出されたトリミング領域候補からトリミング領域を決定して当該トリミング領域を抽出する。トリミング領域は、トリミング領域評価部105で算出された評価値が所定の条件を満たす領域(例えば、評価値が最も高い領域)である。トリミング領域抽出結果出力部107は、トリミング領域抽出部106によって出出されたトリミング領域をトリミング領域抽出結果として出力する。   The trimming area extraction unit 106 determines a trimming area from the trimming area candidates extracted by the trimming area candidate extraction unit 104 based on the evaluation value indicating the above-described degree of preference, and extracts the trimming area. The trimming area is an area where the evaluation value calculated by the trimming area evaluation unit 105 satisfies a predetermined condition (for example, an area having the highest evaluation value). The trimming area extraction result output unit 107 outputs the trimming area output by the trimming area extraction unit 106 as a trimming area extraction result.

<特徴領域候補抽出処理>
図2は、図1に示す特徴領域抽出部103で行われる特徴領域候補の抽出処理を説明するためのフローチャートである。なお、ここでは、画像を複数のブロックに分割して、その特徴量が類似する隣接ブロックを同一色グループにグルーピングして、同一色グループにおいて特徴領域候補を抽出する場合について説明する。
<Feature area candidate extraction processing>
FIG. 2 is a flowchart for explaining feature region candidate extraction processing performed by the feature region extraction unit 103 shown in FIG. Here, a case will be described in which an image is divided into a plurality of blocks, adjacent blocks having similar feature amounts are grouped into the same color group, and feature region candidates are extracted in the same color group.

特徴領域抽出部103は、画像処理部102の出力であるYUV画像信号(以下単に画像と呼ぶ)を予め設定された複数のブロックに分割する(ステップS201)。ここでは、例えば、特徴領域抽出部103は、画像を横方向に20分割、縦方向に15分割の計300のブロックに分割する。   The feature region extraction unit 103 divides the YUV image signal (hereinafter simply referred to as an image), which is the output of the image processing unit 102, into a plurality of preset blocks (step S201). Here, for example, the feature region extraction unit 103 divides the image into a total of 300 blocks of 20 divided in the horizontal direction and 15 divided in the vertical direction.

続いて、特徴領域抽出部103は、ブロックの各々において画素における色相の平均値を算出して、当該平均値をブロックの代表値とするステップS203)。そして、特徴領域抽出部103はブロックの代表値を要素とする色相ヒストグラムを作成する(ステップS203)。この際、特徴領域抽出部103は彩度が所定の閾値以上のブロックのみを用いて色相ヒストグラムを作成する。つまり、特徴領域抽出部103は、彩度の低いブロックは色相の信頼性が低いとして、彩度の低いブロックを色相ヒストグラムの作成から除外する。   Subsequently, the feature region extraction unit 103 calculates the average value of the hues of the pixels in each block, and sets the average value as the representative value of the block (step S203). Then, the feature region extraction unit 103 creates a hue histogram having the block representative values as elements (step S203). At this time, the feature region extraction unit 103 creates a hue histogram using only blocks whose saturation is equal to or greater than a predetermined threshold. That is, the feature region extraction unit 103 excludes blocks with low saturation from the creation of the hue histogram, assuming that blocks with low saturation have low hue reliability.

次に、特徴領域抽出部103は、色相ヒストグラムに応じて同一色の領域毎にブロックをグルーピングして画像を領域分割する(ステップS204)。   Next, the feature region extraction unit 103 groups the blocks for each region of the same color according to the hue histogram, and divides the image into regions (step S204).

図3は、図1に示す特徴領域抽出部103で行われる領域分割を説明するための図である。そして、図3(a)は色相ヒストグラムの一例を示す図であり、図3(b)は領域分割の一例を示す図である。   FIG. 3 is a diagram for explaining region division performed by the feature region extraction unit 103 shown in FIG. 1. FIG. 3A is a diagram illustrating an example of a hue histogram, and FIG. 3B is a diagram illustrating an example of region division.

図3(a)において、画像の領域分割を行う際には、特徴領域抽出部103は色相ヒストグラムの全区間を走査して、最も高い山(つまり、頻度が最も多い色相)Highest Peak1を検出する。次に、特徴領域抽出部103は、Highest Peak1から、左右両側に向かって走査を行って、頻度が所定の第1の閾値以下となるか又はHighest Peak1からの区間距離が所定の範囲閾値TH_HueRangeに達するまでの区間を同一領域範囲とする。そして、特徴領域抽出部103はその代表値が同一領域範囲に含まれるブロックを同一色領域としてグルーピングし、当該同一色領域をグルーピング処理済み区間として内蔵するメモリに記録する。   In FIG. 3A, when performing image region division, the feature region extraction unit 103 scans all sections of the hue histogram to detect the highest peak (that is, the hue with the highest frequency) High Peak 1. . Next, the feature region extraction unit 103 scans from the Highest Peak 1 toward the left and right sides, and the frequency falls below a predetermined first threshold or the section distance from the Highest Peak 1 becomes a predetermined range threshold TH_HueRange. The section to reach is the same area range. Then, the feature area extraction unit 103 groups blocks whose representative values are included in the same area range as the same color area, and records the same color area in a built-in memory as a grouping processed section.

続いて、図3(b)に示すように、特徴領域抽出部103は、グルーピング処理済み区間を除いて、色相ヒストグラムの残りの区間を再び走査して、残りの区間で最も高い山Highest Peak2を検出する。そして、特徴領域103は、前述のようにして、Highest Peak2から両側に向かって走査を行って同一色領域を得る。この際、Highest Peak2からから谷の方向に向かって走査して、その頻度が第1の閾値以下となる区間となる前にグルーピング処理済み区間となると、特徴領域抽出部103は、グルーピング処理済み区間となるまでの区間を同一色領域とする。   Subsequently, as illustrated in FIG. 3B, the feature region extraction unit 103 scans the remaining sections of the hue histogram again except for the grouping-processed sections, and obtains the highest peak High Peak 2 in the remaining sections. To detect. Then, the characteristic area 103 is scanned from the Highest Peak 2 toward both sides as described above to obtain the same color area. At this time, if scanning is performed from Highest Peak 2 toward the valley and the grouping process is completed before the frequency is equal to or less than the first threshold, the feature region extraction unit 103 determines that the grouping process is performed. The section up to becomes the same color area.

上述のグルーピング処理は、色ヒストグラムの全区間がグルーピング処理済み区間とされるまで繰り返される。この処理によって、各ブロックを同一色領域毎にグルーピングすることができる。そして、特徴領域抽出部103は全ブロックを走査して、隣接していない同一色領域を別グループとするラベリング処理を行う。これによって、特徴領域抽出部103は、同一色領域となったが、隣接していない(つまり、離れている)ブロックを、別の領域として認識する。   The above-described grouping process is repeated until all the sections of the color histogram are grouped. By this processing, each block can be grouped for each same color area. Then, the feature region extraction unit 103 scans all blocks and performs a labeling process in which the same color regions that are not adjacent to each other are grouped together. As a result, the feature region extraction unit 103 recognizes blocks that are the same color region but are not adjacent (that is, separated) as different regions.

再び図2を参照して、特徴領域抽出部103は、ステップS204による領域分割で得られた同一色領域において画像が示す画面の端に接触する同一色領域を背景領域とする(ステップS205)。そして、特徴領域抽出部103は、ステップS204で得られた同一色領域から背景領域を除外した残りの同一色領域を特徴領域候補として抽出して(ステップS206)、特徴領域候補抽出処理を終了する。   Referring to FIG. 2 again, the feature area extraction unit 103 sets the same color area in contact with the edge of the screen indicated by the image in the same color area obtained by area division in step S204 as a background area (step S205). Then, the feature region extraction unit 103 extracts the remaining same color region excluding the background region from the same color region obtained in step S204 as a feature region candidate (step S206), and ends the feature region candidate extraction process. .

<特徴評価値の算出処理>
図4は、図1に示す特徴領域抽出部103で行われる特徴評価値の算出処理を説明するためのフローチャートである。ここでは、一例として、位置、面積、および形状に応じて特徴評価値を算出する場合について説明する。
<Calculation process of feature evaluation value>
FIG. 4 is a flowchart for explaining the feature evaluation value calculation processing performed by the feature region extraction unit 103 shown in FIG. Here, as an example, a case where the feature evaluation value is calculated according to the position, area, and shape will be described.

まず、特徴領域抽出部103は、画像における特徴領域候補の位置、面積、および形状を示す候補領域情報を得る(ステップS301)。そして、特徴領域抽出部103は、候補領域情報に基づいて、位置および面積に応じた評価値を算出する(ステップS302)。ここでは、例えば、特徴領域抽出部103は、その位置が画面中心に近い程、位置による評価値(位置評価値)を高くし、面積が大きい程、面積による評価値(面積評価値)を高くする。   First, the feature region extraction unit 103 obtains candidate region information indicating the position, area, and shape of the feature region candidate in the image (step S301). Then, the feature region extraction unit 103 calculates an evaluation value corresponding to the position and area based on the candidate region information (step S302). Here, for example, the feature region extraction unit 103 increases the evaluation value (position evaluation value) based on the position as the position is closer to the center of the screen, and increases the evaluation value (area evaluation value) based on the area as the area increases. To do.

続いて、特徴領域抽出部103は、候補領域情報に基づいて、形状に応じた評価値(形状評価値)を算出する(ステップS303)。   Subsequently, the feature region extraction unit 103 calculates an evaluation value (shape evaluation value) corresponding to the shape based on the candidate region information (step S303).

ステップS303の処理では、まず、特徴領域抽出部103は特徴領域候補の重心と当該重心から最も遠い特徴領域候補上の点との距離(以下最遠点距離と呼ぶ)を求める。最遠点距離を算出する際には、特徴領域抽出部103は、特徴領域候補の外縁のいずれかのブロックを始点として、注目ブロックと重心との距離を算出する。そして、時計回りに特徴領域候補の外縁に位置するブロックを辿って一周して、最も長い距離を最遠点距離とする。   In the process of step S303, first, the feature region extraction unit 103 obtains the distance between the centroid of the feature region candidate and the point on the feature region candidate farthest from the centroid (hereinafter referred to as the farthest point distance). When calculating the farthest point distance, the feature region extraction unit 103 calculates the distance between the block of interest and the center of gravity, starting from any block on the outer edge of the feature region candidate. Then, it goes around the block located at the outer edge of the feature region candidate in the clockwise direction, and makes the longest distance the farthest point distance.

次に、特徴領域抽出部103は、特徴領域候補の重心を中心とし、最遠点距離を半径として描いた円の面積と候補領域情報が示す面積との比によって偏平度を求める。つまり、特徴領域抽出部103は、(最遠点距離×π)/(特徴領域候補の面積)によって扁平度を求める。偏平度は、特徴領域候補の形状が細長く偏平である程、その値が大きくなり、特徴領域候補の形状が円に近づく程、その値が小さくなる。そして、特徴領域抽出部103は偏平度に応じて形状による評価値(形状評価値)を算出する。例えば、特徴領域抽出部103は、偏平度が高い特徴領域候補ほど形状評価値を低くする。 Next, the feature region extraction unit 103 obtains the flatness based on the ratio of the area of the circle drawn with the center of gravity of the feature region candidate and the farthest point distance as the radius to the area indicated by the candidate region information. That is, the feature region extraction unit 103 obtains the flatness by (farthest point distance 2 × π) / (area of feature region candidate). The value of the flatness increases as the shape of the feature region candidate is elongated and flattened, and the value decreases as the shape of the feature region candidate approaches a circle. Then, the feature region extraction unit 103 calculates an evaluation value (shape evaluation value) based on the shape according to the flatness. For example, the feature region extraction unit 103 lowers the shape evaluation value as the feature region candidate has a higher flatness.

続いて、特徴領域抽出部103は、形状評価値に係る補正係数を求めて、当該補正係数によって形状評価値を補正する(ステップS304)。前述のように、サイズ比が小さい程、分割領域(つまり、ここでは特徴領域候補)の形状と実際の形状とに誤差が生じる。この形状の誤差によって、偏平度および偏平度による形状評価値には形状の誤差の度合いに応じた誤差を生じる。つまり、サイズ比が小さい領域程、本来の形状評価値よりも形状評価値が高くなる恐れがある。   Subsequently, the feature region extraction unit 103 obtains a correction coefficient related to the shape evaluation value, and corrects the shape evaluation value by the correction coefficient (step S304). As described above, as the size ratio is smaller, an error occurs between the shape of the divided region (that is, the feature region candidate here) and the actual shape. Due to the shape error, an error corresponding to the degree of the shape error is generated in the flatness and the shape evaluation value based on the flatness. That is, as the size ratio is smaller, the shape evaluation value may be higher than the original shape evaluation value.

そこで、特徴領域候補の各々について、そのサイズ比を求めて、特徴領域抽出部103はサイズ比に応じて形状による誤差を補正するための補正係数を求める。例えば、特徴領域抽出部103はサイズ比が小さい特徴領域候補ほど、その補正係数を小さくする。そして、特徴領域抽出部103は補正係数を形状評価値に乗算して、補正後の形状評価値を得る。これによって、サイズ比が小さい特徴領域候補の形状評価値が低くなって、形状の誤評価による誤検出を低減することができる。   Therefore, for each feature region candidate, the size ratio is obtained, and the feature region extraction unit 103 obtains a correction coefficient for correcting an error due to the shape according to the size ratio. For example, the feature region extraction unit 103 decreases the correction coefficient as the feature region candidate has a smaller size ratio. Then, the feature region extraction unit 103 multiplies the shape evaluation value by the correction coefficient to obtain a corrected shape evaluation value. As a result, the shape evaluation value of the feature region candidate having a small size ratio is lowered, and erroneous detection due to incorrect shape evaluation can be reduced.

続いて、特徴領域抽出部103は、位置評価値、面積評価値、および形状評価値を加算して特徴評価値を求める(ステップS305)。そして、特徴領域抽出部103は、特徴評価値が最も大きい特徴領域候補を特徴領域として抽出して、特徴評価値算出処理を終了する。なお、以下の説明では、特徴領域を主要被写体領域と呼ぶ。   Subsequently, the feature region extraction unit 103 obtains a feature evaluation value by adding the position evaluation value, the area evaluation value, and the shape evaluation value (step S305). Then, the feature region extraction unit 103 extracts a feature region candidate having the largest feature evaluation value as a feature region, and ends the feature evaluation value calculation process. In the following description, the feature area is referred to as a main subject area.

<トリミング領域候補の抽出処理>
次に、図1に示すトリミング領域候補抽出部104によるトリミング領域候補の抽出について説明する。図5は、図1に示すトリミング領域候補抽出部104でおいて主被写体領域の位置をパラメータとするトリミング領域候補の設定を説明するための図である。
<Trimming area candidate extraction process>
Next, extraction of trimming area candidates by the trimming area candidate extraction unit 104 shown in FIG. 1 will be described. FIG. 5 is a diagram for explaining the setting of trimming area candidates using the position of the main subject area as a parameter in the trimming area candidate extraction unit 104 shown in FIG.

いま、図4で説明したステップS305で得られた主要被写体領域(つまり、特徴領域)501の重心(つまり、トリミング領域の位置)502から画面において上方向に線分を描画して、この線(基準線)503を角度0°と定義する。この基準線503を基準として角度45°毎に合計8本の線分503〜510を描画する。そして、トリミング領域候補抽出部104は、上記の8本の線分503〜510上のいずれかに中心座標が存在するようにトリミング領域候補511を設定する。   Now, a line segment is drawn upward on the screen from the center of gravity (that is, the position of the trimming region) 502 of the main subject region (that is, the feature region) 501 obtained in step S305 described with reference to FIG. Reference line) 503 is defined as an angle of 0 °. Using this reference line 503 as a reference, a total of eight line segments 503 to 510 are drawn every 45 degrees. Then, the trimming region candidate extraction unit 104 sets the trimming region candidate 511 so that the center coordinates exist on any of the above eight line segments 503 to 510.

図6は、図1に示すトリミング領域候補抽出部104でおいて主要被写体領域の含有率をパラメータとするトリミング領域候補の設定を説明するための図である。   FIG. 6 is a diagram for explaining setting of trimming region candidates using the content rate of the main subject region as a parameter in the trimming region candidate extraction unit 104 shown in FIG.

ここでは、トリミング領域候補抽出部104は、例えば、主要被写体領域501の含有率を5割から10割まで1割刻みで変化させて、トリミング領域候補を設定する。なお、図示の例では、トリミング領域候補としてトリミング領域候補601〜604のみが示されているが、図5と同様に、8本の線分503〜510上のいずれかに中心座標が存在するように設定される。   Here, the trimming area candidate extraction unit 104 sets trimming area candidates by changing the content rate of the main subject area 501 from 50% to 10%, for example. In the illustrated example, only the trimming area candidates 601 to 604 are shown as trimming area candidates. However, as in FIG. 5, the center coordinates are present on any of the eight line segments 503 to 510. Set to

図7は、図1に示すトリミング領域候補抽出部104でおいてトリミングサイズをパラメータとするトリミング領域候補の設定を説明するための図である。   FIG. 7 is a diagram for explaining setting of trimming region candidates using the trimming size as a parameter in the trimming region candidate extraction unit 104 shown in FIG.

トリミング領域候補抽出部104には、複数のトリミングサイズが記憶されており、これら複数のトリミングサイズのいずかを選択して(例えば、ユーザの選択)、トリミング領域候補を設定する。ここでは、主要被写体領域501の重心502に対して、同心状にトリミング領域候補701、702、703、又は704が設定される。   The trimming area candidate extraction unit 104 stores a plurality of trimming sizes, and selects one of the plurality of trimming sizes (for example, selection by the user) to set a trimming area candidate. Here, trimming region candidates 701, 702, 703, or 704 are set concentrically with respect to the center of gravity 502 of the main subject region 501.

<トリミング領域候補評価処理>
図8は、図1に示すトリミング領域評価部105で行われるトリミング領域候補の特徴量に応じた評価値(トリミング領域候補評価値)の算出を説明するためのフローチャートである。ここでは、トリミング領域候補における輝度ヒストグラムの特徴量に基づく評価値が算出される。
<Trimming area candidate evaluation process>
FIG. 8 is a flowchart for explaining calculation of an evaluation value (trimming region candidate evaluation value) according to the feature amount of the trimming region candidate performed by the trimming region evaluation unit 105 shown in FIG. Here, an evaluation value based on the feature amount of the luminance histogram in the trimming region candidate is calculated.

まず、トリミング領域評価部105は、上述のようにして設定したトリミング領域候補に含まれる主要被写体領域の輝度ヒストグラムを作成する(ステップS1001)。続いて、トリミング領域評価部105は輝度ヒストグラムの全区間を走査して、最も頻度の高いポイント(Peak Point)を検出する(ステップS1002)。そして、トリミング領域評価部105はPeak Pointに対して所定の割合(例えば、10%)の値を第2の閾値として設定する(ステップS1003)。   First, the trimming area evaluation unit 105 creates a luminance histogram of the main subject area included in the trimming area candidates set as described above (step S1001). Subsequently, the trimming region evaluation unit 105 scans all the sections of the luminance histogram to detect the most frequent point (Peak Point) (step S1002). Then, the trimming region evaluation unit 105 sets a value of a predetermined ratio (for example, 10%) as a second threshold with respect to Peak Point (step S1003).

次に、トリミング領域評価部105は、輝度ヒストグラムの全区間を走査して第2の閾値以上である区間の幅(分布幅)を算出する(ステップS1004)。   Next, the trimming area evaluation unit 105 calculates the width (distribution width) of the section that is equal to or larger than the second threshold by scanning all sections of the luminance histogram (step S1004).

図9は、図1に示すトリミング領域評価部105で行われる分布幅の算出を説明するための図である。そして、図9(a)はその一例を示す図であり、図1(b)は他の例を示す図である。   FIG. 9 is a diagram for explaining the calculation of the distribution width performed by the trimming region evaluation unit 105 shown in FIG. FIG. 9A is a diagram showing an example, and FIG. 1B is a diagram showing another example.

図9(a)に示す例では、第2の閾値以上の区間の幅が大きく、図9(b)に示す例では、第2の閾値以上の区間の幅が小さい。   In the example shown in FIG. 9A, the width of the section greater than or equal to the second threshold is large, and in the example shown in FIG. 9B, the width of the section greater than or equal to the second threshold is small.

再び図8を参照して、トリミング領域評価部105は分布幅が大きい程、当該トリミング領域候補に係る評価値を高くする(ステップS1005)。つまり、分布幅が小さい領域では、被写体の明るさが一様なため単調な画像となり易い。このような領域をトリミング領域として切り出されてトリミング処理されることを防止するため、トリミング領域評価部105は分布幅に応じてトリミング領域候補に係る評価値(トリミング領域候補評価値)を設定することになる。   Referring to FIG. 8 again, the trimming area evaluation unit 105 increases the evaluation value related to the trimming area candidate as the distribution width increases (step S1005). That is, in a region where the distribution width is small, since the brightness of the subject is uniform, a monotonous image tends to be obtained. In order to prevent such a region from being cut out as a trimming region and subjected to trimming processing, the trimming region evaluation unit 105 sets an evaluation value (trimming region candidate evaluation value) related to the trimming region candidate according to the distribution width. become.

次に、トリミング領域評価部105は、ステップS1005で求めたトリミング領域候補評価値をトリミング領域候補に付与して(ステップS1006)、トリミング領域候補評価処理を終了する。   Next, the trimming area evaluation unit 105 assigns the trimming area candidate evaluation value obtained in step S1005 to the trimming area candidate (step S1006), and ends the trimming area candidate evaluation process.

なお、図8において、輝度ヒストグラムを用いてトリミング領域候補評価値を算出するようにしたが、トリミング領域候補の色相分布を示す色相ヒストグラムを用いてトリミング領域候補評価値を求めるようにしてもよい。   In FIG. 8, the trimming region candidate evaluation value is calculated using the luminance histogram, but the trimming region candidate evaluation value may be obtained using a hue histogram indicating the hue distribution of the trimming region candidate.

ここで、主要被写体領域における特徴的な領域の含有に基づく評価値の算出について説明する。   Here, calculation of an evaluation value based on inclusion of a characteristic area in the main subject area will be described.

まず、トリミング領域評価部105は、主要被写体領域において複数の画素で構成されたブロックがその特徴によって連結された連結領域において、1つの特徴的な領域を検出する。例えば、トリミング領域評価部105は、主要被写体領域を色毎にブロック分割して同一色の隣接ブロックを同一色グループとしてグルーピングする。なお、グルーピング処理において、図2で説明したステップS201〜S204の処理と同様の処理が行われる。   First, the trimming area evaluation unit 105 detects one characteristic area in a connected area in which blocks composed of a plurality of pixels in the main subject area are connected by their characteristics. For example, the trimming area evaluation unit 105 divides the main subject area into blocks for each color and groups adjacent blocks of the same color as the same color group. In the grouping process, the same processes as those in steps S201 to S204 described in FIG. 2 are performed.

トリミング領域評価部105は、同一色グループから、主要被写体領域として検出された領域と同色のグループを除いた同一色グループについて、その領域面積の大きさおよび主要被写体領域の重心からの距離に基づいて評価値を付与する。例えば、トリミング領域評価部105は、同一色グループの領域面積が大きい程、そして、重心座要が主要被写体領域の重心座標に近い程、評価値を高くする。トリミング領域評価部105は当該評価値に基づいて同一色グループのいずれか1つの領域を特徴的な領域として抽出する。   The trimming area evaluation unit 105 determines, based on the size of the area and the distance from the center of gravity of the main subject area, for the same color group obtained by removing the same color group as the main subject area from the same color group. Assign an evaluation value. For example, the trimming region evaluation unit 105 increases the evaluation value as the region area of the same color group is larger and as the center of gravity is closer to the center of gravity coordinates of the main subject region. The trimming area evaluation unit 105 extracts any one area of the same color group as a characteristic area based on the evaluation value.

なお、トリミング領域候補における特徴的な領域の含有に基づいて評価値を算出するようにしてもよい。ここでは、特徴的な領域が含まれているトリミング領域候補については、高い評価値を付与し、特徴的な領域が含まれていないトリミング領域候補ついては評価値を付与しないようにする。   Note that the evaluation value may be calculated based on the inclusion of a characteristic region in the trimming region candidate. Here, a high evaluation value is assigned to a trimming region candidate that includes a characteristic region, and an evaluation value is not assigned to a trimming region candidate that does not include a characteristic region.

続いて、主要被写体領域の含有率に基づく評価値の算出について説明する。ここでは、トリミング領域候補に主要被写体領域の何割が含まれているかを示す主要被写体含有率に基づいて評価値を算出する。   Next, calculation of an evaluation value based on the content rate of the main subject area will be described. Here, the evaluation value is calculated based on the main subject content ratio indicating what percentage of the main subject region is included in the trimming region candidate.

図10は、図1に示すトリミング領域評価部105で用いられる主要被写体領域の含有率と評価値との関係の一例を示す図である。   FIG. 10 is a diagram illustrating an example of the relationship between the content ratio of the main subject region used in the trimming region evaluation unit 105 illustrated in FIG. 1 and the evaluation value.

図10に示す例では、主要被写体領域の含有率が低いトリミング領域候補について評価値を低くする。そして、主要被写体領域の含有率が60%で評価値が”100”となる。評価値”100”の状態は主要被写体の含有率が80%まで続き、その後、評価値は徐々に低下する。   In the example shown in FIG. 10, the evaluation value is lowered for the trimming region candidate having a low content of the main subject region. The content of the main subject area is 60% and the evaluation value is “100”. In the state of the evaluation value “100”, the content rate of the main subject continues to 80%, and then the evaluation value gradually decreases.

図10に示すように、主要被写体領域の含有率と評価値との関係を設定すると、トリミング処理の際に、主要被写体領域が過大に切り取られて、トリミング処理されることがなくなる。よって、画角における主題を維持しつつ、かつ平凡でない領域を切り出してトリミング処理を行うことができる。   As shown in FIG. 10, when the relationship between the content ratio of the main subject area and the evaluation value is set, the main subject area is not excessively cut out during the trimming process, and the trimming process is not performed. Therefore, it is possible to perform trimming processing by cutting out an uncommon area while maintaining the subject at the angle of view.

<トリミング領域抽出処理>
トリミング領域抽出部106は、トリミング領域候補評価値に応じて、複数のトリミング領域候補からトリミング領域を抽出する。そして、トリミング領域抽出部106は当該トリミング領域についてトリミング処理を行ってトリミング画像を生成する。
<Trimming area extraction processing>
The trimming area extraction unit 106 extracts a trimming area from a plurality of trimming area candidates according to the trimming area candidate evaluation value. Then, the trimming area extraction unit 106 performs a trimming process on the trimming area to generate a trimmed image.

例えば、トリミング領域抽出部106はトリミング領域候補に付与された全ての評価値の総和を求めて、当該総和が最大であるトリミング領域候補をトリミング領域として抽出してトリミング処理を行う。   For example, the trimming area extraction unit 106 calculates the sum of all evaluation values given to the trimming area candidates, extracts the trimming area candidate having the maximum sum as a trimming area, and performs the trimming process.

なお、別に所定の第3の閾値を設定して、全ての評価値の総和が第3の閾値以上であるトリミング領域候補からランダムにその一つを選択して、当該選択したトリミング領域候補をトリミング領域としてトリミング処理を行うようにしてもよい。また、主要被写体領域は、人物の顔を示す顔領域としてしてもよい。   A predetermined third threshold value is set separately, one of the trimming area candidates whose sum of all evaluation values is equal to or greater than the third threshold value is selected at random, and the selected trimming area candidate is trimmed. You may make it perform a trimming process as an area | region. The main subject area may be a face area indicating a person's face.

このように、本発明の実施の形態では、トリミング領域候補に含まれる主要被写体領域の輝度に基づいて、トリミング領域候補の評価値を算出して、当該評価値に基づいてトリミング領域を抽出する。よって、被写体の明るさが一様なために単調な領域が抽出されてトリミング処理が行われることを防止することができる。つまり、撮影画像からトリミング画像を生成する際、当該トリミング画像が単調な画像となることを抑止することができる。   Thus, in the embodiment of the present invention, the evaluation value of the trimming area candidate is calculated based on the luminance of the main subject area included in the trimming area candidate, and the trimming area is extracted based on the evaluation value. Therefore, it is possible to prevent the trimming process from being performed because a monotonous region is extracted because the brightness of the subject is uniform. That is, when generating a trimmed image from a captured image, the trimmed image can be prevented from becoming a monotonous image.

上述の説明から明らかなように、図1に示す例においては、特徴領域抽出部103が検出手段として機能し、トリミング領域候補抽出部104が設定手段として機能する。また、トリミング領域評価部105が評価手段として機能し、トリミング領域抽出部106が出力手段として機能する。   As is clear from the above description, in the example shown in FIG. 1, the feature region extraction unit 103 functions as a detection unit, and the trimming region candidate extraction unit 104 functions as a setting unit. In addition, the trimming region evaluation unit 105 functions as an evaluation unit, and the trimming region extraction unit 106 functions as an output unit.

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。   As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。   For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the image processing apparatus. In addition, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the image processing apparatus. The control program is recorded on a computer-readable recording medium, for example.

上記の制御方法および制御プログラムの各々は、少なくとも検出ステップおよび出力ステップを有している。   Each of the above control method and control program has at least a detection step and an output step.

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.

101 画像信号入力部
102 画像処理部
103 特徴領域抽出部
104 トリミング領域候補抽出部
105 トリミング領域評価部
106 トリミング領域抽出部
107 トリミング領域抽出結果出力部
DESCRIPTION OF SYMBOLS 101 Image signal input part 102 Image processing part 103 Feature area extraction part 104 Trimming area candidate extraction part 105 Trimming area evaluation part 106 Trimming area extraction part 107 Trimming area extraction result output part

Claims (14)

撮影の結果得られた画像からトリミング領域を抽出してトリミング処理を行う画像処理装置であって、
前記画像において特徴的な領域を特徴領域として検出する検出手段と、
前記特徴領域の少なくとも一部を含む領域であり、かつ、該領域に含まれる特徴量に応じた評価結果が予め定められた条件を満たす領域を、トリミング領域として出力する出力手段と、
を有することを特徴とする画像処理装置。
An image processing apparatus that performs a trimming process by extracting a trimming region from an image obtained as a result of shooting,
Detecting means for detecting a characteristic area in the image as a characteristic area;
An output means for outputting, as a trimming area, an area that includes at least a part of the feature area, and an evaluation result corresponding to a feature amount included in the area satisfies a predetermined condition;
An image processing apparatus comprising:
前記特徴領域の少なくとも一部を含む領域をトリミング領域候補として設定する設定手段と、
前記トリミング領域候補についてその特徴量に応じて領域評価を行って評価結果を得る評価手段と、を有し、
前記出力手段は、前記評価結果に応じて、前記トリミング領域候補から前記トリミング領域を選択して出力することを特徴とする請求項1に記載の画像処理装置。
Setting means for setting a region including at least a part of the feature region as a trimming region candidate;
Evaluation means for performing an area evaluation according to the feature amount of the trimming area candidate and obtaining an evaluation result,
The image processing apparatus according to claim 1, wherein the output unit selects and outputs the trimming area from the trimming area candidates according to the evaluation result.
前記評価手段は、前記特徴量として、前記トリミング領域候補における輝度分布を示す輝度ヒストグラムを用いて前記領域評価を行うことを特徴とする請求項2に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the evaluation unit performs the region evaluation using a luminance histogram indicating a luminance distribution in the trimming region candidate as the feature amount. 前記評価手段は、前記特徴量として、前記トリミング領域候補における色相分布を示す色相ヒストグラムを用いて前記領域評価を行うことを特徴とする請求項2に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the evaluation unit performs the region evaluation using a hue histogram indicating a hue distribution in the trimming region candidate as the feature amount. 前記検出手段は、前記特徴領域として被写体を示す被写体領域を検出することを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the detection unit detects a subject area indicating a subject as the feature area. 前記特徴領域は、人物の顔を示す顔領域であることを特徴とする請求項5に記載の画像処理装置。   The image processing apparatus according to claim 5, wherein the feature area is a face area indicating a human face. 前記設定手段は、前記トリミング領域候補に含まれる前記特徴領域の割合を示す含有率が予め設定された所定の範囲に納まるように、前記トリミング領域候補を設定することを特徴とする請求項2〜4のいずれか1項に記載の画像処理装置。   The said setting means sets the said trimming area | region candidate so that the content rate which shows the ratio of the said characteristic area | region contained in the said trimming area | region candidate may be settled in the predetermined range set beforehand. 5. The image processing apparatus according to any one of 4 above. 前記評価手段は、前記トリミング領域候補に含まれる前記特徴領域の割合を示す含有率に応じて、前記評価結果を得ることを特徴とする請求項2〜4および7のいずれか1項に記載の画像処理装置。   The said evaluation means obtains the said evaluation result according to the content rate which shows the ratio of the said characteristic area | region contained in the said trimming area | region candidate, The any one of Claims 2-4 and 7 characterized by the above-mentioned. Image processing device. 前記評価手段は、前記輝度ヒストグラムにおいて所定の閾値以上の頻度の区間を示す分布幅に基づいて前記トリミング領域候補に係る評価結果を求めることを特徴とする請求項3に記載の画像処理装置。   The image processing apparatus according to claim 3, wherein the evaluation unit obtains an evaluation result related to the trimming region candidate based on a distribution width indicating a section having a frequency equal to or higher than a predetermined threshold in the luminance histogram. 前記評価手段は、前記色相ヒストグラムにおいて所定の閾値以上の頻度の区間を示す分布幅に基づいて前記トリミング領域候補に係る評価結果を求めることを特徴とする請求項4に記載の画像処理装置。   5. The image processing apparatus according to claim 4, wherein the evaluation unit obtains an evaluation result related to the trimming region candidate based on a distribution width indicating a section having a frequency equal to or higher than a predetermined threshold in the hue histogram. 前記出力手段は、前記評価結果が最大であるトリミング領域候補を前記トリミング領域として選択することを特徴とする請求項2〜4のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the output unit selects a trimming region candidate having the maximum evaluation result as the trimming region. 前記出力手段は、前記評価結果が予め定められた閾値以上であるトリミング領域候補から一つをランダムに前記トリミング領域として選択することを特徴とする請求項2〜4のいずれか1項に記載の画像処理装置。   5. The output unit according to claim 2, wherein the output unit randomly selects one of the trimming region candidates whose evaluation result is equal to or greater than a predetermined threshold as the trimming region. Image processing device. 撮影の結果得られた画像からトリミング領域を抽出してトリミング処理を行う画像処理装置の制御方法であって、
前記画像において特徴的な領域を特徴領域として検出する検出ステップと、
前記特徴領域の少なくとも一部を含む領域であり、かつ、該領域に含まれる特徴量に応じた評価結果が予め定められた条件を満たす領域を、トリミング領域として出力する出力ステップと、
を有することを特徴とする制御方法。
A control method of an image processing apparatus that extracts a trimming region from an image obtained as a result of shooting and performs a trimming process,
A detection step of detecting a characteristic area in the image as a characteristic area;
An output step of outputting, as a trimming area, an area that includes at least a part of the feature area, and an evaluation result corresponding to a feature amount included in the area satisfies a predetermined condition;
A control method characterized by comprising:
撮影の結果得られた画像からトリミング領域を抽出してトリミング処理を行う画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記画像において特徴的な領域を特徴領域として検出する検出ステップと、
前記特徴領域の少なくとも一部を含む領域であり、かつ、該領域に含まれる特徴量に応じた評価結果が予め定められた条件を満たす領域を、トリミング領域として出力する出力ステップと、
を実行させることを特徴とする制御プログラム。
A control program used in an image processing apparatus that extracts a trimming region from an image obtained as a result of shooting and performs a trimming process,
In the computer provided in the image processing apparatus,
A detection step of detecting a characteristic area in the image as a characteristic area;
An output step of outputting, as a trimming area, an area that includes at least a part of the feature area, and an evaluation result corresponding to a feature amount included in the area satisfies a predetermined condition;
A control program characterized by causing
JP2014076171A 2014-04-02 2014-04-02 Image processing apparatus, control method thereof, and control program Active JP6320130B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014076171A JP6320130B2 (en) 2014-04-02 2014-04-02 Image processing apparatus, control method thereof, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014076171A JP6320130B2 (en) 2014-04-02 2014-04-02 Image processing apparatus, control method thereof, and control program

Publications (3)

Publication Number Publication Date
JP2015198388A true JP2015198388A (en) 2015-11-09
JP2015198388A5 JP2015198388A5 (en) 2017-05-18
JP6320130B2 JP6320130B2 (en) 2018-05-09

Family

ID=54547842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014076171A Active JP6320130B2 (en) 2014-04-02 2014-04-02 Image processing apparatus, control method thereof, and control program

Country Status (1)

Country Link
JP (1) JP6320130B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7392368B2 (en) 2019-10-03 2023-12-06 富士フイルムビジネスイノベーション株式会社 Image processing device, system, program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000182053A (en) * 1998-12-15 2000-06-30 Toshiba Corp Method and device for processing video and recording medium in which a video processing procedure is recorded
JP2000216975A (en) * 1999-01-22 2000-08-04 Dainippon Printing Co Ltd Image layout method and its device
JP2003333381A (en) * 2002-05-10 2003-11-21 Ricoh Co Ltd Imaging apparatus with image evaluation function
JP2009212929A (en) * 2008-03-05 2009-09-17 Fujifilm Corp Method, apparatus and program for evaluating image trimming range

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000182053A (en) * 1998-12-15 2000-06-30 Toshiba Corp Method and device for processing video and recording medium in which a video processing procedure is recorded
JP2000216975A (en) * 1999-01-22 2000-08-04 Dainippon Printing Co Ltd Image layout method and its device
JP2003333381A (en) * 2002-05-10 2003-11-21 Ricoh Co Ltd Imaging apparatus with image evaluation function
JP2009212929A (en) * 2008-03-05 2009-09-17 Fujifilm Corp Method, apparatus and program for evaluating image trimming range

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7392368B2 (en) 2019-10-03 2023-12-06 富士フイルムビジネスイノベーション株式会社 Image processing device, system, program

Also Published As

Publication number Publication date
JP6320130B2 (en) 2018-05-09

Similar Documents

Publication Publication Date Title
US10115178B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP6529315B2 (en) Main subject detection method, main subject detection device and program
US20130215234A1 (en) Method and apparatus for stereo matching
CN105243371A (en) Human face beauty degree detection method and system and shooting terminal
CN107346546B (en) Image processing method and device
JP6021665B2 (en) Image processing apparatus, image processing method, and computer program
JP2010205067A (en) Device, method and program for extracting area
US8538191B2 (en) Image correction apparatus and method for eliminating lighting component
JP2009169943A (en) Image processing apparatus, method, and program
KR102311367B1 (en) Image processing apparatus, image processing method, and storage medium
CN112001853A (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
JP6994890B2 (en) Crack detector, crack detection method, and computer program
JP6320053B2 (en) Image processing apparatus, image processing method, and computer program
JP4990876B2 (en) Image processing device
JP6320130B2 (en) Image processing apparatus, control method thereof, and control program
US10846863B2 (en) Pixel binarization apparatus, method, and storage medium
JP5754931B2 (en) Image analysis apparatus, image analysis method, and program
JP2014127763A (en) Image processing apparatus, image processing method, and program
JP6953184B2 (en) Image processing device and image processing method
JP5818571B2 (en) Imaging device, control method thereof, and control program
JP6118295B2 (en) Marker embedding device, marker detection device, method, and program
WO2022014251A1 (en) Information processing device, correction method, and program
US20230274398A1 (en) Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
JP6194677B2 (en) Image processing apparatus and program
JP2010102376A (en) Information display pixel group extraction method, information display pixel group extraction device, and information display pixel group extraction program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180403

R151 Written notification of patent or utility model registration

Ref document number: 6320130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151