JP6448036B2 - Object region identification method, apparatus, and program - Google Patents
Object region identification method, apparatus, and program Download PDFInfo
- Publication number
- JP6448036B2 JP6448036B2 JP2015174036A JP2015174036A JP6448036B2 JP 6448036 B2 JP6448036 B2 JP 6448036B2 JP 2015174036 A JP2015174036 A JP 2015174036A JP 2015174036 A JP2015174036 A JP 2015174036A JP 6448036 B2 JP6448036 B2 JP 6448036B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- unit
- region
- area
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000000605 extraction Methods 0.000 claims description 60
- 238000005457 optimization Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 14
- 230000006870 function Effects 0.000 description 47
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、物体領域特定方法、装置、及びプログラムに関する。 The present invention relates to an object region specifying method, apparatus, and program.
画像共有サイトの普及や検索エンジンの高度化に伴い、ウェブ上にアップロードされた大規模な画像データへ容易にアクセスすることが可能になってきている。例えばウェブ検索エンジンで任意の物体(例えば「飛行機」「犬」など)のキーワード画像検索を行えば、その物体が写った複数の画像データを得ることが可能である。こうして得られる「多くの画像にある物体が共通して写る画像群」を入力として、その共通する物体(以下、対象物体)に関する“辞書”を自動で構築する技術が近年活発に提案されている。 With the spread of image sharing sites and the advancement of search engines, it has become possible to easily access large-scale image data uploaded on the web. For example, by performing a keyword image search for an arbitrary object (for example, “airplane”, “dog”, etc.) using a web search engine, it is possible to obtain a plurality of image data showing the object. In recent years, a technique for automatically constructing a “dictionary” related to the common object (hereinafter referred to as a target object) using the “image group in which objects in many images are commonly captured” as an input has been proposed in recent years. .
例えば、画像集合に含まれる各画像から矩形の候補領域を複数抽出し、候補領域の対象物体らしさおよび候補領域間の類似度を同時に評価、最適化することで、画像群に多く含まれる対象物体を最もよく捉えた候補領域を各画像から一つずつ選択する技術が開示されている(例えば、非特許文献1)。非特許文献1の技術において、自動構築される辞書とは選択された候補領域(画像中の矩形領域)の集合である。これを辞書として用いることで、入力画像群をそのまま用いるよりもより正確な、対象物体に関する辞書を構築することが可能となっている。 For example, by extracting multiple rectangular candidate areas from each image included in the image set, and simultaneously evaluating and optimizing the target object likelihood and the similarity between candidate areas, the target objects that are included in the image group A technique for selecting a candidate region that best captures the image from each image is disclosed (for example, Non-Patent Document 1). In the technique of Non-Patent Document 1, an automatically constructed dictionary is a set of selected candidate areas (rectangular areas in an image). By using this as a dictionary, it is possible to construct a more accurate dictionary related to the target object than using the input image group as it is.
同様の技術として、例えばウェブ画像検索結果に代表される、画像集合の一部に対象物体を含まない画像が混在するような画像集合からも正確に対象物体領域を特定するため、画像間の類似性/識別性に基づき画像に対象物体が含まれるか否かを評価する項と、各画像から複数抽出される候補領域間の類似性/識別性に基づき、どの候補領域が最もよく対象物体を捉えているかを評価する項とを含む二次計画問題を解くことで、対象物体を含まない画像の発見および除去と、対象物体を含む画像についてはその領域の特定(画像内の矩形候補領域を一つ選択)とを同時に行う方法が開示されている(例えば、非特許文献2)。 As a similar technique, for example, a target object region can be accurately identified from an image set represented by a web image search result in which images not including the target object are mixed in a part of the image set. Which candidate area best identifies the target object based on a term that evaluates whether or not the target object is included in the image based on gender / identity and the similarity / identity between multiple candidate areas extracted from each image By solving a quadratic programming problem that includes a term that evaluates whether or not the image is captured, it is possible to find and remove an image that does not include the target object, and to identify an area that includes the target object (the rectangular candidate area in the image (For example, Non-Patent Document 2) is disclosed.
ここで、上記の辞書自動構築技術の出力として得られる画像領域集合(以下、物体領域集合)が、対象物体の辞書として具備すべき条件を考えると、それは以下の2点であると言える。 Here, considering the conditions that an image area set (hereinafter referred to as an object area set) obtained as an output of the above-described dictionary automatic construction technique should have as a target object dictionary, it can be said that there are the following two points.
(i) 個々の領域が対象物体の「個体」を捉えていること
(ii) 物体領域集合が、画像集合中に含まれる対象物体を網羅的に捉えていること
(I) Each region captures the “individual” of the target object. (Ii) The object region set comprehensively captures the target object included in the image set.
(i)は、例えば画像中に複数の対象物体が含まれていたときに、得られた各画像領域が物体個々の領域を捉えられていることを指している。例えば物体検出などのアプリケーションを実現するための学習データとして上記辞書を用いる場合を考えれば、(i)の条件が不可欠であることは明らかである。また通常一般物体は、個体によりその外見が異なるとともに、画像中で様々な見え(方向や大きさ、照明条件など)で写り込んでいることが想定される。これらの個体差/見えの変化に頑健な辞書を構築するためには、様々な個体に関する様々な見えの事例を辞書に含める必要がある。(ii)は、これを自動で実現するために不可欠な条件である。 (I) indicates that, for example, when a plurality of target objects are included in an image, each obtained image area captures the area of each object. For example, considering the case where the dictionary is used as learning data for realizing an application such as object detection, it is obvious that the condition (i) is indispensable. In addition, it is assumed that a general object usually appears in various images (direction, size, lighting conditions, etc.) in the image as well as the appearance of the individual object. In order to build a dictionary that is robust to these individual differences / changes in appearance, it is necessary to include various appearance examples for various individuals in the dictionary. (Ii) is an indispensable condition for realizing this automatically.
しかし、上記の条件に照らし合わせると、上記非特許文献1および上記非特許文献2に記載の技術は、必ずしもこれらの条件を満たしていないことがわかる。上記非特許文献1および上記非特許文献2に記載の技術は、いずれも、集合中の各画像から対象物体領域を最も正しく捉えていると考えられる領域を最大一つ選択する問題として定式化されている。 However, in light of the above conditions, it can be seen that the techniques described in Non-Patent Document 1 and Non-Patent Document 2 do not necessarily satisfy these conditions. The techniques described in Non-Patent Document 1 and Non-Patent Document 2 are both formulated as a problem of selecting at most one region that is considered to capture the target object region most correctly from each image in the set. ing.
仮に集合中の各画像に対象物体が2つ以上含まれないことが保証されているのであれば、上記技術は条件(i)(ii)を満たしているものの、例えば図9に示した入力画像のように、対象物体(ここでは犬)が画像中に複数含まれている場合は、公知の技術は画像中の全ての対象物体を捉えることができず、よって条件(ii)が満たされないという問題がある。更には、図9中の入力画像(c)のように、対象物体間にオクルージョンが発生している場合、公知の技術では各画像から得られる候補領域各々がどの程度物体の個体を正しく捉えてられているかを全く評価していないため、図9の右側のように、複数の物体が連結した候補領域が結果として出力されてしまうことがある。したがって(i)の条件も必ずしも満たされてはいないという問題がある。 If it is guaranteed that two or more target objects are not included in each image in the set, the above technique satisfies the conditions (i) and (ii), but for example the input image shown in FIG. When a plurality of target objects (here, dogs) are included in the image, the known technique cannot capture all the target objects in the image, and therefore the condition (ii) is not satisfied. There's a problem. Furthermore, as shown in the input image (c) in FIG. 9, when occlusion occurs between target objects, the well-known technique correctly captures how many individual objects each candidate area obtained from each image captures. Since it has not been evaluated at all, candidate areas in which a plurality of objects are connected may be output as a result, as shown on the right side of FIG. Therefore, there is a problem that the condition (i) is not always satisfied.
以上から明らかなように、「多くの画像にある物体が共通して写る画像群」を入力として、対象物体に関する“辞書”を自動構築する公知の技術には、(1)入力集合中の画像に複数の対象物体が含まれる場合にそれら網羅的に捉えることができず、(2)また選択される物体領域が必ずしも対象物体個体を捉えられていないという2つの問題があった。 As is clear from the above, the known technique for automatically constructing a “dictionary” relating to a target object using “an image group in which objects in many images are shown in common” as an input includes: In the case where a plurality of target objects are included, it is impossible to comprehensively grasp them, and (2) there are two problems that the selected object region does not necessarily capture the target object individual.
本発明は、上記の事情に鑑みてなされたもので、画像に含まれる対象物体を精度よく特定することができる物体領域特定方法、装置、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an object region specifying method, apparatus, and program capable of accurately specifying a target object included in an image.
上記目的を達成するために、本発明の物体領域特定方法は、候補領域抽出部、特徴量抽出部、重複度算出部、モデル推定部、及び最適化部を含み、複数の画像の各々について、前記画像に含まれる対象物体の領域を特定する物体領域特定装置における物体領域特定方法であって、前記候補領域抽出部が、前記複数の画像の各々から前記対象物体の候補領域を抽出するステップと、前記特徴量抽出部が、前記候補領域抽出部によって前記複数の画像の各々から抽出された前記候補領域の各々に対し、前記候補領域から特徴量を抽出するステップと、前記重複度算出部が、前記候補領域抽出部によって同じ前記画像から抽出された前記候補領域のペアの各々に対し、前記候補領域間の重複度を算出するステップと、前記モデル推定部が、前記候補領域の集合から抽出された部分集合である物体領域集合に基づいて、前記特徴量に基づいて対象物体を表すか否かを識別するためのモデルを推定するステップと、前記最適化部が、前記特徴量抽出部によって前記候補領域の各々に対して抽出された前記特徴量と、前記重複度算出部によって前記ペアの各々に対して算出された前記重複度と、前記モデル推定部によって推定された前記モデルとに基づいて、前記モデルを用いた、前記物体領域集合に含まれる前記候補領域の対象物体らしさを表す関数と、前記特徴量を用いた、前記物体領域集合に含まれる前記候補領域間の類似度合いを表す関数と、前記物体領域集合に含まれる同じ前記画像における候補領域間の重複度合いを表す関数とを含む目的関数を最適化するように、前記候補領域の集合から前記物体領域集合を抽出するステップと、を含み、前記モデル推定部は、前記最適化によって抽出された前記物体領域集合に基づいて、前記モデルを推定する。 In order to achieve the above object, the object region specifying method of the present invention includes a candidate region extraction unit, a feature amount extraction unit, a duplication degree calculation unit, a model estimation unit, and an optimization unit, and for each of a plurality of images, An object area specifying method in an object area specifying device for specifying an area of a target object included in the image, wherein the candidate area extracting unit extracts a candidate area of the target object from each of the plurality of images; The feature amount extraction unit extracting a feature amount from the candidate region for each of the candidate regions extracted from each of the plurality of images by the candidate region extraction unit; Calculating a degree of overlap between the candidate regions for each pair of candidate regions extracted from the same image by the candidate region extracting unit; and Estimating a model for identifying whether to represent a target object based on the feature amount based on an object region set that is a subset extracted from a set of regions, and the optimization unit, The feature amount extracted for each of the candidate regions by the feature amount extraction unit, the redundancy degree calculated for each of the pairs by the redundancy degree calculation portion, and the model estimation portion estimated Based on the model, between the candidate areas included in the object area set using the function and a function representing the target object likelihood of the candidate area included in the object area set using the model and the feature amount Of the candidate region so as to optimize an objective function including a function that represents a degree of similarity and a function that represents a degree of overlap between candidate regions in the same image included in the object region set. Wherein extracting the object region set from engagement, wherein the model estimator is based on the object region set extracted by the optimization, estimating the model.
本発明の物体領域特定装置は、複数の画像の各々について、前記画像に含まれる対象物体の領域を特定する物体領域特定装置であって、前記複数の画像の各々から前記対象物体の候補領域を抽出する候補領域抽出部と、前記候補領域抽出部によって前記複数の画像の各々から抽出された前記候補領域の各々に対し、前記候補領域から特徴量を抽出する特徴量抽出部と、前記候補領域抽出部によって同じ前記画像から抽出された前記候補領域のペアの各々に対し、前記候補領域間の重複度を算出する重複度算出部と、前記候補領域の集合から抽出された部分集合である物体領域集合に基づいて、前記特徴量に基づいて対象物体を表すか否かを識別するためのモデルを推定するモデル推定部と、前記特徴量抽出部によって前記候補領域の各々に対して抽出された前記特徴量と、前記重複度算出部によって前記ペアの各々に対して算出された前記重複度と、前記モデル推定部によって推定された前記モデルとに基づいて、前記モデルを用いた、前記物体領域集合に含まれる前記候補領域の対象物体らしさを表す関数と、前記特徴量を用いた、前記物体領域集合に含まれる前記候補領域間の類似度合いを表す関数と、前記物体領域集合に含まれる同じ前記画像における候補領域間の重複度合いを表す関数とを含む目的関数を最適化するように、前記候補領域の集合から前記物体領域集合を抽出する最適化部と、を含み、前記モデル推定部は、前記最適化によって抽出された前記物体領域集合に基づいて、前記モデルを推定する。 The object region specifying device of the present invention is an object region specifying device that specifies a region of a target object included in the image for each of a plurality of images, and the candidate region of the target object is determined from each of the plurality of images. A candidate area extracting unit for extracting, a feature quantity extracting unit for extracting a feature quantity from the candidate area for each of the candidate areas extracted from each of the plurality of images by the candidate area extracting unit, and the candidate area For each pair of candidate regions extracted from the same image by the extraction unit, an overlap calculation unit that calculates the overlap between the candidate regions, and an object that is a subset extracted from the set of candidate regions A model estimation unit for estimating a model for identifying whether or not the target object is represented based on the feature amount based on the region set, and each of the candidate regions by the feature amount extraction unit. The model is used based on the feature amount extracted in the above, the redundancy calculated for each of the pairs by the redundancy calculation unit, and the model estimated by the model estimation unit. A function that represents the target object likelihood of the candidate area included in the object area set, a function that represents the degree of similarity between the candidate areas included in the object area set using the feature amount, and the object area set An optimization unit that extracts the object region set from the set of candidate regions so as to optimize an objective function including a function that represents a degree of overlap between candidate regions in the same image included in the image, The model estimation unit estimates the model based on the object region set extracted by the optimization.
また、物体領域初期化部が、前記特徴量抽出部によって前記候補領域の各々に対して抽出された前記特徴量と、前記重複度算出部によって前記ペアの各々に対して算出された前記重複度とに基づいて、前記物体領域集合に含まれる前記候補領域の対象物体らしさを表す関数と、前記特徴量を用いた、前記物体領域集合に含まれる前記候補領域間の類似度合いを表す関数と、前記物体領域集合に含まれる同じ前記画像における候補領域間の重複度合いを表す関数とを含む関数を最適化するように、前記候補領域の集合から前記物体領域集合を抽出するステップを更に含み、前記モデル推定部は、前記物体領域初期化部によって抽出された前記物体領域集合に基づいて、前記モデルを推定するようにしてもよい。 Further, the object region initialization unit extracts the feature amount extracted for each of the candidate regions by the feature amount extraction unit, and the degree of duplication calculated for each of the pairs by the duplication degree calculation unit. And a function that represents the target object likelihood of the candidate area included in the object area set, and a function that represents the degree of similarity between the candidate areas included in the object area set using the feature amount, Extracting the object region set from the set of candidate regions to optimize a function including a function that includes a function representing a degree of overlap between candidate regions in the same image included in the object region set, and The model estimation unit may estimate the model based on the object region set extracted by the object region initialization unit.
また、収束判定部が、収束条件が満たされるまで、前記モデル推定部による推定及び前記最適化部による抽出を繰り返すステップを更に含み、前記モデル推定部は、前記物体領域初期化部によって抽出された前記物体領域集合、又は前記最適化部によって抽出された前記物体領域集合に基づいて、前記モデルを推定するようにしてもよい。 The convergence determination unit further includes a step of repeating estimation by the model estimation unit and extraction by the optimization unit until a convergence condition is satisfied, and the model estimation unit is extracted by the object region initialization unit The model may be estimated based on the object region set or the object region set extracted by the optimization unit.
本発明のプログラムは、上記物体領域特定方法の各ステップをコンピュータに実行させるためのプログラムである。 The program of the present invention is a program for causing a computer to execute each step of the object region specifying method.
以上説明したように、本発明の物体領域特定方法、装置、及びプログラムによれば、複数の画像の各々から抽出された対象物体の候補領域の各々に対し、候補領域から特徴量を抽出し、同じ画像から抽出された候補領域のペアの各々に対し、候補領域間の重複度を算出し、候補領域の集合から抽出された部分集合である物体領域集合に基づいて、対象物体を表すか否かを識別するためのモデルを推定し、候補領域の各々に対して抽出された特徴量と、候補領域のペアの各々に対して算出された重複度と、推定されたモデルとに基づいて、モデルを用いた、物体領域集合に含まれる候補領域の対象物体らしさを表す関数と、特徴量を用いた、物体領域集合に含まれる候補領域間の類似度合いを表す関数と、物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数とを含む目的関数を最適化するように、候補領域の集合から物体領域集合を抽出することにより、画像に含まれる対象物体を精度よく特定することができる、という効果が得られる。 As described above, according to the object region specifying method, apparatus, and program of the present invention, for each target object candidate region extracted from each of a plurality of images, a feature amount is extracted from the candidate region, For each pair of candidate regions extracted from the same image, calculate the degree of overlap between candidate regions and represent the target object based on the object region set, which is a subset extracted from the set of candidate regions Estimating a model for identifying, based on the feature amount extracted for each of the candidate regions, the redundancy calculated for each of the candidate region pairs, and the estimated model, Included in the object region set is a function that represents the target object likeness of the candidate region included in the object region set using the model, a function that represents the similarity between candidate regions included in the object region set using the feature amount To the same image By extracting an object area set from a set of candidate areas so as to optimize an objective function including a function representing the degree of overlap between candidate areas, it is possible to accurately identify target objects included in the image The effect of is obtained.
以下、図面を参照して、本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<本発明の実施の形態の概要> <Outline of Embodiment of the Present Invention>
まず、本発明の実施の形態の概要について説明する。本発明の実施の形態は、膨大な画像中の物体領域を自動で特定する技術に関する。 First, an outline of an embodiment of the present invention will be described. Embodiments of the present invention relate to a technique for automatically specifying an object region in a huge image.
本発明の実施の形態では、ウェブ画像群に代表される“容易に取得可能だが雑多な画像群”から、認識に有効な画像領域(例えば、対象物体個々の領域)を自動で特定する。 In the embodiment of the present invention, an effective image area (for example, an area of each target object) is automatically specified from “an easily obtainable but miscellaneous image group” represented by a web image group.
図1に、本発明の実施の形態の概要を説明するための図を示す。図1に示すように、上記の画像群(キーワード“飛行機”で得られた画像群)は、以下の(1)〜(3)に示す点で雑多である。 FIG. 1 is a diagram for explaining an outline of an embodiment of the present invention. As shown in FIG. 1, the above image group (image group obtained by the keyword “airplane”) is miscellaneous in the following points (1) to (3).
(1)飛行機を直接含まない画像が混在している。
(2)様々な見えの物体(plane)が含まれている。
(3)画像あたり複数の物体が含まれている(オクルージョン発生)。
(1) Images that do not include airplanes are mixed.
(2) Various visible objects (planes) are included.
(3) A plurality of objects are included per image (occlusion occurs).
本発明の実施の形態によれば、ウェブ検索の結果をそのまま用いるよりも、白枠で囲われた領域を物体領域として特定し、教師データとして用いることで、より高精度な認識を実現することができる。 According to the embodiment of the present invention, more accurate recognition can be realized by specifying an area surrounded by a white frame as an object area and using it as teacher data, rather than using the web search result as it is. Can do.
図2に、本発明の実施の形態の概要を説明するための図を示す。本発明の実施の形態では、以下の(1)〜(3)を同時に考慮することで、図2に示すような対象物体の個体を捉えた領域が特定可能となる。 FIG. 2 is a diagram for explaining the outline of the embodiment of the present invention. In the embodiment of the present invention, by considering the following (1) to (3) at the same time, it is possible to specify a region capturing an individual target object as shown in FIG.
(1)候補領域の対象物体らしさ
(2)候補領域間の類似度
(3)選択された領域間の重複していない度合
(1) Target object likeness of candidate area (2) Similarity between candidate areas (3) Degree of non-overlap between selected areas
また、本実施の形態では、対象物体のモデル推定と上記最適化とを交互に繰り返すことで、候補領域の集合中の対象物体の領域を網羅的に特定可能とする。 In the present embodiment, the target object area in the set of candidate areas can be comprehensively specified by alternately repeating the model estimation of the target object and the optimization described above.
具体的に、上記の課題(2)「選択される物体領域が物体個体を捉えられていない」ことを解決する本実施の形態の第1のアイデアは、各画像中の候補領域のうち物体個体をよく捉えているものを選択するために、候補領域の対象物体らしさと、候補領域間の見た目の類似度と、対象物体領域として選択された候補領域間が“空間的に重複していない”度合の3つの要素を同時に考慮して候補領域を選択するという点にある。 Specifically, the first idea of the present embodiment that solves the above problem (2) “the selected object region is not capturing the object individual” is that the object individual among the candidate regions in each image In order to select a target that is well captured, the target object likeness of the candidate area, the apparent similarity between the candidate areas, and the candidate areas selected as the target object areas are “not spatially overlapping” The candidate area is selected in consideration of the three factors of degree at the same time.
候補領域の対象物体らしさと、候補領域間の類似度の2要素を同時に評価することは上記非特許文献1でも行われているが、一般に、公知の技術で算出できる対象物体らしさは候補領域に実際に含まれる物体の数とはほぼ無関係であり、したがって物体単体を捉えた候補領域のみならず、物体を複数捉えてしまっている候補領域も同時に物体領域として選択してしまうという問題がある。 Although the non-patent document 1 simultaneously evaluates two elements, ie, the target object likelihood of the candidate area and the similarity between the candidate areas, generally, the target object likelihood that can be calculated by a known technique is the candidate area. There is a problem that the number of objects actually included is almost irrelevant. Therefore, not only the candidate area capturing a single object but also a candidate area capturing a plurality of objects is simultaneously selected as the object area.
本発明の実施の形態においては、対象物体単体を捉えた理想的な候補領域間では、空間的重複は発生しないという事実に基づき、公知の技術で考慮されていた要素に加え、選択された候補領域間が空間的に重複していない度合を評価する指標も同時に考慮する。これにより、対象物体らしい候補領域の中でも、特に物体単体を捉えた候補領域の集合を選択することが可能になる。 In the embodiment of the present invention, based on the fact that no spatial overlap occurs between ideal candidate regions capturing a single target object, in addition to the elements considered in the known technology, the selected candidate At the same time, an index for evaluating the degree of spatial non-overlap between regions is considered. As a result, it is possible to select a set of candidate areas that specifically capture a single object among candidate areas that are likely to be target objects.
上記のようにして選択された候補領域の集合に基づいて対象物体のモデルを推定することと、推定されたモデルに基づいて候補領域の集合の中から対象物体個体を捉えた物体領域集合を選択することは相補的であると考えられる。上記の課題(1)「画像中に複数の対象物体が含まれるとき、網羅的にそれらを特定することができない」を解決する本実施の形態の第2のアイデアは、本発明の実施の形態の第1のアイデアに基づく候補領域の選択と、選択された候補領域の集合に基づくモデルの構築を交互に実施することである。これによって、画像集合中で正しく特定される対象物体の網羅性と、対象物体のモデルの頑健性を共に向上させることができる。 Estimate the model of the target object based on the set of candidate areas selected as described above, and select the object area set that captures the target object from the set of candidate areas based on the estimated model To do is considered complementary. The second idea of the present embodiment that solves the above problem (1) “when a plurality of target objects are included in an image, cannot be comprehensively specified” is the embodiment of the present invention. The selection of candidate areas based on the first idea and the construction of a model based on the set of selected candidate areas are performed alternately. Accordingly, it is possible to improve both the completeness of the target object correctly specified in the image set and the robustness of the target object model.
上記の2つのアイデアによって、本発明の実施の形態では、入力された画像集合の画像に複数の対象物体が含まれていても、複数の対象物体を網羅的に、対象物体個体を捉えつつその領域を特定することができる。 According to the above two ideas, in the embodiment of the present invention, even if a plurality of target objects are included in the image of the input image set, the plurality of target objects are comprehensively captured while capturing the target object individual. An area can be specified.
<本発明の実施の形態に係る物体領域特定装置の構成>
本発明の実施の形態に係る物体領域特定装置100は、CPU(Central Processing Unit)と、CPUが後述する各処理ルーチンを実行するためのプログラム等を記憶したROM(Read Only Memory)と、RAM(Random Access Memory)と、を備えたコンピュータで構成することができる。この物体領域特定装置100は、機能的には図3に示すように入力部10と、演算部20と、出力部40とを備えている。物体領域特定装置100は、複数の画像の各々について、当該画像に含まれる対象物体の領域を特定する。
<Configuration of Object Area Identification Device According to Embodiment of the Present Invention>
An object region specifying apparatus 100 according to an embodiment of the present invention includes a CPU (Central Processing Unit), a ROM (Read Only Memory) storing a program for the CPU to execute each processing routine described later, a RAM ( Random Access Memory). Functionally, the object region specifying apparatus 100 includes an input unit 10, a calculation unit 20, and an output unit 40 as shown in FIG. The object area specifying device 100 specifies the area of the target object included in each of the plurality of images.
入力部10は、複数の画像を受け付ける。 The input unit 10 receives a plurality of images.
演算部20は、画像集合データベース22と、候補領域抽出部24と、特徴量抽出部26と、重複度算出部28と、物体領域初期化部30と、モデル推定部32と、最適化部34と、収束判定部36とを備える。 The calculation unit 20 includes an image set database 22, a candidate region extraction unit 24, a feature amount extraction unit 26, a redundancy calculation unit 28, an object region initialization unit 30, a model estimation unit 32, and an optimization unit 34. And a convergence determination unit 36.
画像集合データベース22には、入力部10によって受け付けられた複数の画像が格納される。 The image set database 22 stores a plurality of images received by the input unit 10.
候補領域抽出部24は、画像集合データベース22に格納された複数の画像の各々から、対象物体の候補領域を抽出する。 The candidate area extraction unit 24 extracts a candidate area of the target object from each of the plurality of images stored in the image set database 22.
具体的には、候補領域抽出部24は、画像集合データベース22に格納されたN枚の画像集合I={Ii}i=1 Nに含まれる各画像Iiから、候補領域の集合xij∈Xiを抽出する。ここで抽出される候補領域は互いに重複してよいものとする。また、jは候補領域のインデックスを表す。 Specifically, the candidate area extraction unit 24 sets a candidate area set x ij from each image I i included in the N image sets I = {I i } i = 1 N stored in the image set database 22. ΕX i is extracted. The candidate areas extracted here may overlap each other. J represents the index of the candidate area.
候補領域を抽出する方法としては、例えば以下の参考文献1又は参考文献2で開示されている物体候補領域抽出手法を各画像に適用し、得られた全候補領域のうち、同時に算出される対象物体らしさが高い領域を上位M個抽出するなどすればよい。 As a method for extracting candidate areas, for example, the object candidate area extraction method disclosed in Reference Document 1 or Reference Document 2 below is applied to each image, and among the obtained candidate areas, targets that are calculated simultaneously What is necessary is just to extract the top M areas with high object likeness.
[参考文献1]P. Arbelaez et al.,“Multiscale Combinatorial Grouping”, in Proc. CVPR, 2014.
[参考文献2]M.-M. Cheng et al.,“BING: Binarized Normed Gradients for Objectness Estimation at 300fps”, in Proc. CVPR, 2014.
[Reference 1] P. Arbelaez et al., “Multiscale Combinatorial Grouping”, in Proc. CVPR, 2014.
[Reference 2] M.-M. Cheng et al., “BING: Binarized Normed Gradients for Objectness Estimation at 300fps”, in Proc. CVPR, 2014.
または、候補領域抽出部24は、上記各候補領域の対象物体らしさは、画像中での各候補領域の顕著性(saliency)を評価し、顕著性を表す値を以って対象物体らしさを定義してもよい。具体的には、候補領域抽出部24は、まず、例えば参考文献3で開示されている物体顕著性算出処理を各画像に適用し、顕著性マップ(画像中各ピクセルに対して顕著性スコアが算出されたマップ)を得る。そして、候補領域抽出部24は、候補領域に含まれるピクセルの顕著性スコアの平均値を、各候補領域の対象物体らしさsijとして求めればよい。 Alternatively, the candidate area extraction unit 24 evaluates the saliency of each candidate area in the image and defines the likelihood of the target object using a value representing the saliency. May be. Specifically, the candidate area extraction unit 24 first applies, for example, the object saliency calculation process disclosed in Reference 3 to each image, and the saliency map (the saliency score is calculated for each pixel in the image). Get the calculated map). Then, the candidate area extraction unit 24 may obtain the average value of the saliency scores of the pixels included in the candidate area as the target object likelihood s ij of each candidate area.
[参考文献3]F. Perazzi et al., Saliency Filters: Contrast Based Filtering for Salient Region Detection, in Proc. CVPR, 2012. [Reference 3] F. Perazzi et al., Saliency Filters: Contrast Based Filtering for Salient Region Detection, in Proc. CVPR, 2012.
本実施の形態では、候補領域抽出部24は、図4に示すように、候補領域xijの各々について、当該候補領域の対象物体らしさsijを算出する。そして、候補領域抽出部24は、対象物体らしさsijが高い領域を上位M個抽出し、候補領域の集合を抽出する。 In the present embodiment, as shown in FIG. 4, the candidate area extraction unit 24 calculates the target object likelihood s ij of each candidate area x ij as shown in FIG. Then, the candidate area extraction unit 24 extracts the top M areas having a high target object likelihood s ij and extracts a set of candidate areas.
特徴量抽出部26は、候補領域抽出部24によって複数の画像の各々から抽出された候補領域の各々に対し、候補領域から特徴量を抽出する。 The feature amount extraction unit 26 extracts a feature amount from the candidate region for each of the candidate regions extracted from each of the plurality of images by the candidate region extraction unit 24.
具体的には、特徴量抽出部26は、候補領域抽出部24による候補領域の抽出処理で得られた各画像の各候補領域xijから画像特徴量fijを算出する。任意の画像特徴量としては、例えば以下の参考文献4〜7に示すような、SPM、VLAD、GIST、RCNNといったものを用いることができる。 Specifically, the feature amount extraction unit 26 calculates an image feature amount f ij from each candidate region x ij of each image obtained by the candidate region extraction processing by the candidate region extraction unit 24. As an arbitrary image feature amount, for example, SPM, VLAD, GIST, and RCNN as shown in Reference Documents 4 to 7 below can be used.
[参考文献4]S. Lazebnik et al., “Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories”, in CVPR, 2006.
[参考文献5]H. Jegou et al., “Aggregating local descriptors into a compact image representation”, in CVPR, 2010.
[参考文献6]A. Oliva et al., “Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope”, in IJCV, 2001.
[参考文献7]R. Girshick et al., “Rich feature hierarchies for accurate object detection and semantic segmentation”, in Proc. CVPR, 2014.
[Reference 4] S. Lazebnik et al., “Beyond Bags of Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories”, in CVPR, 2006.
[Reference 5] H. Jegou et al., “Aggregating local descriptors into a compact image representation”, in CVPR, 2010.
[Reference 6] A. Oliva et al., “Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope”, in IJCV, 2001.
[Reference 7] R. Girshick et al., “Rich feature hierarchies for accurate object detection and semantic segmentation”, in Proc. CVPR, 2014.
重複度算出部28は、候補領域抽出部24によって同じ画像から抽出された候補領域のペアの各々に対し、候補領域間の重複度を算出する。 The overlapping degree calculating unit 28 calculates the overlapping degree between candidate areas for each candidate area pair extracted from the same image by the candidate area extracting unit 24.
具体的には、重複度算出部28は、候補領域抽出部24による候補領域の抽出処理で得られた画像内の候補領域の集合の各ペアについて、候補領域の重複度を算出する。候補領域xijとxij’の重複度J(xij,xij’)は、例えば以下の式(1)のJaccard類似度で算出することができる。 Specifically, the overlap degree calculation unit 28 calculates the overlap degree of the candidate areas for each pair of sets of candidate areas in the image obtained by the candidate area extraction process by the candidate area extraction unit 24. The degree of overlap J (x ij , x ij ′ ) between the candidate regions x ij and x ij ′ can be calculated, for example, by the Jaccard similarity of the following equation (1).
ここでbijは候補領域xijに対応するバイナリマスクである。バイナリマスクとしては、例えば、候補領域を1、候補領域とは異なる領域を0とするバイナリマスクを用いることができる。 Here, b ij is a binary mask corresponding to the candidate region x ij . As the binary mask, for example, a binary mask in which the candidate area is 1 and the area different from the candidate area is 0 can be used.
物体領域初期化部30は、特徴量抽出部26によって候補領域の各々に対して抽出された特徴量と、重複度算出部28によって候補領域のペアの各々に対して算出された重複度とに基づいて、候補領域抽出部24によって抽出された候補領域の集合から、対象物体を捉えていると考えられる候補領域の部分集合を、物体領域集合として抽出し、物体領域集合の初期化を行う。物体領域集合は、候補領域の集合から抽出された部分集合である。 The object region initialization unit 30 calculates the feature amount extracted for each candidate region by the feature amount extraction unit 26 and the overlap degree calculated for each pair of candidate regions by the overlap degree calculation unit 28. Based on the candidate area set extracted by the candidate area extraction unit 24, a subset of candidate areas that are considered to capture the target object is extracted as an object area set, and the object area set is initialized. The object area set is a subset extracted from the set of candidate areas.
具体的には、物体領域初期化部30は、図5に示すように、候補領域抽出部24によって抽出された候補領域の集合から、対象物体を捉えていると考えられる候補領域の部分集合を、物体領域集合として抽出する。 Specifically, as shown in FIG. 5, the object region initialization unit 30 selects a subset of candidate regions that are considered to capture the target object from the set of candidate regions extracted by the candidate region extraction unit 24. Extract as a set of object regions.
例えば、物体領域初期化部30は、特徴量抽出部26によって候補領域の各々に対して抽出された特徴量と、重複度算出部28によって候補領域のペアの各々に対して算出された重複度とに基づいて、予め定められた関数を最適化するように、候補領域抽出部24によって抽出された候補領域の集合から物体領域集合を抽出する。 For example, the object region initialization unit 30 uses the feature amount extracted for each candidate region by the feature amount extraction unit 26 and the degree of overlap calculated for each pair of candidate regions by the overlap degree calculation unit 28. Based on the above, an object region set is extracted from the set of candidate regions extracted by the candidate region extraction unit 24 so as to optimize a predetermined function.
本実施の形態では、予め定められた関数は、物体領域集合に含まれる候補領域の対象物体らしさを表す関数と、特徴量を用いた、物体領域集合に含まれる候補領域間の類似度合いを表す関数と、物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数とを含む。 In this embodiment, the predetermined function represents the degree of similarity between the candidate area included in the object area set using the function indicating the target object likelihood of the candidate area included in the object area set and the feature amount. And a function representing the degree of overlap between candidate areas in the same image included in the object area set.
具体的には、物体領域初期化部30は、初期化の時点で画像内候補領域間の空間重複度を考慮し、候補領域の集合 Specifically, the object region initialization unit 30 considers the spatial redundancy between the candidate regions in the image at the time of initialization, and sets a set of candidate regions.
を入力として、「対象物体らしさが高く、互いに類似しかつ空間的に最小限しか重複しない」ような候補領域の集合の部分集合を選択することを目的として、以下の式(2)で定義される関数を最小化するようなラベル集合 For the purpose of selecting a subset of a set of candidate regions that are “likely target objects, similar to each other and minimally overlap in space”, and defined by the following equation (2): A set of labels that minimizes the function
を求めればよい。なおラベルyijは、1のとき対象物体を表す領域として選択されていること、0のとき対象物体を表す領域として選択されていないことを意味している。 You can ask for. Note that the label y ij means that it is selected as a region representing the target object when it is 1, and that it is not selected as a region representing the target object when it is 0.
上記式(2)の右辺第1項は、物体領域集合に含まれる候補領域の対象物体らしさを表す関数である。当該関数は、候補領域抽出部24で得られる各候補領域xijの対象物体らしさの値sijを用いて、例えば The first term on the right side of the above equation (2) is a function representing the target object likelihood of the candidate areas included in the object area set. The function uses, for example, the target object likelihood value s ij of each candidate region x ij obtained by the candidate region extraction unit 24, for example,
と定義することができる。βはパラメータである。 Can be defined as β is a parameter.
右辺第2項は、特徴量を用いた、物体領域集合に含まれる候補領域間の類似度合いを表す関数であり、候補領域間の見た目の類似性を評価する項である。物体領域集合に含まれる候補領域間の類似度合いを表す関数は、特徴量抽出部26で算出される各候補領域xijの特徴量fijを用いて、例えば The second term on the right side is a function that represents the degree of similarity between candidate regions included in the object region set using the feature amount, and is a term that evaluates the apparent similarity between candidate regions. A function representing the degree of similarity between candidate areas included in the object area set is obtained by using the feature quantity f ij of each candidate area x ij calculated by the feature quantity extraction unit 26, for example.
のように定義することができる。λΨ、σΨはパラメータ、μΨは候補領域xij,xi’j’のラベル互換性を評価する項であり、例えば Can be defined as follows. λ Ψ and σ Ψ are parameters, and μ Ψ is a term for evaluating the label compatibility of the candidate regions x ij and x i′j ′.
のように定義することができる。μΨは、候補領域xijと候補領域xi’j’とのラベルが異なるときに1、候補領域xijと候補領域xi’j’とのラベルが同じときに0をとる変数である。 Can be defined as follows. μ Ψ is a variable that takes 1 when the label of the candidate area x ij and the candidate area x i′j ′ is different, and takes 0 when the label of the candidate area x ij and the candidate area x i′j ′ is the same. .
右辺第3項は、物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数であり、候補領域間の重複していない度合を評価する項である。物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数は、重複度算出部28で得られる候補領域間の重複度J(xij,xij’)を用いて、例えば The third term on the right side is a function representing the degree of overlap between candidate areas in the same image included in the object area set, and is a term for evaluating the degree of non-overlap between candidate areas. A function representing the degree of overlap between candidate areas in the same image included in the object area set is obtained by using, for example, the degree of overlap J (x ij , x ij ′ ) between candidate areas obtained by the degree-of-redundancy calculation unit 28.
のように定義することができる。λΩ、σΩはパラメータ、μΩは候補領域xij,xi’j’のラベル互換性を評価する項であり、例えば Can be defined as follows. λ Ω and σ Ω are parameters, and μ Ω is a term for evaluating label compatibility of candidate regions x ij and x i′j ′ , for example,
のように定義することができる。μΩは候補領域xijと候補領域xi’j’とのラベルが共に1のとき1、それ以外で0をとる変数である。また、上記式(2)の右辺第2項及び右辺第3項における Can be defined as follows. The mu Omega 1 when the label are both 1 and candidate region x ij and the candidate region x i'j ', a variable which takes 0 otherwise. Also, in the second term on the right side and the third term on the right side of the above formula (2)
は、i=i'かつj=j’とは異なるi,i',j,及びj’の組み合わせについて総和を取ることを表す。 Represents summation for combinations of i, i ', j, and j' different from i = i 'and j = j'.
上記式(2)は公知のアルゴリズム、例えばBelief PropagationやTRW-Sといった方法を用いて解くことができる。 The above equation (2) can be solved using a known algorithm such as Belief Propagation or TRW-S.
モデル推定部32は、候補領域の集合から抽出された部分集合である物体領域集合に基づいて、特徴量に基づいて対象物体を表すか否かを識別するためのモデルを推定する。また、モデル推定部32は、後述する最適化部34の最適化処理によって抽出された物体領域集合に基づいて、モデルを推定する。 The model estimation unit 32 estimates a model for identifying whether or not the target object is represented based on the feature amount based on the object region set that is a subset extracted from the set of candidate regions. Further, the model estimation unit 32 estimates a model based on the object region set extracted by the optimization process of the optimization unit 34 described later.
具体的には、モデル推定部32は、図6に示されるように、物体領域初期化部30によって初期化された物体領域集合、又は後述する最適化部34によって抽出された物体領域集合を用いて、対象物体を表すか否かを識別するためのモデルzを推定する。モデルは任意のモデルを用いることが可能で、例えばGMMやLatent SVM、線形SVMなどを用いることができる。例えば線形SVMを用いる場合、具体的には線形SVMのモデルパラメータwを、選択された候補領域の部分集合に対応する特徴量集合を正例として学習する。 Specifically, as shown in FIG. 6, the model estimation unit 32 uses the object region set initialized by the object region initialization unit 30 or the object region set extracted by the optimization unit 34 described later. Thus, the model z for identifying whether or not the target object is represented is estimated. An arbitrary model can be used as the model, and for example, a GMM, a latent SVM, a linear SVM, or the like can be used. For example, when using a linear SVM, specifically, the model parameter w of the linear SVM is learned using a feature amount set corresponding to a selected subset of candidate regions as a positive example.
ここで用いられる特徴量は、特徴量抽出部26で抽出したものを用いてもよいし、あるいは新たに抽出してもよい。また、負例の選択は任意であり、例えば選択された部分集合以外の候補領域から抽出された特徴量の平均として与えてもよいし、全く外部の画像から集中した特徴量を用いてもよい。 The feature amount used here may be the one extracted by the feature amount extraction unit 26, or may be newly extracted. Moreover, the selection of the negative example is arbitrary, and for example, it may be given as an average of feature amounts extracted from candidate regions other than the selected subset, or feature amounts concentrated from an external image may be used. .
最適化部34は、特徴量抽出部26によって候補領域の各々に対して抽出された特徴量と、重複度算出部28によって候補領域のペアの各々に対して算出された重複度と、モデル推定部32によって推定されたモデルとに基づいて、予め定められた目的関数を最適化するように、候補領域の集合から物体領域集合を抽出する。 The optimization unit 34 includes the feature amount extracted for each of the candidate regions by the feature amount extraction unit 26, the degree of overlap calculated for each pair of candidate regions by the redundancy degree calculation unit 28, and model estimation. Based on the model estimated by the unit 32, an object region set is extracted from the set of candidate regions so as to optimize a predetermined objective function.
本実施の形態では、予め定められた目的関数は、モデルを用いた、物体領域集合に含まれる候補領域の対象物体らしさを表す関数と、特徴量を用いた、物体領域集合に含まれる前記候補領域間の類似度合いを表す関数と、物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数とを含む。 In the present embodiment, the predetermined objective function is the candidate included in the object region set using the function that represents the target object likeness of the candidate region included in the object region set using the model and the feature amount. A function representing the degree of similarity between regions and a function representing the degree of overlap between candidate regions in the same image included in the object region set are included.
具体的には、最適化部34は、候補領域の抽出処理で得られた候補領域の集合 Specifically, the optimization unit 34 sets a set of candidate areas obtained by the candidate area extraction process.
の中から、対象物体個体の領域をよく捉えた候補領域の部分集合である物体領域集合を抽出する。ここで物体領域集合は、候補領域抽出部24、特徴量抽出部26、重複度算出部28、及びモデル推定部32の結果に基づいて、「対象物体らしさが高く、互いに類似しかつ空間的に最小限しか重複しない」ような候補領域の集合の部分集合を選択する最適化問題を解くことによって得るものとする。 An object region set, which is a subset of candidate regions that closely captures the region of the target object individual, is extracted from. Here, the object region set is based on the results of the candidate region extraction unit 24, the feature amount extraction unit 26, the duplication degree calculation unit 28, and the model estimation unit 32. It is obtained by solving an optimization problem that selects a subset of a set of candidate regions such that they overlap only minimally.
上記を満たす最適化は、例えば以下の式(6)で定義される目的関数を最小化するようなラベル集合 Optimization satisfying the above is, for example, a set of labels that minimizes the objective function defined by the following equation (6):
を求める問題として定式化し、以下の式(6)を解けばよい。図7に、以下の式(6)の目的関数を示す。 Can be formulated as a problem to find the following equation (6). FIG. 7 shows an objective function of the following equation (6).
上式の右辺第1項は、モデルを用いた、物体領域集合に含まれる候補領域の対象物体らしさを表す関数であり、例えば各候補領域の対象物体らしさを評価する項である。例えば、物体領域集合に含まれる候補領域の対象物体らしさを表す関数は、候補領域抽出部24で算出される各候補領域xijについて得られる対象物体らしさの値sij、モデル推定部32で得られるモデルz、およびモデル推定に用いた特徴量fijを用いて The first term on the right side of the above equation is a function that represents the target object likelihood of the candidate area included in the object area set using the model, and is a term for evaluating the target object likelihood of each candidate area, for example. For example, a function representing the target object likelihood of a candidate area included in the object area set is obtained by the target object likelihood value s ij obtained for each candidate area x ij calculated by the candidate area extraction unit 24 and obtained by the model estimation unit 32. Using the model z and the feature value f ij used for model estimation
と定義することができる。wはモデルzを線形SVMとして推定したときのモデルパラメータ、β’はパラメータである。 Can be defined as w is a model parameter when the model z is estimated as a linear SVM, and β ′ is a parameter.
上記式(6)の右辺第2項及び第3項は、例えば上記式(4)及び上記式(5)と同様に定義すればよい。上記式(6)の右辺第2項は、特徴量を用いた、物体領域集合に含まれる前記候補領域間の類似度合いを表す関数である。また、上記式(6)の右辺第3項は、物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数である。また、上記式(6)は上記式(2)同様、belief propagationやTRW-Sといった公知のアルゴリズムで解くことができる。 The second term and the third term on the right side of the formula (6) may be defined in the same manner as the formula (4) and the formula (5), for example. The second term on the right side of Equation (6) is a function that represents the degree of similarity between the candidate regions included in the object region set using the feature amount. In addition, the third term on the right side of the above equation (6) is a function representing the degree of overlap between candidate areas in the same image included in the object area set. Moreover, said Formula (6) can be solved with well-known algorithms, such as believe propagation and TRW-S, similarly to said Formula (2).
収束判定部36は、予め定められた収束条件が満たされるまで、モデル推定部32による推定及び最適化部34による抽出を繰り返す。 The convergence determination unit 36 repeats the estimation by the model estimation unit 32 and the extraction by the optimization unit 34 until a predetermined convergence condition is satisfied.
具体的には、収束判定部36は、最適化部34による処理の結果得られた物体領域集合に基づき、収束判定を行う。収束したと判定された場合、得られた物体領域集合が、後述する出力部40で結果として出力される。収束していないと判定された場合、得られた物体領域集合に基づきモデル推定部32以降の処理が繰り返される。 Specifically, the convergence determination unit 36 performs convergence determination based on the object region set obtained as a result of processing by the optimization unit 34. When it determines with having converged, the obtained object area | region set is output as a result in the output part 40 mentioned later. If it is determined that it has not converged, the processes after the model estimation unit 32 are repeated based on the obtained object region set.
収束判定の条件は任意であり、例えば直前の最適化部34で得られた物体領域集合とその1ステップ前に得られた物体領域集合とに変化がないことを収束条件としたり、あるいはモデル推定部32と最適化部34の繰り返し回数がパラメータtを超えたことを収束条件とすればよい。パラメータtは任意であり、例えばt=5などと設定すればよい。 The convergence determination condition is arbitrary. For example, the convergence condition is that there is no change between the object region set obtained by the immediately preceding optimization unit 34 and the object region set obtained one step before, or model estimation is performed. The convergence condition may be that the number of repetitions of the unit 32 and the optimization unit 34 exceeds the parameter t. The parameter t is arbitrary and may be set to t = 5, for example.
出力部40は、最適化部34によって得られた物体領域集合を結果として出力する。 The output unit 40 outputs the object region set obtained by the optimization unit 34 as a result.
<本発明の実施の形態に係る物体領域特定装置の作用>
次に、本発明の実施の形態に係る物体領域特定装置100の作用について説明する。入力部10より複数の画像が入力されると、物体領域特定装置100は、図8に示す物体領域特定処理ルーチンを実行する。
<Operation of Object Region Identification Device According to Embodiment of Present Invention>
Next, the operation of the object region specifying apparatus 100 according to the embodiment of the present invention will be described. When a plurality of images are input from the input unit 10, the object region specifying apparatus 100 executes an object region specifying process routine shown in FIG.
ステップS100において、入力部10は、複数の画像を受け付け、画像集合データベース22に格納する。 In step S <b> 100, the input unit 10 receives a plurality of images and stores them in the image set database 22.
ステップS102において、候補領域抽出部24は、上記ステップS100で画像集合データベース22に格納された複数の画像の各々から、対象物体の候補領域を抽出する。 In step S102, the candidate area extraction unit 24 extracts a candidate area of the target object from each of the plurality of images stored in the image set database 22 in step S100.
ステップS104において、特徴量抽出部26は、上記ステップS102で複数の画像の各々から抽出された候補領域の各々に対し、候補領域から特徴量を抽出する。 In step S104, the feature quantity extraction unit 26 extracts a feature quantity from the candidate area for each candidate area extracted from each of the plurality of images in step S102.
ステップS106において、重複度算出部28は、上記ステップS102で同じ画像から抽出された候補領域のペアの各々に対し、上記式(1)に従って、候補領域間の重複度を算出する。 In step S106, the degree-of-duplication calculation unit 28 calculates the degree of overlap between candidate areas for each pair of candidate areas extracted from the same image in step S102, according to the above equation (1).
ステップS108において、物体領域初期化部30は、上記ステップS104で候補領域の各々に対して抽出された特徴量と、上記ステップS106で候補領域のペアの各々に対して算出された重複度とに基づいて、上記ステップS102で抽出された候補領域の集合から、上記式(2)で定義される関数を最小化するように、対象物体を捉えていると考えられる候補領域の部分集合を、物体領域集合として抽出し、物体領域集合の初期化を行う。 In step S108, the object region initialization unit 30 determines the feature amount extracted for each candidate region in step S104 and the overlap calculated for each pair of candidate regions in step S106. Based on the set of candidate areas extracted in step S102, a subset of candidate areas that are considered to be capturing the target object so as to minimize the function defined by the above formula (2) Extract as a region set and initialize the object region set.
ステップS110において、モデル推定部32は、上記ステップS108で初期化された物体領域集合又は後述するステップS112で前回抽出された物体領域集合に基づいて、特徴量に基づいて対象物体を表すか否かを識別するためのモデルを推定する。 In step S110, the model estimation unit 32 determines whether to represent the target object based on the feature amount based on the object region set initialized in step S108 or the object region set extracted last time in step S112 described later. Estimate a model to identify
ステップS112において、最適化部34は、上記ステップS104で候補領域の各々に対して抽出された特徴量と、上記ステップS106で候補領域のペアの各々に対して算出された重複度と、上記ステップS110で推定されたモデルとに基づいて、上記式(6)に示す目的関数を最適化するように、候補領域の集合から物体領域集合を抽出する。 In step S112, the optimization unit 34 determines the feature amount extracted for each candidate area in step S104, the degree of overlap calculated for each candidate area pair in step S106, and the step Based on the model estimated in S110, an object region set is extracted from the set of candidate regions so as to optimize the objective function shown in the above equation (6).
ステップS114において、収束判定部36は、予め定められた収束条件が満たされたか否かを判定する。収束条件が満たされた場合には、ステップS116へ進む。一方、収束条件が満たされていない場合には、ステップS110へ進む。 In step S114, the convergence determination unit 36 determines whether or not a predetermined convergence condition is satisfied. If the convergence condition is satisfied, the process proceeds to step S116. On the other hand, if the convergence condition is not satisfied, the process proceeds to step S110.
ステップS116において、出力部40は、上記ステップS112で得られた物体領域集合を結果として出力して、物体領域特定処理ルーチンを終了する。 In step S116, the output unit 40 outputs the object region set obtained in step S112 as a result, and ends the object region specifying process routine.
以上説明したように、本発明の実施の形態に係る物体領域特定装置によれば、複数の画像の各々から抽出された対象物体の候補領域の各々に対し、候補領域から特徴量を抽出し、同じ画像から抽出された候補領域のペアの各々に対し、候補領域間の重複度を算出し、候補領域の集合から抽出された部分集合である物体領域集合に基づいて、対象物体を表すか否かを識別するためのモデルを推定し、候補領域の各々に対して抽出された特徴量と、候補領域のペアの各々に対して算出された重複度と、推定されたモデルとに基づいて、モデルを用いた、物体領域集合に含まれる候補領域の対象物体らしさを表す関数と、特徴量を用いた、物体領域集合に含まれる候補領域間の類似度合いを表す関数と、物体領域集合に含まれる同じ画像における候補領域間の重複度合いを表す関数とを含む目的関数を最適化するように、候補領域の集合から物体領域集合を抽出することにより、画像に含まれる対象物体を精度よく特定することができる。 As described above, according to the object region specifying device according to the embodiment of the present invention, for each of the candidate regions of the target object extracted from each of the plurality of images, the feature amount is extracted from the candidate region, For each pair of candidate regions extracted from the same image, calculate the degree of overlap between candidate regions and represent the target object based on the object region set, which is a subset extracted from the set of candidate regions Estimating a model for identifying, based on the feature amount extracted for each of the candidate regions, the redundancy calculated for each of the candidate region pairs, and the estimated model, Included in the object region set is a function that represents the target object likeness of the candidate region included in the object region set using the model, a function that represents the degree of similarity between the candidate regions included in the object region set using the feature amount, and the like. In the same image So as to optimize an objective function that includes a function representing the degree of overlapping between the regions, by extracting the object region set from a set of candidate regions, the target object included in the image can be specified accurately.
また、画像に複数の対象物体が含まれていても、複数の対象物体を網羅的に、対象物体の個体を捉えつつ対象物体の個体の領域を特定することができる。 In addition, even when a plurality of target objects are included in the image, it is possible to specify a region of the target object while comprehensively capturing the target object and capturing the target object.
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 Note that the present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、上記実施の形態では、物体領域集合を初期化する方法として、予め定められた関数を最適化するように、候補領域抽出部24によって抽出された候補領域の集合から物体領域集合を抽出する場合を例に説明したがこれに限定されるものではない。例えば、候補領域抽出部24によって算出された各候補領域の対象物体らしさに基づき、全候補領域の集合から対象物体らしさの値が特に大きい候補領域をK要素選択するなどすればよい。Kはパラメータであり、例えばK=10などと設定することができる。あるいは、各入力画像から最大一つの物体領域を抽出することを目的として、上記非特許文献1や上記非特許文献2で開示されている既存の物体領域特定手法を適用してもよい。 For example, in the above embodiment, as a method for initializing the object region set, the object region set is extracted from the candidate region set extracted by the candidate region extraction unit 24 so as to optimize a predetermined function. Although the case has been described as an example, the present invention is not limited to this. For example, based on the target object likelihood of each candidate area calculated by the candidate area extraction unit 24, K elements may be selected from candidate areas having a particularly large target object likelihood value from the set of all candidate areas. K is a parameter and can be set to K = 10, for example. Alternatively, the existing object region specifying method disclosed in Non-Patent Document 1 or Non-Patent Document 2 may be applied for the purpose of extracting at most one object region from each input image.
また、上述の物体領域特定装置100は、画像集合データベース22を備えている場合について説明したが、例えば画像集合データベース22が物体領域特定装置100の外部装置に設けられ、物体領域特定装置100は、外部装置と通信手段を用いて通信することにより、画像集合データベース22を参照するようにしてもよい。 Moreover, although the above-mentioned object area | region identification apparatus 100 demonstrated the case where the image collection database 22 was provided, the image collection database 22 is provided in the external device of the object area | region identification apparatus 100, for example, The image set database 22 may be referred to by communicating with an external device using a communication unit.
また、上述の物体領域特定装置100は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。 Further, the object area specifying apparatus 100 described above has a computer system inside, but the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. Shall be.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体、例えばCD−ROMやメモリーカード等に格納して提供することも可能である。 Further, in the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium such as a CD-ROM or a memory card. It is.
10 入力部
20 演算部
22 画像集合データベース
24 候補領域抽出部
26 特徴量抽出部
28 重複度算出部
30 物体領域初期化部
32 モデル推定部
34 最適化部
36 収束判定部
40 出力部
100 物体領域特定装置
DESCRIPTION OF SYMBOLS 10 Input part 20 Computation part 22 Image set database 24 Candidate area extraction part 26 Feature-value extraction part 28 Overlap degree calculation part 30 Object area initialization part 32 Model estimation part 34 Optimization part 36 Convergence determination part 40 Output part 100 Object area specification apparatus
Claims (5)
前記候補領域抽出部が、前記複数の画像の各々から前記対象物体の候補領域を抽出するステップと、
前記特徴量抽出部が、前記候補領域抽出部によって前記複数の画像の各々から抽出された前記候補領域の各々に対し、前記候補領域から特徴量を抽出するステップと、
前記重複度算出部が、前記候補領域抽出部によって同じ前記画像から抽出された前記候補領域のペアの各々に対し、前記候補領域間の重複度を算出するステップと、
前記モデル推定部が、前記候補領域の集合から抽出された部分集合である物体領域集合に基づいて、前記特徴量に基づいて対象物体を表すか否かを識別するためのモデルを推定するステップと、
前記最適化部が、前記特徴量抽出部によって前記候補領域の各々に対して抽出された前記特徴量と、前記重複度算出部によって前記ペアの各々に対して算出された前記重複度と、前記モデル推定部によって推定された前記モデルとに基づいて、前記モデルを用いた、前記物体領域集合に含まれる前記候補領域の対象物体らしさを表す関数と、前記特徴量を用いた、前記物体領域集合に含まれる前記候補領域間の類似度合いを表す関数と、前記物体領域集合に含まれる同じ前記画像における候補領域間の重複度合いを表す関数とを含む目的関数を最適化するように、前記候補領域の集合から前記物体領域集合を抽出するステップと、
を含み、
前記モデル推定部は、前記最適化によって抽出された前記物体領域集合に基づいて、前記モデルを推定する
物体領域特定方法。 In an object region specifying apparatus that includes a candidate region extraction unit, a feature amount extraction unit, a duplication degree calculation unit, a model estimation unit, and an optimization unit, and specifies a region of a target object included in the image for each of a plurality of images An object region identification method comprising:
The candidate area extracting unit extracting a candidate area of the target object from each of the plurality of images;
The feature amount extraction unit extracting a feature amount from the candidate region for each of the candidate regions extracted from each of the plurality of images by the candidate region extraction unit;
The step of calculating the degree of overlap between the candidate areas for each of the pair of candidate areas extracted from the same image by the candidate area extraction unit;
A step of estimating a model for identifying whether or not the model estimation unit represents a target object based on the feature quantity based on an object area set that is a subset extracted from the set of candidate areas; ,
The optimization unit extracts the feature amount extracted for each of the candidate regions by the feature amount extraction unit, the degree of redundancy calculated for each of the pairs by the redundancy degree calculation unit, and Based on the model estimated by the model estimation unit, the object region set using the feature and a function representing the target object likelihood of the candidate region included in the object region set using the model and the feature amount The candidate area so as to optimize an objective function including a function representing a similarity degree between the candidate areas included in the object area and a function representing a degree of overlap between candidate areas in the same image included in the object area set. Extracting the object region set from a set of:
Including
The model estimation unit estimates the model based on the object region set extracted by the optimization.
前記モデル推定部は、前記物体領域初期化部によって抽出された前記物体領域集合に基づいて、前記モデルを推定する
請求項1に記載の物体領域特定方法。 The object region initialization unit converts the feature amount extracted for each of the candidate regions by the feature amount extraction unit, and the overlap degree calculated for each of the pairs by the overlap degree calculation unit. A function that represents the target object likelihood of the candidate area included in the object area set, a function that represents the degree of similarity between the candidate areas included in the object area set using the feature amount, and the object Extracting the object region set from the set of candidate regions to optimize a function including a function that includes a function representing a degree of overlap between candidate regions in the same image included in the region set;
The object region specifying method according to claim 1, wherein the model estimation unit estimates the model based on the object region set extracted by the object region initialization unit.
前記モデル推定部は、前記物体領域初期化部によって抽出された前記物体領域集合、又は前記最適化部によって抽出された前記物体領域集合に基づいて、前記モデルを推定する
請求項2に記載の物体領域特定方法。 The convergence determination unit further includes a step of repeating estimation by the model estimation unit and extraction by the optimization unit until a convergence condition is satisfied,
The object according to claim 2, wherein the model estimation unit estimates the model based on the object region set extracted by the object region initialization unit or the object region set extracted by the optimization unit. Area identification method.
前記複数の画像の各々から前記対象物体の候補領域を抽出する候補領域抽出部と、
前記候補領域抽出部によって前記複数の画像の各々から抽出された前記候補領域の各々に対し、前記候補領域から特徴量を抽出する特徴量抽出部と、
前記候補領域抽出部によって同じ前記画像から抽出された前記候補領域のペアの各々に対し、前記候補領域間の重複度を算出する重複度算出部と、
前記候補領域の集合から抽出された部分集合である物体領域集合に基づいて、前記特徴量に基づいて対象物体を表すか否かを識別するためのモデルを推定するモデル推定部と、
前記特徴量抽出部によって前記候補領域の各々に対して抽出された前記特徴量と、前記重複度算出部によって前記ペアの各々に対して算出された前記重複度と、前記モデル推定部によって推定された前記モデルとに基づいて、前記モデルを用いた、前記物体領域集合に含まれる前記候補領域の対象物体らしさを表す関数と、前記特徴量を用いた、前記物体領域集合に含まれる前記候補領域間の類似度合いを表す関数と、前記物体領域集合に含まれる同じ前記画像における候補領域間の重複度合いを表す関数とを含む目的関数を最適化するように、前記候補領域の集合から前記物体領域集合を抽出する最適化部と、
を含み、
前記モデル推定部は、前記最適化によって抽出された前記物体領域集合に基づいて、前記モデルを推定する
物体領域特定装置。 An object region specifying device that specifies a region of a target object included in the image for each of a plurality of images,
A candidate area extraction unit that extracts a candidate area of the target object from each of the plurality of images;
A feature quantity extraction unit that extracts a feature quantity from the candidate area for each of the candidate areas extracted from each of the plurality of images by the candidate area extraction unit;
For each of the candidate area pairs extracted from the same image by the candidate area extraction section, a redundancy calculation section that calculates the overlap between the candidate areas;
A model estimation unit that estimates a model for identifying whether to represent a target object based on the feature amount based on an object region set that is a subset extracted from the set of candidate regions;
The feature amount extracted for each of the candidate regions by the feature amount extraction unit, the redundancy degree calculated for each of the pairs by the redundancy degree calculation unit, and estimated by the model estimation unit. Based on the model, the candidate region included in the object region set using the model and a function expressing the target object likelihood of the candidate region included in the object region set and the feature amount. The object region from the set of candidate regions so as to optimize an objective function including a function representing a similarity between them and a function representing a degree of overlap between candidate regions in the same image included in the object region set An optimization unit for extracting the set;
Including
The model estimation unit estimates the model based on the object region set extracted by the optimization.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015174036A JP6448036B2 (en) | 2015-09-03 | 2015-09-03 | Object region identification method, apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015174036A JP6448036B2 (en) | 2015-09-03 | 2015-09-03 | Object region identification method, apparatus, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017049891A JP2017049891A (en) | 2017-03-09 |
JP6448036B2 true JP6448036B2 (en) | 2019-01-09 |
Family
ID=58279822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015174036A Active JP6448036B2 (en) | 2015-09-03 | 2015-09-03 | Object region identification method, apparatus, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6448036B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200193225A1 (en) | 2017-04-28 | 2020-06-18 | Toyota Motor Europe | System and method for detecting objects in a digital image, and system and method for rescoring object detections |
CN110222704B (en) * | 2019-06-12 | 2022-04-01 | 北京邮电大学 | Weak supervision target detection method and device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3506958B2 (en) * | 1998-09-10 | 2004-03-15 | 富士写真フイルム株式会社 | Image processing method, image processing apparatus, and recording medium |
JP2012123642A (en) * | 2010-12-08 | 2012-06-28 | Toyota Central R&D Labs Inc | Image identifying device and program |
JP2012221162A (en) * | 2011-04-07 | 2012-11-12 | Toyota Central R&D Labs Inc | Object detection device and program |
JP5764094B2 (en) * | 2012-06-07 | 2015-08-12 | 日本電信電話株式会社 | Image search apparatus, image search method, and image search program |
-
2015
- 2015-09-03 JP JP2015174036A patent/JP6448036B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017049891A (en) | 2017-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rocco et al. | Efficient neighbourhood consensus networks via submanifold sparse convolutions | |
Chaudhuri et al. | Multilabel remote sensing image retrieval using a semisupervised graph-theoretic method | |
Melekhov et al. | Siamese network features for image matching | |
JP6832504B2 (en) | Object tracking methods, object tracking devices and programs | |
WO2021022970A1 (en) | Multi-layer random forest-based part recognition method and system | |
Patterson et al. | The sun attribute database: Beyond categories for deeper scene understanding | |
Zhao et al. | ApLeaf: An efficient android-based plant leaf identification system | |
CN112384948A (en) | Generating countermeasure networks for image segmentation | |
CN108681746B (en) | Image identification method and device, electronic equipment and computer readable medium | |
CN108229347B (en) | Method and apparatus for deep replacement of quasi-Gibbs structure sampling for human recognition | |
Chen et al. | Robust feature matching with alternate hough and inverted hough transforms | |
CN105488536A (en) | Agricultural pest image recognition method based on multi-feature deep learning technology | |
CN111667005B (en) | Human interactive system adopting RGBD visual sensing | |
CN103824090A (en) | Adaptive face low-level feature selection method and face attribute recognition method | |
CN107480627B (en) | Behavior recognition method and device, storage medium and processor | |
JP6389742B2 (en) | Image segmentation method, apparatus, and program | |
CN104598898B (en) | A kind of Aerial Images system for rapidly identifying and its method for quickly identifying based on multitask topology learning | |
CN104573701B (en) | A kind of automatic testing method of Tassel of Corn | |
JP6448036B2 (en) | Object region identification method, apparatus, and program | |
JP2007066019A (en) | Method and apparatus for retrieving image | |
JP6758250B2 (en) | Local feature expression learning device and method | |
JP5370267B2 (en) | Image processing system | |
JP6517652B2 (en) | Object saliency map calculation device, method and program | |
JP2015114819A (en) | Apparatus, method, and program for selecting feature | |
JP6670787B2 (en) | Apparatus, method, and program for finding repetitive patterns |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6448036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |