JP6787844B2 - Object extractor and its superpixel labeling method - Google Patents
Object extractor and its superpixel labeling method Download PDFInfo
- Publication number
- JP6787844B2 JP6787844B2 JP2017141780A JP2017141780A JP6787844B2 JP 6787844 B2 JP6787844 B2 JP 6787844B2 JP 2017141780 A JP2017141780 A JP 2017141780A JP 2017141780 A JP2017141780 A JP 2017141780A JP 6787844 B2 JP6787844 B2 JP 6787844B2
- Authority
- JP
- Japan
- Prior art keywords
- category
- superpixel
- classified
- classification
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、カメラ画像からオブジェクトを抽出するオブジェクト抽出装置およびそのスーパーピクセルラベリング方法に係り、特に、少ない処理負荷でスーパーピクセルを高い精度でラベリングすることができ、このラベリング結果に基づいてカメラ画像からオブジェクトを正確に抽出できるオブジェクト抽出装置およびそのスーパーピクセルラベリング方法に関する。 The present invention relates to an object extraction device that extracts an object from a camera image and a superpixel labeling method thereof, and in particular, superpixels can be labeled with high accuracy with a small processing load, and based on this labeling result, the superpixels can be labeled from the camera image. The present invention relates to an object extraction device capable of accurately extracting an object and a superpixel labeling method thereof.
特許文献１には、入力されたカメラ画像を多数のスーパーピクセルに分割し、対応するオブジェクトマスクに基づいて画像内の各スーパーピクセルを「オブジェクト」または「背景」のいずれかに分類してラベル付けし、ラベリング結果に基づいてオブジェクトを抽出する技術が開示されている。 In Patent Document 1, the input camera image is divided into a large number of superpixels, and each superpixel in the image is classified into either "object" or "background" and labeled based on the corresponding object mask. However, a technique for extracting an object based on the labeling result is disclosed.
非特許文献１には、3Dボクセルの投影を複数の較正されたカメラに照らし合わせることによって、各3Dボクセルを「物体」または「背景」にラベル付けするための3D視覚交差法ベースのモデルが開示されている。非特許文献２には、グラフ理論に基づくエネルギー最適化手法が開示されている。 Non-Patent Document 1 discloses a 3D visual intersection-based model for labeling each 3D voxel as an "object" or "background" by comparing the projection of the 3D voxel to a plurality of calibrated cameras. Has been done. Non-Patent Document 2 discloses an energy optimization method based on graph theory.
特許文献１では、「オブジェクト」および「背景」のいずれにも明確に分類できない「不明」の取り扱いが考慮されていない。 Patent Document 1 does not consider the treatment of "unknown" which cannot be clearly classified into either "object" or "background".
非特許文献１では、3Dボクセルのラベリングがピクセルまたはボクセルレベルで行われるので非常に敏感であり、抽出されたマスク内に不足領域や不連続領域が生じ得る。したがって、不要な画素の除去と欠落した画素の復元とのトレードオフを回避することができなかった。 Non-Patent Document 1 is very sensitive because 3D voxel labeling is performed at the pixel or voxel level, and missing areas and discontinuous areas may occur in the extracted mask. Therefore, it was not possible to avoid the trade-off between the removal of unnecessary pixels and the restoration of missing pixels.
非特許文献２では、初期オブジェクト領域と背景領域の割り当てを必要とし、単一のオブジェクト抽出であれば問題ないものの、複数のオブジェクトがある場合は満足のいく結果が得られない。また、物体内部の色分布と背景の色分布が類似していると、物体内部のテクスチャが背景とみなされて除去され易くなり、抽出されたマスクの領域が欠落しまう。 Non-Patent Document 2 requires allocation of an initial object area and a background area, and although there is no problem if a single object is extracted, a satisfactory result cannot be obtained when there are a plurality of objects. Further, if the color distribution inside the object and the color distribution of the background are similar, the texture inside the object is regarded as the background and easily removed, and the extracted mask area is lost.
本発明の目的は、上記の技術課題を解決し、少ない処理負荷でスーパーピクセルを高い精度で分類、ラベリングすることができ、このラベリング結果に基づいてカメラ画像からオブジェクトを正確に抽出できるオブジェクト抽出装置およびそのスーパーピクセルラベリング方法を提供することにある。 An object of the present invention is an object extraction device that solves the above technical problems, can classify and label superpixels with high accuracy with a small processing load, and can accurately extract objects from a camera image based on the labeling result. And its superpixel labeling method.
上記の目的を達成するために、本発明は、画像からオブジェクトを抽出するオブジェクト抽出装置において、画像のオブジェクトマスクMkを取得する手段と、画像を複数のスーパーピクセルに分割する手段と、各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により、「オブジェクト」、「背景」および「不明」のいずれかに分類する第１分類手段と、「不明」に分類された各スーパーピクセルを「オブジェクト」または「背景」に分類する不明分類手段と、各分類結果に基づいてオブジェクトマスクMkを見直す手段とを具備し、見直し後のオブジェクトマスクMkに基づいてオブジェクトを抽出するようにした。 In order to achieve the above object, the present invention presents a means for obtaining an object mask M k of an image, a means for dividing an image into a plurality of super pixels, and each super in an object extraction device for extracting an object from an image. The first classification method that classifies pixels into either "object", "background", or "unknown" by the first classification method based on the object mask M k , and each superpixel classified as "unknown" is "object". An unknown classification means for classifying into "" or "background" and a means for reviewing the object mask M k based on each classification result are provided, and objects are extracted based on the revised object mask M k .
本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.
(1) 第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対してのみ、追加的に他の分類手法を適用するので、全てのスーパーピクセルに対して選択性の高い、換言すれば計算負荷の大きい分類手法を適用する場合に較べて、カテゴリ分類に係る処理負荷を軽減できる。 (1) Since other classification methods are additionally applied only to superpixels classified into the category "Unknown" by the first classification method, the selectivity is high for all superpixels, in other words. Compared with the case of applying a classification method with a large calculation load, the processing load related to category classification can be reduced.
(2) 第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対して、不明原因である可能性の高い「マスク精度」および「スーパーピクセル分割ミス」に対して選択性の高い分類手法が適用されるので、精度の高い分類、ラベリングが可能になる。 (2) For super pixels classified into the category "Unknown" by the first classification method, a classification method with high selectivity for "mask accuracy" and "super pixel division error", which are likely to be unknown causes. Is applied, so highly accurate classification and labeling are possible.
(3)「オブジェクト」に固有のヒストグラムおよび「背景」に固有のヒストグラムに基づいて、「不明」に分類されたスーパーピクセルの特徴ベクトルが「オブジェクト」である確率および「背景」である確率を求めて分類、ラベリングを行うので、定量的な閾値に拠らない適応的で高精度の分類が可能になる。 (3) Based on the histogram peculiar to "object" and the histogram peculiar to "background", the probability that the feature vector of the superpixel classified as "unknown" is "object" and the probability that it is "background" is calculated. Since classification and labeling are performed, adaptive and highly accurate classification that does not depend on a quantitative threshold value becomes possible.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用したオブジェクト抽出装置の概要を示したブロック図である。本発明のオブジェクト抽出装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing an outline of an object extraction device to which the present invention is applied. The object extraction device of the present invention can be configured by implementing an application (program) that realizes each function on a general-purpose computer or server. Alternatively, a part of the application may be configured as a dedicated machine or a single-purpose machine that is made into hardware or ROM.
多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラCak（Ca1，Ca2…）から、図２に一例を示したカメラ画像（動画像を含む）を視点ごとに所定の周期で取得する。オブジェクトマスク生成部２０は、オブジェクトが存在しない環境下で撮影した背景映像をカメラ画像から減じて差分画像を取得し、この差分画像の各ピクセルを所定の閾値と比較する閾値処理により、図３に一例を示したオブジェクトマスクMkを生成する。 The multi-viewpoint image input unit 10 determines a predetermined camera image (including a moving image) shown in FIG. 2 from a plurality of cameras Cak (Ca1, Ca2 ...) That shoot the object Obj from different viewpoints for each viewpoint. Get in a cycle. The object mask generation unit 20 obtains a difference image by subtracting the background image taken in an environment where no object exists from the camera image, and compares each pixel of the difference image with a predetermined threshold value to obtain a difference image. Generate an object mask M k showing an example.
スーパーピクセル分割部３０は、カメラ画像を多数のスーパーピクセルp1,p2…pk（以下、piで代表する）に分割する。スーパーピクセルpiとは、輝度や色等の性質が比較的似ている複数のピクセルをまとめた、知覚的に意味のある小領域である。スーパーピクセルを算出するための手法としては、Graph-based手法、Mean Shift手法あるいはNormalized Cut手法などが知られている。各スーパーピクセルpiはオブジェクトマスクを定義するために有益な境界情報を有している。 The super pixel division unit 30 divides the camera image into a large number of super pixels p1, p2 ... pk (hereinafter, represented by pi). The super pixel pi is a perceptually meaningful small area in which a plurality of pixels having relatively similar properties such as brightness and color are grouped together. As a method for calculating superpixels, a Graph-based method, a Mean Shift method, a Normalized Cut method, and the like are known. Each superpixel pi has useful boundary information for defining the object mask.
第１分類部４０は、後に詳述するように、各スーパーピクセルpiに占めるオブジェク領域の割合（占有率ρi）をオブジェクトマスクMkに基づいて求め、各スーパーピクセルpiを占有率ρiに基づいて「オブジェクト（第１類）」、「背景（第２類）」および「不明（第３類）」のいずれかのカテゴリに分類する第１分類手法を採用する。 As will be described in detail later, the first classification unit 40 obtains the ratio (occupancy rate ρ i ) of the object area to each super pixel pi based on the object mask M k, and sets each super pixel pi to the occupancy rate ρ i . Based on this, the first classification method of classifying into one of the categories of "object (class 1)", "background (class 2)" and "unknown (class 3)" is adopted.
不明分類部１００は、第１分類部４０が「不明」に分類した各スーパーピクセルのみを対象に、前記第１分類手法とは異なる１ないし複数の分類手法を適用、併用して「オブジェクト」または「背景」に分類する。本実施形態では、不明分類部１００が後述する第２分類部５０，第３分類部６０および／または第４分類部８０を有する。 The unknown classification unit 100 applies one or more classification methods different from the first classification method to only each superpixel classified as "unknown" by the first classification unit 40, and uses them together to form an "object" or Classify as "background". In the present embodiment, the unknown classification unit 100 has a second classification unit 50, a third classification unit 60, and / or a fourth classification unit 80, which will be described later.
オブジェクトマスク見直し部７０は、前記分類結果に基づいて前記オブジェクトマスクMkを見直す。本実施形態では、「オブジェクト」ラベルＬobjを付されたスーパーピクセルpi内の各画素に対応する画素範囲がオブジェクト領域に修正され、背景ラベルLbgを付されたスーパーピクセルpi内の各画素に対応する画素範囲が背景領域に修正される。 The object mask review unit 70 reviews the object mask M k based on the classification result. In the present embodiment, the pixel range corresponding to each pixel in the super pixel pi with the "object" label L obj is modified to the object area, and each pixel in the super pixel pi with the background label L bg is modified. The corresponding pixel range is modified to the background area.
図４は、本発明の第１実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態では、前記不明分類部１００が第２分類部５０および第３分類部６０を備えている。 FIG. 4 is a functional block diagram showing the configuration of the object mask extraction device according to the first embodiment of the present invention, and the same reference numerals as those described above represent the same or equivalent parts. In the present embodiment, the unknown classification unit 100 includes a second classification unit 50 and a third classification unit 60.
第１分類部４０において、オブジェクト占有率計算部４０１は、スーパーピクセルpiごとに当該スーパーピクセルpi内の各画素に対応するオブジェクトマスクMkの画素がオブジェクト領域であるか否かに基づいて、各スーパーピクセルpiに占めるオブジェクト領域の割合を示すオブジェクト占有率ρiを計算する。 In the first classification unit 40, the object occupancy rate calculation unit 401 sets each super pixel pi based on whether or not the pixel of the object mask M k corresponding to each pixel in the super pixel pi is an object area. Calculate the object occupancy rate ρ i , which indicates the ratio of the object area to the super pixel pi.
オブジェクト識別部４０２は、スーパーピクセルpiごとに、そのオブジェクト占有率ρiを所定のオブジェクト識別閾値ρth1_objと比較し、次式(1)が成立すると当該スーパーピクセルpiをカテゴリ「オブジェクト」に分類する。 The object identification unit 402 compares the object occupancy rate ρ i with the predetermined object identification threshold ρ th1_obj for each super pixel pi, and classifies the super pixel pi into the category “object” when the following equation (1) is satisfied. ..
ρth1_obj＜ρi＜１ …(1) ρ th1_obj <ρ i <1… (1)
背景識別部４０３は、スーパーピクセルpiごとに、そのオブジェクト占有率ρiを所定の背景識別閾値ρth1_bgと比較し、次式(2)が成立すると当該スーパーピクセルpiをカテゴリ「背景」に分類する。 The background identification unit 403 compares the object occupancy rate ρ i with the predetermined background identification threshold value ρ th1_bg for each super pixel pi, and classifies the super pixel pi into the category “background” when the following equation (2) is satisfied. ..
０＜ρi＜ρth1_bg …(2) 0 <ρ i <ρ th1_bg … (2)
ラベリング部４０４は、カテゴリが「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬobjを付し、カテゴリが「背景」のスーパーピクセルpiに背景ラベルLbgを付する。なお、「オブジェクト」および「背景」のいずれのカテゴリにも分類されなかったスーパーピクセルpiはカテゴリ「不明」に分類され、この時点ではラベル付けが行われない。 The labeling unit 404 attaches the "object" label L obj to the super pixel pi of the category "object" and attaches the background label L bg to the super pixel pi of the category "background". Note that superpixel pi that is not classified in either the "object" or "background" category is classified in the category "unknown" and is not labeled at this point.
図５は、前記第１分類部４０による分類結果の一例を示した図であり、白色部分（画素値＝255）がカテゴリ「オブジェク」に分類された領域、黒色部分（画素値=0）がカテゴリ「背景」に分類された領域である。また、一部拡大して示したように、主に「オブジェク」領域と「背景」領域との境界に位置するグレー部分が、「オブジェクト」および「背景」のいずれにも分類されなかったカテゴリ「不明」の領域である。 FIG. 5 is a diagram showing an example of the classification result by the first classification unit 40, in which the white portion (pixel value = 255) is classified into the category “object” and the black portion (pixel value = 0). Areas classified into the category "Background". In addition, as shown in a partially enlarged view, the gray part mainly located at the boundary between the "object" area and the "background" area is not classified into either "object" or "background". This is the area of "unknown".
図６は、「オブジェクト」、「背景」および「不明」の各分類結果をカメラ画像との比較で示した図である。本発明の発明者らは、スーパーピクセルpiの一部がカテゴリ「不明」に分類される原因が、カテゴリ「不明(1)」のように、スーパーピクセル分割のミスによるものと、カテゴリ「不明(2)」のように、オブジェクトマスクの精度によるものとに大別できることを新たに知見した。 FIG. 6 is a diagram showing each classification result of “object”, “background”, and “unknown” by comparison with a camera image. According to the inventors of the present invention, the reason why a part of the super pixel pi is classified into the category "unknown" is due to a mistake in superpixel division as in the category "unknown (1)" and the category "unknown (unknown). 2) ”, we newly discovered that it can be roughly divided into those based on the accuracy of the object mask.
そこで、本発明ではカテゴリ「不明」の領域に対してのみ更に、マスク精度に関わらず選択性の高い高精度の分類を可能にする第２分類手法、およびスーパーピクセル分割のミスに関わらず選択性の高い高精度の分類を可能にする第３分類手法を適用することにより、「不明」領域を「オブジェクト」および「背景」のいずれかに分類するようにしている。 Therefore, in the present invention, the second classification method that enables highly selective classification with high selectivity regardless of the mask accuracy, and the selectivity regardless of the mistake of superpixel division, only for the region of the category "unknown". By applying the third classification method that enables high-precision classification of the "unknown" area, the "unknown" area is classified into either "object" or "background".
図４へ戻り、第２分類部５０は、カテゴリ「不明」のスーパーピクセルpiのみを対象に、特に「不明(2)」の分類の好適な第２分類手法を適用することで「オブジェクト」または「背景」のいずれかのカテゴリに分類する。そして、カテゴリ「オブジェクト」に分類されたスーパーピクセルpiにはオブジェクトラベルＬobjを付し、カテゴリ「背景」に分類されたスーパーピクセルには背景ラベルLbgを付するようにしている。 Returning to FIG. 4, the second classification unit 50 targets only the super pixel pi of the category “unknown”, and by applying a suitable second classification method of the classification of “unknown (2)”, the “object” or Classify into one of the "background" categories. Then, the object label L obj is attached to the super pixel pi classified into the category "object", and the background label L bg is attached to the super pixel classified into the category "background".
第２分類部５０において、オブジェクトマスク修正部５０１は、後に詳述するように、前記オブジェクトマスクMkとは視点の異なる複数の他のカメラ画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正する。 In the second classification unit 50, the object mask correction unit 501 applies to the object masks M k-1 and M k + 1 of a plurality of other camera images having different viewpoints from the object mask M k , as will be described in detail later. Based on this, the object mask M k is modified.
分類再試行部５０２は、カテゴリが「不明」の各スーパーピクセルpiを前記修正後のオブジェクトマスクMk'に基づいて「オブジェクト」、「背景」および「不明」のいずれかのカテゴリに分類する。ラベリング部５０３は、カテゴリ「オブジェクト」のスーパーピクセルpiにオブジェクトラベルLobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。 The classification retry unit 502 classifies each super pixel pi of the category "unknown" into any of the categories of "object", "background", and "unknown" based on the modified object mask M k' . The labeling unit 503 attaches the object label L obj to the super pixel pi of the category "object" and attaches the background label L bg to the super pixel pi of the category "background".
第３分類部６０は、前記第2分類部５０による分類後も依然としてカテゴリ「不明」のスーパーピクセルpiを対象に、特に「不明(1)」の分類に好適な第３分類手法を適用することで「オブジェクト」または「背景」のいずれかのカテゴリに分類する。そして、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルLobjを付し、カテゴリ「背景」のスーパーピクセルに背景ラベルLbgを付する。 The third classification unit 60 applies a third classification method particularly suitable for the classification of "unknown (1)" to the super pixel pi of the category "unknown" even after the classification by the second classification unit 50. To classify into either "object" or "background" category. Then, the object label L obj is attached to the super pixel of the category "object", and the background label L bg is attached to the super pixel of the category "background".
第３分類部６０において、スーパーピクセル再分割部６０１は、図７に示したように、カテゴリが「不明(1)」のスーパーピクセルpiを更に複数のスーパーピクセルに分割する。再分割部６０２は、各スーパーピクセルpiを、そのオブジェクト占有率ρiに基づいて「オブジェクト」または「背景」に分類する。 In the third classification unit 60, the super pixel subdivision unit 601 further divides the super pixel pi of the category “unknown (1)” into a plurality of super pixels, as shown in FIG. The subdivision unit 602 classifies each superpixel pi into an "object" or a "background" based on its object occupancy rate ρ i .
そして、依然として「不明」のスーパーピクセルについてはスーパーピクセル分割を繰り返し、最終的に全てのスーパーピクセルを「オブジェクト」または「背景」に分類する。ラベリング部６０３は、カテゴリ「オブジェクト」のスーパーピクセルpiにオブジェクトラベルＬobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。 Then, the superpixel division is repeated for the superpixels that are still "unknown", and finally all the superpixels are classified into "object" or "background". The labeling unit 603 attaches the object label L obj to the super pixel pi of the category "object" and attaches the background label L bg to the super pixel pi of the category "background".
図８は、前記第１分類部４０によるスーパーピクセルpiの分類手順を示したフローチャートである。 FIG. 8 is a flowchart showing the classification procedure of the super pixel pi by the first classification unit 40.
ステップＳ４１では、スーパーピクセル分割部３０からカメラ画像のスーパーピクセルpiが取得される。ステップＳ４２では、オブジェクトマスク生成部２０からオブジェクトマスクMkが取得される。ステップＳ４３では、オブジェクト占有率計算部４０１において、スーパーピクセルpiごとにオブジェクトマスクMkに基づいてオブジェクト占有率ρiが計算される。 In step S41, the super pixel pi of the camera image is acquired from the super pixel dividing unit 30. In step S42, the object mask M k is acquired from the object mask generation unit 20. In step S43, the object occupancy rate calculation unit 401 calculates the object occupancy rate ρ i for each super pixel pi based on the object mask M k .
ステップＳ４４では、オブジェクト識別部４０２が、スーパーピクセルpiの一つに注目し、今回の注目スーパーピクセルpiがオブジェクト領域であるか否かを、オブジェクト識別閾値ρth1_objとオブジェクト占有率ρiとの比較結果に基づいて判断する。本実施形態では、上式(1)が成立すればオブジェクト領域と識別されてステップＳ４５へ進み、今回の注目スーパーピクセルpiがカテゴリ「オブジェクト」に分類される。 In step S44, the object identification unit 402 pays attention to one of the super pixel pis, and compares the object identification threshold value ρt h1_obj with the object occupancy rate ρ i to determine whether or not the attention superpixel pi this time is an object area. Make a decision based on the results. In the present embodiment, if the above equation (1) is satisfied, the area is identified as an object area and the process proceeds to step S45, and the superpixel pi of interest this time is classified into the category “object”.
これに対して、上式(1)が成立しなければステップＳ４６へ進み、背景識別部４０３が、今回の注目スーパーピクセルpiが背景領域であるか否かを、背景識別閾値ρth1_bgとオブジェクト占有率ρiとの比較結果に基づいて判断する。本実施形態では、上式(2)が成立すれば背景領域と識別されてステップＳ４７へ進み、今回の注目スーパーピクセルpiがカテゴリ「背景」に分類される。 On the other hand, if the above equation (1) is not satisfied, the process proceeds to step S46, and the background identification unit 403 determines whether or not the superpixel pi of interest this time is the background area with the background identification threshold value ρ th1_bg and the object occupancy. Judgment is made based on the comparison result with the rate ρ i . In the present embodiment, if the above equation (2) is satisfied, the area is identified as the background area and the process proceeds to step S47, and the superpixel pi of interest this time is classified into the category “background”.
ステップＳ４８では、前記ラベリング部４０４により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルＬobjが付され、カテゴリが「背景」のスーパーピクセルに背景ラベルＬbgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」に分類され、ラベル付けは行わない。 In step S48, the labeling unit 404 assigns the object label L obj to the superpixels of the category “object” and the background label L bg to the superpixels of the category “background”. Superpixels that are not classified as either "object" or "background" are classified in the category "unknown" and are not labeled.
ステップＳ４９では、全てのスーパーピクセルpiについて上記の分類処理が完了したか否かが判断される。完了していなければステップＳ４４へ戻り、注目するスーパーピクセルpiを切り換えながら上記の各処理が繰り返される。 In step S49, it is determined whether or not the above classification process is completed for all the super pixel pi. If it is not completed, the process returns to step S44, and each of the above processes is repeated while switching the super pixel pi of interest.
図９は、前記第2分類部５０によるカテゴリ「不明」のスーパーピクセルpiを対象とした分類手順を示したフローチャートである。 FIG. 9 is a flowchart showing a classification procedure for the super pixel pi of the category “unknown” by the second classification unit 50.
ステップＳ５１では、「オブジェクト」および「背景」のいずれにも分類されなかったカテゴリ「不明」のスーパーピクセルpiが取得される。ステップＳ５２では、他のカメラ画像に関して生成された複数のオブジェクトマスクMk-1，Mk+1およびそのカメラパラメータが取得される。 In step S51, superpixel pi of the category "unknown" that is not classified into either "object" or "background" is acquired. In step S52, a plurality of object masks M k-1 , M k + 1, and their camera parameters generated for other camera images are acquired.
ステップＳ５３では、オブジェクトマスクMkおよび各参照用のオブジェクトマスク Mk-1，Mk+1に基づいて3Dビジュアルハルが構築され、マスクMkにおけるカテゴリ「不明」のスーパーピクセルの各座標を各参照用のオブジェクトマスクMk-1，Mk+1へ投影することで対応画素が識別される。ステップＳ５４では、前記オブジェクトマスク修正部５０１により、対応画素との比較でマスクMkが修正される。 In step S53, a 3D visual hull is constructed based on the object mask M k and the object masks M k-1 and M k + 1 for each reference, and each coordinate of the superpixel of category "unknown" in the mask M k is set. Corresponding pixels are identified by projecting onto the reference object masks M k-1 and M k + 1 . In step S54, the object mask correction unit 501 corrects the mask M k in comparison with the corresponding pixel.
本実施形態では、オブジェクトマスクMkの座標x,yにおける画素値をMk(x,y)、オブジェクトマスクMk-1の対応座標xk-1,yk-1における画素値をMk-1(x k-1,y k-1)、オブジェクトマスクMk+1の対応座標xk+1,yk+1における画素値をMk+1(x k+1,y k+1)としたとき、次式に基づいてオブジェクトマスクMkが修正される。 In the present embodiment, the pixel value at the coordinates x, y of the object mask M k is M k (x, y), and the pixel value at the corresponding coordinates x k-1 and y k-1 of the object mask M k-1 is M k. -1 (x k-1 , y k-1 ), the pixel value at the corresponding coordinates x k + 1 , y k + 1 of the object mask M k + 1 is M k + 1 (x k + 1 , y k + 1) ), The object mask M k is modified based on the following equation.
すなわち、参照用のオブジェクトマスクMk-1，Mk+1の画素値がいずれも0（背景）の座標については、オブジェクトマスクMkの現画素値に関わらず、その画素値が「0」に書き替えられる。同様に、参照用のオブジェクトマスクMk-1，Mk+1の画素値がいずれも２５５（オブジェクト）の座標については、オブジェクトマスクMkの現画素値に関わらず、その画素値が「２５５」に書き替えられる。参照オブジェクトマスクMk-1，Mk+1の画素値が一致しない場合はオブジェクトマスクMkの現画素値が維持される。 That is, for the coordinates where the pixel values of the reference object masks M k-1 and M k + 1 are both 0 (background), the pixel value is "0" regardless of the current pixel value of the object mask M k. Is rewritten as. Similarly, for the coordinates where the pixel values of the reference object masks M k-1 and M k + 1 are 255 (objects), the pixel values are "255" regardless of the current pixel values of the object mask M k. Is rewritten as. If the pixel values of the reference object masks M k-1 and M k + 1 do not match, the current pixel values of the object mask M k are maintained.
ステップＳ５５では、修正後のオブジェクトマスクMk'に基づいて、カテゴリが「不明」のスーパーピクセルpiごとにオブジェクト占有率ρiが再計算される。 In step S55, the object occupancy rate ρ i is recalculated for each superpixel pi of the category “unknown” based on the modified object mask M k '.
ステップＳ５６では、スーパーピクセルpiの一つに注目して、今回の注目スーパーピクセルpiがオブジェクト領域に対応しているか否かが、オブジェクト判定閾値ρth2_objとオブジェクト占有率ρiとの比較結果に基づいて判断される。本実施形態では、次式(4)が成立すればオブジェクト領域と識別されてステップＳ５７へ進み、今回の注目スーパーピクセルpiがカテゴリ「オブジェクト」に分類される。 In step S56, paying attention to one of the super pixel pi, whether or not the super pixel pi of interest this time corresponds to the object area is based on the comparison result between the object determination threshold value ρ th2_obj and the object occupancy rate ρ i. Is judged. In the present embodiment, if the following equation (4) is satisfied, the area is identified as an object area and the process proceeds to step S57, and the superpixel pi of interest this time is classified into the category “object”.
ρth2_obj＜ρi＜１ …(4) ρ th2_obj <ρ i <1… (4)
これに対して、上式(4)が成立しなければステップＳ５８へ進み、今回の注目スーパーピクセルpiが背景領域に対応しているか否かが、背景判定閾値ρth2_bgとオブジェクト占有率ρiとの比較結果に基づいて判断される。本実施形態では、次式(5)が成立すれば背景領域と識別されてステップＳ５９へ進み、今回の注目スーパーピクセルpiがカテゴリ「背景」に分類される。 On the other hand, if the above equation (4) does not hold, the process proceeds to step S58, and whether or not the superpixel pi of interest this time corresponds to the background area is determined by the background determination threshold value ρ th2_bg and the object occupancy rate ρ i . Judgment is made based on the comparison result of. In the present embodiment, if the following equation (5) is satisfied, the area is identified as the background area and the process proceeds to step S59, and the superpixel pi of interest this time is classified into the category “background”.
０＜ρi＜ρth2_bg …(5) 0 <ρ i <ρ th2_bg … (5)
ステップＳ６０では、前記ラベリング部５０３により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルLobjが付され、カテゴリ「背景」のスーパーピクセルに背景ラベルLbgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」のままでラベル付けは行わない。 In step S60, the labeling unit 503 assigns the object label L obj to the superpixels of the category “object” and the background label L bg to the superpixels of the category “background”. Superpixels that are not classified as either "object" or "background" remain in the category "unknown" and are not labeled.
ステップＳ６１では、カテゴリ「不明」の全てのスーパーピクセルについて上記の分類処理が完了したか否かが判断される。完了していなければステップＳ５６へ戻り、注目する「不明」のスーパーピクセルpiを切り換えながら上記の各処理が繰り返される。 In step S61, it is determined whether or not the above classification process has been completed for all superpixels in the category "unknown". If it is not completed, the process returns to step S56, and each of the above processes is repeated while switching the "unknown" superpixel pi of interest.
図１０は、前記第３分類部６０によるカテゴリ「不明」のスーパーピクセルを対象とした分類手順を示したフローチャートである。 FIG. 10 is a flowchart showing a classification procedure for super pixels of the category “unknown” by the third classification unit 60.
ステップＳ７０では、依然として「不明」のスーパーピクセルpiが取得される。ステップＳ７１では、前記図７(a)に示したように、前記スーパーピクセルpiに外接矩形が設定される。ステップＳ７２では、前記図７(b)に示したように、前記外接矩形内が複数のスーパーピクセルに分割される。 In step S70, the "unknown" superpixel pi is still acquired. In step S71, as shown in FIG. 7A, an circumscribed rectangle is set in the superpixel pi. In step S72, as shown in FIG. 7B, the inside of the circumscribing rectangle is divided into a plurality of super pixels.
ステップＳ７３では、スーパーピクセルpiごとにオブジェクト占有率ρiが計算される。ステップＳ７４では、オブジェクト占有率ρiとオブジェクト識別閾値および背景識別閾値との関係に基づいて、上記と同様に、各スーパーピクセルpiが「オブジェクト」、「背景」、「不明」のいずれかに分類されてラベリングされる。 In step S73, the object occupancy rate ρ i is calculated for each superpixel pi. In step S74, each superpixel pi is classified into one of "object", "background", and "unknown" based on the relationship between the object occupancy rate ρ i and the object identification threshold value and the background identification threshold value, as described above. And labeled.
ステップＳ７５では、「不明」のスーパーピクセルpiが十分に少なくなったか否かが判断される。十分に少なくなっていなければステップＳ７１へ戻り、以前として「不明」のスーパーピクセルpiを更にスーパーピクセルに分解して上記の各処理が繰り返される。 In step S75, it is determined whether the "unknown" superpixel pi is sufficiently low. If the number is not sufficiently small, the process returns to step S71, and the previously "unknown" superpixel pi is further decomposed into superpixels, and each of the above processes is repeated.
これに対して、「不明」のスーパーピクセルpiが十分に少なくなるとステップＳ７６へ進み、前記ラベリング部６０３により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルLobjが付され、カテゴリ「背景」のスーパーピクセルに背景ラベルLbgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」のままでラベル付けは行わない。 On the other hand, when the number of "unknown" superpixel pi is sufficiently small, the process proceeds to step S76, and the labeling unit 603 attaches the object label L obj to the superpixel of the category "object" and supers of the category "background". Pixels have a background label L bg . Superpixels that are not classified as either "object" or "background" remain in the category "unknown" and are not labeled.
ステップＳ７７では、前記ステップＳ７０で抽出された全ての「不明」のスーパーピクセルpiについて上記の処理が完了したか否かが判断される。完了していなければステップＳ７０へ戻り、注目する「不明」のスーパーピクセルpiを切り換えながら上記の各処理を繰り返す。 In step S77, it is determined whether or not the above processing is completed for all the "unknown" super pixel pi extracted in step S70. If it is not completed, the process returns to step S70, and each of the above processes is repeated while switching the "unknown" superpixel pi of interest.
本実施形態によれば、第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対してのみ、追加的に他の分類手法を適用するので、全てのスーパーピクセルに対して選択性の高い、換言すれば計算負荷の大きい分類手法を適用する場合に較べて、カテゴリ分類に係る処理負荷を軽減できる。 According to the present embodiment, since another classification method is additionally applied only to the super pixels classified into the category "Unknown" by the first classification method, the selectivity is high for all super pixels. In other words, the processing load related to category classification can be reduced as compared with the case of applying a classification method having a large calculation load.
また、本実施形態によれば、第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対して、不明原因である可能性の高い「マスク精度」および「スーパーピクセル分割ミス」に対して選択性の高い分類手法が適用されるので、精度の高い分類、ラベリングが可能になる。 Further, according to the present embodiment, for superpixels classified into the category "unknown" by the first classification method, for "mask accuracy" and "superpixel division error" which are likely to be unknown causes. Since a highly selective classification method is applied, highly accurate classification and labeling are possible.
図１１は、本発明の第２実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００を第４分類部８０で構成し、第１分類部４０が「不明」と判断したスーパーピクセルpiを対象に第４分類部８０が再分類を実行する点に特徴がある。 FIG. 11 is a functional block diagram showing the configuration of the object mask extraction device according to the second embodiment of the present invention, and the same reference numerals as those described above represent the same or equivalent parts. In the present embodiment, the unknown classification unit 100 is composed of the fourth classification unit 80, and the fourth classification unit 80 reclassifies the super pixel pi determined by the first classification unit 40 to be “unknown”. There is a feature in.
第４分類部８０において、特徴ベクトル生成部８０１は、全てのスーパーピクセルpiについて、その特徴ベクトルを構築する。本実施形態では、スーパーピクセルpiがLab色空間に変換され、L-a-b色空間におけるスーパーピクセルpiの全ピクセルの平均値μl，μa，μbおよびLab色空間内の色成分の共分散ρll，ρaa，ρbb，ρla，ρlb，ρabが求められ、これらを特徴量とするベクトルVpi=｛μl，μa，μb，ρll，ρaa，ρbb，ρla，ρlb，ρab｝が構築される。 In the fourth classification unit 80, the feature vector generation unit 801 constructs the feature vector for all the super pixel pi. In this embodiment, the superpixel pi is converted into the Lab color space, and the average values of all the pixels of the superpixel pi in the Lab color space μ l , μ a , μ b and the covariance of the color components in the Lab color space ρ ll. , Ρ aa , ρ bb , ρ la , ρ lb , ρ ab , and the vectors Vpi = {μ l , μ a , μ b , ρ ll , ρ aa , ρ bb , ρ la , ρ lb , ρ ab } is constructed.
オブジェクトヒストグラム生成部８０２は、カテゴリ「オブジェクト」に分類された全てのスーパーピクセルpiに関して、各特徴ベクトルの特徴量を個別に投票することで、各特徴量の分布を定量的に示すオブジェクトヒストグラムHistobjを生成する。 The object histogram generation unit 802 quantitatively shows the distribution of each feature amount by individually voting the feature amount of each feature vector for all the superpixel pi classified into the category “object” Hist obj. To generate.
背景ヒストグラム生成部８０３は、カテゴリ「背景」に分類された全てのスーパーピクセルpiに関して、各特徴ベクトルの特徴量を個別に投票することで、各特徴量の分布を定量的に示す背景ヒストグラムHistbgを生成する。 The background histogram generation unit 803 quantitatively shows the distribution of each feature amount by individually voting the feature amount of each feature vector for all the superpixel pi classified in the category “background” Hist bg. To generate.
確率計算部８０４は、カテゴリ「不明」の各スーパーピクセルpiの特徴ベクトルを、オブジェクトヒストグラムHistobjおよび背景ヒストグラムHistbgと比較することで、カテゴリ「不明」のスーパーピクセルpiごとに、オブジェクトである確率Robjおよび背景である確率Rbgを計算する。 The probability calculation unit 804 compares the feature vector of each superpixel pi of the category "unknown" with the object histogram Hist obj and the background histogram Hist bg , so that the probability of being an object for each superpixel pi of the category "unknown". Calculate R obj and the probability R bg that is the background.
判定部８０５は、確率Robj＞確率Rbgのスーパーピクセルpiはカテゴリ「オブジェクト」に分類し、確率Robj≦確率Rbgのスーパーピクセルpiはカテゴリ「背景」に分類する。ラベリング部８０６は、カテゴリ「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。 The determination unit 805 classifies the superpixel pi with probability R obj > probability R bg into the category "object", and the superpixel pi with probability R obj ≤ probability R bg into the category "background". The labeling unit 806 attaches the "object" label L obj to the super pixel pi of the category "object" and attaches the background label L bg to the super pixel pi of the category "background".
図１２は、前記第４分類部８０による分類手順を示したフローチャートであり、ステップＳ８１では、「オブジェクト」、「背景」および「不明」の各カテゴリに分類されたスーパーピクセルpiが取得される。ステップＳ８２では、特徴ベクトル生成部８０１により、全てのスーパーピクセルpiについて特徴ベクトルVpiが生成される。 FIG. 12 is a flowchart showing the classification procedure by the fourth classification unit 80, and in step S81, super pixel pi classified into each category of “object”, “background”, and “unknown” is acquired. In step S82, the feature vector generation unit 801 generates the feature vector Vpi for all the superpixel pi.
本実施形態では、L-a-b色空間におけるスーパーピクセルpiの全ピクセルの平均値μl，μa，μbおよびLab色空間内の色成分の共分散ρll，ρaa，ρbb，ρla，ρlb，ρabを特徴量とする特徴ベクトルVpi=｛μl，μa，μb，ρll，ρaa，ρbb，ρla，ρlb，ρab｝が生成される。 In this embodiment, the average values of all pixels of the superpixel pi in the Lab color space μ l , μ a , μ b and the covariance of the color components in the Lab color space ρ ll , ρ aa , ρ bb , ρ la , ρ A feature vector Vpi = {μ l , μ a , μ b , ρ ll , ρ aa , ρ bb , ρ la , ρ lb , ρ ab } with lb and ρ ab as feature quantities is generated.
ステップＳ８３では、オブジェクトヒストグラム生成部８０２が、カテゴリ「オブジェクト」に分類された全てのスーパーピクセルpiに関して、その特徴ベクトルの各特徴量を個別に投票することでオブジェクトヒストグラムHistobjを生成する。同様に、背景ヒストグラム生成部８０３が、カテゴリ「背景」に分類された全てのスーパーピクセルpiに関して、その特徴ベクトルの各特徴量を個別に投票することで背景ヒストグラムHistbgを生成する。 In step S83, the object histogram generation unit 802 generates the object histogram Hist obj by individually voting each feature amount of the feature vector for all the super pixel pi classified into the category “object”. Similarly, the background histogram generation unit 803 generates the background histogram Hist bg by individually voting each feature amount of the feature vector for all the super pixel pi classified in the category “background”.
ステップＳ８４では、確率計算部８０４が、カテゴリ「不明」の各スーパーピクセルpiの特徴ベクトルを、オブジェクトヒストグラムHistobjおよび背景ヒストグラムHistbgと比較することで、カテゴリ「不明」の各スーパーピクセルpiがオブジェクトである確率Robjおよび背景である確率Rbgを計算する。 In step S84, the probability calculation unit 804 compares the feature vector of each superpixel pi of the category “unknown” with the object histogram Hist obj and the background histogram Hist bg , so that each superpixel pi of the category “unknown” is an object. Calculate the probability R obj that is and the probability R bg that is the background.
ステップＳ８５では、確率Robj，確率Rbgの大小関係が比較され、Robj＞Rbgであれば、ステップＳ８６へ進んでカテゴリ「オブジェクト」に分類される。これに対して、Robj≦Rbgであれば、ステップＳ８７へ進んでカテゴリ「背景」に分類される。ステップＳ８８では、ラベリング部８０６が、カテゴリ「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。 In step S85, the magnitude relation between the probability R obj and the probability R bg is compared, and if R obj > R bg , the process proceeds to step S86 and the object is classified into the category “object”. On the other hand, if R obj ≤ R bg , the process proceeds to step S87 and is classified into the category “background”. In step S88, the labeling unit 806 attaches the "object" label L obj to the super pixel pi of the category "object" and attaches the background label L bg to the super pixel pi of the category "background".
本実施形態によれば、「オブジェクト」に固有のヒストグラムおよび「背景」に固有のヒストグラムに基づいて、「不明」に分類されたスーパーピクセルの特徴ベクトルが「オブジェクト」である確率および「背景」である確率を求めて分類、ラベリングを行うので、定量的な閾値に拠らない適応的で高精度の分類が可能になる。 According to the present embodiment, based on the histogram specific to "object" and the histogram specific to "background", the probability that the feature vector of the superpixel classified as "unknown" is "object" and the "background" Since classification and labeling are performed by finding a certain probability, adaptive and highly accurate classification that does not depend on a quantitative threshold is possible.
図１３は、本発明の第３実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００が第２分類部５０および第４分類部８０を具備し、第１分類部４０がカテゴリ「不明」に分類したスーパーピクセルに対して第２分類部５０が再分類を実施し、第２分類部５０がカテゴリ「不明」に分類したスーパーピクセルに対して第４分類部８０が更に再分類を実施する点に特徴がある。 FIG. 13 is a functional block diagram showing the configuration of the object mask extraction device according to the third embodiment of the present invention, and the same reference numerals as those described above represent the same or equivalent parts. In this embodiment, the unknown classification unit 100 includes a second classification unit 50 and a fourth classification unit 80, and the second classification unit 50 has a second classification unit 50 for a super pixel classified into the category “unknown” by the first classification unit 40. The feature is that the second classification unit 50 performs reclassification, and the fourth classification unit 80 further reclassifies the super pixels classified into the category "unknown".
図１４は、本発明の第４実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００を第３分類部６０で構成し、第１分類部４０がカテゴリ「不明」に分類したスーパーピクセルに対して、第３分類部６０が分類を実施する点に特徴がある。 FIG. 14 is a functional block diagram showing the configuration of the object mask extraction device according to the fourth embodiment of the present invention, and the same reference numerals as those described above represent the same or equivalent parts. In the present embodiment, the unknown classification unit 100 is composed of the third classification unit 60, and the third classification unit 60 classifies the super pixels classified into the category "unknown" by the first classification unit 40. There is a feature in.
１０…多視点画像入力部，２０…オブジェクトマスク生成部，３０…スーパーピクセル分割部，４０…第１分類部，５０…第２分類部，６０…第３分類部，７０…オブジェクトマスク見直し部，８０…第４分類部，４０１…オブジェクト占有率計算部，４０２…オブジェクト識別部，４０３…背景識別部，４０４…ラベリング部，５０１…オブジェクトマスク修正部，５０２…分類再試行部，５０３…ラベリング部，６０１…スーパーピクセル再分割部，６０２…再分割部，６０３…ラベリング部，８０１…特徴ベクトル生成部，８０２…オブジェクトヒストグラム生成部，８０３…背景ヒストグラム生成部，８０４…確率計算部，８０５…判定部，８０６…ラベリング部 10 ... Multi-view image input unit, 20 ... Object mask generation unit, 30 ... Super pixel division unit, 40 ... 1st classification unit, 50 ... 2nd classification unit, 60 ... 3rd classification unit, 70 ... Object mask review unit, 80 ... 4th classification unit, 401 ... object occupancy calculation unit, 402 ... object identification unit, 403 ... background identification unit, 404 ... labeling unit, 501 ... object mask correction unit, 502 ... classification retry unit, 503 ... labeling unit , 601 ... Super pixel subdivision unit, 602 ... Subdivision unit, 603 ... Labeling unit, 801 ... Feature vector generation unit, 802 ... Object histogram generation unit, 803 ... Background histogram generation unit, 804 ... Probability calculation unit, 805 ... Judgment Part, 806 ... Labeling part
Claims (14)
前記画像のオブジェクトマスクMkを取得する手段(20)と、
前記画像の各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により第１類、第２類および第３類のいずれかに分類する第１分類手段(40)と、
前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法によりさらに分類する不明分類手段(100)と、
前記各分類の結果に基づいてオブジェクトマスクMkのオブジェクト領域および背景領域を修正することで見直す見直す手段(70)とを具備したことを特徴とするオブジェクト抽出装置。 In an object extraction device that extracts objects from images including moving images
Means (20) for obtaining the object mask Mk of the image and
A first classification means (40) that classifies each superpixel of the image into one of the first, second, and third categories by the first classification method based on the object mask Mk.
An unknown classification means (100) that further classifies each superpixel classified into the third category by a classification method different from the first classification method.
An object extraction device provided with a means (70) for reviewing by modifying the object area and the background area of the object mask Mk based on the results of each of the classifications.
前記第２分類手段(50)は、
前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正する手段(501)と、
第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類，第２類および第３類のいずれかに分類する手段(502)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。 The unknown classification means includes a second classification means (50) for classifying the superpixels classified into the third category into any of the first, second and third categories.
The second classification means (50) is
A means (501) for modifying the object mask Mk based on the object masks Mk-1 and Mk + 1 of a plurality of images having different viewpoints from the image, and
The claim is characterized in that the superpixel of the third category is provided with a means (502) for classifying the super pixel of the third category into any of the first category, the second category and the third category based on the modified object mask Mk'. The object extraction device according to 1.
前記第３分類手段(60)は、
第３類のスーパーピクセルを複数のスーパーピクセルに再分割する手段(601)と、
再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類する再分類手段(602)とを具備し、
再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１に記載のオブジェクト抽出装置。 The unknown classification means includes a third classification means (60) for classifying the superpixels classified into the third category into the first or second category.
The third classification means (60) is
A means of subdividing a third-class superpixel into multiple superpixels (601), and
It is provided with a reclassification means (602) for reclassifying each subdivided superpixel into any of Class 1, Class 2, and Class 3 based on the object mask Mk.
The object extraction device according to claim 1 , wherein the superpixels of the third category are repeatedly subdivided and reclassified even after the reclassification.
前記第３分類手段(60)は、
第３類のスーパーピクセルを複数のスーパーピクセルに再分割する手段(601)と、
再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類する再分類手段(602)とを具備し、
再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とすることを特徴とする請求項２に記載のオブジェクト抽出装置。 The unknown classification means includes a third classification means (60) for classifying superpixels classified into the third category by the second classification means into the first category or the second category .
The third classification means (60) is
A means of subdividing a third-class superpixel into multiple superpixels (601), and
It is provided with a reclassification means (602) for reclassifying each subdivided superpixel into any of Class 1, Class 2, and Class 3 based on the object mask Mk.
The object extraction device according to claim 2 , wherein the superpixels of the third category are repeatedly subdivided and reclassified even after the reclassification .
前記第４分類手段(80)は、
スーパーピクセルごとに特徴ベクトルを生成する手段(801)と、
第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成する手段(802)と、
第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成する手段(803)と、
第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算する手段(804)と、
前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定する判定手段(805)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。 The unknown classification means includes a fourth classification means (80) for classifying superpixels classified into the third category into the first or second category.
The fourth classification means (80) is
A means to generate a feature vector for each superpixel (801) and
A means (802) to generate an object histogram unique to the first category based on the feature vector of each superpixel classified into the first category.
A means (803) for generating a background histogram unique to the second category based on the feature vector of each superpixel classified into the second category, and
A means (804) for calculating the probability that each superpixel is classified into the first category and the probability that each superpixel is classified into the second category by comparing the feature vector of each superpixel classified into the third category with each histogram.
The claim is characterized by comprising a determination means (805) for determining whether each superpixel classified into the third category is a first category or a second category based on the respective probabilities. The object extraction device according to 1.
前記第４分類手段(80)は、
スーパーピクセルごとに特徴ベクトルを生成する手段(801)と、
第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成する手段(802)と、
第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成する手段(803)と、
第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算する手段(804)と、
前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定する判定手段(805)とを具備したことを特徴とする請求項２に記載のオブジェクト抽出装置。 The unknown classification means includes a fourth classification means (80) for classifying superpixels classified into the third category by the second classification means into the first category or the second category.
The fourth classification means (80) is
A means to generate a feature vector for each superpixel (801) and
A means (802) to generate an object histogram unique to the first category based on the feature vector of each superpixel classified into the first category.
A means (803) for generating a background histogram unique to the second category based on the feature vector of each superpixel classified into the second category, and
A means (804) for calculating the probability that each superpixel is classified into the first category and the probability that each superpixel is classified into the second category by comparing the feature vector of each superpixel classified into the third category with each histogram.
The claim is characterized by comprising a determination means (805) for determining whether each superpixel classified into the third category is a first category or a second category based on the respective probabilities. 2. The object extraction device according to 2.
オブジェクトマスクMkに基づいてスーパーピクセルごとにオブジェクト占有率を計算する手段(401)と、
オブジェクト占有率が所定のオブジェクト閾値を上回るスーパーピクセルを第１類に分類する手段(402)と、
オブジェクト占有率が所定の背景閾値を下回るスーパーピクセルを第２類に分類する手段(403)とを具備し、
第１類および第２類のいずれにも分類されないスーパーピクセルを第３類に分類することを特徴とする請求項１ないし６のいずれかに記載のオブジェクト抽出装置。 The first classification means (40) is
A means of calculating the object occupancy for each superpixel based on the object mask Mk (401) and
A means (402) for classifying superpixels whose object occupancy exceeds a predetermined object threshold into the first category, and
It is provided with a means (403) for classifying superpixels whose object occupancy rate is below a predetermined background threshold into the second category.
The object extraction device according to any one of claims 1 to 6, wherein a super pixel that is not classified into any of the first and second categories is classified into the third category.
動画像を含む画像のオブジェクトマスクMkを取得し、
前記画像を複数のスーパーピクセルに分割し、
各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により、第１類、第２類および第３類のいずれかに分類し、
前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法により第１類または第２類に分類し、
前記各分類の結果に基づいて各スーパーピクセルをラベリングすることを特徴とするオブジェクト抽出装置のスーパーピクセルラベリング方法。 In the super pixel labeling method of the object extractor,
Get the object mask Mk of the image including the moving image,
Divide the image into multiple superpixels
Each superpixel is classified into one of the first, second and third categories by the first classification method based on the object mask Mk.
Each superpixel classified into the third category is classified into the first category or the second category by a classification method different from the first classification method.
A superpixel labeling method for an object extractor, characterized in that each superpixel is labeled based on the results of each of the classifications.
前記第２分類手法は、
前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正し、
第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類、第２類および第３類のいずれかに分類することを特徴とする請求項１０に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。 A classification method different from the first classification method includes a second classification method.
The second classification method is
The object mask Mk is modified based on the object masks Mk-1 and Mk + 1 of a plurality of images having different viewpoints from the image.
The object extraction device according to claim 10 , wherein a third-class superpixel is classified into one of the first, second, and third types based on the modified object mask Mk'. Super pixel labeling method.
前記第３分類手法は、
第３類のスーパーピクセルを複数のスーパーピクセルに再分割し、
再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類し、
再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１０に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。 A classification method different from the first classification method includes a third classification method.
The third classification method is
Subdivide the third class superpixel into multiple superpixels,
Reclassify each subdivided superpixel into one of Class 1, Class 2, and Class 3 based on the object mask Mk.
The superpixel labeling method for an object extraction device according to claim 10 , wherein the subdivision and reclassification of the third type of superpixels are repeated even after the reclassification.
前記第４分類手法が段(80)は、
スーパーピクセルごとに特徴ベクトルを生成し、
第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成し、
第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成し、
第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算し、
前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定することを特徴とする請求項１０に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。 A classification method different from the first classification method includes a fourth classification method.
The fourth classification method is step (80).
Generate a feature vector for each superpixel
Generate an object histogram unique to the first category based on the feature vector of each superpixel classified in the first category.
A background histogram unique to the second category is generated based on the feature vector of each superpixel classified into the second category.
The feature vector of each superpixel classified into the third category is compared with each histogram to calculate the probability that each superpixel is the first category and the second category.
The supermarket of the object extraction apparatus according to claim 10 , wherein it is determined whether each superpixel classified into the third category is classified into the first category or the second category based on the respective probabilities. Pixel labeling method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017141780A JP6787844B2 (en) | 2017-07-21 | 2017-07-21 | Object extractor and its superpixel labeling method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017141780A JP6787844B2 (en) | 2017-07-21 | 2017-07-21 | Object extractor and its superpixel labeling method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019021243A JP2019021243A (en) | 2019-02-07 |
| JP2019021243A5 JP2019021243A5 (en) | 2019-08-22 |
| JP6787844B2 true JP6787844B2 (en) | 2020-11-18 |
Family
ID=65355667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017141780A Active JP6787844B2 (en) | 2017-07-21 | 2017-07-21 | Object extractor and its superpixel labeling method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6787844B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3803678A1 (en) * | 2018-05-25 | 2021-04-14 | Koninklijke Philips N.V. | Person identification systems and methods |
| KR102308381B1 (en) * | 2020-11-09 | 2021-10-06 | 인그래디언트 주식회사 | Apparatus and method for labeling medical image based on flexible superpixel |
| KR102546070B1 (en) * | 2021-06-03 | 2023-06-20 | 순천대학교 산학협력단 | Method for removing noise from time lapse video |
| CN113822904B (en) * | 2021-09-03 | 2023-08-08 | 上海爱乐慕健康科技有限公司 | Image labeling device, method and readable storage medium |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5045619B2 (en) * | 2008-09-08 | 2012-10-10 | ソニー株式会社 | Image processing apparatus and method, and program |
| JP2011034178A (en) * | 2009-07-30 | 2011-02-17 | Sony Corp | Apparatus and method for image processing, and program |
| US8818028B2 (en) * | 2010-04-09 | 2014-08-26 | Personify, Inc. | Systems and methods for accurate user foreground video extraction |
| JP2017091298A (en) * | 2015-11-12 | 2017-05-25 | 日本電信電話株式会社 | Image processing device, image processing method and image processing program |
-
2017
- 2017-07-21 JP JP2017141780A patent/JP6787844B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019021243A (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6787844B2 (en) | Object extractor and its superpixel labeling method | |
| JP6330385B2 (en) | Image processing apparatus, image processing method, and program | |
| US10929978B2 (en) | Image processing apparatus, training apparatus, image processing method, training method, and storage medium | |
| CN110717489A (en) | Method and device for identifying character area of OSD (on screen display) and storage medium | |
| EP3073443B1 (en) | 3d saliency map | |
| US20180109776A1 (en) | Method, system and medium for improving the quality of 2d-to-3d automatic image conversion using machine learning techniques | |
| EP3973507B1 (en) | Segmentation for holographic images | |
| Agrawal et al. | MATLAB implementation of image segmentation algorithms | |
| Yogeswaran et al. | 3d surface analysis for automated detection of deformations on automotive body panels | |
| Singhal et al. | A comparative approach for image segmentation to identify the defected portion of apple | |
| CN109255792A (en) | A kind of dividing method of video image, device, terminal device and storage medium | |
| JP2019021243A5 (en) | ||
| Sert | A new modified neutrosophic set segmentation approach | |
| Srikakulapu et al. | Depth estimation from single image using defocus and texture cues | |
| JP2013080389A (en) | Vanishing point estimation method, vanishing point estimation device, and computer program | |
| CN107704864A (en) | Well-marked target detection method based on image object Semantic detection | |
| JP5896661B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| Vallin Spina et al. | User-steered image segmentation using live markers | |
| JP2016081472A (en) | Image processing device, and image processing method and program | |
| JP6429323B2 (en) | Object extraction method and apparatus | |
| Boulmerka et al. | Thresholding-based segmentation revisited using mixtures of generalized Gaussian distributions | |
| Lin et al. | Foreground object detection in highly dynamic scenes using saliency | |
| Seychell et al. | Intra-object segmentation using depth information | |
| Pankaj et al. | Theoretical concepts and technical aspects on image segmentation | |
| Pan et al. | Accuracy improvement of deep learning 3D point cloud instance segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190709 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201002 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201021 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201029 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6787844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |