JP2019021243A5 - - Google Patents

Claims (16)

1. 動画像を含む画像からオブジェクトを抽出するオブジェクト抽出装置において、
   前記画像のオブジェクトマスクMkを取得する手段(20)と、
   前記画像の各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により第１類、第２類および第３類のいずれかに分類する第１分類手段(40)と、
   前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法によりさらに分類する不明分類手段(100)と、
   前記各分類結果に基づいてオブジェクトマスクMkを見直す手段(70)とを具備したことを特徴とするオブジェクト抽出装置。
2. 前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類，第２類および第３類のいずれかに分類する第２分類手段(50)を具備し、
   前記第２分類手段(50)は、
   前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正する手段(501)と、
   第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類，第２類および第３類のいずれかに分類する手段(502)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。
3. 前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類または第２類に分類する第３分類手段(60)を具備し、
   前記第３分類手段(60)は、
   第３類のスーパーピクセルを複数のスーパーピクセルに再分割する手段(601)と、
   再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類する再分類手段(602)とを具備し、
   再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１または２に記載のオブジェクト抽出装置。
4. 前記第３分類手段(60)は、前記第２分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項３に記載のオブジェクト抽出装置。
5. 前記第３分類手段(60)は、前記第１分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項３に記載のオブジェクト抽出装置。
6. 前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類または第２類に分類する第４分類手段(80)を具備し、
   前記第４分類手段(80)は、
   スーパーピクセルごとに特徴ベクトルを生成する手段(801)と、
   第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成する手段(802)と、
   第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成する手段(803)と、
   第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算する手段(804)と、
   前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定する判定手段(805)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。
7. 前記第４分類手段(80)は、前記第２分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項６に記載のオブジェクト抽出装置。
8. 前記第４分類手段(80)は、前記第１分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項６に記載のオブジェクト抽出装置。
9. 前記第１分類手段(40)は、
   オブジェクトマスクMkに基づいてスーパーピクセルごとにオブジェクト占有率を計算する手段(401)と、
   オブジェクト占有率が所定のオブジェクト閾値を上回るスーパーピクセルを第１類に分類する手段(402)と、
   オブジェクト占有率が所定の背景閾値を下回るスーパーピクセルを第２類に分類する手段(403)とを具備し、
   第１類および第３類のいずれにも分類されないスーパーピクセルを第３類に分類することを特徴とする請求項１ないし８のいずれかに記載のオブジェクト抽出装置。
10. 前記見直し後のオブジェクトマスクMkに基づいてオブジェクトを抽出することを特徴とする請求項１ないし９のいずれかに記載のオブジェクト抽出装置。
11. 前記第１類、第２類および第３類が、それぞれ「オブジェクト」、「背景」および「不明」であることを特徴とする請求項１ないし１０のいずれかに記載のオブジェクト抽出装置。
12. オブジェクト抽出装置のスーパーピクセルラベリング方法において、
    動画像を含む画像のオブジェクトマスクMkを取得し、
    前記画像を複数のスーパーピクセルに分割し、
    各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により、第１類、第２類および第３類のいずれかに分類し、
    前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法により第１類または第２類に分類し、
    前記各分類結果に基づいて各スーパーピクセルをラベリングすることを特徴とするオブジェクト抽出装置のスーパーピクセルラベリング方法。
13. 前記第１分類手法とは異なる分類手法が第２分類手法を含み、
    前記第２分類手法は、
    前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正し、
    第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類、第２類および第３類のいずれかに分類することを特徴とする請求項１２に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
14. 前記第１分類手法とは異なる分類手法が第３分類手法を含み、
    前記第３分類手法は、
    第３類のスーパーピクセルを複数のスーパーピクセルに再分割し、
    再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類し、
    再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１２に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
15. 前記第１分類手法とは異なる分類手法が第４分類手法を含み、
    前記第４分類手法が段(80)は、
    スーパーピクセルごとに特徴ベクトルを生成し、
    第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成し、
    第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成し、
    第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算し、
    前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定することを特徴とする請求項１２に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
16. 前記第１類、第２類および第３類が、それぞれ「オブジェクト」、「背景」および「不明」であることを特徴とする請求項１２ないし１５のいずれかに記載のスーパーピクセルラベリング方法。