JP6330385B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像における顕著領域を自動で検出する技術に関する。

従来、画像処理の分野では、画像において人間が注目すると予想される画像領域、あるいは注目すべき画像領域（これらを顕著領域という）を、その画像から検出（抽出）する技術が知られている。また、このような顕著領域検出の技術を用いて、画像における各画素の顕著度（saliency measure）を算出することにより、その画像の各画素の顕著度を示す顕著性マップ（saliency map）を作成することも行われる。
こうした顕著領域検出の技術は、画像から主要被写体を検出したり、画像中に映しだされている異常事象を検出するための要素技術として、例えば、監視カメラ、ロボットビジョン、マシンビジョンなど幅広い応用が期待されている。

顕著領域検出のためのアルゴリズムは、モデルベースの手法と学習ベースの手法に大別される。モデルベースの手法とは、人間の目・脳のモデルあるいは仮説を数式でモデル化し、当該モデルを使って顕著領域を検出する手法である。モデルベースは汎用性に優れるが、人間の目や脳の判断を完璧に再現できるモデルはまだ構築されておらず、現実世界の様々な問題に対応するためには、さらなる精度向上が望まれる。

一方、学習ベースの手法は、多数の事例（サンプル）データや教師信号（ground-truth）を使って顕著領域の画像特徴を学習する手法であり（特許文献１参照）、モデルや仮説が必要なく、より簡単に高精度な検出器を構築できるという利点がある。しかしながら、顕著領域として検出すべきパターンをすべて網羅するような事例データ（学習ＤＢ）を用意することが困難であったり、教師信号（ground-truth）の定義が難しい場合が多く、これが学習ベースの手法を実用化する上でのネックとなっている。

この点に鑑みた従来手法として、特許文献２では、事前知識を必要とせず、映像を構成する各フレーム間の情報を用いて顕著領域を検出する技術が提案されている。しかしながら、特許文献２の技術は、事前知識を必要としないが、複数のフレームから構成される動画像のみを対象としており、静止画像に対する顕著度の評価に適用することができない。

特開２００１−２３６５０８号公報 特開２０１０−２５８９１４号公報

本発明は、上記課題を解決するためになされたものであり、学習用の事例データを必要とせず、１枚の画像からでも顕著領域を精度よく検出可能な、学習ベースの新規な手法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、処理対象となる画像を取得する画像取得部と、前記画像から複数の学習サンプルのデータを抽出する学習サンプル抽出部と、前記複数の学習サンプルを用いて複数の識別器の学習を行う識別器学習部と、学習した前記複数の識別器を組み合わせて強識別器を生成する強識別器生成部と、前記強識
別器を用いて前記画像の顕著性マップを生成する顕著性マップ生成部と、を有することを特徴とする。

この構成によれば、処理対象となる画像自身の情報を用いて学習するため、学習用の事例データ（事前知識）を必要としない。また、処理対象の画像に特化した強識別器を自動生成し、これにより最終的な顕著性マップを得るので、従来よりも高精度の顕著領域検出が実現できる。

前記画像を前景の領域と背景の領域に分類する前景マップを生成する前景マップ生成部をさらに有し、前記学習サンプル抽出部は、前記前景の領域から正の学習サンプルを抽出し、前記背景の領域から負の学習サンプルを抽出することが好ましい。例えば、前記前景マップは、前記画像の画素ごと又はスーパーピクセルごとに前景らしさを示す値をもつマップであり、前記学習サンプル抽出部は、前記前景らしさを示す値が、第１の閾値よりも大きい画素又はスーパーピクセルを正の学習サンプルとして抽出し、前記前景らしさを示す値が、第２の閾値よりも小さい画素又はスーパーピクセルを負の学習サンプルとして抽出するとよい。

このような前景マップをまず作り、前景と背景それぞれから正の学習サンプルと負の学習サンプルを抽出するようにすることで、学習サンプルの妥当性を向上し、識別器の学習の信頼性と精度の向上を図ることができる。

前記前景マップ生成部は、モデルベースのアルゴリズムにより、前記顕著性マップ生成部により得られる顕著性マップよりも精度の低い、ラフな顕著性マップを生成し、前記ラフな顕著性マップから前記前景マップを生成することが好ましい。

モデルベースのアルゴリズムを用いることで、事前知識を必要としない顕著性マップの生成が可能である。なお、前景マップ生成部により生成するラフな顕著性マップは、学習サンプルの抽出のために用いるものなので、ラフな（精度が低い）もので構わない。

前記前景マップ生成部は、前記ラフな顕著性マップに対してセグメンテーション処理を行い、前記ラフな顕著性マップと、前記セグメンテーション処理の結果とを合成することにより、前記前景マップを生成することが好ましい。

ラフな顕著性マップは、画素ごと又はスーパーピクセルごとの個別の（つまり局所的な）顕著度を示すものなので、ノイズや外れ値などを含む可能性がある。これにセグメンテーション処理を組み合わせ、領域単位で（つまりマクロに）前景と背景を分類することで、ノイズや外れ値を低減でき、より妥当な学習サンプルの取得が可能となる。

前記前景マップ生成部は、前記ラフな顕著性マップにおける各画素又は各スーパーピクセルの顕著度を評価する指標の一つとして、画素が暗いほど高い顕著度を示すDark-channel指標を用いることが好ましい。これにより、簡単なアルゴリズムで顕著度を評価できる。

なお、本発明は、上記構成の少なくとも一部を有する画像処理装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む画像処理装置の制御方法や顕著性マップ生成方法、または、かかる方法をコンピュータに実行させるためのプログラムやそのプログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、学習用の事例データを必要とせず、１枚の画像からでも顕著領域を精度よく検出することができる。

実施形態にかかる画像処理装置の機能ブロックを示す図。 実施形態にかかる画像処理方法（顕著性マップ生成方法）の流れを示すフローチャート。 スーパーピクセル画像の例を示す図。 ＬＢＰヒストグラムを説明する図。 ブースティング処理の流れを示すフローチャート。 本手法により生成された顕著性マップと従来技術によって生成された顕著性マップの比較を示す図。

本発明の実施形態は、新規な学習ベースの顕著領域検出方法を提案するものである。その最大の特徴は、事例データ（事前知識）を必要とせず、１枚の画像からでも顕著領域の検出（顕著性マップの生成も同義である）が可能な点である。これを実現するための基本的なアイデアとして、本実施形態では以下のようなフレームワークを採用する。

（１）最初にモデルベースのアルゴリズムでラフな前景マップを計算する。
（２）ラフな前景マップにおける前景領域と背景領域とから、それぞれ正の学習サンプルと負の学習サンプルを抽出する。
（３）ステップ（２）で定義した学習サンプルを用いて、複数の識別器を学習する。
（４）学習した複数の識別器を組み合わせて強識別器を構築し、その強識別器を用いて最終的な顕著性マップを生成する。

このようなアルゴリズムによれば、画像自身の情報を用いて学習し、この画像に特化した識別器を生成するので、従来よりも高精度の検出精度を実現できる。しかも従来の学習ベースのアルゴリズムと違い、事例データ（事前知識）や教師信号が一切必要ないという利点もある。
以下、図面を参照しながら本発明の具体的な実施形態について詳しく説明する。

（構成）
本発明の一実施形態にかかる画像処理装置１の構成について説明する。図１は、画像処理装置１の構成を示す機能ブロック図である。図１に示す画像処理装置１は、入力画像を取得し、取得した入力画像の各画素における顕著度を示す顕著性マップを出力する。なお、本実施形態において入力画像は静止画像であるとして説明するが、動画像を入力として、動画像の各フレームに対して顕著性マップを出力してもよい。

図１に示すように、画像処理装置１は、画像取得部１１、制御部１２、出力部１３および記憶部１４を備える。

画像取得部１１は、外部から処理対象となる入力画像を取得するものである。画像取得部１１は、例示的には、ユーザの入力操作に応じて、画像処理装置１に接続されるデジタルカメラあるいはデジタルビデオカメラ等の撮像装置から、リアルタイムで（同期を取って）あるいは非同期で、入力画像を取得する。
ただし、入力画像の取得方法は上記に限定されず、例えば、画像取得部１１は、記憶部１４に格納されている画像データを入力画像として取得してもよいし、画像処理装置１に接続される周辺機器から入力画像を取得してもよいし、有線あるいは無線の通信ネットワ
ークを介して入力画像を取得してもよい。

制御部１２は、画像処理装置１における各種機能を統括的に制御するものである。制御部１２の制御機能は、制御プログラムをＣＰＵ（Central Processing Unit）などの処理
装置が実行することによって実現される。あるいは、制御機能は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよい。また、これらの組合
せによって実現されてもよい。制御部１２は、その制御機能の一部として、画像取得部１１から入力される入力画像に対する各種処理を実行するための機能および構成を備えている。制御部１２の詳細な機能および構成については後述する。

出力部１３は、制御部１２による入力画像の処理結果を外部に対して出力するものである。例えば、出力部１３は、各種の画像アプリケーションに上記処理結果を出力してもよい。本実施形態の出力部１３は、画像取得部１１が取得した入力画像に対して制御部１２により生成された顕著性マップを出力する。

記憶部１４は、各種データおよびコンピュータプログラムを記憶するものである。記憶部１４は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および不揮発性メモリ（例えばフラッシュメモリ）等の記憶装置を組み合わせることにより実現できる。
記憶部１４には、例えば、制御部１２において実行されるコンピュータプログラムや、当該プログラムにおいて処理される各種データ等が格納される。

（制御部）
次に、制御部１２の各部について説明する。図１に示すように、制御部１２は、前処理部１２１、ラフ前景マップ生成部１２２、学習サンプル抽出部１２３、識別器学習部１２４、強識別器生成部１２５、顕著性マップ生成部１２６を備える。各機能部の構成を、制御部１２による画像処理（顕著性マップ生成処理）の流れを示す図２のフローチャートおよびその他の図面とともに説明する。

（前処理）
まず、制御部１２は、画像取得部１１に入力された入力画像を取得する（ステップＳ１０）。入力画像は、前処理部１２１に渡される。前処理部１２１は、画像取得部１１から取得される入力画像を元画像として、画素を単位構成とする元画像から、スーパーピクセル（ＳＰ：Super Pixel）を単位構成とするスーパーピクセル画像（ＳＰ画像）を生成す
る（ステップＳ１１）。ここで、スーパーピクセルとは、画像において、色または輝度などの各種のパラメータの値が互いに類似している隣接した複数の画素からなる小領域である。すなわち、スーパーピクセル画像は、入力画像の画素の特徴量に基づいて連結された複数の領域に分割された画像といえる。スーパーピクセルを単位構成とする画像を、元画像と区別するために、スーパーピクセル画像と呼ぶ。スーパーピクセル画像の生成アルゴリズムとして複数の生成アルゴリズムが知られているが、本発明ではいずれのアルゴリズムを利用してもよい。

元画像の代わりにスーパーピクセル画像を用いた画像処理を行うことによって、処理のデータ量を大幅に削減できるので処理の高速化および省メモリ化が実現できるとともに、上記の各種パラメータ（輝度、色など）のノイズを抑制することもできる。ただし、本実施形態ではスーパーピクセル画像を用いるが、元画像をそのまま用いても構わない。元画像をそのまま用いる場合には、以降の処理単位が「スーパーピクセル」の代わりに「画素」になるだけである。

図３に、入力画像と、前処理部１２１で生成されたスーパーピクセル画像の例を示す。
スーパーピクセル画像では網の目状の模様が描画されているが、この網の目で分割された個々のパッチ（領域）がスーパーピクセルである。

（特徴量抽出）
続いて、前処理部１２１は、スーパーピクセル画像に対し、各スーパーピクセルの特徴量を抽出する処理を行う（ステップＳ１２）。ここでは、特徴量として、スーパーピクセルを構成する画素群のＲＧＢの平均値（Ｒａ，Ｇａ，Ｂａ）、スーパーピクセルを構成する画素群のＬ^＊ａ^＊ｂ^＊の平均値（Ｌａ，Ａａ，Ｂａ）、スーパーピクセルを構成する画素群のＬＢＰ（Local Binary Pattern）ヒストグラムの３つを用いる。なお、Ｌ^＊ａ^＊ｂ^＊はＣＩＥ（国際照明委員会）により規定された等色色空間の一つである（以後、単にＬａｂと記載する）。

ＬＢＰとは、注目画素と、注目画素の近傍にある画素との関係をバイナリパターンで表したものである。図４は、ＬＢＰによる特徴量の算出方法を説明する図である。符号２０１は、入力画像の一部を切り出した、３画素×３画素のサイズを持つ領域であり、中央の黒色で表した画素が処理対象の画素（注目画素）である。

ここでは、注目画素の近傍にある８つの画素の輝度値が、注目画素に対して明るいか暗いかを表すパターンを生成する。具体的には、輝度値が５未満であれば０を、５以上であれば１を与える。この結果、符号２０２のようなパターンが生成される。このようにして生成したバイナリ値を左上から順に並べ、８ビットの値（ＬＢＰ値）を生成する。

そして、スーパーピクセルを構成する全画素について算出したＬＢＰ値をビットごとに積算し、ヒストグラムを生成する。この結果、符号２０３に示したようなヒストグラムを得ることができる。このＬＢＰヒストグラム２０３（すなわち８次元のベクトル）が、スーパーピクセルに対応する特徴量となる。

（ラフ前景マップ生成）
続いて、ラフ前景マップ生成部１２２が、スーパーピクセル画像に対し、ラフ前景マップの生成を行う（ステップＳ１３〜Ｓ１５）。詳しくは、モデルベースの顕著性マップ生成処理（Ｓ１３）、セグメンテーション処理（Ｓ１４）、ラフ前景マップ生成処理（Ｓ１５）という手順で行う。以下、各々の処理を詳しく説明する。

（１）モデルベースの顕著性マップ生成処理（Ｓ１３）
ラフ前景マップ生成部１２２は、スーパーピクセル画像に対し簡易なモデルベースの顕著領域検出処理を適用し、各スーパーピクセルの顕著度を計算することで、ラフな顕著性マップを生成する。ここで「ラフな」とは、高い精度でなくてもよいことを意味する。つまり、ここで生成するラフな顕著性マップは、学習サンプルを抽出することが目的なので、最終的に得る顕著性マップよりも精度が低くて構わない。本実施形態では、次の３つの仮説に基づく簡易的なモデルを用い、下記式（１）により顕著度を求める。
・Contrast：コントラストの高い部分は顕著度が高い
・Center Prior：画像の中心にあるほど顕著度が高い
・Dark-channel：暗い部分は顕著度が高い

ここで、ｃ_ｉは、ｉ番目のスーパーピクセル（注目スーパーピクセル）であり、ｆ_０（ｃ_ｉ）は、注目スーパーピクセルの顕著度である。

Contrastは、注目スーパーピクセルとその近傍のスーパーピクセルとの特徴量の差の合計を顕著度とする指標である。ｋは特徴量の種類であり、本実施形態では、ＲＧＢの平均値、Ｌａｂの平均値、ＬＢＰヒストグラムの３種類を用いる。ｎ_ｊはｊ番目の近傍スーパーピクセルであり、Ｎ_Ｂは近傍スーパーピクセルの数である。ｄ_ｋは、特徴量ｋに関する特徴量空間における、注目スーパーピクセルｃ_ｉと近傍スーパーピクセルｎ_ｊのあいだの距離である。

Center Priorは、注目スーパーピクセルの画像中心に対する近さを顕著度とする指標である。具体的な計算方法を式（２）に示す。

ここで、（ｘ、ｙ）は注目スーパーピクセルの画像内での位置座標であり、（ｘ_ｃ，ｙ_ｃ）は画像の中心座標である。また、σ_ｘとσ_ｙはガウス分布の広がりを制御するパラメータ（定数）である。

Dark-channelは、注目スーパーピクセルｃ_ｉの暗さを顕著度とする指標である。具体的的な計算方法を式（３）に示す。

ここで、ｐは注目スーパーピクセル（式（１）のｃ_ｉと同じ）であり、ｑは注目スーパーピクセルｐを構成する各画素である。ｃは各画素のチャネル（Ｒ，Ｇ，Ｂ）を表し、Ｉ^ｃ（ｑ）は画素ｑのチャネルｃの値である。式（３）により、スーパーピクセルｐを構成する全画素の全チャネルのうちの最小値が検出され、その最小値を１から減じた値がDa-rk-channel値として得られる。

式（１）により、画像に含まれる全スーパーピクセルの顕著度を計算することで、画像のラフな顕著性マップｆ_０が得られる。

（２）セグメンテーション処理（Ｓ１４）
次に、ラフ前景マップ生成部１２２は、ステップＳ１３で得られたラフな顕著性マップｆ_０に対してセグメンテーション処理を行い、領域分割マップｆ_１を生成する。セグメンテーション処理とは、画像を前景領域と背景領域に分ける領域分割処理であり、ここでは顕著性マップｆ_０において顕著度の高いスーパーピクセルができるだけ前景に分類される
ように、前景領域の輪郭（前景と背景の境界）の最適解が探索される。セグメンテーションのアルゴリズムとしては、例えば、グラフカット（Graph Cuts）、レベルセット（Level Sets）、スネーク（Snakes）など従来から様々なものが提案されているが、いずれのアルゴリズムを用いてもよい。本実施形態ではグラフカットを用いる。領域分割マップｆ_１は、各スーパーピクセルが前景（１）か背景（０）かを示すものである。なお、各スーパーピクセルの前景らしさを前景（１）／背景（０）の２値で示すのではなく、確率（０〜１の実数値）で示すマップでもよい。

（３）ラフ前景マップ生成処理（Ｓ１５）
次に、ラフ前景マップ生成部１２２は、ステップＳ１３で得られた顕著性マップｆ_０とステップＳ１４で得られた領域分割マップｆ_１とを合成して、ラフ前景マップを生成する。本実施形態では、スーパーピクセルごとに顕著性マップｆ_０の値と領域分割マップｆ_１の値の平均値を、ラフ前景マップｆ_２（＝（ｆ_０＋ｆ_１）／２）とする。

（学習サンプル抽出）
続いて、学習サンプル抽出部１２３が、ラフ前景マップｆ_２に基づき、スーパーピクセル画像から正の学習サンプルと負の学習サンプルを抽出する（ステップＳ１６）。正の学習サンプルとは、後段の識別器学習において、前景（顕著領域）のサンプルとして利用するデータである。ラフ前景マップｆ_２の値（前景らしさ）が所定の閾値Ｔｐよりも大きいスーパーピクセル群が、正の学習サンプルとして抽出される。一方、負の学習サンプルとは、後段の識別器学習において、背景（顕著領域でないもの）のサンプルとして利用するデータである。ラフ前景マップｆ_２の値（前景らしさ）が所定の閾値Ｔｎよりも小さいスーパーピクセル群が、負の学習サンプルとして抽出される。なお、閾値Ｔｐ、ＴｎをＴｎ＜Ｔｐのように設定し、ラフ前景マップｆ_２の値がＴｎ〜Ｔｐの範囲のスーパーピクセル（つまり、前景か背景かが曖昧なスーパーピクセル）については、学習サンプルから除外するとよい。

（識別器学習）
続いて、識別器学習部１２４は、ステップＳ１６で得られた学習サンプルを元に、複数の識別器の学習を行う（ステップＳ１７）。識別器としては、正と負の２クラスの識別を行う識別器を用いる。識別器の学習アルゴリズムについては従来から多くのものが提案されており、いずれを用いることもできるが、本実施形態ではサポートベクターマシン（ＳＶＭ）を利用する。

ＳＶＭは、カーネル関数を変えることで、異なる識別器を構成できるという特徴がある。本実施形態では、カーネル関数として、Linear関数、Polynomial関数、ＲＢＦ（ラジアル基底関数：Radial basis function）、Sigmoid関数の４種類を用いる。また、各スーパーピクセルからは、ＲＧＢの平均値、Ｌａｂの平均値、ＬＢＰヒストグラムの３種類の特徴量を得ているので、カーネル４種類×特徴量３種類＝１２種類の識別器の学習が行われる。なお、カーネル関数や特徴量の数や種類は一例であり、他のものを用いても構わない。

（強識別器の生成）
続いて、強識別器生成部１２５が、ステップS１６で学習した１２個の識別器を組み合
わせて強識別器を構築する（ステップＳ１８）。ブースティングとは、複数の弱識別器を組み合わせることで強識別器を生成する操作であり、例えばAdaBoostなど、従来から多くのアルゴリズムが提案されており、いずれを用いてもよい。なお、強識別器とは、弱識別器よりも識別能力の高い識別器である。なお、本実施形態ではブースティングを用いて識別器を組み合わせることで強識別器を生成したが、バギング、ランダムフォレストなど、他の手法を用いてもよい。

図５は、本実施形態のブースティングの処理の流れを示している。ブースティングには、ステップＳ１６で得られた正及び負の学習サンプルを利用する。

まず、強識別器生成部１２５は、各学習サンプルの重みｗに初期値１／Ｄを設定する（ステップＳ２０）。Ｄは、学習サンプルの数である。そして、１２個の識別器のそれぞれでＤ個の重み付き学習サンプルの識別を行い、識別誤差の最も小さい識別器Ｓを選択する（ステップＳ２１）。次に、選択された識別器Ｓの重みβを、その識別誤差に基づいて決定する（ステップＳ２２）。その後、当該識別器Ｓと重みβと識別誤差に基づいて、各学習サンプルの重みｗを更新する（ステップＳ２３）。このとき、学習サンプルの識別が難しくなるように重みｗの調整が行われる。

ステップＳ２１〜Ｓ２３の処理を、所定の回数（Ｂ回）繰り返すことで、識別器Ｓと重みβの組がＢ個得られる。強識別器生成部１２５は、下記式のようにＢ個の識別器Ｓを線形結合することで、最終的な強識別器Ｙを生成する（ステップＳ２４）。

ここで、ｒは識別対象の画素ないしスーパーピクセルである。

（顕著性マップ生成）
以上の処理により強識別器Ｙが得られたら、顕著性マップ生成部１２６が、元画像（ステップＳ１０で入力された画像）の各画素を強識別器Ｙに入力し、各画素の顕著度を計算することで、最終的な顕著性マップを生成する（ステップＳ１９）。

以上述べた方法によれば、事前知識を一切必要とせず、入力画像自身の情報を用いて識別器の学習を行い、かつ、その識別器で入力画像の顕著性マップを生成することができる。

（実験結果）
本手法および従来技術の手法によって得られる顕著性マップについて説明する。図６には、（ａ）元画像、（ｂ）〜（ｊ）従来手法によって得られた顕著性マップ、（ｋ）本手法によって得られた顕著性マップ、および、（ｌ）正解マップ（Ground-truth）が示されている。本手法によれば、従来技術と比較して、顕著領域をより精度良く検出できていることが分かる。

（変形例）
上述した実施形態は本発明の一具体例を示したものであり、本発明の範囲をそれらの具体例に限定する趣旨のものではない。

例えば、上記実施形態では、スーパーピクセル画像を用いているが、入力された元画像のまま同様の処理を行ってもよい。その場合は、処理単位がスーパーピクセルではなく一画素になるだけである。また上記実施形態では、モデルベースの顕著領域検出により得た顕著性マップｆ_０とセグメンテーションにより得た領域分割マップｆ_１とからラフ前景マップｆ_２を生成したが、顕著性マップｆ_０をそのままラフ前景マップｆ_２として用いてもよい。また上記実施形態では、顕著性マップｆ_０を生成する際に、画素のContrast、Dark-channel、Center priorに基づき顕著度を評価したが、他のモデルや仮説を用いてもよい。また上記実施形態では、特徴量としてＲＧＢの平均値、Ｌａｂの平均値、ＬＢＰヒスト
グラムの３つを用いたが、他の種類の特徴量を用いてもよいし、特徴量の数もいくつでも構わない。また識別器の種類、学習アルゴリズム、ブースティング手法も上記実施形態のものに限られない。

（実装例）
上述した画像処理装置の具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアによる実装のいずれも可能である。例えば、画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させて、各処理を実現させてもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。よって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１：画像処理装置
１１：画像取得部、１２：制御部、１３：出力部、１４：記憶部
１２１：前処理部、１２２：ラフ前景マップ生成部、１２３：学習サンプル抽出部、１２４：識別器学習部、１２５：強識別器生成部、１２６：顕著性マップ生成部

Claims (7)

1. 処理対象となる画像を取得する画像取得部と、
   前記画像から複数の学習サンプルのデータを抽出する学習サンプル抽出部と、
   前記複数の学習サンプルを用いて複数の識別器の学習を行う識別器学習部と、
   学習した前記複数の識別器を組み合わせて強識別器を生成する強識別器生成部と、
   前記強識別器を用いて前記画像の顕著性マップを生成する顕著性マップ生成部と、
   前記画像の画素ごと又はスーパーピクセルごとに前景らしさを示す値をもつ前景マップを生成する前景マップ生成部と、
   を有し、
   前記学習サンプル抽出部は、前記前景らしさを示す値が、第１の閾値よりも大きい画素又はスーパーピクセルを正の学習サンプルとして抽出し、前記前景らしさを示す値が、第２の閾値よりも小さい画素又はスーパーピクセルを負の学習サンプルとして抽出し、
   前記第２の閾値は前記第１の閾値よりも小さく、
   前記学習サンプル抽出部は、前記前景らしさを示す値が前記第２の閾値から前記第１の閾値の範囲である画素又はスーパーピクセルを学習サンプルとして抽出しない、
   ことを特徴とする画像処理装置。
2. 前記前景マップ生成部は、モデルベースのアルゴリズムにより、前記顕著性マップ生成部により得られる顕著性マップよりも精度の低い、ラフな顕著性マップを生成し、前記ラフな顕著性マップから前記前景マップを生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記前景マップ生成部は、前記ラフな顕著性マップに対してセグメンテーション処理を行い、前記ラフな顕著性マップと、前記セグメンテーション処理の結果とを合成することにより、前記前景マップを生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記前景マップ生成部は、前記ラフな顕著性マップにおける各画素又は各スーパーピクセルの顕著度を評価する指標の一つとして、画素が暗いほど高い顕著度を示すDark-channel指標を用いる
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. コンピュータによって実行される画像処理方法であって、
   処理対象となる画像を取得する画像取得ステップと、
   前記画像から複数の学習サンプルのデータを抽出する学習サンプル抽出ステップと、
   前記複数の学習サンプルを用いて複数の識別器の学習を行う識別器学習ステップと、
   学習した前記複数の識別器を組み合わせて強識別器を生成する強識別器生成ステップと、
   前記強識別器を用いて前記画像の顕著性マップを生成する顕著性マップ生成ステップと、
   前記画像の画素ごと又はスーパーピクセルごとに前景らしさを示す値をもつ前景マップを生成する前景マップ生成ステップと、
   を有し、
   前記学習サンプル抽出ステップでは、前記前景らしさを示す値が、第１の閾値よりも大きい画素又はスーパーピクセルを正の学習サンプルとして抽出し、前記前景らしさを示す値が、第２の閾値よりも小さい画素又はスーパーピクセルを負の学習サンプルとして抽出し、
   前記第２の閾値は前記第１の閾値よりも小さく、
   前記学習サンプル抽出ステップでは、前記前景らしさを示す値が前記第２の閾値から前記第１の閾値の範囲である画素又はスーパーピクセルを学習サンプルとして抽出しない、ことを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
7. 請求項６に記載のプログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体。

Images