JP6611255B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像中の任意の領域を抽出する技術に関する。

幅広い分野において、画像からの任意の領域を抽出したいという要求がある。テレビ局やスタジオ等では、グリーンバック背景に被写体を設置して被写体領域のみを抽出するクロマキー技術が古くから研究開発され、現在も広く普及し活用されている。被写体領域のみを抽出することにより、例えば抽出した被写体画像を別画像に貼り付けて現実ではあり得ないような画像を生成する等の付加価値を得ることができる。また、人工知能に被写体を認識させるための教師データとして蓄えることもできる。このような利点から、ヴァーチャルリアリティや映画におけるＣＧ作成、ビックデータ生成などにおいて、クロマキー技術による領域の抽出技術は不可欠なものとなっている。

クロマキー技術では被写体の背景に単色のスクリーン等を用いる必要があるため、技術を利用できる場面が制限される。たとえば、屋外でのロケ映像や、競技場でのスポーツ競技においては用いることができない。この問題に対し、任意背景における任意領域の抽出技術が検討されている。例えば、背景差分を用いる方法(例えば、非特許文献１参照)、抽出対象領域および背景の、それぞれの色のヒストグラムを入力する方法（例：非特許文献２参照）、深度センサを用いる方法（例：非特許文献３参照）である。

波部斉、和田俊和、松山隆司、"照明変化に対して頑健な背景差分法"、一般社団法人情報処理学会、CVM115-3, 1999 Carsten Rother, Vladimir Kolmogorov, and Andrew Blake, "‘GrabCut’- Interactive foreground extraction using iterated graph cuts", ACM Transactios on Graphics (SIGGRAPH), 2004, Volume 23, Issue 3, p. 309-314 Ryan Crabb, Colin Tracey, Akshaya Puranik, and James David, "Real-time Foreground Segmentation via Range and Color Imaging", IEEE, CVPR Workshops, 2008

しかしながら、従来の技術には以下のような課題がある。

背景差分を用いた領域の抽出方法（以下、背景差分に基づく方法）では、抽出対象領域を含まない背景画像を事前に撮影し、抽出対象領域を含む画像と背景画像とを画素ごとに比較し、比較の結果得られる色あるいは輝度等の差分値に基づいて抽出対象領域を得る。このとき、抽出対象領域を含む画像中の背景部分の画素が、事前に撮影した背景画像の画素と等しく、かつ抽出対象領域の画素が背景画像中の画素と色成分や輝度において異なる場合、抽出対象領域の画素のみから、背景画像の画素との差分が得られ、抽出対象領域を正確に得ることが可能である。しかしながら、利用場面によっては、時刻による太陽光の変化、照明変動、または被写体の動きによる影の生成などから、事前に撮影した背景画像と抽出対象領域を含む画像における背景部分とに差分が生じ、抽出対象領域が正しく得られない。また、被写体の動きや被服によって、抽出対象領域中の画素が、事前に撮影した背景画像に含まれる画素と近い色・輝度になることがあり、この場合も正確に抽出対象領域を得られないことがある。

抽出対象を含む画像から、抽出対象領域および背景領域の画素を選択し、選択された画素の色のヒストグラムを求め、分布率に基づいて、抽出対象を含む画像の全画素に対し、抽出対象領域であるか、背景であるかの尤度を求め、この尤度に基づいて、抽出対象領域を得る方法が提案されている。この方法は、抽出対象領域と背景領域の境界を求めることが可能だが、色情報に基づく方法であるため、抽出対象領域および背景領域の画素の選択結果によっては、正確に抽出対象領域を得られないことがある。

抽出対象領域に存在する被写体までの距離を利用し、被写体のみを抽出対象領域として得る方法がある。この方法では、距離の情報によって抽出対象領域を判定するため、背景色と抽出対象領域の色が近い場合においても正確に抽出対象領域を得やすい。しかしながら、深度に基づく方法では、抽出対象でない領域に、抽出対象と等しい距離が検出された場合、これを分離することが困難である。また、深度を計測する際に赤外深度センサを用いた場合、計測できる深度情報は、画面内において疎であり、深度の結果のみを用いて、画像中の抽出対象領域を精緻に指定することが困難である。また、赤外深度センサは、黒い物体、毛皮、毛髪等に対して正確に測距することが原理的に困難であるため、被写体の種類によっては、正確に抽出対象領域を得ることができない場合がある。

このように、従来の技術では、任意の背景に対して、正確に抽出対象領域を得ることが困難となっている。

本発明は、上記に鑑みてなされたものであり、任意の背景下において、より正確に抽出対象領域を得ることを目的とする。

第１の本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像の前景領域の輪郭に沿った前景領域の形状を入力し、前記画像から前記前景領域の形状に対応する画素を切り出して処理領域画像を取得する形状入力手段と、前記処理領域画像の前景領域側の画素と前記処理領域画像の背景領域側の画素から前記画像の各画素の前景らしさ又は背景らしさの確率を保持する初期確率場を生成する初期確率場生成手段と、前記処理領域画像から前記前景領域の輪郭線を抽出する輪郭線抽出手段と、前記輪郭線に基づいて重み付けた前記初期確率場をコスト関数としてグラフカットを用いて前記画像を前景領域と背景領域とに分離する分離手段と、を有し、前記輪郭線抽出手段は、前記処理領域画像から色や位置が近い画素をクラスタリングしたスーパーピクセルを計算し、スーパーピクセルの境界を表す境界画像を生成するスーパーピクセル計算手段、前記前景領域の形状に基づいて微分フィルタを生成し、前記境界画像に当該微分フィルタを適用して前記前景領域の輪郭候補画素を抽出する微分フィルタ処理手段と、前記輪郭候補画素間を前記スーパーピクセルの境界に沿って補間して前記前景領域の輪郭線を抽出する輪郭線補間手段と、を有することを特徴とする。

第２の本発明に係る画像処理方法は、
コンピュータによって実行される画像処理方法であって、画像を入力するステップと、前記画像の前景領域の輪郭に沿った前景領域の形状を入力するステップと、前記画像から前記前景領域の形状に対応する画素を切り出して処理領域画像を取得するステップと、前記処理領域画像の前景領域側の画素と前記処理領域画像の背景領域側の画素から前記画像の各画素の前景らしさ又は背景らしさの確率を保持する初期確率場を生成するステップと、前記処理領域画像から前記前景領域の輪郭線を抽出するステップと、前記輪郭線に基づいて重み付けた前記初期確率場をコスト関数としてグラフカットを用いて前記画像を前景領域と背景領域とに分離するステップと、を有し、前記輪郭線を抽出するステップは、前記処理領域画像から色や位置が近い画素をクラスタリングしたスーパーピクセルを計算し、スーパーピクセルの境界を表す境界画像を生成するステップと、前記前景領域の形状に基づいて微分フィルタを生成し、前記境界画像に当該微分フィルタを適用して前記前景領域の輪郭候補画素を抽出するステップと、前記輪郭候補画素間を前記スーパーピクセルの境界に沿って補間して前記前景領域の輪郭線を抽出するステップと、を有することを特徴とする。

第３の本発明に係る画像処理プログラムは、上記画像処理装置の各手段としてコンピュータを動作させることを特徴とする。

本発明によれば、任意の背景下において、より正確に抽出対象領域を得ることができる。

第１の実施の形態における画像処理装置の構成を示す機能ブロック図である。 処理領域画像と初期確率場を生成する処理の流れを示すフローチャートである。 元画像の例を示す図である。 元画像に前景領域の形状を入力した様子を示す図である。 前景領域の輪郭を抽出する処理の流れを示すフローチャートである。 処理領域画像から生成したスーパーピクセルの例を示す図である。 図６のスーパーピクセルから生成した二値画像の例を示す図である。 グリッドで区分けした二値画像と各グリッドの傾きを示す図である。 二値画像に対して８方向に直交する微分フィルタを生成して適用した例を示す図である。 元画像のマネキンの胸付近を拡大した図である。 図１０の処理領域画像から抽出した輪郭候補の画素を示す図である。 図１１からノイズを除去して得られた有為線の例を示す図である。 図１２の有為線間を補間して得られた輪郭候補線の例を示す図である。 図１３の輪郭候補線から輪郭線を抽出した例を示す図である。 有為線間を補間する処理の流れを示すフローチャートである。 スーパーピクセルにラベルを付与し、画素に隣接情報を付与した様子を示す図である。 有為線Ｃ１を伸ばした様子を示す図である。 有為線の統合処理の流れを示すフローチャートである。 有為線を統合する様子を示す図である。 島状のスーパーピクセルで分断された有為線を統合する様子を示す図である。 前景切り抜き処理の流れを示すフローチャートである。 前景領域を切り出した出力画像の例を示す図である。 第２の実施の形態における画像処理装置を含む画像認識システムの全体構成図である。 第２の実施の形態における画像処理装置の構成を示す機能ブロック図である。 第２の実施の形態における画像処理装置が特徴点を抽出する処理の流れを示すフローチャートである。 第２の実施の形態における画像認識装置の処理の流れを示すフローチャートである。 クライアント端末に表示される結果の例を示す図である。

［第１の実施の形態］
＜画像処理装置の構成＞
図１は、第１の実施の形態における画像処理装置の構成を示す機能ブロック図である。

図１に示す画像処理装置１は、入力部１１、初期確率場生成部１２、スーパーピクセル計算部１３、微分フィルタ処理部１４、形状候補抽出部１５、処理確率場生成部１６、グラフカット計算部１７、及び領域論理演算部１８を備える。画像処理装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは画像処理装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

入力部１１は、前景領域と背景領域の分離を望む処理対象の元画像（カラー画像）と、元画像の前景領域の境界を含み、前景領域の大まかな形状を示す処理領域を入力し、元画像から処理領域に対応する画像を切り出して処理領域画像を生成する。入力部１１は、入力した元画像を表示する。ユーザは、表示された元画像に対して、切り出したい前景領域の輪郭部分を太いペンツールなどでなぞって処理領域を入力する。例えば、タブレットなどのタッチセンサ内蔵ディスプレイ、ペンタブレットなどのフリーハンド入力機器が利用できる。入力部１１は、ユーザがなぞった部分を元画像から切り出して処理領域画像とする。あるいは、元画像を撮影するときに、深度センサや温度センサを用いて抽出したい対象の形状を検出しておき、センサによって検出された形状に基づいて処理領域を設定してもよい。センサで処理領域の形状を入力する場合は、センサの値の閾値によって選択領域と非選択領域を定め、選択領域の画素値を１、非選択領域の画素値を０としたマスク画像を生成する。ただし、この画像は、対象の大まかな形状を再現しているものとする。

処理領域が閉領域である場合は、内側を前景領域、外側を背景領域とする。処理領域が開領域である場合は、ユーザからの入力又はセンサ情報によって、どちら側を前景領域とするのか決定する。

初期確率場生成部１２は、処理領域画像の前景領域側のふちの画素を前景の一部、処理領域画像の背景領域側のふちの画素を背景の一部の教示として、コスト最小化問題を解くために必要な、元画像の各画素の「前景らしさ」「背景らしさ」の確率を持つ初期確率場を生成する。より正確には、初期確率場は、隣接する画素と自分が同じラベル（前景又は背景）をもつ確率をすべての画素がすべての隣り合った画素に対して持っている確率場である。初期確率場は、グラフカットで用いられる既知のコスト関数である。例えば、指定された領域から画素値ヒストグラムを作成しておき、任意の画素について、その画素値が前景あるいは背景に適切にラベル付けされたときに、全体が小さいコストになるようなコスト関数である。なお、本実施形態では、グラフカットの際に、初期確率場に対して前景領域の輪郭線の重み付けを行った処理確率場を用いる。

スーパーピクセル計算部１３は、処理領域画像から色や位置が近い画素をクラスタリングしたスーパーピクセルを計算し、スーパーピクセルの境界を示す二値画像を生成する。

微分フィルタ処理部１４は、スーパーピクセル計算部１３が生成した二値画像に対して、処理領域の形状に基づいて生成した微分フィルタを適用し、前景領域の輪郭候補の画素を抽出する。

形状候補抽出部１５は、前景領域の輪郭候補の画素間を補間して前景領域の輪郭線を抽出し、輪郭線上で隣り合う画素同士に無限小のコストを付与した輪郭候補確率場を生成する。

処理確率場生成部１６は、初期確率場に対して輪郭候補確率場で重み付けて処理確率場を生成する。

グラフカット計算部１７は、処理確率場をコスト関数として、元画像の全画素に前景又は背景のラベルを付けときにコストが最小となる組み合わせをグラフカットにより求めて、前景と背景を分離し、前景領域を抽出する。グラフカットとは、あらかじめ前景領域と背景領域の一部が与えられている条件下で、前景と背景が隣接する画素には画素値に違いがあるという仮定のもと、全画素に対して前景又は背景のラベルが適切に付けられた時に最小のコストとなるコスト関数を与え、コスト最小となるラベルの組み合わせを効率よく求める計算方法である。

領域論理演算部１８は、元画像から前景領域に対応する画像を切り出して出力画像を生成する。

＜画像処理装置の動作＞
次に、第１の実施の形態における画像処理装置の処理の流れについて説明する。以下、画像処理装置１の処理を、処理領域画像の生成処理、輪郭の抽出処理、前景切り抜き処理の３つに分けて説明する。

＜処理領域画像の生成処理＞
まず、処理領域画像の生成処理について説明する。これらの処理は、入力部１１と初期確率場生成部１２によって行われる。

図２は、処理領域画像と初期確率場を生成する処理の流れを示すフローチャートである。

入力部１１は、元画像を入力する（ステップＳ１１）。図３に入力する元画像の例を示す。

入力部１１は、元画像を画面上に表示し、前景領域の形状を入力する（ステップＳ１２）。ユーザは、画面に表示された元画像の前景領域の輪郭をなぞるように大まかな形状を入力する。図４に前景領域の形状を入力した様子を示す。同図のマネキンの輪郭に沿った領域がユーザの入力した前景領域の形状である。

入力部１１は、元画像からユーザがなぞった部分を処理領域画像として切り出す（ステップＳ１３）。入力部１１は、ユーザによって入力された前景領域の輪郭を含む領域をマスク画像として保存し、元画像とマスク画像とを論理演算することで、処理領域画像を生成する。生成された処理領域画像は、初期確率場生成部１２及びスーパーピクセル計算部１３へ送信される。

初期確率場生成部１２は、処理領域画像から初期確率場を生成する（ステップＳ１４）。図４の例では、処理領域は、マネキンを囲む閉領域である。初期確率場生成部１２は、処理領域画像の内側を前景領域、処理領域画像の外側を背景領域として、前景領域の画素値と外側領域の画素値から初期確率場を生成する。

＜輪郭の抽出処理＞
続いて、輪郭の抽出処理について説明する。この処理は、スーパーピクセル計算部１３、微分フィルタ処理部１４、及び形状候補抽出部１５によって行われる。

図５は、前景領域の輪郭を抽出する処理の流れを示すフローチャートである。

スーパーピクセル計算部１３は、処理領域画像からスーパーピクセルを生成する（ステップＳ２１）。図６に、処理領域画像から生成したスーパーピクセルの例を示す。同図中の同じ色の画素の集まりが１つのスーパーピクセルである。

スーパーピクセル計算部１３は、各スーパーピクセルの輪郭を抽出した二値画像を生成する（ステップＳ２２）。スーパーピクセル計算部１３は、スーパーピクセルの境界に隣接する画素を抽出して二値画像を生成する。図７に、図６のスーパーピクセルから生成した二値画像の例を示す。

微分フィルタ処理部１４は、処理領域画像の形状に基づいて微分フィルタを生成する（ステップＳ２３）。微分フィルタ処理部１４は、処理領域画像を任意のグリッドで区分けし、各グリッドにおける処理領域画像の外周の傾きを求め、各グリッドの傾きに対して垂直にたたむ込む方向の微分フィルタを生成する。図８に、グリッドで区分けした二値画像と各グリッドの傾きを示す。

微分フィルタ処理部１４は、生成した微分フィルタを二値画像に適用する（ステップＳ２４）。図９に、二値画像に対して８方向に直交する微分フィルタを生成して適用した例を示す。微分フィルタにより、前景領域の輪郭候補の画素が抽出される。

形状候補抽出部１５は、輪郭候補の画素からノイズを除去する（ステップＳ２５）。形状候補抽出部１５は、輪郭候補の画素の連続性を求め、輪郭候補の画素が所定の閾値よりも連続している場合は有為線として残し、所定の閾値よりも短い場合はノイズとして除去する。図１０は、元画像のマネキンの胸付近を拡大した図である。図１１は、スーパーピクセル計算部１３及び微分フィルタ処理部１４により図１０の処理領域画像から抽出した輪郭候補の画素を示す図である。図１２に、図１１からノイズを除去して得られた有為線の例を示す。

形状候補抽出部１５は、有為線間をスーパーピクセルの境界に沿って補間する（ステップＳ２６）。有為線間を補間する処理の詳細は後述する。図１３に、図１２の有為線間を補間して得られた輪郭候補線の例を示す。図１３の符号２０で示した箇所の輪郭候補線は短いので無視する。

形状候補抽出部１５は、得られた輪郭候補線のうち、前景領域の輪郭に最も近い輪郭候補線を輪郭線として抽出する（ステップＳ２７）。この処理では、最も尤もらしい輪郭線を抽出できればよい。例えば、前景領域の形状と長さや傾きが近似している輪郭候補線を抽出する。正しい輪郭線を抽出するために有為なものであればよい。ユーザに輪郭候補線を提示し、ユーザが任意に選択してもよい。あるいは、輪郭候補線に画素の重複を許し、最も輪郭候補線が通りやすい線を算出して輪郭線としてもよい。図１４に、図１３の輪郭候補線から輪郭線を抽出した例を示す。図１４のマネキンに沿った白線が抽出した輪郭線である。

形状候補抽出部１５は、輪郭線上で隣り合う画素同士に無限小のコストを付与した輪郭候補確率場を生成する（ステップＳ２８）。

ここで、有為線間を補間する処理について説明する。

図１５は、有為線間を補間する処理の流れを示すフローチャートである。

スーパーピクセル計算部１３は、各スーパーピクセルにラベルを付与し（ステップＳ３１）、スーパーピクセルの境界に隣接する画素に隣接情報をヒモ付ける（ステップＳ３２）。図１６に、スーパーピクセルにラベルを付与し、画素に隣接情報を付与した様子を示す。図１６の点線の四角形が１画素を示し、実線がスーパーピクセルの境界を示す。図１６には、ラベルＬ１，Ｌ２，Ｌ３を付与された３つのスーパーピクセルを示している。スーパーピクセルＬ１の画素Ｐ１０〜Ｐ１９、スーパーピクセルＬ２の画素Ｐ２０〜Ｐ１６、及びスーパーピクセルＬ３の画素Ｐ３０〜Ｐ３８がスーパーピクセルの境界に隣接する画素である。また、図１６では、括弧内に自身の属するスーパーピクセルと隣接情報を示している。例えば、画素Ｐ１０〜Ｐ１４には（Ｌ１，Ｌ１：Ｌ３）という情報がヒモ付けられている。これは、画素Ｐ１０〜Ｐ１４は、スーパーピクセルＬ１に属し、スーパーピクセルＬ１，Ｌ３の境界に隣接していることを表している。さらに、図１６には、２つの有為線Ｃ１，Ｃ２を示している。画素Ｐ１０，Ｐ１１，Ｐ３０，Ｐ３１は有為線Ｃ１に属し、画素Ｐ１８，Ｐ１９，Ｐ２０，Ｐ２１は有為線Ｃ２に属する。

形状候補抽出部１５は、有為線の数が一定以下になるまで以下の有為線を統合する処理を繰り返す。

形状候補抽出部１５は、有為線の先端の画素と同じ隣接情報を持つ画素を有為線に含める（ステップＳ３３）。図１６の有為線Ｃ１の先端の画素は、画素Ｐ１１，Ｐ３１である。有為線Ｃ１の先端の画素Ｐ１１，Ｐ３１から４近傍で同じ隣接情報を持つ画素を探して有為線Ｃ１に含める。画素Ｐ１２は、画素Ｐ３１の４近傍で同じ隣接情報（Ｌ１：Ｌ３）を持つ画素である。画素Ｐ１２を有為線Ｃ１に含め、有為線Ｃ１の先端とする。続いて、画素Ｐ１２の４近傍で同じ隣接情報を持つ画素Ｐ３２を有為線Ｃ１に含める。以上の処理を繰り返して、有為線Ｃ１をスーパーピクセルＬ１，Ｌ３の境界に沿って伸ばしていく。図１７は、有為線Ｃ１を伸ばした様子を示す図である。画素Ｐ１２〜Ｐ１４，Ｐ３２〜Ｐ３４が有為線Ｃ１に含まれている。有為線Ｃ２も、同様に処理されて、画素Ｐ１６，Ｐ１７，Ｐ２２，Ｐ２３を含めて伸ばされている。

続いて、形状候補抽出部１５は、先端同士が近接した有為線の統合処理を行う（ステップＳ３４）。

図１８は、有為線の統合処理の流れを示すフローチャートである。

形状候補抽出部１５は、まず、有為線が別の有為線と接触したか否か判定する（ステップＳ４１）。有為線の先端の４近傍の画素が別の有為線の画素である場合に、有為線が接触したと判定する。

有為線が接触した場合（ステップＳ４１のＹＥＳ）、形状候補抽出部１５は、有為線の先端の画素にヒモ付けられた隣接情報と別の有為線の画素にヒモ付けられた隣接情報が同じか否か判定する（ステップＳ４２）。

隣接情報が同じ場合（ステップＳ４２のＹＥＳ）、形状候補抽出部１５は、接触した有為線を統合する（ステップＳ４３）。有為線を統合するときは、番号の小さい有為線に番号の大きい有為線を統合する。

隣接情報が異なる場合（ステップＳ４２のＮＯ）、形状候補抽出部１５は、接触した有為線を統合しない。

一方、有為線が接触していない場合（ステップＳ４１のＮＯ）、形状候補抽出部１５は、有為線の先端間の距離が一定以下であるか否か判定する（ステップＳ４４）。

先端間の距離が一定以下である場合（ステップＳ４４のＹＥＳ）、形状候補抽出部１５は、先端間の最短距離上の画素を含めて有為線を統合する（ステップＳ４５）。図１７の有為線Ｃ１，Ｃ２は先端が接触していないが、先端間が一定以下の距離である。そこで、形状候補抽出部１５は、図１９に示すように、有為線Ｃ１，Ｃ２の先端間の最短距離上の画素Ｐ１５，Ｐ３５を含めて、有為線Ｃ２を有為線Ｃ１に統合する。

先端間の距離が一定以下でない場合（ステップＳ４４のＮＯ）、形状候補抽出部１５は、島状のスーパーピクセルで有為線が分断されたか否か判定する（ステップと４６）。具体的には、形状候補抽出部１５は、有為線それぞれの先端の画素が共通のスーパーピクセルに属しており、補間対象画素のスーパーピクセルが先端の画素それぞれの隣接情報の共通項であるか否か判定する。図２０では、スーパーピクセルＬ１，Ｌ３の間に島状のスーパーピクセルＬ２が形成されて、スーパーピクセルＬ１，Ｌ３の境界に沿った有為線Ｃ１，Ｃ２が分断されている。図２０において、有為線Ｃ１の先端の画素Ｐ１０はスーパーピクセルＬ１に属し、有為線Ｃ２の先端の画素Ｐ１１はスーパーピクセルＬ１に属している。つまり、有為線それぞれの先端の画素が共通のスーパーピクセルに属している。画素Ｐ１０の４近傍の補間対象画素Ｐ２０はスーパーピクセルＬ２に属している。画素Ｐ１１の４近傍の補間対象画素Ｐ２９はスーパーピクセルＬ２に属している。画素Ｐ１０の隣接情報はＬ１：Ｌ２：Ｌ３であり、画素Ｐ１１の隣接情報はＬ１：Ｌ２：Ｌ３である。つまり、補間対象画素Ｐ２０，Ｐ２９の属するスーパーピクセルＬ２は、先端の画素Ｐ１０，Ｐ１１の隣接情報の共通項である。したがって、図２０の状況は、ステップＳ４６でＹＥＳと判定される。

島状のスーパーピクセルで有為線が分断されたと判定した場合（ステップＳ４６のＹＥＳ）、形状候補抽出部１５は、補間対象画素を最短距離でつなげて有為線を統合する（ステップＳ４７）。このとき補間した画素の有意度を半値（例えば０．５）とする。有意度が半値の場合、初期確率場に対する影響を少なくする。図２０では、スーパーピクセルＬ２の境界に沿って、補間対象画素Ｐ２０，Ｐ２９の間の画素Ｐ２１〜Ｐ２４，Ｐ２５〜Ｐ２８を有為線Ｃ１に含めて、有為線Ｃ２を有為線Ｃ１に統合する。

以上の処理により有為線を統合し、有為線の数を減らしていく。

＜前景切り抜き処理＞
続いて、前景切り抜き処理について説明する。この処理は、処理確率場生成部１６、グラフカット計算部１７、及び領域論理演算部１８によって行われる。

図２１は、前景切り抜き処理の流れを示すフローチャートである。

処理確率場生成部１６は、初期確率場に対して輪郭候補確率場を重み付けて処理確率場を生成する（ステップＳ５１）。重みの比率は、例えば、背景色と前景色が近い場合は形状に重みをおくなど、有為に定めることができる。初期確率場に対して輪郭候補確率場を重み付けることで、前景領域の一部と背景領域の一部の色ヒストグラムから生成した初期確率場に、前景領域の形状の重み付けを行うことができる。

グラフカット計算部１７は、処理確率場をコスト関数として、コスト最小となるように元画像の全画素に前景又は背景のラベルを付与し、前景領域を抽出する（ステップＳ５２）。このとき、処理の高速化のために、スーパーピクセル計算部１３が生成したスーパーピクセルを用いて、スーパーピクセル間のグラフカットを行ってもよい。

領域論理演算部１８は、前景領域と背景領域に二分化された１，０の二値画像を生成し、この二値画像と元画像とを論理演算することで、前景領域を切り出した出力画像を生成する（ステップＳ５３）。図２２に、前景領域を切り出した出力画像の例を示す。

以上説明したように、本実施の形態によれば、入力部１１が、元画像の前景領域の境界を含み、前景領域の大まかな形状を示す処理領域を入力し、初期確率場生成部１２が、処理領域画像の前景領域側を前景の一部、背景領域側を背景の一部の教示として、初期確率場を生成し、形状候補抽出部１５が前景領域の輪郭線を抽出し、グラフカット計算部１７が、輪郭線に基づいて重み付けた初期確率場をコスト関数としてグラフカットを用いて前景領域と背景領域とに分離することにより、前景領域の一部と背景領域の一部の色ヒストグラムから生成した初期確率場に前景領域の形状を加味し、任意の背景下において、より正確に前景領域を分離できる。

本実施の形態によれば、スーパーピクセル計算部１３がスーパーピクセルを生成してスーパーピクセルの境界を示す二値画像を生成し、微分フィルタ処理部１４が処理領域画像の形状に基づいて生成した微分フィルタを二値画像に適用し、形状候補抽出部１５が微分フィルタを適用後の二値画像中の輪郭候補の画素をスーパーピクセルの境界に沿って補間して前景領域の輪郭線を推定することで、入力された前景領域の形状に基づいて前景領域の輪郭線を推定することができる。

本実施の形態を動画に適用する場合は、１枚目の画像の処理時に生成した確率場を保持して更新しながら使用する。例えば、オプティカルフローなどで画像上の特徴点の動きを追うことによって対応する画素のキーポイントを一致させて、輪郭情報を追従させる期待できる。

［第２の実施の形態］
＜画像認識システムの構成＞
図２３は、第２の実施の形態における画像処理装置を含む画像認識システムの全体構成図である。同図に示す画像認識システムは、画像処理装置１、画像認識装置３を備える。画像処理装置１と画像認識装置３とはネットワークを介して接続される。

第２の実施の形態では、画像処理装置１は教師データの作成に利用される。画像処理装置１に、第１の実施の形態と同様に、元画像と元画像から切り出す前景領域の形状を入力し、前景領域のみが切り出された前景画像を得る。第２の実施の形態では、図２４に示すように、画像処理装置１が特徴点抽出部１９を備え、前景画像の特徴点を抽出し、特徴点と元画像を教師データとして画像認識装置３へ送信する。

画像認識装置３は、受信部３１、特徴点抽出部３２、判別処理部３３、送信部３４、及び画像データ記憶部３５を備える。画像認識装置３が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは画像認識装置３が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

受信部３１は、クライアント端末５から認識対象の画像を受信する。画像認識装置３とクライアント端末５とはネットワークを介して接続される。

特徴点抽出部３２は、受信した画像から特徴点を抽出する。

判別処理部３３は、特徴点抽出部３２が抽出した特徴点を画像データ記憶部３５に格納された特徴点と照合し、類似の特徴点をもつデータを検索する。

送信部３４は、判別処理部３３の検索結果をクライアント端末５へ送信する。検索結果は、特徴点に関連付けられたデータであり、例えば、画像処理装置１から受信した画像である。

画像データ記憶部３５は、画像処理装置１から受信した特徴点と画像を関連付けて格納する。

＜画像認識システムの動作＞
次に、第２の実施の形態の画像認識システムの動作について説明する。

図２５は、画像処理装置が特徴点を抽出する処理の流れを示すフローチャートである。

画像処理装置１は、第１の実施の形態で説明したように、前景画像を切り出したとする。

特徴点抽出部１９は、前景画像の特徴点を抽出する（ステップＳ６１）。特徴点は、エッジ勾配、色変化など有為なものであればよい。ただし、特徴点抽出部１９が抽出する特徴点は、画像認識装置３の特徴点抽出部３２が抽出する特徴点と同じ種類のものでなければならない。

特徴点抽出部１９は、特徴点と画像処理装置１が入力した元画像を画像認識装置３に送信する（ステップＳ６２）。特徴点抽出部１９は、特徴点の画像上の座標と位置関係及び前景画像に写った物体の情報を元画像に関連付けて画像認識装置３へ送信する。画像処理装置１が教師データを作成するときは、ユーザから前景領域の形状を入力するときに、前景の物体の情報も入力しておくとよい。

図２６は、画像認識装置の処理の流れを示すフローチャートである。

受信部３１は、クライアント端末５から画像を受信する（ステップＳ７１）。

特徴点抽出部３２は、クライアント端末５から受信した画像の特徴点を抽出する（ステップＳ７２）。特徴点抽出部３２は、画像処理装置１の特徴点抽出部１９と同種の特徴点を抽出する。

判別処理部３３は、特徴点抽出部３２が抽出した特徴点と類似の特徴点を持つデータを画像データ記憶部３５から検索する（ステップＳ７３）。

送信部３４は、判別処理部３３の検索結果をクライアント端末５へ送信する（ステップＳ７４）。

図２７は、クライアント端末に表示される結果の例を示す図である。

クライアント端末５が、クライアント端末５の備えるカメラなどで撮った問い合わせ画像５１を画像認識装置３へ送信すると結果が得られる。図２７では、検索結果として得られた問い合わせ画像５１に写った物体の情報５２、関連する検索結果画像５３Ａ、５３Ｂを表示している。物体の情報５２及び検索結果画像５３Ａ、５３Ｂは、画像データ記憶部３５に格納されたデータである。

本実施の形態によれば、画像処理装置１が前景領域を切り出し、前景領域の特徴点を抽出して教師データを作成することにより、余計な背景が切り落とし、確からしい特徴点のみを抽出できるので、画像認識処理において、誤差を抑え、マッチングの精度の向上を期待できる。

１…画像処理装置
１１…入力部
１２…初期確率場生成部
１３…スーパーピクセル計算部
１４…微分フィルタ処理部
１５…形状候補抽出部
１６…処理確率場生成部
１７…グラフカット計算部
１８…領域論理演算部
１９…特徴点抽出部
３…画像認識装置
３１…受信部
３２…特徴点抽出部
３３…判別処理部
３４…送信部
３５…画像データ記憶部
５…クライアント端末

Claims (5)

1. 画像を入力する画像入力手段と、
   前記画像の前景領域の輪郭に沿った前景領域の形状を入力し、前記画像から前記前景領域の形状に対応する画素を切り出して処理領域画像を取得する形状入力手段と、
   前記処理領域画像の前景領域側の画素と前記処理領域画像の背景領域側の画素から前記画像の各画素の前景らしさ又は背景らしさの確率を保持する初期確率場を生成する初期確率場生成手段と、
   前記処理領域画像から前記前景領域の輪郭線を抽出する輪郭線抽出手段と、
   前記輪郭線に基づいて重み付けた前記初期確率場をコスト関数としてグラフカットを用いて前記画像を前景領域と背景領域とに分離する分離手段と、を有し、
   前記輪郭線抽出手段は、
   前記処理領域画像から色や位置が近い画素をクラスタリングしたスーパーピクセルを計算し、スーパーピクセルの境界を表す境界画像を生成するスーパーピクセル計算手段、
   前記前景領域の形状に基づいて微分フィルタを生成し、前記境界画像に当該微分フィルタを適用して前記前景領域の輪郭候補画素を抽出する微分フィルタ処理手段と、
   前記輪郭候補画素間を前記スーパーピクセルの境界に沿って補間して前記前景領域の輪郭線を抽出する輪郭線補間手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記分離手段は、前記スーパーピクセル間で前景領域と背景領域とを分離することを特徴とする請求項１に記載の画像処理装置。
3. 前記形状入力手段は、深度センサ又は温度センサを用いて前記前景領域の形状を入力することを特徴とする請求項１または２に記載の画像処理装置。
4. コンピュータによって実行される画像処理方法であって、
   画像を入力するステップと、
   前記画像の前景領域の輪郭に沿った前景領域の形状を入力するステップと、
   前記画像から前記前景領域の形状に対応する画素を切り出して処理領域画像を取得するステップと、
   前記処理領域画像の前景領域側の画素と前記処理領域画像の背景領域側の画素から前記画像の各画素の前景らしさ又は背景らしさの確率を保持する初期確率場を生成するステップと、
   前記処理領域画像から前記前景領域の輪郭線を抽出するステップと、
   前記輪郭線に基づいて重み付けた前記初期確率場をコスト関数としてグラフカットを用いて前記画像を前景領域と背景領域とに分離するステップと、を有し、
   前記輪郭線を抽出するステップは、
   前記処理領域画像から色や位置が近い画素をクラスタリングしたスーパーピクセルを計算し、スーパーピクセルの境界を表す境界画像を生成するステップと、
   前記前景領域の形状に基づいて微分フィルタを生成し、前記境界画像に当該微分フィルタを適用して前記前景領域の輪郭候補画素を抽出するステップと、
   前記輪郭候補画素間を前記スーパーピクセルの境界に沿って補間して前記前景領域の輪郭線を抽出するステップと、を有する
   ことを特徴とする画像処理方法。
5. 請求項１乃至３のいずれかに記載の画像処理装置の各手段としてコンピュータを動作させることを特徴とする画像処理プログラム。