JP6631179B2

JP6631179B2 - 前景画像分割方法及び装置、プログラム、並びに記録媒体

Info

Publication number: JP6631179B2
Application number: JP2015221604A
Authority: JP
Inventors: インジャオ; ガンワン; リイェヌリィウ
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2014-11-12
Filing date: 2015-11-11
Publication date: 2020-01-15
Anticipated expiration: 2035-11-11
Also published as: JP2016095849A; CN105590312A; US20160133027A1; CN105590312B; US9767567B2

Description

本発明は画像処理分野に関し、具体的には、画像から前景画像を分割する方法と装置に関する。

前景画像分割技術、即ち通常の切抜き技術は、目標対象を画像内から抽出または分割し、該対象がカバーされる領域内の各画素の透明度、即ちAlpha値（αマスキング）を推定することを目的としたものである。抽出した目標対象領域は、画像の前景領域または前景画像と呼ばれ、その他の部分は画像の背景領域または背景画像と呼ばれている。

該技術は画像または動画編集応用分野に広く応用され、ユーザーはこの技術を利用して前景を分割し、別の背景とシームレスで一つにまとめることができる。例えば、バーチャル撮影で前景、例えば人とバーチャル背景を繋ぎ合わせて「その場に身を置いている」といった効果を上げる、テレビ会議で参加者をもとの背景から分離して他の背景と合わせるなどである。

画像合成の視点から、以下の公式（1）に示すように、画像I（x、y）を前景画像F（x、y）と背景画像B（x、y）のα（x、y）値での線形結合にモデリングできる。

式中、I_pは画像の画素点pの画素値、F_pは画素点pの前景成分、B_pは画素点pの背景成分であり、α_pは透明度Alpha値で、その値の範囲は［0、1］である。α_p＝1のとき、画素点pは前景領域に属し、α_p＝0のとき、画素点pは背景領域に属する。

つまり、画像切抜き問題はこの方程式を解くことに変わる。そのため、通常、三色画像を採用して条件限定の方式を増やして解を求める。所謂三色画像は即ち黒、白、グレーを含むマーキング画像であり、各色が一つの領域カテゴリを表す。ここで、黒は既知の背景領域を表し、白は既知の前景領域を表し、グレーは未知の領域を表す。即ち、該領域のどの部分が背景に属し、どの部分が前景に属するか確定できない。

三色画像の導入により、画像切抜きの解を求めることは未知の画素点p（画像全体の全ての画素点ではなく）のAlpha値、前景成分F_p及び背景成分B_pを計算することに転換され、F_pとB_pは画素点pの隣接点から推算して得ることができる。F_pとB_pを取得後、画素点pのAlpha値α_pは以下の公式（2）から得ることができる。

以上からわかるように、三色画像の形成が画像切抜き処理の基本であり、より正確な三色画像を形成することがより正確に前景対象を画像または動画から分割することのためになる。

現在の三色画像を形成するのに用いる方法のうち、ユーザインタラクションの方式を通じてユーザーが画像内の三色画像を指定し、例えば画像上に線分を描き、画像内のどの部分が前景で、どの部分が背景かを明記できる。この方法はユーザーが手動で三色画像を生成する必要があり、これはユーザーにとって面倒であり、生成した三色画像もあまり正確ではない。さらに奥行き情報を取り入れて三色画像を自動生成するのを助けることができる。この方法はユーザインタラクションを必要としないが、ある状況では依然として正確な三色画像を生成することができない。例えば、ある前景領域が一色しか含まず、その色が他の前景領域に現れない場合、該領域を未知領域としてマーキングすることは該領域を背景画像として誤って分類する可能性がある。

さらに、上述したように、未知画素点pのAlpha値の計算は該画素点pの隣接領域内の既知の前景点と背景点に対するサンプリングに依存しているため、より正確な前景と背景サンプリング点を取得することがAlpha値の計算、即ち画像切抜きの質にとって非常に重要である。

本発明は、前記問題を鑑みてなされたものであり、画像内から正確に前景画像を分割できる方法と装置を提供する。

本発明の一つの面においては、入力画像及びそのカラー情報と奥行き情報を取得するステップと、入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得するステップと、入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得するステップと、最適化した三色画像から前景画像を分割するステップと、を含む、前景画像分割方法を提供する。

任意の実施例では、入力画像のカラー情報に基づいて該初期三色画像内の未知領域の縮小又は拡大するステップは、該初期三色画像の未知領域を複数の局部領域に分け、各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大することを含んでもよい。

任意の実施例では、前記所定条件は、該局部領域内の色の種類を二種類とすることであってもよい。

任意の実施例では、該前景画像分割方法は、前景対象の構成要素間の隙間領域を検出するステップと、縮小又は拡大された三色画像内で前記隙間領域を未知領域の一部としてマーキングして、最適化した三色画像を取得するステップと、をさらに含んでもよい。

任意の実施例では、最適化した三色画像から前景画像を分割するステップは、該最適化した三色画像の未知領域内の各画素について、該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択するステップと、最適の前景画素と背景画素のペアのカラー値に基づいて、該画素の前景成分と背景成分を推定するステップと、推定された該画素の前景成分と背景成分に基づいて、該画素のAlpha値を計算するステップと、該最適化した三色画像の中から取得した前景領域及び該未知領域内の各画素のAlpha値に基づいて前景画像を分割するステップと、を含んでもよい。

任意の実施例では、該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択するステップは、入力画像の奥行き情報を加重値とし、入力画像のカラー情報に対して重み付け線形変換を行い、変換後の入力画像のカラー情報を取得し、該最適化した三色画像内の未知領域内の各画素について、該画素の隣接領域内の前景領域から複数の前景画素サンプルを選択し、該画素の隣接領域内の背景領域から複数の背景画素サンプルを選択して、サンプル集合を構成し、該サンプル集合内の任意の一つの前景画素と任意の一つの背景画素からなる前景画素と背景画素のペアについて、該前景画素と背景画素のペアの変換後のカラー情報と空間位置情報に基づいたエネルギー関数を構築し、該エネルギー関数が最小となる前景画素と背景画素のペアを、前記最適の前景画素と背景画素のペアとして取得することを含んでもよい。

任意の実施例では、該最適の前景画素と背景画素のペアのカラー値に基づいて該画素の前景成分と背景成分を推定するステップは、該画素の隣接領域内の各画素について、対応する最適の前景画素と背景画素のペアを取得し、該画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値の平均値を、該画素の前景成分の推定値として計算し、該画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値の平均値を、該画素の背景成分の推定値として計算することを含んでもよい。

任意の実施例では、該画素の前景成分と背景成分の推定値に基づいて該画素のAlpha値を計算するステップは、該画素の前景成分と背景成分の推定値を利用してAlpha推定値を計算し、該画素の前景成分と背景成分の推定値と、該画素の実際のカラー値との偏差を計算し、該画素のAlpha推定値及び該偏差から、該画素の前景成分と背景成分の推定値で該画素のAlpha値を計算するための信頼度を計算し、該Alpha推定値及び該信頼度から、該画素のAlpha値を計算することを含んでもよい。

本発明の別の面においては、入力画像及びそのカラー情報と奥行き情報を取得する取得手段と、入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得する粗分割手段と、入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得する三色画像最適化手段と、最適化した三色画像から前景画像を分割する前景画像分割手段と、を含む、前景画像分割装置を提供する。

任意の実施例では、前記三色画像最適化手段は、該初期三色画像の未知領域を複数の局部領域に分け、各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大してもよい。

本発明は、奥行き情報に基づき入力画像から初期三色画像を生成し、入力画像のカラー情報から該初期三色画像を最適化してより正確な三色画像を取得できるため、該三色画像から前景画像を正確に分割できる。

さらに、本発明は、入力画像のカラー情報に重み付け線形変換を行い、前景と背景内の近い色領域を分け、良好なサンプリング策略を採用したため、最適のサンプルのペアを選択して未知画素点のAlpha値を計算でき、分割する前景画像の正確性をさらに向上できる。

本発明の実施例の前景画像分割方法のフローチャートである。入力画像及び対応する初期三色画像の例である。未知領域の区分例である。図3で分けた各小長方形領域内の未知領域に対する最適化フローチャートである。図5a-5cは未知領域例及び対応する縮小／拡大処理の概念図である。隙間が存在する画像切抜き結果の概念図である。骨格情報を利用して隙間領域をマーキングする例である。図8a及び図8bそれぞれは入力画像内の隙間及び隙間マーキング方法に基づき取得した三色画像である。本発明の別の実施例の最適のサンプルのペアに基づく前景画像を分割する方法のフローチャートである。実施例のカラー情報変換の概念図である。図11a及び図11bそれぞれは画素点pとqのサンプル点の交点あり及び交点なしの概念図である。本発明の前景画像分割方法の可能な応用シーンである。本発明の別の実施例の前景画像分割装置の機能ブロック図である。本発明実施例の前景画像分割を実現するシステムのハードウェア配置の概念図である。

当業者に本発明をよりきちんと理解してもらうため、以下図面と本発明を実施するための形態を組み合わせて本発明についてさらに詳しく説明する。

図1は本発明の実施例の前景画像分割方法のフローチャートである。

図1に示すように、この実施例の前景画像分割方法は、入力画像及びそのカラー情報と奥行き情報を取得するステップS110、入力画像の奥行き情報から、入力画像を粗分割して初期三色画像を取得するステップS120、入力画像のカラー情報から、該初期三色画像内の未知領域の縮小または拡大を行い、最適化した三色画像を取得するステップS130、及び最適化した三色画像から前景画像を分割するステップS140を含むことができる。

ステップS110で取得した入力画像は、画像切抜きを行う必要のある対象のカラー画像及びそれに対応する奥行き画像を含むことができる。従来技術には、例えばPrimeSenseカメラ、Kinectまたはその他奥行きカメラといった同時にシーンの色及び奥行き情報を捕捉できる装置が存在する。そのため、入力画像のカラー情報及び奥行き情報を同時に取得することができる。なお、本分野の既知または将来出現しうるその他の画像のカラー情報及び奥行き情報を取得するいかなる方法も本発明に応用でき、本発明はその取得方式を特に制限しておらず、入力画像の色及び奥行き情報を取得できればよい。

例えば、実施例では、奥行きカメラを利用して目標シーンのRGBカラー画像と奥行き画像を撮影する。奥行き画像の画素値はある時刻の該シーン内の物体からカメラまでの距離を表す。本発明の計算過程では、奥行き値を[0、1]の範囲内に正規化し、境界値1はカメラから最も近い物体を表し、境界値0はカメラから限りなく遠いか、またはカメラの作動範囲を超えていることを表す。

ステップS120では、入力画像の奥行き情報から、入力画像を粗分割して初期三色画像を取得する。以下の文では、「人」を前景対象例として前景対象分割についての説明を行っていくが、本発明の前景対象は人に限らない。

例えば、従来方法を利用して入力画像内で人の検出を行うことができる。例えば、テンプレートマッチングの方法またはマイクロソフト社の奥行きカメラKinectを通じて提供する対応するライブラリ関数を利用して対象検出を行うことができる。検出した対象（人の領域）から、初期三色画像を生成するためにある画素が前景または背景に属すと仮定できる。

この生成過程は入力画像の中の画素の奥行き情報をしきい値判断して、それが前景領域に属するか否かを決定することを含むことができる。例えば、検出した人の領域が前景領域であると仮定すると、該領域外の画素に対して、その奥行き値と人の領域の奥行き平均値が連続性を保っている（例えば該画素の奥行き値と該奥行き平均値の差が所定しきい値よりも小さい）場合、該画素は前景領域に属すると判断できる。その奥行き値と該人の領域の奥行き平均値に顕著な差が存在する（例えば該画素の奥行き値と該奥行き平均値の差が所定しきい値よりも大きい）場合、該画素は背景画像に属すると判断できる。また、検出した人の領域にまず縮小処理をし、それから拡大操作を実施することで、未知領域を得ることができる。これにより、初期三色画像を生成する。

図2は入力画像及び対応する初期三色画像の例である。その中の白い領域は前景領域、黒い領域は背景領域、グレー領域は未知領域を表す。

なお、上の文章では「人」を前景対象として奥行き情報に基づき初期三色画像の生成方法を説明しているが、本発明の前景対象は人に限らないことである。例えば動物または物体といったその他対象に対しても、予め該対象の対応する形状特徴またはその他検出可能な特徴を取得または記憶すれば、これらの特徴を利用して奥行き情報から検出でき、ここでは詳しくは述べない。

奥行きカメラの精度が低いため、検出結果の境界は粗く、ステップS120で対象検出を行い取得した前景領域は通常一部背景点を含んだり、または一部前景点が欠けていたりする。そのため、本発明実施例では、ステップS130で初期三色画像を最適化して正確に未知領域をマーキングする。

前述したように、三色画像内の未知領域のマーキングが画像切抜きの質に影響を及ぼす。本発明者は、ある前景領域が一色しか含まず、さらにその色が他の前景領域内に出現せず（例えば白い服装の人の頭髪領域）、該領域が未知領域とマーキングされているとき、この領域は背景画像と誤って分類され、それによって画像切抜きの質が下がることに気付いた。

このため、本発明は、局部範囲内で、未知領域が一色の前景色と一色の背景色を含むことという未知領域を最適化する条件を打ち出した。そのため、ステップS130では、入力画像のカラー情報から該初期画像内の未知領域の縮小または拡大を行い最適化した三色画像を取得する。

実施例では、該初期三色画像内の区分された未知領域内の色分布情報から、該未知領域を該領域の色の種類が該条件を満たすまで反復して収縮または拡張（縮小または拡大）することができる。例えば、該初期三色画像の未知領域を複数の局部領域に分け、各局部領域に対して、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域に対して該局部領域の色分布が該所定条件を満たすまで縮小または拡大を行うことができる。

図3は未知領域の区分例である。図3に示すように、該未知領域を含む外接長方形を取り、該長方形内の前景領域の近似中心線で該長方形を含む領域を近似対称の左右二つの部分に分け、各部分を複数の小さな長方形領域に分け、それによって該未知領域を複数の局部領域に分ける。なお、該領域を際立たせるため、図3では該未知領域を白で示し、前景領域と背景領域をすべて黒で示していることである。なお、図3に示す未知領域の区分は例に過ぎず、他の適切な区分方式でも可能である。

図4は上記のよう、各小長方形領域内の未知領域に対する最適化フローチャートである。図4に示すように、ステップS131では、ステップS110で取得したカラー情報から該未知の領域内の色分布を計算する。例えば、KNN（K-最隣接領域）アルゴリズムを採用して色分布ヒストグラムを計算し、色分布情報を取得できる。

ステップS132では、該未知領域内の色の種類が2であるかどうか判断する。YESの場合、ステップS136に進み、該未知領域に縮小／拡大処理をせずに、該未知領域の最適化を完了する。図5aは該条件を満たす未知領域の概念図である。図で該局部領域の未知領域を規則的な長方形として示しているのは例に過ぎず、実際には該未知領域は不規則な形状でもありうる。

別の面においては、該未知領域内の色の種類が2でなければ、ステップS133に進み、該色の種類が2未満か否かを判断する。YESの場合、該未知領域は背景点のみを含んでいることを表し、図5bに示すように、真の前景境界をカバーしていない可能性が高い。そのため、ステップS134では、前景境界から既知の前景領域に向かって該未知領域を拡張する（拡大処理）。NOの場合、即ち該未知領域内の色の種類が二種類以上であり、図5cに示すように、これは該未知領域が複数の前景点を含みうる（一色よりも多い前景を含む）ことを表している。そのため、ステップS135では、前景境界から背景境界まで該未知領域を収縮（縮小処理）する。

前記の縮小または拡大処理は形態学操作を通じて実現でき、形態学操作は当業者にとって簡単に実現できるものであり、ここではその細部については詳しくは述べない。

各区分した局部領域に未知領域の色の種類が条件を満たすまで該縮小または拡大処理を繰り返して実行する。そのため、ステップS130では、未知領域の最適化を経た三色画像を取得し、ここで未知領域に対する分割がより正確になり、その後の切抜きにとって良好な基礎固めを行っている。

ある状況では、前景対象の構成要素間に例えば人の腕と胴の間のような隙間ができる可能性がある。この隙間は形態学操作を通じて前景領域内から消すことができず、切抜き結果に依然として一部背景が残ることになる。図6は隙間が存在しうる画像切抜き結果の概念図である。図6に示すように、人の腕と体の間に形成される二つの三角形の領域が即ち隙間領域であり、背景画像が含まれている。

そのため、任意の実施例では、入力画像に対して隙間検出を行い、検出した隙間領域を未知領域としてマーキングする。例えば、骨格情報を計算できる。具体的には、Kinect SDKの提供する方法、時間-空間推理及びモデルに基づく人体姿勢推定方法（Model-based human pose estimation with spatio-temporal inferencing）などを通じて入力画像から肩、肘、手首などの腕ノード及び脚の付け根、膝、足首などの脚ノードを取得し、骨格情報を取得する。

図7は骨格情報を利用して隙間領域をマーキングする具体例である。図7に示すように、肩、肘、手首などの腕ノードから三角形を形成し、この三角形が腕と胴の間に形成される隙間領域の最小カバーである。同じように、脚の付け根、膝、足首などの脚ノードから長方形を形成し、この長方形が二本の脚の間に形成される隙化領域の最小カバーである。前記潜在的隙間領域を未知領域としてマーキングし、それをステップS130にて取得した最適化した三色画像内に加える。当然のことながら、図7に示す長方形と三角形は例に過ぎず、それは隙間の形成方式によって決まり、隙間領域はその他の適切などのような形状でもよい。

図8aは、入力画像内の隙間の概念図である。図8bはこの隙間マーキング方法で取得した三色画像である。

それから、ステップS140では、最適化した三色画像から前景画像を分割する。この三色画像はステップS130で取得した色の最適化を経た三色図でも、さらに隙間マーキングを経た三色画像でもよい。

前述したように、該三色画像の未知領域内の画素点pのAlpha値を計算することで前景画像の分割を行う。例えば、画素点pの隣接領域内の前景領域と背景領域内でサンプリングを行い、サンプリングした前景と背景領域点から画素点pの前景成分F_p及び背景成分B_pを推定する。F_pとB_pを取得後、画素点pのAlpha値α_pは前記公式（2）から求めることができる。求めるAlpha値α_pから、該画素pが前景領域に属するか否かを判断できる。

例えば、Alpha値α_pの所定しきい値Tを設定でき、求めたAlpha値α_pが該しきい値T以上のとき、α_p＝1を取ることができ、即ち該画素pは前景領域に属していることを表す。求めたα_pが該しきい値Tよりも小さいとき、α＝0を取ることができ、即ち該画素pは前景領域に属さず、背景領域に属していることを表す。該所定しきい値Tは当業者が経験または具体的な応用から設定できる。

このため、本実施例の前景画像分割方法は、奥行き情報に基づいて入力画像から初期三色画像を生成し、入力画像のカラー情報に基づいて該初期三色画像を最適化してより正確な三色画像を生成し、これによって該三色画像から正確に前景画像を分割することができる。

分割された前景画像は表示に用いるディスプレイに出力するか、または該前景画像を例えば合成処理するなどのさらに処理するのに用いる処理装置に出力できる。

このような切抜き方法では、未知画素点pのAlpha値の計算は該画素点pの隣接領域内でサンプリングした前景点と背景点に依存している。そのため、より正確な前景と背景サンプリング点を取得することが正確に前景画像を分割するのに役立つ。

そのため、本発明の別の実施例では、最適のサンプルのペアから前景画像を分割する方法を提起している。図9はこの実施例の最適のサンプルのペアから前景画像を分割する方法のフローチャートである。

図9に示すように、該分割方法は、三色画像の未知領域内の各画素に対して、該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択するステップS910、該最適の前景画素と背景画素のペアのカラー値から該画素の前景成分と背景成分を推定するステップS920、該画素の前景成分と背景成分の推定値から該画素のAlpha値を計算するステップS930、該最適化した三色画像の中から取得した前景領域及び該未知領域内の各画素のAlpha値に基づいて前景画像を分割するステップS940を含む。

ステップS910では、最適の前景画素と背景画素のペアを選択するため、例えば前景内の白いシャツと背景内の白い壁面を区別するなど、類似の前景カラーと背景カラーを区別して、入力画像の奥行き情報を加重値として、入力画像のカラー情報に重み付け線形変換を行う。

実施例では、画素ごとではなく対象ごとに変換を行う。そのため、まず奥行き情報に基づいて入力画像内の画素にクラスタリング操作を行う。例えば従来のK-meansクラスタリングアルゴリズムを使用し、類似の奥行き情報を有する画素をクラスタリングし、それらの奥行き情報を例えばそのカテゴリ内の全ての画素の奥行き情報の平均値といった同一値にする。このようなやり方は、同一対象上の画素点であったとしても、その奥行き情報は完全に同じとは限らないことを考慮している。例えば、目標対象が人の場合、人の鼻、目などからカメラまでの距離は異なるため、対応する画素点の奥行き情報も少し異なる。

図10は、このカラー情報変換の概念図である。図10に示すように、クラスタリング後の奥行き情報から、公式（3）に示すように入力画像のカラー情報に重み付け線形変換を行う。

式中、I_pは入力画像の画素点pのカラー情報、D_pは画素点pのクラスタリング後の奥行き情報、L_pは画素点pの輝度情報、R_pは画素点pの変換後のカラー情報である。この変換操作を経てもともと類似していない画素カラーを類似するように変えるのを防ぐため、ここでは輝度値I_pを制限条件として使用する。

それから、以下の公式（4）を通じて変換後のカラー情報に正規化処理を行う。

式中、C_pは画素点p正規化後のカラー情報である。これにより、変換後の入力画像のカラー情報を取得する。

それから、入力画像の変換後のカラー情報から、三色画像の未知領域内の各画素に対して、該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択する。入力画像の奥行き情報の精度が低く、ノイズがあるため、奥行き情報を使用して入力画像のカラー情報を変換しても依然として一定の限定性を持ちうる。そのため、本発明のサンプリング策略はできる限り前景サンプルと背景サンプルが類似の色を持つのを避けることである。以下、本発明のサンプリング方法を詳しく説明する。

まず、該最適化した三色画像内の未知領域内の各画素に対して、該画素の隣接領域内の前景領域内から複数の前景画素サンプルを選択し、該画素の隣接領域内の背景領域内から複数の背景画素サンプルを選択して、サンプル集合を構成する。ここで、未知領域内の任意の画素点p（以下、未知画素点pと称する）に対して、隣接領域内から初期選出した前景と背景サンプルのペアのサンプル集合と未知画素点pの隣接画素点qの前景-背景サンプル対の集合は交点がない。図11aと図11bはそれぞれ画素点pとqのサンプル点の交点あり及び交点なしの概念図である。

具体的には、例えば、未知画素点pの円形隣接領域内で、N個の方向に沿ってサンプリングを行うことで、画素点pの初期サンプリング集合を取得でき、集合は前景領域内のm個の前景サンプリング点及び背景領域内のn個の背景サンプリング点を含む。ある具体例では、N=8であるが、具体的な応用状況によって決まり、Nはその他の適切ないずれかの整数値でよい。mとnはどちらも1よりも大きい整数であり、両者は同じでも異なっていてもよい。

未知画素点pのサンプル集合を選択後、その隣接点qのサンプル集合を選択するとき、画素点pのサンプル集合としてすでに選ばれているサンプル点は画素点qのサンプル点として選ばれない。この方式で、上記のように取得した三色画像の未知領域内の各位置の画素点に前景と背景サンプル点のサンプリングを行う。

未知画素点pのm個の前景サンプル点及びn個の背景サンプル点からなる集合内で、任意の一つの前景画素と任意の一つの背景画素からなる前景画素と背景画素のペアに対して、エネルギー関数を構築して該エネルギー関数を最小にする前景画素と背景画素のペアを取得し、最適の前景画素と背景画素のペアとする。最適のサンプル点は色及び空間位置において未知画素点pと最小の隔たりを有しているため、該前景画素と背景画素のペアの変換後のカラー情報と空間位置情報に基づいてエネルギー関数を構築する。

現在、エネルギー関数の構築例を説明する。例では、未知画素点pの前景画素と背景画素のペアのカラー情報と空間位置情報に基づき、該未知画素点pのAlpha推定値を計算できる。それから、この推定値を上記公式（2）に当てはめると、pのカラー情報の推定値を得ることができる。上記カラー情報の推定値と実際の値の間の差を計算することで、pを前景点に分類する代価を得ることができる。それから、pの隣接領域内で該分類代価を累計してエネルギー関数を構築する。

カラー情報面では、未知画素点pと前景サンプル点f_iの類似度がpと背景サンプル点b_jの類似度よりも大きい場合、pが前景点に分類される確率は背景点に分類される確率より高い。このような仮定に基づき、以下の公式（5）に示すように、カラー情報メトリクスPFc（p;f_i;b_j）を定義できる。

式中、F_iは前景サンプル点f_iのカラー情報、B_jは背景サンプル点b_jのカラー情報、C_pは未知画素点pのカラー情報である。なお、以上カラー情報はどれも変換後の色空間内のカラー情報であることである。

空間位置面では、未知画素点pと前景サンプル点f_iの類似度がpと背景サンプル点b_jとの類似度よりも大きい場合、pが前景点に分類される確率は背景点に分類される確率より高い。このような仮定に基づき、以下の公式（6）に示すように、空間位置メトリクスPFs（p;f_i;b_j）を定義できる。

式中、（x,y,z）は画素点の三次元座標を表す。対応する画素点の奥行き情報を利用してその三次元空間位置メトリクスを計算できる。

以上の色及び空間位置メトリクに基づいて、以下の公式（7）で未知画素点pが前景点に属する確率、即ちAlpha推定値
（外１）

を計算できる。

上で計算したAlpha推定値及び前景と背景サンプルのペアのカラー情報を前記公式（2）に当てはめると、未知画素点pのカラー推定値を得ることができる。これにより、公式（8）に示すように、該カラー推定値と未知画素点pの実際のカラー値の偏差M_p（F_i,B_j）を計算できる。該値はこの前景と背景サンプルのペア（F_i,B_j）を使用して未知画素点pを正確に分類するのに必要な代価を記述している。

局部連続性を考慮して、公式（9）に示すように、pの隣接領域Ω_p内の全ての未知画素点qの偏差M_q（F_i,B_j）を足し、これを未知画素点pのエネルギー関数とする。

公式（9）内のE_p（f_i,b_j）から最小値の前景と背景サンプルのペア、即ち最適のサンプルペアを取得する。このため、以下の公式（10）に示すように、公式（9）の最小値を求めることで未知画素点pのサンプル集合内から最適の前景と背景のサンプルペア（
（外２）

）を選出できる。

これにより、ステップS910では、三色画像の未知領域内の各画素に対して、該画素の隣接領域内から画素の最適の前景画素と背景画素のサンプルペアを選択する。それから、ステップS920では、該最適の前景画素と背景画素のサンプルペアのカラー値から該画素の前景成分と背景成分を推定する。

隣接する画素が類似のAlpha値を有しているため、ノイズを除去するために、未知画素点pの最適の前景と背景のサンプルペア及び画素点pの隣接領域Ω_p内で選出した最適の前景と背景のサンプルペアを並行処理すればよい。

具体的には、上記方式で、該未知画素点pの隣接領域Ω_p内の各未知画素点に対して、対応する最適の前景画素と背景画素のサンプルペアを取得し、該画素点pの最適の前景と背景のサンプルペア内の前景画素のカラー値及び該画素点pの隣接領域Ω_p内の各画素の最適の前景と背景のサンプルペア内の前景画素のカラー値の平均値を計算し、該画素点pの前景成分の推定値とする。同じように、該画素点pの最適の前景と背景のサンプルペア内の背景画素のカラー値及び該画素点pの隣接領域Ω_p内の各画素の最適の前景と背景サンプルのペア内の背景画素のカラー値の平均値を計算し、該画素点pの背景成分の推定値とする。

これにより、以下の公式（11）と（12）に示すように、未知画素点pの前景成分と背景成分の推定値
（外３）

と
（外４）

を取得する。

それから、ステップS390では、該画素点pの前景成分と背景成分の推定値
（外５）

と
（外６）

から該画素点pのAlpha値を計算できる。上記で、すでに公式（7）から画素点pのAlpha推定値
（外７）

を計算しているが、該画素点pのAlpha値を計算するため、さらに上述の前景成分と背景成分の推定値を使用してpのAlpha値を計算する信頼度を知る必要がある。

具体的には、該画素点pの前景成分と背景成分の推定値
（外８）

と
（外９）

と該画素の実際のカラー値C_p間の偏差を計算し、該画素のAlpha推定値及び該偏差から前記信頼度を計算できる。例えば、以下の公式（13）から信頼度CF_pを計算できる。

式中、λは下降ファクターである。該信頼度CF_pは上述の前景成分と背景成分の推定値を使用して該未知画素点pのAlpha値を計算する信頼度を表す。推定した前景成分と背景成分が正確に該未知画素点pのカラーモデルを構築できないとき、該推定値の信頼度は低くなる。

これにより、該Alpha推定値及び該信頼度に基づいて該未知画素点pのAlpha値を計算できる。例えば、以下の公式（14）から該Alpha値α_pを計算できる。

以上公式（14）から、推定した前景成分と背景成分の信頼度CF_pがとても低いとき、公式（14）の右側第一項の値は非常に小さく、該Alpha値α_pは基本的にAlpha推定値
（外１０）

に等しく、これによりAlpha値の局部突然変化によって結果が平滑ではないことを回避できる。

この方式で、前記三色画像の未知領域内の全ての未知画素点のAlpha値を計算する。ステップS940では、該三色画像から取得した前景領域及び該未知領域内の各画素のAlpha値に基づいて、前景画像を分割できる。

具体的には、例えば、前記三色画像及び該未知領域内の各画素のAlpha値から入力画像のAlphaマスクを取得する。該Alphaマスクに対して前述のしきい値化処理を実施し、前景マスキング画像を生成できる。

例えば、上で述べたようにAlpha値の所定しきい値Tを設定し、ステップS930で計算した未知領域内の各画素のAlpha値に対して、該Alpha値が該しきい値T以上のとき、該Alpha値を1とすることができ、該画素が前景領域に属していることを表す。該Alpha値が該しきい値Tよりも小さいとき、該Alpha値を0とすることができ、該画素は前景領域に属さず、背景領域に属していることを表す。該所定しきい値Tは当業者が経験または具体的な応用ニーズから設定できる、
これにより、前景マスキング画像を取得する。該前景マスキング画像と入力画像を操作すると、前景画像を分割できる。

この実施例の前景画像分割方法に基づき、入力画像のカラー情報に重み付け線形変換を行うと前景と背景内の近い色を区分けすることができ、また良好なサンプリング策略を採用しているため、最適のサンプルペアを選択して未知画素点のAlpha値を計算でき、さらに分割する前景画素の正確性を高めることができる。

例として、図12は本発明の前景画像分割方法の可能な応用シーンである。応用システム100は、奥行きカメラ101、コンピュータ102、プロジェクター103及びプロジェクタースクリーン104を含むことができる。カメラ101は上述の同時に色及び奥行き情報を捕捉できるカメラでよい。コンピュータ102は、該カメラ101の捕捉したシーンの画像または動画フレーム及び対応する色と奥行き情報を受信し、さらにその処理器を通じてカメラ101の捕捉した情報を分析し、上述の前景画像分割方法を執行し、前景対象をシーン内から分離できる。分割できた前景対象は他の背景と連結し、異なる応用シーンに用いることができる。プロジェクター103及びプロジェクタースクリーン104は連結後の画像またはシーンを表示できる。当然のことながら、プロジェクター103及びプロジェクタースクリーン104はモニタ装置の例に過ぎず、例えばテレビスクリーンなどのその他モニタ装置と入れ替えることができる。言及すべきことは、ここで説明しているシステム100は例として例示的に説明しているだけであり、本発明はこれに限定するものではなく、具体的な応用の必要性に応じてシステム100の構成を変更または調整することができる。

本発明の別の面においては、前景画像分割装置を提供する。図13は本発明の別の実施例の前景画像分割装置の機能ブロック図である。

図13に示すように、該前景画像分割装置1300は、入力画像及びそのカラー情報と奥行き情報を取得する取得部1310、入力画像の奥行き情報から、入力画像を粗分割して初期三色画像を取得する粗分割部1320、入力画像の色分布により、該初期三色画像内の未知領域の縮小または拡大を行い、最適化した三色画像を取得する三色画像最適化部1330、及び最適化した三色画像から前景画像を分割する前景画像分割部1340を含むことができる。

実施例では、該三色画像最適化部1330が粗分割部1320の取得した該初期三色画像の未知領域を複数の局部領域に分け、各局部領域に対して、その中の色分布が所定条件を満たしているか否かを判断する。満たしていない場合は、該三色画像最適化部1330が該局部領域に対して該局部領域の色分布が該所定条件を満たすまで縮小または拡大を行い、それによって最適化した三色画像を取得する。ここで、該所定条件は該局部領域内の色の種類が二種類であることでよい。

別の実施例では、該三色画像最適化部1330はが前景対象の構成要素間の隙間領域を検出し、縮小または拡大を経た三色画像内で前記隙間領域をマーキングして、未知領域の一部とすることで、最適化した三色画像を取得する。

別の実施例では、前景画像分割部1340は三色画像最適化部1330の取得した最適化した三色画像の未知領域内の各画素に対して、該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択し、該最適の前景画素と背景画素のペアのカラー値から該画素の前景成分と背景成分を推定し、該画素の前景成分と背景成分の推定値から該画素のAlpha値を計算し、これにより該最適化した三色画像内から取得した前景領域及び該未知領域内の各画素のAlpha値に基づいて前景画像を分割する。

別の実施例では、具体的に、該前景画像分割部1340は、該最適化した三色画像内の未知領域内の各画素から最適のサンプルペアを選択することに用いる最適サンプルペア選択部（未図示）を含むことができる。最適サンプルペア選択部は入力画像の奥行き情報を加重値とし、入力画像のカラー情報に重み付け線形変換を行い、変換後の入力画像のカラー情報を取得する。それから、該最適サンプルペア選択部は、該最適化した三色画像内の未知領域内の各画素に対して、該画素の隣接領域内の前景領域内から複数の前景画素サンプルを選択し、該画素の隣接領域内の背景領域内から複数の背景画素サンプルを選択し、サンプル集合を構成する。該サンプル集合内の任意の一つの前景画素と任意の一つの背景画素からなる前景画素と背景画素のペアに対して、該前景画素と背景画素のペアの変換後のカラー情報と空間位置情報に基づいたエネルギー関数を構築し、該エネルギー関数を最小にする前景画素と背景画素のペアを取得し、前記最適の前景画素と背景画素のペアとする。

別の実施例では、具体的に、前景画像分割部1340はさらに推定部（未図示）を含むことができ、該推定部は、該画素の隣接領域内の各画素に対して、対応する最適の前景画素と背景画素のペアを取得し、該画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値の平均値を計算して、該画素の前景成分の推定値とする。また該画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値の平均値を計算して、該画素の背景成分の推定値とする。

別の実施例では、具体的に、前景画像分割部1340はAlpha値計算部（未図示）を含むことができ、それは該画素の前景成分と背景成分の推定値を利用してAlpha推定値を計算し、該画素の前景成分と背景成分の推定値及び画素の実際のカラー値間の偏差を計算し、該画素のAlpha推定値及び該偏差から該画素の前景成分と背景成分の推定値で該画素のAlpha値を計算する信頼度を計算し、該αの推定値及び該信頼度から該画素のAlpha値を計算する。

図13に示す前景画像分割装置1300の各部の操作に関しては、図1に示すフローチャートを組み合わせて行った説明を参考にでき、ここでは詳しくは述べない。該前景画像分割装置から、奥行き情報に基づいて入力画像から初期三色画像を生成し、入力画像のカラー情報から該初期三色画像を最適化してより正確な三色画像を生成しでき、これにより該三色画像から正確に前景画像を分割する。また、該前景画像分割装置は入力画像のカラー情報に重み付け線形変換を行い前景と背景内の近い色を分けることができる。さらに良好なサンプリング策略を採用し、最適のサンプルペアを選択して未知画素点のAlpha値を計算できるため、分割した前景画像の正確性を上げた。

続いて、図14を参考に本発明実施例の目標シーンの中からの前景対象の分割を実現する前景画像分割システムのハードウェア配置を説明する。図14に示すように、システム1400は、外部から例えば上述のカラー画像とグレースケール画像といった処理すべき画像及び例えば奥行き情報といった処理すべき情報を入力するのに用い、例えばキーボード、マウス、及び通信ネットワーク及びそれに連結する遠隔入力装置などを含む入力装置1410、上述の本発明実施例の前景画像分割方法または上述の本発明実施例の前景画像分割装置を実施するのに用い、例えばコンピュータの中央処理器またはその他の処理能力を有するチップなどを含み、例えばインターネットのネットワーク（未図示）に接続でき、処理過程の必要性に応じてネットワークから入力画像などのデータを取得し、さらに分割した前景対象に合成処理などの必要な処理を行うことができる処理装置1420、外部に例えば分割した前景画像及び前景画像の合成結果などを含む上述の前景画像分割の結果を出力するのに用い、例えばモニタ、プリンタ、及び通信ネットワーク及びそれに接続する遠隔出力装置などを含む出力装置1430、及び揮発性または非揮発性の方式で上述の処理過程に関わる画像、データ、取得した結果、コマンド及び中間データなどを記憶するのに用い、例えばランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、ハードディスク、または半導体メモリなどの各種揮発性または非揮発性メモリを含む記憶装置1440を含む。

なお、簡略化するため、図14は該システム内の本発明に関するコンポーネント内の一部を表示しただけであり、例えばバス、入力/出力インターフェースなどのコンポーネントは省略している。このほか、具体的応用状況に応じて、システム1400はさらにその他の適切なコンポーネントを含むことができる。

以上、図面を参考に本発明実施例の前景対象分割方法、装置とシステムを詳細に説明した。以上では、人を前景対象とする例で説明したが、当業者にとって本発明が応用できるのは人に限らず、その他の動物、物体などでもよいことは自明である。

本開示の中で言及している装置、設備、システムのブロック図は例示的な例に過ぎず、必ずブロック図に示す方法に従って接続、配列、配置するように要求または暗示する意図はない。当業者が知っている場合、任意の方法でこれらの装置、設備、システムを接続、配列、配置できる。例えば、「含める」「含む」「有する」などの用語は開放性用語であり、「含むが、それに限らない」を指し、互いに入れ替えて使用できる。ここで使用している用語「または」と「及び」は単語「及び/または」を指し、互いに入れ替えて使用できる。文脈で明確に指示している場合は、この限りではない。ここで使用している用語「例えば」は、連語「例えば〜だが、それに限らない」を指し、また互いに入れ替えて使用できる。

本開示のステップフローチャート及び以上の方法説明は例示的な例に過ぎず、必ず示した順序に従って各実施例のステップを実施するように要求または暗示する意図はない。当業者が知っている場合、任意の順序で以上の実施例内のステップの順序を行うことができる。例えば「その後」「それから」「続いて」などの用語には、ステップの順序を限定する意図はない。これらの用語は、読者にこれらの方法の説明の通読を誘導するのに用いているに過ぎない。このほか、例えば冠詞「ひとつ」「一」または「該」の使用は、単数の要素のいかなる引用に対しても該要素を単数に限定すると解釈されない。

公開された方面の以上説明を提供することで、当業者が本発明を実行または使用できるようにしている。これら方面の各種修正は、当業者にとって非常に自明であり、またここで定義している一般原理はその他方面に応用でき、本発明の範囲を逸脱しない。そのため、本発明はここに示した方面に限定される意図はなく、ここに公開している原理と新規性の特徴に一致する最も広い範囲に従う。

Claims

入力画像及びそのカラー情報と奥行き情報を取得するステップと、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得するステップと、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得するステップと、
最適化した三色画像から前景画像を分割するステップと、を含み、
前記入力画像のカラー情報に基づいて該初期三色画像内の未知領域の縮小又は拡大するステップは、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大することを含み、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、前景画像分割方法。
前景対象の構成要素間の隙間領域を検出するステップと、
縮小又は拡大された三色画像内で前記隙間領域を未知領域の一部としてマーキングして、最適化した三色画像を取得するステップと、をさらに含む、請求項１に記載の前景画像分割方法。
最適化した三色画像から前景画像を分割するステップは、
該最適化した三色画像の未知領域内の各画素について、該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択するステップと、
最適の前景画素と背景画素のペアのカラー値に基づいて、該画素の前景成分と背景成分を推定するステップと、
推定された該画素の前景成分と背景成分に基づいて、該画素のAlpha値を計算するステップと、
該最適化した三色画像の中から取得した前景領域及び該未知領域内の各画素のAlpha値に基づいて前景画像を分割するステップと、を含む、請求項１に記載の前景画像分割方法。
該画素の隣接領域内から該画素の最適の前景画素と背景画素のペアを選択するステップは、
入力画像の奥行き情報を加重値とし、入力画像のカラー情報に対して重み付け線形変換を行い、変換後の入力画像のカラー情報を取得し、
該最適化した三色画像内の未知領域内の各画素について、該画素の隣接領域内の前景領域から複数の前景画素サンプルを選択し、該画素の隣接領域内の背景領域から複数の背景画素サンプルを選択して、サンプル集合を構成し、
該サンプル集合内の任意の一つの前景画素と任意の一つの背景画素からなる前景画素と背景画素のペアについて、該前景画素と背景画素のペアの変換後のカラー情報と空間位置情報に基づいたエネルギー関数を構築し、
該エネルギー関数が最小となる前景画素と背景画素のペアを、前記最適の前景画素と背景画素のペアとして取得することを含む、請求項３に記載の前景画像分割方法。
該最適の前景画素と背景画素のペアのカラー値に基づいて該画素の前景成分と背景成分を推定するステップは、
該画素の隣接領域内の各画素について、対応する最適の前景画素と背景画素のペアを取得し、
該画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの前景画素のカラー値の平均値を、該画素の前景成分の推定値として計算し、
該画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値及び該画素の隣接領域内の各画素の最適の前景画素と背景画素のペアのうちの背景画素のカラー値の平均値を、該画素の背景成分の推定値として計算することを含む、請求項４に記載の前景画像分割方法。
該画素の前景成分と背景成分の推定値に基づいて該画素のAlpha値を計算するステップは、
該画素の前景成分と背景成分の推定値を利用してAlpha推定値を計算し、
該画素の前景成分と背景成分の推定値と、該画素の実際のカラー値との偏差を計算し、
該画素のAlpha推定値及び該偏差から、該画素の前景成分と背景成分の推定値で該画素のAlpha値を計算するための信頼度を計算し、
該Alpha推定値及び該信頼度から、該画素のAlpha値を計算することを含む、請求項５に記載の前景画像分割方法。
入力画像及びそのカラー情報と奥行き情報を取得する取得手段と、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得する粗分割手段と、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得する三色画像最適化手段と、
最適化した三色画像から前景画像を分割する前景画像分割手段と、を含み、
前記三色画像最適化手段は、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大し、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、前景画像分割装置。
入力画像及びそのカラー情報と奥行き情報を取得するステップと、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得するステップと、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得するステップと、
最適化した三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラムであって、
前記入力画像のカラー情報に基づいて該初期三色画像内の未知領域の縮小又は拡大するステップは、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大することを含み、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、プログラム。
入力画像及びそのカラー情報と奥行き情報を取得するステップと、
入力画像の奥行き情報に基づいて、入力画像を粗分割して初期三色画像を取得するステップと、
入力画像のカラー情報に基づいて、該初期三色画像内の未知領域を縮小又は拡大して、最適化した三色画像を取得するステップと、
最適化した三色画像から前景画像を分割するステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記入力画像のカラー情報に基づいて該初期三色画像内の未知領域の縮小又は拡大するステップは、
該初期三色画像の未知領域を複数の局部領域に分け、
各局部領域について、その中の色分布が所定条件を満たしているか否かを判断し、満たしていない場合は、該局部領域の色分布が該所定条件を満たすまで該局部領域を縮小又は拡大することを含み、
前記所定条件は、該局部領域内の色の種類を二種類とすることである、記録媒体。