JP6818485B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、多視点画像を用いて前景の被写体による領域を抽出する技術に関する。

従来、被写体（前景の被写体と背景の被写体とを含む）を撮像することで取得した撮像画像から前景の被写体による領域を抽出する手法として、背景差分法が存在する。背景差分法では、前景の被写体と背景の被写体とが写っている撮像画像の画素値と、背景の被写体のみが写っている背景画像の画素値との画素毎の差分に基づいて、前景の被写体による領域を抽出した前景画像を作成する。このとき、人物などの前景の被写体に付随する影も前景の被写体とみなされるため、この影による領域も前景の被写体による領域として抽出される。このように従来の背景差分法には、前景の被写体による領域を抽出する際に、影による領域を含まないようにすることができないという問題があった。

この問題を解決するために特許文献１は、複数の異なる視点における、影による領域を含む前景の被写体による領域を抽出した画像に基づき３次元形状を復元し、その結果に基づき影による領域を含まない前景の被写体による領域を抽出する技術を開示している。

特開２０１１−４８６２７号公報

しかしながら、特許文献１では、影を含まない前景の被写体による領域を抽出するために３次元形状を復元するため、計算量が多いという課題があった。また、３次元形状を復元する際にボクセルを用いるため、シーンに対してボクセルのサイズが大きく、１つのボクセルが複数の画素に対応する場合などに、前景の被写体による領域を抽出する精度が低下するという課題があった。

そこで本発明は、影を含まない前景の被写体による領域を高精度かつ少ない計算量で抽出することを目的とする。

本発明は、複数の異なる視点における、前景の被写体と背景の被写体とを撮像した画像から前記前景の被写体による領域と該前景の被写体に付随する影による領域とを前景領域として抽出した画像である前景画像データを取得する前景画像データ取得手段と、前記取得した前景画像データを、地上面を基準として着目視点から見た場合の画像へとそれぞれ変換することで、複数の変換前景画像データを作成する作成手段と、前記前景領域のうち、前記複数の変換前景画像データにおいて共通して同じ位置に存在する領域を、共通前景領域として検出する検出手段と、前記共通前景領域に基づき、前記着目視点における前記前景画像データを修正することで、前記前景の被写体による領域を前景領域として抽出した画像である前景画像データを作成する前景画像データ修正手段とを有することを特徴とする画像処理装置である。

本発明によれば、影を含まない前景の被写体による領域を高精度かつ少ない計算量で抽出することができる。

実施例１及び実施例２における画像処理装置のハードウェア構成を示すブロック図 実施例１における画像処理装置の機能構成を示すブロック図 実施例１における前景領域を抽出する処理の流れを示すフローチャート 実施例１における前景領域を抽出する処理の概要を説明する図 実施例１における画像変換を説明する図 実施例１の効果を説明する図 実施例２における画像処理装置の機能構成を示すブロック図 実施例２における前景抽出を抽出する処理の流れを示すフローチャート 実施例２の効果を説明する図

以下、本発明の実施形態について、図面を参照して説明する。ただし、以下の実施形態は本発明を限定するものではなく、また、以下の実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素については、同じ符号を付して説明する。

［実施例１］
本実施例では、複数の異なる視点における前景画像データを用いて、影による領域である可能性が高い領域を検出し、該検出した領域における背景画像と撮像画像との色の違いに基づき、影を含まない前景の被写体による領域を抽出する。なお、前景の被写体による領域を、前景領域と呼ぶ。

＜本実施例の概要について＞
以下、本実施例における前景領域を抽出する処理の概要について、図４を用いて説明する。本実施例では、まず、複数の異なる視点における前景画像データ４０１を取得する。ここで取得する前景画像データは、前景の被写体４０９とこれに付随する影４０４とによる領域を前景領域として抽出した画像である。取得する複数の前景画像データ４０１の中には、影４０４による領域を含まない前景の被写体４０９による領域のみを前景領域として抽出する対象となる画像を撮像する着目視点４０２と同一の視点における画像が含まれているものとする。以下、影４０４による領域を含まない前景の被写体４０９による領域のみを前景領域として抽出する対象の画像を対象画像データと呼び、対象画像データを撮像した視点を着目視点と呼ぶ。

次に、取得した前景画像データ４０１を、視点毎に、地上面を基準として着目視点４０２から見た場合の画像へと変換することで、着目視点における前景画像データ４０３を作成する。ここで作成される前景画像データ４０３の数は、前景画像データ４０１の数と同一である。以下、前景画像データ４０１を変換することで得られる前景画像データ４０３を、変換前景画像データ４０３と呼ぶ。

ここで前景の被写体とは、撮像画像に含まれる被写体の中で撮像装置に対して近い位置に存在する被写体や、時系列に沿って連続で撮像した複数の画像において概ね動き続ける被写体を意味する。例えば、対象画像データがスポーツなどの競技シーンを撮像した画像データである場合、選手や審判などの人物や、ボールなどの器具が前景の被写体となる。また、人物や器具などの被写体に付随する影も、該被写体と同様の動きをするため、前景の被写体となる。このとき、前景の被写体のうち人物や器具などの被写体は概ね地上面からの高さを持つ被写体であるのに対し、該被写体に付随する影は通常、地上面に存在し地上面からの高さを持たない。そのため、本実施例では、変換前景画像データ４０３を用いて、地上面からの高さを持たない被写体による領域を検出し、該検出した領域に対応する被写体は影である可能性が高いとみなす。具体的には、複数の変換前景画像データ４０３において共通して前景領域（以下、共通前景領域）であるかを画素毎に判定し、共通前景領域であると判定された画素を、影による領域（以下、影領域）の画素の候補として検出する。上述の通り、変換前景画像データ４０３は、前景画像データ４０１を、地上面を基準面として着目視点４０２から見た場合の画像に変換することで得られる。そのため、地上面に存在し高さを持たない影４０４に対応する、前景画像データ４０１における影領域４０５〜４０７の画素の座標は、全ての変換前景画像データ４０３において共通して同じ位置に存在する共通前景領域４０８の画素の座標へと変換される。一方、高さを持つ被写体４０９に対応する、前景画像データ４０１における領域４１０〜４１２の画素の座標は、視点によって位置が異なる領域４１３〜４１５の画素の座標へと変換される。そのため、複数の変換前景画像データ４０３において共通前景領域があるとき、この共通前景領域の画素を、影領域の画素の候補とみなして検出する一方、共通前景領域ではない前景領域の画素を、高さを持つ前景の被写体による領域の画素とみなす。

次に、着目視点４０２における背景画像と撮像画像との間で、検出した影領域の画素の候補を比較し、色の違いが小さい画素を影領域の画素として決定する。最終的に、着目視点４０２における被写体４０９とこれに付随する影４０４とによる領域を前景領域として抽出した前景画像データ４０１において、影領域の画素と決定された画素の画素値を変更することで、影領域を含まない前景領域を抽出する。人物や器具などの被写体に付随する影が生じる場合、撮像画像では、背景や地上面において影が存在する領域が、影が存在しない場合に比べて暗い領域となって現れる。一方、撮像画像では、人物や器具などの被写体の画像は通常、該被写体が存在しない場合に現れる背景や地上面の色とは異なる色で描画される。そのため、影である可能性が高い領域において、背景画像と撮像画像とで色の違いが小さい画素は、影領域の画素とみなすことができる。

以上が、本実施例で行われる処理の概要である。なお、用いる対象画像データは上述の例に限られず、監視カメラで撮像したデータなど様々な画像データを用いて良い。

＜画像処理装置のハードウェア構成について＞
以下、本実施例の画像処理装置のハードウェア構成について述べる。図１は、本実施例の画像処理装置のハードウェア構成の一例を示すブロック図である。本実施例の画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、二次記憶装置１０４、入力インターフェース１０５、及び出力インターフェース１０６を備え、これらの構成要素は、システムバス１０７によって相互に接続されている。また、画像処理装置１００は、入力インターフェース１０５を介して外部記憶装置１０８に接続されており、出力インターフェース１０６を介して外部記憶装置１０８と表示装置１０９とに接続されている。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して画像処理装置１００の各構成要素を統括的に制御する。これにより、後述する様々な処理が実行される。

二次記憶装置１０４は、画像処理装置１００で取り扱われる種々のデータを記憶する記憶装置であり、本実施例ではＨＤＤが用いられる。ＣＰＵ１０１は、システムバス１０７を介して二次記憶装置１０４へのデータの書き込みと二次記憶装置１０４に記憶されたデータの読出しとを行うことができる。なお、二次記憶装置１０４としてＨＤＤの他に、光ディスクドライブやフラッシュメモリなど、様々な記憶デバイスを用いることが可能である。

入力インターフェース１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、外部装置から画像処理装置１００へのデータや命令等の入力は、入力インターフェース１０５を介して行われる。画像処理装置１００は、入力インターフェース１０５を介して、外部記憶装置１０８（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなどの記憶媒体）からデータを取得する。なお、入力インターフェース１０５にはマウスやキーボードなどユーザーが入力するための入力デバイス（不図示）も接続可能である。出力インターフェース１０６は、入力インターフェース１０５と同様のＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースの他に、例えばＤＶＩやＨＤＭＩ等の映像出力端子も含む。画像処理装置１００から外部装置へのデータの出力は、出力インターフェース１０６を介して行われる。画像処理装置１００は、出力インターフェース１０６を介して表示装置１０９（液晶ディスプレイなどの各種画像表示デバイス）に処理した画像などを出力することで、画像の表示を行う。なお、画像処理装置１００の構成要素は上述のもの以外にも存在するが、本発明の主眼ではないため、説明を省略する。

＜前景領域を抽出する処理について＞
以下、本実施例における画像処理装置１００が実行する前景領域を抽出する処理について、図２及び図３を用いて説明する。図２は、画像処理装置１００の機能構成を示すブロック図であり、図３は、前景領域を抽出する処理の流れを示すフローチャートである。画像処理装置１００のＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用いてＲＯＭ１０３に格納されたプログラムを実行することで、図２に示す各構成要素として機能し、図３に示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１００を構成しても良い。

以下、各構成要素により行われる処理の流れを説明する。ステップＳ３０１において、対象画像データ取得部２０１は、入力インターフェース１０５を介して外部記憶装置１０８から、又は、二次記憶装置１０４から、対象画像データを取得する。上述の通り、対象画像データとは、影を含まない前景の被写体による領域のみを前景領域として抽出する対象となる画像である。また、対象画像データ取得部２０１は、対象画像データを撮像したカメラの視点を着目視点と定める。さらに、対象画像データ取得部２０１は、対象画像データを撮像したカメラのパラメータ（以下、カメラパラメータ）を、対象画像データとともに取得する。ここでカメラパラメータとは、３次元空間中の点をカメラで撮像される画像上に射影する計算を可能とするパラメータであって、カメラの位置、姿勢を表す外部パラメータと、焦点距離、光学中心を表す内部パラメータとを含む。メモリ上に予め記憶されている計測値や設計値を、カメラパラメータとして用いて良い。対象画像データ取得部２０１は、対象画像データを色類似度算出部２０６に、対象画像データのカメラパラメータを画像変換部２０４に出力する。なお、ここでは、対象画像データが１枚の画像である場合について説明しているが、対象画像データが複数枚の画像である場合についても、本実施例を適用することが可能である。

ステップＳ３０２において、背景画像データ取得部２０２は、入力インターフェース１０５を介して外部記憶装置１０８から、又は、二次記憶装置１０４から、着目視点における背景画像データを取得する。ここで背景画像データとは、対象画像データにおける背景の被写体のみが写った画像である。本実施例では、背景画像データを、前景の被写体が存在せず背景の被写体のみが存在する状態で事前に撮像することで取得する。詳細には、対象画像データを撮像したカメラのカメラパラメータと同一のカメラパラメータを持つカメラを用いて、対象画像データを撮像した際の環境と略同一の環境（天候や時間帯など）で撮像する。なお、背景画像データを取得する手法はこの手法に限られない。例えば、シーンを同一の視点から時系列に沿って連続で撮像することで得られた複数の異なる時刻に対応する複数の画像に対して、中間値フィルタや平均値フィルタなどを用いたフィルタ処理を行って背景画像データを作成しても良い。或いは、該複数の画像に対してクラスタリング処理を行うことで、背景画像データを作成しても良い。背景画像データ取得部２０２は、背景画像データを色類似度算出部２０６に出力する。

ステップＳ３０３において、前景画像データ取得部２０３は、入力インターフェース１０５を介して外部記憶装置１０８から、又は、二次記憶装置１０４から、複数の異なる視点における複数の前景画像データを取得する。本ステップで取得する前景画像データは、前景の被写体による領域を前景領域として抽出した画像（例えば、図４の前景画像データ４０１）であり、該抽出した前景領域には、影領域が含まれるものとする。本実施例では、この前景画像データは、撮像画像と背景画像とに基づき作成される。以下、前景画像データの作成手法を具体的に説明する。ここで用いる撮像画像は、対象画像データにおける前景の被写体及び背景の被写体を、対象画像データを撮像した際の環境と略同一の環境で撮像した画像である。また、背景画像は、対象画像データにおける背景の被写体を、対象画像データを撮像した際の環境と略同一の環境で撮像した画像である。本実施例では、視点毎に、撮像画像の画素値と背景画像の画素値とを画素毎に比較し、これらの画素値が同一の座標の画素の画素値を０、そうでない画素の画素値を１とすることで、視点毎の２値画像を作成する。この２値画像が前景画像データである。このようにして作成した複数の前景画像データの中には、着目視点と同一の視点における画像が含まれているものとする。なお、前景画像データを作成する手法はこの手法に限られず、また、作成する前景画像データも２値画像に限られず多値画像であっても良い。また、前景画像データ取得部２０３は、各前景画像データに対応するカメラパラメータを、前景画像データとともに取得する。さらに、複数の前景画像データのそれぞれを区別するため、各前景画像データを、カメラの視点番号と対応付けて記憶する。前景画像データ取得部２０３は、前景画像データとカメラパラメータとを画像変換部２０４に出力し、前景画像データのみを前景画像データ修正部２０８に出力する。

ステップＳ３０４において、画像変換部２０４は、前景画像データ取得部２０３から取得したカメラパラメータを用いて、複数の前景画像データを、着目視点から見た場合の画像へとそれぞれ変換する。具体的には、前景画像データ毎に、地上面を基準として射影変換することで、着目視点から見た場合の画像を得る。なお、本ステップでの画像変換により得られる画像（データ）を変換前景画像（データ）と呼ぶ。ここで、本ステップにおける画像変換の手法を、図５を用いて説明する。

図５に示すように、３次元空間中のある点５０１がカメラ５０２の画像に投影されている場合、点５０１とカメラ５０２とを結ぶ直線と、画像面５０３とが交差してできる点５０４が、３次元空間中の点５０１の画像面５０３への投影像となる。同様に、カメラ５０２と異なる位置に存在するカメラ（別視点のカメラ）５０５では、点５０１とカメラ５０５とを結ぶ直線と、画像面５０６とが交差してできる点５０７が、点５０１の画像面５０６への投影像となる。ここで、点５０１を含む、画像面５０３と画像面５０６とに投影されている全ての３次元空間中の点が、地上面である同一平面上に存在する場合について検討する。この場合、カメラ５０２とカメラ５０５とのカメラパラメータによって算出される３×３のホモグラフィ行列Ｈ₀₁を用いて、式（１）により、画像面５０３上の任意の画素の座標（ｕ₀、ｖ₀）は、画像面５０６上の座標（ｕ₁、ｖ₁）へと変換される。

ステップＳ３０４では、前景画像データ取得部２０３から取得した前景画像データに対応する視点のカメラを上述のカメラ５０２とし、対象画像データ取得部２０１で定めた着目視点のカメラをカメラ５０５とする射影変換を、前景画像データ毎に実行する。このため、本ステップで取得する変換前景画像データの数は、前景画像データ取得部２０３が取得した前景画像データの数と同一である。また、変換前景画像データはそれぞれ、前景画像データ取得部２０３が取得した各前景画像データの視点番号と対応付けて記憶される。画像変換部２０４は、変換前景画像データを共通前景検出部２０５に出力する。

ステップＳ３０５において、共通前景検出部２０５は、フラグマップを初期化つまりフラグマップの全画素の画素値を０とする。本ステップで初期化するフラグマップは、前景画像データ取得部２０３が取得した、着目視点の前景画像データにおける影領域を検出するために用いられる。このフラグマップでは、影領域の画素（或いは、影領域の画素である可能性が高い画素）と判定された画素に対応する画素値に１が代入され、そうでないと判定された画素に対応する画素値に０が代入される。本ステップでの初期化により、着目視点の前景画像データの全領域について、影領域ではないとされることとなる。

ステップＳ３０６において、共通前景検出部２０５は、共通前景領域の画素であるかを判定する対象となる、変換前景画像データにおける着目画素を決定する。本実施例では、まず、変換前景画像データの左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、変換前景画像データの全画素について、共通前景領域の画素であるかの判定が実行されれば、どのような順番で着目画素を決定しても良い。

ステップＳ３０７において、共通前景検出部２０５は、着目画素が共通前景領域の画素であるかを判定する際に用いる評価値を、画像変換部２０４から取得した複数の変換前景画像データに基づき算出する。以下、この評価値の算出手法を具体的に説明する。

まず、共通前景検出部２０５は、着目画素の座標（ｕ₂、ｖ₂）における変換前景画像データの画素値Ｆｉ（ｕ₂、ｖ₂）を取得する。ここでｉは複数の変換前景画像データのそれぞれを区別する添え字を表し、共通前景検出部２０５は、変換前景画像データの数分の画素値を取得する。次に、共通前景検出部２０５は、取得した全画素値の平均値を算出する。本実施例では、この平均値を、着目画素が共通前景領域の画素であるかを判定する際の評価値として用いる。なお、評価値の算出手法はこれに限られず、中間値など、複数の画素値の統計的な性質を反映する任意の値を評価値として用いて良い。

ステップＳ３０８において、共通前景検出部２０５は、評価値に基づいて、着目画素が共通前景領域の画素であるか否かを判定し、該判定の結果に応じてフラグマップの画素値を更新する。具体的には、式（２）に示すように、評価値が閾値以上である画素を共通前景領域の画素とみなして、該画素に対応するフラグマップの画素値を１とする。逆に、評価値が閾値よりも小さい画素については、共通前景領域の画素ではないとみなして、該画素に対応するフラグマップの画素値を０とする。

ここで、Ｖ（ｘ、ｙ）は座標（ｘ、ｙ）における評価値を、Ｔｈは閾値を表している。ここで用いる閾値は、前景画像データの画素が取り得る最大画素値や、変換前景画像データの数（即ち視点数）に基づいて決定する。例えば図４の場合、前景画像データとして２値画像を用いるので最大画素値は１、視点数は１０であり、過半数の視点で着目画素が前景領域の画素であることを示す値０．６を閾値として用いて良い。

上述の通り、複数の変換前景画像データにおいて共通前景領域があるとき、この共通前景領域の画素を、影領域の画素の候補とみなすことができる。そのため、本ステップで、評価値が閾値以上であると判定された画素に対応するフラグマップの画素値を１に更新することで、該画素が影領域の画素である可能性が高いとしている。

ステップＳ３０９において、共通前景検出部２０５は、変換前景画像データの全画素についてステップＳ３０６〜ステップＳ３０８の処理を行ったかを判定する。ステップＳ３０９の判定の結果が真の場合、共通前景検出部２０５は更新したフラグマップを影領域判定部２０７に出力して、ステップＳ３１０に進む一方、該判定の結果が偽の場合、ステップＳ３０６に戻る。

ステップＳ３１０において、色類似度算出部２０６は、対象画像データ取得部２０１から取得した対象画像データと、背景画像データ取得部２０２から取得した背景画像データとの間の色の類似度を算出する対象となる、対象画像データにおける着目画素を決定する。本実施例では、まず、対象画像データの左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、対象画像データの全画素について、色の類似度が算出されれば、どのような順番で着目画素を決定しても良い。

ステップＳ３１１において、色類似度算出部２０６は、着目画素における、対象画像データ取得部２０１から取得した対象画像データと背景画像データ取得部２０２から取得した背景画像データとの間の色の類似度を算出する。本実施例では、式（３）に示すように画素値の二乗平均誤差を色の類似度として用いる。

ここで、Ｉ（ｘ、ｙ）、Ｉｂ（ｘ、ｙ）はそれぞれ、座標（ｘ、ｙ）における対象画像データの画素値、背景画像データの画素値を表し、ｋはＲＧＢ３チャンネルを識別するための添え字を表す。式（３）により算出する色の類似度Ｃの値は、対象画像データにおける着目画素の色と、背景画像データにおける該着目画素と同一座標の画素の色とが類似するほど小さくなる。なお、用いる色の類似度は二乗平均誤差に限られず、画素間の色の類似度を示す任意の値を用いて良い。また、着目画素における色の類似度を算出する際、着目画素とその周辺の画素とを用いて算出しても良い。

ステップＳ３１２において、色類似度算出部２０６は、対象画像データの全画素についてステップＳ３１０〜ステップＳ３１１の処理を行ったかを判定する。ステップＳ３１２の判定の結果が真の場合、色類似度算出部２０６は算出した全画素の色類似度を影領域判定部２０７に出力して、ステップＳ３１３に進む一方、該判定の結果が偽の場合、ステップＳ３１０に戻る。

ステップＳ３１３において、影領域判定部２０７は、影領域の画素に対応する画素であるかを判定する対象の画素に対応する、共通前景検出部２０５から取得したフラグマップにおける着目画素を決定する。本実施例では、まず、フラグマップの左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、フラグマップの全画素について、フラグマップの画素値と色の類似度とに基づく画素値の更新（ステップＳ３１４）が実行されれば、どのような順番で着目画素を決定しても良い。

ステップＳ３１４において、影領域判定部２０７は、共通前景検出部２０５から取得したフラグマップと色類似度算出部２０６から取得した色の類似度とに基づき、着目画素が影領域の画素に対応する画素であるかを判定する。具体的には、以下の２つの条件を満たす場合、着目画素が影領域の画素に対応する画素であると判定し、フラグマップにおける着目画素の画素値を１とする。一方、２つの条件を満たさない場合、着目画素が影領域の画素に対応する画素ではないと判定し、フラグマップにおける着目画素の画素値を０とする。
第１条件：フラグマップの画素値が１（Ｍ_F（ｕ₂、ｖ₂）＝１）であること
第２条件：色の類似度が閾値以下（Ｃ（ｕ₂、ｖ₂）≦Ｔｈｒ）であること

上述の通り、影である可能性が高い領域において、背景画像と撮像画像とで色の違いが小さい画素は、影領域の画素とみなすことができる。そのため、上述の２つの条件、即ち、フラグマップの画素値が１であり、かつ、色の類似度が閾値以下つまり背景画像と撮像画像とで色が類似する画素を、影領域の画素とみなす。

ステップＳ３１５において、影領域判定部２０７は、フラグマップの全画素についてステップＳ３１３〜ステップＳ３１４の処理を行ったかを判定する。ステップＳ３１５の判定の結果が真の場合、影領域判定部２０７は更新したフラグマップを前景画像データ修正部２０８に出力して、ステップＳ３１６に進む一方、該判定の結果が偽の場合、ステップＳ３１３に戻る。

ステップＳ３１６において、前景画像データ修正部２０８は、影領域判定部２０７から取得したフラグマップに基づいて、前景画像データ取得部２０３から取得した着目視点における前景画像データを修正する。具体的には、着目視点における前景画像データの各画素について、画素値が１であり、かつ、フラグマップにおける同一座標の画素の画素値が１（前景画像データの画素が影領域の画素であること示す）であるかを判定する。そして、これらの条件を満たす着目視点における前景画像データの画素の画素値を０に変更する一方、これらの条件を満たさない該画素の画素値を変更しない。本ステップにより、着目視点における前景画像データを修正し、影領域を含まない前景領域を抽出することができる。また、前景画像データ修正部２０８は、修正した前景画像データを二次記憶装置１０４や外部記憶装置１０８や表示装置１０９に出力して、一連の処理は完了する。以上が、本実施例における画像処理装置１００が実行する、前景領域を抽出する処理である。

＜本実施例の効果について＞
以下、本実施例の効果について図６を用いて説明する。図６において、画像データ６０２は、着目視点６０１から撮像した撮像画像であり、画像データ６０３は、前景の被写体６０６、６０７とこれらに付随する影とによる領域を前景領域として抽出した着目視点６０１における前景画像データである。前景画像データ６０３における領域６０４や領域６０５は、多視点の前景画像データを用いて復元した３次元形状のうちの、地上面付近に存在する形状に対応する領域であり、影領域である可能性が高いとみなされる。ここで３次元形状の復元に用いたボクセルのサイズが大きい場合、前景の被写体６０６の影による領域である可能性が高い領域６０５に、前景の被写体６０７による領域の一部が含まれる。このような領域６０５において、撮像画像６０２とこれに対応する背景画像６０８との間で、色の違いが小さい画素を影領域の画素とみなして前景画像データ６０３を修正した場合、前景画像データ６０９が得られる。前景画像データ６０９では、前景の被写体６０６、６０７に付随する影による影領域を抽出することなく、前景の被写体６０６、６０７による領域を抽出できている。しかし、前景画像データ６０９では、前景の被写体６０７による領域の一部、つまり影領域である可能性が高い領域に含まれ、前景の被写体６０７の色と背景の色とが類似する領域を、前景領域として抽出できていない。

これに対し、本実施例では、複数の異なる視点における前景画像データ（着目視点６０１における画像６１０を含む）を用いて、複数の変換前景画像データにおける共通前景領域を検出する。そして、共通前景領域に基づいて影領域６１１を検出し、影領域６１１の画素の画素値を変更することで、前景画像データ６１２を作成する。前景画像データ６０９と前景画像データ６１２とを比較すると、前景画像データ６１２では、前景の被写体６０６、６０７による領域を高精度に抽出できている。このように、本実施例によれば、前景の被写体が密集しているなどのシーンの状態によらず、影を含まない前景の被写体による領域を高精度に抽出することができる。また、本実施例は、３次元形状の復元を必要としない２次元画像の画像処理であるため、影を含まない前景の被写体による領域を、少ない計算量で抽出することができる。

［実施例２］
実施例１では、複数の異なる視点における前景画像データを用いて、影による領域である可能性が高い領域（共通前景領域）を検出し、その領域における背景画像と撮像画像との色の違いに基づき、影を含まない前景の被写体による領域を抽出する。これに対し、本実施例では、影である可能性が高い領域における、背景画像と撮像画像との色の違い、及び、背景画像と撮像画像とのテクスチャの違いに基づき、影を含まない前景の被写体による領域を抽出する。なお、実施例１と同様の構成及び同様の処理については、実施例１と同様の符号を付して説明を省略する。

＜本実施例の概要について＞
以下、本実施例における前景領域を抽出する処理の概要について説明する。本実施例では、着目視点における背景画像と撮像画像との間の、テクスチャの類似度を画素毎に算出する。具体的には、背景画像と撮像画像とにおいて複数の画素から成る領域（以下、ブロック）を設定し、ブロック内の画素について、背景画像と撮像画像との間における画素値の変化量の和をとることで、テクスチャの類似度を算出する。続いて、実施例１で説明した色の類似度と、本実施例で算出したテクスチャの類似度とを用いて、背景画像と撮像画像との間で、色が類似しかつテクスチャが類似する画素を検出し、該検出した画素を影領域の画素であると決定する。最後に、影領域を含む前景領域を抽出した前景画像データにおいて、影領域の画素と決定された画素の画素値を変更することで、影領域を含まない前景領域を抽出する。

実施例１では、影である可能性が高い領域において、背景画像と撮像画像とで色が類似する画素を影領域の画素とみなす。従って、影である可能性が高い領域に、入力画像と背景画像とで色が類似する前景の被写体による領域が含まれる場合、前景の被写体が誤って影とみなされてしまう。その結果、誤って影とみなされた前景の被写体による領域を抽出できず、影を含まない前景の被写体による領域を抽出する精度は低下する。この課題を考慮し、実施例２では、色の類似度に加えてテクスチャの類似度を用いて、着目画素が影領域の画素であるかを判定する。

一般的に、影がかかった領域は、影がかかる前に保持していた模様と同様の模様を保持する。例えば、芝生の上に人が立っている場合、人が芝生に落とす影による領域では、影の有無により色は変化するが芝生の模様は保持されている。従って、影である可能性が高い領域において、背景と前景とで色が類似する人などの前景の被写体による領域の画素と、該被写体に付随する影による領域の画素とを、テクスチャの類似度に基づき区別することが可能である。これを踏まえ、影領域を判定する際にテクスチャの類似度を用いることで、影領域を判定する精度が向上し、影を含まない前景の被写体による領域を、高精度に抽出することが可能となる。なお、影がかかった際にテクスチャが保持される被写体は上述の芝生の例に限られず、様々な画像データに対して本実施例を適用可能である。

＜前景領域を抽出する処理について＞
以下、本実施例における画像処理装置１００が実行する前景領域を抽出する処理について、図７及び図８を用いて説明する。図７は、本実施例における画像処理装置１００の機能構成を示すブロック図であり、図８は、本実施例における前景領域を抽出する処理の流れを示すフローチャートである。画像処理装置１００のＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用いてＲＯＭ１０３に格納されたプログラムを実行することで、図７に示す各構成要素として機能し、図８に示す一連の処理を実行する。なお、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部または全部が、ＣＰＵ１０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１００を構成しても良い。

ステップＳ８０１において、テクスチャ類似度算出部７０１は、対象画像データにおける着目画素を決定する。本ステップで決定する着目画素とは、対象画像データ取得部２０１から取得した対象画像データと、背景画像データ取得部２０２から取得した背景画像データとの間のテクスチャの類似度を算出する対象となる画像である。本実施例では、まず、対象画像データの左上の画素が着目画素として選択され、その後、未処理の画素が着目画素として順次選択される。なお、対象画像データの全画素について、テクスチャの類似度が算出されれば、どのような順番で着目画素を決定しても良い。

ステップＳ８０２において、テクスチャ類似度算出部７０１は、着目画素における、対象画像データ取得部２０１から取得した対象画像データと背景画像データ取得部２０２から取得した背景画像データとの間のテクスチャの類似度を算出する。以下、テクスチャの類似度の算出手法を具体的に説明する。

まず、背景画像データにおいて、対象画像データの着目画素と比較する参照画素を決定する。具体的には、着目画素の座標（ｕ₂、ｖ₂）と同一座標の、背景画像データの画素を参照画素とする。さらに、テクスチャの類似度を算出する際に用いる、着目画素の周辺の画素を決定する。本実施例では、着目画素を中心としたブロックを定義し、ブロックに含まれる画素を、テクスチャの類似度を算出する際に用いる画素として決定する。なお、ブロックのサイズは対象画像データの画像サイズに応じて事前に定める。例えば、対象画像データの画像サイズがＦＨＤ（１９２０×１２００）の場合、ブロックのサイズを９×９とする。

次に、対象画像データの着目画素を中心としたブロックと背景画像データの参照画素を中心としたブロックとを比較し、テクスチャの類似度を算出する。本実施例では、式（４）に示すように、比較対照のブロック間での画素値の二乗平均誤差を、テクスチャの類似度として用いる。

ここで、Ｂはマッチングに用いる画素の座標（ｘ，ｙ）を中心としたブロックに含まれる画素の集合を表しており、｜Ｂ｜はこの集合Ｂに含まれる画素の数を表している。また、Ｉ（ｘ，ｙ）、Ｉｂ（ｘ，ｙ）はそれぞれ、座標（ｘ，ｙ）における対象画像データの画素値、背景画像データの画素値を表し、ｋはＲＧＢ３チャンネルを識別するための添え字を表す。式（４）により算出するテクスチャの類似度Ｗの値は、対象画像データにおける着目画素と背景画像データにおける参照画素とで、テクスチャが類似するほど小さくなる。なお、用いるテクスチャの類似度は、式（４）に示す二乗平均誤差に限られず、画素間のテクスチャの類似度を示す任意の値を用いて良い。また、対象画像データや背景画像データにフィルタ処理などを行うことで、輪郭を抽出した変換画像データを作成し、これらの変換画像データを用いてテクスチャの類似度を算出しても良い。さらに、対象画像データと背景画像データとの各ブロックで特徴量を算出した後、対象画像データと背景画像データとの間で各ブロックの特徴量の差分を算出し、該算出した差分をテクスチャの類似度として用いても良い。

ステップＳ８０３において、テクスチャ類似度算出部７０１は、対象画像データの全画素についてステップＳ８０１〜ステップＳ８０２の処理を行ったかを判定する。ステップＳ８０３の判定の結果が真の場合、テクスチャ類似度算出部７０１は算出した全画素のテクスチャの類似度を影領域判定部７０２に出力して、ステップＳ３１３に進む一方、該判定の結果が偽の場合、ステップＳ８０１に戻る。

ステップＳ８０４において、影領域判定部７０２は、着目画素が影領域の画素に対応する画素であるかを判定する。この判定は、共通前景検出部２０５から取得したフラグマップと色類似度算出部２０６から取得した色の類似度とテクスチャ類似度算出部７０１から取得したテクスチャの類似度とに基づき、実行される。具体的には、以下の３つの条件を満たす場合、フラグマップにおける着目画素が影領域の画素に対応する画素であると判定し、該着目画素の画素値を１とする。
第１条件：フラグマップの画素値が１（Ｍ_F（ｕ₂、ｖ₂）＝１）であること
第２条件：色の類似度が閾値以下（Ｃ（ｕ₂、ｖ₂）≦Ｔｈｒ）であること
第３条件：テクスチャの類似度が閾値以下（Ｗ（ｕ₂、ｖ₂）≦Ｔｈｒ２）であること
一方、これら３つの条件を満たさない場合、フラグマップにおける着目画素が影領域の画素に対応する画素ではないと判定し、該着目画素の画素値を０とする。

上述の通り、影である可能性が高い候補において、背景画像と撮像画像とで、色の違いが小さくかつテクスチャの違いが小さい画素は、影領域の画素とみなすことができる。そのため、上述の３つの条件を満たす画素を、影領域の画素とみなす。上述の３つの条件を満たす画素とは即ち、フラグマップの画素値が１であり、色の類似度が閾値以下つまり背景画像と撮像画像とで色が類似し、かつ、テクスチャの類似度が閾値以下つまり背景画像と撮像画像とでテクスチャが類似する画素である。以上が、本実施例における画像処理装置１００が実行する、前景領域を抽出する処理である。

＜本実施例の効果について＞
以下、本実施例の効果について図９を用いて説明する。図９において画像データ９０４は、着目視点９０１から撮像した背景画像であり、画像データ９０５は、着目視点９０１から影が付随する被写体９０２及び地上面に存在する被写体９０３を撮像した撮像画像である。画像データ９０６は、実施例１の画像処理装置１００又は本実施例の画像処理装置１００により検出された、画像データ９０５の中で影である可能性が高い領域を表わす画像である。画像データ９０６では、影である可能性が高い領域の画素を白画素としている。

図９のケースに実施例１を適用すると、影である可能性が高い領域において、背景画像と撮像画像とで色の違いが小さい画素を影領域の画素とみなすことで、影を含まない前景の被写体による領域を抽出した前景画像データ９０７が作成される。前景画像データ９０７では、被写体９０２に付随する影による領域を抽出することなく、前景の被写体９０２による領域を抽出できている。しかし、前景画像データ９０７では、地上面に存在する被写体９０３の色と背景画像９０４の色とが類似しているため、被写体９０３を影と誤判定した結果、前景の被写体９０３による領域を抽出できていない。

これに対し、本実施例では、影である可能性が高い領域において、背景画像と撮像画像とで色の違いが小さく、かつ、背景画像と撮像画像とでテクスチャの違いが小さい画素を、影領域の画素とみなすことで、前景画像データ９０８が作成される。前景画像データ９０８では、被写体９０２に付随する影による領域を抽出することなく前景の被写体９０２による領域を抽出しつつ、被写体９０３による領域を抽出できている。このように、本実施例によれば、被写体の色によらず、影を含まない前景の被写体による領域を高精度に抽出することができる。

［その他の実施例］
本発明の実施形態は、上述の実施例に限られるものではなく、様々な実施形態をとることが可能である。例えば、上述の実施例では、色の類似度の算出において、対象画像データと背景画像データとのＲＧＢ空間における画素値を用いているが、用いる情報はこれに限られない。例えば、ＨＳＶやＬａｂなどの異なる色空間の画素値を用いて、色の類似度を算出しても良い。

また、上述の実施例では、画像を射影変換する際、地上面の一平面のみを基準としているが、地上面に平行な複数の平面を基準として用いても良い。このとき、基準として用いる複数の平面に地上面が含まれていても良く、地上面が含まれていなくても良い。例えば、地上面からの高さが０から１センチメートルまでを等間隔に刻むことで複数の平面を設定し、該設定した平面のそれぞれを基準とする射影変換により得られた変換画像を全て用いて影である可能性が高い領域を検出するようにしても良い。このようにすることで、カメラパラメータの誤差に対するロバスト性が向上する。

さらに、上述の実施例では、取得した多視点の前景画像データを全て用いて、影である可能性が高い共通前景領域を検出しているが、取得した前景画像データのうちの一部のみを用いて、共通前景領域を検出しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０３・・・前景画像データ取得部
２０４・・・画像変換部
２０５・・・共通前景検出部
２０８・・・前景画像データ修正部

Claims (11)

1. 複数の異なる視点における、前景の被写体と背景の被写体とを撮像した画像から前記前景の被写体による領域と該前景の被写体に付随する影による領域とを前景領域として抽出した画像である前景画像データを取得する前景画像データ取得手段と、
   前記取得した前景画像データを、地上面を基準として着目視点から見た場合の画像へとそれぞれ変換することで、複数の変換前景画像データを作成する作成手段と、
   前記前景領域のうち、前記複数の変換前景画像データにおいて共通して同じ位置に存在する領域を、共通前景領域として検出する検出手段と、
   前記共通前景領域に基づき、前記着目視点における前記前景画像データを修正することで、前記前景の被写体による領域を前景領域として抽出した画像である前景画像データを作成する前景画像データ修正手段と
   を有することを特徴とする画像処理装置。
2. 前記着目視点から前記前景の被写体と前記背景の被写体とを撮像した画像であって、前記前景の被写体による領域を抽出する対象の該画像である対象画像データを取得する対象画像データ取得手段と、
   前記背景の被写体の画像である背景画像データを取得する背景画像データ取得手段と、
   前記共通前景領域の画素が前記影による領域の画素であるか判定する判定手段と
   を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記共通前景領域の画素に対応する画素値に１が代入され、前記共通前景領域ではない画素に対応する画素値に０が代入されるフラグマップを作成することを特徴とする請求項２に記載の画像処理装置。
4. 前記対象画像データの画素と前記背景画像データの画素との間の色の類似度を算出する算出手段を更に有し、
   前記判定手段は、前記フラグマップの画素値と前記色の類似度とに基づき、前記共通前景領域の画素が前記影による領域の画素であるか判定することを特徴とする請求項３に記載の画像処理装置。
5. 前記判定手段は、前記変換前景画像データにおける着目画素について、該着目画素に対応する前記フラグマップの画素値が１であり、かつ、前記対象画像データと前記背景画像データとで色が類似する場合、前記着目画素が前記影の領域の画素であると判定することを特徴とする請求項４に記載の画像処理装置。
6. 前記対象画像データの画素と前記背景画像データの画素との間の色の類似度を算出する算出手段と、
   前記対象画像データの画素と前記背景画像データの画素との間のテクスチャの類似度を算出する算出手段と
   を更に有し、
   前記判定手段は、前記フラグマップの画素値と前記色の類似度と前記テクスチャの類似度とに基づき、前記共通前景領域の画素が前記影による領域の画素であるか判定することを特徴とする請求項５に記載の画像処理装置。
7. 前記判定手段は、前記変換前景画像データにおける着目画素について、該着目画素に対応する前記フラグマップの画素値が１であり、前記対象画像データと前記背景画像データとで色が類似し、かつ、前記対象画像データと前記背景画像データとでテクスチャが類似する場合、前記着目画素が前記影の領域の画素であると判定することを特徴とする請求項６に記載の画像処理装置。
8. 前記背景画像データは、前記着目視点から時系列に沿って連続で撮像した複数の異なる時刻に対応する複数の画像に基づき作成した画像、若しくは、前記前景の被写体が存在せず前記背景の被写体のみが存在する状態で撮像した画像であることを特徴とする請求項２乃至７の何れか１項に記載の画像処理装置。
9. 前記作成手段は、前記取得した前景画像データを、前記地上面に加え前記地上面に平行な複数の平面を基準として前記着目視点から見た場合の画像へとそれぞれ変換することで、前記複数の変換前景画像データを作成することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 複数の異なる視点における、前景の被写体と背景の被写体とを撮像した画像から前記前景の被写体による領域と該前景の被写体に付随する影による領域とを前景領域として抽出した画像である前景画像データを取得するステップと、
    前記取得した前景画像データを、地上面を基準として着目視点から見た場合の画像へとそれぞれ変換することで、複数の変換前景画像データを作成するステップと、
    前記前景領域のうち、前記複数の変換前景画像データにおいて共通して同じ位置に存在する領域を、共通前景領域として検出するステップと、
    前記共通前景領域に基づき、前記着目視点における前記前景画像データを修正することで、前記前景の被写体による領域を前景領域として抽出した画像である前景画像データを作成するステップと
    を有することを特徴とする画像処理方法。
11. コンピュータに、請求項１０に記載の方法を実行させるための、プログラム。