JP7271115B2 - 画像処理装置、背景画像の生成方法およびプログラム - Google Patents

Description

本発明は、撮像装置が撮像した画像から背景画像を生成する技術に関する。

撮像装置が撮像した画像から背景画像を生成する方法として、撮像した画像の前景領域を除いた領域から背景画像を生成する方法がある。特許文献１には、所定の区域を撮像した画像の画素のうち、ある時間内における画素値の変化が所定の閾値以下の状態が続いた画素は、背景を示す画素であるものとして背景画像を生成する技術が記載されている。

特開２００１―４３４５８号公報

撮像装置が撮像した画像には、背景ではないにも係わらず背景の画素値との差が小さい画素値の領域が存在する。例えば、撮像装置が撮像した画像に存在するオブジェクト（被写体）の影のうち、日照または照明の条件によって生じる薄い影の画素値は、その薄い影の領域に存在する本来の背景の画素値との差が小さい画素値である。このため、所定の区域を撮像した撮像画像と、同じ区域を撮像した画像から生成されている背景画像との画素値を比較して差分を求めると、撮像画像に存在する薄い影の領域と背景画像との画素値の差分は、所定の閾値を超えないことがある。差分が閾値以下である領域は背景として処理されるため、前景領域として処理されるべき薄い影の領域が背景画像に含まれるように処理される虞がある。

本開示に係る画像処理装置は、撮像装置によって撮像された撮像画像を取得する取得手段と、前記取得手段により取得された撮像画像の各画素の画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出手段と、前記検出手段により検出された差分領域に基づいて、前記撮像画像内のオブジェクトの影に相当する領域を少なくとも含む前記差分領域よりも広い第一の領域を設定する設定手段と、前記撮像画像のうち、前記設定手段により設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成手段と、を有することを特徴とする。

本発明によれば、好適な背景画像を生成することができる。

仮想視点システムを示す図である。 画像処理装置のハードウエア構成を示すブロック図である。 画像処理装置の機能構成を示すブロック図である。 撮像画像から背景画像を更新する処理を示す図である。 膨張処理の説明をする図である。 膨張処理を示すフローチャートである。 膨張画素数の算出方法を説明する図である。 膨張処理を示すフローチャートである。

以下、添付の図面を参照して、本発明を実施形態例のいくつかに基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本実施形態は、カメラ等の撮像装置が撮像した撮像画像に基づき背景画像を生成する処理において、背景との画素値の差が小さい前景を、背景として取り扱わないように処理をする画像処理装置に関わる形態である。

図１は、本実施形態のシステムの概略構成を示したものである。競技場１０１の周囲に複数のカメラ１０２が並べて配置されており、複数の方向から競技場のフィールド１０４を撮像できるようになっている。各カメラ１０２は、原則として、姿勢および位置が固定されているため、各カメラは時間方向において同じ撮像区域を撮像する。各カメラ１０２はデータ伝送のための入出力ハードウエア（不図示）を備えている。カメラ１０２同士は例えばネットワークケーブル等のネットワークを使ってリング型の接続がされており、ネットワークを介して隣のカメラへ画像（動画または静止画）を示す画像データを順次伝送するようになっている。カメラ１０２のうちの一つは画像処理装置２００（図２参照）に接続されており、各カメラ１０２が撮像した画像の画像データは画像処理装置２００まで伝送される。

以下、本実施形態は、図１に示すような、競技場の周囲に複数のカメラが配置され仮想視点画像を生成するシステムに係わる画像処理装置２００を例に説明する。ここで仮想視点画像とは、エンドユーザまたは選任のオペレータ等が自由に仮想視点に対応するカメラ（仮想カメラ）の位置および姿勢を操作することによって生成される画像である。仮想視点画像は、動画であっても、静止画であってもよい。

競技場１０１のフィールド１０４では例えばサッカーなどの競技が行われており、フィールド１０４の中にオブジェクトとして人物１０３が存在しているものとする。各カメラ１０２によって撮像された画像の画像データはネットワークを介して画像処理装置２００に送信される。オブジェクトとは、例えば選手、監督、または審判等の特定の人物である。または、オブジェクトは、ボール、またはゴール等、画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。

図２は、画像処理装置２００のハードウエア構成の一例を示す図である。画像処理装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、入出力Ｉ／Ｆ２０５で構成される。そして、画像処理装置２００を構成する各部は、システムバス２０６によって相互に接続されている。また、画像処理装置２００は、入出力Ｉ／Ｆ２０５を介して、カメラ１０２、表示操作部２１０、に接続されている。

ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０６を介して画像処理装置２００の各部を統括的に制御する。これにより、後述する様々な処理が実現される。ＨＤＤ２０４は、画像処理装置２００で取り扱う種々のデータを記憶する大容量記憶装置であり、例えばＳＳＤなどでもよい。ＣＰＵ２０１は、システムバス２０６を介してＨＤＤ２０４へのデータの書き込み及びＨＤＤ２０４に記憶されたデータの読出しを行うことができる。

入出力Ｉ／Ｆ２０５は、例えばＵＳＢまたはＩＥＥＥ１３９４等のシリアルバスＩ／Ｆであり、外部装置と画像処理装置２００との間の各種データ・命令等の入力または出力が、この入出力Ｉ／Ｆ２０５を介して行われる。表示操作部２１０は、例えばタッチパネル機能を有する液晶ディスプレイなどで構成され、ユーザに対する必要な情報の表示、またはＵＩ画面を介してユーザからの指示を取得する。なお、画像処理装置２００の構成要素は上記以外にも存在し得るが説明を省略する。

図３は、画像処理装置２００の機能構成を示すブロック図である。画像処理装置２００は、画像取得部３０１、差分領域検出部３０２、背景画像保存部３０３、差分領域設定部３０４、背景画像作成部３０５、背景差分処理部３０６、前景テクスチャ生成部３０７および仮想視点画像生成部３０８を有する。なお、差分領域は、複数の画素で構成されるが、複数の画素はすべてつながっている必要なく、２つ以上に分離されていてもよい。また、差分領域を構成する複数の画素は、互いに離れていてもよい。また、差分が所定の閾値未満となる画素が１つの場合であっても本実施形態を適用することができる。

画像取得部３０１は、カメラ１０２が撮像した撮像画像の画像データを取得する。撮像画像は静止画または動画のフレーム画像などの画像である。差分領域検出部３０２は、撮像画像と比較対象画像との画素値の差分が所定の値より大きい領域である差分領域を検出する。本実施形態では、比較対象画像として背景画像保存部３０３に記憶されている背景画像を使用する。詳細は後述する。背景画像保存部３０３は、撮像画像が撮像される以前に生成された背景画像を記憶している。背景画像保存部３０３は、画像処理装置２００のＲＯＭ２０３またはＨＤＤ２０４により実現される。

なお、本実施形態では、背景画像保存部３０３は画像処理装置２００の構成に含まれることにしているが、画像処理装置２００と異なる装置におけるＲＯＭまたはＨＤＤ等によって実現されてもよい。その場合、画像処理装置２００は、ネットワーク等を介して背景画像保存部を有する装置と接続されることにより背景画像を取得する。

差分領域設定部３０４は、差分領域検出部３０２により検出された差分領域に基づいて、差分領域を広げて差分領域よりも広い領域を設定する処理をする。本実施形態では、差分領域を広げるための処理として膨張処理をする。膨張処理の説明は後述する。
背景画像作成部３０５は、撮像画像と差分領域設定部３０４によって膨張処理された差分領域を示す画像とに基づき背景画像を生成する。本実施形態は後述するように、撮像画像と、差分領域設定部３０４によって膨張処理された差分領域を示す画像と、に基づき背景画像保存部３０３に保存されている背景画像が更新されることにより背景画像が生成される形態である。他にも、背景画像作成部３０５は撮像画像のうち差分領域設定部３０４によって膨張処理された差分領域以外の領域の画像を背景画像として生成する形態でもよい。

背景差分処理部３０６は、更新された背景画像と撮像画像とを比較し、差分が存在する領域から前景の領域であることを示す前景マスクを生成する。前景テクスチャ生成部３０７は、撮像画像および前景マスクに基づいて前景テクスチャを切り取る処理をして前景テクスチャを生成する。仮想視点画像生成部３０８は前景マスク、前景テクスチャおよび背景画像から仮想視点画像を生成する。

なお、背景差分処理部３０６、前景テクスチャ生成部３０７および仮想視点画像生成部３０８は、画像処理装置２００とは別の装置の構成として実現されている形態でもよい。その場合、背景差分処理部３０６を有する装置は、ネットワーク等を介して画像処理装置２００から撮像画像および更新された背景画像を取得する。

また、図３の各モジュールの機能はＣＰＵ２０１がＲＯＭ２０３に記憶されているプログラムコードをＲＡＭ２０２に展開して実行することにより実現される。他にも例えば、画像処理装置２００はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）やＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）を有する形態でもよい。その場合、図３に示した各モジュールがハードウエアとしてＡＳＩＣやＦＰＧＡの内部に実装される。

［背景画像の更新処理の説明］
図４は、比較例として、カメラ等の撮像装置が撮像した撮像画像から、膨張処理をしない場合における背景画像の更新処理を説明する図である。図４（ａ）は、カメラ１０２が撮像した撮像画像の例であり、背景であるフィールド４０１と、フィールドの内部に人物がオブジェクト４０２として映っている。また、フィールドの内部には、オブジェクトの影（人物の影）４０３が映っている。撮像画像は静止画または動画のフレーム画像などの画像である。図４（ｂ）は、図４（ａ）の撮像画像と同じ撮像区域の背景として背景画像保存部３０３に記憶されている背景画像である。

図４（ｃ）は、撮像画像の領域と背景画像との対応する領域の画素値の差分が、所定の値を超えた領域を示す図である。撮像画像と背景画像との画素値の差分が所定の値を超えた領域である「差分領域」を示す画像は、例えば図４（ｃ）のように各画素が黒色の領域と白色の領域の２値の画像で表された画像である。図４（ｃ）において、黒色の領域は、差分が所定の値を超えた差分領域４０４を示しており、前景と判定された領域であることを示している。一方、白色の領域は差分が所定の値以下の領域であることを示している。差分領域以外の領域を非差分領域４０５とよぶ。非差分領域４０５は背景と判定された領域であることを示している。

図４（ｄ）は、図４（ａ）の撮像画像に基づき、保存されている背景画像が更新された後の背景画像の例である。図４（ｃ）の非差分領域４０５を示した画像と、図４（ａ）の撮像画像とを重ね合わせたときに、非差分領域４０５の領域に応じた撮像画像の画素を、保存されている背景画像の非差分領域４０５に応じた画素に上書して背景画像を更新する。このとき、オブジェクトの影４０３およびオブジェクトの輪郭部分に発生するボケ領域４０７（オブジェクトと背景の境界部分において画素値が混合した領域）の画素値は、背景画像の画素値との差分が小さい。このため、オブジェクトの影４０３およびボケ領域４０７は、差分が所定の値より大きい領域である差分領域４０４には含まれないことがある。この場合、オブジェクトの影４０３およびボケ領域４０７は図４（ｃ）の非差分領域４０５に含まれることになる。非差分領域４０５は前述のとおり背景として処理されるため、図４（ｄ）の画像のようにオブジェクトの影４０３およびボケ領域４０７は背景として取り込まれて背景画像が更新されることがある。

影の領域またはボケ領域が背景画像の一部として取り込まれることになると、更新された背景画像を基準にして行われる処理において不都合を生じさせる虞がある。例えば、背景差分処理部３０６は更新された背景画像と同じ区域を撮像した撮像画像とを比較し、差分が存在する領域を分離することでオブジェクトである前景の領域を示す前景マスクを生成する処理がある。このとき図４（ｄ）のように更新された背景画像にオブジェクトの影が含まれると、撮像画像にあるオブジェクトの影は背景画像との差分であると判定されない。このため、オブジェクトの影が前景領域として処理されない虞がある。

図５は、本実施形態に係わる技術を使用してカメラ等の撮像装置が撮像した撮像画像から背景画像を更新する処理を説明する図である。図５（ａ）、図５（ｂ）および図５（ｃ）はそれぞれ図４（ａ）、図４（ｂ）および図４（ｃ）と同じ図である。図５（ｄ）は、差分領域設定部３０４によって差分領域４０４（黒色の領域）に対して膨張処理を行った後の図である。

ここで、「膨張処理」とは、図５（ｃ）の差分領域４０４を膨張処理する場合、差分領域４０４の各画素において、各画素の周辺の画素も差分領域として扱うようにして差分領域を広げる処理をすることである。例えば、差分領域の各画素を注目画素とし、注目画素の周囲を１画素で囲んだ単位領域ごとに膨張処理は行われる。具体的には、その注目画素が黒色であればその単位領域の全ての画素（８画素）を注目画素と同じ黒色にするような処理をする。そのとき膨張処理をするための画素数（上記の例でいう１画素）を「膨張画素数」とよぶ。なお、膨張処理の方法は限定しない。例えば、ある注目画素において、その注目画素の周辺に黒色の画素が存在する場合は、その注目画素の画素値を黒色の画素値にさせるような処理でもよい。

膨張処理の結果の例を図５（ｄ）に示す。このように、図５（ｃ）の差分領域４０４が膨張処理されて、オブジェクトの影４０３およびオブジェクトの輪郭部分に発生するボケ領域４０７は膨張処理された後の差分領域５０１の中に含まれることになる。

図５（ｅ）の画像は、保存されていた背景画像が撮像画像である図５（ａ）の画像に基づいて更新された後の背景画像を示す画像である。差分領域設定部３０４は、膨張された後の差分領域５０１を含む図５（ｄ）の画像と、図５（ａ）の撮像画像とを重ね合わせる。その時に、膨張された差分領域以外の領域である非差分領域５０２（白色の領域）に応じた撮像画像の画素が、保存されている図５（ｂ）の背景画像の同じ領域の画素に上書され背景画像が更新される。差分領域５０１は、オブジェクトの影４０３およびオブジェクトの輪郭部分に発生するボケ領域４０７が含まれるように膨張されている。このため、背景を示す非差分領域５０２にはオブジェクトの影４０３およびオブジェクトの輪郭部分に発生するボケ領域４０７が含まれない。よって、図４（ｄ）の背景画像とは異なり、本実施形態によって更新された図５（ｄ）の背景画像には影４０３およびボケ領域４０７の領域が取り込まれない。

このため、例えば、背景差分処理部３０６は、オブジェクトの影４０３が取り込まれていない背景画像と撮像画像とを比較して差分処理を行ことができる。よって、背景差分処理部３０６はオブジェクトの影４０３を差分として認識できるため、前景マスク生成に際して、オブジェクトの影も前景領域として処理することができる。

［フローチャート］
図６は、本実施形態における画像処理装置２００が背景画像を更新する際の一連の処理を示すフローチャートである。図６のフローチャートで示される一連の処理は、ＣＰＵ２０１がＲＯＭ２０３に記憶されているプログラムコードをＲＡＭ２０２に展開し実行することにより行われる。または、図６におけるステップの一部または全部の機能をＡＳＩＣ、ＦＰＧＡ、あるいは電子回路等のハードウエアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。

Ｓ６０１において、画像取得部３０１は、ネットワークを介して各カメラ１０２から送られる撮像画像を示す画像データを取得する。

Ｓ６０２において、画像取得部３０１は、撮像画像を示す画像データに対して、画像の振動の補正、レンズ歪みなどの画像の歪みの補正、色およびガンマ調整などの前処理を行う。

Ｓ６０３において、差分領域検出部３０２は、前処理が行われた撮像画像を示す画像データを取得する。また、差分領域検出部３０２は、背景画像保存部３０３に保存された背景画像を示す画像データを比較対象画像として取得する。差分領域検出部３０２は、取得した背景画像の領域と撮像画像の対応する領域とにある各画素の画素値の差分を算出し、差分が所定の値より大きいかを判定する。差分が所定の値より大きい場合、差分領域検出部３０２は当該画素を差分領域の画素であると判定する。

ここで、所定の値は、撮像画像の背景の領域に含まれる微小なノイズによって画素値が変動した場合であっても、撮像画像の背景の領域が差分領域と判定されないように定められた値である。よって、所定の値はノイズの変動に基づき定められる。所定の値は、例えば背景画像の画素値に対して数％の値のように予め定められた値である。または、画像処理装置２００に撮像画像のノイズレベルをモニターする機能を設け、差分領域検出部３０２は撮像画像のノイズレベルに応じて所定の値を随時変更する形態であってもよい。画像処理装置２００の表示操作部２１０を介してユーザが所定の値を変更する指示を行い、差分領域検出部３０２が当該指示を取得し、ユーザが定めた所定の値に基づき差分領域を判定する形態でもよい。

Ｓ６０４において差分領域設定部３０４は、膨張画素数を決定するための基礎となる特徴量の算出を行う。本実施形態では、特徴量としてオブジェクトごとの差分領域の画素数（面積）を使用する。差分領域設定部３０４は、オブジェクトごとの差分領域の画素を数えて差分領域の画素数を算出する。

Ｓ６０５において、差分領域設定部３０４は、オブジェクトごとの差分領域の画素数に所定の係数を乗算し、差分領域を膨張処理するための膨張画素数を決定する。

Ｓ６０６において、差分領域設定部３０４は、オブジェクトごとの差分領域に対してＳ６０５の処理によって決定された膨張画素数に基づき膨張処理を行う。

Ｓ６０７において、背景画像作成部３０５は、画像取得部３０１が取得した撮像画像、背景画像保存部３０３に保存されている背景画像、および差分領域設定部３０４において膨張処理された差分領域と非差分領域とを示す画像を取得する。背景画像作成部３０５は、膨張処理された後の非差分領域５０２に対応する撮像画像の各画素を、背景画像保存部３０３に保存されている背景画像の非差分領域に対応する各画素に、撮像画像の各画素を置換するように上書きして背景画像を生成する。即ち、上書きする撮像画像の各画素の画素値によって、上書きされる背景画像の各画素の画素値が置換されるようにして背景画像が更新される。更新後の背景画像は背景画像保存部３０３に保存される。

画像取得部３０１は取得した撮像画像を示す画像データを一定期間毎に差分領域検出部３０２に送信し、その都度、差分領域検出部３０２は撮像画像を示す画像データを取得する。よって、記載は省略するがＳ６０１からＳ６０７の処理は繰り返し行われる。背景画像保存部３０３には、撮像画像が撮像される直前に更新された背景画像が記憶されている。よって、次にＳ６０１の処理が行われる際は、更新後の背景画像と新たな撮像画像を比較してＳ６０３の差分領域を判定する処理が行われる。このようにして背景画像を随時更新することができる。

以上の処理により撮像画像から背景画像を更新する処理は終了する。仮想視点画像を生成する処理としてはこの後に前景画像を生成するための処理が行われる。

仮想視点画像を生成する際には、主な被写体（オブジェクト）である前景を背景部分から切り離してモデル化した上でレンダリングする処理が行われる。前景をモデル化する際には、複数のカメラから見たときの前景のシルエットに相当する前景マスクの情報と前景のテクスチャの情報（例えば前景の各画素のＲ、Ｇ、Ｂの色情報）とが必要となる。

前景を背景部分から切り離す処理は、前景背景分離処理と呼ばれる。前景背景分離処理は、前景領域の推定を行う処理であり、一般的に背景差分法によって行われる。背景差分法とは、背景画像と、前景を含む入力画像との差分を求め、差分値が所定の閾値以上と判定された画素の集まりである領域を前景領域とする、というものである。つまり、前景を求めるために、背景画像が必要となる。

背景差分処理部３０６は、背景画像作成部３０５から、更新された背景画像を取得する。また背景差分処理部３０６は、画像取得部３０１から撮像画像を取得する。背景差分処理部３０６は、撮像画像と更新された背景画像とを比較する背景差分法を行い、差分のある領域から前景領域を示す前景マスクを作成する。

前景マスクの作成において使用される背景画像は、上記の背景画像作成部３０５が更新した背景画像であり、例えば、図５（ｅ）に示すようにオブジェクトの影が取り込まれていない背景画像である。このため本実施形態によれば背景差分処理部３０６は、オブジェクトの影が取り込まれていない背景画像と撮像画像とを比較して差分処理を行ことができる。よって、背景差分処理部３０６はオブジェクトの影の領域を差分として認識できるため、前景マスク生成に際して、オブジェクトの影に対しても前景領域として判定することができる。

次に、前景テクスチャ生成部３０７は、画像取得部３０１から撮像画像を取得し、背景差分処理部３０６から前景マスクを取得する。前景テクスチャ生成部３０７は、撮像画像および前景マスクに基づいて前景テクスチャを切り取る処理をして前景テクスチャを生成する。

次に、上記の背景画像、前景マスク、前景テクスチャを用いて仮想視点画像を生成する処理の説明をする。仮想視点画像生成部３０８は、他の複数視点のカメラによって撮像された複数視点画像によって生成された背景画像、前景マスク、前景テクスチャを取得する。仮想視点画像生成部３０８は、取得した複数視点の前景マスクおよび前景テクスチャを用いて、撮像シーン内に存在する各オブジェクトの３次元形状推定処理を実行する。推定手法としては、オブジェクトの輪郭情報を用いるＶｉｓｕａｌ－ｈｕｌｌ手法、または三角測量を用いたＭｕｌｔｉ－ｖｉｅｗ ｓｔｅｒｅｏ手法など公知の手法を適用すればよい。これにより、オブジェクトの３次元形状を表すデータ（例えば、ポリゴンデータまたはボクセルデータ）が生成される。そして、生成される仮想視点画像についての画質レベルが設定される。

また、仮想視点画像の対象タイムフレームにおける仮想カメラの位置・姿勢（仮想カメラパス）および注視する点（仮想注視点パス）といったパラメータが、表示操作部２１０を介したユーザ入力に基づき設定される。仮想視点画像生成部３０８は、前述の仮想カメラのパラメータに従って、仮想視点画像を生成する。仮想視点画像は、形状推定処理で得られたオブジェクトの３Ｄ形状データを用いて、設定された仮想カメラから見た映像をコンピュータグラフィックスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよく、本実施形態の主眼ではないので説明は省略する。

以上説明したように本実施形態によれば、背景と画素値の差が小さい前景領域を背景として処理することなく背景画像を生成することができる。

［変形例］
本実施形態の説明において、差分領域をより広い領域とするような設定処理の１つとして膨張処理による実施形態の説明をした。差分領域をより広い領域とするような設定処理は膨張処理に限られない。例えば、ユーザが表示操作部２１０を介して差分領域を広げる領域を指示し、差分領域設定部３０４は当該指示に基づき差分領域を広げるような形態でもよい。

本実施形態では、膨張画素数を決定する基である特徴量として画素数（面積）が用いられている。変形例として、オブジェクトの形状の目安となる差分領域の高さ、または差分領域の幅の情報が特徴量して用いられてもよい。またはオブジェクトの動きによる輪郭ボケの程度の目安となる過去のフレーム画像との比較によるオブジェクトの移動量が特徴量として用いられてもよい。

特徴量から膨張画素数を決定する方法として本実施形態では特徴量に対して一定の係数を乗算する形態としている。他にも画像処理装置２００が特徴量に対応した膨張画素数をテーブル形式で管理し、当該テーブルに応じて膨張画素数が決定される形態でもよい。

本実施形態では、特徴量に応じて膨張画素数が決定される形態としたが、処理を軽減するために膨張画素数を一定値として決めておく形態でもよい。または、ユーザが表示操作部２１０を介して膨張画素数を指示し、差分領域設定部３０４がユーザの指示した膨張画素数を取得し、差分領域設定部３０４がユーザの指示に応じて膨張画素数を変更するような形態でもよい。

また、オブジェクトの影が差分領域に含まれるように、差分領域設定部３０４は差分領域の輪郭の下方を更に膨張する形態でもよい。はじめに、差分領域設定部３０４はオブジェクトのボケ領域が含まれる程度に差分領域を膨張処理する。次に、差分領域設定部３０４は差分領域の下方の領域を更に広げるように膨張処理することでオブジェクトの影の領域に対しても差分領域に含まれるように膨張処理をする。このように差分領域設定部３０４がオブジェクトのボケ領域と影の領域とを差分領域に含めるための膨張画素数をそれぞれ違う値で複数回膨張処理をする形態でもよい。または、差分領域の下方の領域をさらに広げるように膨張画素数を設定し、１回の膨張処理で差分領域の輪郭の下方を更に膨張する形態でもよい。ボケ領域より影の領域の方がオブジェクトの輪郭からの広がりが大きい。このため、ボケ領域および影の領域を差分領域に含めるために差分領域を均一に膨張処理させるよりも、全体として差分領域を膨張処理させる領域を少なくすることができる。このため、差分領域の場所によって異なる膨張画素数が用いられることによって、更新する背景の領域を広くすることができる。

＜実施形態２＞
本実施形態は、閾値を２つ設け、それぞれの閾値に達した画素の位置の関係から、オブジェクトの影の領域またはボケ領域を推定して膨張画素数を決定する形態である。影の領域またはボケ領域を推定することで差分領域を膨張処理によって広げる領域を適切な領域にすることができる。この結果、例えば、膨張処理によって広げる領域を少なくすることができ、更新する背景の領域を広くすることができる。

本実施形態については、実施形態１からの差分を中心に説明する。特に明記しない部分については実施形態１と同じ構成および処理である。画像処理装置２００の構成は実施形態１と同様であるので説明は省略する。

［膨張画素数の決定方法の説明］
図７は、本実施形態における２つの閾値から膨張画素数を決定する処理を説明するための図である。図７（ｂ）のグラフの横軸は、図７（ａ）の撮像画像のａからａ´までの横方向（ｘ方向）のライン上の位置を表している。図７（ｂ）グラフの縦軸は、撮像画像上のａからａ´のライン上の画素と、比較対象画像上における同じ位置の画素と、の画素値の差分を表している。図７（ｂ）のグラフ上の曲線は、ａからａ´のライン上の位置と、当該位置における撮像画像と比較対象画像との画素値の差分と、を示す座標をプロットした点を繋いだものである。なお、本実施形態についても比較対象画像は保存されている背景画像を用いる形態であるものとして説明をする。

第１の閾値は、撮像画像の差分領域と非差分領域の境界を示す所定の値（実施形態１参照）であり図７（ｂ）のグラフではｔｈ１で示している。即ち図７（ｂ）におけるグラフの差分がｔｈ１より大きい横軸ｘの領域は差分領域であることを示している。第２の閾値は第１の閾値より小さい値として設けられた閾値であり図７（ｂ）のグラフではｔｈ２として示している。第２の閾値は、例えば、第１の閾値の半分の値として設定される。

グラフ上の曲線が、グラフの縦軸である差分における第１の閾値（ｔｈ１）に達したときの横軸ｘの値をｘ１とする。同様にグラフ上の曲線が縦軸である差分における第２の閾値（ｔｈ２）に達したときの横軸ｘの値をｘ２とする。このとき、座標（ｘ１，ｔｈ１）と座標（ｘ２，ｔｈ２）とを結ぶ直線の延長線が横軸ｘと交わる座標を（ｘ０，０）とする。図７（ｂ）より、ｘ０は次式で算出される。
ｘ０＝（ｔｈ１×ｘ２－ｔｈ２×ｘ１）／（ｔｈ１－ｔｈ２） （１）

このｘ０をａ－ａ’ライン上におけるオブジェクトの影の領域またはボケ領域と背景との境界であると推定して膨張画素数を決定する。例えば、実施形態１で説明したように、差分領域検出部３０２は、所定の値より差分が大きい領域を差分領域とする。本実施形態における所定の値は第一の閾値である。よって、差分領域検出部３０２はグラフの横軸ｘがｘ１より小さい領域は差分領域と判定しない。一方、差分領域設定部３０４は、オブジェクトの影の領域またはボケ領域が差分領域に含まれるように差分領域を膨張するため、膨張画素数は、次式に基づき決定される。
ｘ１－ｘ０ （２）

式（２）から膨張画素数を求める場合、画素数は自然数であることから式（２）によって得られたｘ１－ｘ０の小数点切り上げた値が膨張画素数として用いられる。こうして差分領域設定部３０４は膨張処理によって影の領域またはボケ領域が差分領域に含まれる膨張画素数を決定する。

［フローチャート］
図８は、２つの閾値から膨張画素数を決定して膨張処理を示すフローチャートである。Ｓ８０１～８０２は、図６のＳ６０１～６０２と同じ処理であるので、説明を省略する。

Ｓ８０３において、差分領域検出部３０２は、取得した撮像画像のオブジェクト上に特定のラインを設け、当該ライン上の撮像画像と背景画像との各画素に対して画素値の差分を算出し、差分が第１の閾値より大きいかを判定する。差分領域検出部３０２は、差分が第１の閾値（ｔｈ１）に達したときのライン上の座標をｘ１として記憶する。

Ｓ８０４において、同様に、差分領域検出部３０２は、当該ライン上の撮像画像と背景画像との各画素の画素値の差分が第２の閾値より大きいかを判定する。差分領域検出部３０２は、差分が第２の閾値（ｔｈ２）に達したときのライン上の座標をｘ２として記憶する。

Ｓ８０５において、差分領域設定部３０４は、２つの閾値によって得られた境界の座標値（ｘ１，ｔｈ１）と（ｘ２，ｔｈ２）とに基づき、（ｘ０，０）の座標を求める。差分領域設定部３０４は、ｘ１－ｘ０を算出し、算出した値の小終点を切り上げた値を膨張画素数として取得する。

Ｓ８０６において、差分領域設定部３０４は、Ｓ８０５において算出された膨張画素数を使用して差分領域に対して膨張処理をおこなう。

Ｓ８０７の処理は、図６のＳ６０７と同じ処理であるため説明は省略する。また、以降の処理についても実施形態１と同様であるので説明は省略する。

以上説明したように本実施形態は、閾値を２つ設けることで、影の領域およびボケ領域を推定して膨張画素数を決定する形態である。影の領域またはボケ領域を推定することで差分領域を広げる領域を適切な領域とすることができ、その結果として、例えば、更新する背景の領域を広くすることができる。

［変形例］
上記の実施形態は、特定のラインから差分領域全体に適用する膨張画素数を決定する形態であるが、複数のラインから膨張画素数を決定してもよい。例えば、差分領域設定部３０４は、オブジェクト全体が覆われるように図７（ａ）のａ－ａ’のようなラインを複数設定する。次に差分領域設定部３０４は、各ラインのｘ１とｘ０とを求め、それぞれの各ラインに個別に膨張画素数を算出し、各ラインに異なる膨張画素数を適用し、ラインごとに膨張処理をしてもよい。その場合、実施形態２の説明では、オブジェクトの左側の領域に対してｘ０を決定する説明をしたが、差分領域設定部３０４はオブジェクトの右側の領域においても同様にｘ１とｘ０とを求め、左側の境界および右側の境界それぞれの膨張画素数を決定する。

図７（ａ）のａ－ａ’のようなラインは横方向のラインだけでなく縦方向にラインを引いて、差分領域設定部３０４が縦方向のラインに基づき膨張画素数を決定する形態でもよい。通常、オブジェクトの影は縦方向の下方に生じることから縦方向にもラインを設けることで、差分領域設定部３０４は影の領域に応じた膨張画素数を決定することができる。また差分領域設定部３０４が縦方向と横方向にラインを設けて、それぞれのラインから膨張画素数を決定する形態でもよい。

その他にも、複数のラインから算出した膨張画素数の平均値を算出し、当該平均値を差分領域全体の膨張画素数としてもよい。

＜その他の実施形態＞
前述した実施形態では、競技場の周囲に複数のカメラを配置して仮想視点画像を生成するシステムを例に説明した。しかしながら、単一カメラによって撮像された画像データから背景画像の更新をする形態であればよく、複数カメラ間の相対的な幾何学的設置条件に縛られるものではない。従って、例えば、画像処理装置２００が構内、屋外または遠隔地に設置された監視カメラから画像データを取得して背景画像を更新するようなシステムでも実現可能である。

前述した実施形態では、比較対象画像は背景画像保存部３０３に保存されている背景画像であり、背景画像が、比較画像である撮像画像と比較されて差分領域が決定される。比較対象画像は他にも、比較画像の撮像画像と同じ区域が撮像された画像であって、撮像画像が撮像される以前に撮像された画像でもよい。比較対象画像は１つに限らず複数でもよい。その場合、比較画像の撮像画像と、いずれかの比較対象画像とに差分があった領域は差分領域として判定される。

前述した実施形態は、一つの画像処理装置２００が複数のカメラの画像データを取得して各カメラにおける背景画像、前景マスクおよび前景テクスチャの生成をする形態である。前述した実施形態に限らず、各カメラのハードウエア（不図示）が、画像処理装置２００の仮想視点画像生成部の機能を除く機能を有する形態でもよい。例えば、各カメラのハードウエアにおいて、各カメラが撮像した撮像画像から背景画像、前景マスクおよび前景テクスチャを生成し、仮想視点画像を生成する別の装置に生成された背景画像、前景マスクまたは前景テクスチャを送信する形態でもよい。

システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３０１ 画像取得部
３０２ 差分領域検出部
３０３ 背景画像保存部
３０４ 差分領域設定部
３０５ 背景画像作成部

Claims (22)

1. 撮像装置によって撮像された撮像画像を取得する取得手段と、
   前記取得手段により取得された撮像画像の各画素の画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出手段と、
   前記検出手段により検出された差分領域に基づいて、前記撮像画像内のオブジェクトの影に相当する領域を少なくとも含む前記差分領域よりも広い第一の領域を設定する設定手段と、
   前記撮像画像のうち、前記設定手段により設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記設定手段は、前記撮像画像内のオブジェクトの動きによる輪郭ボケに相当する領域を含む前記差分領域よりも広い領域に、前記撮像画像内のオブジェクトの影に相当する領域を加えた領域を、前記第一の領域として設定する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記撮像画像のうち前記第二の領域を構成する各画素によって、以前に生成されている背景画像のうち前記第二の領域に対応する領域を構成する各画素を更新することにより、前記背景画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記生成手段は、以前に生成されている背景画像のうち前記第二の領域に対応する領域を構成する各画素の画素値を、前記撮像画像のうち前記第二の領域を構成する各画素の画素値に置換することにより、以前に生成されている背景画像を更新することを特徴とする請求項３に記載の画像処理装置。
5. 前記比較対象画像は、以前に生成されている背景画像であることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記比較対象画像は、前記撮像画像が撮像される以前において前記撮像装置によって撮像された画像である
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記設定手段は、所定の膨張画素数に基づき前記設定をすることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記差分領域の面積に応じた値を前記膨張画素数として前記設定をすることを特徴とする請求項７に記載の画像処理装置。
9. 前記設定手段は、ユーザによって指示された値を取得し、ユーザによって指示された前記値を前記膨張画素数として用いて前記設定をすることを特徴とする請求項７に記載の画像処理装置。
10. 前記設定手段は、オブジェクトの移動量を決定し、前記移動量に応じた値を前記膨張画素数として用いて前記設定をすることを特徴とする請求項７に記載の画像処理装置。
11. 撮像装置によって撮像された撮像画像を取得する取得手段と、
    前記取得手段により取得された撮像画像の各画素の画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出手段と、
    前記検出手段により検出された差分領域よりも広い領域である第一の領域を、所定の膨張画素数に基づいて設定する設定手段と、
    前記撮像画像のうち、前記設定手段により設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成手段と、
    を有し、
    前記検出手段は、前記撮像画像のライン上の各画素の画素値と、前記比較対象画像の前記ラインに対応するライン上の各画素の画素値と、の差分を決定し、前記差分が前記所定の値である第一の位置と、前記差分が前記所定の値より小さい第二の値である第二の位置と、を決定し、
    前記設定手段は、前記第一の位置と、前記第二の位置と、の関係から前記所定の膨張画素数を決定する
    ことを特徴とする画像処理装置。
12. 前記設定手段は、前記撮像画像の前記ライン上の各位置に対応する前記差分を示すグラフにおいて、前記第一の位置を示す座標と、前記第二の位置を示す座標と、を結ぶ直線の延長線にある前記差分が０になる座標から第三の位置を決定し、前記第一の位置と前記第三の位置とに基づき前記膨張画素数を決定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記検出手段は、前記撮像画像上の複数の前記ラインにおいて、前記ラインごとに前記第一の位置と前記第二の位置とを決定し、
    前記設定手段は、前記ラインごとに前記膨張画素数を決定する
    ことを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記設定手段は、前記差分領域において、特定の領域を他の領域よりもさらに広げるように前記設定をすることを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
15. 前記検出手段は、前記撮像画像に含まれるノイズに応じて前記所定の値を更新することを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記撮像画像は、所定の区域を撮像した画像であり、
    前記比較対象画像も前記所定の区域に対応する画像である
    ことを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
17. 前記生成手段により生成された前記背景画像と、前記撮像画像と、に基づき前景画像を生成することを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
18. 前記画像処理装置は、複数のカメラで撮像した複数視点画像と、前記生成手段により生成された前記背景画像と、を用いて仮想視点画像を生成することを特徴とする請求項１から１７のいずれか１項に記載の画像処理装置。
19. 前記生成手段により生成された前記背景画像に基づいて、前記取得手段により取得された前記撮像画像における前景と背景とを分離する分離手段をさらに備えることを特徴とする請求項１から１８のいずれか一項に記載の画像処理装置。
20. 前記分離手段は、前記生成手段により生成された前記背景画像と前記取得手段により取得された前記撮像画像との差分が所定の閾値以上の画素の領域を前記前景の領域として決定することを特徴する請求項１９に記載の画像処理装置。
21. 撮像装置によって撮像された撮像画像を取得する取得ステップと、
    前記取得ステップにより取得された撮像画像の各画素の画素値と、前記撮像画像が撮像される以前に前記撮像装置によって撮像された画像に基づいて得られた比較対象画像の各画素の画素値と、の差分が所定の値より大きい画素により構成される領域を差分領域として検出する検出ステップと、
    前記検出ステップにより検出された差分領域に基づいて、前記撮像画像内のオブジェクトの影に相当する領域を少なくとも含む前記差分領域よりも広い第一の領域を設定する設定ステップと、
    前記撮像画像のうち、前記設定ステップにより設定された前記第一の領域とは異なる領域である第二の領域を構成する画素を用いて背景画像を生成する生成ステップと、
    を備えることを特徴とする背景画像の生成方法。
22. コンピュータを、請求項１から２０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images