JP6095283B2 - 情報処理装置、およびその制御方法 - Google Patents

Description

本発明は、ユーザの動作を認識する情報処理装置に関する。

可視光カメラや赤外線カメラによって撮像された画像からユーザの手が写っている領域（手領域）を検出し、その動きや位置に応じて、ジェスチャによる操作や、表示されたユーザインタフェースに対する操作を認識する機器が広まりつつある。

ジェスチャ操作を行う手を検出する技術として、例えば特許文献１の方法が知られている。特許文献１では、背景上に存在するユーザの手を撮像して得られた画像と、上記背景だけを撮像して得られた背景画像との差分を抽出する背景差分法が開示されている。この方法によって、手領域を検出し、検出した手領域の形状もしくは動きから操作を判定している。

また、物体に隠れた背景画像を管理する技術として、例えば特許文献２が知られている。特許文献２では、撮像範囲を部分領域に分割し、部分領域毎に動体（人物）を含む動体領域と、動体を含まない背景領域を区別し、背景領域を合成することで撮像範囲全体の背景画像を最新の背景画像に更新している。

特開２００９−１０４２９７ 特開２０１０−９２２２４

ユーザの手などの操作部を精度よく検知しようとした場合、背景画像に含まれる物体は静止していることが重要である。しかしながら、例えば、操作部が操作部以外の物体と一緒に背景上を移動した場合、操作部を精度よく検知することができない。

本発明は上記の問題点に鑑みてなされたものであり、ユーザの手などの操作部を精度よく認識することを主な目的とする。

以上の目的を達するために、本発明の情報処理装置は、 操作体による操作を認識する情報処理装置であって、所定の空間を撮像範囲とする画像を取得する取得手段と、前記空間の背景を表す背景画像と、前記取得手段によって取得される画像との比較に基づいて、前記背景上に存在する移動体を検出する検出手段と、前記検出手段によって検出された移動体に前記操作体以外の物体が含まれる場合、前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域であって、かつ、前記背景上に前記操作体が存在しないとみなされた部分領域を背景確定領域として設定し、前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域を背景未確定領域として設定する設定手段と、前記取得手段によって取得される画像のうち、前記設定された背景確定領域を撮像した部分によって、前記背景画像を部分的に更新する更新手段と、前記設定された背景確定領域に前記操作体による操作が有効な第１のオブジェクトを表示させ、前記設定された背景未確定領域に前記操作体による操作が無効な第２のオブジェクトを、前記第１のオブジェクトの表示状態と異ならせて表示させる表示制御手段と、前記検出手段が、前記更新手段によって更新された前記背景画像と、前記取得手段によって新たに取得される画像との比較に基づいて検出した前記移動体の少なくとも一部から前記操作体を特定し、前記背景確定領域に表示される第１のオブジェクトに対する操作体による操作を認識する認識手段と、を備えることを特徴とする。

本発明によれば、操作体による操作を認識するために所定の空間に存在する移動体を背景差分法を利用して検出する場合、所定の空間内に静止物体が追加される度に移動体を空間から排除して背景画像を取得するという手間を低減することができる。

情報処理装置の外観とハードウェア構成の一例を示す図 第情報処理装置の機能構成の一例を示す図 ユーザの動作による操作を認識する処理の流れの一例を示すフローチャート 情報処理装置の操作例を示す図 情報処理装置が実行する処理の流れの一例を示すフローチャート 情報処理装置の操作例を示す図 情報処理装置が実行する処理の流れの一例を示すフローチャート 情報処理装置が実行する分割処理の一例を示す図 背景差分法の概要を示す図

以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１の実施形態＞
本実施形態では、背景差分法によってユーザの手領域を検出するのに用いる背景画像を更新する際に、画像を複数の領域に分割した部分領域ごとに背景を更新し、背景画像が更新された領域においてのみユーザの手の動作を認識する情報処理装置の例を説明する。

図１（ａ）は、本実施形態に係る情報処理装置の外観の一例を示す図である。本実施形態における情報処理装置の外観の一例を示す図である。本実施形態では、ボタンやアイコンなどユーザがタッチすることで操作を入力するユーザインタフェース用の表示オブジェクト（以下、オブジェクトと記載する。）などを含む投影画像を、操作面に対し上部に設置されたプロジェクタから投影することによって表示するものとする。また、カメラ１０５も同様に上部に設置され、俯瞰撮影された映像に基づき、ユーザの動作を認識することや、背景の操作面上に置かれた物体を撮像して画像データを得ることができるとする。また、タッチセンサ１０７によって、ユーザの手などの操作部と操作面との間の距離を検知し、操作面がタッチされたか否かを判定可能とする。

ここで、図９は、背景差分法の概要を示す図である。従来、背景上で移動するユーザの手を検出する方法には、図９（ａ）のような操作台を撮像した背景画像と、図９（ｂ）のように操作台の上に移動体（ユーザの手）がある入力画像の差分を抽出することで、図９（ｃ）のように移動体を検出する背景差分法がある。ここで、ユーザが情報処理装置のカメラを用いて紙に印刷された文書を読み取る操作を行うため、背景の操作面上に物体（紙文書）を載置したとする。これに伴い、入力画像は図９（ｄ）に示されるように変化する。背景画像を図９（ａ）のまま更新せずに背景差分法を用い、背景画像と入力画像の差分を検出すると、図９（ｅ）のように、背景上で移動するユーザの手と物体を含む移動体が検出される。従って、背景差分法により、移動体を追跡することができても、ユーザの手の動きによる操作を認識することは困難となる。ここで移動体とは、検出時に移動中であるか否かに関わらず、背景画像と入力画像の差分として抽出された領域、及びその抽出された領域に変化を与えている物体あるいは物体群であるものとする。移動体として、操作部であるユーザの手のみを検出するためには、図９（ｆ）に示すように、ユーザの手が写っておらず、操作台にドキュメントが載置された状態の画像を取得し、背景画像として用いる必要がある。更新された背景画像図９（ｆ）と、入力画像である図９（ｄ）の差分を抽出すると、図９（ｇ）のように、移動体であるユーザの手のみを検出することが可能になる。ただし、図９（ｆ）の背景画像を撮像するためには、ユーザがカメラの撮像範囲から一旦手を取り除かなければならない。次に、図９（ｈ）は、入力画像および背景画像を１６分割し、分割された部分領域毎に背景差分法を行う様子を示す。ここでは、部分領域毎に移動体を検出し、移動体が含まれない領域のみ、背景画像を更新するものとする。従って、図９（ｈ）では、ユーザの手が存在する２つの領域（点線に囲まれた領域）のみ、背景画像の更新ができない。従って、点線に囲まれた領域においては、ユーザの手を検出することができない。背景画像として図９（ａ）が採用されるため、入力画像である入力画像である図９（ｄ）との差分を抽出すると、図９（ｉ）のように、物体の一部を含む等の問題が生じ、ユーザの手が正確に検出されない可能性が高い。ユーザの手を正確に検出さきない場合、動作を誤認識する原因となりうる。これに対し、本実施形態では、画像を複数の領域に分割し、その分割領域ごとに背景を更新し、背景画像が更新された領域においてのみ背景差分法によって検出されたユーザの動作による操作を認識する。

図１（ｂ）は、本実施形態における情報処理装置のハードウェア構成図である。同図において、ＣＰＵ（中央処理装置）１０１は、情報処理装置の制御プログラムを実行して各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリア、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを提供するために用いられる。記憶装置１０４は本実施形態に係るデータやプログラムを記憶しておくためのハードディスクや接続された外部記憶装置などである。カメラ１０５は、本実施形態では操作エリアを上から撮像するように設置され、入力画像を撮像する撮像部である。表示装置１０６は、オブジェクトや画像などの電子データを表示するためのディスプレイ、プロジェクタ等である。本実施形態では、プロジェクタが操作台の上面に投影画像を投影することによって表示させるものとする。タッチセンサ１０７は、例えば赤外線センサで、ユーザが操作のために用いる操作部（例えば、ユーザの手）と、操作面との距離に基づき、ユーザが操作面をタッチしたことを検知する。なお、本実施形態の情報処理装置は、カメラ１０５及び表示装置１０６が内蔵されたものとするが、外部に接続されたカメラ１０５及ぶ表示装置１０６を制御する形態の情報処理装置であっても構わない。

図２（ａ）は、本実施形態における情報処理装置の機能構成を表す図である。同図において、取得部２０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ等と記載する。）によって構成され、カメラ１０５によって撮像された入力画像を取得する。分割部２０２は、ＣＰＵ等によって構成され、カメラ１０５の撮像範囲を複数の部分領域に分割する。カメラ１０５によって撮像された入力画像及び背景画像も、同じように分割され、部分領域毎に処理を行うことができる。検出部２０３は、ＣＰＵ等によって構成され、背景差分法を用いて、入力画像から背景上で移動する移動体が写る領域を検出する。さらに、検出された移動体が操作部であるか、操作部以外の物体を含むかを判定する。更新部２０４は、ＣＰＵ等によって構成され、検出部２０３が移動体を検出するために使用する背景画像を制御し、必要に応じて、背景画像を入力画像によって更新する処理を実行する。設定部２０５は、ＣＰＵ等によって構成され、部分領域毎に、その領域が背景確定領域であるか、背景未確定領域であるかを設定する。その際、部分領域毎に、表示装置１０６によって表示するユーザインタフェース用のオブジェクトの有効化、無効化を制御して表示部２０６に通知する。本実施形態では、設定部２０５は、背景上に検出部２０３が検出した移動体が存在する部分領域を背景未確定領域であると設定する。そして、背景未確定領域のうち、移動体が静止した領域、及び、移動体が無くなった領域を、前記背景上に操作部が存在しないとみなして、背景確定領域であると設定する。表示部２０６は、ＣＰＵ等によって構成され、表示装置１０６が背景に含まれる操作面上に表示する内容を制御する。認識部２０７は、タッチセンサ１０７及びＣＰＵ等によって構成され、設定部２０５によって設定された背景確定領域において、検出部２０３が検出する移動体の動きや形状などに基づき、ユーザの操作を認識する。本実施形態において認識部２０７が認識する操作は、操作面上に表示されたオブジェクトに対するタッチ操作や、ユーザの手などの操作部を予め設定されたパターンに一致するように動かすジェスチャ操作である。検知部２０８は、ＣＰＵ等によって構成され、入力画像を解析し、検出部２０３が検出した移動体が、撮像範囲に進入している位置を検知する。ただし、検知部２０８は、主に後述する変形例において機能するため、省略することもできる。

図３は、本実施形態における情報処理装置が、ユーザの動作による操作を認識する処理の流れを表すフローチャートである。同図を用いてそれぞれの処理を説明する。本実施形態では、情報処理装置が起動されたことに応じて、処理が開始されるものとする。

なお、本実施形態では、ユーザは操作部としてユーザの手を用いるものとする。また、本実施形態では、ユーザによって操作面上に物体が載置されることにより、背景画像に変化が生じる場合を例として説明し、表示画像１０６によってオブジェクトなどを表示することによる操作面上の変化は考慮しない。本実施形態では、操作部及び物体が存在しない状態で、表示装置１０６が操作面上に表示するオブジェクトを表示させたときにカメラ１０５が撮像した画像を、オブジェクトが表示されている状態での背景画像として用いるものとする。また、更新部２０４が、表示部２０６から表示装置１０６による表示内容を取得し、操作台の画像に表示内容を合成した背景画像を生成するなどの別な処理によって、表示装置１０６によって画像が表示されることによって操作面上に変化を考慮してもよい。ただし、表示装置１０６によって画像が表示されることによって操作面上に変化が生じる場合にも、本実施形態の処理を適応して、背景画像を更新することができる。この場合、更新部２０４の処理負荷を軽減するとともに、プロジェクタと操作面の物理的なずれなどによって、表示装置１０６による表示内容が移動体として検出されてしまうノイズが発生しないため、精度良く操作部を検出することができる。

まずステップＳ３０１で、取得部２０１が、カメラ１０５が撮像した入力画像を取得する。本実施形態では、入力画像は可視光カメラ撮像された自然画像であるものするが、例えば赤外光の反射を撮影する赤外カメラによって撮像された画像であっても構わない。なお、ステップＳ３０１で取得部２０１が取得する画像は、カメラ１０５が連続して撮像している映像のうちの１フレームに相当するものであり、以降の処理を実行する間にも周期的に更新されるものとする。取得部２０１が入力画像を更新する周期は、カメラ１０５が撮像する映像の予め定められたフレーム数毎でもよいし、一定時間毎であっても構わない。

ステップＳ３０２では、検出部２０３が、予め取得されている背景画像と、取得部２０１が取得した入力画像を用いた背景差分法により、入力画像において移動体が写っている領域を検出する（以下、「移動体を検出する」と記載する）。情報処理装置の起動直後の初期状態においては、予め取得されている背景画像は、操作部や物体が存在しない状態でカメラ１０５によって撮像された画像であるとものとし、２回目以降の処理では後述する処理によって更新された背景画像を用いるものとする。なお、ここでの「移動体」とは、背景画像と入力画像との差分として抽出される領域に相当し、入力画像取得時に移動中であるか否かに関わらず、背景上に生じた変化を言う。従って、例えば操作部に載置されていた物体が取り除かれたことにより、背景が変化した場合には、取り除かれた物体が写っていた領域が、背景画像と入力画像との差分、すなわち移動体として検出される。検出部２０３は、移動体の検出に用いる背景画像をＲＡＭ１０３に保持するものとする。

ステップＳ３０３では、検出部２０３が、検出された移動体に、操作部であるユーザの手以外の物体が含まれているか否かを判定する。本実施形態では、検出部２０３が、予め学習された人の手の形状データとのパターンマッチングを行い、その尤度に基づいて、移動体が人の手であるか否かを判定するものとする。人の手であると判定されなかった場合、ユーザの手が物体を保持している、あるいは操作面上に物体が載置された、あるいは載置されていた物体が取り除かれたなどの可能性がある。よって、操作部以外の物体が含まれると判定される。操作部以外の物体が含まれると判定された場合（ステップＳ３０３でＹｅｓ）には、背景画像の更新が必要となるため、ステップＳ３０４に進む。一方、検出された移動体は操作部であると判定された場合（ステップＳ３０３でＮｏ）には、背景画像の更新は必要でないため、ステップＳ３１３に進む。

ステップＳ３０４では、設定部２０５が、入力画像全体を、背景未確定領域であると設定する。背景未確定領域とは、背景差分法によって操作部を検出するための背景画像が確定されていない領域であり、本実施形態では、誤認識を避けるため、背景未確定領域ではユーザの操作を認識しない。なお、初期状態においては入力画像の全体が、ユーザの操作を認識する背景確定領域であると設定されているものとする。このとき、設定部２０５は、操作面上に表示されている全てのオブジェクトを無効化したことを表示部２０６に通知する。表示部２０６は、無効化されたオブジェクトを表示内容から削除したり、色を変えたりする制御を行いユーザに操作不可であることを提示する。

ステップＳ３０５では、分割部２０２が、カメラ１０５の撮像範囲を複数の部分領域に分割する。本実施形態では、分割部２０２は、撮像範囲全体を一定の大きさの矩形の部分領域に分割するものとする。そして、入力画像を分割した部分領域と背景画像を分割した部分領域を対応付けて保持する。

ステップＳ３０６では、更新部２０４が、分割された部分領域のうちの１つを選択する。

そして、ステップＳ２０７において、更新部２０４は、選択した部分領域において入力画像と背景画像が一致するか否かを判定する。入力画像と背景画像が一致する場合、当該領域の背景上には、移動体は存在しないため、背景画像を更新する必要がないことがわかる。選択した部分領域において、入力画像と背景画像が一致しないと判定された場合（ステップＳ３０７）には、背景を更新する必要がある可能性があるため、ステップＳ３０８に進む。選択した部分領域において、入力画像と背景画像が一致すると判定された場合（ステップＳ３０７でＹｅｓ）には、背景を更新せずにステップＳ３１０に進む。

ステップＳ３０８では、更新部２０４が、選択した部分領域において、検出された移動体は静止したか否かを判定する。更新部２０４は、選択した部分領域における入力画像を取得部２０１から連続する所定の時間に対応する複数フレーム分取得して比較し、比較の結果変化がなければ、当該部分領域では移動体が静止したと判定する。本実施形態では、２秒間の間に画像内の変化がなければ、部分領域内が静止していると判定する。部分領域内が静止したと判定された場合（ステップＳ３０８でＹｅｓ）は、処理はステップＳ３０９に進む。部分領域内が静止していないと判定された場合（ステップＳ３０８でＮｏ）は、当該領域に操作部が存在する可能性が高いため、背景画像の更新を行わずステップＳ３１０に進む。

ステップＳ３０９では、更新部２０４が、選択した部分領域の背景画像を更新する。本実施形態では、選択した部分領域の背景画像として、この時点で最後に取得された入力画像の対応する部分領域の画像を設定し、検出部２０３が保持している背景画像の該当部分を更新する。

次に、ステップＳ３１０では、更新部２０４が、まだ選択していない部分領域が残っているか否かを判定する。本実施形態では、判定方法の一例として、更新部２０４ステップ３０６で選択した部分領域に対して選択フラグを立て、選択フラグを確認することによって選択していない部分領域の有無を判定するものとする。選択してない部分領域が残っている場合（ステップＳ３１０でＹｅｓ）には、ステップＳ３０６に戻り、全ての部分領域を選択するまでステップＳ３０６からステップＳ３１０の処理を繰り返す。全ての部分領域を選択済みの場合（ステップＳ３１０でＮｏ）には、ステップＳ３１１に進む。

ステップＳ３１１では、設定部２０５が、複数の部分領域のうち、背景に変化がなかった部分領域、及び背景画像を更新した部分領域の入力画像を、ユーザの操作を認識する背景確定領域であると設定する。本実施形態では、領域を区別する方法の一例として、更新部２０４がステップＳ３０８でＮｏの判定がなされた部分領域に対して移動体フラグを立て、設定部２０５は、移動体フラグが立ってない部分領域を背景確定領域であると設定するものとする。このとき、設定部２０５は、背景確定領域に含まれるオブジェクトを有効化したことを表示部２０６に通知する。オブジェクトが有効であるとは、ユーザがそのＵＩを操作すると操作が認識される状態にあることをいう。表示部２０６は、有効化されたオブジェクトを表示させたり、色を変えたりする制御を行いユーザに操作可能であることを提示する。

ステップＳ３１２では、検出部２０３が、背景確定領域において操作部を検出する。検出部２０３は、ＲＡＭ１０３に保持していた背景画像と、取得部２０１が新たに取得した入力画像を用いた背景差分法により移動体を検出する。背景画像が更新されているため、ここで検出された移動体は、操作部であるユーザの手である可能性が高いため、本実施形態では、検出された移動体を操作部であるとして認識部２０７に通知する。なお、検出された移動体と人の手の形状データとのパターンマッチングを行うことによりユーザの手であることを改めて判定しても良い。

ステップＳ３１３では認識部２０７が、操作部による操作を認識する。本実施形態では、ユーザの手の動きや形状、操作面との距離を検知し、予め定められた条件に一致する場合に当該条件に対応する操作が入力されたと認識する。例えば、ユーザの手と特定のオブジェクトが表示された位置との距離が所定の距離よりも小さくなった場合には、そのオブジェクトがタッチされたとして、当該オブジェクトに対応する操作が入力されたと認識する。また、ユーザの手が予め定められたジェスチャパターンに一致する動きをした場合にはそのジェスチャパターンに対応する操作が入力されたと認識することができる。

ステップＳ３１４では、ステップＳ３１３において認識した操作によって、情報処理装置が終了されたか否かを判定する。２回目以降の処理では、１回目の処理において背景未確定領域であると設定された領域に含まれる部分領域において、移動体が無くなったとみなされた場合、当該領域は背景確定領域に設定される。例えば、検出部２０２が保持している更新されていない背景画像と入力画像とが一致すると判定された場合（ステップＳ３０７でＹｅｓ）には、選択されている領域から移動体が無くなったことを示す。また、移動体が静止したと判定された場合（ステップＳ３０８でＹｅｓ）にも、操作部が無くなった可能性が高い。従って、選択されている領域は背景確定領域に設定される。情報処理装置が終了されたら、ユーザの動作による操作を認識する処理を終了する。

本実施形態では、情報処理装置が終了されるまで、以上の処理を繰り返す。

ここで、図４を参照し、第１の実施形態に係る情報処理装置をユーザが操作する操作例を説明する。

図４（ａ）は、ユーザが操作面の上に、物体（紙文書）４０５を挿入した状態を示す。このとき、紙文書４０５の周辺には表示部２０６によって複数のオブジェクト４０４が表示されているものとする。なお、ここで説明する操作例では、操作が有効化されているオブジェクトを黒い四角、操作が無効化されているオブジェクトを白い四角で表現するものとする。 まず、取得部２０１はカメラ１０５が撮像範囲４０１を撮像した入力画像４０２を取得する（ステップＳ３０１）。そして、検出部２０３は、背景差分法により操作部（ユーザの手）４０６を移動体として検出する。移動体に、操作部以外が含まれている（ステップＳ３０３でＹｅｓ）ため、背景画像の更新が必要となり、入力画像４０２の全体が背景未確定領域であると設定される（ステップＳ３０４）。従って、全てのオブジェクト４０４が無効化され、表示部２０６により白い四角で表示される。そして、分割部２０２は、撮像範囲４０１を、１６分割して部分領域４０３を得る（ステップＳ３０５）。

次に図４（ｂ）は、部分領域毎に、背景画像を制御する処理を実行した様子を示す。１６分割された部分領域４０３のうち、領域４０６（点線で囲まれた領域）は、最初の背景画像からの変化がないため（ステップＳ３０７でＹｅｓ）、背景画像を更新する処理が行われない。領域４０７は、背景上の移動体が静止しているため（ステップＳ３０８でＹｅｓ）、背景画像が更新される（ステップＳ３０９）。そして、領域４０８（太線で囲まれた領域）の背景上では、ユーザの手が移動しており、静止していないため、背景画像が更新されない。従って、設定部２０５は、領域４０８が背景未確定領域、領域４０６及び領域４０７が背景確定領域であると設定する（ステップＳ３１１）。従って、領域４０８のオブジェクト４０４は引き続き無効のため、表示部２０６により白い四角で表示される。一方、それ以外のオブジェクトは有効化されるため、表示部２０６により黒い四角で表示される。

次に図４（ｃ）は、ユーザが有効なオブジェクト４０９をタッチするために腕を動かした様子を示す。ユーザの動作による操作を認識する処理が繰り返されることによって、検出部２０３は、背景確定領域において操作部（ユーザの手）を検出することができるので、認識部２０７はオブジェクト４０９に対するタッチ操作を認識することができる。また、領域４０８のうち、ユーザの手が無くなった部分領域では、部分領域内が静止したと判定されるため（ステップＳ３０８でＹｅｓ）、背景画像が更新される（ステップＳ３０９）。従って、認識不可両機４１０は縮小する。

以上説明したように、本実施形態に係る情報処理装置は画像を複数の領域に分割し、その分割領域ごとに背景を更新し、背景画像が更新された領域においてのみ背景差分法によって検出されたユーザの動作による操作を認識する。そのため、ユーザが操作に必要な物体を操作面上に載置したことにより、背景が変化したとしても、ユーザはカメラ１０５の撮像範囲から操作部を取り除くが必要ない。また、最新の背景画像が取得出来た領域でのみ、ユーザの動作を検出するので、誤認識を低減することができる。

なお、上述した本実施形態の説明では、ステップＳ３０４においていったん全体が背景未確定領域であると設定した後、分割された全ての部分領域について背景画像を制御する処理を行い、その結果に基づいて、背景確定領域である領域を設定した。ただし、初期状態を継続して全体を背景確定領域であると設定し、ステップＳ３０８において更新部２０４が部分領域の画像が静止していないと判定した時点で、その部分領域は背景未確定領域であると設定しても構わない。

また、本実施形態では、ステップＳ３０６において選択した部分領域が背景画像と一致した場合、すなわち画像に変化がない場合、背景画像の更新を行わない。これにより、背景画像を更新する処理の負荷を低減することができる。ただし、これに限らず、部分領域内が静止している全ての部分領域について、背景画像を更新しても構わない。

また、本実施形態では、まずステップＳ３０２において初期状態の背景画像を用いて移動体を検知し、検出した移動体に操作部以外の物体が含まれている場合に、背景画像を制御する処理を行うものとした。ただし、背景画像を制御する処理を行うか否かの判定は、他の方法によってもよい。例えば、取得される入力画像において、操作面上の所定位置の色の変化があるか否かを検出し、変化した場合には操作面上に物体が載置された可能性が高いと考え、背景画像を制御する処理を実行するようにすることもできる。物体を操作面上に載置して操作する機能のモードが選択されている場合には、背景に変化が生じたか否かに関わらず、常に撮像範囲を分割して背景画像を制御する処理を実行するようにしても良い。

（第１の実施形態の変形例）
第１の実施形態では、撮像範囲を分割した部分領域のうち、移動する物体が含まれる領域のみは、操作部が存在する可能性が高いために、背景画像を更新せず、背景未確定領域であると設定した。しかし、この場合、検出部２０３が行う背景差分法では、操作部の一部が検出され、一部が検出されないために、操作を誤認識してしまう場合があった。

図９を参照して詳細に説明する。上述したように、図９（ｈ）では、撮像範囲を１６分割した部分領域のうち、点線に囲まれた領域にはユーザの手が含まれているため、背景画像の更新が行われない。従って、第１の実施形態では、点線に囲まれた領域を背景未確定領域、それ以外の領域を背景確定領域として、背景確定領域においてのみ背景差分法によってユーザの手を検出する。ここでユーザが手を移動させ、入力画像が図９（ｊ）のように変化したとする。背景画像との差分を抽出すると、図９（ｋ）のように、ユーザの手の一部が検出されない。このように、ユーザの手を正確に検出できない場合、動作の認識が困難になるという問題が生じる。例えば、予め学習された人の手の形状データと検出されたユーザの手のパターンマッチングにより、移動体がユーザの手であることを検知したい場合、ユーザの手の一部が検出されないことにより、パターンマッチングができない可能性がある。それに対し、本実施形態では、操作部が含まれる可能性が高いために背景未確定領域であると設定された領域と、その領域に隣接する部分領域とを、背景未確定領域とする。

特に上述した問題は、操作部がユーザの手である場合には、図９（ｋ）のように、ユーザが腕を伸ばした状態において、腕の途中が検出認識されず、手の先だけが検出されることによって生じる場合が多い。しかしながら、オブジェクトが表示されている場合、ユーザがそのオブジェクトをタッチするために腕を伸ばす可能性は当然高くなる。従って、第１の実施形態の変形例では、ユーザの腕が撮像範囲に進入している位置を特定し、ユーザが腕を伸ばしてタッチユーザの手が含まれる可能性が高い背景未確定領域に対して、腕が伸びる方向に隣接する部分領域を特定し、背景未確定領域であると設定する。それにより、当該領域に存在するオブジェクトは無効化される。

第１の実施形態に係る情報処理装置の外観、ハードウェア構成及び機能構成は第１の実施形態と同様である。ただし、第１の実施形態の変形例において、検知部２０８は、設定部２０５に背景未確定領域であると設定された領域の位置と、撮像範囲の周囲の接点を検出することによって、操作部（ユーザの手）の撮像範囲内への進入位置を特定する。第１の実施形態の変形例における設定部２０５は、既に設定された背景未確定領域に加えて、前記特定されたユーザの手の進入位置から背景未確定領域への方向（ユーザの手の進入方向）に隣接する部分領域は、背景未確定領域であると設定する。

次に、図５（ａ）は、第１の実施形態の変形例において、情報処理装置が実行する背景画像制御処理の流れを示すフローチャートである。本変形例においても、ユーザの動作による操作を認識する処理は図３のフローチャートに沿って実行される。ただし、ステップＳ３１１とステップＳ３１２の間に、図５（ａ）の背景画像制御処理が実行されるものとする。

従って、本変形例では、第１の実施形態と同様に図３のフローチャートに沿った処理が実行され、ステップＳ３１１において背景確定領域を設定する処理が完了した場合、図５（ａ）のステップＳ６０１に進む。

ステップＳ６０１では、検知部２０８が、入力画像において、撮像範囲に対するユーザの手の侵入位置を検知する。本実施形態では、部分領域は矩形に分割されているため、撮像範囲の周囲の辺と、ステップＳ３１１で設定部２０５によって背景未確定領域であると設定された部分領域との接点を検知することによって、ユーザの手の進入位置とする。ユーザが腕を曲げるなとして、撮像範囲の周囲の辺と接触する背景未確定領域が複数存在する場合には、背景未確定領域と接触する辺全体をユーザの手の進入位置とする。

次に、ステップＳ６０２では、設定部２０５が、特定した進入位置から、背景未確定領域に向かう方向（ユーザの手の進入方向）を特定する。本実施形態では、部分領域は矩形に分割されているため、ステップＳ６０１で検知した位置から、撮像範囲を囲む辺に直交して内側に向かう方向が特定される。ここで特定される方向は、ユーザが当該方向に沿って手を伸ばしたときに、ユーザの手の一部が背景未確定領域に含まれるため、操作を正確に認識できない可能性が高い方向となる。

ステップＳ６０３では、設定部２０５が、既に設定した背景未確定領域に対し、ステップＳ６０２で特定した方向に隣接する部分領域を特定する。 ここで特定される部分領域は、ユーザが当該部分領域内で操作を行おうとして手を伸ばした場合に、手の一部が検出されないことにより、誤認識が生じやすいと考えられる領域に相当する。

そして、ステップＳ６０４において、設定部２０５が、ステップＳ６０３で特定した領域は背景未確定領域であると設定し、設定が完了したら図３のフローチャートにおけるステップＳ３１２以降の処理にリターンする。

ここで、図４（ｄ）を参照し、第１の実施形態の変形例に係る情報処理装置をユーザが操作する操作例を説明する。

図４（ｄ）では、図４（ｃ）のように一連の処理によって背景未確定領域４１０が設定されている。ここで、検知部２０８が，撮像範囲４０１の周囲の辺と、背景未確定領域４１０の接点を検知することによって，撮像範囲４０１内へのユーザの手の進入位置４１１を検知する（ステップＳ６０１）。そして、設定部２０５が、検知された手の進入位置４１１から、背景未確定領域４１０に向かう方向として、撮像範囲４０１の周囲の辺に直交して内側に向かう方向４１２が特定される（ステップＳ６０２）。設定部２０５は、既に設定された背景未確定領域４１０の、方向４１２側に隣接している領域４１３を、新たに背景未確定領域４１３であると設定する。従って、領域４１３内に表示されたオブジェクト４０４が無効化され、表示部２０６により白い四角で表示される。

以上のように、第１の実施形態の変形例では、背景未確定領域との位置関係に基づき、誤認識が発生する可能性が高い部分領域を特定し、背景未確定領域であると設定する。部分領域のＵＩの有効化、無効化を制御する事で、より精度よくＵＩを操作可能となる。

なお、ここで説明した変形例では、ステップＳ３１１において既に設定された背景未確定領域に対し、特定の方向において隣接した部分領域のみを、背景未確定領域であると設定したが、これに限らない。例えば、隣接した部分領域に限らず、ステップＳ６０２で特定した方向の延長線上の部分領域を全て背景未確定領域としてもよい。また、方向を特定せず、ステップＳ３１１において既に設定された背景未確定領域に隣接した部分領域を全て背景未確定領域であると設定することもできる。ただし、本実施形態のように、背景未確定領域であると設定される部分領域を限定することで、操作が認識されない領域が増えることでユーザに与えるストレスを低減できる。

＜第２の実施形態＞
第１の実施形態では、背景未確定領域であると設定された部分領域にユーザの手が留まっている間は、その領域では背景画像を更新することができない。従って、操作部であるユーザの手が存在するにも関わらず、その操作を認識することができない状態が発生する。それに対し、本実施形態では、操作面上の表示内容を制御することによって、操作部が背景未確定領域から出るように誘導する例を説明する。

第２の実施形態に係る情報処理装置の外観、ハードウェア構成、及び機能構成は第１の実施形態と同様である。ただし、第２の実施形態において、検知部２０８は、設定部２０５に背景未確定領域であると設定された領域の位置と、撮像範囲の周囲の接点を検出することによって、操作部（ユーザの手）の撮像範囲内への進入位置を特定する。また、第１の実施形態の変形例における表示部２０６は、表示装置１０６に、設定部２０５に設定された背景未確定領域の外にユーザの手を誘導するためのオブジェクトを表示させる。

次に、図５（ｂ）は、第２の実施形態において、情報処理装置が実行する背景画像制御処理の流れを示すフローチャートである。本実施形態においても、ユーザの動作による操作を認識する処理は図３のフローチャートに沿って実行される。ただし、ステップＳ３１１とステップＳ３１２の間に、図５（ｂ）の背景画像制御処理が実行されるものとする。

本実施形態では、第１の実施形態と同様に図３のフローチャートに沿った処理が実行され、ステップＳ３１１において背景確定領域を設定する処理が完了した場合、図５（ｂ）のステップＳ７０１に進む。

ステップＳ７０１では、検知部２０８が、撮像範囲に対するユーザの手の侵入位置を検知する。本実施形態では、部分領域は矩形に分割されているため、撮像範囲の周囲の辺と、ステップＳ３１１で設定部２０５によって背景未確定領域に設定された部分領域との接点を検知することによって、ユーザの手の進入位置とする。

次にステップＳ７０２では、表示部２０６が、検知部２０８に検知されたユーザの手の侵入位置、及び予め学習されている画像中における人の手の長さの情報に基づいて、手の可動範囲を推定し、位置情報を保持する。

そしてステップＳ７０３で、表示部２０６は、背景未確定領域からユーザの手が離れ、かつ推定された可動範囲に含まれる位置を推定し、位置情報を取得する。本実施形態では、表示部２０６は、ステップＳ７０１で検知されたユーザの手の進入位置を、撮像範囲の辺に沿った横方向に移動させることができる位置を推定する。例えば、ステップＳ３１１で設定された背景未確定領域と、撮像範囲の周囲の辺との両方に隣接する部分領域内であって、かつステップＳ７０２で推定されたユーザの手の可動範囲に含まれる範囲を求め、位置情報を保持する。

ステップＳ７０４では、表示部２０６が、ステップＳ７０３で保持された位置情報が示す範囲内に、必要なオブジェクトを配置するために表示位置を決定し、表示させる。ここで表示させるオブジェクトは、ユーザの操作状況によって決定され、ユーザが次に操作すべき機能を起動するためのオブジェクトであるものとする。

ここで図６（ａ）を参照し、第２の実施形態に係る情報処理装置をユーザが操作する操作例を説明する。

図６（ａ）では、 図４（ｃ）のように、一連の処理によって２つの部分領域が背景未確定領域４１０であると設定されている。ここで、検知部２０８が、撮像範囲８０２の周囲の辺と、背景未確定領域８０１の接点を検知することによって、撮像範囲８０２内へのユーザの手の進入位置８０３を検知する（ステップＳ７０１）。そして、表示部２０６が、予め学習されている画像中における人の手の長さの情報に基づいて、手の可動範囲８０４を推定する（ステップＳ７０２）。さらに表示部２０６は、背景未確定領域８０１と、撮像範囲８０２を囲む辺との両方に隣接する部分領域内であって、ユーザの手の可動範囲８０４に含まれる範囲を推定し、その範囲内にオブジェクトの表示位置８０５を決定し、表示させる（ステップＳ７０４）。

以上の通り、本実施形態では、ユーザの手を背景未確定領域の外に誘導するため、オブジェクトを表示させる位置を制御する。その結果、ユーザの手が背景未確定領域の外に誘導された場合には、その時取得された入力画像に基づいて、全ての部分領域について、背景画像を制御する処理を行い、背景差分法によって操作部を検出するための適正な背景画像を得ることができる。また、第２の実施形態に係る情報処理装置によれば、ユーザは情報処理装置が表示したオブジェクトをタッチするだけで、背景画像の制御処理を行うことを意識する必要がない。

なお、上述した本実施形態では、図６（ａ）のように、推定された表示位置に、タッチするだけで操作が可能なオブジェクトを表示したが、ステップＳ７０４でオブジェクトを表示させる形態は、これに限らない。例えば、図６（ｂ）のように、オブジェクトをスライダーやスクロールバーのように、操作部を動かすことで操作を行う必要がある表示形式に変更し、背景未確定領域と背景確定領域とにまたがる位置に、あるいは背景未確定領域の近辺に表示させる。これにより、操作部は背景未確定領域から、必然的に背景確定領域内へ誘導される。ユーザにとっては、自然に手を動かすことができるので、より自然に操作を継続することができる。

なお、本実施形態に係る情報処理装置は、同じ機能を操作するためのオブジェクトを表示する形式を、背景未確定領域が残っているか否かに従って変更して表示させる機能を搭載することもできる。例えば、所定の機能をＯＮ／ＯＦＦ切り替えするためのスイッチとしての機能を持つオブジェクトを、設定部２０５によって背景未確定領域であると設定されている間は、スライダー型のスイッチとして表示する。その際、背景未確定領域から外にユーザの手を誘導するようにオブジェクトを配置する。一方で、撮像範囲全域が背景確定領域であると設定されている場合には、ボタン型のスイッチとして表示するなどの切り替え処理を行うことが可能である。ユーザにとっては、手を動かす必要がない場合には、より操作が容易な形式のＵＩが優先して選択されるので、自然に操作を継続することができる。

＜第３の実施形態＞
上述した実施形態では、入力画像において操作部以外の物体が検出された場合、分割された部分領域毎に、画像内が静止しているか否かを判定し、静止していない部分領域に操作部が存在する可能性が高いとして、背景未確定領域であると設定する処理を繰り返す。それに対し、本実施形態では、操作面上に表示されているユーザが操作したオブジェクトの位置に基づいて、２回目以降の処理では、操作部が存在する可能性が高い部分領域を推定し、推定された部分領域は背景未確定領域であると設定する例を説明する。

第３の実施形態に係る情報処理装置の外観、ハードウェア構成は第１の実施形態と同様である。本実施形態における機能構成図を図２（ｂ）に示す。図２（ａ）と異なる点は、ＣＰＵ等によって構成され、操作されたオブジェクトの位置に基づいて、操作部が存在する可能性が高い部分領域を推定する推定部９０１があることである。

次に、図７（ａ）は、第２の実施形態において、情報処理装置が実行する背景画像制御処理の流れを示すフローチャートである。本実施形態においても、ユーザの動作による操作を認識する処理は図３のフローチャートに沿って実行される。ただし、ステップＳ３１３とステップＳ３１４の間に、図７（ａ）の背景画像制御処理が実行されるものとする。

従って、本実施形態では、第１の実施形態と同様に図３のフローチャートに沿った処理が実行され、ステップＳ３１３において、認識部２０７が操作部による操作を認識する処理が完了した場合、図７（ａ）のステップＳ１００１に進む。

ステップＳ１００１では、推定部９０１が、ステップＳ３１３において認識部２０７が認識した操作は、オブジェクトをタッチする操作であったか否かを判定する。認識した操作はタッチ操作であると判定された場合（ステップＳ１００１でＹｅｓ）には、ステップｓ１００２に進む。一方、認識された操作はタッチ操作ではないと判定された場合（ステップＳ１００１でＮｏ）には、背景画像制御処理を終了し、図３のユーザの動作による操作を認識する処理にリターンする。

ステップＳ１００２では、推定部９０１が、ユーザによって操作されたオブジェクトの位置を特定する。本実施形態では、操作されたオブジェクトの表示位置を含む部分領域を特定する。

そして、ステップＳ１００３では、推定部９０１が、ユーザの手が存在する可能性が高い領域を特定する。本実施形態では、ステップＳ１００２において特定した部分領域に隣接する領域を、ユーザの手が存在する可能性が高い領域として推定する。ただし、ステップＳ１００２でオブジェクトが表示されていた位置を座標で特定し、特定した座標と予め学習された人の手の長さ情報とに基づいて、より限定された領域をユーザの手が存在する可能性が高いとして推定してもよい。

ステップＳ１００４では、更新部２０４が、ステップＳ１００３で推定された領域以外の全ての部分領域の背景画像を更新する。本実施形態では、ステップＳ３１３においてオブジェクトが操作された時点での入力画像の該当部分を、背景画像として上書きして更新とする。ステップＳ１００５では、設定部２０５が、ステップＳ１００４で背景を更新した部分領域を全て、背景確定領域であると設定する。従って、本実施形態では、ステップＳ３１１で背景確定領域であると設定された領域と、ステップＳ１００５で背景確定領域とであると設定された領域の全体において、操作部を検出することが可能となる。背景確定領域を設定する処理が完了したら、背景確定領域であると設定処理を終了し、図３のユーザの動作による操作を認識する処理にリターンする。

ここで図６（ｃ）を参照し、第３の実施形態に係る情報処理装置をユーザが操作する操作例を説明する。

図６（ｃ）では、 図４（ｂ）のように、一連の処理によって２つの部分領域が背景未確定領域１１０１であると設定されている。ここで、ユーザがオブジェクト１１０２をタッチする操作が認識されたとする（ステップＳ１００１でＹｅｓ）。推定部９０１によって、操作されたオブジェクトを含む部分領域と、隣接する部分領域とを、ユーザの手が存在する可能性が高い領域１１０３とされる（ステップＳ１００３）。そして、推定された領域１１０３以外の領域１１０４の背景画像を更新する（ステップＳ１００４）。そして、領域１１０４を背景確定領域に加える（ステップＳ１００５）。その結果、背景未確定領域は、図４（ｃ）と同様に縮小する。

以上のように、本実施形態では、ユーザによってオブジェクトがタッチされた場合に、タッチされた位置に基づいてユーザの手が存在する可能性が高い領域を推定する。従って、部分領域ごとに、領域内が静止しているか否かを判定する必要がなく、また一度に複数の部分領域の背景を更新することができる。領域内が静止しているか否かを判定するためには、カメラ１０５が撮像している映像の複数のフレームに相当する入力画像を取得して比較する必要があるため、本実施形態を用いることで、処理に必要な時間を短縮できるという効果を奏する。

＜第４の実施形態＞
上述した実施形態では、分割部２０２は、カメラ１０５の撮像範囲を一定のサイズで領域分割するように説明したが、本実施形態では、オブジェクトの表示される位置や操作部が検出された位置に併せて、分割する粒度を変更する例を説明する。

第４の実施形態に係る情報処理装置の外観、ハードウェア構成、機能構成は第１の実施形態と同様である。ただし、本実施形態における分割部２０２は、表示部２０６が表示するオブジェクトの位置情報、あるいは検出部２０３が検出する操作部の位置情報に基づいて、撮像範囲を分割する粒度を変更する。

図８を参照して本実施形態を説明する。

まず、図８（ａ）は、操作面上に表示されているオブジェクトの周辺を、より細かく分割した様子を示している。図８（ｃ）は、図８（ａ）の場合の領域分割処理の流れを示すフローチャートである。本実施形態においても、本実施形態においても、ユーザの動作による操作を認識する処理は図３のフローチャートに沿って実行される。ただし、ステップＳ３０５において、図８（ｃ）の領域分割処理が実行されるものとする。

従って、本実施形態では、第１の実施形態と同様に図３のフローチャートに沿った処理が実行され、ステップＳ３０４において、撮像範囲全体が背景未確定領域であると設定されたら、図８（ａ）のステップＳ１２０１に進む。

ステップＳ１２０１では、分割部２０２が、表示部２０６から、操作面上に表示させているオブジェクトの位置情報を取得する。なお、取得部２０１が取得した入力画像を解析することによって、実際にオブジェクトが表示されている位置情報を特定しても構わない。

ステップＳ１２０２では、分割部２０２が、取得したオブジェクトの位置情報に応じて部分領域の大きさを決定する。本実施形態では、取得したオブジェクトの位置を中心にした所定の範囲を、それ以外の範囲よりも４分の１の大きさの部分領域に分割するものとする。

ステップＳ１２０３では、分割部２０２が、ステップＳ１２０２で決定した大きさの部分領域に、撮像範囲を分割して、図３のユーザの動作による操作を認識する処理にリターンする。

また、図８（ｂ）は検出部２０３に検出されている移動領域（移動体が写っている領域）の周辺を、より細かく分割した様子を示している。図８（ｂ）の例では、図３のユーザの動作による操作を認識する処理におけるステップＳ３０５では、図８（ｄ）の領域分割処理が実行されるものとする。

まずステップＳ１２０４において、分割部２０２が、検出部２０３が検出している移動領域の位置を取得する。

ステップＳ１２０５では、分割部２０２が、取得した移動領域の位置情報に応じて部分領域の大きさを決定する。本実施形態では、取得した移動領域を中心にした所定の範囲を、それ以外の範囲よりも４分の１の大きさの部分領域に分割するものとする。

ステップＳ１２０６では、分割部２０２が、ステップＳ１２０５で決定した大きさの部分領域に、撮像範囲を分割して、図３のユーザの動作による操作を認識する処理にリターンする。

以上のように、本実施形態では、オブジェクトの表示される位置や操作部が検出された位置の周辺を、その他の範囲よりも細かく分割する。表示されているオブジェクト周辺には、操作部が移動されてくる可能性が高く、操作部を精度よく検出する必要がある。検出部２０３が検出している移動領域には、操作部が含まれている可能性が高く、精度よく検出する必要がある。本実施形態のように、細かく分割された部分領域では、操作部が少しでも移動すれば、部分領域が操作部（移動体）を含まなくなる。すなわち、操作部が少しでも移動すれば、領域内が静止し、背景画像を更新することができる領域が多くなる。従って、よりきめ細かく背景画像更新し、ユーザの操作を認識できる背景確定領域を拡大することができる。

＜第５の実施形態＞
上述した第１の実施形態の変形例では、操作部の一部が背景未確定領域に含まれるために、操作部の一部が検出され一部が検出されない状態では誤認識が発生する場合があるため、背景未確定領域を拡大する処理を行った。それに対し、本実施形態では、操作部の一部のみが検出されている場合には、検出されている一部の画像情報に基づいて、背景差分法以外の方法で操作部の全体の検出を支援し、操作を認識可能とする例を説明する。

第５の実施形態に係る情報処理装置の外観、ハードウェア構成、機能構成は第１の実施形態と同様である。ただし、本実施形態における検出部２０３は、背景差分法によって検出された移動領域（移動体が写っている領域）の画像情報を解析して、入力画像から移動体の形状抽出することで、移動体を検出することができる。

次に、図７（ｂ）は、第５の実施形態において、情報処理装置が実行する検出支援処理の流れを示すフローチャートである。本実施形態においても、ユーザの動作による操作を認識する処理は図３のフローチャートに沿って実行される。ただし、本実施形態では、ステップＳ３１２において図７（ｂ）の検出支援処理が実行されるものとする。

従って、本実施形態ではでは、第１の実施形態と同様に図３のフローチャートに沿った処理が実行され、ステップＳ３１１において背景確定領域を設定する処理が完了した場合、図７（ｂ）のステップＳ１３０１に進む。

ステップＳ１３０１では、検出部２０３が、背景確定領域において背景差分法により操作部を検出する。検出部２０３は、ＲＡＭ１０３に保持していた更新された背景画像と、取得部２０１が新たに取得した入力画像を用いた背景差分法により移動体を検出する。背景画像が更新されているため、ここで検出された移動体は、操作部であるユーザの手である可能性が高い。

ステップＳ１３０２では、検出部２０３が、検出部２０３が検出した操作部と、ステップＳ３１１において設定された背景未確定領域が接しているか否かを判定する。検出された操作部と背景未確定領域が接している場合、操作部の一部が背景未確定領域に含まれるため、操作部の全体が検出されていない可能性が高い。そこで、検出された操作部と背景未確定領域が接している場合（ステップＳ１３０２でＹｅｓ）には、操作部の全体を検出するため、ステップＳ１３０３に進む。一方、検出された操作部と背景未確定領域が接していない場合（ステップ１３０２でＮｏ）には、図３のフローチャートにおけるステップＳ３１３以降の処理にリターンする。

ステップＳ１３０３では、検出部２０３が、入力画像を解析して操作部の形状を抽出する。本実施形態では、検出部２０３が、入力画像中で、ステップＳ１３０１で検出した操作部が写っている領域および背景未確定領域に対して画像処理を行う。例えば、画像からエッジを検出する処理を行う。検出されたエッジを、操作部が写っている領域から、背景未確定領域内に追跡することによって、操作部全体の形状を抽出する。ただし、操作部の形状を抽出する方法はこれに限らない。例えば、輝度の連続性を検証したり、楕円モデルや人の手や腕の形状データ等のパターンマッチングを利用したりすることができる。

ステップＳ１３０４では、検出部２０３が、抽出された形状を基に、操作部を検出する。本実施形態では、検出部２０３は、ステップＳ１３０３でエッジ検出により抽出した形状と、予め学習された人の手の形状データとのパターンマッチングによって操作部が写っている領域を確定する。操作部が写っている領域が確定し、操作部が検出されたとして、処理は図３のフローチャートにおけるステップＳ３１３以降の処理にリターンする。ただし、ステップＳ１３０３において、エッジや輝度の連続性が不十分であったり、モデルとのマッチング度が低かったりする場合には操作部１４０４は検出されない。その場合には、ステップＳ１３０１における背景差分法による検出結果が維持される。

図６（ｄ）に、本実施形態の具体例を示す。図６（ｄ）のように背景確定領域１４０１と背景未確定領域１４０２が設定されている場合、検出部２０３が背景差分法によって操作部を検出すると、検出される操作部１４０３（黒い部分）は背景未確定領域１４０２に接している（ステップＳＳ１３０２でＹｅｓ）。従って、本実施形態では、操作部１４０３が写っている入力画像に対して画像処理を行い、エッジを検出することによって、操作部全体１４０４の形状を抽出することによって、操作部を検出する。

以上のように、本実施形態では、背景差分法によって操作部の一部のみが検出されている場合には、検出されている一部の画像情報に基づいて、背景差分法以外の方法で操作部の全体の検出を支援し、操作を認識可能とする。これにより、撮像範囲全体の背景画像が更新できなかった場合においても、操作部を検出し、操作を認識することができるので、情報処理装置の操作性が向上する。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 操作体による操作を認識する情報処理装置であって、
   所定の空間を撮像範囲とする画像を取得する取得手段と、
   前記空間の背景を表す背景画像と、前記取得手段によって取得される画像との比較に基づいて、前記背景上に存在する移動体を検出する検出手段と、
   前記検出手段によって検出された移動体に前記操作体以外の物体が含まれる場合、前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域であって、かつ、前記背景上に前記操作体が存在しないとみなされた部分領域を背景確定領域として設定し、前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域を背景未確定領域として設定する設定手段と、
   前記取得手段によって取得される画像のうち、前記設定された背景確定領域を撮像した部分によって、前記背景画像を部分的に更新する更新手段と、
   前記設定された背景確定領域に前記操作体による操作が有効な第１のオブジェクトを表示させ、前記設定された背景未確定領域に前記操作体による操作が無効な第２のオブジェクトを、前記第１のオブジェクトの表示状態と異ならせて表示させる表示制御手段と、
   前記検出手段が、前記更新手段によって更新された前記背景画像と、前記取得手段によって新たに取得される画像との比較に基づいて検出した前記移動体の少なくとも一部から前記操作体を特定し、前記背景確定領域に表示される第１のオブジェクトに対する操作体による操作を認識する認識手段と、
   を備えることを特徴とする情報処理装置。
2. 前記設定手段は、前記背景未確定領域のうち、前記移動体が所定の時間静止した領域、及び、前記移動体が検出されなくなった領域を、前記背景上に操作体が存在しないとみなすことを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段が表示させる第２のオブジェクトは、
   前記操作体によってタッチされた後、前記背景未確定領域から前記背景確定領域内に移動されることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記表示制御手段は、前記操作体の可動範囲を推定し、前記可動範囲内に、前記表示制御手段によって表示されるオブジェクトを表示させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記表示制御手段によって表示されるオブジェクトのうち、前記操作体にタッチされたオブジェクトの位置情報に基づいて、前記操作体が存在する可能性が高い領域を推定する推定手段を更に備え、
   前記設定手段は、前記複数の部分領域のうち、前記推定された領域を、前記背景未確定領域と設定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記背景を前記部分領域に分割する分割手段を更に備え、
   前記分割手段は、前記表示制御手段によって表示されるオブジェクトの周辺の領域では、前記背景を細かく分割することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記背景を前記部分領域に分割する分割手段を更に備え、
   前記分割手段は、前記移動体の周辺の領域では、前記背景を細かく分割することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
8. 前記設定手段が、前記背景未確定領域とした領域内では、
   前記検出手段は、前記更新手段によって更新された背景画像と、前記取得手段によって新たに取得される画像との比較に基づき既に検出されている移動体の情報に基づいて、前記移動体を検出することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記設定手段は、前記複数の部分領域のうち、前記背景未確定領域とした領域に対して、特定の方向に隣接している部分領域を、前記背景未確定領域と設定することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記特定の方向とは、前記操作体の前記空間に対する進入方向であることを特徴とする請求項９に記載の情報処理装置。
11. 前記第１のオブジェクトと前記第２のオブジェクトとは表示色が異なることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 操作体による操作を認識する情報処理装置であって、
    所定の空間を撮像範囲とする画像を取得する取得手段と、
    前記空間の背景を表す背景画像と、前記取得手段によって取得される画像との比較に基づいて、前記背景上に存在する移動体を検出する検出手段と、
    前記検出手段によって検出された移動体に前記操作体以外の物体が含まれる場合、前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域であって、かつ、前記背景上に前記操作体が存在しないとみなされた部分領域を特定し、前記取得手段によって取得される画像のうち、前記特定された部分領域を撮像した部分によって、前記背景画像を部分的に更新する更新手段と、
    前記検出手段が、前記更新手段によって更新された前記背景画像と、前記取得手段によって新たに取得される画像との比較に基づいて検出した前記移動体の少なくとも一部から前記操作体を特定し、前記操作体による操作を認識する認識手段と、
    前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域を背景未確定領域として設定し、さらに、該背景未確定領域として設定された部分領域のそれぞれについて、前記背景上に前記操作体が存在しないとみなされた部分領域を背景確定領域として再び設定する設定手段を備え、
    前記設定手段は、前記背景未確定領域のうち、前記移動体が所定の時間静止した領域、及び、前記移動体が検出されなくなった領域を、前記背景上に操作体が存在しないとみなし、
    表示制御手段が表示させるオブジェクトは、前記操作体によってタッチされた後、前記背景未確定領域から前記背景確定領域内に移動されることで、前記オブジェクトに対応する操作が認識されることを特徴とする情報処理装置。
13. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至１２に記載された情報処理装置として動作させるためのプログラム。
14. 操作体による操作を認識する情報処理装置の制御方法であって、
    取得手段により、所定の空間を撮像範囲とする画像を取得する取得工程と、
    検出手段により、前記空間の背景を表す背景画像と、前記取得手段によって取得される画像との比較に基づいて、前記背景上に存在する移動体を検出する検出工程と、
    設定手段により、前記検出手段によって検出された移動体に前記操作体以外の物体が含まれる場合、前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域であって、かつ、前記背景上に前記操作体が存在しないとみなされた部分領域を背景確定領域として設定し、前記空間の背景を分割して得られる複数の部分領域のうち、前記移動体が存在する部分領域を背景未確定領域として設定する設定工程と、
    更新手段により、前記取得手段によって取得される画像のうち、前記設定された背景確定領域を撮像した部分によって、前記背景画像を部分的に更新する更新工程と、
    表示制御手段により、前記設定された背景確定領域に前記操作体による操作が有効な第１のオブジェクトを表示させ、前記設定された背景未確定領域に前記操作体による操作が無効な第２のオブジェクトを、前記第１のオブジェクトの表示状態と異ならせて表示させる表示制御工程と、
    認識手段により、前記更新手段によって更新された前記背景画像と、前記取得手段によって新たに取得される画像との比較に基づいて検出された前記移動体の少なくとも一部から前記操作体を特定し、前記背景未確定領域に表示されるオブジェクトに対する前記操作体による操作を認識せず、前記背景確定領域に表示されるオブジェクトに対する前記操作体による操作を認識する認識工程と、
    を備えることを特徴とする情報処理装置の制御方法。

Images