JP6728865B2 - 手上げ検出装置及び手上げ検出プログラム - Google Patents

Description

本発明は、手上げ検出装置及び手上げ検出プログラムに関する。

特許文献１には、撮像部が室内の人間を撮像し、高速・低解像度処理部が、撮像部が撮像した人間の映像に基づいて、その人間の室内における２次元、３次元の位置や方向を特定し、低速・高解像度処理部が、撮像部が撮像した人間の映像に基づいて、知識蓄積部に蓄積されたデータを用いて、人間のジェスチャーを特定し、行動・意図推定部が、高速・低解像度処理部による処理結果と、低速・高解像度処理部による処理結果とに基づいて、ベイズ分類を用いて、撮像対象となった人間の行動・意図を推定することが提案されている。

特許文献２には、カメラの撮影画像フレームに含まれる人物画像に基づいて、フレーム対応姿勢判定パラメータを取得し、記憶部に格納された複数の登録姿勢に対応する登録パラメータとの比較を実行して、フレーム対応姿勢判定パラメータに類似する登録パラメータを持つ登録姿勢を、撮影画像フレームに含まれる人物の姿勢として分類し、分類された登録姿勢に基づいて解析情報を生成することが提案されている。具体的には、カラーフィルタリング等によりスキン領域を検出することで頭部、胴体等を検出し、頭部、胴体の各々に楕円を対応付けて傾き等を求めることにより、姿勢を推定している。

特開２００５−２４２７５９号公報 特開２００７−４８２３２号公報

本発明は、人物の３次元座標をそのまま用いて手上げ動作を検出する場合に比べて、手を上げていることを検出する処理負荷を軽減することを目的とする。

請求項１に記載の手上げ検出装置は、人物を含む予め定めた空間を３次元測定した結果を用いて、前記空間を上から見た画像に変換する変換部と、前記変換部によって変換された前記画像における前記人物のシルエット画像を用いて、手上げ動作を検出する検出部と、を備え、前記検出部は、前記シルエット画像の面積と前記シルエット画像を楕円近似した楕円の面積との面積比を用いて手上げ動作を検出する。

請求項２に記載の発明は、請求項１に記載の発明において、前記検出部によって手上げ動作が検出された場合に、手先の位置を検出する手先検出部を更に備える。

請求項３に記載の発明は、請求項２に記載の発明において、前記手先検出部は、手上げ動作をしていない場合の前記シルエット画像の最も高い位置を頭位置として、前記シルエット画像を楕円近似した楕円上の当該頭位置から最も遠い位置を手先位置として検出する。

請求項４に記載の発明は、請求項２又は請求項３に記載の発明において、前記手先検出部は、顔の向きを更に検出して、検出した手先の位置の適否を判断する。

請求項５に記載の発明は、請求項１〜４の何れか１項に記載の発明において、前記検出部による検出結果を画像として表示する表示部を更に備える。

請求項６に記載の発明は、請求項１〜５の何れか１項に記載の発明において、前記検出部は、頭の高さから予め定めた距離以内の前記シルエット画像を用いて手上げ動作を検出する。

請求項７に記載の手上げ検出プログラムは、コンピュータを、請求項１〜６の何れか１項に記載の手上げ検出装置の各部として機能させる。

請求項１に記載の発明によれば、人物の３次元座標をそのまま用いて手上げ動作を検出する場合に比べて、手を上げていることを検出する処理負荷を軽減可能な手上げ検出装置を提供できる。

請求項２に記載の発明によれば、店舗の棚を触った位置、または会議室で何をポインティングしているかを検出することができる。

請求項３に記載の発明によれば、人物の３次元座標をそのまま用いて手先位置を検出する場合に比べて、手先位置を検出する処理負荷を軽減することができる。

請求項４に記載の発明によれば、検出した手先の位置が正しいか否かを確認できる。

請求項５に記載の発明によれば、手上げの検出結果に対するユーザの反応を見て、手上げ検出結果を修正することができる。

請求項６に記載の発明によれば、高さを制限しないシルエット画像を用いて手上げ動作を検出する場合に比べて手上げ検出精度を向上することができる。

請求項７に記載の発明によれば、物の３次元座標をそのまま用いて手上げ動作を検出する場合に比べて、手を上げていることを検出する処理負荷を軽減可能な手上げ検出プログラムを提供できる。

本実施形態に係る手上げ検出装置の概略構成を示す図である。 本実施形態に係る手上げ検出装置において手上げ検出プログラムによって実行される機能を示す機能ブロック図である。 ３Ｄセンサによる人物の検出の様子を表す図である。 （Ａ）は手を上げていない人を示す図であり、（Ｂ）は（Ａ）の上から見た画像を示す図であり、（Ｃ）は手を上げている人を示す図であり、（Ｄ）は（Ｃ）の上から見た画像を示す図である。 （Ａ）は手を上げていない人を示す図であり、（Ｂ）は（Ａ）をシルエット化した白黒の画像及び近似された楕円を示す図であり、（Ｃ）は手を上げて人を示す図であり、（Ｄ）は（Ｃ）をシルエット化した白黒の画像及び近似された楕円を示す図である。 （Ａ）は手を上げていない状態で最も高い場所である頭位置を示す図であり、（Ｂ）は頭位置から最も離れた楕円上の位置である手先を示す図であり、（Ｃ）は頭から顔向き方向へのベクトルと、頭から手先方向へのベクトルが近い場合を示す図であり、（Ｄ）は頭から顔向き方向へのベクトルと、頭から手先方向へのベクトルが遠い場合を示す図である。 本実施形態に係る手上げ検出装置で行われる処理の流れの一例を示すフローチャートである。 （Ａ）は距離画像を用いた頭の位置の検出例を示し、（Ｂ）は頭の高さから一定距離以内の高さを示す図である。

以下、図面を参照して本実施形態の一例を詳細に説明する。図１は、本実施形態に係わる手上げ検出装置の概略構成を示す図である。

本実施形態に係る手上げ検出装置１０は、店舗や、デジタルサイネージ、会議室などにおいて、人が手を上げる動作を検出するものである。例えば、店舗において手を上げて商品にアクセスしたかを検出したり、大画面へのポインティングなどのジェスチャー操作を検出するためのものである。

図１に示すように、本実施形態に係る手上げ検出装置１０は、ＣＰＵ１２、ＲＯＭ１４、ＲＡＭ１６、及びＩ／Ｏ１８がバス２１に接続されたコンピュータを含んで構成されている。

さらに、バス２１には、モニタ２２が接続されると共に、ハードディスク（ＨＤＤ）２０等の記憶装置が接続されている。モニタ２２には各種情報や画像が表示され、ＨＤＤ２０には各種データベース等の各種データが記憶される。

ＲＯＭ１４には、人の手上げ動作を検出するための手上げ検出プログラム（詳細は後述）等が記憶されており、ＣＰＵ１２がこれらのプログラムを動作させることによって各種処理が行われる。

また、Ｉ／Ｏ１８には、３Ｄセンサ２４が接続されており、３Ｄセンサ２４が設けられた予め定めた空間を３次元スキャンすることにより３次元測定する。例えば、３Ｄセンサ２４はレーザ光線等をスキャン照射して反射光を受光することにより、反射対象物までの距離を検出することで３次元ポイントを測定する。３Ｄセンサ２４の３次元スキャン結果は３ＤポイントクラウドとしてＨＤＤ２０に記憶されるようになっている。３Ｄセンサ２４は、空間の中での位置及び傾きなどが既知とされ、スキャンした３次元ポイントの３次元座標を部屋座標に変換可能とされているものとする。

なお、手上げ検出装置１０に含まれるコンピュータには、この他にキーボード等の入力装置やその他の周辺装置も備える。また、Ｉ／Ｏには、上記以外にネットワーク等が接続され、ネットワークに接続された他の装置と通信可能としてもよい。

図２は、本実施形態に係る手上げ検出装置１０において手上げ検出プログラムによって実行される機能を示す機能ブロック図である。

手上げ検出プログラムは、３Ｄポイントクラウド３０、画像変換部３２、シルエット抽出部３４、楕円近似部３６、手上げ検出部３８、及び手先検出部４０の機能を備えている。

３Ｄポイントクラウド３０は、３Ｄセンサ２４が設けられた予め定めた空間を３Ｄセンサ２４によって３次元スキャンして、スキャン結果として検出した３次元ポイントデータの集合が３ＤポイントクラウドとしてＨＤＤ２０に記憶される。３Ｄセンサ２４の検出結果を随時記憶することで、例えば、図３に示すように、手を下ろした状態から手を上げた状態が３Ｄセンサ２４によって検出されて、検出結果が３Ｄポイントクラウドとして記憶される。

画像変換部３２は、３Ｄポイントクラウド３０の３Ｄポイントデータを変換して、部屋の上から見た距離画像に変換する。例えば、図４（Ａ）の手を上げていない人の場合には図４（Ｂ）のように上から見た画像に変換し、図４（Ｃ）の手を上げている人の場合には図４（Ｄ）のように上から見た画像に変換する。すなわち、俯瞰画像に変換して、ピクセルの値は高さにする。

シルエット抽出部３４は、画像変換部３２によって変換された画像をシルエット化して人物の領域をシルエット画像として抽出する。ここで本願におけるシルエット化とは、画像の輪郭の内側部分を同一の色にした画像にする処理を指している。例えば、本実施形態では、画像変換部によって上からの距離画像に変換された画像データに基づいて、閾値より低い部分を床の高さの画像データとして黒画素にし、床より上の高さの画像データは白画素にするようにして２値化することで、上からの距離画像の内部を同一の色に変換したシルエット化を施し、人物の領域（床上部分）をシルエット画像として抽出する。具体的には、図５（Ａ）のように手を下ろした人の場合は図５（Ｂ）のように白黒の画像としてシルエット化してシルエット画像を抽出し、図５（Ｃ）のように手を上げて人の場合は図５（Ｄ）のように白黒の画像としてシルエット化してシルエット画像を抽出する。

楕円近似部３６は、シルエット抽出部３４で抽出された人物の領域を、当該人物の領域に外接する楕円に近似する。例えば、手を下ろした人の場合は図５（Ｂ）のような楕円に近似し、手を上げた人の場合には図５（Ｄ）のような楕円に近似する。

手上げ検出部３８は、シルエット抽出部３４によって抽出されたシルエット画像と、楕円近似部３６によって近似された楕円とを用いて、手上げ動作を検出する。例えば、シルエット画像の面積と近似された楕円の面積との面積比を用いて手上げ動作を検出する。具体的には、図５（Ｂ）に示すように、手を下げている場合には、楕円の面積は、シルエット画像の面積と同等の面積となる。一方、図５（Ｄ）に示すように、手を上げている場合には、楕円の面積はシルエット画像の面積より大きくなる。そこで、手上げ検出部３８は、シルエット画像の面積を近似された楕円の面積で除算したシルエット面積比が予め定めた閾値より小さい場合に手を上げていると判断する。なお、手上げ検出部３８は、楕円の面積をシルエット画像の面積除算した面積比が予め定めた閾値より大きい場合に手を上げていると判断してもよい。

手先検出部４０は、画像変換部３２によって変換された上から見た距離画像から、図６（Ａ）に示すように、手を上げていない状態で最も高い場所を頭位置として検出する。そして、図６（Ｂ）に示すように、頭位置から最も離れた楕円近似部３６によって近似された楕円上の位置を手先位置として人物の手先を検出する。

なお、手先検出部４０で手先位置を検出する際に、手を頭よりも高い位置に伸ばした場合には、頭の位置と混乱する可能性があるため、頭の位置はトラッキングしておき、突然の位置変化は手先位置として判断してもよい。或いは、頭の位置は、手先に比べて楕円の端にならないことを利用して手先と頭の位置を区別してもよい。

また、手先検出部４０で手先を検出する際に、顔の向きを検出して手先の検出結果の信頼性を高めてもよい。例えば、図６（Ｃ）のように顔の向きと手先の位置で、頭から顔向き方向へのベクトルと、頭から手先方向へのベクトルが近い場合（例えば、各々のベクトルのなす角度が予め定めた閾値未満の場合）には、手先の検出結果の信頼性が高いと判断する。一方、図６（Ｄ）のように、頭から顔向き方向へのベクトルと、頭から手先方向へのベクトルが遠い場合（例えば、各々のベクトルのなす角度が予め定めた閾値以上の場合）には、手先の検出結果の信頼性が低いと判断する。なお、顔向きは、頭の３次元位置を元に、おおよその頭のサイズの範囲から、通常のカメラの撮影画像や距離画像を用いて周知技術により顔向きを検出する。

続いて、上述のように構成された本実施形態に係る手上げ検出装置１０で行われる具体的な処理について説明する。図７は、本実施形態に係る手上げ検出装置１０で行われる処理の流れの一例を示すフローチャートである。なお、図７の処理は、ＲＯＭ１４に記憶された手上げ検出プログラムをＣＰＵ１２がＲＡＭ１６に展開して実行することにより行われる。

ステップ１００では、画像変換部３２が、３Ｄポイントクラウド３０の３Ｄポイントデータを、部屋の上から見た距離画像に変換してステップ１０２へ移行する。

ステップ１０２では、手上げ検出部３８が手上げ動作を検出したか否かを判定する。該判定は、シルエット抽出部３４によってシルエット画像の抽出を行って、楕円近似部３６によって人物の領域を楕円近似する。そして、シルエット画像の面積を近似された楕円の面積で除算したシルエット面積比を求めて、求めたシルエット面積比が予め定めた閾値より小さいか否かを判定する。該判定が否定された場合にはステップ１００に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ１０４へ移行する。

ステップ１０４では、手先検出部４０が手先の位置を検出してステップ１０６へ移行する。すなわち、手先検出部４０が、画像変換部３２によって変換された上から見た距離画像から、手を上げていない状態で最も高い場所を頭位置として検出し、頭位置から最も離れた楕円近似部３６によって近似された楕円上の位置を手先として検出する。

ステップ１０６では、手先検出部４０が、モニタ２２に操作者の映像や、手先のポインタ等を表示してステップ１０８へ移行する。

ステップ１０８では、手上げ検出部３８が一定時間以内に手上げ動作を停止したか否かを判定する。該判定は、手上げ動作を間違って検出したか否かを判定するために、予め定めた一定時間以内に手上げ動作が終了したか否かを判定する。該判定が肯定された場合にはステップ１１０へ移行し、否定された場合にはステップ１１２へ移行する。

ステップ１１０では、手上げ検出部３８が、手上げ動作の誤検出と判断してフィードバックや操作停止を行ってステップ１００に戻って上述の処理を繰り返す。すなわち、一定時間以内に手上げ動作が停止された場合には、手上げ動作の判定が間違っていると判断する。そして、手上げ動作の検出が敏感過ぎるため、手上げ動作を判定するためのシルエット面積比の閾値等の調整などのフィードバックを行ったり、表示コンテンツのクリックなどの操作を停止する。

一方、ステップ１１２では、手先検出部４０が、手先によるインタラクションを継続してステップ１００に戻って上述の処理を繰り返す。すなわち、手先検出部４０が、画像変換部３２によって変換された上から見た距離画像から、手を上げていない状態で最も高い場所を頭位置として検出して、頭位置から最も離れた楕円近似部３６によって近似された楕円上の位置を手先として検出する。手先検出部４０によって検出された手先の位置が、ポインティングや操作として利用される。手先の位置が分かることで、人物が店舗の棚のどのあたりを触ったか、或いは会議室で何をポインティングしているかが分かる。なお、上述したように、手先検出部４０で手先を検出する際に、顔の向きを更に検出して、手先の位置が正しいかどうかを確認してもよい。

また、上記の実施形態では、手上げ検出部３８で手上げ動作を検出する際に、検出対象とする高さに制限を設けて手上げ検出を行ってもよい。例えば、図８（Ａ）に示すように、画像変換部３２によって変換された距離画像を用いて頭の位置を検出し、図８（Ｂ）に示すように、頭の高さから予め定めた一定距離以内の距離画像、または床からの高さが予め定めた高さ以上の高さの距離画像のみを用いて手上げ検出を行う。具体的には、シルエット抽出部３４が２値化してシルエット画像を抽出する際に、頭の高さから一定距離以内か否か、または床から予め定めた高さ以上か否かにより２値化してシルエット画像を抽出する。これにより、座っているときの足などの腕以外のものが除外されて、手上げ検出の精度が上がる。

また、上記の実施形態に係る手上げ検出装置１０で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。

また、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０ 手上げ検出装置
２４ ３Ｄセンサ
３０ ３Ｄポイントクラウド
３２ 画像変換部
３４ シルエット抽出部
３６ 楕円近似部
３８ 手上げ検出部
４０ 手先検出部

Claims (7)

1. 人物を含む予め定めた空間を３次元測定した結果を用いて、前記空間を上から見た画像に変換する変換部と、
   前記変換部によって変換された前記画像における前記人物のシルエット画像を用いて、手上げ動作を検出する検出部と、
   を備え、
   前記検出部は、前記シルエット画像の面積と前記シルエット画像を楕円近似した楕円の面積との面積比を用いて手上げ動作を検出する手上げ検出装置。
2. 前記検出部によって手上げ動作が検出された場合に、手先の位置を検出する手先検出部を更に備えた請求項１に記載の手上げ検出装置。
3. 前記手先検出部は、手上げ動作をしていない場合の前記シルエット画像の最も高い位置を頭位置として、前記シルエット画像を楕円近似した楕円上の当該頭位置から最も遠い位置を手先位置として検出する請求項２に記載の手上げ検出装置。
4. 前記手先検出部は、顔の向きを更に検出して、検出した手先の位置の適否を判断する請求項２又は請求項３に記載の手上げ検出装置。
5. 前記検出部による検出結果を画像として表示する表示部を更に備えた請求項１〜４の何れか１項に記載の手上げ検出装置。
6. 前記検出部は、頭の高さから予め定めた距離以内の前記シルエット画像を用いて手上げ動作を検出する請求項１〜５の何れか１項に記載の手上げ検出装置。
7. コンピュータを、請求項１〜６の何れか１項に記載の手上げ検出装置の各部として機能させるための手上げ検出プログラム。