JP2018507448A - スマートデバイスに基づく体感制御の実現方法、システム及びスマートデバイス - Google Patents

Abstract

本発明は、ユーザー画像データを収集するステップと、ユーザー画像データに基づいてユーザーの画像輪郭を取得するステップと、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得するステップと、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得するステップと、前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成するステップとを含むスマートデバイスに基づく体感制御の実現方法、システム及びスマートデバイスを開示する。【選択図】図２

Description

本発明はコンピュータビジョンの技術分野に関し、具体的には、スマートデバイスに基づく体感制御の実現方法、システム及びスマートデバイスに関する。

コンピュータビジョン技術の発展に伴い、体感ゲームがだんだん人々の生活に入り、従来のコントローラー又はジョイスティックに比べ、体感ゲーム機は、体感カメラで人体の動作を検出することによりゲームを操作し、例えば、マイクロソフト社製のＸｂｏｘ３６０の体感ゲーム機Ｋｉｎｅｃｔは、三つの体感カメラで人体の動作を収集し、かつ操作命令に変換してゲームを操作することにより、人々のゲームの操作エクスペリエンスが向上し、かつ人体は運動状態で鍛えられる。
しかし、現在、体感カメラが高価であるので、一部のユーザーは体感ゲームを体験できず、それに対して、スマートフォン、タブレットコンピュータ等のスマートデバイスは広く普及されているので、スマートフォンのカメラを体感カメラとして利用できれば、体感ゲーム等のような体感技術の人々の生活における応用の普及を大幅に向上させることできる。

本発明が解決しようとする技術的問題は、体感カメラが高価であることが体感技術の人々の生活における応用の妨げとなっているということである。

そのために、本発明の実施例は、ユーザー画像データを収集するステップと、ユーザー画像データに基づいてユーザーの画像輪郭を取得するステップと、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得するステップと、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得するステップと、前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成するステップと、を含むカメラ付きのスマートデバイスに基づく体感制御の実現方法を提供する。

好ましくは、前記特徴長さは、手部輪郭の長さ／幅、脚部輪郭の長さ／幅又は頭部輪郭の長さ／幅を含む。

好ましくは、前記ユーザー画像データを収集するステップと、前記ユーザー画像データに基づいてユーザーの画像輪郭を取得するステップとの間に、さらに、ユーザー画像を前景、背景から分離するステップを含む。

好ましくは、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得するステップと、第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成するステップとの間に、さらに、距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離に基づいて、前記第２の運動軌跡を修正するステップを含む。
好ましくは、前記距離測定モジュールは、赤外線距離測定モジュール又はレーザ距離測定モジュールである。

本発明の実施例は、ユーザー画像データを収集する収集手段と、ユーザー画像データに基づいてユーザーの画像輪郭を取得する画像輪郭取得手段と、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得する第１の運動軌跡手段と、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する第２の運動軌跡手段と、前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成する体感データ手段とを含む、カメラ付きのスマートデバイスに基づく体感制御の実現システムをさらに提供する。

好ましくは、前記システムは、前記収集手段がユーザー画像データを収集することと、前記画像輪郭取得手段がユーザー画像データに基づいてユーザーの画像輪郭を取得することとの間に、ユーザー画像を前景、背景から分離する分離手段をさらに含む。

好ましくは、前記システムは、前記第２の運動軌跡手段が前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記体感データ手段が第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する動作との間に、距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離に基づいて、前記第２の運動軌跡を修正する修正手段をさらに含む。
本発明の実施例は、ユーザー画像データを収集するカメラと、ユーザー画像データに基づいてユーザーの画像輪郭を取得し、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得し、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得し、かつ前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成するプロセッサーとを含む、スマートデバイスをさらに提供する。

好ましくは、前記プロセッサーは、さらに、外部の距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離を受信し、かつ前記距離に基づいて前記第２の運動軌跡を修正する。

本実施例は、
一つ又は複数のプロセッサーと、
メモリと、
前記メモリに記憶され、前記一つ又は複数のプロセッサーにより実行される場合、ユーザー画像データを収集する動作と、ユーザー画像データに基づいてユーザーの画像輪郭を取得する動作と、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得する動作と、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成する動作とを行う一つ又は複数のプログラムとを含む、ことを特徴とするカメラ付きのスマートデバイスに基づく体感制御の実現システム。

前記システムは、前記ユーザー画像データを収集する動作と、前記ユーザー画像データに基づいてユーザーの画像輪郭を取得する動作との間に、ユーザー画像を前景、背景から分離する。

前記システムは、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記体感データ手段が第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する動作との間に、距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離に基づいて前記第２の運動軌跡を修正する。

本発明の実施例に係るスマートデバイスに基づく体感制御の実現方法、システム及びスマートデバイスは、スマートフォン等のようなスマートデバイスのカメラだけでユーザー画像データを取得し、かつ該画像データに基づいてユーザーの結像面上の第１の運動軌跡と結像面に垂直な方向における第２の運動軌跡を取得することにより、ユーザーの三次元空間での運動軌跡を取得して体感データを生成し、ユーザーは別の装置を必要としなくても体感技術を体験でき、体感技術の普及と応用に役立つ。

図面を参照すると本発明の特徴及び利点をより明確に理解でき、図面は、本発明を限定するものではなく、例示的なものに過ぎないと理解すべきである。

本発明の実施例に係るスマートデバイスに基づいて体感制御を実現するための応用場面を示す概略図である。 本発明の実施例に係るスマートデバイスに基づく体感制御の実現方法を示す流れ図である。 本発明の実施例に係るスマートデバイスに基づく体感制御の実現システムを示す概略図である。 本発明の実施例に係る一つのプロセッサーを備えるスマートデバイスに基づく体感制御の実現システムを示す概略図である。 本発明の実施例に係る二つのプロセッサーを備えるスマートデバイスに基づく体感制御の実現システムを示す概略図である。

以下、図面を参照しながら本発明の実施例を詳しく説明する。

図１に示すように、本発明の実施例に係るスマートデバイスに基づく体感制御の実現方法は、カメラ付きのスマートデバイスを必要とし、該スマートデバイスは、スマートフォン、タブレットコンピュータ、ノートパソコン等である。好ましくは、ユーザーが該スマートデバイスのカメラから一定の距離を維持することにより、カメラはユーザーの全身の画像データを収集することができる。当然ながら、幾らかの体感制御は、手部の動作だけで制御する必要があり、この場合、カメラでユーザー手部の画像データだけを収集すればよい。

図２に示すように、本発明の実施例は、カメラ付きのスマートデバイスに基づく体感制御の実現方法を提供し、該方法は、以下のステップＳ１〜Ｓ６を含む。

Ｓ１、ユーザー画像データを収集する。図１に示すように、カメラはユーザーの結像面であるｘ−ｙ平面上の画像データを収集する。

Ｓ２、ユーザー画像を前景、背景から分離する。該ステップはオプションステップであり、従来の任意の画像分離方法でユーザー画像を前景、背景から分離することにより、前景、背景画像による干渉を低減し、プロセッサーの後処理の計算量を低減することができる。

Ｓ３、ユーザー画像データに基づいてユーザーの画像輪郭を取得する。体感制御に対して、ユーザーの体の運動軌跡を取得するだけでよいので、ユーザーの体の画像の他の詳細を注目する必要がなく、画像輪郭を抽出することによりプロセッサーの後処理の計算量を低減することができる。

Ｓ４、画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得する。画像がリアルタイムに収集されるので、隣接フレームの画像の変化に基づいてユーザーのｘ−ｙ平面上の第１の運動軌跡を容易に取得できる。

Ｓ５、画像輪郭上の特徴長さの変化及び／又はカメラの焦点距離の変化に基づいてユーザーの結像面に垂直な方向における第２の運動軌跡を取得する。ユーザーからカメラまでの距離が近ければ近いほど、生成された画像が大きくなるので、ユーザーがカメラに向かって運動すると、生成された画像がだんだん大きくなることにより、画像輪郭上の特徴長さがだんだん大きくなることに基づいて、ユーザーがカメラに向かって運動していると判定できる。逆に、ユーザーがカメラから遠ざかるように運動すると、生成された画像がだんだん小さくなることにより、画像輪郭上の特徴長さがだんだん小さくなることに基づいて、ユーザーがカメラから遠ざかるように運動すると判定できる。特徴長さは、手部輪郭の長さ／幅、脚部輪郭の長さ／幅、頭部輪郭の長さ／幅等であり、例えば、手部輪郭の長さが長くなるか又は幅が広くなることを検出すると、手部がカメラに向かって運動すると判定し、手部輪郭の長さが短くなるか又は幅が狭くなることを検出すると、手部がカメラから遠ざかるように運動すると判定することにより、体の各部分のｚ方向における変化を判定できる。同時に、ユーザーが結像面に垂直な方向であるｚ方向に運動すると、カメラはユーザー画像をキャプチャするときに焦点距離を絶えず変更することにより明瞭な画像を取得するので、カメラの焦点距離の変化に基づいてもユーザーがカメラに向かって運動するか又は遠ざかるように運動するかを判定できる。この二つの方式のいずれか一つでもユーザーの結像面に垂直な方向における運動軌跡を判定でき、当然ながら、より正確な結果を取得するために、この両者に基づいて総合的に判断することにより、より正確な結果を取得してもよい。

Ｓ６、第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する。結像面上の第１の運動軌跡と結像面に垂直な方向における第２の運動軌跡を総合すれば、ユーザーの三次元空間での運動軌跡を取得することにより、体感データを取得でき、該体感データを体感機能付きのスマートテレビ又はコンピュータに入力すれば、体感ゲームを体験することができる。

本発明の実施例に係るスマートデバイスに基づく体感制御の実現方法は、スマートフォン等のようなスマートデバイスのカメラだけでユーザー画像データを取得し、かつ該画像データに基づいてユーザーの結像面上の第１の運動軌跡と結像面に垂直な方向における第２の運動軌跡を取得することにより、ユーザーの三次元空間での運動軌跡を取得して体感データを生成し、ユーザーは別の装置を必要としなくても体感技術を体験でき、体感技術の普及と応用に役立つ。

ユーザーの結像面に垂直な方向における第２の運動軌跡は、画像輪郭上の特徴長さの変化及び／又はカメラの焦点距離の変化に基づいて算出されたので、より正確な制御を必要とする幾らかの場合のニーズを満たしがたいので、第２の運動軌跡を修正する必要がある。そのために、ｚ方向におけるユーザーからカメラまでの距離をより正確に取得するように距離測定モジュールを追加する必要があり、該距離測定モジュールは、赤外線距離測定モジュール又はレーザ距離測定モジュールであり、距離測定モジュールは、有線又は無線の方式でスマートフォン等のようなスマートデバイスと接続することにより、測定した距離をスマートデバイスに送信し、スマートデバイスは、距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離を取得し、かつ取得した距離に基づいて第２の運動軌跡を修正し、最後に、第１の運動軌跡と修正後の第２の運動軌跡に基づいて、より正確な体感データを生成する。

本発明の実施例は、さらに、
ユーザー画像データを収集する収集手段１と、
ユーザー画像データに基づいてユーザーの画像輪郭を取得する画像輪郭取得手段３と、
画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得する第１の運動軌跡手段４と、
好ましくは手部輪郭の長さ／幅、脚部輪郭の長さ／幅又は頭部輪郭の長さ／幅を含む画像輪郭の特徴長さの変化及び／又はカメラの焦点距離の変化に基づいて、ユーザーの結像面に垂直な方向における第２の運動軌跡を取得する第２の運動軌跡手段５と、
第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する体感データ手段７とを含む、カメラ付きのスマートデバイスに基づく体感制御の実現システムを提供する。

本発明の実施例に係るスマートデバイスに基づく体感制御の実現システムは、スマートフォン等のようなスマートデバイスのカメラだけでユーザー画像データを取得し、かつ該画像データに基づいてユーザーの結像面上の第１の運動軌跡と結像面に垂直な方向における第２の運動軌跡を取得することにより、ユーザーの三次元空間での運動軌跡を取得して体感データを生成し、ユーザーは別の装置を必要としなくても体感技術を体験でき、体感技術の普及と応用に役立つ。

好ましくは、前記スマートデバイスに基づく体感制御の実現システムは、収集手段１がユーザー画像データを収集する動作と、画像輪郭取得手段３がユーザー画像データに基づいてユーザーの画像輪郭を取得する動作との間に、ユーザー画像を前景、背景から分離する分離手段２をさらに含む。従って、前景、背景画像による干渉を低減し、プロセッサーの後処理の計算量を低減することができる。

好ましくは、前記スマートデバイスに基づく体感制御の実現システムは、第２の運動軌跡手段５が画像輪郭上の特徴長さの変化及び／又はカメラの焦点距離の変化に基づいてユーザーの結像面に垂直な方向における第２の運動軌跡を取得する動作と、体感データ手段７が第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する動作との間に、距離測定モジュールで測定したユーザーの体の各部分からカメラまでの距離に基づいて、第２の運動軌跡を修正する修正手段６をさらに含む。従って、より正確な体感データを取得することにより、より正確な制御を必要とする幾らかの場合のニーズを満たすことができる。

本発明の実施例は、さらに、
ユーザー画像データを収集するカメラと、
ユーザー画像データに基づいてユーザーの画像輪郭を取得し、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得し、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得し、かつ前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成するプロセッサーと、
を含むスマートデバイスを提供し、該スマートデバイスはスマートフォン、タブレットコンピュータ、ノートパソコン等である。
従って、本発明の実施例のスマートデバイスだけでユーザーの結像面上の第１の運動軌跡と結像面に垂直な方向における第２の運動軌跡を取得することにより、ユーザーの三次元空間での運動軌跡を取得して体感データを生成し、ユーザーは別の装置を必要としなくても体感技術を体験でき、体感技術の普及と応用に役立つ。

好ましくは、該プロセッサーは、さらに、外部の距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離を受信し、かつ該距離に基づいて第２の運動軌跡を修正する。従って、より正確な体感データを取得することにより、より正確な制御を必要とする幾らかの場合のニーズを満たすことができる。

本実施例は、一つ又は複数のプロセッサー２００と、メモリ１００と、前記メモリ１００に記憶され、前記一つ又は複数のプロセッサー２００により実行されると、ユーザー画像データを収集する動作と、ユーザー画像データに基づいてユーザーの画像輪郭を取得する動作と、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得する動作と、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成する動作とを行う一つ又は複数のプログラムとを含む、カメラ付きのスマートデバイスに基づく体感制御の実現システムを開示する。具体的には、図４に示すように、一つのプロセッサー２００を含んでもよく、図５に示すように、二つのプロセッサー２００を含んでもよい。

本実施例の前記システムは、好ましくは、前記ユーザー画像データを収集する動作と、前記ユーザー画像データに基づいてユーザーの画像輪郭を取得する動作との間に、ユーザー画像を前景、背景から分離する。

本実施例の前記システムは、好ましくは、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記体感データ手段が第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する動作との間に、距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離に基づいて、前記第２の運動軌跡を修正する。

当業者にとって、本発明の実施例は、方法、システム、又はコンピュータプログラム製品として提供できると理解すべきである。従って、本発明は、ハードウェアだけの実施例、ソフトウェアだけの実施例、又はハードウェアとソフトウェアを組み合せた実施例の態様を採用することができる。さらに、本発明は、コンピュータ使用可能プログラムコードを含む一つ以上のコンピュータ使用可能記憶媒体（ディスクメモリ、ＣＤ−ＲＯＭ、光メモリを含むが、これらに限られない）で実行されるコンピュータプログラム製品の態様を採用することができる。

本発明は、本発明の実施形態に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明されるものである。コンピュータプログラム命令によって、フローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組合せを実現できると理解すべきである。これらのコンピュータプログラム命令を、汎用コンピュータ、専用コンピュータ、組み込みプロセッサー又は他のプログラム可能なデータ処理装置のプロセッサーに提供して機器を生成することにより、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサーにより実行される命令によって、フローチャートにおける１つのフロー又は複数のフロー、及び／又はブロック図における１つのブロック又は複数のブロックにおいて指定された機能を実現するための装置を生成することができる。

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置を特定の方式で動作させるようにガイドするコンピュータ可読メモリに記憶することにより、該コンピュータ可読メモリ内に記憶された命令によって、フローチャートの１つのフロー又は複数のフロー、及び／又はブロック図における１つのブロック又は複数のブロックにおいて指定された機能を実現する命令装置を含む製品を生成してもよい。

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置にインストールして、コンピュータにより実現されるプロセスを生成するようにコンピュータ又は他のプログラム可能な装置で一連の操作ステップを実行することにより、コンピュータ又は他のプログラム可能な装置で実行される命令によって、フローチャートにおける１つのフロー又は複数のフロー、及び／又はブロック図における１つのブロック又は複数のブロックにおいて指定された機能を実現するためのステップを提供してもよい。

組み合わせて本発明の実施形態を説明したが、当業者は、本発明の主旨及び範囲から逸脱しない限り、様々な補正及び変形を行うことができ、これらの補正及び変形は、いずれも添付の特許請求の範囲により限定される範囲に属すべきである。

Claims (13)

1. カメラ付きのスマートデバイスに基づく体感制御の実現方法であって、
   ユーザー画像データを収集するステップと、
   ユーザー画像データに基づいてユーザーの画像輪郭を取得するステップと、
   前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得するステップと、
   前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得するステップと、
   前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成するステップと、を含む
   ことを特徴とする方法。
2. 前記特徴長さは、手部輪郭の長さ／幅、脚部輪郭の長さ／幅又は頭部輪郭の長さ／幅を含む
   ことを特徴とする請求項１に記載の方法。
3. 前記ユーザー画像データを収集するステップと、前記ユーザー画像データに基づいてユーザーの画像輪郭を取得するステップとの間に、さらに、
   ユーザー画像を前景、背景から分離するステップを含む
   ことを特徴とする請求項１に記載の方法。
4. 前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得するステップと、第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成するステップとの間に、さらに、
   距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離に基づいて、前記第２の運動軌跡を修正するステップを含む
   ことを特徴とする請求項１〜３のいずれか一項に記載の方法。
5. 前記距離測定モジュールは、赤外線距離測定モジュール又はレーザ距離測定モジュールである
   ことを特徴とする請求項４に記載の方法。
6. カメラ付きのスマートデバイスに基づく体感制御の実現システムであって、
   ユーザー画像データを収集する収集手段と、
   ユーザー画像データに基づいてユーザーの画像輪郭を取得する画像輪郭取得手段と、
   前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得する第１の運動軌跡手段と、
   前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する第２の運動軌跡手段と、
   前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成する体感データ手段と、を含む
   ことを特徴とするシステム。
7. 前記収集手段がユーザー画像データを収集する動作と、前記画像輪郭取得手段がユーザー画像データに基づいてユーザーの画像輪郭を取得する動作との間に、ユーザー画像を前景、背景から分離する分離手段をさらに含む
   ことを特徴とする請求項６に記載のシステム。
8. 前記第２の運動軌跡手段が前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいて、ユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記体感データ手段が第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する動作との間に、距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離に基づいて、前記第２の運動軌跡を修正する修正手段をさらに含む
   ことを特徴とする請求項６又は７に記載のシステム。
9. スマートデバイスであって、
   ユーザー画像データを収集するカメラと、
   ユーザー画像データに基づいてユーザーの画像輪郭を取得し、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得し、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得し、かつ前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成するプロセッサーと、を含む
   ことを特徴とするデバイス。
10. 前記プロセッサーは、さらに、外部の距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離を受信し、かつ前記距離に基づいて前記第２の運動軌跡を修正する
    ことを特徴とする請求項９に記載のスマートデバイス。
11. カメラ付きのスマートデバイスに基づく体感制御の実現システムであって、
    一つ又は複数のプロセッサーと、
    メモリと、
    前記メモリに記憶され、前記一つ又は複数のプロセッサーにより実行されると、ユーザー画像データを収集する動作と、ユーザー画像データに基づいてユーザーの画像輪郭を取得する動作と、前記画像輪郭に基づいてユーザーの結像面上の第１の運動軌跡を取得する動作と、前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記第１の運動軌跡と前記第２の運動軌跡に基づいて体感データを生成する動作とを行う一つ又は複数のプログラムと、を含む
    ことを特徴とするシステム。
12. 前記ユーザー画像データを収集する動作と、前記ユーザー画像データに基づいてユーザーの画像輪郭を取得する動作との間に、ユーザー画像を前景、背景から分離することを特徴とする請求項１１に記載のスマートデバイス。
13. 前記画像輪郭上の特徴長さの変化及び／又は前記カメラの焦点距離の変化に基づいてユーザーの前記結像面に垂直な方向における第２の運動軌跡を取得する動作と、前記体感データ手段が第１の運動軌跡と第２の運動軌跡に基づいて体感データを生成する動作との間に、距離測定モジュールで測定したユーザーの体の各部分から前記カメラまでの距離に基づいて前記第２の運動軌跡を修正する
    ことを特徴とする請求項１１又は１２に記載のシステム。

Images