JP6924285B2 - 情報処理装置 - Google Patents

Description

本発明は、ユーザーの身体の部位による操作入力を受け付ける情報処理装置、情報処理方法、及びプログラムに関する。

タッチパネルなどの入力デバイスによれば、ユーザーは自分の指を動かして画面上のオブジェクト（操作対象物）を直接触るタップ操作を行うことで、当該オブジェクトに予め関連づけられた処理を実行させることができる。一方、バーチャルリアリティなどの分野においては、ユーザーの手の指などの身体の部位の位置を検出し、その検出結果に応じて各種の処理を実行する技術が検討されている。このような技術では、オブジェクトが配置された仮想空間内の様子をユーザーに提示し、ユーザーがそのオブジェクトに対応する位置に自身の手などを動かした場合に、そのオブジェクトに関連づけられた処理が実行される。すなわち、ユーザーは、タッチパネルの例と同様に、自分の身体を動かして仮想的なオブジェクトに接触させる動作を行うことで、そのオブジェクトに関連づけられた処理を実行させることができる。

上記従来例の技術では、一つのオブジェクトに対して複数種類の処理が関連づけられる場合、ユーザーは単純にオブジェクトに触れるだけでは複数種類の処理のうちのどの処理を実行させたいか、情報処理装置に指示することができない。そのためユーザーは、オブジェクトに触れる動作の前後で、処理の種類を指定する別の操作入力を行う必要がある。しかしながら、このような操作入力が必要になると、操作が煩雑になってしまう。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、操作対象物に対して複数の処理を実行させる指示を簡単な操作入力で実現することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。

本発明に係る情報処理装置は、ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定する特定部と、前記特定された部位に応じて、予め定められた処理を実行する処理実行部と、を含むことを特徴とする。

本発明に係る情報処理方法は、ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定するステップと、前記特定された部位に応じて、予め定められた処理を実行するステップと、を含むことを特徴とする。

本発明に係るプログラムは、ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定するステップと、前記特定された部位に応じて、予め定められた処理を実行するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置を含む情報処理システムの全体構成を表すブロック図である。 本発明の実施の形態に係る情報処理装置の機能を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置が実行する処理の第１の例について説明する図である。 本発明の実施の形態に係る情報処理装置が実行する処理の第２の例について説明する図である。 画面上のオブジェクトに対して実行する処理の一例について説明する図である。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は、本発明の一実施形態に係る情報処理システム１の全体構成を示す図である。同図に示されるように、情報処理システム１は、情報処理装置１０と、表示装置１４と、物体センサー１５と、を含んで構成されている。情報処理装置１０は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、図１に示すように、制御部１１と、記憶部１２と、通信部１３とを含んで構成されている。

制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に格納されたプログラムに従って各種の情報処理を実行する。この制御部１１の具体的な処理の内容については、後に詳しく述べる。

記憶部１２は、少なくとも一つのメモリ素子を含み、制御部１１によって実行されるプログラム、及びこのプログラムによる処理の対象となるデータを保持する。このプログラムは、コンピュータ可読かつ、非一時的な記憶媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。

通信部１３は、ＵＳＢ（Universal Serial Bus）等のシリアルインタフェースあるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信インタフェースを含んで構成される。情報処理装置１０は、通信部１３を介して表示装置１４、及び物体センサー１５のそれぞれと有線又は無線で接続されている。具体的に通信部１３は、表示装置１４が表示すべき映像のデータを表示装置１４に対して送信する。また、通信部１３は、物体センサー１５による検出結果を物体センサー１５から受信する。

表示装置１４は、情報処理装置１０から送信される映像信号に基づく映像を表示する。ここでは表示装置１４は、ヘッドマウントディスプレイ等のユーザーが頭部に装着して使用するタイプのデバイスであることとする。

物体センサー１５は、ユーザーの身体の部位の位置を検出するために用いられる。ここでは物体センサー１５は、ユーザーの手の位置を検出することとする。具体的に、例えば物体センサー１５は、ユーザーの手が存在すると想定される位置に向けられたステレオカメラであってよい。この場合、物体センサー１５は左右に並んだ二つのカメラによって構成され、二つのカメラの視差を利用して視野範囲内に写っている被写体までの距離の情報を含んだ距離画像（デプスマップ）を生成する。このような距離画像を参照することで、情報処理装置１０は物体センサー１５の観測位置を基準点としたユーザーの手の位置や手の形状を把握することができる。また、同様に、ユーザーの手の周囲に存在するテーブルや壁など、各種の物体の位置や形状を検出することもできる。

以下、情報処理装置１０の制御部１１が実現する機能について説明する。本実施の形態において制御部１１は、機能的に図２に示すように、仮想空間制御部３１と、位置特定部３２と、接触部位特定部３３と、対応処理実行部３４と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

仮想空間制御部３１は、仮想空間を構築し、その内部の様子を示す映像を描画する。描画された映像は表示装置１４によって表示され、ユーザーに提示される。具体的に仮想空間制御部３１は、ユーザーによる操作の対象となる仮想オブジェクト（操作対象物）を仮想空間内に配置して、仮想空間を構築する。そして、ユーザーの目の位置に対応する視点位置からこの仮想空間を見た様子を示す画像を描画し、表示装置１４に対して出力する。

位置特定部３２は、物体センサー１５による検出結果を用いて、物体センサー１５の検出範囲内に存在する物体の位置、及び形状を特定する。特に位置特定部３２は、ユーザーの手、及びその周囲に存在する物体の位置、及び形状を特定する。物体センサー１５の検出結果を用いたユーザーの手の特定は、公知の技術によって実現できる。また、位置特定部３２は、特定された手の形状、向きなどに基づいて、特定されたユーザーの手が左右どちらの手かを認識する。さらに、手に含まれる指の部分を特定するとともに、それぞれの指が親指、人差し指、中指、薬指、小指のいずれであるかを認識する。

さらに仮想空間制御部３１は、位置特定部３２によって特定されるユーザーの手に対応するオブジェクト（以下、手オブジェクトという）を仮想空間に配置することとする。手オブジェクトの形状は実際のユーザーの手を模した形状であって、その配置位置は、位置特定部３２によって特定された現実空間の手の位置に応じて決定される。このような手オブジェクトを配置することによって、ユーザーは、あたかも自分の手が仮想空間内に存在しているかのように、手オブジェクトを仮想空間内で動かすことができる。

接触部位特定部３３は、位置特定部３２による特定結果に基づいて、ユーザーの身体のいずれかの部位が操作対象物に接触した場合に、その接触部位を特定する。特に本実施形態では、ユーザーが手で操作対象物に接触することを想定しているので、接触部位特定部３３は、ユーザーが左右どちらの手で操作対象物に接触したか、及び５本の指のうちのどの指で接触したかのいずれか少なくとも一方を特定する。ここでは操作対象物は仮想空間内に配置されているので、接触部位特定部３３は、位置特定部３２が特定するユーザーの手の位置に対応する仮想空間内の位置と、操作対象物の位置と、が重なった場合に、重なった位置の手の部位が操作対象物に接触したと判定し、その部位を特定する。すなわち、ユーザーの手に対応する手オブジェクトが仮想空間内で操作対象物に接触した場合に、ユーザーの手が操作対象物に接触したとみなされることになる。

対応処理実行部３４は、接触部位特定部３３によって特定される部位に応じて、操作対象物に対して予め定められた処理を実行する。例えば対応処理実行部３４は、ユーザーが左右どちらの手で操作対象物に接触したかに応じて、手ごとに予め定められた処理を実行する。このような制御によれば、ユーザーが左手で操作対象物に接触した場合と右手で操作対象物に接触した場合とで、処理の内容を変化させることができる。

また、対応処理実行部３４は、ユーザーがどの指で操作対象物に接触したかに応じて、指の種類ごとに予め定められた処理を実行してもよい。このような制御によれば、ユーザーは５本の指を使い分けて５種類の操作を操作対象物に対して指示することができる。さらに対応処理実行部３４は、ユーザーが左右どちらの手で操作対象物に接触したか、及びどの指で接触したかの双方の情報を用いて、操作対象物に対して実行する処理の内容を変化させてもよい。この場合対応処理実行部３４は、ユーザーが左右１０本の指のうちのどの指で操作対象物に接触したかに応じて、最大で１０種類の互いに異なる処理を実行することができる。また、対応処理実行部３４は、ユーザーが指のどの部分で操作対象物に接触したか（指の先端か、曲げた関節部分かなど）に応じて、処理の内容を変化させてもよい。また、手の甲や手のひらなど指以外の部位で操作対象物に接触した場合にも、その部位に対応した処理を実行してもよい。

また、ユーザーは複数の部位で同時に操作対象物に接触する場合もある。このような場合にも、対応処理実行部３４は、ユーザーのどの部位で操作対象物に接触したかに応じて、処理の内容を変化させることができる。特に対応処理実行部３４は、ユーザーが複数の指で操作対象物に接触した場合に、片手の指だけで接触したのか、または両手の指で接触したのか、に応じて、互いに異なる処理を実行してもよい。このように複数の指のそれぞれを特定し、それぞれがどちらの手の指かに応じて処理の内容を異ならせることによって、多様な操作入力が可能になる。

以下、接触部位特定部３３が特定したユーザーの部位に応じて対応処理実行部３４が実行する処理のいくつかの具体例について、説明する。

まず第１の例として、仮想空間内に配置された操作対象物がキャンパスであって、ユーザーは筆の代わりに自身の手の指を利用してキャンパスに絵を描く例について説明する。図３は、この例において２種類の操作対象物（キャンパスＣ、及びパレットＰ）及び手オブジェクトＨが配置された仮想空間の様子を示している。この例では、手オブジェクトＨの５本の指それぞれに対して色が対応づけられており、ユーザーがいずれかの指でキャンパスＣをなぞるジェスチャーを行うと、対応処理実行部３４は、キャンパスＣに接触した指に対応づけられた色で、指の軌跡に沿ってキャンパス上に線を描画する。この例では、ユーザーは自分の指を使い分けることによって、色の切り替え操作等を別途行うことなく、各種の色でキャンパス上に絵を描くことができる。

ここで、ユーザーの各指にどの色が対応づけられるかは、予め定められていてもよいが、キャンパスＣとは別の操作対象物（ここではパレットＰ）にユーザーが指を接触することによって決定されてもよい。具体的に、ここでは複数（６個以上であってもよい）の色がパレットＰ内に表示されていることとし、ユーザーがいずれかの指でパレットＰ内の任意の色に接触すると、その色が接触した指に対応づけられる。このような状態になると、以後、ユーザーがその指でキャンパスＣに接触すると、その指に対応づけられた色での描画が行われる。また、既に色が対応づけられた指をパレットＰ内の別の色に接触させた場合、新たに接触した色がその指に対応づけられる。この場合のパレットＰは、複数の機能候補（ここでは色の描画）をユーザーに提示する選択オブジェクトとして機能する。選択オブジェクト内のいずれかの機能候補に、ユーザーのいずれかの指が接触した場合、その時点で当該機能候補が接触した指に対応づけられる。このような制御によれば、ユーザーは、直感的に自身の指に任意の機能を割り当てて、操作対象物に対する多様な種類の操作を行うことができるようになる。

なお、この例において、手オブジェクトＨの５本の指それぞれに対して、各指に対応づけられた機能を表す表示を行ってもよい。具体的に、例えば対応処理実行部３４は、ユーザーがいずれかの指でパレットＰのいずれかの色に接触した場合、当該指に対応する手オブジェクトＨの先端部分を、接触した色で表示する。こうすれば、ユーザーは自分の手に対応する手オブジェクトＨを見ることで、各指に対応づけられた機能を容易に把握することができる。

さらにこの例において、対応処理実行部３４は、接触した指がどちらの手の指かに応じて、キャンパス上への描画、及び消去の処理を実現してもよい。例えばユーザーが右手の指でキャンパスに接触した場合、前述したように接触した指に対応づけられた色でキャンパス上への描画を行う。一方、ユーザーが左手のいずれかの指でキャンパスに接触した場合、接触した位置に既に描画済みの内容を消去することとする。こうすれば、ユーザーは両手を使って容易に絵を描いたり描いた絵を消したりすることができる。なお、ここでは左手の指に消去処理を割り当てることとしたが、消去処理は描画処理が割り当てる手と同じ手のいずれかの指に割り当てられてもよい。

第２の例として、３次元オブジェクトＯの変形操作を行う例について、説明する。図４は、この例における３次元オブジェクトＯ、及び手オブジェクトＨが配置された仮想空間の様子を示している。この例においては、ユーザーが左手の指で３次元オブジェクトＯの表面に接触した場合、接触した位置を中心に３次元オブジェクトＯの表面を盛り上げる。逆にユーザーが右手の指で３次元オブジェクトＯの表面に接触した場合には、接触した位置を中心に３次元オブジェクトＯの表面をへこませることとする。このような処理を対応処理実行部３４が実行することで、ユーザーは、自身の手で任意に３次元オブジェクトＯの形状を変形することができる。

また、ここでは左右の手のそれぞれに３次元オブジェクトＯの変形のさせ方に関する異なる種類の処理を割り当てることとしたが、これに限らず、指ごとに異なる種類の処理を割り当ててもよい。例えば対応処理実行部３４は、ユーザーがどの指で３次元オブジェクトＯの表面に接触したかに応じて、接触した箇所を盛り上げる、削る、スムージングする、又は接触した箇所に存在する頂点の位置を指の動きに沿って移動するなど、各種の処理を実行してもよい。

このほかにも、対応処理実行部３４は、操作対象物に接触したユーザーの身体の部位に応じて、各種の処理を実行してよい。例えばゲームなどでは、キャラクターや障害物などの仮想オブジェクトに対してユーザーが指を接触させた場合に、接触した指がどの指かに応じて、仮想オブジェクトを燃やしたり、凍らせたり、接触位置に何かを出現させたり、回復させたりなど、各種の処理を実行してよい。また、右手で接触した場合には仮想オブジェクトをユーザーの手に吸い寄せ、左手で接触した場合には反発させたりしてもよい。

以上の説明では、対応処理実行部３４は、仮想空間内に配置された仮想オブジェクトに対してユーザーの手が接触した際に、接触した部位に対応する処理を実行することとした。しかしながらこれに限らず、操作対象物は現実空間に存在する物体であってもよい。この場合、位置特定部３２は、物体センサー１５の検出結果を用いて、ユーザーの手の形状、及び位置だけでなく、現実空間においてユーザーの手の周囲に存在する操作対象物の位置、及び形状も特定する。そして、接触部位特定部３３は、ユーザーの手の指が現実空間内の操作対象物に接触したと判定される場合に、接触した指を特定する。

具体例として、ユーザーの前に配置されているテーブルを操作対象物とする場合、ユーザーは自身のいずれかの指でテーブルに接触する。接触部位特定部３３は、ユーザーがどの指でテーブルに接触したかを特定し、対応処理実行部３４は、特定された指の種類や左右どちらの手の指かなどに応じて、予め定められた処理を実行する。このとき仮想空間制御部３１は、テーブルに対応する位置、及び形状の仮想オブジェクトをユーザーの手に対応する手オブジェクトなどとともに仮想空間内に配置してもよい。

さらにこの場合において、情報処理装置１０は、操作対象物の位置や、ユーザーの指が操作対象物に接触したタイミングを特定するために、物体センサー１５だけでなく、その他の種類の検出装置などと接続されてもよい。例えばユーザーは、自身の手の周囲の物体の位置やユーザーの手の指が周囲の物体に接触したことを検出する検出装置を自身の手などに装着する。情報処理装置１０は、この検出装置から受信する情報を用いて操作対象物の位置や、操作対象物に接触したユーザーの指がどの指かを特定する。このような制御によれば、現実空間においてユーザーがどの指で操作対象物に接触したか、またどのタイミングで接触したかを精度よく特定することができる。

以上説明した本実施形態に係る情報処理装置１０によれば、操作対象物に接触した身体の部位に応じて予め定められた処理を実行することにより、ユーザーは容易に複数種類の処理を情報処理装置１０に実行させることができる。

なお、本発明の実施の形態は、以上説明したものに限られない。例えば以上の説明においては、操作対象物は仮想空間に配置された３次元のオブジェクトや、現実空間に存在する物体であることとしたが、操作対象物は画面上に表示される２次元のオブジェクトであってもよい。この場合、表示装置１４は、平面状の画面に操作対象物となるオブジェクトを表示することとする。

例えば操作対象物は、画面上に表示される文字列であってもよい。この場合、ユーザーは、画面上においていずれかの指でスライド操作を行うことによって、操作対象となる文字列を選択する。対応処理実行部３４は、ユーザーがどの指で文字列を選択したかに応じて、選択された文字列を複製したり、移動したり、削除したりする。また、いずれかの指、又は別の手の指に対して、文字列に対する複製や移動や削除などの操作を元に戻す処理が割り当てられてもよい。

また、操作対象物は、画像や図形などの２Ｄオブジェクトであってもよい。この場合、ユーザーは画面上をいずれかの指でタッチしたり、スライドしたりすることによって、オブジェクトに対する各種の操作を実行させる。さらにこの例では、ユーザーが２本の指で画面をタッチした場合に、片手の２本の指でタッチしたのか、又は両手の指でタッチしたのかに応じて、処理の内容を変化させてもよい。具体例として、ユーザーが２本の指を画面上でスライドしてその間隔を広げる操作を行ったとする。このとき、ユーザーが片手で当該操作を行った場合、対応処理実行部３４は、ズーム処理を行って表示されている画面全体を拡大する。一方、ユーザーが両手の指で当該操作を行った場合、対応処理実行部３４は、２Ｄオブジェクト自体の大きさを拡大する。

また、ユーザーが２本の指を画面上で回転させる回転操作を行った場合について、図５を用いて説明する。図５（ａ）はユーザーが片手で回転操作を行った場合の例を示している。なお、図中の実線の矢印はユーザーの手の指の動きを、破線の矢印は画面上のオブジェクトの動きを表している。ここでは対応処理実行部３４は、表示領域全体をユーザーの指の動きに応じて回転する（ビュー回転）。一方、図５（ｂ）はユーザーが両手それぞれの指で回転操作を行った場合の例を示している。この場合対応処理実行部３４は、選択された２Ｄオブジェクトを単独で回転させる。以上説明したような制御によれば、従来のマルチタッチ方式のタッチパネルなどを使用してユーザーの操作を受け付ける場合と異なり、ユーザーがどの指で操作を行ったか、また、ユーザーが片手及び両手のどちらで操作を行ったのかなどに応じて、処理の内容を変化させることができる。

また、以上の説明ではユーザーは自身の手を操作対象物に接触させることとしたが、これに限らず頭や足先など自身の身体の別の部位を操作対象物に接触させてもよい。この場合、物体センサー１５はユーザーの身体のより広い範囲を対象として、その動きや姿勢の変化を検出可能なセンサーであるものとする。この場合にも、対応処理実行部３４は、操作対象物に接触したのがユーザーの身体のどの部位かに応じて、予めその部位に対応づけられた処理を実行するものとする。

また、以上の説明では位置特定部３２は物体センサー１５の検出結果を用いてユーザーの手の指の位置、及び形状を特定し、接触部位特定部３３はその特定結果に基づいてユーザーが操作対象物に接触したのがどの指かを特定することとした。しかしながら操作対象物に接触した部位を特定する方法はこのようなものに限られず、例えばユーザーの手に装着した検出装置を使用するなど、接触部位特定部３３は各種の方式で操作対象物に接触したユーザーの指を特定してもよい。

１ 情報処理システム、１０ 情報処理装置、１１ 制御部、１２ 記憶部、１３ 通信部、１４ 表示装置、１５ 物体センサー、３１ 仮想空間制御部、３２ 位置特定部、３３ 接触部位特定部、３４ 対応処理実行部。

Claims (6)

1. ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定する特定部と、
   前記特定された部位に応じて、予め定められた処理を実行する処理実行部と、
   を含み、
   前記処理実行部は、複数の機能候補のいずれかに割り当てられた操作対象物に対してユーザーが自身の身体のいずれかの部位を接触させる操作を実行したことが前記特定部によって特定された場合、接触された操作対象物に割り当てられた機能候補を当該接触した部位に対応づけ、ユーザーが当該接触した部位をさらに別の操作対象物に対して接触させる操作を実行したことが前記特定部によって特定された場合、当該対応づけられた機能候補に応じた処理を実行する
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記身体の部位はユーザーの手であって、
   前記特定部は、ユーザーが前記操作対象物に対して左右どちらの手で接触したかを特定し、
   前記処理実行部は、ユーザーが左右どちらの手で接触したかに応じて、手ごとに予め定められた処理を実行する
   ことを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置において、
   前記身体の部位はユーザーの手のいずれかの指であって、
   前記特定部は、ユーザーが前記操作対象物に対してどの指で接触したかを特定し、
   前記処理実行部は、ユーザーがどの指で接触したかに応じて、指の種類ごとに予め定められた処理を実行する
   ことを特徴とする情報処理装置。
4. 請求項１から３のいずれか一項に記載の情報処理装置において、
   前記操作対象物は、仮想空間内に配置された仮想オブジェクトであって、
   前記情報処理装置は、前記仮想オブジェクト、及び、現実空間におけるユーザーの身体の少なくとも一部の部位に対応する部位オブジェクトが配置された前記仮想空間内の様子を示す画像を描画する仮想空間制御部をさらに含み、
   前記特定部は、前記仮想空間内において前記部位オブジェクトが前記仮想オブジェクトに対して接触した際に、接触した部位を特定する
   ことを特徴とする情報処理装置。
5. ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定する特定ステップと、
   前記特定された部位に応じて、予め定められた処理を実行する処理ステップと、
   を含み、
   前記処理ステップでは、複数の機能候補のいずれかに割り当てられた操作対象物に対してユーザーが自身の身体のいずれかの部位を接触させる操作を実行したことが前記特定ステップで特定された場合、接触された操作対象物に割り当てられた機能候補を当該接触した部位に対応づけ、ユーザーが当該接触した部位をさらに別の操作対象物に対して接触させる操作を実行したことが前記特定ステップで特定された場合、当該対応づけられた機能候補に応じた処理を実行する
   ことを特徴とする情報処理方法。
6. ユーザーが自身の身体のいずれかの部位を操作対象物に対して接触させる操作を実行した際に、接触した部位を特定する特定ステップと、
   前記特定された部位に応じて、予め定められた処理を実行する処理ステップと、
   をコンピュータに実行させるためのプログラムであって、
   前記処理ステップでは、複数の機能候補のいずれかに割り当てられた操作対象物に対してユーザーが自身の身体のいずれかの部位を接触させる操作を実行したことが前記特定ステップで特定された場合、接触された操作対象物に割り当てられた機能候補を当該接触した部位に対応づけ、ユーザーが当該接触した部位をさらに別の操作対象物に対して接触させる操作を実行したことが前記特定ステップで特定された場合、当該対応づけられた機能候補に応じた処理を実行する
   プログラム。

Images