JP6159323B2 - 情報処理方法及び情報処理装置 - Google Patents

情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP6159323B2
JP6159323B2 JP2014524214A JP2014524214A JP6159323B2 JP 6159323 B2 JP6159323 B2 JP 6159323B2 JP 2014524214 A JP2014524214 A JP 2014524214A JP 2014524214 A JP2014524214 A JP 2014524214A JP 6159323 B2 JP6159323 B2 JP 6159323B2
Authority
JP
Japan
Prior art keywords
control
display object
display
control amount
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014524214A
Other languages
English (en)
Other versions
JPWO2014119258A1 (ja
Inventor
浩靖 井本
浩靖 井本
山内　真樹
真樹 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2014119258A1 publication Critical patent/JPWO2014119258A1/ja
Application granted granted Critical
Publication of JP6159323B2 publication Critical patent/JP6159323B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、ＧＵＩ（Graphical User Interface）を提供する情報処理方法及び情報処理装置に関し、特に、３次元空間における指示物の位置に基づいて画面表示の更新等を行う技術に関する。
近年、コンピュータ技術の発展と情報端末の高機能化に伴い、リモコン等の機器を把持することなく、また、特殊な装置を装着することなく、操作者が手や指を動かしたり姿勢を変化させたりすることにより、指示等の情報を入力できる入力装置が開発されている。
これらの入力装置では、操作者の手や指の動きによってポインタを移動させることで画面上に表示されたいずれかのオブジェクトを指示することができる。しかし、これらの入力装置では、リモコンやマウス等におけるスイッチのように確実に操作できる仕組みがなく、オブジェクトの選択、決定等といった操作者の意図的な動作を特定することが困難であった。
そこで、オブジェクトの選択を可能にする技術として、特許文献１では、画面上のオブジェクトを指示するポインタの動きを監視し、ポインタの移動軌跡が所定のパターンと一致した場合に操作者が選択動作を行ったと判定する方法が開示されている。
また、特許文献２では、操作者がオブジェクトを指示する手や指の姿勢とは異なる所定の姿勢を行った場合に、操作者が選択動作を行ったと判定するインターフェース装置が開示されている。さらに、この特許文献２に開示されているインターフェース装置の場合、操作に用いる手指姿勢の一覧、手指姿勢の判定結果を画面に表示するので、操作者は所定の手指姿勢を覚えることなく画面を確認しながら操作を行えるようになっている。
また、特許文献３では、オブジェクトが表示された画面上に、カメラで撮像された操作者の撮像画像と操作者の所定のポーズを検出するためのガイド枠とを表示する情報処理装置が開示されている。具体的には、操作者の撮像画像の手の部分が、ガイド枠内に位置している場合は、手の部分を赤色の枠で囲んで表示し、ガイド枠外に位置している場合は、手の部分を青色の枠で囲んで表示する。これにより、操作者は青色の枠で囲まれた手の部分をガイド枠内に動かすよう誘導され、ガイド枠に対応した処理を実行させることができる。
特開２００２−１８２８９２号公報 特開２００８−５２５９０号公報 特開２００９−１５１４２４号公報
特許文献１の技術では、操作者が所望のオブジェクトをポインタによって指示したのち、更にポインタを所定のパターンと一致するように移動させることによりオブジェクトを選択する動作を行う必要がある。しかし、ポインタをオブジェクトに対して所定のパターンと一致するように正確に移動させることは必ずしも容易ではない。
また、特許文献２の技術では、操作者が指差し等の姿勢によって所望のオブジェクトを指示したのち、別の所定の姿勢に変更することによりオブジェクトの選択動作を行う必要がある。しかし、所定の姿勢に変更しようとして、うまく変更できず意図とは異なるオブジェクトを指示してしまうような事態が十分発生し得る。
また、特許文献３の技術では、操作者自身の撮像画像とガイド枠を見ながら操作を行うため、簡単にガイド枠に対応した処理を実行させることができる。しかし、画面上に細かなオブジェクトが密に並んでいる場合にオブジェクト毎に細かなガイド枠が並ぶので、意図するオブジェクトを容易に選択することができなくなる。
そこで、本発明は、上記問題に鑑みてなされたものであり、特別な操作機器を把持しない操作者が手や指を動かしたり姿勢を変化させたりすることにより情報の入力を行う場合に、画面上のオブジェクトに対する選択等の動作を容易に行えるようにするための情報処理方法及び情報処理装置を提供する。
本発明の一態様に係る情報処理方法は、情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得ステップと、前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定ステップと、前記算定ステップにおいて算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に前記所定処理を行う制御ステップとを含む情報処理方法である。また、本発明の一態様に係る情報処理装置は、指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得部と、前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定部と、前記算定部により算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に所定処理を行う制御部とを備える情報処理装置である。
本発明の一態様に係る情報処理方法又は情報処理装置によれば、操作者が特別な操作機器を用いずにオブジェクトに対する選択等の動作を容易に行えるようになる。
図１は、実施の形態に係る情報入力システムの外観図である。 図２は、実施の形態に係る情報入力システムのハードウェア構成を示す図である。 図３は、第１の実施の形態に係る情報入力システムの機能ブロック図である。 図４は、第１の実施の形態に係る情報入力システムの動作を示すフローチャートである。 図５は、第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図６は、図５から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図７は、第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図８は、図７から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図９は、第２の実施の形態に係る情報入力システムの機能ブロック図である。 図１０は、第２の実施の形態に係る情報入力システムの動作を示すフローチャートである。 図１１は、第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１２は、図１１から遷移した第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１３は、第３の実施の形態に係る情報入力システムの機能ブロック図である。
（概要）
操作者が特別な操作機器を用いずに、オブジェクトに対する選択等の動作を容易に行えるようにすべく、本発明の一態様に係る情報処理方法は、情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得ステップと、前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定ステップと、前記算定ステップにおいて算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に前記所定処理を行う制御ステップとを含む情報処理方法である。ここで、制御ステップにおける制御は、表示装置等の機器類の制御や、情報処理装置の各部の制御を含む。また、所定処理は、光、電気信号等の出力等として現れる処理であり、表示装置等により表示された画面内容の変更や画面中のあるオブジェクト（対象）に関する処理（選択、拡大縮小等）を含む。
これにより、操作者が特別な操作機器を用いずに指示物（手、腕、ペン等）の位置を動かすことで、オブジェクトに対する選択等を容易に行えるようになる。即ち、操作者は、指示物における２以上の各部位の位置をどのように変化させれば所定処理が行われるのかを、各部位の位置を反映した制御量と閾値とを画面上で表す制御表示物により随時確認することができ、適切に操作をすることができるようになる。
ここで、例えば、前記制御ステップでは、更に、前記位置情報が示す１以上の位置に応じて定めた画面上の位置に位置表示物を表示するよう制御し、前記制御ステップでは、前記位置表示物の表示位置に表示されていた対象に関連して前記所定処理を行うこととしてもよい。なお、位置表示物の表示位置は、指示物におけるいずれかの部位の位置に直接対応しているとは限らず、例えば指示物の２以上の位置に応じてその平均位置を定めて、その平均位置に対応しているものであってもよい。
これにより、操作者は指示物の位置を動かすことで画面上の任意のオブジェクト（対象）を位置表示物（ポインタ）で指定（ポインティング）することができるようになる。
また、例えば、前記位置情報は、３次元位置を表す情報であり、前記情報処理方法は更に、前記指示物における２以上の各部位についての３次元位置を検出することにより前記位置情報を逐次生成する検出ステップを含み、前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を逐次取得し、前記制御ステップでは、前記取得ステップにおける前記位置情報の逐次取得に対応して、前記位置表示物及び前記制御表示物を前記画面に逐次表示し、前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる２次元位置であることとしてもよい。
これにより、３次元空間における指示物の位置に応じて、画面上の位置表示物（ポインタ）の位置（２次元位置）が変化するようになり、操作者は画面を確認することで容易に任意のオブジェクトを指定することができるようになる。
また、前記第２表示物は、前記閾値を表す所定の大きさの図形を含み、前記第１表示物は、前記第２表示物に含まれる前記所定の大きさの図形と形状が相似であり、前記制御量を図形の大きさに反映した図形を含むこととしてもよい。なお、表示物についての相似は、図形の輪郭線等が実線、破線、波線等と相違していたり、図形の色が相違していたりしても、形状において一見して似た形と認識されるものであれば足りる。
これにより、操作者は、画面上の図形である第１表示物と第２表示物とを対比し、例えば両者の大きさを合わせるように操作すること等により、オブジェクトの選択等のための操作を容易に行い得るようになる。
また、前記第２表示物に係る前記所定の大きさの図形は、前記閾値を表すための所定の大きさの円であり、前記第１表示物は、前記制御量の算定の基礎となった２以上の各位置を包含する最小の球に所定の投影変換を施して得られる円であって、前記第２表示物に係る円と中心を同じくする円を含むこととしてもよい。
これにより、操作者は、例えば手を指示物として用いて手の指を広げたり丸めたりすることで、画面上で制御量を表す円の大きさを変化させることができ、オブジェクトの選択等を直感的な操作で行えるようになる。
また、前記情報処理方法は更に、前記指示物における１つの部位を特定する特定ステップを含み、前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置に、前記所定の投影変換を施して得られる２次元位置であり、前記球は前記特定ステップにおいて特定された部位の位置を中心とする球であり、前記算定ステップでは、制御量の前記算定を、前記特定ステップにおいて特定された部位の位置を基準として前記特定ステップにおいて特定された部位以外の前記指示物の１以上の部位の位置に応じて行うこととしてもよい。
これにより、操作者は、例えば手を指示物として用いて親指或いは人差し指といった１つの特定の部位の移動により画面上の位置表示物の位置を移動させることができ、またその部位以外の部位の移動によりオブジェクトの選択等の操作を容易に行えるようになる。
また、前記第２表示物は、前記閾値を表すための所定の傾きを有する線分を含み、前記第１表示物は、前記第２表示物に含まれる前記線分と同じ点を通る線分であって前記制御量を線分の傾きに反映した線分を含むこととしてもよい。
これにより、操作者は、画面上の図形である第１表示物と第２表示物とを対比し、例えば両者の傾き（例えば水平方向に対してなす角度）を合わせるように指示物を操作すること等により、オブジェクトの選択等のための操作を容易に行い得るようになる。
また、前記第１表示物は、前記制御量の算定の基礎となった２以上の各位置に最も近接する回帰直線に所定の投影変換を施して得られる線分であり、前記情報処理方法は更に、前記指示物における１つの部位を特定する特定ステップを含み、前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置に、前記所定の投影変換を施して得られる２次元位置であり、前記回帰直線は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置を通る直線であり、前記算定ステップでは、制御量の前記算定を、前記特定ステップにおいて特定された部位以外の前記指示物の１以上の部位の位置に基づいて行うこととしてもよい。
これにより、操作者は、例えば手を指示物として用いて親指或いは人差し指といった１つの特定の部位の移動により画面上の位置表示物の位置を移動させることができ、またその部位以外の部位の移動によりオブジェクトの選択等の操作を容易に行えるようになる。
また、前記情報処理方法は更に、前記指示物における１つの部位を特定する特定ステップを含み、前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置に、前記所定の投影変換を施して得られる２次元位置であることとしてもよい。
これにより、操作者は、例えば手を指示物として用いて親指或いは人差し指といった１つの特定の部位の位置の移動により画面上の位置表示物の位置を移動させることができるようになる。
また、前記制御ステップでは、前記制御量と前記閾値とが、等価関係又は大小関係である所定の関係性を満たす場合に前記所定条件を満たすと判定することとしてもよい。ここで、等価関係又は大小関係である所定の関係性は、例えば、制御量と閾値が一致する場合、制御量が閾値より大きい場合及び制御量が閾値より小さい場合のうちの１つを意味する。
これにより、例えば制御量と閾値とが一致する場合に所定条件が満たされるとするときには、操作者は、画面を参照しながら、画面上の制御表示物における第１表示物と第２表示物とを合わせるように指示物を操作することで、容易に、情報処理装置にオブジェクトの選択等の所定処理を行わせることができるようになる。
また、前記制御ステップでは、前記制御量と前記閾値との大小関係が変化するように前記制御量が遷移した場合に前記所定条件を満たすと判定することとしてもよい。
これにより、操作者による指示物の各部位を動かす操作に応じて、制御量が閾値より小さい状態から大きい状態へと変化した場合及び閾値より大きい状態から小さい状態へと変化した場合にのみ、情報処理装置が所定処理を行うようになる。従って、例えば指示物の各部位が動かない状態を保っているときにおいて制御量と閾値とが一致していても所定処理が繰り返されることが防止される。
また、前記制御ステップでは、前記制御量が、前記閾値よりも小さい値から大きい値へと遷移した場合及び前記閾値よりも大きい値から小さい値へと遷移した場合のうちいずれか一方の場合に限って前記所定条件を満たすと判定することとしてもよい。
これにより、操作者による指示物の各部位を動かす操作に応じて、制御量が閾値より小さい状態から大きい状態へと変化した場合と制御量が閾値より大きい状態から小さい状態へと変化した場合とのうち一方の場合にのみ、情報処理装置が所定処理を行うようになる。
また、前記位置情報は、３次元位置を表す情報であり、前記情報処理方法は更に、前記指示物における２以上の各部位についての３次元位置を検出することにより前記位置情報を生成する検出ステップを含み、前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を取得し、前記制御ステップでは、前記位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる画面上における２次元位置に、前記制御表示物を表示するよう制御し、前記制御量が前記所定条件を満たすと判定した場合において前記制御表示物の表示位置に表示されていた対象に関連して前記所定処理を行うこととしてもよい。位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる画面上における２次元位置に制御表示物を表示することは、例えば制御表示物を囲む最小矩形内にその２次元位置が含まれるように制御表示物を表示することを含む。このことは、例えば、制御表示物における第１表示物の中心がその２次元位置であるように制御表示物を表示することを含む。
これにより、操作者は指示物の位置を動かすことで画面上の任意のオブジェクトを制御表示物によって指定することができるようになる。
また、本発明の一態様に係る情報処理装置は、指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得部と、前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定部と、前記算定部により算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に所定処理を行う制御部とを備える情報処理装置である。ここで、制御部における制御は、表示装置等の機器類の制御や、情報処理装置の各部の制御を含む。また、所定処理は、光、電気信号等の出力等として現れる処理であり、表示装置等により表示された画面内容の変更や画面中のあるオブジェクト（対象）に関する処理（選択、拡大縮小等）を含む。
これにより、操作者が特別な操作機器を用いずに指示物の位置を動かすことで、オブジェクトに対する選択等を容易に行えるようになる。
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。
以下、実施の形態について、図面を参照しながら説明する。
ここで示す実施の形態は、いずれも本発明の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本発明を限定するものではない。以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
本実施の形態では、カメラ等によって検出される３次元空間における指示物の位置を入力情報とするＧＵＩ（Graphical User Interface）を提供する情報入力システムについて説明する。従来、３次元空間における位置等を入力情報とする情報入力システムでは、マウス及びタッチパネルを用いた入力と異なり、選択あるいは決定を直感的で直接的な操作で行う方法が存在しない。
このような情報入力システムにおいて、ポインティング（つまり、画面上でのポインタの移動）操作を行う必要がある場合には、ポインティング操作と選択操作との連続操作に対応するために、更なる工夫が必要とされる。
ここで、操作者が特定のジェスチャをした場合に選択操作が行われたと認識することで、ポインティング操作と選択操作とを切り分ける手法が考えられる。例えば、手を一定時間、オブジェクトに対して静止させるという特定のジェスチャをした場合に選択操作が行われたと認識することで、ポインティング操作と選択操作とを切り分ける手法が考えられる。しかしながら、このような手法では、指示物を移動させるポインティング操作中にオブジェクトに対して指示物を静止させる必要があり、即時性に乏しく、快適な操作とはいえない。また、手をぐるぐる回転させる、あるいは、手を前方に押し込む等の特定のジェスチャをした場合に選択操作が行われたと認識することも考えられる。しかしながら、このような手法では、操作者が手を動かし始めてから選択操作が行われたと認識されるまでの間に、ポインティング操作が発生してしまうことがあり、ポインティング操作と選択操作を明確に切り分けることができないために、的確な操作が実現されない。さらに、指示物の位置の入力とは別に「選択！」或いは「決定！」と話す等によって選択操作を認識する方法も考えられる。しかしながら、音声認識を用いる手法では、マイク等の装備のためにコストがかかり、かつ、音声認識率に依存するために必ずしも的確な操作が実現されない。
そこで、本実施の形態では、特に、選択等を直感的な操作で行うことを可能にし、ポインティング操作と選択操作との連続操作を可能にした情報入力システムについて説明する。
この情報入力システムは、主に、指示物の各部位の検出位置に基づいて制御量を算定し、制御量と閾値とを表す制御表示物を画面に表示し、制御量が閾値との関係で所定条件を満たすと画面上のオブジェクト（対象）の選択等を行うシステムである。この情報入力システムを構成する情報処理装置では、指示物の各部位の検出位置に基づいて制御量を算定し、制御量を表す表示物と制御量が所定条件を満たすか否かの判定基準となる閾値を表す表示物とを含む制御表示物を画面に表示する情報処理方法が用いられる。
（第１の実施の形態）
以下、第１の実施の形態に係る情報入力システム１０について、図１〜図８に基づいて説明する。
図１は、情報入力システム１０の外観図である。ここには、ステレオカメラ１２及び表示装置１６が図示されている。操作者は、指示物１１（ここでは、操作者の指）を、ステレオカメラ１２の撮像範囲内で移動させることで、その指示物１１の３次元空間における位置に対応して表示される表示装置１６上のポインタを移動させることができる。これによって、操作者と表示装置１６に表示された画像との様々なインタラクションが実現される。
なお、指示物１１は、操作者の指に限られず、操作者の手、腕、又は、操作者が持っているペン等の物品であってもよい。
図２は、情報入力システム１０のハードウェア構成を示す図である。
この情報入力システム１０は、表示装置１６に表示された画像に対する操作者の指示を取得するシステムであって、ステレオカメラ１２、通信装置１４、表示装置１６、入力装置１８及び制御装置２０を備える。
ステレオカメラ１２は、少なくとも２台のカメラを有する撮像装置であり、３次元空間における指示物１１の位置を検出するためのセンサである。ステレオカメラ１２は、一定のフレームレートで、指示物１１を撮像し、得られた複数枚の画像を通信装置１４に無線送信する。なお、ここでは、このステレオカメラ１２は表示装置１６等とは独立した装置であることとしているが、表示装置１６と一体化していてもよい。
通信装置１４は、ステレオカメラ１２から送られてくる画像を取得し、制御装置２０に送る無線通信インターフェース等である。
表示装置１６は、操作者に提示するための画像を表示する画面を有する液晶ディスプレイ等である。なお、表示装置１６は、スクリーン等に画面を投影するプロジェクタであってもよい。
入力装置１８は、電源を投入するためのボタン、リモコン等の入力装置である。なお、本実施の形態では、あらゆる指示がステレオカメラ１２を通じて制御装置２０に与えられるので、この入力装置１８は、予備的な構成要素である。
制御装置２０は、操作者とのインタラクションを実現する情報処理を実行するコンピュータ（情報処理装置）であり、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６及び記録媒体２８を有する。ＣＰＵ２２は、プログラムを実行するプロセッサである。ＲＯＭ２４は、プログラム及びデータを予め保持している読み取り専用メモリである。ＲＡＭ２６は、ＣＰＵ２２がプログラムを実行する際に使用されるワーキング用の一時記憶用メモリである。記録媒体２８は、電源が投入されていないときでもデータを記憶できるハードディスク装置等の読み書き可能な記憶装置であり、プログラム及びデータを記憶している。なお、記録媒体２８は、例えば不揮発性メモリであってもよい。
なお、情報入力システム１０の必須のハードウェア構成としては、制御装置２０、より具体的には、プログラムを実行するコンピュータが備えられていればよい。本実施の形態に係る情報入力システムは、典型的には、ソフトウェアによって実現されるからである。よって、他の周辺機器は、任意の構成要素であり、必要に応じて、情報入力システムとして装備されればよい。また、ＲＯＭ２４及び記録媒体２８は、いずれも不揮発性の記憶装置であり、いずれか一方だけが装備されればよい。
図３は、本実施の形態における情報入力システム１０の機能ブロック図である。この機能ブロックにより、図２に示したハードウェア構成によって実現される情報入力システム１０の機能的な構成を示している。
この情報入力システム１０は、機能的には、表示部５２に表示された画像に対する操作者の操作を取得するためのシステムであって、検出部４２、情報処理部７０及び表示部５２を備える。ここで、情報処理部７０は、３次元位置を用いて画面表示の制御等を行う処理系であり、制御装置２０により実現され、取得部４３、算定部４６及び制御部６０を有する。なお、表示部５２は、図２の表示装置１６に相当し、上述したように、必ずしも情報入力システム１０に装備されている必要はない。
検出部４２は、３次元空間における指示物１１の少なくとも２つの部位の位置を検出（計測）する処理部であり、図２のステレオカメラ１２、通信装置１４及び制御装置２０によって実現される。位置の検出について、指示物１１が人の片手の５本の指及び手のひらであるとして予め定められている場合を例にして説明する。この場合、検出部４２は、ステレオカメラ１２で同時に撮像された２枚の画像のそれぞれから、予め設定された各指や手のひらの形状等の画像データに基づく画像マッチングによって、２枚の画像それぞれにおける各指や手のひらの位置を特定する。そして、その特定した位置と、ステレオカメラ１２における各カメラの位置及びカメラ間の距離等のデータに基づいて、各指及び手のひらの３次元空間における位置を算定することで、指示物１１（詳しくは指示物１１における２以上の各部位）の３次元位置の検出を行う。この検出された各指等の３次元位置は、例えば、３次元空間において直交する３軸（Ｘ軸，Ｙ軸，Ｚ軸）を基準とした座標値Ｐ（ｘ，ｙ，ｚ）で表される。
取得部４３は、指示物１１について検出部４２により検出された３次元位置を取得して算定部４６及び制御部６０に伝達する機能を有する。即ち、取得部４３は、情報処理部７０における３次元位置の入力インターフェースとしての機能を担う。
算定部４６は、検出部４２で検出され取得部４３により取得された３次元空間における指示物１１の各部位の位置のうち、少なくとも２つ以上の位置に応じて制御量を算定して制御部６０に伝達する機能を有する。ここで、制御量は、操作者が選択等の意思を表すために指示物１１を動かす操作を行うことによって変動する量であって指示物１１の２以上の部位の位置を反映した量である。例えば、算定部４６は、３次元空間における指示物１１の複数の部位（例えば片手の５本の指及び手のひら）の３次元位置を含む最小の球を算出し、その球の半径を制御量として算定する。なお、この制御量の算定は、ある意味で各部位の位置関係を表す図形である位置関係図形（例えば制御量を半径とする球を所定の２次元平面に投影した図形）を決定しているとも言える。この制御量が所定条件を満たす場合に、つまり制御量と所定の閾値との関係性が所定の条件（所定の等価関係、所定の大小関係等）を満たす場合に、制御部６０において操作が選択等として認識される。
制御部６０は、取得部４３により取得された指示物１１の３次元位置と、算定部４６により算定された制御量とに基づいて、画面表示の更新や、画面に表示されているオブジェクト（対象）に関連する所定処理等の制御を行う機能を担う。画面表示の更新としては、制御部６０は、指示物１１の現在の３次元位置に応じて定めた画面上の位置にポインタ（位置表示物）を表示し、指示物１１に関連して定められた制御量を表すための制御表示物（図形）を表示するよう制御する。この位置表示物及び制御表示物は、ＧＵＩの構成要素であり、操作者とのインタラクションの対象となる表示要素である。また、制御部６０は、操作者の動作を認識して動作に対応した機能を実行する。即ち、制御部６０は、制御量が所定条件を満たすか否かにより選択等の操作がなされたか否かを判定し、選択等の操作がなされた場合にはポインタが表示されている位置に表示されたオブジェクトに関連した所定処理を行う。この所定処理は、例えばオブジェクトの表示態様の変更（拡大、縮小、回転、変形、消去等）、或いはオブジェクトに対応して予め定められた機能の実行（機能処理プログラムに対応付けられたアイコンがオブジェクトであればその機能処理プログラムの実行）等である。なお、所定処理は、制御装置２０の外部への光、電気信号等の出力を含む。
この制御部６０は、機能構成要素として、ポインタ表示制御部６２、図形表示制御部６４、補助表示制御部６６及び閾値記憶部４８を有する。
ポインタ表示制御部６２は、取得部４３から伝達された指示物１１の各部位の３次元位置に基づいて、表示部５２における画面上の位置を決定してその位置にポインタ（位置表示物）を表示するよう制御する機能を有する。表示位置の決定のために、ポインタ表示制御部６２は、指示物１１の各部位の３次元位置に基づいて、例えば平均をとる等により、１つの３次元位置を算出し、その１つの３次元位置に所定の投影変換を施して得られる２次元位置を算出して表示位置とする。なお、ポインタは、画面上における特定の形状（例えば、十字形状）、及び／又は、特定色（例えば、赤色）をした位置表示物である。なお、ポインタ表示制御部６２は、指示物１１の各部位の平均値に所定の投影変換を施す代わりに、指示物１１の１つの部位の３次元位置に所定の投影変換を施して得られる２次元位置を画面上のポインタの表示位置とすることとしてもよい。また、所定の投影変換は、例えば表示部５２の画面に平行な、表示用の２次元座標平面への投影変換である。この投影変換は、例えば平行投影変換であり、また、例えば透視投影変換であってもよい。
図形表示制御部６４は、算定部４６により算定された制御量の大きさを、図形の大きさに反映した図形の画像である第１表示物を、表示部５２における画面に表示するよう制御する機能を有する。ここで、第１表示物は、上述の制御表示物の一部である。例えば、算定部４６が、３次元空間における指示物１１の複数の部位の３次元位置を含む最小の球を算出し、その球の半径を制御量として算定した場合に、その半径を有する球に所定の投影変換を施して得られる円が第１表示物である。
閾値記憶部４８は、ＲＡＭ２６又は記録媒体２８における一領域により実現され、制御量が所定条件を満たすか否かの判定に用いられる基準としての閾値を記憶する機能を有する。この閾値は、例えば、図形の大きさ及び向きのうち少なくとも１つで表され得る閾値である。なお、制御部６０により制御量が所定条件を満たした場合に行う処理が複数ある場合においては、閾値記憶部４８は、処理毎に、閾値を対応付けて記憶することとしてもよい。この場合、閾値は、操作者がどの処理に対応する動作を行ったかを認識するための動作認識用の基準となる情報として働くこととなる。なお、閾値は情報入力システム１０の製造者又は運用管理者、或いは、操作者等により、制御量が変動し得る範囲内において設定される。制御量が片手の各指及び手のひらの各位置を含む最小の球の半径として算定される場合の閾値の例を挙げると、制御量が例えば約４ｃｍ程度から１０ｃｍ程度の範囲で変動し得ると想定されるので、例えば選択用の閾値は６ｃｍである。また更に例えば選択解除用の閾値を９ｃｍ等と定めて、６ｃｍより大きい状態から６ｃｍ以下に変化すると選択、９ｃｍより小さい状態から９ｃｍ以上に変化すると選択解除等と扱うことにしてもよい。
補助表示制御部６６は、閾値記憶部４８に記憶されている閾値の大きさを、図形の大きさに反映した図形である第２表示物を、表示部５２における画面に表示するよう制御する機能を有する。ここで、第２表示物は、上述の制御表示物の一部である。例えば、閾値を半径とする球に所定の投影変換を施して得られる円が第２表示物である。第２表示物は例えば第１表示物である円と同心円であり、閾値と制御量との比が、第２表示物である円の半径と第１表示物である円の半径との比と一致する。なお、操作者は、選択等の操作を行いたい場合には、画面上で第２表示物との関係を目視により確認しながら、指示物１１を動かすことで画面上の第１表示物を変化させることとなる。即ち、この第２表示物は、操作者が第１表示物を目視しながら指示物１１を動かす際において、選択等の操作をするための補助となる画像である。第２表示物を第１表示物と近接して表示されるようにすると、操作の補助としての有用性が向上し得る。
なお、算定部４６が、指示物１１の複数の部位の３次元位置を含む最小の球を算出して球の半径を制御量として算定する代わりに、次のように制御量を算定することとしてもよい。例えば、指示物１１の複数の部位の３次元位置から、最小二乗法等によって各位置の一番近くを通る回帰直線を算出して、その直線に所定の投影変換を施して得られる線分の傾きを制御量として算定する等である。所定の投影変換は、例えば表示部５２の画面に平行な、表示用の２次元座標平面への投影変換であり、この投影変換により得られる線分を画面上に描くと、制御量としての線分の傾きは例えば画面の水平方向となす角度により表される。この場合、図形表示制御部６４は、回帰直線に、表示用の２次元座標平面への投影変換が施されて得られた線分（制御量に係る線分）を、第１表示物として表示部５２の画面に表示するよう制御するとよい。また、補助表示制御部６６は、制御量に係る線分を通る線分であって水平方向との傾きが、閾値記憶部４８に記憶されている閾値（この場合は傾きの値）と一致するような線分を第２表示物として表示部５２の画面に表示するよう制御するとよい。
即ち、制御部６０は、図形表示制御部６４及び補助表示制御部６６により、第１表示物と第２表示物とを表示部５２の画面に表示するよう制御するものである。第１表示物は、制御量を図形の大きさ又は向き（傾き）に反映した、円、線分、多角形等の図形である。また、第２表示物は、選択等の操作の判定基準となる、制御量についての閾値を図形の大きさ又は向き（傾き）に反映した円、線分、多角形（三角形、四角形等）等の図形である。制御部６０は、算定部４６により算定される制御量と閾値とを比較して、制御量が所定条件を満たすかを判定するところ、制御量と閾値とが一致したときには、画面に表示されることとなる第１表示物と第２表示物との大きさ又は向きが一致することとなる。
制御部６０は、例えば、第１表示物と第２表示物との大きさ及び向きのうち予め定められた方が一致した場合つまり制御量と閾値とが一致した場合に、選択等の所定の動作が行われたと認識する。所定の動作が行われたと認識した場合に、制御部６０は、所定の動作に対応して予め定められた所定の機能を実行する。
なお、制御部６０は、制御量が所定条件を満たす場合つまり制御量と所定の閾値との関係性が所定の条件（所定の等価関係、所定の大小関係等）を満たす場合に、所定の機能を実行するものであるところ、この関係性は、制御量と閾値との一致以外に変形可能である。制御部６０は、第１表示物の大きさが第２表示物の大きさよりも大きい状態から小さい状態へと変化した場合つまり制御量が閾値より大きい状態から小さい状態へと変化した場合に所定の動作が行われたと認識することとしてもよい。また、第１表示物の大きさが第２表示物の大きさよりも小さい状態から大きい状態へと変化した場合つまり制御量が閾値より小さい状態から大きい状態へと変化した場合に所定の動作が行われたと認識することとしてもよい。また、制御部６０は、第１表示物の大きさが第２表示物の大きさよりも大きい状態から小さい状態へと変化した場合及び小さい状態から大きい状態へと変化した場合のそれぞれで同じ所定の動作が行われたと認識することとしてもよいし、その両方の場合について互いに異なる所定の動作が行われたと認識することとしてもよい。なお、制御部６０は、第１表示物の傾き（一定方向となす角）が第２表示物の傾きより大きい状態から小さい状態へと変化した場合に所定の動作が行われたと認識することとしてもよい。また、第１表示物の傾きが第２表示物の傾きより小さい状態から大きい状態へと変化した場合に所定の動作が行われたと認識することとしてもよい。また、制御部６０は、第１表示物の傾きが第２表示物の傾きよりも大きい状態から小さい状態へと変化した場合及び小さい状態から大きい状態へと変化した場合のそれぞれで同じ所定の動作が行われたと認識することとしてもよいし、その両方の場合について互いに異なる所定の動作が行われたと認識することとしてもよい。
なお、選択等の対象となる１又は複数のオブジェクトを含む画像を表示部５２の画面に表示する機能は、広く知られた一般的な表示機能であるため、ここでは特に説明しない。
次に、以上のように構成された情報入力システム１０の動作について説明する。ここでは、画面に複数のオブジェクトが含まれている場合において操作者が指示物を動かすことにより任意のオブジェクトに対して選択等の所定の動作を行う状況を想定して説明を行う。
図４は、情報入力システム１０の動作を示すフローチャートである。
まず、検出部４２は、３次元空間における指示物１１の少なくとも２つの部位の位置を検出する（処理ステップＳ１０）。ここでは、指示物１１が片手であり、検出部４２が５本の指の３次元位置を検出するように予め設定されているものとして説明する。検出部４２により検出された各指の各３次元位置は、取得部４３により取得され、制御部６０及び算定部４６に伝達される。
検出部４２に検出された指示物１１の各部位の位置（各指の位置）が取得部４３により伝達されると、制御部６０のポインタ表示制御部６２は、少なくとも１つの部位の位置に基づいてポインタを表示すべき画面上の位置を決定する（処理ステップＳ１２）。具体例としては、ポインタ表示制御部６２は、例えば人差し指の３次元位置と親指の３次元位置との中間である平均位置を算出し、その平均位置に所定の投影変換を施して得られる２次元位置を算出してポインタの画面上の表示位置として決定する。これで、後の処理ステップＳ２０においてポインタが表示装置１６（表示部５２）の画面上のその決定された表示位置に表示されることになる。
また、各３次元位置が伝えられた算定部４６は、少なくとも２つ以上の位置に応じて制御量を算定する（処理ステップＳ１４）。具体例としては、算定部４６は、例えば５本の指の３次元位置の平均位置を中心とし人差し指の３次元位置と親指の３次元位置とを含む最小の球を算定し、その球の半径を制御量として算定する。
算定部４６によって制御量が算定されると、制御部６０は、算定された制御量が所定条件を満たしたか否か、つまり制御量と所定の閾値と関係性が所定の条件を満たしたか否かを判定する（処理ステップＳ１６）。
制御部６０は、制御量が所定条件を満たしたと判定すると、予め定められた機能を実行する（処理ステップＳ１８）。予め定められた機能とは、例えば、表示装置１６の画面上でポインタの表示位置に表示されていたオブジェクトに関連した所定処理を行う機能である。具体例としては、そのオブジェクトを選択状態にする機能（例えば少し拡大する等の強調表示をした表示態様へ変更すること等を含む機能）、そのオブジェクトの形状を拡大する機能、或いは、縮小する機能等が挙げられる。
そして、制御部６０は、表示装置１６の画面の表示内容を更新するよう制御を行う（処理ステップＳ２０）。具体的には、制御部６０のポインタ表示制御部６２は、処理ステップＳ１２において決定された画面上の位置にポインタ（位置表示物）を表示するための表示用画像を形成する。また、図形表示制御部６４は、例えば算定部４６によって決定された制御量を半径とする球に所定の投影変換（処理ステップＳ１２での投影変換と同じもの）を施して得られる円を含む第１表示物を、画面上に表示するための表示用画像を形成する。また、補助表示制御部６６は、例えば、第１表示物の基礎となる制御量を半径とする球と同一の中心点を有する球であって閾値を半径とする球に同じ所定の投影変換を施して得られる円を含む第２表示物を、画面上に表示するための表示用画像を形成する。これにより、第１表示物の円は、第２表示物の円と中心を同じくする同心円となる。そして、制御部６０は、各部により形成された表示用画像に基づいて、第１表示物と第２表示物とを含む制御表示物、及び、ポインタが、表示装置１６の画面に表示されるように形成した画像信号を表示装置１６に出力する。
この処理ステップＳ１０〜Ｓ２０までは、逐次繰り返される。これにより、検出部４２により逐次検出された指示物１１の各部の位置が取得部４３により逐次取得され、制御部６０に伝達され、表示装置１６の画面の表示内容が逐次更新されることになる。従って、表示装置１６の画面には、複数のオブジェクトに加えて、操作者により動かされる指示物１１の動きに応じて変化する制御表示物及びポインタが表示されることになる。
図５は、情報入力システム１０によって提供されるＧＵＩの一例を示す図である。この例では、複数のオブジェクト１０１が水平方向及び垂直方向に並べられて表示装置１６（表示部５２）における画面に表示されている。
そして、この例は、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択しようとする様子（選択前の状態）を示している。即ち、画面には、指示物１１の各部位の位置１０２に基づいて、人差し指と親指の中間である平均位置に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。また、指示物１１の各部位の位置１０２に基づいて、５本の指の平均位置を中心とし人差し指の位置と親指の位置とを含む最小の球１０４の半径である制御量を表すべく、その球１０４に所定の投影変換を施して得られる円である第１表示物１０６が表示されている。また、その球１０４の半径を閾値と一致させたと仮定した場合におけるその球に同じ所定の投影変換を施して得られる円である第２表示物１０８が表示されている。
この図５に示す状況から、操作者が指示物１１を動かして、オブジェクトの選択を行った様子を図６に示す。
図６は、図５の例の状況に後続したＧＵＩの一例を示す図である。この例は、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択した様子（選択直後の状態）を示している。操作者は、人差し指と親指との各位置１０２の間隔を狭めており、画面には、指示物１１の各部位の位置１０２に基づいて、人差し指と親指の中間である平均位置に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。また、各指の平均位置を中心とし人差し指の位置と親指の位置とを含む最小の球１０４（図５の例より小さい球）の半径である制御量を表すべく、球１０４に所定の投影変換を施して得られる円（図５の例より小さい円）である第１表示物１０６が表示されている。また、その球１０４の半径を閾値と一致させたと仮定した場合におけるその球１０４に同じ所定の投影変換を施して得られる円である第２表示物１０８が表示されている。図５に示した画面から遷移した図６の画面では、第１表示物１０６（図６に太線で示した円）の大きさが、指示物１１の操作をするための補助となる第２表示物１０８（図６に破線で示した円）の大きさよりも小さくなるように変更された様子が示されている。例えばこのような操作が行われると、制御部６０は、操作者が所定の動作（本例では選択）を行ったと認識する。そして、図６に示すように、ポインタ１０３の表示位置に表示されていたオブジェクトの選択が実行される（そのオブジェクトが強調表示される）。
以下、上述したＧＵＩの一例とは別の一例について説明する。上述の例では第１表示物及び第２表示物が円である例を示したが、本例では、第１表示物及び第２表示物が線分である例を示す。
図７は、情報入力システム１０によって提供されるＧＵＩの別の一例を示す図である。この例でも、複数のオブジェクト１０１が水平方向及び垂直方向に並べられて表示装置（表示部５２）における画面に表示されている。そして、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択しようとする様子（選択前の状態）を示している。即ち、画面には、指示物１１の人差し指、中指、薬指及び小指の各位置１０２に基づいて、その平均位置に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。また、指示物１１の人差し指、中指、薬指及び小指の各位置１０２の平均位置を通り、各位置１０２の一番近くを通る回帰直線１０５に所定の投影変換を施して得られる線分の水平方向との傾きである制御量を表すべく、その線分である第１表示物１０７が表示されている。また、その平均位置に所定の投影変換を施して得られる位置を通る線分であって閾値をその傾きで表す線分である第２表示物１０９が表示されている。
この図７に示す状況から、操作者が指示物１１を動かして、オブジェクトの選択を行った様子を図８に示す。
図８は、図７の例の状況に後続したＧＵＩの一例を示す図である。この例は、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択した様子（選択直後の状態）を示している。即ち、操作者は、画面を見ながら第１表示物１０７の線分の傾きを第２表示物１０９の線分の傾きより大きくしようと人差し指、中指、薬指及び小指の位置を動かすことで選択のための操作をする。なお、指示物１１を動かして制御量を閾値と一致させると、第１表示物１０７の線分と第２表示物１０９の線分とは傾きにおいて一致する。画面には、指示物１１の人差し指、中指、薬指及び小指の各位置１０２に基づいて、その平均位置に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。また、指示物１１の人差し指、中指、薬指及び小指の各位置１０２の平均位置を通り、各位置１０２の一番近くを通る回帰直線に所定の投影変換を施して得られる線分の水平方向との傾き（図７より大きな傾き）である制御量を表すべく、その線分である第１表示物１０７が表示されている。また、その平均位置に所定の投影変換を施して得られる位置を通る線分であって閾値をその傾きで表す線分である第２表示物１０９が表示されている。図７に示した画面から遷移した図８の画面では、第１表示物１０７（図８に太線で示した線分）の水平からの傾きの大きさが、指示物１１の操作をするための補助となる第２表示物１０９（図８に破線で示した線分）の水平からの傾きの大きさよりも大きくなるように変更された様子が示されている。例えばこのような操作が行われると、制御部６０は、操作者が所定の動作（本例では選択）を行ったと認識する。そして、図８に示すように、ポインタ１０３の表示位置に表示されていたオブジェクトの選択が実行される（そのオブジェクトが強調表示される）。
このように、本実施の形態における情報入力システム１０によれば、操作者は、表示装置１６（表示部５２）の画面に表示された操作補助用の第２表示物１０８、１０９を確認しながら、指示物１１の各部位を移動させることにより、第１表示物１０６、１０７を変更し、選択等の所定の動作を行い、対応する所定の機能を実行させることができる。よって、操作者が、特別な操作機器を用いずに、画面に表示されたオブジェクトに対するポインティング操作と選択操作とを容易に行うことができるようになる。
（第２の実施の形態）
以下、第２の実施の形態に係る情報入力システム１０ａについて、図９〜図１２に基づいて説明する。情報入力システム１０ａのハードウェア構成は、図２に示すものと同一である。なお、第１の実施の形態と同じ構成及び処理については詳しい説明を省略する。
図９は、情報入力システム１０ａの機能ブロック図である。
この情報入力システム１０ａは、機能的には、表示部５２に表示された画像に対する操作者の操作を取得する装置のためのシステムであって、検出部４２、情報処理部７０ａ及び表示部５２を備える。ここで、情報処理部７０ａは、３次元位置を用いて画面表示の制御等を行う処理系であり、制御装置２０により実現され、取得部４３ａ、特定部５４、算定部４６ａ及び制御部６０ａを有する。この情報処理部７０ａにおける取得部４３ａ、算定部４６ａ及び制御部６０ａはそれぞれ第１の実施の形態で示した情報処理部７０の取得部４３、算定部４６及び制御部６０を一部変形したものであり、同じ点については詳しい説明を省略する。
取得部４３ａは、指示物１１について検出部４２により検出された３次元位置を取得して特定部５４に伝達する機能を有する。即ち、取得部４３ａは、情報処理部７０ａにおける３次元位置の入力インターフェースとしての機能を担う。
特定部５４は、指示物１１の各部位のうち１つの部位を、表示部５２に表示するポインタの位置に対応させる部位を示すポインタ制御部位として特定し、各部位の位置に加えてポインタ制御部位を示す情報を算定部４６及び制御部６０に伝達する機能を有する。具体的には、特定部５４は、例えば検出部４２により位置が検出された３次元空間における指示物の各部位のうち、物理的に表示部５２に一番近い部位をポインタ制御部位として特定する。なお、特定部５４は、検出された指示物１１の各部位の位置のうち、時系列的に一番過去から位置が検出されている部位をポインタ制御部位として特定してもよく、また、親指等といった特定の指をポインタ制御部位として特定してもよい。
算定部４６ａは、特定部５４に伝えられた３次元空間における指示物１１の各部位の位置のうち、ポインタ制御部位の位置を基準としてそれ以外の（残りの）１以上の部位の位置に応じて制御量を算定して制御部６０ａに伝達する機能を有する。ここで、制御量は、操作者が選択、拡大、縮小等の意思を表すために指示物１１を動かす操作を行うことによって変動する量であって指示物１１のポインタ制御部位を基準としてそれ以外の１以上の部位の位置を反映した量である。例えば、算定部４６ａは、３次元空間における指示物１１のポインタ制御部位（例えば親指）を基準（中心）として、それ以外の部位（例えば人差し指）の３次元位置を含む最小の球を算出し、その球の半径を制御量として算定する。この制御量が所定条件を満たす場合に、つまり制御量と所定の閾値との関係性が所定の条件（所定の等価関係、所定の大小関係等）を満たす場合に、制御部６０ａにおいて操作が選択、拡大、縮小等として認識される。
制御部６０ａは、特定部５４から伝えられた指示物１１のポインタ制御部位の３次元位置と残りの１以上の部位の３次元位置と、算定部４６ａにより算定された制御量とに基づいて、画面表示の更新や、オブジェクトに関連する所定処理等の制御を行う機能を担う。画面表示の更新としては、制御部６０ａは、指示物１１のポインタ制御部位の現在の３次元位置に応じて定めた画面上の位置にポインタ（位置表示物）を表示し、指示物１１に関連して定められた制御量を表すための制御表示物（図形）を表示するよう制御する。また、制御部６０ａは、制御量が所定条件を満たすか否かにより選択、拡大、縮小等の操作がなされたか否かを判定し、選択、拡大、縮小等の操作がなされた場合にはポインタが表示されている位置に表示されたオブジェクトに関連した処理を行う。
この制御部６０ａは、機能構成要素として、ポインタ表示制御部６２ａ、図形表示制御部６４ａ、補助表示制御部６６及び閾値記憶部４８を有する。
ポインタ表示制御部６２ａは、特定部５４で特定されたポインタ制御部位の位置に対応させて、表示部５２における画面上の位置を決定してその位置にポインタを表示するよう制御する機能を有する。例えば、ポインタ表示制御部６２は、３次元空間におけるポインタ制御部位の３次元位置に所定の投影変換を施して得られる２次元位置を算出して表示位置とする。なお、所定の投影変換は、例えば表示部５２の画面に平行な、表示用の２次元座標平面への投影変換である。
図形表示制御部６４ａは、算定部４６ａにより算定された制御量の大きさを、図形の大きさに反映した図形である第１表示物（制御表示物の一部）を、表示部５２における画面に表示するよう制御する機能を有する。例えば、算定部４６ａが、指示物１１のポインタ制御部位の３次元位置を中心として他の部位の３次元位置を含む最小の球を算出しその球の半径を制御量として算定した場合に、その半径を有する球に所定の投影変換を施して得られる円が第１表示物である。
閾値記憶部４８は、ＲＡＭ２６又は記録媒体２８における一領域により実現され、制御量が所定条件を満たすか否かの判定に用いられる基準としての閾値を記憶する機能を有する。閾値は情報入力システム１０ａの製造者又は運用管理者、或いは、操作者等により、制御量が変動し得る範囲内において設定される。親指を中心とし人差し指の位置を含む最小の球の半径として制御量が算定される場合の閾値の例を挙げると、制御量が例えば上限１５ｃｍ程度までの範囲で変動し得ると想定されるので、例えば拡大処理用の閾値は８ｃｍで、縮小処理用の閾値は４ｃｍである。
補助表示制御部６６は、閾値記憶部４８に記憶されている閾値の大きさを、図形の大きさに反映した図形である第２表示物（制御表示物の一部）を、表示部５２における画面に表示するよう制御する機能を有する。例えば、閾値を半径とする球に所定の投影変換を施して得られる円が第２表示物である。第２表示物は例えば第１表示物である円と同心円であり、閾値と制御量との比が、第２表示物である円の半径と第１表示物である円の半径との比と一致する。なお、閾値が複数ある場合には、第２表示物は複数の同心円となる。
即ち、制御部６０ａは、制御量を図形の大きさ又は向き（傾き）に反映した、円、線分、多角形等の図形（第１表示物）と、選択、拡大、縮小等の操作の判定基準となる、制御量についての閾値を図形の大きさ又は向き（傾き）に反映した円、線分、多角形（三角形、四角形等）等の図形（第２表示物）とを表示部５２の画面に表示するよう制御するものである。制御部６０は、算定部４６により算定される制御量と閾値とを比較して、制御量が所定条件を満たすかを判定するところ、制御量と閾値とが一致したときには、画面に表示されることとなる第１表示物と第２表示物との大きさ又は向きが一致することとなる。
以下、算定部４６ａが、指示物１１のポインタ制御部位の位置を基準として残りの１以上の部位の位置に応じて制御量を算定する例として、上述した球の半径を制御量として算定する以外の例を説明する。
算定部４６ａは、例えば、指示物１１のポインタ制御部位（例えば親指）の３次元位置を通過し、指示物１１の残りの部位（例えば親指以外の４本指）の３次元位置の一番近くを通る回帰直線を最小二乗法等によって算出し、その回帰直線に所定の投影変換を施して得られる線分の傾きを制御量として算定することとしてもよい。所定の投影変換は、例えば表示部５２の画面に平行な、表示用の２次元座標平面への投影変換であり、この投影変換により得られる線分を画面上に描くと、制御量としての線分の傾きは例えば画面の水平方向となす角度により表される。この場合、図形表示制御部６４ａは、回帰直線に、表示用の２次元座標平面への投影変換が施されて得られた線分（制御量に係る線分）を、第１表示物として表示部５２の画面に表示するよう制御するとよい。また、補助表示制御部６６は、制御量に係る線分を通る線分であって水平方向との傾きが、閾値記憶部４８に記憶されている閾値（この場合は傾きの値）と一致するような線分を第２表示物として表示部５２の画面に表示するよう制御するとよい。
次に、以上のように構成された情報入力システム１０ａの動作について説明する。ここでは、画面に複数のオブジェクトが含まれている場合において操作者が指示物を動かすことにより任意のオブジェクトに対して拡大、縮小等の所定の動作を行う状況を想定して説明を行う。
図１０は、情報入力システム１０ａの動作を示すフローチャートである。
まず、検出部４２は、３次元空間における指示物１１の少なくとも２つの部位の位置を検出する（処理ステップＳ３０）。ここでは、指示物１１が片手であり、検出部４２が５本の指（少なくとも親指と人差し指の２本の指）の３次元位置を検出するように予め設定されているものとして説明する。検出部４２により検出された各指の各３次元位置は、取得部４３ａにより取得され、特定部５４に伝達される。
検出部４２に検出された指示物１１の各部位の位置が取得部４３ａにより伝達されると、特定部５４は、表示部５２の画面に表示すべきポインタの位置に対応させる部位を、ポインタ制御部位として１つ特定する（処理ステップＳ３２）。例えば親指がポインタ制御部位として特定され、ポインタ制御部位の位置と残りの各部位の位置とが区別され制御部６０ａ及び算定部４６ａに伝達される。
ポインタ制御部位の位置が伝達された制御部６０ａのポインタ表示制御部６２ａは、ポインタ制御部位の位置に基づいてポインタを表示すべき画面上の位置を決定する（処理ステップＳ３４）。具体例としては、ポインタ表示制御部６２ａは、例えば親指がポインタ制御部位として特定されていたら、その親指の位置に所定の投影変換を施して得られる２次元位置を算出してポインタの画面上の表示位置として決定する。これで、後の処理ステップＳ４２においてポインタが表示装置１６（表示部５２）の画面上のその決定された表示位置に表示されることになる。
また、各３次元位置が伝えられた算定部４６ａは、ポインタ制御部位の位置を基準としてそれ以外の１以上の部位の位置に応じて制御量を算定する（処理ステップＳ３６）。具体例としては、算定部４６ａは、例えばポインタ制御部位として特定された親指の位置を中心とし人差し指の３次元位置を含む最小の球を算定し、その球の半径を制御量として算定する。
算定部４６ａによって制御量が算定されると、制御部６０ａは、算定された制御量が所定条件を満たしたか否か、つまり制御量と所定の閾値と関係性が所定の条件を満たしたか否かを判定する（処理ステップＳ３８）。
制御部６０ａは、制御量が所定条件を満たしたと判定すると、予め定められた機能を実行する（処理ステップＳ４０）。予め定められた機能とは、例えば、表示装置１６の画面上でポインタの表示位置に表示されていたオブジェクトに関連した所定処理を行う機能である。具体例としては、そのオブジェクトの形状を拡大する機能或いは縮小する機能、そのオブジェクトを選択状態にする機能等が挙げられる。制御部６０ａは、例えば、制御量がある１つの閾値より小さい状態から大きい状態に変化したときに拡大機能を実行し、制御量が別の閾値よりも大きい状態から小さい状態に変化したときに縮小機能を実行することとしてもよい。
そして、制御部６０ａは、表示装置１６の画面の表示内容を更新するよう制御を行う（処理ステップＳ４２）。具体的には、制御部６０ａのポインタ表示制御部６２ａは、処理ステップＳ３４において決定された画面上の位置にポインタ（位置表示物）を表示するための表示用画像を形成する。また、図形表示制御部６４ａは、例えば算定部４６ａによって決定された制御量を半径とする球に所定の投影変換（処理ステップＳ３４での投影変換と同じもの）を施して得られる円を含む第１表示物を、画面上に表示するための表示用画像を形成する。また、補助表示制御部６６は、例えば、第１表示物の基礎となる制御量を半径とする球と同一の中心点を有する球であって閾値を半径とする球に同じ所定の投影変換を施して得られる円を含む第２表示物を、画面上に表示するための表示用画像を形成する。これにより、第１表示物の円は、第２表示物の円と中心を同じくする同心円となる。そして、制御部６０ａは、各部により形成された表示用画像に基づいて、第１表示物と第２表示物とを含む制御表示物、及び、ポインタが、表示装置１６の画面に表示されるように形成した画像信号を表示装置１６に出力する。
この処理ステップＳ３０〜Ｓ４２までは、逐次繰り返される。これにより、検出部４２により逐次検出された指示物１１の各部の位置が取得部４３ａにより逐次取得され、特定部５４を介して制御部６０に伝達され、表示装置１６の画面の表示内容が逐次更新されることになる。従って、表示装置１６の画面には、複数のオブジェクトに加えて、操作者により動かされる指示物１１の動きに応じて変化する制御表示物及びポインタが表示されることになる。
図１１は、情報入力システム１０ａによって提供されるＧＵＩの一例を示す図である。この例では、複数のオブジェクト２０１が並べられて表示装置１６（表示部５２）における画面に表示されている。
この例は、ポインタ制御部位として親指が特定されており、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより拡大又は縮小しようとする様子（拡大前及び縮小前の状態）を示している。即ち、画面には、指示物１１における親指の位置２０２に所定の投影変換を施して得られる２次元位置に表示されるポインタ２０４が表示されている。また、指示物１１のポインタ制御部位である親指の位置２０２を基準（中心）として、人差し指の位置を含む最小の球２０９の半径である制御量を表すべく、その球２０９に所定の投影変換を施して得られる円である第１表示物２０５が表示されている。また、その球２０９の半径を閾値と一致させたと仮定した場合におけるその球に同じ所定の投影変換を施して得られる円である第２表示物２０６、２０７が表示されている。
この図１１に示す状況から、操作者が指示物１１を動かして、オブジェクトの縮小の操作を行った様子を図１２に示す。
図１２は、図１１の例の状況に後続したＧＵＩの一例を示す図である。この例は、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより縮小した様子を示している。操作者は、人差し指と親指との各位置１０２の間隔を狭めており、画面には、指示物１１の親指の位置２０２に所定の投影変換を施して得られる２次元位置に表示されるポインタ２０４が表示されている。また、親指の位置を中心とし人差し指の位置を含む最小の球２０９（図１１の例より小さい球）の半径である制御量を表すべく、球２０９に所定の投影変換を施して得られる円（図１１の例より小さい円）である第１表示物２０５が表示されている。また、その球２０９の半径を、縮小用の閾値と一致させたと仮定した場合におけるその球に同じ所定の投影変換を施して得られる円である第２表示物２０６が表示されている。また、その球２０９の半径を、拡大用の閾値と一致させたと仮定した場合におけるその球に同じ所定の投影変換を施して得られる円である第２表示物２０７が表示されている。図１１に示した画面から遷移した図１２の画面では、第１表示物１０６（図１１に太線で示した円）の大きさが、指示物１１の操作をするための補助となる第２表示物２０６（図１２に破線で示した小さい方の円）の大きさよりも小さくなるように変更された様子が示されている。例えばこのような操作が行われると、制御部６０ａは、操作者が所定の動作（本例では縮小の操作）を行ったと認識する。そして、図１２に示すように、ポインタ２０４の表示位置に表示されていたオブジェクトの縮小が実行される。また、図１２には示されていないが、第１表示物２０５の大きさが、第２表示物２０７の大きさよりも大きくなるような操作が行われると、制御部６０ａが拡大の操作を行ったと認識し、ポインタ２０４の表示位置に表示されていたオブジェクトの拡大が実行される。なお、ここでは拡大、縮小の機能の実行について示したが、拡大、縮小以外の、選択、決定等といった各種機能を実行させる場合にも、上述した方法と同様の方法を用いることができる。
このように、情報入力システム１０ａによれば、操作者は、表示部５２の画面に表示されたポインタを操作する指（ポインタ制御部位）とは異なる部位を移動させることにより、拡大、縮小等の動作を行うことができ、対応する所定の機能を実行させることができる。よって、操作者が、特別な操作機器を用いずに、画面に表示されたオブジェクトに対するポインティング操作と、拡大、縮小、選択等の操作とを容易に行うことができるようになる。
（第３の実施の形態）
以下、第３の実施の形態に係る情報入力システム１０ｂについて、図１３に基づいて説明する。情報入力システム１０ｂのハードウェア構成は、図２に示すものと同一である。なお、第１の実施の形態と同じ構成及び処理については詳しい説明を省略する。
図１３は、情報入力システム１０ｂの機能ブロック図である。
この情報入力システム１０ｂは、表示部５２に表示された画像に対する操作者の操作を取得する装置のためのシステムであって、機能的には、検出部４２、情報処理部７０ｂ及び表示部５２を備える。ここで、情報処理部７０ｂは、３次元位置を用いて画面表示の制御等を行う処理系であり、制御装置２０により実現され、取得部４３、算定部４６、閾値設定部４９及び制御部６０ｂを有する。この情報処理部７０ｂにおける制御部６０ｂは第１の実施の形態で示した情報処理部７０の制御部６０を一部変形したものであり、同じ点については詳しい説明を省略する。情報入力システム１０ｂは、第１の実施の形態に係る情報入力システム１０の機能に加えて、閾値を、操作者からキーボード等の入力手段（図示せず）により入力された情報に応じて設定する機能を有する。この機能を担うものとして、情報入力システム１０ｂは、機能的に閾値設定部４９を有する。
閾値設定部４９は、操作者から入力手段を介して、指示物１１に関する情報（操作者の手の大きさに関する情報）の入力を受け付けて、その情報に基づいて、制御量が変動し得る範囲内となるような閾値を定める機能を有する。
ここでは、第１の実施の形態において図５及び図６を用いて説明したような片手の各指を含む球の半径を制御量とすることを前提として閾値の算定について説明する。この場合、例えば親指から小指までの最大距離等といった手の大きさに関する情報の入力を受け付け、予め標準として定めている手の大きさ（例えば１８ｃｍ）と予め標準として定めている閾値６ｃｍ（制御量の変動範囲は４ｃｍ〜１０ｃｍ）とから、閾値を算定する。手の大きさの入力値が標準の２／３となる１２ｃｍであれば、例えば閾値を標準の２／３である４ｃｍと定める。なお、この閾値は、計算によって算定するほか、予め作成したテーブル（手の大きさと閾値との対応表）に基づいて算定してもよい。また、操作者が手の大きさを直接的に入力するようにするほか、操作者が性別を入力することで、閾値設定部４９が、男女の手の大きさの平均的な差異に鑑みた算定方法により閾値を算定することとしてもよい。この場合は、閾値設定部４９は、性別の入力を受けた場合には女性であれば例えば標準の閾値より１ｃｍ小さくし、男性であれば例えば標準の閾値より１ｃｍ大きくするように閾値の算定を行う。
制御部６０ｂにおける閾値記憶部４８は、制御量が所定条件を満たすか否かの判定に用いられる基準として、閾値設定部４９により算定された閾値を、記憶する。
以上のように構成された情報入力システム１０ｂは、閾値記憶部４８に記憶された閾値に基づいて、第１の実施の形態で示した情報入力システム１０と同様に、指示物１１の位置に応じて定まる制御量が所定条件を満たせば予め定められた機能を実行する。
このような情報入力システム１０ｂによれば、操作者が予め指示物１１に関する情報を入力しておくことで、画面に表示されたオブジェクトに対する拡大、縮小、選択等の操作を、操作者にとって操作し易いものとし得るようになる。
（変形例等）
以上、情報処理装置及び情報処理方法の一実施態様としての情報入力システムについて、第１〜第３の実施の形態に基づいて説明したが、上述した各実施の形態は一例にすぎず、本発明はこれらの実施の形態に限定されるものではない。上述した各実施の形態に、本発明の趣旨を逸脱しない限り当業者が思いつく各種変形を施してもよい。その他、各実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。
上述の第１の実施の形態等では、ステレオカメラ１２で撮像された画像を制御装置２０で解析して指示物１１の３次元位置を算定することとしたが、例えば指示物１１の２以上の部位の３次元位置を検出して位置情報を制御装置２０に伝達するセンサを用いてもよい。
また、検出部４２は、ステレオカメラ１２の代わりに、３次元位置を２次元の位置情報として検出するもの（例えば１台のカメラ）を用いて実現されることとしてもよく、この場合には取得部４３は、指示物１１の各部位の２次元位置（２次元平面において直交する２軸（Ｘ軸、Ｙ軸）を基準とした座標値Ｑ（ｘ，ｙ）で表される位置）を取得することになる。また、この場合には算定部４６は、その取得された指示物１１の各部位の２次元位置のうち、少なくとも２つ以上の位置に応じて制御量を算定して制御部６０に伝達することになる。この制御量は、例えば、３次元空間における指示物１１の複数の部位を、表示装置１６の画面側のある方向から１台のカメラで撮像して得られた各２次元位置を含む最小の円を算出し、その円の半径を制御量として算定する。この制御量が所定条件を満たす場合に、つまり制御量と所定の閾値との関係性が所定の条件（所定の等価関係、所定の大小関係等）を満たす場合に、制御部６０において操作が選択等として認識される。また、ポインタ表示制御部６２は、指示物１１の各部位の２次元位置に基づいて、表示部５２における画面上の位置を決定してその位置にポインタ（位置表示物）を表示するよう制御する。また、図形表示制御部６４は、算定部４６により算定された制御量の大きさを、図形の大きさに反映した図形である第１表示物（制御量を半径とする円）を、表示部５２における画面に表示するよう制御する。また、補助表示制御部６６は、閾値記憶部４８に記憶されている閾値の大きさを、図形の大きさに反映した図形である第２表示物（閾値を半径とする円であって第１表示物の円と中心を同じくする円）を、表示部５２における画面に表示するよう制御する。このような制御により、操作者は画面上で第２表示物との関係を把握しながら、指示物１１を動かすことで、画面上の第１表示物を動かして、選択等の機能を実行させることができるようになる。
なお、制御量の大きさを図形の大きさに反映した第１表示物と、閾値の大きさを図形の大きさに反映した第２表示物とは必ずしも相似形でなくてもよく、制御量及び閾値の大きさを各表示物（図形）の長さ、面積、角度等のいずれかの大きさ（値）に反映すればよい。図形の長さは、例えば最も長い辺等の特定部分の長さであってもよい。図形の角度は、例えば図形の一辺と特定方向（水平方向等）とのなす角であってもよい。また、図形の色について、例えば各色の値に一定の順序を定めた場合の順位を図形の大きさとみなし、制御量及び閾値の大きさを図形の色に反映してもよい。
第１の実施の形態等では、指示物１１の１以上の部位の位置に応じて表示装置１６の画面において制御表示物とポインタ（位置表示物）とが表示されることを示したが、ポインタを特に表示せずに、制御表示物がポインタの役割（その表示位置によりポインティングを行う役割）を果たすこととしてもよい。例えば制御表示物である図形の中心等の特定部分がポインティングしている位置を表すこととしてもよい。このためには制御部においてその特定部分を、図４の処理ステップＳ１２や図１０の処理ステップＳ３４で決定された位置に表示するよう制御すればよい。また、ポインタ（位置表示物）を制御表示物とは別個に表示する場合においては、制御表示物の表示位置は、ポインタから所定距離範囲内という近傍であってもよく、また、画面上の固定位置であってもよい。
また、第１〜第３の実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア（プログラム）を読み出して実行することによって実現されてもよい。
上述の第１〜第３の実施の形態における情報入力システムを実現するソフトウェアは、次のような制御プログラムである。
プロセッサを有する情報処理装置に、画面に表示された対象に関連して所定処理を実行するための情報処理を実行させるための制御プログラムであって、前記情報処理は、指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得ステップと、前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定ステップと、前記算定ステップにおいて算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に前記所定処理を行う制御ステップとを含む制御プログラムである。
また、上述の制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された制御プログラムを装置類にインストールして、装置類のプロセッサに実行させることで、装置類に各種処理（図４及び図１０に示す処理等）を行わせることが可能となる。
また、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作をすることにより、システムＬＳＩは、その機能を達成する。
また、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有してもよい。
また、本発明は、コンピュータプログラム又はデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ等に記録したもので実現してもよい。さらに、これらの記録媒体に記録されているデジタル信号で実現してもよい。
また、本発明に係るコンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。
また、本発明は、プログラム又はデジタル信号を記録媒体に記録して移送することにより、又はプログラム又はデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
また、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、ＧＵＩを提供する情報入力システム等に利用できる。
１０、１０ａ、１０ｂ 情報入力システム
１１ 指示物
１２ ステレオカメラ
１４ 通信装置
１６ 表示装置
１８ 入力装置
２０ 制御装置
２２ ＣＰＵ
２４ ＲＯＭ
２６ ＲＡＭ
２８ 記録媒体
４２ 検出部
４３、４３ａ 取得部
４６、４６ａ 算定部
４８ 閾値記憶部
４９ 閾値設定部
５２ 表示部
５４ 特定部
６０、６０ａ、６０ｂ 制御部
６２、６２ａ ポインタ表示制御部
６４、６４ａ 図形表示制御部
６６ 補助表示制御部
７０、７０ａ、７０ｂ 情報処理部

Claims (15)

  1. 情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、
    指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得ステップと、
    前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定ステップと、
    前記算定ステップにおいて算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に前記所定処理を行う制御ステップとを含む
    情報処理方法。
  2. 前記制御ステップでは、更に、前記位置情報が示す１以上の位置に応じて定めた画面上の位置に位置表示物を表示するよう制御し、
    前記制御ステップでは、前記位置表示物の表示位置に表示されていた対象に関連して前記所定処理を行う
    請求項１記載の情報処理方法。
  3. 前記位置情報は、３次元位置を表す情報であり、
    前記情報処理方法は更に、前記指示物における２以上の各部位についての３次元位置を検出することにより前記位置情報を逐次生成する検出ステップを含み、
    前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を逐次取得し、
    前記制御ステップでは、前記取得ステップにおける前記位置情報の逐次取得に対応して、前記位置表示物及び前記制御表示物を前記画面に逐次表示し、
    前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる２次元位置である
    請求項２記載の情報処理方法。
  4. 前記第２表示物は、前記閾値を表す所定の大きさの図形を含み、
    前記第１表示物は、前記第２表示物に含まれる前記所定の大きさの図形と形状が相似であり、前記制御量を図形の大きさに反映した図形を含む
    請求項３記載の情報処理方法。
  5. 前記第２表示物に係る前記所定の大きさの図形は、前記閾値を表すための所定の大きさの円であり、
    前記第１表示物は、前記制御量の算定の基礎となった２以上の各位置を包含する最小の球に所定の投影変換を施して得られる円であって、前記第２表示物に係る円と中心を同じくする円を含む
    請求項４記載の情報処理方法。
  6. 前記情報処理方法は更に、前記指示物における１つの部位を特定する特定ステップを含み、
    前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置に、前記所定の投影変換を施して得られる２次元位置であり、
    前記球は前記特定ステップにおいて特定された部位の位置を中心とする球であり、
    前記算定ステップでは、制御量の前記算定を、前記特定ステップにおいて特定された部位の位置を基準として前記特定ステップにおいて特定された部位以外の前記指示物の１以上の部位の位置に応じて行う
    請求項５記載の情報処理方法。
  7. 前記第２表示物は、前記閾値を表すための所定の傾きを有する線分を含み、
    前記第１表示物は、前記第２表示物に含まれる前記線分と同じ点を通る線分であって前記制御量を線分の傾きに反映した線分を含む
    請求項３記載の情報処理方法。
  8. 前記第１表示物は、前記制御量の算定の基礎となった２以上の各位置に最も近接する回帰直線に所定の投影変換を施して得られる線分であり、
    前記情報処理方法は更に、前記指示物における１つの部位を特定する特定ステップを含み、
    前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置に、前記所定の投影変換を施して得られる２次元位置であり、
    前記回帰直線は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置を通る直線であり、
    前記算定ステップでは、制御量の前記算定を、前記特定ステップにおいて特定された部位以外の前記指示物の１以上の部位の位置に基づいて行う
    請求項７記載の情報処理方法。
  9. 前記情報処理方法は更に、前記指示物における１つの部位を特定する特定ステップを含み、
    前記制御ステップにおいて前記位置表示物を表示するよう制御する画面上の位置は、前記特定ステップにおいて特定された部位についての前記位置情報が示す３次元位置に、前記所定の投影変換を施して得られる２次元位置である
    請求項３記載の情報処理方法。
  10. 前記制御ステップでは、前記制御量と前記閾値とが、等価関係又は大小関係である所定の関係性を満たす場合に前記所定条件を満たすと判定する
    請求項１記載の情報処理方法。
  11. 前記制御ステップでは、前記制御量と前記閾値との大小関係が変化するように前記制御量が遷移した場合に前記所定条件を満たすと判定する
    請求項１記載の情報処理方法。
  12. 前記制御ステップでは、前記制御量が、前記閾値よりも小さい値から大きい値へと遷移した場合及び前記閾値よりも大きい値から小さい値へと遷移した場合のうちいずれか一方の場合に限って前記所定条件を満たすと判定する
    請求項１記載の情報処理方法。
  13. 前記位置情報は、３次元位置を表す情報であり、
    前記情報処理方法は更に、前記指示物における２以上の各部位についての３次元位置を検出することにより前記位置情報を生成する検出ステップを含み、
    前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を取得し、
    前記制御ステップでは、前記位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる画面上における２次元位置に、前記制御表示物を表示するよう制御し、前記制御量が前記所定条件を満たすと判定した場合において前記制御表示物の表示位置に表示されていた対象に関連して前記所定処理を行う
    請求項１記載の情報処理方法。
  14. 指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得部と、
    前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定部と、
    前記算定部により算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に所定処理を行う制御部とを備える
    情報処理装置。
  15. プロセッサを有する情報処理装置に、画面に表示された対象に関連して所定処理を実行するための情報処理を実行させるための制御プログラムを記録した記録媒体であって、
    前記情報処理は、
    指示物における２以上の各部位についての検出された位置を示す位置情報を取得する取得ステップと、
    前記位置情報が示す２以上の各部位の位置に基づいて制御量を算定する算定ステップと、
    前記算定ステップにおいて算定された制御量を表す第１表示物と当該制御量が所定条件を満たすか否かの判定基準となる閾値を表す第２表示物とを含む制御表示物を画面に表示するよう制御し、当該制御量が当該所定条件を満たすと判定した場合に前記所定処理を行う制御ステップとを含む
    記録媒体。
JP2014524214A 2013-01-31 2014-01-23 情報処理方法及び情報処理装置 Active JP6159323B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013017761 2013-01-31
JP2013017761 2013-01-31
PCT/JP2014/000334 WO2014119258A1 (ja) 2013-01-31 2014-01-23 情報処理方法及び情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2014119258A1 JPWO2014119258A1 (ja) 2017-01-26
JP6159323B2 true JP6159323B2 (ja) 2017-07-05

Family

ID=51261976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014524214A Active JP6159323B2 (ja) 2013-01-31 2014-01-23 情報処理方法及び情報処理装置

Country Status (3)

Country Link
US (1) US9323343B2 (ja)
JP (1) JP6159323B2 (ja)
WO (1) WO2014119258A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001902B2 (en) 2014-01-27 2018-06-19 Groupon, Inc. Learning user interface
US10298825B2 (en) * 2014-07-23 2019-05-21 Orcam Technologies Ltd. Systems and methods for remembering held items and finding lost items using wearable camera systems
US10324599B2 (en) * 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Assistive move handle for object interaction
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP1717678B1 (en) * 1998-01-26 2017-11-22 Apple Inc. Method for integrating manual input
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7138983B2 (en) * 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP3605690B2 (ja) 2000-12-13 2004-12-22 日本電信電話株式会社 オブジェクトの選択確定方法及びオブジェクトの選択確定プログラムを記憶した記憶媒体
JP4903371B2 (ja) * 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US7856605B2 (en) * 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US8127254B2 (en) * 2007-06-29 2012-02-28 Nokia Corporation Unlocking a touch screen device
US8325214B2 (en) 2007-09-24 2012-12-04 Qualcomm Incorporated Enhanced interface for voice and video communications
JP2009151424A (ja) 2007-12-19 2009-07-09 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム及び携帯端末装置
US8446373B2 (en) * 2008-02-08 2013-05-21 Synaptics Incorporated Method and apparatus for extended adjustment based on relative positioning of multiple objects contemporaneously in a sensing region
US8896527B2 (en) * 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
US9703398B2 (en) * 2009-06-16 2017-07-11 Microsoft Technology Licensing, Llc Pointing device using proximity sensing
CN101661373B (zh) * 2009-09-29 2013-02-27 中兴通讯股份有限公司 一种通过接触面型进行识别解锁的方法及装置
JP2011081469A (ja) 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
JP5588992B2 (ja) * 2010-03-10 2014-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 押し込み位置制御装置、押し込み位置制御方法及びタッチセンサシステム
CN102906675B (zh) * 2010-06-03 2015-09-09 松下电器（美国）知识产权公司 信息输入装置、信息输入方法
JP5728009B2 (ja) * 2010-06-17 2015-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
EP2620849B1 (en) 2010-09-22 2019-08-28 Shimane Prefectural Government Operation input apparatus, operation input method, and program
JP5167523B2 (ja) * 2010-09-22 2013-03-21 島根県 操作入力装置および操作判定方法並びにプログラム
US8957868B2 (en) * 2011-06-03 2015-02-17 Microsoft Corporation Multi-touch text input
JP5868044B2 (ja) * 2011-07-11 2016-02-24 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体
JP5743775B2 (ja) * 2011-07-25 2015-07-01 京セラ株式会社 携帯機器

Also Published As

Publication number Publication date
US20150054742A1 (en) 2015-02-26
US9323343B2 (en) 2016-04-26
WO2014119258A1 (ja) 2014-08-07
JPWO2014119258A1 (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
JP6159323B2 (ja) 情報処理方法及び情報処理装置
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
EP3015961B1 (en) Information processing device, control method, program, and storage medium
US20090002342A1 (en) Information Processing Device
WO2015141178A1 (en) Information processing apparatus, information processing method, and program
US9544556B2 (en) Projection control apparatus and projection control method
US9916043B2 (en) Information processing apparatus for recognizing user operation based on an image
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JP2011028366A (ja) 操作制御装置および操作制御方法
JP2009042796A (ja) ジェスチャー入力装置および方法
JP6062416B2 (ja) 情報入力装置及び情報表示方法
US20190220185A1 (en) Image measurement apparatus and computer readable medium
JP2007172303A (ja) 情報入力システム
WO2015170641A1 (ja) 操作画面表示装置、操作画面表示方法および非一過性の記録媒体
JP7495651B2 (ja) オブジェクト姿勢制御プログラムおよび情報処理装置
WO2015025874A1 (ja) カーソル位置制御装置、カーソル位置制御方法、プログラム及び情報記憶媒体
JP6000553B2 (ja) 情報処理装置及びその制御方法
JP5665396B2 (ja) 情報処理装置およびその制御方法
US20220197396A1 (en) Display device, display method, and recording medium recording display program
US20220197498A1 (en) Display device, display method, and recording medium recording display program
JP6618301B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP6289655B2 (ja) 画面操作装置及び画面操作方法
JP2015219609A (ja) 情報処理方法、情報処理装置及び記録媒体
JP6256545B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170609

R150 Certificate of patent or registration of utility model

Ref document number: 6159323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150