JP5617448B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP5617448B2
JP5617448B2 JP2010194109A JP2010194109A JP5617448B2 JP 5617448 B2 JP5617448 B2 JP 5617448B2 JP 2010194109 A JP2010194109 A JP 2010194109A JP 2010194109 A JP2010194109 A JP 2010194109A JP 5617448 B2 JP5617448 B2 JP 5617448B2
Authority
JP
Japan
Prior art keywords
axis direction
user
range
region
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010194109A
Other languages
English (en)
Other versions
JP2012053557A (ja
Inventor
野田 卓郎
卓郎 野田
顕博 小森
顕博 小森
斉昭 佐藤
斉昭 佐藤
脩 繁田
脩 繁田
山本 一幸
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010194109A priority Critical patent/JP5617448B2/ja
Priority to US13/198,628 priority patent/US9274605B2/en
Priority to CN201110251925.XA priority patent/CN102385438B/zh
Publication of JP2012053557A publication Critical patent/JP2012053557A/ja
Application granted granted Critical
Publication of JP5617448B2 publication Critical patent/JP5617448B2/ja
Priority to US15/041,328 priority patent/US10216356B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、ユーザの身体の動きに基づく操作指示を取得する情報処理装置、情報処理方法およびプログラムに関する。
近年、表示画面を通してユーザに提供されるGUI(Graphical User Interface)が、仮想的な3次元空間として表示されることが一般的になっている。仮想的な3次元空間では、コンテンツなどのオブジェクトを、表示画面の水平方向および垂直方向だけではなく、表示画面の奥行き方向にも配列することが可能である。そのため、仮想的な3次元空間として表示されるGUIでは、表示画面のスペースを有効に利用することができる。このような技術の一例として、例えば、特許文献1には、複数のオブジェクトをユーザ操作に応じた順序で奥行き方向に重ねて表示する技術が記載されている。
また、GUIが仮想的な3次元空間として表示される場合に、ユーザの身体の動きに基づいて操作指示を取得することも普及してきている。例えば、まず、装着されたマーカ、把持されたコントローラ、またはスペックルパターンを用いた画像解析などによって、ユーザの手などの身体の部分が認識される。さらに、三角測量、またはTOF(Time Of Flight)などの三次元計測手法によって、認識された身体の部分の位置を特定することによって、ユーザの身体の動きが取得される。このような技術の例として、特許文献2には、スペックルパターンを用いた画像解析によって識別されたユーザのジェスチャーを、コンピュータアプリケーションに対する入力として用いる技術が記載されている。また、特許文献3には、ユーザが存在する物理空間をシステム上の仮想空間にマッピングし、物理空間において取得したユーザの動きを、仮想空間におけるカーソルの制御に反映させる技術が記載されている。
特開2009−265258号公報 特開2009−528514号公報 特開2008−530661号公報
しかし、ユーザの動きは、人間の身体の構造上の制約を受ける。そのため、特許文献1に記載のように、仮想的な3次元空間としてGUIを提供し、さらに、特許文献2および特許文献3に記載のように、ユーザの身体の動きを操作指示として用いる場合、3次元空間の領域によっては、奥行き方向の操作指示が困難になるという問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが、身体の動きによる奥行き方向の操作に適した領域で奥行き方向の操作をするように誘導することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、ユーザの左右方向がx軸方向に、上記ユーザの上下方向がy軸に、上記ユーザの前後方向がz軸方向にそれぞれ対応付けられる仮想的な3次元空間にオブジェクトを表示させる表示制御部と、上記ユーザの身体の動きに基づいて、上記オブジェクトに対する少なくとも上記z軸方向への操作を取得する取得部とを備え、上記仮想的な3次元空間は、中心領域および該中心領域の上記x軸方向の片側または両側に位置する周辺領域を有し、上記オブジェクトが上記操作によって上記z軸方向に移動させられる範囲は、上記中心領域では第1の範囲に設定され、上記周辺領域では上記第1の範囲よりも小さい第2の範囲に設定される情報処理装置が提供される。
上記仮想的な3次元空間は、上記中心領域と上記周辺領域との間に中間領域を有し、上記オブジェクトが上記操作によって上記z軸方向に移動させられる範囲は、上記中間領域では上記第1の範囲と上記第2の範囲との間に設定されてもよい。
上記オブジェクトが上記操作によって上記z軸方向に移動させられる範囲は、上記中間領域では上記第1の範囲と上記第2の範囲との間で段階的に変化するように設定されてもよい。
上記オブジェクトが上記操作によって上記z軸方向に移動させられる範囲は、上記中間領域では上記第1の範囲と上記第2の範囲との間で連続的に変化するように設定されてもよい。
上記第2の範囲は、0に設定されてもよい。
上記情報処理装置は、上記周辺領域に位置する上記1または複数のオブジェクトに対する上記z軸方向への操作が取得されたことをユーザに通知する通知部をさらに備えてもよい。
上記表示制御部は、上記x軸方向または上記y軸方向について、上記中心領域に配置される複数の上記オブジェクトを、上記周辺領域に配置される複数の上記オブジェクトよりも大きく展開して表示させてもよい。
上記表示制御部は、上記y軸方向について、上記周辺領域に配置される複数の上記オブジェクトを、上記中心領域に配置される複数の上記オブジェクトよりも大きく展開して表示させてもよい。
上記表示制御部は、上記仮想的な3次元空間を表示画面に表示させ、上記取得部は、上記ユーザの上記表示画面に対する位置を取得し、上記中心領域は、上記ユーザの位置に対応する領域として設定されてもよい。
上記中心領域は、上記ユーザが複数の場合には複数設定されてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、ユーザの左右方向がx軸方向に、上記ユーザの上下方向がy軸に、上記ユーザの前後方向がz軸方向にそれぞれ対応付けられる仮想的な3次元空間にオブジェクトを表示させるステップと、上記ユーザの身体の動きに基づいて、上記オブジェクトに対する少なくとも上記奥行き方向への操作を取得するステップとを備え、上記仮想的な3次元空間は、中心領域および該中心領域の上記x軸方向の片側または両側に位置する周辺領域を有し、上記オブジェクトが上記操作によって上記z軸方向に移動させられる範囲は、上記中心領域では第1の範囲に設定され、上記周辺領域では上記第1の範囲よりも小さい第2の範囲に設定される情報処理方法が提供される。
また、上記課題を解決するために、本発明のさらに別の観点によれば、ユーザの左右方向がx軸方向に、上記ユーザの上下方向がy軸に、上記ユーザの前後方向がz軸方向にそれぞれ対応付けられる仮想的な3次元空間にオブジェクトを表示させる処理と、上記ユーザの身体の動きに基づいて、上記オブジェクトに対する少なくとも上記奥行き方向への操作を取得する処理とをコンピュータに実行させ、上記仮想的な3次元空間は、中心領域および該中心領域の上記x軸方向の片側または両側に位置する周辺領域を有し、上記オブジェクトが上記操作によって上記z軸方向に移動させられる範囲は、上記中心領域では第1の範囲に設定され、上記周辺領域では上記第1の範囲よりも小さい第2の範囲に設定されるプログラムが提供される。
以上説明したように本発明によれば、ユーザが、身体の動きによる奥行き方向の操作に適した領域で奥行き方向の操作をするように誘導することができる。
本発明の第1の実施形態に係る情報処理装置の概略的な構成を示す図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係る情報処理装置によるオブジェクトの表示の説明図である。 同実施形態に係る情報処理装置によるオブジェクトの表示の説明図である。 同実施形態に係る情報処理装置によるオブジェクトの表示の変形例の説明図である。 同実施形態に係る情報処理装置によるオブジェクトの表示の別の変形例の説明図である。 同実施形態に係る情報処理装置によるオブジェクトの表示のさらに別の変形例の説明図である。 本発明の第2の実施形態に係る情報処理装置によるオブジェクトの表示の説明図である。 同実施形態に係る情報処理装置によるオブジェクトの表示の変形例の説明図である。 同実施形態に係る情報処理装置によるオブジェクトの表示の別の変形例の説明図である。 本発明の第3の実施形態に係る情報処理装置によるオブジェクトの表示の説明図である。 同実施形態に係る情報処理装置による複数のユーザに対する中心領域の設定についての説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.情報処理装置の構成
1−2.オブジェクトの表示
1−3.変形例
2.第2の実施形態
2−1.オブジェクトの表示
2−2.変形例
3.第3の実施形態
4.まとめ
<1.第1の実施形態>
(1−1.情報処理装置の構成)
まず、図1および図2を参照して、本発明の第1の実施形態に係る情報処理装置の構成について説明する。
図1は、本発明の第1の実施形態に係る情報処理装置100の概略的な構成を示す図である。図1を参照すると、情報処理装置100は、例えばPC(Personal Computer)、またはテレビなどであり、表示画面120および取得部130を有する。表示画面120には、オブジェクト200が配置された仮想的な3次元空間Svが表示される。取得部130は、ユーザUの身体の動きから、オブジェクト200に対するユーザUの操作を取得する。
表示画面120は、例えばLCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、または有機EL(Electro-Luminescence)パネルなどのディスプレイである。表示画面120は、平面画像を表示するディスプレイであってもよいし、立体画像を表示するディスプレイであってもよい。表示画面120が立体画像を表示する場合の表示方式は、例えばパララックスバリアを用いる方式、またはフレームシーケンシャル方式など、いかなる方式でもよい。表示画面120は、図示されているように、情報処理装置100と一体であってその表面に設けられてもよいし、また、情報処理装置100には含まれずに、独立して設けられていてもよい。
仮想的な3次元空間Svは、表示画面120に表示される。本実施形態において、仮想的な3次元空間Svには、x軸方向、y軸方向、およびz軸方向として図示されている3つの方向が定義されている。x軸方向は表示画面120の左右方向であり、y軸方向は表示画面120の上下方向であり、z軸方向は表示画面120の奥行き方向である。仮想的な3次元空間Svには、オブジェクト200が表示されている。オブジェクト200は、例えば、ユーザUによって操作されるポインタオブジェクト200pと、その他のコンテンツオブジェクトとを含んでもよい。なお、本実施形態におけるオブジェクト200の表示については後述する。
取得部130は、ユーザUの身体の動きに基づいて、オブジェクト200に対する少なくともz軸方向への操作を取得する。本実施形態において、取得部130は、ユーザUの身体の部分である手の動きに基づいて操作を取得する。ユーザUの身体の部分を認識する方法としては、例えば、ユーザUが装着したマーカを用いる方法、ユーザUが把持したコントローラを用いる方法、またはスペックルパターンを用いた画像解析など、いかなる方法が用いられてもよい。また、認識されたユーザUの身体の部分の位置を特定する方法としては、例えば、三角測量、またはTOFなど、三次元計測手法を含むいかなる方法が用いられてもよい。取得部130は、ユーザUの身体の動きから操作を取得するために、例えば、カメラ、または赤外線の発光部および受光部などを含んでもよい。さらに、取得部130は、例えばユーザUが操作に用いる身体の部分の位置を取得する方法と同様の方法によって、ユーザU自体の表示画面120に対する位置を取得してもよい。
ここで、取得部130は、例えば、図示されているように、表示画面120の向きに対応する向きで設置されてもよい。その場合、ユーザUは、仮想的な3次元空間Svにおける方向と、実際の方向を対応付けることが容易になり、取得部130に向けた身体の動きによってオブジェクト200を操作することが容易になる。
以上で説明したような情報処理装置100を用いて、ユーザUは、取得部130に身体の動きを取得させて、表示画面120に表示されたオブジェクト200を操作する。例えば、ユーザUは、手を左右方向、上下方向、および前後方向に移動させることによってポインタオブジェクト200pを移動させ、手を握ったり開いたりする動作によって、ポインタオブジェクト200pに他のオブジェクト200を選択および解除させてもよい。ここで、ユーザのUの手の動きと、仮想的な3次元空間Svにおけるポインタオブジェクト200pの動きとは、左右方向がx軸方向に、上下方向がy軸方向に、前後方向がz軸方向にそれぞれ対応する。
この場合、ユーザUは、ポインタオブジェクト200pをz軸方向に移動させるために、取得部130に対して、手を前後に移動させる。例えば、ポインタオブジェクト200pが仮想的な3次元空間Svの中央付近にあれば、ユーザUは、体の正面付近で手を前後に移動させる。一方、ポインタオブジェクト200pが仮想的な3次元空間Svの左右の端付近にあれば、ユーザUは、腕を左右に伸ばした状態で、手を前後に移動させる。ここで、人間の体の構造上、腕を左右方向に伸ばした状態で、手を前後方向に動かすことは困難である。従って、ポインタオブジェクト200pが仮想的な3次元空間Svの左右の端付近にある場合、ユーザUはポインタオブジェクト200pをz軸方向に移動させることが困難になる。そこで、情報処理装置100は、後述するようにオブジェクト200を表示することによって、仮想的な3次元空間の左右の端付近にあるポインタオブジェクト200pに対して、ユーザUがz軸方向の操作をしなくても済むように誘導する。
なお、上記の説明では、ユーザUがオブジェクト200の操作にポインタオブジェクト200pを用いる場合について説明したが、必ずしもポインタオブジェクト200pが表示されなくてもよく、ユーザUはそれぞれのオブジェクト200を直接操作可能であってもよい。
図2は、本発明の第1の実施形態に係る情報処理装置100の機能構成を示すブロック図である。図2を参照すると、情報処理装置100は、表示制御部110、表示画面120、取得部130、通知部140、制御部150、および記憶部160を含む。上述のように、情報処理装置100は、例えばPC(Personal Computer)、またはテレビなどでありうる。情報処理装置100は、必ずしも上記の各要素を同じ筐体に含む必要はない。例えば、表示画面120は、情報処理装置100には含まれずに、独立して設けられていてもよい。また、記憶部160は情報処理装置100には含まれずに、例えばネットワーク上のストレージによってその機能が提供されてもよい。表示画面120と取得部130については、図1を参照して説明したため、ここでは詳細説明を省略する。
表示制御部110は、仮想的な3次元空間Svと、仮想的な3次元空間Svに配置されるオブジェクト200とを、平面画像または立体画像として表示画面120に表示させる。表示制御部110は、表示のための演算処理装置であり、例えばGPU(Graphics Processing Unit)、CPU(Central Processing Unit)、またはDSP(Digital Signal Processor)などによって実現されうる。表示制御部110は、記憶部160に格納されたプログラムに従って動作してもよい。表示制御部110は、仮想的な3次元空間Svを、中心領域と、中心領域の周辺に位置する周辺領域とを有する空間として表示する。また、表示制御部110は、仮想的な3次元空間Svにおいてオブジェクト200が表示されるz軸方向の範囲を、中心領域では第1の範囲に設定し、周辺領域では第1の範囲よりも小さい第2の範囲に設定する。なお、仮想的な3次元空間Svに設定される領域と、それぞれの領域においてオブジェクト200が表示される範囲については後述する。
通知部140は、仮想的な3次元空間Svのうち、周辺領域に位置する1または複数のオブジェクト200に対するz軸方向への操作が、取得部130によって取得されたことをユーザUに通知する。通知部140は、例えば警告音などの音声を用いてユーザUへの通知を行ってもよい。この場合、通知部140は、例えばスピーカなどの音声出力装置によって実現され、制御部150による制御に従って、警告音などの音声を出力しうる。また、通知部140は、例えば表示画面120において、仮想的な3次元空間Svまたはオブジェクト200の色が変わったり、表示が揺れたりといったような表示の変化を用いてユーザUへの通知を行ってもよい。この場合、通知部140は、例えばCPU、またはDSPの一部として実現され、表示制御部110を介して表示画面120の表示を変化させうる。上記以外にも、通知部140は、例えばポインタオブジェクト200pが周辺領域Rsに入った場合に、ユーザUへの通知を行ってもよい。
制御部150は、情報処理装置100の各部の動作を制御する。制御部150は、例えばCPU、またはDSPなどによって実現され、記憶部160に格納されたプログラムに従って動作してもよい。なお、表示制御部110および制御部150の機能を実現するためのプログラムは、ディスク状記録媒体、またはメモリカードなどのリムーバブル記憶媒体に格納されて情報処理装置100に提供されるものであってもよく、またLAN(Local Area Network)、インターネット等のネットワークを介して情報処理装置100にダウンロードされるものであってもよい。
記憶部160には、情報処理装置100における処理に必要なデータが格納される。記憶部160は、例えばRAM(Random Access Memory)、またはROM(Read Only Memory)などの記憶装置でありうる。また、記憶部160は、光ディスク、磁気ディスク、または半導体メモリなどのリムーバブル記憶媒体であってもよく、記憶装置とリムーバブル記憶媒体を組み合わせたものであってもよい。記憶部160には、CPU、またはDSPなどに実行させることによって、例えば表示制御部110または制御部150などの機能を実現するためのプログラムが格納されてもよい。
(1−2.オブジェクトの表示)
次に、図3および図4を参照して、本発明の第1の実施形態に係る情報処理装置によるオブジェクトの表示について説明する。
図3は、本発明の第1の実施形態に係る情報処理装置100によるオブジェクト200の表示を示す模式的な上面図である。図3を参照すると、表示画面120に表示される仮想的な3次元空間Svは、仮想的な3次元空間Svの略中心に位置する中心領域Rcと、中心領域Rcの周辺にあたる左右方向の両側に位置する2つの周辺領域Rsとを含む。仮想的な3次元空間Svにおいてオブジェクト200が表示されるz軸方向の範囲は、中心領域Rcにおいては第1の範囲rcであり、周辺領域Rsにおいては第2の範囲rsである。ここで、第2の範囲rsは、第1の範囲rcよりも小さい。
このように、仮想的な3次元空間Svに中心領域Rcと周辺領域Rsとが設定され、それぞれについて第1の範囲rcおよび第2の範囲rsが設定されることによって、例えば図示されている例のように、中心領域Rcおよび周辺領域Rsといずれにおいても複数のオブジェクト200の集合であるオブジェクト群210が配置される場合、中心領域Rcに位置するオブジェクト群210は、周辺領域Rsに位置するオブジェクト群210よりも、z軸方向、すなわち奥行き方向について広く展開される。つまり、中心領域Rcに位置するオブジェクト群210は、周辺領域Rsに位置するオブジェクト群210よりも、ユーザUが奥行き感を感じるように表示される。
この場合、中心領域Rcにおいては、オブジェクト200がz軸方向に開いて配置され、操作によってz軸方向に移動させられる範囲も広いため、ユーザUは、オブジェクト200に対してz軸方向の操作をするように誘導される。一方、周辺領域Rsにおいては、オブジェクト200がz軸方向に閉じて配置され、操作によってz軸方向に移動させられる範囲も狭いため、ユーザUは、オブジェクト200に対するz軸方向の操作をしないように誘導される。このようなオブジェクト200の配置によって、ユーザUは、手の前後方向の動きによってz軸方向の操作指示をすることが比較的難しい、周辺領域Rsにあるオブジェクト200に対しては、z軸方向の操作をしなくても済む。
また、表示画面120が立体画像を表示する場合、周辺領域Rsに位置するオブジェクト200がz軸方向に開いて配置されていると、表示画面120の端付近において、奥行き感を感じさせる画像が立体表示されることになる。このような表示は、ユーザUに対して知覚的に負担を与えるものである。従って、周辺領域Rsにおいてオブジェクト200がz軸方向に閉じて配置されることは、表示画面120によって表示される立体画像による、ユーザUの知覚的な負担を緩和しうる。
ここで、図示されているように、第2の範囲rsは、0に設定されてもよい。この場合、周辺領域Rsに位置するオブジェクト200は、z軸方向についてはほぼ同じ位置に表示される。つまり、周辺領域Rsでは、オブジェクト200は、x軸方向およびy軸方向の2次元で配列される。この場合、制御部150は、取得部130によって取得された周辺領域Rsに位置するオブジェクト200に対するz軸方向の操作を無効化してもよい。制御部150は、さらに、通知部140を制御して、例えば無効な操作、または推奨されない操作が取得されたことをユーザUに通知してもよい。
図4は、本発明の第1の実施形態に係る情報処理装置100によるオブジェクト200の表示を示す模式的な斜視図である。図4には、仮想的な3次元空間Svにオブジェクト群210a〜210cが表示されている変化前の状態と、オブジェクト群210b〜210dが表示されている変化後の状態とが示されている。ここで、表示制御部110は、x軸方向またはy軸方向について、中心領域Rcに配置されるオブジェクト200を、周辺領域Rsに配置されるオブジェクト200よりも大きく展開して表示させる。
なお、本実施形態において、オブジェクト200は、例えば、画像または音楽などのコンテンツを表すコンテンツオブジェクトでありうる。この場合、ユーザUは、各コンテンツオブジェクトに対して、例えば移動、選択、または再生などの操作をする。
変化前の状態において、オブジェクト群210bは、仮想的な3次元空間Svの中心領域Rcに位置するオブジェクト群である。また、オブジェクト群210aおよびオブジェクト群210cは、仮想的な3次元空間Svの周辺領域Rsに位置するオブジェクト群である。オブジェクト群210bは、z軸方向に展開された状態で配置され、オブジェクト群210aおよびオブジェクト群210cは、z軸方向に閉じた状態で配置されている。また、図示された例においては、オブジェクト群210bは、x軸方向およびy軸方向にも展開された状態で配置され、オブジェクト群210aおよびオブジェクト群210cは、x軸方向およびy軸方向にも閉じた状態で配置されている。
このような配置は、例えば、オブジェクト群210bをアクティブなオブジェクト群とし、オブジェクト群210aおよびオブジェクト群210cを非アクティブなオブジェクト群とする場合などに用いられうる。この場合、アクティブなオブジェクト群であるオブジェクト群210bに対しては、x軸方向、y軸方向、およびz軸方向に展開された各オブジェクト200に対して、例えばオブジェクト群の中での表示位置の入れ替え、または再生などの操作をすることが可能である。一方、非アクティブなオブジェクト群であるオブジェクト群210aおよびオブジェクト群210cに対しては、上記のような操作は無効化されてもよい。
ここで、ユーザUが、非アクティブなオブジェクト群であるオブジェクト群210cに対して表示位置の入れ替え、または再生などの操作をすることを所望する場合、ユーザUは、例えばオブジェクト群210cを選択して、x軸の負方向、つまり表示画面120の左方向にドラッグする。すると、仮想的な3次元空間Svに配置されるオブジェクト200は、図示されている変化後の状態で表示される。この状態において、オブジェクト群210aは、表示画面120の表示可能領域の外に移動した結果、表示されなくなる。オブジェクト群210bは、仮想的な3次元空間Svの中心領域Rcから周辺領域Rsに移動した結果、x軸方向、y軸方向、およびz軸方向に閉じた状態になる。オブジェクト群210cは、仮想的な3次元空間Svの周辺領域Rsから中心領域Rcに移動した結果、x軸方向、y軸方向、およびz軸方向に展開される。オブジェクト群210dは、表示画面120の表示可能領域の外から移動した結果、仮想的な3次元空間Svの周辺領域Rsに位置し、x軸方向、y軸方向、およびz軸方向に閉じた状態で表示される。
(1−3.変形例)
続いて、図5〜図7を参照して、本発明の第1の実施形態に係る情報処理装置によるオブジェクトの表示の変形例について説明する。
図5は、本発明の第1の実施形態に係る情報処理装置100によるオブジェクト200の表示の変形例を示す模式的な斜視図である。図5には、仮想的な3次元空間Svにオブジェクト群210a〜210cが表示されている状態が示されている。ここで、表示制御部110は、y軸方向について、周辺領域Rsに配置されるオブジェクト200を、中心領域Rcに配置されるオブジェクト200よりも大きく展開して表示させる。
図示された例において、オブジェクト群210bは、仮想的な3次元空間Svの中心領域Rcに位置するオブジェクト群である。また、オブジェクト群210aおよびオブジェクト群210cは、仮想的な3次元空間Svの周辺領域Rsに位置するオブジェクト群である。オブジェクト群210bは、z軸方向に展開されて配置され、オブジェクト群210aおよびオブジェクト群210cは、z軸方向に閉じて配置されている。また、オブジェクト群210bは、x軸方向およびy軸方向にも展開された状態で配置されている。一方、オブジェクト群210aおよびオブジェクト群210cは、y軸方向について、オブジェクト群210bよりも大きく展開して表示されている。
このような配置は、例えば、オブジェクト群210bに対しては、オブジェクト群の中での表示位置の入れ替え、または再生などの操作を許容しつつ、一方、オブジェクト群210aおよびオブジェクト群210cに対しては、オブジェクト群の中での表示位置の入れ替えの操作は無効化するものの、再生などの操作は許容する場合などに用いられうる。この場合、ユーザUは、x軸方向、y軸方向、およびz軸方向に展開されたオブジェクト群210bに対しては、奥行きを利用して複数のオブジェクト200を視認し、例えば選択または再生などの操作をする。一方、ユーザUは、z軸方向には閉じ、軸方向には展開されたオブジェクト群210aおよびオブジェクト群210cに対しては、奥行きを利用せずに複数のオブジェクト200を視認し、例えば選択または再生などの操作をする。
図6は、本発明の第1の実施形態に係る情報処理装置100によるオブジェクト200の表示の別の変形例を示す模式的な斜視図である。図6には、仮想的な3次元空間Svにオブジェクト群210a〜210cが表示されており、ポインタオブジェクト200pによって選択されているオブジェクト群が変化する前後の状態が示されている。ここで、表示制御部110は、y軸方向について、周辺領域Rsに配置されるオブジェクト200がポインタオブジェクト200pによって選択された場合に、これらのオブジェクト200を中心領域Rcに配置されるオブジェクト200よりも大きく展開して表示させる。
変化前の状態において、ポインタオブジェクト200pは、仮想的な3次元空間Svの中心領域Rcに位置するオブジェクト群210bを選択している。オブジェクト群210bは、中心領域Rcに位置するため、x軸方向、y軸方向、およびz軸方向に展開して表示されている。一方、仮想的な3次元空間Svの周辺領域Rsに位置するオブジェクト群210aおよびオブジェクト群210cは、x軸方向、y軸方向およびz軸方向に閉じて表示されている。変化前の状態におけるオブジェクト群210a〜210cの配置は、図4を参照して説明されたオブジェクト200の配置と同様である。
一方、変化後の状態においては、ポインタオブジェクト200pがユーザUの操作によって移動し、仮想的な3次元空間Svの周辺領域Rsに位置するオブジェクト群210aを選択している。ここで、オブジェクト群210aは、図5を参照して説明されたオブジェクト群210aの配置と同様に、z軸には閉じ、軸方向には展開されて表示される。オブジェクト群210bは、変化前の状態と同様に、x軸方向、y軸方向、およびz軸方向に展開して表示されている。オブジェクト群210cも、変化前の状態と同様に、x軸方向、y軸方向、およびz軸方向に閉じて表示されている。このように、本変形例においては、仮想的な3次元空間Svに位置するオブジェクト群の表示が、ポインタオブジェクト200pによる選択の状態に応じて変化する。
図7は、本発明の第1の実施形態に係る情報処理装置100によるオブジェクト200の表示のさらに別の変形例を示す模式的な斜視図である。図7には、仮想的な3次元空間Svにオブジェクト群210a〜210cが表示されている状態が示されている。ここで、表示制御部110は、x軸方向またはy軸方向について、周辺領域Rsに配置されるオブジェクト200を、中心領域Rcに配置されるオブジェクト200と同様に展開して表示させる。
図示された例において、オブジェクト群210bは、仮想的な3次元空間Svの中心領域Rcに位置するオブジェクト群である。また、オブジェクト群210aおよびオブジェクト群210cは、仮想的な3次元空間Svの周辺領域Rsに位置するオブジェクト群である。オブジェクト群210bは、z軸方向に展開されて配置され、オブジェクト群210aおよびオブジェクト群210cは、z軸方向に閉じて配置されている。ここで、オブジェクト群210a〜210cは、いずれも、x軸方向およびy軸方向に同じように展開して表示されている。つまり、本変形例においては、仮想的な3次元空間Svの中心領域Rcに配置されるオブジェクト群と、周辺領域Rsに配置されるオブジェクト群との間では、z軸方向に展開されるか否かは相違するが、それ以外の、x軸方向およびy軸方向への展開については共通である。
<2.第2の実施形態>
続いて、本発明の第2の実施形態について説明する。なお、本発明の第2の実施形態は、第1の実施形態と比べて、仮想的な3次元空間が中間領域を有する点において相違するが、その他の機能構成は第1の実施形態と略同一であるため、詳細説明を省略する。
ここで、仮想的な3次元空間Svは、オブジェクト200がz軸方向に展開して表示される中心領域Rcと、オブジェクト200がz軸方向に閉じて表示される周辺領域Rsとを含む。中心領域Rcと周辺領域Rsとが隣接する場合、例えば、オブジェクト200が中心領域Rcから周辺領域Rsへと移動した場合などに、オブジェクト200のz軸方向への展開が急に変化し、ユーザUに違和感を与える可能性がある。そのため、本実施形態においては、中心領域Rcと、周辺領域Rsとの間に中間領域Rmが設定される。
(2−1.オブジェクトの表示)
まず、図8を参照して、本発明の第2の実施形態に係る情報処理装置によるオブジェクトの表示について説明する。
図8は、本発明の第2の実施形態に係る情報処理装置100によるオブジェクト200の表示を示す模式的な上面図である。図8を参照すると、表示画面120に表示される仮想的な3次元空間Svは、中心領域Rcと、2つの周辺領域Rsとに加えて、中心領域Rcと周辺領域Rsとの間に位置する中間領域Rmを含む。仮想的な3次元空間Svにおいてオブジェクト200が表示されるz軸方向の範囲は、中間領域Rmにおいては第3の範囲rmである。ここで、第3の範囲rmは、第1の範囲rcと第2の範囲rsとの間に設定される。
図示されている例のように、中心領域Rc、周辺領域Rs、および中間領域Rmのいずれにおいても複数のオブジェクト200の集合であるオブジェクト群210が配置される場合を考える。この場合、中間領域Rmの設定によって、中間領域Rmに位置するオブジェクト群210は、z軸方向の展開が、周辺領域Rsに位置するオブジェクト群210よりも大きく、中心領域Rcに位置するオブジェクト群210よりも小さくなる。つまり、中間領域Rmに位置するオブジェクト群210は、中心領域Rcと周辺領域Rsとの中間程度の奥行き感をユーザUが感じるように表示される。
例えば、ユーザUが、仮想的な3次元空間Svにおいて、オブジェクト群210を、中心領域Rcから中間領域Rm、そして周辺領域Rsへと順次移動させる場合を考える。この場合、オブジェクト群210は、中心領域Rcに位置する場合のz軸方向に大きく展開された状態から、中間領域Rmに位置する場合のz軸方向に小さく展開された状態、そして周辺領域Rsに位置する場合のz軸方向に閉じられた状態へと、z軸方向への展開の幅が段階的に変化する。このように中間領域Rmを設けることによって、例えばオブジェクト群210が中心領域Rcから中間領域Rm、そして周辺領域Rsへと移動する場合に、オブジェクト群210のz軸方向への展開の幅が段階的に変化して表示され、オブジェクト200の表示の変化に対するユーザUの違和感を軽減することができる。
(2−2.変形例)
続いて、図9および図10を参照して、本発明の第2の実施形態に係る情報処理装置によるオブジェクトの表示の変形例について説明する。
図9は、本発明の第2の実施形態に係る情報処理装置100によるオブジェクト200の表示の変形例を示す模式的な上面図である。図9を参照すると、仮想的な3次元空間Svにおいてオブジェクト200が表示されるz軸方向の範囲は、中間領域Rmにおいて、第1の範囲rcと第2の範囲rsとの間で段階的に変化する。
このように中間領域Rmにおいてオブジェクト200が表示されるz軸方向の範囲を設定することによって、例えばオブジェクト群210が中心領域Rcから中間領域Rm、そして周辺領域Rsへと移動する場合に、オブジェクト群210のz軸方向への展開の幅が、図8を参照して説明された場合よりもさらに細かく段階的に変化して表示され、オブジェクト200の表示の変化に対するユーザUの違和感をさらに軽減することができる。
なお、図示されている例では、中間領域Rmにおいて、オブジェクト群210のz軸方向への展開の幅が4段階に変化しているが、段階の数はこれに限られず、2段階または3段階であってもよく、また5段階以上であってもよい。
図10は、本発明の第2の実施形態に係る情報処理装置100によるオブジェクト200の表示の別の変形例を示す模式的な上面図である。図10を参照すると、仮想的な3次元空間Svにおいてオブジェクト200が表示されるz軸方向の範囲は、中間領域Rmにおいて、第1の範囲rcと第2の範囲rsとの間で連続的に変化する。
このように中間領域Rmにおいてオブジェクト200が表示されるz軸方向の範囲を設定することによって、例えばオブジェクト群210が中心領域Rcから中間領域Rm、そして周辺領域Rsへと移動する場合に、オブジェクト群210のz軸方向への展開の幅が滑らかに変化して表示され、オブジェクト200の表示の変化に対するユーザUの違和感をさらに軽減することができる。
なお、図示されている例では、中間領域Rmにおいて、オブジェクト群210のz軸方向への展開の幅が正弦曲線状に変化しているが、変化の仕方はこれに限られず、ベジエ曲線など任意の曲線が用いられてもよく、また第1の範囲rcと第2の範囲rsとの間で線形に変化してもよい。
<3.第3の実施形態>
続いて、本発明の第3の実施形態について説明する。なお、本発明の第3の実施形態は、第1の実施形態または第2の実施形態と比べて、仮想的な3次元空間の中心領域が表示画面に対するユーザの位置に対応する領域として設定される点において相違するが、その他の機能構成は第1の実施形態または第2の実施形態と略同一であるため、詳細説明を省略する。
図11は、本発明の第3の実施形態に係る情報処理装置100によるオブジェクト200の表示を示す模式的な上面図である。図11を参照すると、表示画面120に表示される仮想的な3次元空間Svの中心領域Rcは、表示画面120に対するユーザUの位置に対応する領域として設定される。
本実施形態において、情報処理装置100の取得部130は、例えばユーザUが操作に用いる身体の部分の位置を取得する方法と同様の方法によって、ユーザU自体の表示画面120に対する位置を取得する。仮想的な3次元空間Svでは、取得されたユーザUの位置に対応する位置を中心として、中心領域Rcが設定される。また、仮想的な3次元空間Svには、中心領域Rcの周辺にあたる左右方向の両側または片側に、周辺領域Rsが設定される。さらに、仮想的な3次元空間Svには、中心領域Rcと周辺領域Rsとの間に、中間領域Rmが設定されてもよい。
図示されている例において、ユーザUの位置は、表示画面120に対して左側に偏した位置である。取得部130は、例えばユーザUの顔を認識し、ユーザUの顔の位置をユーザUの位置として取得する。表示画面120に表示される仮想的な3次元空間Svには、取得されたユーザUの位置に対応する位置を中心として中心領域Rcが設定され、この中心領域Rcを基準にして周辺領域Rsおよび中間領域Rmが設定される。図示されている例では、中心領域Rcが表示画面の左側に偏しているため、周辺領域Rsは、中心領域Rcに対して右側の片側に設定されている。図示されている例では中間領域Rmが設定されているが、中間領域Rmが設定されなくてよい。
このように、本実施形態においては、表示画面120に対するユーザUの位置に対応して、中心領域Rc、周辺領域Rs、および中間領域Rmが設定される。つまり、それぞれの領域は、ユーザUの実際の位置に対応して設定される。そのため、ユーザUが表示画面120に対して、左または右に偏って位置している場合でも、ユーザUがz軸方向の操作をすることが比較的容易な領域に中心領域Rcが設定され、ユーザUがz軸方向の操作をすることが比較的難しい領域に周辺領域Rsが設定される。従って、それぞれの領域におけるオブジェクト200のz軸方向の表示の変化が、実際のユーザUの位置と合っていない場合にユーザUが感じる違和感は軽減され、ユーザUにより自然な操作環境を提供することができる。
図12は、本発明の第3の実施形態に係る情報処理装置100による、複数のユーザに対する複数の中心領域の設定についての説明図である。図12を参照すると、情報処理装置100によって表示画面120に表示される仮想的な3次元空間Svには、中心領域Rc1および中心領域Rc2が、表示画面に対するユーザU1およびユーザU2の位置に対応する領域として設定される。
この場合、情報処理装置100は、例えば幅の広いテレビなどでありうる。取得部130は、例えば、ユーザUが1人である場合にユーザUの手と顔を識別するのと同様の方法を用いて、ユーザU1およびユーザU2のそれぞれについて、手と顔とを識別する。ここで、取得部130は、ユーザU1およびユーザU2のそれぞれの顔の位置をユーザU1およびユーザU2のそれぞれの位置として取得する。また、取得部130は、ユーザU1およびユーザU2のそれぞれの手の位置の変化を、ユーザU1およびユーザU2のそれぞれによるオブジェクト200の操作として取得してもよい。
例えば、ユーザU1およびユーザU2は、それぞれ手を左右方向、上下方向、および前後方向に移動させることによってポインタオブジェクト200p1またはポインオブジェクト200p2を移動させ、手を握ったり開いたりする動作によって、ポインタオブジェクト200p1またはポインオブジェクト200p2に、他のオブジェクト200を選択および解除させてもよい。ユーザU1およびユーザU2の一方または両方が移動した場合、取得部130は、ユーザU1およびユーザU2の位置の一方または両方を再取得し、中心領域Rc1および中心領域Rc2の一方または両方がそれぞれ再設定されてもよい。ユーザU1とユーザU2とが接近した場合、中心領域Rc1と中心領域Rc2とは隣接してもよく、ユーザU1とユーザU2とがさらに接近した場合、中心領域Rc1と中心領域Rc2とは統合されてもよい。また、ユーザUの数は2よりも多くてもよい。
<4.まとめ>
上記の本発明の実施形態において、情報処理装置100は、例えば、表示画面120の奥行き方向を含み、中心領域Rcおよび中心領域Rcの周辺に位置する周辺領域Rsを有する仮想的な3次元空間Svにオブジェクト200を表示させる表示制御部110と、ユーザの身体の動きに基づいて、オブジェクト200に対する少なくとも奥行き方向への操作を取得する取得部130とを備え、オブジェクト200が表示されうる奥行き方向の範囲は、中心領域Rcでは第1の範囲rcに設定され、周辺領域Rsでは第1の範囲rcよりも小さい第2の範囲rsに設定される。このような構成によって、例えば、ユーザが奥行き方向の操作をすることが比較的困難である仮想的な3次元空間Svの周辺領域Rsにおいて、ユーザが奥行き方向の操作を避けるように誘導することができる。また、表示制御部110が仮想的な3次元空間Svを立体画像として表示する場合には、奥行きのある画像を表示することがユーザに知覚的な負担を与える仮想的な3次元空間Svの周辺領域Rsにおいて、奥行きをあまり用いずに画像を表示することでユーザの知覚的な負担を軽減することができる。
また、周辺領域Rsは、表示画面120の左右方向について、中心領域Rcの片側または両側に設定されてもよい。このような構成によって、例えば、取得部130が、ユーザの手のように、体幹から左右方向に伸びた身体の部位を用いた操作を取得する場合、ユーザが奥行き方向の操作をすることが比較的容易な領域とそうでない領域とに応じて、中心領域Rcおよび周辺領域Rsを設定することができる。
また、仮想的な3次元空間Svは、中心領域Rcと周辺領域Rsとの間に中間領域Rmを有し、オブジェクト200が表示されうる奥行き方向の範囲は、中間領域Rmでは第1の範囲rcと第2の範囲rsとの間に設定されてもよい。このような構成によって、例えば、オブジェクト200の奥行き方向の表示を段階的に変化させ、表示の変化に対するユーザの違和感を軽減することができる。また、奥行き方向の操作のしやすさに応じた範囲の操作をするようにユーザを誘導することができる。
また、オブジェクト200が表示されうる奥行き方向の範囲は、中間領域Rmでは第1の範囲rcと第2の範囲rsとの間で段階的に変化するように設定されてもよい。このような構成によって、例えば、オブジェクト200の奥行き方向の表示をさらに細かく段階的に変化させ、表示の変化に対するユーザの違和感をさらに軽減することができる。
また、オブジェクト200が表示されうる奥行き方向の範囲は、中間領域Rmでは第1の範囲rcと第2の範囲rsとの間で連続的に変化するように設定されてもよい。このような構成によって、例えば、オブジェクト200の奥行き方向の表示を滑らかに変化させ、表示の変化に対するユーザの違和感をさらに軽減することができる。
また、第2の範囲rsは、0に設定されてもよい。このような構成によって、例えば、周辺領域Rsについては奥行き方向の操作を避けるようユーザを誘導するとともに、奥行き方向の操作が取得された場合にもこれを無効化することができる。
また、情報処理装置100は、周辺領域Rsに位置する1または複数のオブジェクト200に対する奥行き方向への操作が取得されたことをユーザに通知する通知部140をさらに備えてもよい。このような構成によって、例えば、取得された奥行き方向の操作が無効化された場合に、そのことをユーザに知らせ、周辺領域Rsのオブジェクト200に対する奥行き方向の操作を避けるよう効果的に誘導することができる。
また、表示制御部110は、表示画面120の左右方向または上下方向について、中心領域Rcに配置される複数のオブジェクト200を、周辺領域Rsに配置される複数のオブジェクト200よりも大きく展開して表示させてもよい。このような構成によって、例えば、周辺領域Rsに配置されるオブジェクト200を非アクティブなオブジェクト200とする場合に、ユーザが周辺領域Rsのオブジェクト200に対する操作をしないように誘導することができる。
また、表示制御部110は、表示画面120の上下方向について、周辺領域Rsに配置される複数のオブジェクト200を、中心領域Rcに配置される複数のオブジェクト200よりも大きく展開して表示させてもよい。このような構成によって、例えば、周辺領域Rsの配置される複数のオブジェクト200について、ユーザは、奥行き方向に代えて上下方向を用いて、複数のオブジェクト200を視認し、またそれぞれのオブジェクト200に対する操作ができる。
また、取得部130は、ユーザの表示画面120に対する位置を取得し、中心領域Rcは、ユーザの位置に対応する領域として設定されてもよい。このような構成によって、例えば、中心領域Rcおよび周辺領域Rsを実際のユーザの位置に対応して設定することができ、ユーザが中心領域Rcで奥行き方向の操作をするよう効果的に誘導することができる。
また、中心領域Rcは、ユーザが複数の場合には複数設定されてもよい。このような構成によって、例えば、情報処理装置100が複数のユーザによって操作される場合、それぞれのユーザに対して、奥行き方向の操作が容易な位置に奥行き方向に展開されたオブジェクト200を配置し、それぞれのユーザが奥行き方向の操作に適した領域で奥行き方向の操作をするよう誘導することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、仮想的な3次元空間における周辺領域が、中心領域の周辺にあたる左右方向の両側または片側に位置するものとしたが、本発明はかかる例に限定されない。例えば、周辺領域は、中心領域の周辺にあたる上下方向の両側または片側に位置してもよい。
100 情報処理装置
110 表示制御部
120 表示画面
130 取得部
140 通知部
150 制御部
160 記憶部
200 オブジェクト
Rc 中心領域
Rs 周辺領域
Rm 中間領域
rc 第1の範囲
rs 第2の範囲
rm 第3の範囲

Claims (12)

  1. ユーザの左右方向がx軸方向に、前記ユーザの上下方向がy軸に、前記ユーザの前後方向がz軸方向にそれぞれ対応付けられる仮想的な3次元空間にオブジェクトを表示させる表示制御部と、
    前記ユーザの身体の動きに基づいて、前記オブジェクトに対する少なくとも前記z軸方向への操作を取得する取得部と
    を備え、
    前記仮想的な3次元空間は、中心領域および該中心領域の前記x軸方向の片側または両側に位置する周辺領域を有し、
    前記オブジェクトが前記操作によって前記z軸方向に移動させられる範囲は、前記中心領域では第1の範囲に設定され、前記周辺領域では前記第1の範囲よりも小さい第2の範囲に設定される情報処理装置。
  2. 前記仮想的な3次元空間は、前記中心領域と前記周辺領域との間に中間領域を有し、
    前記オブジェクトが前記操作によって前記z軸方向に移動させられる範囲は、前記中間領域では前記第1の範囲と前記第2の範囲との間に設定される、
    請求項1に記載の情報処理装置。
  3. 前記オブジェクトが前記操作によって前記z軸方向に移動させられる範囲は、前記中間領域では前記第1の範囲と前記第2の範囲との間で段階的に変化するように設定される、
    請求項に記載の情報処理装置。
  4. 前記オブジェクトが前記操作によって前記z軸方向に移動させられる範囲は、前記中間領域では前記第1の範囲と前記第2の範囲との間で連続的に変化するように設定される、
    請求項に記載の情報処理装置。
  5. 前記第2の範囲は、0に設定される、
    請求項1に記載の情報処理装置。
  6. 前記周辺領域に位置する前記1または複数のオブジェクトに対する前記z軸方向への操作が取得されたことをユーザに通知する通知部をさらに備える、
    請求項1に記載の情報処理装置。
  7. 前記表示制御部は、前記x軸方向または前記y軸方向について、前記中心領域に配置される複数の前記オブジェクトを、前記周辺領域に配置される複数の前記オブジェクトよりも大きく展開して表示させる、
    請求項1に記載の情報処理装置。
  8. 前記表示制御部は、前記y軸方向について、前記周辺領域に配置される複数の前記オブジェクトを、前記中心領域に配置される複数の前記オブジェクトよりも大きく展開して表示させる、
    請求項1に記載の情報処理装置。
  9. 前記表示制御部は、前記仮想的な3次元空間を表示画面に表示させ、
    前記取得部は、前記ユーザの前記表示画面に対する位置を取得し、
    前記中心領域は、前記ユーザの位置に対応する領域として設定される、
    請求項1に記載の情報処理装置。
  10. 前記中心領域は、前記ユーザが複数の場合には複数設定される、
    請求項に記載の情報処理装置。
  11. ユーザの左右方向がx軸方向に、前記ユーザの上下方向がy軸に、前記ユーザの前後方向がz軸方向にそれぞれ対応付けられる仮想的な3次元空間にオブジェクトを表示させるステップと、
    前記ユーザの身体の動きに基づいて、前記オブジェクトに対する少なくとも前記z軸方向への操作を取得するステップと、
    を備え、
    前記仮想的な3次元空間は、中心領域および該中心領域の前記x軸方向の片側または両側に位置する周辺領域を有し、
    前記オブジェクトが前記操作によって前記z軸方向に移動させられる範囲は、前記中心領域では第1の範囲に設定され、前記周辺領域では前記第1の範囲よりも小さい第2の範囲に設定される情報処理方法。
  12. ユーザの左右方向がx軸方向に、前記ユーザの上下方向がy軸に、前記ユーザの前後方向がz軸方向にそれぞれ対応付けられる仮想的な3次元空間にオブジェクトを表示させる処理と、
    前記ユーザの身体の動きに基づいて、前記オブジェクトに対する少なくとも前記z軸方向への操作を取得する処理と、
    をコンピュータに実行させ、
    前記仮想的な3次元空間は、中心領域および該中心領域の前記x軸方向の片側または両側に位置する周辺領域を有し、
    前記オブジェクトが前記操作によって前記z軸方向に移動させられる範囲は、前記中心領域では第1の範囲に設定され、前記周辺領域では前記第1の範囲よりも小さい第2の範囲に設定されるプログラム。
JP2010194109A 2010-08-31 2010-08-31 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP5617448B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010194109A JP5617448B2 (ja) 2010-08-31 2010-08-31 情報処理装置、情報処理方法およびプログラム
US13/198,628 US9274605B2 (en) 2010-08-31 2011-08-04 Information processing device, information processing method, and program
CN201110251925.XA CN102385438B (zh) 2010-08-31 2011-08-24 信息处理设备和信息处理方法
US15/041,328 US10216356B2 (en) 2010-08-31 2016-02-11 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010194109A JP5617448B2 (ja) 2010-08-31 2010-08-31 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012053557A JP2012053557A (ja) 2012-03-15
JP5617448B2 true JP5617448B2 (ja) 2014-11-05

Family

ID=45696559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010194109A Expired - Fee Related JP5617448B2 (ja) 2010-08-31 2010-08-31 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (2) US9274605B2 (ja)
JP (1) JP5617448B2 (ja)
CN (1) CN102385438B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104714728B (zh) * 2013-02-28 2018-10-12 联想(北京)有限公司 一种显示方法和设备
JP6213120B2 (ja) * 2013-10-04 2017-10-18 富士ゼロックス株式会社 ファイル表示装置及びプログラム
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
JP2016091192A (ja) * 2014-10-31 2016-05-23 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP6911834B2 (ja) 2016-03-29 2021-07-28 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11023034B2 (en) * 2016-06-16 2021-06-01 Shenzhen Royole Technologies Co., Ltd. Method and apparatus for multiuser interaction and accompanying robot
JP6189496B1 (ja) * 2016-07-20 2017-08-30 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
US10019851B2 (en) * 2016-10-25 2018-07-10 Microsoft Technology Licensing, Llc Positioning objects in three-dimensional graphical space
CN107835403B (zh) 2017-10-20 2020-06-26 华为技术有限公司 一种以3d视差效果显示的方法及装置
JP2019123503A (ja) * 2019-02-25 2019-07-25 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
US10930040B2 (en) * 2019-05-20 2021-02-23 Adobe Inc. Graphic object modifications
JP7100100B2 (ja) * 2020-10-26 2022-07-12 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
US20230237719A1 (en) * 2022-01-27 2023-07-27 Adobe Inc. Content linting in graphic design documents

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3245655B2 (ja) * 1990-03-05 2002-01-15 インキサイト ソフトウェア インコーポレイテッド 作業スペースの表示処理方法
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US6070176A (en) * 1997-01-30 2000-05-30 Intel Corporation Method and apparatus for graphically representing portions of the world wide web
WO2001047247A2 (en) * 1999-12-22 2001-06-28 Koninklijke Philips Electronics N.V. Multiple window display system
US6927768B2 (en) * 2001-09-05 2005-08-09 Autodesk, Inc. Three dimensional depth cue for selected data
US7134080B2 (en) * 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
US8418075B2 (en) * 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP5631535B2 (ja) * 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
JP4849301B2 (ja) * 2005-07-27 2012-01-11 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN101496032B (zh) 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
JP2007293429A (ja) * 2006-04-21 2007-11-08 Sony Computer Entertainment Inc 画像閲覧装置、コンピュータの制御方法及びプログラム
JP2007304667A (ja) * 2006-05-08 2007-11-22 Sony Computer Entertainment Inc ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
JP4757132B2 (ja) * 2006-07-25 2011-08-24 アルパイン株式会社 データ入力装置
US8127239B2 (en) * 2007-06-08 2012-02-28 Apple Inc. Object transitions
JP2009265258A (ja) 2008-04-23 2009-11-12 Sony Corp 表示画面生成装置、表示画面生成方法および表示インターフェース
JP5262681B2 (ja) * 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US9176747B2 (en) * 2009-02-17 2015-11-03 Sandisk Il Ltd. User-application interface
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
WO2011155118A1 (ja) * 2010-06-07 2011-12-15 パナソニック株式会社 オブジェクト選択装置、オブジェクト選択プログラム、及びオブジェクト選択方法

Also Published As

Publication number Publication date
CN102385438A (zh) 2012-03-21
JP2012053557A (ja) 2012-03-15
US20120050270A1 (en) 2012-03-01
US9274605B2 (en) 2016-03-01
US20160162155A1 (en) 2016-06-09
CN102385438B (zh) 2016-01-13
US10216356B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
JP5617448B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10678340B2 (en) System and method for providing user interface tools
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
US10657716B2 (en) Collaborative augmented reality system
US10747389B2 (en) Display of three-dimensional model information in virtual reality
EP3433706B1 (en) Virtual-reality navigation
US11275481B2 (en) Collaborative augmented reality system
US10521028B2 (en) System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US11481025B2 (en) Display control apparatus, display apparatus, and display control method
US20120047465A1 (en) Information Processing Device, Information Processing Method, and Program
JP5924407B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20180143693A1 (en) Virtual object manipulation
JP2017530438A (ja) 仮想現実環境内における注視に基づく物体配置
CN108073276A (zh) 增强和/或虚拟现实环境的拖拽虚拟元件
CN109906424A (zh) 用于虚拟现实***的输入控制器稳定技术
JP7480388B2 (ja) ヘッドマウント情報処理装置
Coquillart et al. The virtual palette and the virtual remote control panel: a device and an interaction paradigm for the responsive workbench/sup tm
US20240036699A1 (en) Devices, Methods, and Graphical User Interfaces for Processing Inputs to a Three-Dimensional Environment
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
KR20210084073A (ko) 가상의 대상체 배치를 위한 사용자 인터페이스 제공 방법, 장치 및 프로그램
US20240103682A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
JP2024018907A (ja) Xrマルチウィンドウ制御
JP7475625B2 (ja) 3次元空間における入力受付および入力表示方法、プログラム、および3次元空間における入力受付および入力表示装置
JP2024018909A (ja) スマートウォッチを用いたxr操作機能
WO2024039666A1 (en) Devices, methods, and graphical user interfaces for improving accessibility of interactions with three-dimensional environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140901

R151 Written notification of patent or utility model registration

Ref document number: 5617448

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees