JP5300825B2 - 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体 - Google Patents

指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体 Download PDF

Info

Publication number
JP5300825B2
JP5300825B2 JP2010256920A JP2010256920A JP5300825B2 JP 5300825 B2 JP5300825 B2 JP 5300825B2 JP 2010256920 A JP2010256920 A JP 2010256920A JP 2010256920 A JP2010256920 A JP 2010256920A JP 5300825 B2 JP5300825 B2 JP 5300825B2
Authority
JP
Japan
Prior art keywords
instruction
image
instruction receiving
user
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010256920A
Other languages
English (en)
Other versions
JP2012108723A (ja
Inventor
貴 廣田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010256920A priority Critical patent/JP5300825B2/ja
Priority to US13/296,608 priority patent/US20120120066A1/en
Priority to CN2011103649299A priority patent/CN102467236A/zh
Publication of JP2012108723A publication Critical patent/JP2012108723A/ja
Application granted granted Critical
Publication of JP5300825B2 publication Critical patent/JP5300825B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置、指示受付方法及びコンピュータプログラム、並びに該コンピュータプログラムを記録してある記録媒体に関する。
近年、科学技術の発展に伴い、利用者の電気機器の操作性を改善する様々なインターフェースが提案されていた。
例えば、特許文献１ではディスプレイに電卓、リモートコントローラ等の仮想画像を表示し、これらの操作ボタン画像の位置と、利用者の指先の位置とを検出して、検出結果に基づき、前記操作ボタンが操作されたか否かを判定する入力装置が開示されている。
また、特許文献２では、複数の電子機器のリモートコントロール装置を、１つのリモートコントロール装置に集約し、取扱説明書の内容をリモートコントロール装置に表示するようにし、利用者が容易に電子機器の機能を把握して、リモートコントロールできるリモートコントロール装置が開示されている。
特開平７−５９７８号公報 特開２０００−１８４４７５号公報
一方、最近の電子機器は、多機能化の一方をたどり、各機能に係る操作ボタンも増え、その操作方法も複雑になりつつある。従って、利用者は、目的の機能に係る操作を行うために、複数のメニュー画面を何度も切り替えながら、斯かるボタンを探す苦労をしなければならないと言う問題があった。しかしながら、上述したような特許文献１の入力装置及び特許文献２のリモートコントロール装置ではこのような問題を解決することが出来ない。
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、立体画像である複数の指示受付画像のレイヤを、透視可能にして、奥行方向に重ねて表示し、検出された利用者の指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付け、表示部の表示画面からの距離及び検出された頭部の位置に基づき、何れかの指示受付画像を削除することにより、同時に数多いソフトキー（操作ボタン）を列挙し得る上に、該複数のソフトキーを利用者が一括して視認することができると共に、利用者が該複数の指示受付画像のレイヤに近づく際、該利用者の近い順に指示受付画像のレイヤを削除することができ、利用者の臨場感を高めることができる指示受付装置、指示受付方法及びコンピュータブログラム、並びに該コンピュータプログラムを記録している記録媒体を提供するところにある。
本発明に係る指示受付装置は、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、立体画像である複数の指示受付画像のレイヤを、透視可能にして奥行方向に重ね、表示部の表示画面に表示する表示手段と、利用者の指及び頭部の位置を検出する検出手段と、検出された指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付手段と、前記表示画面からの距離を表す情報を指示受付画像毎に記憶している記憶部とを備えており、検出された頭部の位置及び前記情報に基づき、前記表示手段が何れかの指示受付画像を削除するように構成されていることを特徴とする。
本発明にあっては、前記表示手段が、立体画像である複数の指示受付画像のレイヤを、透視可能にして、遠近方向に重ねて表示し、前記検出手段が利用者の指の位置を検出し、該検出手段の検出結果に基づき、前記指示受付手段が前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける。また、前記検出手段が利用者の頭部の位置を検出し、前記指示受付手段が、該検出手段の検出結果及び前記情報に基づき、前記複数の指示受付画像の中、何れかの指示受付画像を削除する。
本発明に係る指示受付装置は、前記指示受付手段が指示を受け付ける際、受け付ける指示に係る指示受付画像以外の指示受付画像は不明瞭に表示するように構成されていることを特徴とする。
本発明にあっては、前記指示受付手段が指示を受け付けるにおいて、前記複数の指示受付画像の中、受け付ける指示に係る指示受付画像以外の指示受付画像は、前記表示手段によって不明瞭に表示される。
本発明に係る指示受付方法は、表示部と、該表示部の表示画面からの距離を表す情報を指示受付画像毎に記憶している記憶部と、利用者の指及び頭部の位置を検出する検出手段とを備え、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付方法において、立体画像である複数の指示受付画像のレイヤを、透視可能にして奥行方向に重ね、前記表示画面に表示する表示ステップと、検出された指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付ステップと、検出された頭部の位置及び前記情報に基づき、何れかの指示受付画像を削除するステップとを含むことを特徴とする。
本発明に係るコンピュータプログラムは、表示部と、該表示部の表示画面からの距離を表す情報を指示受付画像毎に記憶している記憶部と、利用者の指及び頭部の位置を検出する検出手段とを備える指示受付装置を構成するコンピュータに、指示を受け付ける指示受付画像を介して指示を受付させるコンピュータプログラムにおいて、コンピュータに、立体画像である複数の指示受付画像のレイヤを、透視可能にして奥行方向に重ね、前記表示画面に表示させる表示ステップと、コンピュータに、検出された指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させる指示受付ステップと、コンピュータに、検出された頭部の位置及び前記情報に基づき、何れかの指示受付画像を削除させるステップとを実行させることを特徴とする。
本発明にあっては、立体画像である複数の指示受付画像のレイヤが透視可能な状態にて、遠近方向に重ねて表示され、検出された利用者の指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示が受け付けられる。また、検出された利用者の頭部の位置及び前記情報に基づき、前記複数の指示受付画像の中、何れかの指示受付画像が削除される。
本発明に係る記録媒体は、前述の発明のコンピュータプログラムを記録してあることを特徴とする。
本発明にあっては、前記記録媒体に前述のコンピュータプログラムを記録する。コンピュータが前記記録媒体からコンピュータプログラムを読み出して、前述の指示受付装置及び指示受付方法がコンピュータにより実現される。
本発明によれば、利用者の前に数多いソフトキーを同時に列挙できる上に、これら多くのソフトキーを利用者が一括して視認することができるので、当該装置の操作性を高めることが出来る。また、利用者が該複数の指示受付画像のレイヤに近づく際、該利用者の近い順に指示受付画像のレイヤが削除され、利用者の臨場感を高めることができる。
本発明の実施の形態１の指示受付装置の要部構成を示す機能ブロック図である。 深さ情報値の差による視覚的効果を説明する説明図である。 本発明の実施の形態１の指示受付装置の身***置検出部による利用者の特定の身体部位の位置検出を説明する説明図である。 本発明の実施の形態１の指示受付装置における、利用者の指示の受付を説明する説明図である。 本発明の実施の形態１の指示受付装置において表示される複数のウィンドウ画像の利用者視点での映り方を説明する説明図である。 本発明の実施の形態１の指示受付装置における、利用者の指示受付の処理を説明するフローチャートである。 本発明の実施の形態１の指示受付装置において、利用者が接近した場合の対応を示すフローチャートである。 Ｓ２０３でのＣＰＵ１による判定結果の一例を概念的に表す概念図である。 本発明の実施の形態２の指示受付装置１００の要部構成を示す機能ブロック図である。
以下に、本発明の実施の形態に係る、指示受付装置、指示受付方法及びコンピュータプログラムを図面に基づいて詳述する。
本発明に係る指示受付装置は、利用者から指示を受け付けるウィンドウ（指示受付画像）を立体画像にて表示し、利用者のゼスチャーから該ウィンドウに対する利用者の操作を検出し、利用者の指示を受け付けるように構成されている。
（実施の形態１）
図１は本発明の実施の形態１の指示受付装置１００の要部構成を示す機能ブロック図である。指示受付装置１００はＣＰＵ１、ＲＯＭ２及びＲＡＭ３を備えている。
ＲＯＭ２には各種の制御プログラムが予め格納されており、ＲＡＭ３はデータを一時的に記憶し、記憶順、記憶位置等に関係なく読み出すことが可能である。また、ＲＡＭ３は、例えば、ＲＯＭ２から読み出されたプログラム、該プログラムを実行することにより発生する各種データ等を記憶する。
ＣＰＵ１は、ＲＯＭ２に予め格納されている制御プログラムをＲＡＭ３上にロードして実行することによって、バスＮを介して下記の各種ハードウェアの制御を行い、装置全体を本発明の指示受付装置１００として動作させる。
本発明の実施の形態１の指示受付装置１００は、記憶部４と、画像バッファ５と、身***置検出部６と、指示受付部７と、３Ｄ表示部８と、画像解析部９と、３Ｄ用画像生成部１０と、表示制御部１１とを更に備えている。
記憶部４は、２次元で作成されたウィンドウ画像データに深さ情報を付した深さ情報付ウィンドウ画像データが記憶されている。詳しくは、該深さ情報付ウィンドウ画像データには、ウィンドウ画像を構成する２次元座標（後述するウィンドウ構成座標）に加え、３Ｄ表示部８の表示画面に対する奥行方向の位置を定める深さ情報値が含まれている。すなわち、各ウィンドウには複数のソフトキーが含まれているので、夫々のソフトキーを描画して、ウィンドウを構成する２次元座標と、該２次元座標に係る深さ情報値が含まれている。
図２は深さ情報値の差による視覚的効果を説明する説明図である。複数のウィンドウ画像に付された該深さ情報値が異なることによって、３Ｄ表示部８に複数のウィンドウ画像を表示する際、奥行感が変更されるので、図２に示すように、ｚ軸方向に段階的第１ウィンドウレイヤ、第２ウィンドウレイヤ及び第３ウィンドウレイヤが存在することとなり、相対的立体視を得ることができる。
また、記憶部４は、３Ｄ表示部８の表示画面からの距離を表す奥行情報と、夫々の深さ情報付ウィンドウ画像データの深さ情報値とを関連付けた深さ奥行テーブルを記憶している。詳しくは、該深さ奥行テーブルには、夫々のウィンドウ（ウィンドウレイヤ）の深さ情報値と、該深さ情報値に基づいて任意に設定された奥行情報とが関連付けられている。該深さ奥行テーブルと、後述するように、身***置検出部６によって取得される利用者の特定の身体部位の２次元座標及び奥行情報とに基づき、指示受付部７が利用者から指示を受け付ける。
画像解析部９は、３Ｄ表示部８に表示すべき画像（ウィンドウ画像データ）が深さ情報を有しているか否かを解析する。画像解析部９は該画像が深さ情報を有していると解析した場合は、当該深さ情報値を検出して３Ｄ用画像生成部１０に送る。
３Ｄ用画像生成部１０は、画像解析部９によって検出された深さ情報に基づき、３Ｄ表示部８に表示すべきウィンドウの３Ｄ用画像を生成する。
人間の左目と右目とはある程度離れているため、左目と右目から見える絵がそれぞれ微妙に異なり、この左目及び右目の視差によって立体的に感じることができる。本発明に係る指示受付装置においては、この原理を用いている。すなわち、３Ｄ用画像生成部１０は、画像解析部９によって検出された深さ情報に基づき、視差を有する左目用画像と右目用画像とを生成する。斯かる左目用画像及び右目用画像の生成方法は公知の技術であるので、ここでは詳しい説明を省略する。
画像バッファ５は、３Ｄ用画像生成部１０によって生成されたウィンドウの左目用画像及び右目用画像を一時的に格納する。画像バッファ５は、左目用画像バッファ５１及び右目用画像バッファ５２を有しており、３Ｄ用画像生成部１０によって生成された左目用画像は左目用画像バッファ５１に、３Ｄ用画像生成部１０によって生成された右目用画像は右目用画像バッファ５２に夫々格納される。
表示制御部１１は、３Ｄ用画像生成部１０によって生成されたウィンドウの左目用画像及び右目用画像を３Ｄ表示部８に表示する際、立体視のための処理を行う。詳しくは、左目用画像バッファ５１と右目用画像バッファ５２とに各々格納される左目用画像と右目用画像とを各々読出し、横方向（ｘ軸方向）に所定幅の列に分割する。そして、左目用画像と右目用画像との列を交互に３Ｄ表示部８に表示する。この処理は公知の技術を用いるものであるので、詳しい説明を省略する。
また、表示制御部１１は、必要に応じて、所定のウィンドウ（ウィンドウレイヤ）を不明瞭に表示する。表示制御部１１は、例えば、焦点がずれたように表示する、いわゆる、ぼかし効果を施して、当該ウィンドウを表示する。
３Ｄ表示部８は、例えば３Ｄ液晶で構成される。すなわち、３Ｄ表示部８に表示される各列は偏光グラスを介した表示のような効果を奏し、左目用画像から生成された列は左目だけに、右目用画像から生成された列は右目だけに入る。この結果、３Ｄ表示部８に表示されるわずかに異なる左目用画像と右目用画像とは、各々左目と右目とに入り、利用者にとっては、左目用画像と右目用画像とからなるウィンドウ画像が１つの立体画像として見える。
身***置検出部６は利用者の特定の身体部位の位置を検出する。身***置検出部６は、例えば、視覚用ＲＧＢカメラ、赤外線を用いる奥行き検出用被写界深度カメラなどを備えている。
図３は本発明の実施の形態１の指示受付装置１００の身***置検出部６による利用者の特定の身体部位の位置検出を説明する説明図である。身***置検出部６においては、前記ＲＧＢカメラが利用者を撮影し、当該撮影画像上における、利用者の特定の身体部位（例えば、顔、指先等）が検出される。該検出の処理においては、既存の技術を用いる。例えば、身***置検出部６のＲＧＢカメラによる撮影画像の中から肌の色に近い領域を検出し、検出した領域内に、目、眉及び口等の人間の顔に含まれる特徴的な形状の図形が含まれるか否か、又は人間の手の特徴な形状の図形が含まれるか否かを判定し、該特徴的な形状の図形が含まれている場合、頭部又は手であると認識して頭部及び指先の位置（例えば、２次元座標）を検出する。
前記ＲＧＢカメラによって検出された、例えば、利用者の頭部及び指先に対して、被写界深度カメラは、利用者の指先の奥行情報（ｄｆ）、頭部の奥行情報（ｄｈ）等を取得する。
身***置検出部６は、このように、ＲＧＢカメラによって検出された、利用者の頭部及び手（指先）の当該撮影画像上の２次元座標と、前記被写界深度カメラによって取得された利用者の指先の奥行情報（ｄｆ）及び頭部の奥行情報（ｄｈ）に基づき、利用者の指先及び頭部の位置を特定することが出来る。
指示受付部７は、身***置検出部６による検出結果と、前記深さ奥行テーブルと、ウィンドウ画像を構成する２次元座標（以下、ウィンドウ構成座標と言う。）とに基づき、利用者の指示を受け付ける。
以下、指示受付部７による利用者の指示受付を詳しく説明する。図４は本発明の実施の形態１の指示受付装置１００における、利用者の指示の受付を説明する説明図である。本発明の実施の形態１の指示受付装置１００においては、図４に示すように、表示すべき複数のウィンドウの深さ情報値を異にすることによって、利用者に対して、複数のウィンドウレイヤが段階的に重なった立体表示される。この際、利用者は、例えば、指先を適宜移動させ、何れかのウィンドウレイヤのソフトキーを操作する動作を行い、身***置検出部６が指先の２次元座標及び奥行情報を検出する。この場合、ＣＰＵ１は、前記深さ奥行テーブルに基づき、検出された指先の奥行情報に対応する深さ情報値を取得し、取得した深さ情報に係るウィンドウレイヤを特定する。更に、ＣＰＵ１は、前記ウィンドウ構成座標に基づき、当該ウィンドウレイヤのソフトキーの中、検出された指先の２次元座標に対応する２次元座標のソフトキーを特定する。指示受付部７は、ＣＰＵ１による特定結果に基づき、所定のウィンドウレイヤのソフトキーに係る指示を受け付けたものと認識する。
また、本発明の実施の形態１の指示受付装置１００においては、上述したように、複数のウィンドウレイヤを段階的に重って立体表示するにおいて、各ウィンドウレイヤ（ウィンドウ）を透明又は半透明にして表示する。詳しくは、各ソフトキーを描画する枠及び文字以外は透明又は半透明にして表示される。図５は本発明の実施の形態１の指示受付装置１００において表示される複数のウィンドウ画像の利用者視点での映り方を説明する説明図である。
図５に示すように、本発明の実施の形態１の指示受付装置１００においては、複数のウィンドウレイヤが透明又は半透明に重なって立体表示されるので、利用者はすべてのウィンドウレイヤのソフトキーを一括して視認できる。すなわち、各ウィンドウレイヤの面積（図中、ｘ方向及びｙ方向）を広げることなく、数多いソフトキーを利用者の前に列挙することが出来る。
なお、以上の構成に限るものでなく、各ウィンドウレイヤの大きさ、明度等を変えることによって、ウィンドウレイヤの遠近感を高めるように構成しても良い。
図６は本発明の実施の形態１の指示受付装置１００における、利用者の指示受付の処理を説明するフローチャートである。
まず、利用者が本発明の実施の形態１の指示受付装置１００を適宜操作することによって、複数のウィンドウレイヤを表示するよう指示する。利用者の指示に応じて、表示制御部１１は透明な複数のウィンドウレイヤを重ねて立体表示させる（Ｓ１０１）。表示制御部１１によるウィンドウレイヤの立体表示ついては、上述したとおりであり、詳しい説明を省略する。
次いで、身***置検出部６は利用者の指先の位置を検出する（Ｓ１０２）。身***置検出部６によって、利用者の指先の２次元座標及び奥行情報が取得される。身***置検出部６による利用者の指先の位置の検出については、上述したとおりであり、詳しい説明を省略する。
この後、ＣＰＵ１は、身***置検出部６を介して取得した利用者の指先の奥行情報と、記憶部４に記憶されている深さ奥行テーブルとに基づき、指先の奥行情報に対応する深さ情報値を取得し、該深さ情報に係るウィンドウレイヤを特定する。
更に、ＣＰＵ１は、特定されたウィンドウレイヤ（以下、特定ウィンドウレイヤと言う）以外のウィンドウレイヤを不明瞭に表示するように、表示制御部１１に表示する。表示制御部１１は、ＣＰＵ１の指示に応じて、特定ウィンドウレイヤ以外のウィンドウレイヤに前記ぼかし効果を施し、不明瞭に表示する（Ｓ１０３）。これによって、今現在、注目されているウィンドウレイヤを利用者に認識させ、いわゆるアクティブ化と同様の効果を得ることが出来る。
次いで、ＣＰＵ１は、身***置検出部６によって取得された利用者の指先の２次元座標に基づき、利用者の指先が所定のソフトキー内にあるか否かを判定する（Ｓ１０４）。詳しくは、前記ウィンドウ構成座標に基づいて、所定のソフトキーに係る２次元座標によって区画（描画）される範囲内に、利用者の指先の２次元座標が存在するか否かを判定する。
ＣＰＵ１は、利用者の指先が所定のソフトキー内にないと判定した場合（Ｓ１０４：ＮＯ）、利用者の指先が所定のソフトキー内に入るまで待機する。
一方、ＣＰＵ１が利用者の指先が所定のソフトキー内にあると判定した場合（Ｓ１０４：ＹＥＳ）、表示制御部１１は当該ソフトキーをアクティブ化し（Ｓ１０５）、該ソフトキーが注目されている旨を利用者に通知する。例えば、表示制御部１１は、当該ソフトキーに色を付して表示する。
次いで、ＣＰＵ１は当該ソフトキーの操作があったか否かを判定する（Ｓ１０６）。例えば、利用者は当該ソフトキーを操作するために、指先にて当該ソフトキーを押厚する動作を行う。斯かる際、ＣＰＵ１は身***置検出部６を介して利用者の指先を監視する。例えば、利用者の指先の押厚動作によって、指先の２次元座標には大きな変化がないものの、指先の奥行情報に大きな変化が現れた場合、ＣＰＵ１は当該ソフトキーの操作があったと判定する。
ＣＰＵ１は、例えば、所定の時間、当該ソフトキーの操作がないと判定した場合（Ｓ１０６：ＮＯ）、処理をＳ１０２に戻す。
一方、ＣＰＵ１が所定のソフトキーの操作があったと判定した場合（Ｓ１０６：ＹＥＳ）、指示受付部７は該ソフトキーに係る指示を受け付けたものと認識する（Ｓ１０７）。
斯かる際、ＣＰＵ１は、指示受付部７を介して受け付けた所定のソフトキーに係る指示を実行する（Ｓ１０８）。
ところが、上述したように、複数のウィンドウレイヤが透明又は半透明に重なって立体表示されている場合、利用者が、遠く見えるウィンドウレイヤを近くで見ようと近づく場合が想定できる。このように利用者が指示受付装置１００側に接近した場合における、本発明の実施の形態１の指示受付装置１００の対応について以下に説明する。
図７は本発明の実施の形態１の指示受付装置１００において、利用者が接近した場合の対応を示すフローチャートである。説明の便宜上、複数のウィンドウレイヤが表示された後（図４参照）、利用者が遠く見えるウィンドウレイヤ（例えば、図４中、第３ウィンドウレイヤ）を近くで見ようとして指示受付装置１００側に近づく場合を例に説明する。
まず、利用者が本発明の実施の形態１の指示受付装置１００を適宜操作することによって、複数のウィンドウレイヤを表示するよう指示する。利用者の指示に応じて、表示制御部１１は透明な複数のウィンドウレイヤを重ねて立体表示させる（Ｓ２０１）。表示制御部１１によるウィンドウレイヤの立体表示ついては、上述したとおりであり、詳しい説明を省略する。
次いで、身***置検出部６は利用者の頭部の位置を検出する（Ｓ２０２）。身***置検出部６によって、利用者の頭部の２次元座標及び奥行情報が取得される。身***置検出部６による利用者の頭部の位置の検出については、上述したとおりであり、詳しい説明を省略する。
次いで、ＣＰＵ１は、身***置検出部６によって取得された利用者の頭部の奥行情報に基づき、利用者が指示受付装置１００から所定距離内に居るか否かを判定する（Ｓ２０３）。すなわち、身***置検出部６によって取得される奥行情報は、指示受付装置１００からの距離によって変更される。換言すれば、該奥行情報は、指示受付装置１００からの距離を表すものである。従って、前記所定距離に対応する奥行情報の閾値を予め設定しておけば、該閾値と、身***置検出部６によって取得された奥行情報とを比較することによって、利用者が所定距離内に居るか否かを判定することができる。
より詳しくは、本発明の実施の形態１においては、前記奥行情報の閾値として、前記深さ奥行テーブルに書き込まれている、各ウィンドウレイヤに係る奥行情報を用いるように構成されている。すなわち、Ｓ２０３において、ＣＰＵ１は、身***置検出部６によって取得された利用者の頭部の奥行情報と、深さ奥行テーブルの各ウィンドウレイヤに係る奥行情報とを比較することによって、利用者が指示受付装置１００から所定距離内に居るか否かを判定する。
一方、例えば、利用者が遠く見えるウィンドウレイヤ（例えば、図４中、第３ウィンドウレイヤ）を近くで見ようとして指示受付装置１００側に近づいたことから、身***置検出部６によって取得された利用者の頭部の奥行情報（距離）が第１ウィンドウレイヤに係る奥行情報（距離）内であると、ＣＰＵ１によって判定される場合が生じる（Ｓ２０３：ＹＥＳ）。図８はこのような場合を、概念的に示す概念図である。斯かるＣＰＵ１の判定結果を仮想的に表すと、図８に示すように、利用者の頭部が第１ウィンドウレイヤより、指示受付装置１００側に接近している状態に該当する。
このような場合、ＣＰＵ１は、第１ウィンドウレイヤを削除するように、表示制御部１１に指示する。ＣＰＵ１の指示に応じて、表示制御部１１は、第１ウィンドウレイヤを３Ｄ表示部８から削除する（Ｓ２０４）。
なお、ＣＰＵ１によって、Ｓ２０３で、身***置検出部６によって取得された利用者の頭部の奥行情報（距離）が、第２ウィンドウレイヤに係る奥行情報（距離）内であると判定された場合は、表示制御部１１は、第１ウィンドウレイヤ及び第２ウィンドウレイヤを３Ｄ表示部８から削除する。
一方、ＣＰＵ１は利用者が指示受付装置１００から所定距離内に居ないと判定した場合（Ｓ２０３：ＮＯ）、すなわち、ＣＰＵ１が、身***置検出部６によって取得された利用者の頭部の奥行情報（距離）が、前記深さ奥行テーブルの何れのウィンドウレイヤに係る奥行情報（距離）内でないと判定した場合は、処理をＳ２０２に戻す。
本発明の実施の形態１の指示受付装置１００の構成は上述した構成に限るものでない。例えば、利用者の頭部又は指先の所定のゼスチャーにより、２次元座標及び奥行情報に所定の変化が検知された場合、各ウィンドウレイヤの順番（ｚ軸方向）を置き換えるように構成しても良い。
更に、以上の記載においては、身***置検出部６が視覚用ＲＧＢカメラ、赤外線を用いる奥行き検出用被写界深度カメラを備え、利用者の特定の身体部位の位置を検出する構成である場合を例に説明したが、これに限るものでない。例えば、利用者の特定の身体部位に赤外線発光素子を着用させ、該赤外線発光素子からの赤外線を拾って利用者の特定の身体部位の位置を検出する構成であっても良い。
また、以上の記載においては、複数のウィンドウ（ウィンドウレイヤ）が３Ｄ表示部８によって重なって立体表示される場合を例として説明したが、これに限るものでない。例えば、いわゆる、ＨＭＤ（Head Mount Display）を用いる構成であっても良い。
なお、３Ｄ表示部８を用いる構成でなく、いわゆる、プリミティブな方式、偏光フィルター又は液晶シャッターのメガネ方式を用いる構成であっても良い。
（実施の形態２）
図９は本発明の実施の形態２の指示受付装置１００の要部構成を示す機能ブロック図である。実施の形態２の指示受付装置１００は、動作を行うためのコンピュータプログラムが、Ｉ／Ｆ１３を介してＣＤ−ＲＯＭ等の可搬型記録媒体Ａで提供することも可能であるように構成されている。さらに、実施の形態２の指示受付装置１００は、前記コンピュータプログラムを、図示しない外部装置から通信部１２を介してダウンロードすることも可能であるように構成されている。以下に、その内容を説明する。
実施の形態２の指示受付装置１００は外装（又は内装）の記録媒体読み取り装置（図示せず）を備えており、該記録媒体読み取り装置に、立体画像である複数の指示受付画像のレイヤを、透視可能にして、重ねて表示させ、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させるプログラム等が記録された可搬型記録媒体Ａを挿入して、例えば、ＣＰＵ１がＲＯＭ２にこのプログラムをインストールする。かかるプログラムはＲＡＭ３にロードして実行される。これにより、実施の形態１の本発明の指示受付装置１００として機能する。
前記記録媒体としては、いわゆるプログラムメディアであっても良く、磁気テープ及びカセットテープ等のテープ系、フレキシブルディスク及びハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
通信部１２を介してネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
実施の形態１と同様の部分については、同一の符号を付して詳細な説明を省略する。
１ ＣＰＵ
６ 身***置検出部（検出手段）
７ 指示受付部（指示受付手段）
８ ３Ｄ表示部
１１ 表示制御部（表示手段）
１００ 指示受付装置

Claims (5)

  1. 指示を受け付ける指示受付画像を介して指示を受け付ける指示受付装置において、
    立体画像である複数の指示受付画像のレイヤを、透視可能にして奥行方向に重ね、表示部の表示画面に表示する表示手段と、
    利用者の指及び頭部の位置を検出する検出手段と、
    検出された指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付手段と、
    前記表示画面からの距離を表す情報を指示受付画像毎に記憶している記憶部とを備えており、
    検出された頭部の位置及び前記情報に基づき、前記表示手段が何れかの指示受付画像を削除するように構成されていることを特徴とする指示受付装置。
  2. 前記指示受付手段が指示を受け付ける際、受け付ける指示に係る指示受付画像以外の指示受付画像は不明瞭に表示するように構成されていることを特徴とする請求項１に記載の指示受付装置。
  3. 表示部と、該表示部の表示画面からの距離を表す情報を指示受付画像毎に記憶している記憶部と、利用者の指及び頭部の位置を検出する検出手段とを備え、指示を受け付ける指示受付画像を介して指示を受け付ける指示受付方法において、
    立体画像である複数の指示受付画像のレイヤを、透視可能にして奥行方向に重ね、前記表示画面に表示する表示ステップと、
    検出された指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受け付ける指示受付ステップと、
    検出された頭部の位置及び前記情報に基づき、何れかの指示受付画像を削除するステップと
    を含むことを特徴とする指示受付方法。
  4. 表示部と、該表示部の表示画面からの距離を表す情報を指示受付画像毎に記憶している記憶部と、利用者の指及び頭部の位置を検出する検出手段とを備える指示受付装置を構成するコンピュータに、指示を受け付ける指示受付画像を介して指示を受付させるコンピュータプログラムにおいて、
    コンピュータに、立体画像である複数の指示受付画像のレイヤを、透視可能にして奥行方向に重ね、前記表示画面に表示させる表示ステップと、
    コンピュータに、検出された指の位置に基づき、前記複数の指示受付画像の中、何れかの指示受付画像に係る指示を受付させる指示受付ステップと、
    コンピュータに、検出された頭部の位置及び前記情報に基づき、何れかの指示受付画像を削除させるステップと
    を実行させることを特徴とするコンピュータプログラム。
  5. 請求項４に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
JP2010256920A 2010-11-17 2010-11-17 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体 Active JP5300825B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010256920A JP5300825B2 (ja) 2010-11-17 2010-11-17 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体
US13/296,608 US20120120066A1 (en) 2010-11-17 2011-11-15 Instruction accepting apparatus, instruction accepting method, and recording medium
CN2011103649299A CN102467236A (zh) 2010-11-17 2011-11-17 指示受理装置和指示受理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010256920A JP5300825B2 (ja) 2010-11-17 2010-11-17 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2012108723A JP2012108723A (ja) 2012-06-07
JP5300825B2 true JP5300825B2 (ja) 2013-09-25

Family

ID=46047331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010256920A Active JP5300825B2 (ja) 2010-11-17 2010-11-17 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体

Country Status (3)

Country Link
US (1) US20120120066A1 (ja)
JP (1) JP5300825B2 (ja)
CN (1) CN102467236A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227413B2 (en) 2017-03-27 2022-01-18 Suncorporation Image display system

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130162624A1 (en) * 2011-12-22 2013-06-27 Research In Motion Limited Method and apparatus pertaining to modification of a three-dimensional presentation of a user-interaction opportunity
WO2013140815A1 (ja) 2012-03-22 2013-09-26 東洋製罐グループホールディングス株式会社 熱可塑性樹脂製品の成形方法及びその成形装置
WO2014009561A2 (en) * 2012-07-13 2014-01-16 Softkinetic Software Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
JP6232694B2 (ja) * 2012-10-15 2017-11-22 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
JP6428020B2 (ja) * 2014-07-24 2018-11-28 セイコーエプソン株式会社 Ｇｕｉ装置
JP2016148965A (ja) * 2015-02-12 2016-08-18 三菱電機株式会社 表示制御装置および表示制御方法
DE102015212920A1 (de) * 2015-07-10 2017-01-12 Bayerische Motoren Werke Aktiengesellschaft Bedienung von dreidimensionalen Benutzerschnittstellen
JP6620480B2 (ja) 2015-09-15 2019-12-18 オムロン株式会社 文字入力方法および文字入力用のプログラムならびに情報処理装置
US10218793B2 (en) 2016-06-13 2019-02-26 Disney Enterprises, Inc. System and method for rendering views of a virtual space
DE102016216577A1 (de) 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft Verfahren zur Interaktion mit Bildinhalten, die auf einer Anzeigevorrichtung in einem Fahrzeug dargestellt werden
JP7040041B2 (ja) * 2018-01-23 2022-03-23 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
JP2020071641A (ja) * 2018-10-31 2020-05-07 株式会社デンソー 入力操作装置及びユーザインタフェースシステム
JP7424047B2 (ja) * 2019-12-25 2024-01-30 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2824997B2 (ja) * 1989-11-29 1998-11-18 キヤノン株式会社 複数ウインド表示装置
US5835088A (en) * 1995-12-12 1998-11-10 International Business Machines Corporation Method and apparatus for providing programmable window-to-window focus change within a data processing system using a graphical user interface
US6118427A (en) * 1996-04-18 2000-09-12 Silicon Graphics, Inc. Graphical user interface with optimal transparency thresholds for maximizing user performance and system efficiency
JP3476651B2 (ja) * 1997-05-09 2003-12-10 シャープ株式会社 データ表示装置およびデータ表示プログラムを格納したコンピュータ読み取り可能な記録媒体
JP3982288B2 (ja) * 2002-03-12 2007-09-26 日本電気株式会社 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
JP2003308167A (ja) * 2002-04-17 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> 情報入出力装置と方法
JP2004192306A (ja) * 2002-12-11 2004-07-08 Nippon Telegr & Teleph Corp <Ntt> 表示位置変更装置、表示位置変更方法、表示位置変更プログラム及びそのプログラムを記録した記録媒体
JP4566596B2 (ja) * 2004-03-29 2010-10-20 アルパイン株式会社 操作指示装置
CN100480972C (zh) * 2004-06-29 2009-04-22 皇家飞利浦电子股份有限公司 图形用户界面的多层显示
US7178111B2 (en) * 2004-08-03 2007-02-13 Microsoft Corporation Multi-planar three-dimensional user interface
JP2008204145A (ja) * 2007-02-20 2008-09-04 Sega Corp 画像処理装置、プログラム及びコンピュータ読み取り可能な記録媒体
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
EP2329313A4 (en) * 2008-08-27 2013-04-10 Puredepth Ltd IMPROVEMENTS OF, OR IN CONNECTION WITH ELECTRONIC VISUAL DISPLAYS
US9524700B2 (en) * 2009-05-14 2016-12-20 Pure Depth Limited Method and system for displaying images of various formats on a single display
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227413B2 (en) 2017-03-27 2022-01-18 Suncorporation Image display system

Also Published As

Publication number Publication date
CN102467236A (zh) 2012-05-23
US20120120066A1 (en) 2012-05-17
JP2012108723A (ja) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5300825B2 (ja) 指示受付装置、指示受付方法、コンピュータプログラム及び記録媒体
US20210405761A1 (en) Augmented reality experiences with object manipulation
US10591729B2 (en) Wearable device
JP6551502B2 (ja) ヘッドマウントディスプレイ、情報処理方法、及びプログラム
CN103080887B (zh) 用于基于接近的输入的装置和方法
CN103858073B (zh) 增强现实设备、操作增强现实设备的方法、计算机可读介质
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
CN108474950A (zh) Hmd设备及其控制方法
US11675198B2 (en) Eyewear including virtual scene with 3D frames
KR20230025909A (ko) 증강 현실 안경류 3d 페인팅
JP2013016018A (ja) 表示制御装置、制御方法及びプログラム
CN117008731A (zh) 用于导航用户界面的方法
CN117916777A (zh) 手工制作的增强现实努力证据
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
EP3088991B1 (en) Wearable device and method for enabling user interaction
JP2012252386A (ja) 表示装置
CN117897680A (zh) 基于物理动作的增强现实通信交换
JP6999822B2 (ja) 端末装置および端末装置の制御方法
JP5976174B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
JP7505113B2 (ja) ウェアラブル端末装置、プログラムおよび表示方法
JP7470226B2 (ja) Ｘｒマルチウィンドウ制御
KR102359601B1 (ko) 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치
CN117940964A (zh) 手工制作的增强现实体验
CN117940877A (zh) 增强现实道具交互

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130618

R150 Certificate of patent or registration of utility model

Ref document number: 5300825

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150