JP5743416B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP5743416B2
JP5743416B2 JP2010076301A JP2010076301A JP5743416B2 JP 5743416 B2 JP5743416 B2 JP 5743416B2 JP 2010076301 A JP2010076301 A JP 2010076301A JP 2010076301 A JP2010076301 A JP 2010076301A JP 5743416 B2 JP5743416 B2 JP 5743416B2
Authority
JP
Japan
Prior art keywords
image
user
finger
target device
operation target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010076301A
Other languages
English (en)
Other versions
JP2011209965A5 (ja
JP2011209965A (ja
Inventor
松田　晃一
晃一 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010076301A priority Critical patent/JP5743416B2/ja
Priority to EP11153634.8A priority patent/EP2372495B1/en
Priority to US13/049,445 priority patent/US9058057B2/en
Priority to CN201110074093.9A priority patent/CN102207819B/zh
Priority to KR1020110025181A priority patent/KR20110109883A/ko
Publication of JP2011209965A publication Critical patent/JP2011209965A/ja
Publication of JP2011209965A5 publication Critical patent/JP2011209965A5/ja
Priority to US14/708,680 priority patent/US9891715B2/en
Application granted granted Critical
Publication of JP5743416B2 publication Critical patent/JP5743416B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、操作対象の機器をより簡単に遠隔から操作することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
家電製品などの機器を操作しようとする場合、その機器の本体に設けられるスイッチを押したり、操作しようとする機器が照明器具であるときには壁にあるスイッチを押したりすることが通常行われる。また、機器が遠隔にあるときには、リモートコントローラを使って操作することが行われる。
特許文献１には、メガネ型ビューワーに操作メニューを表示させ、操作メニューに対するユーザの操作を検出して、機器を遠隔操作する技術が開示されている。
特開平６−１５３０１６号公報
スイッチを押して操作する場合、操作者は、スイッチを押すことができる場所に移動して操作する必要がある。また、操作しようとする機器毎に、操作者はスイッチの場所を覚える必要がある。
リモートコントローラを使って操作する場合、位置を移動する必要はないが、操作者は、リモートコントローラを探して手にとり、そのあと、スイッチ（ボタン）を探して押す必要がある。また、リモートコントローラの形状も変わることから、操作しようとする機器毎に、操作者はリモートコントローラ上のスイッチの場所を覚える必要がある。
本発明はこのような状況に鑑みてなされたものであり、操作対象の機器をより簡単に遠隔から操作することができるようにするものである。
本発明の一側面の情報処理装置は、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶する記憶手段と、ユーザの視線を含む範囲が撮影範囲となる位置に取り付けられたカメラにより撮影された画像を取得する取得手段と、前記画像に含まれる複数の物体を、前記記憶手段に記憶されている前記特徴量のデータに基づいて認識する認識手段と、前記画像に含まれる複数の物体がそれぞれ前記操作対象機器であると前記認識手段により認識された場合、前記記憶手段に記憶されている前記操作画像のデータに基づいて、前記操作対象機器の数と同じ数の前記操作画像を、近くにある前記操作対象機器の操作に用いられる前記操作画像を遠くにある前記操作対象機器の操作に用いられる前記操作画像より大きく表示させるように、それぞれの前記操作対象機器と前記ユーザの距離に応じた大きさでディスプレイに同時に表示させる表示制御手段と、前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置と、前記ユーザの指の前記画像上の大きさを認識する指認識手段と、前記指認識手段により認識された前記ユーザの指が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の大きさが、直前の大きさより小さくなったタイミングで、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信する制御手段とを備える。
前記表示制御手段には、前記画像に含まれる複数の前記操作対象機器の、それぞれの前記画像上の位置に対応する前記ディスプレイの位置に、前記操作画像を表示させることができる。
前記操作画像の表示に関する設定の内容を表す設定情報を記憶する設定情報記憶手段をさらに設けることができる。この場合、前記表示制御手段には、前記設定情報の内容に従って前記操作画像の表示を制御させることができる。
本発明の一側面の情報処理方法は、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、ユーザの視線を含む範囲が撮影範囲となる位置に取り付けられたカメラにより撮影された画像を取得し、前記画像に含まれる複数の物体を、記憶している前記特徴量のデータに基づいて認識し、前記画像に含まれる複数の物体がそれぞれ前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて、前記操作対象機器の数と同じ数の前記操作画像を、近くにある前記操作対象機器の操作に用いられる前記操作画像を遠くにある前記操作対象機器の操作に用いられる前記操作画像より大きく表示させるように、それぞれの前記操作対象機器と前記ユーザの距離に応じた大きさでディスプレイに同時に表示させ、前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置と、前記ユーザの指の前記画像上の大きさを認識し、認識した前記ユーザの指が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の大きさが、直前の大きさより小さくなったタイミングで、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信するステップを含む。
本発明の一側面のプログラムは、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、ユーザの視線を含む範囲が撮影範囲となる位置に取り付けられたカメラにより撮影された画像を取得し、前記画像に含まれる複数の物体を、記憶している前記特徴量のデータに基づいて認識し、前記画像に含まれる複数の物体がそれぞれ前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて、前記操作対象機器の数と同じ数の前記操作画像を、近くにある前記操作対象機器の操作に用いられる前記操作画像を遠くにある前記操作対象機器の操作に用いられる前記操作画像より大きく表示させるように、それぞれの前記操作対象機器と前記ユーザの距離に応じた大きさでディスプレイに同時に表示させ、前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置と、前記ユーザの指の前記画像上の大きさを認識し、認識した前記ユーザの指が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の大きさが、直前の大きさより小さくなったタイミングで、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信するステップを含む処理をコンピュータに実行させる。
本発明の一側面においては、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータが記憶され、ユーザの視線を含む範囲が撮影範囲となる位置に取り付けられたカメラにより撮影された画像が取得され、前記画像に含まれる複数の物体が、記憶されている前記特徴量のデータに基づいて認識される。また、前記画像に含まれる複数の物体がそれぞれ前記操作対象機器であると認識された場合、記憶されている前記操作画像のデータに基づいて、前記操作対象機器の数と同じ数の前記操作画像が、近くにある前記操作対象機器の操作に用いられる前記操作画像が遠くにある前記操作対象機器の操作に用いられる前記操作画像より大きく表示されるように、それぞれの前記操作対象機器と前記ユーザの距離に応じた大きさでディスプレイに同時に表示される。前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置と、前記ユーザの指の前記画像上の大きさが認識され、認識された前記ユーザの指が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の大きさが、直前の大きさより小さくなったタイミングで、前記操作画像を用いた操作を指示するコマンドが前記操作対象機器に送信される。
本発明によれば、ユーザは、操作対象の機器をより簡単に遠隔から操作することができる。
本発明の一実施形態に係る情報処理装置を用いたMRシステムの外観例を示す図である。 HMDを装着したユーザの見え方の例を示す図である。 ボタン操作時のユーザの見え方の例を示す図である。 操作画像の表示の例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 物体の認識について説明する図である。 情報処理装置の操作画像表示処理について説明するフローチャートである。 操作画像の表示位置について説明する図である。 情報処理装置の制御処理について説明するフローチャートである。 情報処理装置の制御処理について説明する、図１０に続くフローチャートである。 指のサイズの変化の例を示す図である。 操作対象機器の処理について説明するフローチャートである。 情報処理装置の他の機能構成例を示すブロック図である。 操作画像の表示の例を示す図である。 操作画像の他の表示の例を示す図である。 他のHMDの外観の例を示す図である。 携帯端末の外観の例を示す図である。 携帯端末の他の外観の例を示す図である。
＜第１の実施の形態＞
［MR(Mixed Reality)システム］
図１は、本発明の一実施形態に係る情報処理装置を用いたMRシステムの外観例を示す図である。
図１に示すように、ユーザＵは、携帯型のコンピュータである情報処理装置１を携帯している。また、ユーザＵは、ヘッドマウントディスプレイ（HMD(Head Mounted Display)）２を装着している。情報処理装置１とHMD２は、有線または無線で通信を行うことが可能になっている。
HMD２には、カメラ１１とディスプレイ１２が設けられる。
カメラ１１は、HMD２を装着したユーザＵの前方を撮影可能な位置に取り付けられる。カメラ１１の撮影範囲にはユーザＵの視線が含まれる。カメラ１１により撮影された画像は情報処理装置１に送信される。所定のフレームレートで画像（動画）の撮影がカメラ１１により続けられることにより、情報処理装置１には、ユーザＵが見ている風景の画像が提供されることになる。
ディスプレイ１２は、HMD２を装着したユーザＵの目の前方に取り付けられる。ディスプレイ１２は透過性のある部材により構成され、情報処理装置１から送信されてきたデータに基づいて画像などを表示する。ユーザＵは、風景をディスプレイ１２越しに見ることもできるし、ディスプレイ１２に表示された画像を見ることもできる。
例えばユーザＵが携帯する情報処理装置１においては、カメラ１１により撮影された画像に基づいて、ユーザＵが見ている物体が何であるのかが物体認識により認識される。情報処理装置１には、ユーザＵが見ている物体を認識するための、物体の認識用のデータが記憶されている。認識用のデータには、操作対象機器２１の外観の画像から抽出された、操作対象機器２１の外観の特徴を表すデータも含まれている。
すなわち、カメラ１１により撮影された画像にはユーザＵの視線が含まれるから、カメラ１１により撮影された画像に含まれる物体をユーザＵが見ている物体と仮定して認識が行われることになる。
また、情報処理装置１においては、ユーザＵが操作対象機器２１を見ていることが検出された場合、操作対象機器２１のGUI(Graphical User Interface)データに基づいて、ボタンなどの操作画像がディスプレイ１２に表示される。情報処理装置１には、操作対象機器２１を含む各種の機器と関連付けて、機器の操作に用いられる操作画像を表示するためのGUIデータが記憶されている。
図２は、HMD２を装着したユーザＵの見え方の例を示す図である。
図２の例においては、ユーザＵの視界の範囲を枠で囲んで示しているが、実際には、図に示す範囲より広い範囲の風景をユーザＵは見ている。
図２の左端に示すように、操作対象機器２１は、ユーザＵの位置から少し離れたテーブルの上に置かれている。操作対象機器２１を見た直後はディスプレイ１２には何も表示されていないから、ユーザＵは、前方の風景だけをディスプレイ１２越しに見ることになる。図２の左端に示すような風景がカメラ１１により撮影される。
カメラ１１により撮影された画像に基づいて、ユーザＵが操作対象機器２１を見ていることが検出された場合、操作対象機器２１の操作に用いられる操作画像がディスプレイ１２に表示される。操作画像がディスプレイ１２に表示されたときのユーザＵの見え方を白抜き矢印＃１の先に示す。
図２の例においては、操作画像Ｇは、電源オンを指示するときに操作されるオンボタンと電源オフを指示するときに操作されるオフボタンを含む画像とされている。オンボタンの画像とオフボタンの画像はそれぞれ同じ色で表示されている。
操作画像Ｇは所定の透明度を有するようにディスプレイ１２に表示される。目の位置を基準とするとディスプレイ１２の表示面は操作対象機器２１の位置より近い位置にあるから、ユーザＵの見え方としては、図２の中央に示すように、操作対象機器２１より手前にボタンがあるように見えることになる。操作画像Ｇのディスプレイ１２上の表示位置は、操作対象機器２１に重ねて見えるような位置とされる。
この状態で操作対象機器２１を見ながらユーザＵが場所を移動した場合、操作画像Ｇは、ユーザＵに正対したまま画像の形状と向きを変えることなく、ユーザＵの見え方の変化に追従し、操作対象機器２１に重ねて見え続けるように位置を変えて表示される。操作対象機器２１を異なる角度から見た場合のユーザＵの見え方を白抜き矢印＃２の先に示す。
ユーザＵは、このようにしてディスプレイ１２に表示された操作画像Ｇのボタンを仮想的に押すことによって、操作対象機器２１を操作することができる。
図３は、ボタン操作時のユーザＵの見え方の例を示す図である。
情報処理装置１は、ユーザＵの指を認識する機能を有している。例えば、図３の左側に示すように、操作画像Ｇのオンボタンに指を載せ、押し込むような動作がユーザＵにより行われた場合、情報処理装置１においてはオンボタンが押されたものとして判定される。情報処理装置１においては、矢印＃１１の先に示すように、オンボタンの色が変わるように操作画像Ｇの表示が制御される。図３の右側に示す操作画像Ｇのうちのオンボタンの部分に斜線を付していることは、その部分の色が変わっていることを表す。
なお、目の位置を基準とするとディスプレイ１２の表示面はユーザＵの指の位置より近い位置にあるから、実際には、ボタンの上にユーザＵの指が載せられることはない。
後述するように、情報処理装置１においては、カメラ１１により撮影された画像上の指の位置が、ディスプレイ１２上で、ボタンの表示位置に対応する位置にあるときに、ボタンの上にユーザＵの指が載せられているものとして判定される。また、その状態で、カメラ１１により撮影された画像上の指の大きさが小さくなったとき、ボタンを押す動作が行われたものとして判定される。
ボタンを押す動作が行われたものとして判定された場合、情報処理装置１から操作対象機器２１に対して、ボタンに割り当てられている処理を指示するコマンドが無線通信によって送信される。コマンドを受信した操作対象機器２１においては、コマンドに応じた処理が行われる。
これにより、ユーザＵは、離れた位置にある機器を操作する場合であっても、機器を見るだけで、機器を操作するためのボタンを表示させることができる。また、ユーザＵは、表示されたボタンを用いて機器を操作することができる。すなわち、ユーザＵは、機器を操作するためのスイッチを探したり、リモートコントローラを手に取ったりすることなく機器を容易に操作することができる。
物体認識に用いる認識用のデータとGUIデータが用意されていれば、どのような機器であっても操作することが可能である。
図４は、図１の操作対象機器２１とは異なる機器である、部屋の天井に埋め込まれている照明機器の操作に用いられる操作画像の表示の例を示す図である。
図４の左側に示す照明機器２２−１乃至２２−３の認識用のデータとGUIデータが情報処理装置１に用意されている場合について説明する。照明機器２２−１乃至２２−３は製品番号などが同じ機器である。操作対象機器が同じ種類の機器である場合、認識用のデータとGUIデータは１組だけ用意されていればよい。
カメラ１１により撮影された画像に基づいて、ユーザＵが照明機器２２−１乃至２２−３を見ていると認識された場合、矢印＃２１の先に示すように、照明機器２２−１乃至２２−３に重ねて見えるように、操作画像Ｇ１乃至Ｇ３が表示される。
操作画像の大きさが、操作対象機器とユーザＵの距離に応じて変わるようにしてもよい。図４の例においては、照明機器２２−１の操作に用いられる操作画像Ｇ１が、照明機器２２−１より遠くにある照明機器２２−２の操作に用いられる操作画像Ｇ２、および、照明機器２２−３の操作に用いられる操作画像Ｇ３より大きく表示されている。
ユーザＵは、操作画像Ｇ１のボタンを仮想的に押す動作を行うことによって照明機器２２−１を操作することができ、操作画像Ｇ２のボタンを仮想的に押す動作を行うことによって照明機器２２−２を操作することができる。また、ユーザＵは、操作画像Ｇ３のボタンを仮想的に押す動作を行うことによって照明機器２２−３を操作することができる。
以上のようにして操作画像を表示し、操作対象機器を制御する情報処理装置１の一連の処理については後述する。
［情報処理装置の構成］
図５は、情報処理装置１のハードウェア構成例を示すブロック図である。
CPU(Central Processing Unit)３１、ROM(Read Only Memory)３２、RAM(Random Access Memory)３３は、バス３４により相互に接続されている。
バス３４には、さらに、入出力インタフェース３５が接続されている。入出力インタフェース３５には、入力部３６、出力部３７、記憶部３８、通信部３９、およびドライブ４０が接続される。
入力部３６は、HMD２と通信を行い、HMD２のカメラ１１により撮影された画像を受信する。
出力部３７は、表示データをHMD２に送信し、操作画像をディスプレイ１２に表示させる。
記憶部３８は、ハードディスクや不揮発性のメモリなどよりなり、操作対象機器の認識用のデータやGUIデータを記憶する。
通信部３９は、無線LAN(Local Area Network)モジュールなどのネットワークインタフェースなどよりなり、ネットワークを介して接続されるサーバと通信を行う。記憶部３８に記憶されている操作対象機器の認識用のデータやGUIデータは、例えばサーバからダウンロードされることによって情報処理装置１に提供される。
ドライブ４０は、装着されたリムーバブルメディア４１に記憶されているデータを読み出したり、リムーバブルメディア４１にデータを書き込んだりする。
図６は、情報処理装置１の機能構成例を示すブロック図である。
情報処理装置１においては、画像取得部５１、認識部５２、表示制御部５３、モデルデータ記憶部５４、GUIデータ記憶部５５、通信制御部５６、指認識部５７、指データ記憶部５８、機器制御部５９、および機器情報記憶部６０が実現される。
図６に示す構成のうちの少なくとも一部は、図５のCPU３１により所定のプログラムが実行されることによって実現される。モデルデータ記憶部５４、GUIデータ記憶部５５、指データ記憶部５８、および機器情報記憶部６０は例えば記憶部３８に形成される。
画像取得部５１は、入力部３６において受信された、カメラ１１により撮影された画像を取得する。画像取得部５１は、取得した画像を認識部５２と指認識部５７に出力する。
認識部５２は、画像取得部５１から供給された画像をクエリ画像として、クエリ画像に含まれる物体を、モデルデータ記憶部５４に記憶されているモデルデータに基づいて認識する。モデルデータ記憶部５４には、操作対象機器の外観を含む画像から抽出された、操作対象機器の特徴を表すデータが記憶されている。認識部５２による物体認識については後述する。
認識部５２は、例えば、認識した物体（操作対象機器）のIDと、認識した物体とカメラ１１（ユーザＵ）の相対的な位置関係を表す姿勢情報とを認識結果として表示制御部５３に出力する。姿勢情報により、例えば認識された操作対象機器の位置を基準として、ユーザＵの位置までの距離、ユーザＵのいる方向が特定される。操作対象機器のIDは機器制御部５９にも供給される。
表示制御部５３は、認識部５２から供給されたIDに関連付けられているGUIデータをGUIデータ記憶部５５から読み出す。また、表示制御部５３は、GUIデータを、図５の出力部３７を制御してHMD２に送信し、操作画像をディスプレイ１２に表示させる。GUIデータ記憶部５５には、操作対象機器のIDとGUIデータが関連付けて記憶されている。表示制御部５３から出力されたGUIデータは指認識部５７にも供給される。
また、表示制御部５３は、ディスプレイ１２に表示されているボタンが押されたことに応じてボタンIDが指認識部５７から供給された場合、押されたボタンの色を変えるなどして操作画像の表示を制御する。
通信制御部５６は、通信部３９を制御してサーバ７１と通信を行い、操作対象機器の認識用のデータであるモデルデータと、操作対象機器のGUIデータをダウンロードする。サーバ７１は、例えば、操作対象機器を製造、販売するメーカが管理するサーバであり、モデルデータとGUIデータのデータベースを有している。通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、GUIデータをGUIデータ記憶部５５に記憶させる。
指認識部５７は、指データ記憶部５８に記憶されているデータに基づいて、画像取得部５１から供給された画像に含まれるユーザＵの指の位置と大きさを認識する。指データ記憶部５８には、指の色や輪郭などの情報が、指の認識用のデータとして記憶されている。
指認識部５７は、認識したユーザＵの指の位置と大きさに基づいて、ディスプレイ１２に表示されているボタンが押されたと判定した場合、押されたボタンの識別情報であるボタンIDを表示制御部５３と機器制御部５９に出力する。操作画像として表示されるボタンにはそれぞれIDが割り当てられており、各ボタンのディスプレイ１２上の表示位置は、表示制御部５３から供給されたGUIデータにより特定される。
機器制御部５９は、指認識部５７からボタンIDが供給された場合、押されたボタンに割り当てられている処理を指示するコマンドを機器情報記憶部６０から読み出す。機器情報記憶部６０には、操作対象機器のIDと対応付けて、コマンドやネットワークアドレスなどの、操作対象機器に関する情報が記憶されている。
機器制御部５９は、例えば通信部３９を制御して操作対象機器２１と通信を行い、機器情報記憶部６０から読み出したコマンドを操作対象機器２１に送信する。
図６に示すように、操作対象機器２１においては通信制御部８１と制御部８２が実現される。
通信制御部８１は、情報処理装置１から送信されてきたコマンドを受信し、制御部８２に出力する。
制御部８２は、通信制御部８１から供給されたコマンドに従って、操作対象機器２１の各部を制御し、コマンドによって指示された処理を行う。
図７は、物体（操作対象機器）の認識について説明する図である。
認識部５２による物体認識のアルゴリズムとしては、例えば、RandomizedFernやSIFT(Scale Invariant Feature Transform)がある。RandomizedFernについては、”Fast Keypoint Recognition using Random Ferns Mustafa Ozuysal, Michael Calonder, Vincent Lepetit and Pascal FuaEcole Polytechnique Federale de Lausanne (EPFL) Computer Vision Laboratory, &C Faculty CH-1015 Lausanne, Switzerland”に開示されている。SIFTについては、” Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe January 5, 2004”に開示されている。
図７に示すように、学習装置であるサーバ７１においては、画像処理部９１、特徴点検出部９２、特徴量抽出部９３、および合成部９４が実現される。図７に示す各構成は、サーバ７１のCPUにより所定のプログラムが実行されることによって実現される。サーバ７１も図５に示すようなコンピュータにより構成される。
画像処理部９１は、モデル画像にアフィン変換などの処理を施し、処理を施すことによって得られたモデル画像を特徴点検出部９２に出力する。画像処理部９１に対しては、それぞれの操作対象機器の外観の画像が、モデル画像として順次入力される。モデル画像は特徴量抽出部９３にも入力される。
特徴点検出部９２は、画像処理部９１から供給されたモデル画像上の各点をモデル特徴点として決定し、モデル特徴点の位置を表す情報を特徴量抽出部９３に出力する。
特徴量抽出部９３は、モデル画像を構成する画素のうち、モデル特徴点の位置に対応する画素の情報をモデル特徴量として抽出する。特徴量抽出部９３により抽出されたモデル特徴量のデータは、特徴量の抽出元になったモデル画像に含まれる操作対象機器のIDと対応付けてモデル辞書Ｄ１に登録される。モデル辞書Ｄ１は、操作対象機器のIDと、操作対象機器を含む画像から抽出された各モデル特徴点のモデル特徴量のデータとを対応付けたデータとして構成される。
また、特徴量抽出部９３は、抽出したモデル特徴量のデータを合成部９４に出力する。
合成部９４は、入力された３Ｄモデルデータと、特徴量抽出部９３から供給されたモデル特徴量のデータを合成する。合成部９４に対しては、操作対象機器のそれぞれの三次元形状を表すデータが３Ｄモデルデータとして入力される。
例えば、合成部９４は、３Ｄモデルデータに基づいて、操作対象機器を様々な角度から見たときのそれぞれのモデル特徴点の３Ｄモデル上の位置を計算する。合成部９４は、計算したそれぞれのモデル特徴点の位置にモデル特徴量のデータを割り当てることによって、３Ｄモデルデータとモデル特徴量のデータを合成し、３ＤモデルデータＤ２を生成する。
モデル辞書Ｄ１と、合成部９４により生成された３ＤモデルデータＤ２は情報処理装置１に提供され、モデルデータ記憶部５４に記憶される。
図７に示すように、認識部５２は、画像処理部１０１、特徴点検出部１０２、特徴量抽出部１０３、マッチング部１０４、および姿勢推定部１０５から構成される。画像処理部１０１に対しては、カメラ１１により撮影され、画像取得部５１により取得された画像がクエリ画像として入力される。クエリ画像は特徴量抽出部１０３にも供給される。
画像処理部１０１は、画像処理部９１と同様にして、クエリ画像にアフィン変換などの処理を施し、処理を施すことによって得られたクエリ画像を特徴点検出部１０２に出力する。
特徴点検出部１０２は、画像処理部１０１から供給されたクエリ画像上の各点をクエリ特徴点として決定し、クエリ特徴点の位置を表す情報を特徴量抽出部１０３に出力する。
特徴量抽出部１０３は、クエリ画像を構成する画素のうち、クエリ特徴点の位置に対応する画素の情報をクエリ特徴量として抽出し、抽出したクエリ特徴量のデータをマッチング部１０４に出力する。
マッチング部１０４は、モデル辞書Ｄ１に含まれる特徴量のデータに基づいてK-NNなどの最近傍探索を行い、それぞれのクエリ特徴点の最近傍となるモデル特徴点を決定する。マッチング部１０４は、クエリ特徴点の最近傍となるモデル特徴点の数に基づいて、例えば最近傍となるモデル特徴点が最も多い操作対象機器を選択する。マッチング部１０４は、選択した操作対象機器のIDを認識結果として出力する。
マッチング部１０４から出力された操作対象機器のIDは、図６の表示制御部５３と機器制御部５９に供給されるとともに、姿勢推定部１０５に供給される。姿勢推定部１０５に対しては、各クエリ特徴点の位置を表す情報なども供給される。
姿勢推定部１０５は、マッチング部１０４により認識された操作対象機器の３ＤモデルデータＤ２をモデルデータ記憶部５４から読み出し、３ＤモデルデータＤ２に基づいて、それぞれのクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定する。また、姿勢推定部１０５は、操作対象機器とユーザＵの位置関係を表す姿勢情報を出力する。
カメラ１１により撮影されたクエリ画像から検出されたクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定することができれば、クエリ画像が操作対象機器をどの位置から撮影したものであるのか、すなわち、ユーザＵがどの位置にいるのかを特定することが可能である。
また、画像に含まれる操作対象機器の大きさと距離が予め対応付けられていれば、カメラ１１により撮影されたクエリ画像に含まれる操作対象機器の大きさから、操作対象機器の位置からユーザＵの位置までの距離を特定することが可能である。
ユーザＵが見ている操作対象機器と、操作対象機器とユーザＵの相対的な位置関係は以上のようにして認識される。
３ＤモデルデータＤ２には、操作対象機器を様々な角度から見たときのそれぞれのモデル特徴点の情報が含まれる。３ＤモデルデータＤ２を用いて物体認識が行われるようにすることにより、操作対象機器をどの方向から撮影した画像であっても、その画像をクエリ画像として、画像に含まれる操作対象機器を特定することが可能になる。
なお、単眼のカメラにより撮影された画像だけでなく、ステレオカメラにより撮影された画像をクエリ画像として物体認識が行われるようにしてもよい。
［情報処理装置の動作］
ここで、図８のフローチャートを参照して、操作画像を表示する情報処理装置１の処理について説明する。図８の処理は、例えば、カメラ１１により撮影が行われている間、繰り返し行われる。
ステップＳ１において、画像取得部５１は、カメラ１１により撮影された画像を取得する。
ステップＳ２において、認識部５２は、画像取得部５１により取得された画像を対象として物体認識を行う。
ステップＳ３において、カメラ１１により撮影された画像に操作対象機器が含まれているか否か、すなわち、ユーザＵが操作対象機器を見ているか否かを判定する。
ユーザＵが操作対象機器を見ていないとステップＳ３において判定された場合、ステップＳ４において、表示制御部５３は、操作画像をディスプレイ１２に表示させているか否かを判定する。
操作画像をディスプレイ１２に表示させているとステップＳ４において判定した場合、ステップＳ５において、表示制御部５３は、操作画像の表示を停止する。操作画像の表示が停止された場合、またはステップＳ４において操作画像を表示させていないと判定された場合、ステップＳ１に戻り、それ以降の処理が行われる。
一方、ユーザＵが操作対象機器を見ているとステップＳ３において判定された場合、ステップＳ６において、機器制御部５９は、ユーザＵが見ている操作対象機器のネットワークアドレスが取得されているか否かを判定する。ユーザＵが操作対象機器を見ているとステップＳ３において判定された場合、認識部５２から機器制御部５９に対して操作対象機器のIDが供給される。機器制御部５９においては機器情報記憶部６０を対象として検索が行われ、操作対象機器のIDに対応付けて、ネットワークアドレスが記憶されているか否かが確認される。
操作対象機器のネットワークアドレスが取得されていないとステップＳ６において判定した場合、ステップＳ７において、機器制御部５９は、通信部３９を制御して図示せぬルータ機器に問い合わせるなどして操作対象機器のネットワークアドレスを取得する。機器制御部５９は、取得したネットワークアドレスを操作対象機器のIDと対応付けて機器情報記憶部６０に記憶させる。ネットワークアドレスは、操作対象機器にネットワーク経由でコマンドを送信するために用いられる。
機器情報記憶部６０に既に記憶されていることから、ユーザＵが見ている操作対象機器のネットワークアドレスが取得されているとステップＳ６において判定された場合、ステップＳ７の処理はスキップされる。
ステップＳ８において、表示制御部５３は、ユーザＵが見ている操作対象機器の操作画像をディスプレイ１２に表示させているか否かを判定する。
操作対象機器の操作画像を表示させていないとステップＳ８において判定した場合、ステップＳ９において、表示制御部５３は、操作対象機器のGUIデータをGUIデータ記憶部５５から読み出し、操作画像をディスプレイ１２に表示させる。ディスプレイ１２には、カメラ１１の位置と操作対象機器の姿勢に応じて正対して操作画像が表示される。
一方、操作対象機器の操作画像を表示させているとステップＳ８において判定した場合、ステップＳ１０において、表示制御部５３は、現在のカメラ１１の位置と操作対象機器の姿勢に応じて、操作画像のディスプレイ１２上の表示位置を変更する。
ステップＳ９において操作画像の表示が開始された場合、またはステップＳ１０において操作画像の表示が変更された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
図９は、操作画像の表示位置について説明する図である。
図９の上段の画像はカメラ１１により撮影された画像であり、操作対象機器２１が含まれている。画像上の操作対象機器２１の位置（例えば操作対象機器２１の領域の中心位置）は位置ｐ１で表される。
図９の中段はディスプレイ１２の表示領域を示している。ディスプレイ１２の表示領域を構成する各画素の位置は、カメラ１１により撮影された画像の各画素の位置と対応付けられている。操作画像Ｇは、カメラ１１により撮影された画像上の操作対象機器２１の位置である位置ｐ１に対応するディスプレイ１２上の位置である位置ｐ１１と、操作画像Ｇの例えば中心位置が一致するように表示される。
これにより、図９の下段に示すように、ユーザＵの見え方としては、操作対象機器２１に重ねて操作画像Ｇが見えるようになる。
ユーザＵが移動したことに応じて、カメラ１１により撮影された画像上の操作対象機器２１の位置や姿勢が移動した場合、操作画像Ｇの表示は、操作対象機器２１の画像上の位置に対応するディスプレイ１２上の位置と、例えば中心位置が一致し続けるようにして更新される。
次に、図１０、図１１のフローチャートを参照して、操作対象機器を制御する情報処理装置１の処理について説明する。図１０、図１１の処理は、例えば、操作画像がディスプレイ１２に表示されている間、繰り返し行われる。
ステップＳ２１において、指認識部５７は、指データ記憶部５８に記憶されているボタンIDと指サイズ情報をクリアするとともに、押し込みフラグにfalseを設定することによって初期化する。
ボタンIDは、操作画像としてディスプレイ１２に表示されているボタンに割り当てられているIDである。例えば、ユーザＵの指が載せられているボタンのボタンIDが指データ記憶部５８に記憶される。
指サイズ情報は、カメラ１１により撮影された画像に含まれる指の大きさを表す情報である。指の大きさは、例えば、カメラ１１により撮影された画像に含まれる指の領域の画素数などにより表される。
押し込みフラグは、ボタンを指で押し込むような動作がユーザＵにより行われているか否かを表すフラグである。押し込みフラグにtrueが設定されていることは、ボタンを指で押し込むような動作が行われていることを表し、falseに設定されていることは、ボタンを指で押し込むような動作が行われていないことを表す。
ステップＳ２２において、画像取得部５１は、カメラ１１により撮影された画像を取得する。
ステップＳ２３において、指認識部５７は、画像取得部５１から供給された画像に基づいてユーザＵの指の位置を認識し、操作画像として表示されているボタンのうちのいずれかのボタンの上に指が載せられているか否かを判定する。
例えば、カメラ１１により撮影された画像上の指の位置（例えば指の先端）に対応するディスプレイ１２上の位置が、ディスプレイ１２上のボタンの表示領域内の位置である場合、ボタンの上に指が載せられているとして判定される。
ボタンの上に指が載せられていないとステップＳ２３において判定された場合、ステップＳ２２に戻り、それ以降の処理が繰り返される。
一方、ボタンの上に指が載せられているとステップＳ２３において判定された場合、ステップＳ２４において、指認識部５７は、指が載せられているボタンのボタンIDが、指データ記憶部５８に記憶されているか否かを判定する。
指が載せられているボタンのボタンIDが指データ記憶部５８に記憶されていないとステップＳ２４において判定した場合、ステップＳ２５において、指認識部５７は、押し込みフラグにtrueが設定されているか否かを判定する。
押し込みフラグにtrueが設定されているとステップＳ２５において判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。押し込み動作を行った後に指を横にずらすような動作が行われることによって、指が載せられて直前に押し込み動作が行われたボタンと、いま指が載せられているボタンが異なる場合、押し込みフラグにtrueが設定されていると判定されることになる。
falseが設定されていることから、押し込みフラグにtrueが設定されていないとステップＳ２５において判定した場合、ステップＳ２６において、指認識部５７は、指が載せられているボタンのボタンIDを指データ記憶部５８に記憶させる。
指が載せられているボタンのボタンIDが指データ記憶部５８に記憶されているとステップＳ２４において判定された場合、ステップＳ２５，Ｓ２６の処理はスキップされる。
ステップＳ２７において、指認識部５７は、カメラ１１により撮影された画像に含まれる指の領域の画素数などに基づいて指のサイズを計算する。
ステップＳ２８において、指認識部５７は、指サイズ情報が指データ記憶部５８に記憶されているか否かを判定する。
指サイズ情報が指データ記憶部５８に記憶されていないとステップＳ２８において判定された場合、ステップＳ２９において、ステップＳ２７で計算したサイズを表す指サイズ情報を指データ記憶部５８に記憶させる。その後、ステップＳ２２に戻り、それ以降の処理が行われる。
一方、指サイズ情報が指データ記憶部５８に記憶されているとステップＳ２８において判定された場合、ステップＳ３０において、指認識部５７は、指データ記憶部５８に記憶されている指サイズ情報により表されるサイズと、ステップＳ２７で計算したサイズとの差を計算する。
指データ記憶部５８に記憶されている指サイズ情報は、時間的に前にカメラ１１により撮影された画像から計算された指のサイズを表す。また、ステップＳ２７で計算したサイズは、時間的に後（現在）にカメラ１１により撮影された画像から計算された指のサイズを表す。
従って、時間的に前の指のサイズと、時間的に後の指のサイズとの差が正であることは、図１２Ａに示すように、カメラ１１により撮影された画像上で指のサイズが小さくなったこと、すなわち、押し込む動作がユーザＵにより行われたことを表す。
また、時間的に前の指のサイズと、時間的に後の指のサイズとの差が負であることは、図１２Ｂに示すように、カメラ１１により撮影された画像上で指のサイズが大きくなったこと、すなわち、押し込んだ状態から戻す動作がユーザＵにより行われたことを表す。以下、適宜、時間的に前の指のサイズと、時間的に後の指のサイズとの差を指サイズ差という。
図１１の説明に戻り、ステップＳ３１において、指認識部５７は、ステップＳ３０で計算した指サイズ差が正で、かつ、指サイズ差が閾値より大きいか否かを判定する。
指サイズ差が正で、かつ、指サイズ差が閾値より大きいとステップＳ３１において判定された場合、ステップＳ３２において、指認識部５７は、押し込みフラグにtrueを設定する。閾値以上の量だけ押し込む動作が行われたとき、押し込みフラグにtrueが設定されることになる。その後、ステップＳ２２に戻り、それ以降の処理が繰り返される。
一方、指サイズ差が負である、または、正であるが閾値より小さいとステップＳ３１において判定された場合、ステップＳ３３において、指認識部５７は、指サイズ差が負で、かつ、指サイズ差の絶対値が閾値より大きいか否かを判定する。
指サイズ差が負で、かつ、指サイズ差の絶対値が閾値より大きいとステップＳ３３において判定された場合、ステップＳ３４において、指認識部５７は、押し込みフラグがtrueに設定されているか否かを判定する。
押し込みフラグがtrueに設定されているとステップＳ３４において判定された場合、ステップＳ３５において、機器制御部５９は、ボタンIDにより識別されるボタンに割り当てられている処理を指示するコマンドを機器情報記憶部６０から読み出す。押し込みフラグがtrueに設定されているとステップＳ３４において判定された場合、指データ記憶部５８に記憶されているボタンIDが機器制御部５９に供給される。また、機器制御部５９は、機器情報記憶部６０から読み出したコマンドを操作対象機器２１に送信する。
指サイズ差が負で、かつ指サイズ差の絶対値が閾値より大きいと判定され、さらに、押し込みフラグがtrueに設定されていると判定されたタイミングは、ボタンの上に指を載せた状態で押し込む動作が行われ、押し込んだ状態から戻す動作が閾値以上の量だけ行われたタイミングである。
イメージとしては、仮想的にボタンを押し込み、ボタンを戻したときにコマンドが送信されることになる。単に、仮想的にボタンを押し込む動作が行われたタイミングでコマンドが送信されるようにしてもよい。
ステップＳ３５においてコマンドが送信された場合、ステップＳ２２に戻り、それ以降の処理が行われる。指サイズ差が負で、かつ指サイズ差の絶対値が閾値より大きくないとステップＳ３３において判定された場合、または押し込みフラグにtrueが設定されていないとステップＳ３４において判定された場合も、ステップＳ２２以降の処理が行われる。
次に、図１３のフローチャートを参照して、情報処理装置１から送信されたコマンドを受信する操作対象機器２１の処理について説明する。
ステップＳ５１において、操作対象機器２１の通信制御部８１は、情報処理装置１から送信されたコマンドを受信する。通信制御部８１により受信されたコマンドは制御部８２に供給される。
ステップＳ５２において、制御部８２は、情報処理装置１から送信されてきたコマンドが実行可能なコマンドであるか否かを判定する。
実行可能なコマンドではないとステップＳ５２において判定した場合、ステップＳ５３において、制御部８２は、通信制御部８１を制御して、実行できないコマンドであることを表す情報を情報処理装置１に送信する。
一方、実行可能なコマンドであるとステップＳ５２において判定した場合、ステップＳ５４において、制御部８２は、コマンドを実行し、対応する処理を行う。例えば、図３のオンボタンが押されたことに応じて情報処理装置１からコマンドが送信されてきた場合、操作対象機器２１は、電源をオンにして起動する処理を、コマンドに対応する処理として行う。
以上の処理により、ユーザＵは、操作対象機器をより簡単に遠隔から操作することができる。
［変形例］
操作画像の表示をユーザＵが好みに応じてカスタマイズすることができるようにしてもよい。
図１４は、情報処理装置１の他の機能構成例を示すブロック図である。
図１４に示す構成のうち、図６に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図１４に示す構成においては、設定情報記憶部６１が追加して設けられている点で、図６に示す構成と異なる。
設定情報記憶部６１は、ユーザＵにより入力された、操作画像の表示に関する設定の内容を表す情報である設定情報を記憶する。操作画像の表示に関する設定の入力も、例えば、上述したボタンの操作と同様にして仮想的なボタンを用いて行われる。
例えば、操作画像として表示するボタンのサイズ、色、配置位置を表す情報が設定情報記憶部６１に記憶される。
表示制御部５３は、操作画像を表示するとき、設定情報記憶部６１に記憶されている設定情報を読み出し、読み出した設定情報により表される設定に従って、操作画像を表示させる。
これにより、ユーザＵは、好みのサイズや色でボタンを表示させたりすることが可能になる。
また、ボタン上に表示される文字や記号のサイズを変えることができるようにしてもよい。例えば、子供向けのボタン、高齢者向けのボタンの文字や記号のサイズは、それ以外の人向けのボタンの文字や記号のサイズと較べて大きく表示される。この場合、どのサイズの文字や記号のボタンを表示させるのかを、ユーザは予め設定しておくことになる。
ボタン上に表示される内容を変えることができるようにしてもよい。図４の例においては操作画像Ｇ１乃至Ｇ３上に「ON」、「OFF」の文字が表示されるものとしたが、「電気をつける」、「電気を消す」の文字が表示されるようにすることが可能である。
さらに、同じ機器に関連付けて複数種類の操作画像が情報処理装置１に用意されている場合、どの種類の操作画像を表示させるのかをユーザが設定することができるようにしてもよい。例えば、ON/OFFボタンだけの単純な操作画像が表示されるように設定したり、機器の細かい操作も可能な複雑な操作画像が表示されるように設定したりすることができるようにしてもよい。
図１５と図１６は、照明機器２２−１乃至２２−３の操作画像の例を示す図である。
例えば、図１５の右側に示すような操作画像Ｇ１乃至Ｇ３のデータと、図１６の右側に示すような操作画像Ｇ１乃至Ｇ３のデータが用意されている場合、ユーザによる設定に応じて、照明機器２２−１乃至２２−３の操作画像の表示が切り替えられる。これにより、ユーザは、自分の好みの操作画像を用いて機器を操作することが可能になる。
以上においては、操作対象機器の認識用のデータがサーバ７１からダウンロードされるものとしたが、カメラ１１により撮影された画像をモデル画像として、情報処理装置１により生成されるようにしてもよい。
以上のような表示の設定を行うときに用いられるメニュー表示自体を、ユーザ毎、あるいは端末毎にカスタマイズすることができるようにしてもよい。
また、以上においては、HMD２が、透過性のあるディスプレイ１２が設けられるいわゆる光学透過型のHMDである場合について説明したが、ビデオ透過型のHMDであってもよい。
図１７は、ビデオ透過型のHMD２の外観の例を示す図である。
ビデオ透過型のHMD２は例えばメガネ型の形状を有している。HMD２を装着したとき、ユーザＵの目の前には、HMD２の前方に向けて取り付けられたカメラ１１により撮影された画像が表示される。また、カメラ１１により撮影された画像に含まれる操作対象機器に重ねて、上述したようにして操作画像が表示される。
カメラ１１により撮影された画像と操作画像の表示は、ハーフミラー等を利用して虚像を形成し、ユーザＵに認識させる虚像投影方式によって行われるようにしてもよいし、網膜に直接結像させる網膜投影方式によって行われるようにしてもよい。
＜第２の実施の形態＞
図１８は、携帯端末の外観の例を示す図である。
図１８の携帯端末１０１は、情報処理装置１と同様の機能を有している。携帯端末１０１の背面には、図１９に示すようにカメラ１１１が設けられている。カメラ１１１により撮影された画像は、携帯端末１０１の筐体表面に設けられたディスプレイ１１２に表示される。ディスプレイ１１２には例えばタッチパネルが積層されている。
例えば、ユーザＵが携帯端末１０１を手に取り、撮影範囲に操作対象機器が含まれるようにカメラ１１１を向けた場合、携帯端末１０１においては、ディスプレイ１１２に操作対象機器が表示されるとともに、カメラ１１１により撮影された画像に基づいて物体認識が行われる。カメラ１１１は単眼のカメラではなく、ステレオカメラであってもよい。また、カメラ１１１は携帯端末１０１に直接設けられている必要はなく、携帯端末１０１と異なる筐体の機器に設けられているようにしてもよい。この場合、カメラ１１１により撮影された画像は、有線、または無線の通信によって携帯端末１０１に転送される。
また、カメラ１１１により撮影された画像に操作対象機器が含まれていることが検出された場合、操作対象機器の操作画像が、ディスプレイ１１２に表示されている操作対象機器に重ねて表示される。ディスプレイ１１２には、例えば図２、図４を参照して説明したようにして操作画像が表示される。ユーザＵは、ディスプレイ１１２に表示された操作画像を指で直接押すことによって、操作対象機器を操作することができる。
＜プログラムについて＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図５に示されるリムーバブルメディア４１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３２や記憶部３８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１ 情報処理装置， ２ HMD， １１ カメラ， １２ ディスプレイ， ２１ 操作対象機器， ５１ 画像取得部， ５２ 認識部， ５３ 表示制御部， ５４ モデルデータ記憶部， ５５ GUIデータ記憶部， ５６ 通信制御部， ５７ 指認識部， ５８ 指データ記憶部， ５９ 機器制御部， ６０ 機器情報記憶部

Claims (5)

  1. 操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶する記憶手段と、
    ユーザの視線を含む範囲が撮影範囲となる位置に取り付けられたカメラにより撮影された画像を取得する取得手段と、
    前記画像に含まれる複数の物体を、前記記憶手段に記憶されている前記特徴量のデータに基づいて認識する認識手段と、
    前記画像に含まれる複数の物体がそれぞれ前記操作対象機器であると前記認識手段により認識された場合、前記記憶手段に記憶されている前記操作画像のデータに基づいて、前記操作対象機器の数と同じ数の前記操作画像を、近くにある前記操作対象機器の操作に用いられる前記操作画像を遠くにある前記操作対象機器の操作に用いられる前記操作画像より大きく表示させるように、それぞれの前記操作対象機器と前記ユーザの距離に応じた大きさでディスプレイに同時に表示させる表示制御手段と、
    前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置と、前記ユーザの指の前記画像上の大きさを認識する指認識手段と、
    前記指認識手段により認識された前記ユーザの指が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の大きさが、直前の大きさより小さくなったタイミングで、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信する制御手段と
    を備える情報処理装置。
  2. 前記表示制御手段は、前記画像に含まれる複数の前記操作対象機器の、それぞれの前記画像上の位置に対応する前記ディスプレイの位置に、前記操作画像を表示させる
    請求項１に記載の情報処理装置。
  3. 前記操作画像の表示に関する設定の内容を表す設定情報を記憶する設定情報記憶手段をさらに備え、
    前記表示制御手段は、前記設定情報の内容に従って前記操作画像の表示を制御する
    請求項１に記載の情報処理装置。
  4. 操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、
    ユーザの視線を含む範囲が撮影範囲となる位置に取り付けられたカメラにより撮影された画像を取得し、
    前記画像に含まれる複数の物体を、記憶している前記特徴量のデータに基づいて認識し、
    前記画像に含まれる複数の物体がそれぞれ前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて、前記操作対象機器の数と同じ数の前記操作画像を、近くにある前記操作対象機器の操作に用いられる前記操作画像を遠くにある前記操作対象機器の操作に用いられる前記操作画像より大きく表示させるように、それぞれの前記操作対象機器と前記ユーザの距離に応じた大きさでディスプレイに同時に表示させ、
    前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置と、前記ユーザの指の前記画像上の大きさを認識し、
    認識した前記ユーザの指が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の大きさが、直前の大きさより小さくなったタイミングで、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信する
    ステップを含む情報処理方法。
  5. 操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、
    ユーザの視線を含む範囲が撮影範囲となる位置に取り付けられたカメラにより撮影された画像を取得し、
    前記画像に含まれる複数の物体を、記憶している前記特徴量のデータに基づいて認識し、
    前記画像に含まれる複数の物体がそれぞれ前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて、前記操作対象機器の数と同じ数の前記操作画像を、近くにある前記操作対象機器の操作に用いられる前記操作画像を遠くにある前記操作対象機器の操作に用いられる前記操作画像より大きく表示させるように、それぞれの前記操作対象機器と前記ユーザの距離に応じた大きさでディスプレイに同時に表示させ、
    前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置と、前記ユーザの指の前記画像上の大きさを認識し、
    認識した前記ユーザの指が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の大きさが、直前の大きさより小さくなったタイミングで、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2010076301A 2010-03-29 2010-03-29 情報処理装置、情報処理方法、およびプログラム Expired - Fee Related JP5743416B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010076301A JP5743416B2 (ja) 2010-03-29 2010-03-29 情報処理装置、情報処理方法、およびプログラム
EP11153634.8A EP2372495B1 (en) 2010-03-29 2011-02-08 Remote control of a target device using a camera and a display
US13/049,445 US9058057B2 (en) 2010-03-29 2011-03-16 Information processor, information processing method and program
KR1020110025181A KR20110109883A (ko) 2010-03-29 2011-03-22 정보 처리 장치, 정보 처리 방법 및 프로그램
CN201110074093.9A CN102207819B (zh) 2010-03-29 2011-03-22 信息处理器和信息处理方法
US14/708,680 US9891715B2 (en) 2010-03-29 2015-05-11 Information processor, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010076301A JP5743416B2 (ja) 2010-03-29 2010-03-29 情報処理装置、情報処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2011209965A JP2011209965A (ja) 2011-10-20
JP2011209965A5 JP2011209965A5 (ja) 2013-03-21
JP5743416B2 true JP5743416B2 (ja) 2015-07-01

Family

ID=44484929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010076301A Expired - Fee Related JP5743416B2 (ja) 2010-03-29 2010-03-29 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US9058057B2 (ja)
EP (1) EP2372495B1 (ja)
JP (1) JP5743416B2 (ja)
KR (1) KR20110109883A (ja)
CN (1) CN102207819B (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5731272B2 (ja) * 2011-05-09 2015-06-10 双葉電子工業株式会社 ***縦体の無線操縦装置
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP5780142B2 (ja) * 2011-12-07 2015-09-16 富士通株式会社 画像処理装置、画像処理方法
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013137191A1 (ja) * 2012-03-12 2013-09-19 株式会社エヌ・ティ・ティ・ドコモ 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
JP6008086B2 (ja) * 2012-03-26 2016-10-19 セイコーエプソン株式会社 頭部装着型表示装置
JP6066037B2 (ja) * 2012-03-27 2017-01-25 セイコーエプソン株式会社 頭部装着型表示装置
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
CN103425380A (zh) * 2012-05-14 2013-12-04 联想(北京)有限公司 一种信息处理的方法和设备
US9317113B1 (en) * 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
JP6011154B2 (ja) * 2012-08-24 2016-10-19 富士通株式会社 画像処理装置、画像処理方法
IN2015DN02046A (ja) * 2012-09-21 2015-08-14 Sony Corp
JP5962403B2 (ja) 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
CN103873959B (zh) * 2012-12-13 2019-02-05 联想(北京)有限公司 一种控制方法和电子设备
JP6111659B2 (ja) * 2012-12-28 2017-04-12 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
JP5962547B2 (ja) 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
US9927949B2 (en) * 2013-05-09 2018-03-27 Amazon Technologies, Inc. Recognition interfaces for computing devices
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US20160147300A1 (en) * 2013-06-28 2016-05-26 Nokia Technologies Oy Supporting Activation of Function of Device
JP6206099B2 (ja) * 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
JP6500477B2 (ja) * 2015-02-12 2019-04-17 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6427942B2 (ja) * 2014-05-01 2018-11-28 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
US9766715B2 (en) 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
JP2016015024A (ja) * 2014-07-02 2016-01-28 株式会社東芝 操作支援装置及び操作支援システム
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
WO2016046139A1 (en) * 2014-09-25 2016-03-31 Philips Lighting Holding B.V. Control of lighting
EP3007146A1 (en) 2014-10-07 2016-04-13 Thomson Licensing System for controlling an electronic device and head mounted unit for such a system
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及***
CN105653248A (zh) * 2014-11-14 2016-06-08 索尼公司 控制装置、方法以及电子设备
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
JP6507827B2 (ja) * 2015-04-28 2019-05-08 京セラドキュメントソリューションズ株式会社 表示システム
CN105141913A (zh) * 2015-08-18 2015-12-09 华为技术有限公司 可视化远程控制可触控设备的方法、***和相关设备
CN105138123B (zh) * 2015-08-24 2018-10-26 小米科技有限责任公司 设备控制方法及装置
JP2017117159A (ja) * 2015-12-24 2017-06-29 シャープ株式会社 端末装置及び双方向通信システム
CN105528081B (zh) * 2015-12-31 2019-02-19 广州创幻数码科技有限公司 一种混合现实显示方法、装置及***
CN105528083B (zh) * 2016-01-12 2018-10-23 广州创幻数码科技有限公司 一种混合现实识别关联方法及装置
US20180164895A1 (en) * 2016-02-23 2018-06-14 Sony Corporation Remote control apparatus, remote control method, remote control system, and program
CN109076679B (zh) * 2016-04-06 2020-06-30 飞利浦照明控股有限公司 控制照明***
US11044405B1 (en) * 2016-09-16 2021-06-22 Apple Inc. Location systems for electronic device interactions with environment
JP6432583B2 (ja) * 2016-10-28 2018-12-05 セイコーエプソン株式会社 表示装置、頭部装着型表示装置および表示装置の制御方法
JP7112399B2 (ja) * 2016-12-05 2022-08-03 マジック リープ， インコーポレイテッド 複合現実環境における仮想ユーザ入力制御
JP6350705B2 (ja) * 2017-03-16 2018-07-04 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
CN106980374A (zh) * 2017-03-28 2017-07-25 联想(北京)有限公司 显示控制方法、显示控制装置及电子设备
US10591986B2 (en) 2017-04-17 2020-03-17 Optim Corporation Remote work supporting system, remote work supporting method, and program
JP6257826B1 (ja) * 2017-05-31 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
IL293424A (en) 2017-07-26 2022-07-01 Magic Leap Inc Neural network training with displays of user interface devices
US10068403B1 (en) * 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
WO2019181143A1 (ja) * 2018-03-22 2019-09-26 三菱自動車工業株式会社 車両制御システム
JP7229749B2 (ja) * 2018-12-14 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、記録媒体、および、情報処理システム
KR20210150862A (ko) * 2020-06-04 2021-12-13 주식회사 브이터치 제스처를 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2023228337A1 (ja) * 2022-05-25 2023-11-30 日本電信電話株式会社 提示システム、提示方法及び提示プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3259366B2 (ja) 1992-10-30 2002-02-25 ソニー株式会社 遠隔操作装置
US6937742B2 (en) * 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
JP2005031045A (ja) * 2003-07-11 2005-02-03 Olympus Corp 情報呈示装置及び情報呈示システム
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US7903838B2 (en) * 2004-01-30 2011-03-08 Evolution Robotics, Inc. Vision-enabled household appliances
JP2005339266A (ja) * 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
CA2576010C (en) * 2004-08-03 2011-07-26 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
JP2006146803A (ja) * 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
JP4676303B2 (ja) * 2005-10-18 2011-04-27 株式会社日立製作所 端末装置
US7620316B2 (en) * 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
JP5176112B2 (ja) * 2008-07-03 2013-04-03 財団法人ヒューマンサイエンス振興財団 制御システム及び制御方法
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP4720890B2 (ja) 2008-09-26 2011-07-13 ブラザー工業株式会社 液体吐出装置

Also Published As

Publication number Publication date
US9891715B2 (en) 2018-02-13
CN102207819A (zh) 2011-10-05
US9058057B2 (en) 2015-06-16
EP2372495A3 (en) 2015-11-25
US20150241986A1 (en) 2015-08-27
KR20110109883A (ko) 2011-10-06
EP2372495A2 (en) 2011-10-05
US20110234386A1 (en) 2011-09-29
CN102207819B (zh) 2016-01-20
JP2011209965A (ja) 2011-10-20
EP2372495B1 (en) 2019-04-03

Similar Documents

Publication Publication Date Title
JP5743416B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US7940986B2 (en) User interface system based on pointing device
US9218781B2 (en) Information processing apparatus, display control method, and program
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
CN110456782B (zh) 控制装置和控制方法
KR102560689B1 (ko) Ar 객체를 표시하기 위한 장치 및 방법
JP2013172432A (ja) 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
JP2009134718A5 (ja)
US9268408B2 (en) Operating area determination method and system
EP3127586B1 (en) Interactive system, remote controller and operating method thereof
CN111199583B (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
CN111344663A (zh) 渲染装置及渲染方法
JP2014064115A (ja) 端末装置、遠隔操作システム及び遠隔操作方法
JP6714632B2 (ja) 情報表示端末及び情報表示方法
WO2019207875A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023119862A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
KR102419133B1 (ko) 증강 현실 콘텐츠 제작 장치 및 방법
KR20170112297A (ko) 동작 인식 서비스 제공 시스템 및 제공 방법
JP6201408B2 (ja) 電子制御装置、制御方法及び制御プログラム
KR20210121784A (ko) 디스플레이 장치
CN110945567A (zh) 信息处理装置、信息处理方法和程序
KR20060133207A (ko) 촬상 소자를 이용한 디지털 영상 처리 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140618

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140626

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150428

R150 Certificate of patent or registration of utility model

Ref document number: 5743416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees