KR20170100411A - 검출 장치, 전자 기기, 검출 방법 및 프로그램 - Google Patents

검출 장치, 전자 기기, 검출 방법 및 프로그램 Download PDF

Info

Publication number
KR20170100411A
KR20170100411A KR1020167004323A KR20167004323A KR20170100411A KR 20170100411 A KR20170100411 A KR 20170100411A KR 1020167004323 A KR1020167004323 A KR 1020167004323A KR 20167004323 A KR20167004323 A KR 20167004323A KR 20170100411 A KR20170100411 A KR 20170100411A
Authority
KR
South Korea
Prior art keywords
user
display
detection reference
detection
aerial image
Prior art date
Application number
KR1020167004323A
Other languages
English (en)
Inventor
히데노리 구리바야시
다츠요시 다나베
마리에 시모야마
히데후미 도키
다이사쿠 고미야
Original Assignee
가부시키가이샤 니콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 니콘 filed Critical 가부시키가이샤 니콘
Publication of KR20170100411A publication Critical patent/KR20170100411A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/54—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being generated by moving a 2D surface, e.g. by vibrating or rotating the 2D surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G06F3/0423—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen using sweeping light beams, e.g. using rotating or vibrating mirror
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0444—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single conductive element covering the whole sensing surface, e.g. by sensing the electrical current flowing at the corners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06K9/00268—
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F7/00—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus
    • G07F7/08—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means
    • G07F7/10—Mechanisms actuated by objects other than coins to free or to actuate vending, hiring, coin or paper currency dispensing or refunding apparatus by coded identity card or credit card or other personal identification means together with a coded signal, e.g. in the form of personal identification information, like personal identification number [PIN] or biometric data
    • G07F7/1025—Identification of user by a PIN code
    • G07F7/1033—Details of the PIN pad
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

검출 장치는, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치로서, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능하다.

Description

검출 장치, 전자 기기, 검출 방법 및 프로그램{DETECTION DEVICE, ELECTRONIC APPARATUS, DETECTION METHOD AND PROGRAM}
본 발명은, 검출 장치, 전자 기기, 검출 방법 및 프로그램에 관한 것이다.
손가락과 터치 패널 사이의 거리를 산출하는 정전 용량식 터치 센서에 의해, 공중에 표시된 3 차원 오브젝트에 대한 조작을 검출하는 전자 기기가 개시되어 있다 (특허문헌 1).
일본 공개특허공보 2012-203737호
그러나, 특허문헌 1 에는, 3 차원 오브젝트 (대상) 에 대해 실시하는 조작을 검출하는 것은 기재되어 있지만, 오브젝트에 대한 조작시의 조작성에 대해서는 아직 불충분하다.
본 발명의 제 1 양태에 의하면, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치로서, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 제어부를 구비하고, 제어부는, 상기 위치 관계를 사용자에 의해 변경 가능하다.
본 발명의 제 2 양태에 의하면, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치로서, 사용자의 정보에 기초하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 제어부를 구비한다.
본 발명의 제 3 양태에 의하면, 공중의 표시에 대한 조작을 검출하는 검출 장치로서, 조작에 기초하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 제어부를 구비한다.
본 발명의 제 4 양태에 의하면, 검출 장치로서, 공중의 표시에 대한 사용자의 조작을 검출하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 검출부를 구비하고, 검출부는, 위치 관계를 사용자에 의해 변경 가능하다.
본 발명의 제 5 양태에 의하면, 검출 장치로서, 공중의 표시에 대한 사용자의 조작을 검출하여, 사용자의 정보에 기초하여 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 검출부를 구비한다.
본 발명의 제 6 양태에 의하면, 검출 장치로서, 공중의 표시에 대한 조작을 검출하여, 조작에 기초하여 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 검출부를 구비한다.
본 발명의 제 7 양태에 의하면, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 방법으로서, 조작을 검출하는 검출 기준과 표시의 위치 관계를 사용자에 의해 변경한다.
본 발명의 제 8 양태에 의하면, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 방법으로서, 사용자의 정보에 기초하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경한다.
본 발명의 제 9 양태에 의하면, 공중의 표시에 대한 조작을 검출하는 검출 방법으로서, 조작에 기초하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 검출 방법.
본 발명의 제 10 양태에 의하면, 검출 방법으로서, 공중의 표시에 대한 사용자의 조작을 검출하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 사용자에 의해 변경한다.
본 발명의 제 11 양태에 의하면, 검출 방법으로서, 공중의 표시에 대한 사용자의 조작을 검출하여, 사용자의 정보에 기초하여 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경한다.
본 발명의 제 12 양태에 의하면, 검출 방법으로서, 공중의 표시에 대한 조작을 검출하여, 조작에 기초하여 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경한다.
본 발명의 제 13 양태에 의하면, 공중의 표시에 대한 사용자의 조작을 검출하는 컴퓨터에 실행시키는 프로그램으로서, 조작을 검출하는 검출 기준과 표시의 위치 관계를 사용자에 의해 변경하는 처리를 컴퓨터에 실행시킨다.
본 발명의 제 14 양태에 의하면, 공중의 표시에 대한 사용자의 조작을 검출하는 컴퓨터에 실행시키는 프로그램으로서, 사용자의 정보에 기초하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시킨다.
본 발명의 제 15 양태에 의하면, 공중의 표시에 대한 조작을 검출하는 컴퓨터에 실행시키는 프로그램으로서, 조작에 기초하여, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시킨다.
본 발명의 제 16 양태에 의하면, 프로그램으로서, 공중의 표시에 대한 사용자의 조작을 검출하는 처리와, 조작을 검출하는 검출 기준과 표시의 위치 관계를 사용자에 의해 변경하는 처리를 컴퓨터에 실행시킨다.
본 발명의 제 17 양태에 의하면, 프로그램으로서, 공중의 표시에 대한 사용자의 조작을 검출하는 처리와, 사용자의 정보에 기초하여 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시킨다.
본 발명의 제 18 양태에 의하면, 프로그램으로서, 공중의 표시에 대한 조작을 검출하는 처리와, 조작에 기초하여 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시킨다.
도 1 은 제 1 실시형태에 관련된 표시 장치의 구성을 설명하는 도면이고, (a) 는 분해 사시도, (b) 는 단면도이다.
도 2 는 제 1 실시형태에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 3 은 제 1 실시형태에 있어서 표시되는 공중 이미지를 모식적으로 나타내는 도면이고, (a) 는 평면도, (b), (c) 는 조작 검출기와 공중 이미지와 검출 기준의 관계를 나타내는 단면도이다.
도 4 는 제 1 실시형태에 있어서 표시되는 캘리브레이션 처리용의 공중 이미지를 모식적으로 나타내는 도면이다.
도 5 는 제 1 실시형태에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b), (c), (d) 는 조작 검출기와 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 6 은 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 의한 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 7 은 제 1 실시형태에 있어서의 제 2 캘리브레이션 처리 모드에 있어서의 공중 이미지와 검출 기준과 손가락의 도달 위치의 위치 관계를 나타내는 도면이다.
도 8 은 제 1 실시형태에 있어서의 제 2 캘리브레이션 처리 모드에 의한 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 9 는 제 1 실시형태의 변형예 1 에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 10 은 제 1 실시형태의 변형예 1 에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b), (c) 는 조작 검출기와 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 11 은 제 1 실시형태의 변형예 1 에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 12 는 제 1 실시형태의 변형예 3 에 있어서 표시되는 캘리브레이션 처리용의 공중 이미지를 모식적으로 나타내는 도면이다.
도 13 은 제 1 실시형태의 변형예 3 에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b), (c) 는 조작 검출기와 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 14 는 제 1 실시형태의 변형예 3 에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 15 는 제 1 실시형태의 변형예 4 에 있어서 표시되는 캘리브레이션 처리용의 공중 이미지를 모식적으로 나타내는 도면이다.
도 16 은 제 1 실시형태의 변형예 4 에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 17 은 제 1 실시형태의 변형예 6 에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 18 은 제 1 실시형태의 변형예 6 에 있어서 표시되는 캘리브레이션 처리용의 공중 이미지를 모식적으로 나타내는 도면이다.
도 19 는 제 1 실시형태의 변형예 6 에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 20 은 제 1 실시형태의 변형예 7 에 있어서 표시되는 공중 이미지를 모식적으로 나타내는 도면이고, (a) 는 평면도, (b) 는 조작 검출기와 공중 이미지와 검출 기준의 관계를 나타내는 단면도이다.
도 21 은 제 1 실시형태의 변형예 7 에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b), (c) 는 조작 검출기와 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 22 는 제 1 실시형태의 변형예 8 에 관련된 표시 장치의 사시도이다.
도 23 은 제 1 실시형태의 변형예 8 에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 24 는 제 1 실시형태의 변형예 8 에 관련된 표시 장치의 내부 구성을 나타내는 단면도이다.
도 25 는 제 2 실시형태에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 26 는 제 2 실시형태에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 27 은 제 3 실시형태에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 28 은 제 3 실시형태에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 29 는 제 4 실시형태에 관련된 표시 장치를 나타내는 도면이고, (a) 는 표시 장치의 개략 구성을 설명하는 단면도, (b) 는 표시 장치가 장착된 전자 기기의 사시도이다.
도 30 은 제 4 실시형태에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 31 은 제 4 실시형태에 관련된 표시 장치가 장비하는 조작 검출기의 평면도이다.
도 32 는 제 4 실시형태에 있어서의 조작 검출기의 구성과 기능을 설명하는 도면이다.
도 33 은 제 4 실시형태의 변형예 1 에 관련된 표시 장치의 개략 구성을 나타내는 도면이다.
도 34 는 제 4 실시형태의 변형예 1 에 관련된 표시 장치의 다른 개략 구성을 나타내는 도면이다.
도 35 는 제 5 실시형태에 관련된 표시 장치의 구성을 설명하는 도면이고, (a) 는 분해 사시도, (b) 는 단면도이다.
도 36 은 제 5 실시형태에 관련된 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 37 은 제 5 실시형태에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b) 는 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 38 은 제 5 실시형태에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 39 는 제 5 실시형태에 있어서의 변형예 3 의 표시 장치의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 40 은 제 5 실시형태의 변형예 4 에 있어서의 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 41 은 제 5 실시형태의 변형예 4 에 있어서의 표시 장치의 캘리브레이션용 공중 이미지를 나타내는 도면이다.
도 42 는 제 6 실시형태에 있어서 표시되는 공중 이미지를 모식적으로 나타내는 도면이고, 조작 검출기와 공중 이미지와 검출 기준의 관계를 나타내는 단면도이다.
도 43 은 제 6 실시형태에 있어서의 표시 장치의 캘리브레이션 처리를 설명하는 도면이고, (a), (b) 는 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 44 는 제 6 실시형태에 있어서의 표시 장치의 캘리브레이션 처리를 설명하는 도면이고, (a), (b) 는 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 45 는 제 6 실시형태의 변형예 1 에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b), (c) 는 공중 이미지와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 46 은 제 7 실시형태에 있어서의 표시 장치의 주요부 기구를 설명하는 블록도이다.
도 47 은 제 8 실시형태에 있어서 표시되는 공중 이미지를 모식적으로 나타내는 도면이고, (a) 는 평면도, (b) 는 조작 검출기와 공중 이미지와 검출 기준의 관계를 나타내는 단면도이고, (c) 는 검출 기준의 사시도이다.
도 48 은 제 8 실시형태에 있어서의 소정의 비접촉 조작의 예를 모식적으로 나타내는 도면이다.
도 49 는 제 8 실시형태에 있어서 소정의 비접촉 조작이 검출 기준 내에서 검출되는 경우를 모식적으로 나타내는 도면이다.
도 50 은 제 8 실시형태에 있어서 소정의 비접촉 조작이 검출 기준 내에서 검출되지 않는 경우를 모식적으로 나타내는 도면이고, (a) 는 소정의 비접촉 조작의 전체가 검출 기준의 상방의 검출 기준 외에서 검출되는 경우, (b) 는 소정의 비접촉 조작의 전체가 검출 기준의 하방의 검출 기준 외에서 검출되는 경우를 나타내는 도면이다.
도 51 은 제 8 실시형태에 있어서 검출 기준의 위치의 변경을 나타내는 도면이고, (a) 는 검출 기준의 위치의 변경 전, (b) 는 상방으로의 검출 기준의 위치의 변경 후를 나타내는 도면이다.
도 52 는 제 8 실시형태에 있어서 검출 기준의 위치의 변경을 나타내는 도면이고, (a) 는 검출 기준의 위치의 변경 전, (b) 는 하방으로의 검출 기준의 위치의 변경 후를 나타내는 도면이다.
도 53 은 제 8 실시형태에 있어서 검출 기준의 위치의 변경을 나타내는 도면이고, (a) 는 검출 기준의 위치의 변경 전, (b) 는 우방향으로의 검출 기준의 위치의 변경 후를 나타내는 도면이다.
도 54 는 제 8 실시형태에 있어서 비접촉 조작이 검출 기준 내에서 검출되지 않는 경우를 모식적으로 나타내는 도면이고, (a) 는 소정의 비접촉 조작의 일부가 검출 기준의 상방의 검출 기준 외에서 검출되고 잔부가 검출 기준 내에서 검출되는 경우, (b) 는 소정의 비접촉 조작의 일부가 검출 기준의 하방 또는 측부의 검출 기준 외에서 검출되고 잔부가 검출 기준 내에서 검출되는 경우를 나타내는 도면이다.
도 55 는 제 8 실시형태에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 56 은 제 8 실시형태의 변형예 2 에 있어서 소정의 비접촉 조작의 일부가 검출 기준에서 검출되는 경우에 검출 기준을 변경하는 경우와 변경하지 않는 경우를 나타내는 도면이고, (a) 는 검출 기준을 변경하는 경우를 나타내고, (b) 는 검출 기준을 변경하지 않는 경우를 나타내는 도면이다.
도 57 은 제 8 실시형태의 변형예 3 의 표시 장치 (1) 에 있어서의 표시 장치의 주요부 구성을 설명하는 블록도이다.
도 58 은 제 8 실시형태의 변형예 3 에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b) 는 조작 검출기와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 59 는 제 8 실시형태의 변형예 3 에 있어서의 캘리브레이션 처리를 설명하는 플로우 차트이다.
도 60 은 제 8 실시형태의 변형예 6 에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b) 는 조작 검출기와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
도 61 은 제 8 실시형태의 변형예 6 에 있어서의 캘리브레이션 처리를 설명하는 도면이고, (a), (b) 는 조작 검출기와 검출 기준과 손가락 위치의 관계를 나타내는 단면도이다.
-제 1 실시형태-
도면을 참조하면서, 제 1 실시형태에 의한 표시 장치에 대해 설명한다. 제 1 실시형태에 있어서는, 본 실시형태의 표시 장치가 휴대 전화에 장착된 경우를 일례로 들어 설명을 실시한다. 또한, 본 실시형태의 표시 장치는, 휴대 전화에 한정되지 않고, 태블릿 단말, 손목 시계형 단말 등의 휴대형 정보 단말 장치, 퍼스널 컴퓨터, 음악 플레이어, 고정 전화기, 웨어러블 장치 등의 전자 기기에 장착하는 것이 가능하다.
도 1(a) 는 표시 장치 (1) 의 분해 사시도이고, 도 1(b) 는 표시 장치 (1) 의 일부를 확대하여 나타내는 측면도이다. 또한, 설명의 사정상, 표시 장치 (1) 에 대해, X 축, Y 축 및 Z 축으로 이루어지는 좌표계를 도시한 바와 같이 설정한다. 또한, 좌표계는 X 축, Y 축 및 Z 축으로 이루어지는 직교 좌표계에 한정되지 않고, 극좌표계나 원통 좌표계를 채용해도 된다. 즉, X 축은 표시 장치 (1) 의 사각형 표시면의 단변 방향으로 설정되고, Y 축은 표시 장치 (1) 의 사각형 표시면의 장변 방향으로 설정되고, Z 축은 표시면에 수직인 방향으로 설정되어 있다.
표시 장치 (1) 는, 제어부 (20) 를 내장하는 본체 (10) 와, 표시기 (11) 와, 결상 광학계 (12) 와, 조작 검출기 (13) 를 구비한다. 표시기 (11) 와 결상 광학계 (12) 와 조작 검출기 (13) 는, 본체 (10) 내에 배치되어 있다. 표시기 (11) 는, 예를 들어, 액정 표시기나 유기 EL 표시기 등에 의해 구성되고, 이차원상으로 배열된 복수의 표시 화소 배열을 갖는다. 표시기 (11) 는, 제어부 (20) 에 의해 제어되고, 표시용 화상 데이터에 대응하는 화상을 표시한다. 결상 광학계 (12) 는, 표시기 (11) 의 상방 (Z 방향 + 측) 에 표시기 (11) 로부터 소정의 간격을 형성하여 배치된다. 예를 들어, 결상 광학계 (12) 는 도 1(b) 에 명시하는 바와 같이, 미소한 볼록 렌즈 (121) 가 이차원상으로 배열된 마이크로 렌즈 어레이를 Z 방향으로 2 개 겹쳐서 구성된다.
결상 광학계 (12) 는, 표시기 (11) 에 표시된 표시 화상의 공중 이미지 (30) 를 표시 장치 (1) 의 상방 공간에 형성한다. 즉, 표시 장치 (1) 의 사용자 (이하, 사용자라고 한다) 는, 표시기 (11) 에 표시된 표시 화상을 표시 장치 (1) 의 상방의 공중에 뜬 공중 이미지 (30) 로서 관찰할 수 있다. 공중 이미지 (30) 는, 표시 장치 (1) 의 각종 설정이나 각종 기능의 실행을 지시하기 위한 조작 버튼에 대응하는 복수의 아이콘 (30A) (조작 버튼) 을 포함한다. 본 실시형태에 있어서는, 아이콘 (30A) 은, 예를 들어 3 행 × 5 열로 배열되어 있다. 또한, 결상 광학계로서의 마이크로 렌즈 어레이 대신에, 핀홀 어레이나 슬릿 어레이를 사용하는 것도 가능하다.
조작 검출기 (13) 는, 결상 광학계 (12) 의 상방 (Z 방향 + 측) 에 형성되고, 예를 들어, 공지된 투명 정전 용량식 패널 (이하, 정전 용량 패널이라고 기재) 에 의해 구성된다. 정전 용량 패널로 이루어지는 조작 검출기 (13) 는, 실질적으로 투명한 부재로 이루어지는 전극에 의해 전계를 형성한다. 조작 검출기 (13) 는, 사용자가 공중 이미지 (30) 의 표시 위치를 조작하기 위해서 손가락 또는 스타일러스를 공중 이미지 (30) 쪽으로 이동시켰을 경우에, 그 손가락 또는 스타일러스의 위치를 정전 용량의 값으로서 검출한다. 예를 들어, 투명 정전 용량 패널의 네 귀퉁이에서 검출된 정전 용량의 값을 비교하여, 네 귀퉁이에서 검출한 정전 용량의 값에 기초하여, 사용자의 손가락의 X 축, Y 축 상에서의 위치를 검출한다. 또, 조작 검출기 (13) 는, 이후에 상세히 서술하는 바와 같이 자신의 상방향의 소정 범위에 정전 용량의 검출 범위를 갖고, 이 소정의 검출 범위 내의 손가락 또는 스타일러스와 조작 검출기 (13) 사이의 간격 (Z 축 상에서의 위치) 을, 예를 들어, 투명 정전 용량 패널의 네 귀퉁이에서 검출된 정전 용량의 값을 비교하여, 네 귀퉁이에서 검출한 정전 용량의 값에 기초하여 검출한다. 물론, 공중 이미지 (30) 는, 조작 검출기 (13) 의 소정의 검출 범위 내에 위치하도록, 바람직하게는 소정의 검출 범위의 상하 방향의 중간쯤에 위치하도록 결상 광학계 (12) 에 의해 결상된다. 이와 같이, 조작 검출기 (13) 는, 사용자가 공중 이미지 (30) 의 표시 위치를 손가락 또는 스타일러스로 조작하는 것을 검출하므로, 사용자는 조작 검출기 (13) 에 직접 접하지 않고, 공중 이미지 (30) 에 대한 조작을 실행할 수 있다. 또한, 이하의 설명에서는, 손가락을 가지고 공중 이미지 (30) 의 표시 위치를 조작하는 예를 설명하지만, 스타일러스 등에 의해 조작하는 경우도 동일하다.
도 2 는, 표시 장치 (1) 의 구성 중, 제어부 (20) 와, 제어부 (20) 에 의해 제어되는 표시기 (11) 및 조작 검출기 (13) 를 나타낸 블록도이다. 제어부 (20) 는, CPU, ROM, RAM 등을 갖고, 제어 프로그램에 기초하여 표시 장치 (1) 의 표시기 (11) 및 조작 검출기 (13) 를 포함하는 여러 가지 구성 요소를 제어하거나, 각종 데이터 처리를 실행하거나 하는 연산 회로를 포함한다. 제어부 (20) 는, 화상 생성부 (201) 와, 표시 제어부 (202) 와, 캘리브레이션부 (203) 와, 검출 기준 제어부 (204) 와, 기억부 (205) 를 구비한다. 기억부 (205) 는, 제어 프로그램을 격납하는 불휘발성 메모리와, 표시기 (11) 에 표시되는 화상 데이터 등을 기억하는 기억 매체 등을 포함하는 것이다. 또한, 조작 검출기 (13) 의 표면으로부터 손가락 끝까지의 거리와, 조작 검출기 (13) 가 그 손가락 끝을 검출했을 때의 정전 용량 사이의 대응 관계는, 미리 기억부 (205) 에 기억시켜 둔다. 따라서, 조작 검출기 (13) 는, 손가락 끝이 조작 검출기 (13) 의 소정의 검출 범위 내에 위치하면, 손가락 끝에 있어서의 정전 용량을 검출하고, 이 검출한 정전 용량과 기억부 (205) 에 기억된 상기의 대응 관계로부터, Z 방향에 있어서의 손가락 끝의 위치를 검출할 수 있다.
화상 생성부 (201) 는, 기억 매체에 기억되어 있는 화상 데이터에 기초하여, 표시기 (11) 에 표시하기 위한 표시 화상에 대응하는 표시용 화상 데이터를 생성한다. 표시 제어부 (202) 는, 화상 생성부 (201) 에 의해 생성된 표시용 화상 데이터에 대응하는 화상을 표시기 (11) 에 표시시킨다. 또, 표시 제어부 (202) 는, 사용자가 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치에 조작을 실시하면, 그 조작된 아이콘 (30A) 의 종류에 따라 표시기 (11) 의 표시 화상의 전환 제어를 실시한다. 또한, 사용자가 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치에 조작을 실시했을 경우, 표시 제어부 (202) 는 표시기 (11) 의 표시 화상의 전환 제어를 실시하는 것에 한정되지 않는다. 예를 들어, 표시기 (11) 는 표시 화상으로서 동화상을 표시하고, 사용자가 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치에 조작을 실시했을 경우, 표시 제어부 (202) 는 표시기 (11) 에 의해 표시되어 있는 동화상을 재생하는 제어, 또는 동화상을 정지시키는 제어를 실시해도 된다.
캘리브레이션부 (203) 는, 이후에 상세히 서술하는 제 1, 제 2 캘리브레이션 처리 모드의 캘리브레이션 처리를 실행한다. 검출 기준 제어부 (204) 는, 검출면, 즉 검출 기준을, 표시 장치 (1) 의 상방 공간에, 구체적으로는, 조작 검출기 (13) 의 소정의 검출 범위 내로서 공중 이미지 (30) 의 위치 (또는 소정 범위) 에 설정한다. 검출 기준 제어부 (204) 는, 또한 사용자의 손가락이 검출 기준에 이른 것을 조작 검출기 (13) 에 의해 검출된 정전 용량의 값에 기초하여 판정한다. 즉, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 에 의해 검출된 정전 용량의 값에 대응하는 손가락 위치 (X 축, Y 축, Z 축의 각 축에서의 위치) 가 설정된 검출 기준의 위치와 일치했을 때, 사용자가 아이콘 (30A) 의 표시 위치를 조작한 것으로 판정한다. 또, 검출 기준 제어부 (204) 는, 검출 기준을 미리 정해진 소정의 초기 위치에 설정하고, 후술하는 캘리브레이션 처리의 결과에 기초하여, 검출 기준의 위치를 변경, 또는 수정한다. 이 검출 기준의 초기 위치는, 미리 기억부 (205) 에 기억되어 있다. 또한, 검출 기준의 초기 위치는, 예를 들어, 모든 사용자에 대해 공통의 위치여도 되고, 사용자에 의한 표시 장치 (1) 의 사용 이력 등에 기초하여, 사용자마다 상이한 위치를 설정해도 된다. 또, 검출 기준의 초기 위치 및 변경된 검출 기준의 위치는, 조작 검출기 (13) 의 평면 상 (X 축, Y 축 상) 전체에 설정되어 있어도 되고, 평면 상의 일부에 설정되어도 된다. 나아가서는, 검출 기준의 초기 위치는, 전회의 표시 장치 (1) 의 사용시에 설정된 검출 기준을 기억부 (205) 에 기억해 두고, 그것을 판독 출력하여 사용해도 된다. 또한, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 에 의해 검출된 정전 용량의 값에 대응하는 손가락 위치가 검출 기준의 위치에 일치했을 경우에 한정되지 않고, 손가락 위치가 검출 기준의 위치에 대략 일치했을 경우에 사용자가 아이콘 (30A) 의 표시 위치를 조작한 것으로 판정해도 된다. 이 대략 일치했다고 판정하는 범위는 미리 설정해도 된다.
도 3(a) 는, 표시 장치 (1) 에 의해 표시되는 공중 이미지 (30) 의 일례를 나타내고, 도 3(b) 는, 본체 (10) 또는 조작 검출기 (13) 와 공중 이미지 (30) 와 검출 기준 (40) 의 위치 관계를 모식적으로 나타낸다. 도 3(a) 에 있어서, 공중 이미지 (30) 는, 상기 서술한 바와 같이 3 행 × 5 열로 배열된 15 개의 아이콘 (30A) 을 포함한다. 도 3(b) 에 있어서, 검출 기준 (40) 은, 검출 기준 제어부 (204) 에 의해, 공중 이미지 (30) 의 위치 근방에, 구체적으로는 도시예에서는 공중 이미지 (30) 보다 약간 상방의 위치에 설정된다. 도 3(b) 에서는, 공중 이미지 (30) 내의 아이콘은 굵은 점선 (30A) 으로 나타내고 있다. 또한, 아이콘 (30A) 은, 공중 이미지 (30) 의 일부이므로 공중 이미지 (30) 의 위치와 동일 높이 위치에 위치하고 있지만, 도 3(b) 에 있어서는, 아이콘 (30A) 을 나타내는 굵은 점선을, 공중 이미지 (30) 를 나타내는 실선과 구별하기 위해서, 굵은 점선의 위치를 실선 위치로부터 어긋나게 그리고 있다.
도 3(b) 에 있어서, 공중 이미지 (30) 는, 표시 장치 (1) 의 조작 검출기 (13) 의 상방에 거리 (H1) 만큼 떨어진 위치에 형성되고, 검출 기준 (40) 은, 조작 검출기 (13) 의 상방에 거리 (H2) (H1 < H2) 만큼 떨어진 위치에 설정되어 있다. 조작 검출기 (13) 는, 상기 서술한 바와 같이, 그 표면으로부터 상방에 정전 용량의 검출 범위 (13A) 를 갖는다. 도 3(b) 에서는, 조작 검출기 (13) 의 상방의 정전 용량의 검출 한계가 점선 (13a) 으로 나타나고, 이 정전 용량의 검출 한계 (13a) 와 조작 검출기 (13) 의 간격이 정전 용량 검출 범위 (13A) 로서 나타나 있다. 공중 이미지 (30) 와 검출 기준 (40) 은, 정전 용량의 검출 범위 (13A) 내에 위치하도록 설정되어 있다. 또한, 검출 기준 (40) 은, 도 3(b) 에서는 공중 이미지 (30) 의 상방에 설정되어 있지만, 조작 검출기 (13) 의 정전 용량 검출 범위 (13A) 내이면, 공중 이미지 (30) 의 하방이어도 되고, 또는 공중 이미지 (30) 의 위치에 일치시켜도 된다. 여기서, 검출 범위 (13A) 내 중 검출 기준 (40) 으로 설정된 영역 이외의 범위를 검출 기준 외 (41) 로 한다.
또한, 도 3(b) 에 있어서는, 공중 이미지 (30) 와 검출 기준 (40) 은, XY 평면에 평행한 평면으로서 나타내고 있지만, 이들은 모두 평면에 한정되지 않고, 예를 들어 모두 곡면에 의해 구성되어 있어도 된다. 또, 도 3(c) 에 나타낸 바와 같이, 검출 기준 (40) 은, 평면이 아니라 아이콘 (30A) 마다 단차를 갖도록 해도 된다. 환언하면, 어느 아이콘 (30A) 과 그 아이콘에 대한 검출 기준 (40) 의 간격이, 다른 아이콘 (30A) 과 그 다른 아이콘에 대한 검출 기준 (40) 의 간격과 상이해도 된다. 이와 같이, 검출 기준 (40) 에 단차를 형성하는 것은, 공중 이미지 (30) 가 입체 이미지이고, 복수의 아이콘 (30A) 의 위치가 Z 방향, 즉 상하 방향으로 서로 어긋나 있는 경우에 특히 유효하다. 예를 들어, 입체의 공중 이미지 (30) 의 복수의 아이콘 (30A) 의 상하 방향의 어긋남에 따라, 각 아이콘 (30A) 에 대응하는 검출 기준 (40) 의 위치를 어긋나게 함으로써, 아이콘 (30A) 과 대응하는 검출 기준 (40) 사이의 거리를 일정하게 할 수도 있다.
조작 검출기 (13) 는, 사용자의 손가락 끝이 조작 검출기 (13) 로부터 거리 (H2) 에 이르렀을 때, 거리 (H2) 에 대응한 검출 출력을 출력한다. 검출 기준 제어부 (204) 는, 조작 검출기 (13) 에 의한 검출 출력에 기초하여, 사용자의 손가락 끝이 검출 기준 (40) 에 일치한 것으로 판정하고, 손가락 끝이 아이콘 (30A) 의 표시 위치를 조작한 것으로 판정한다. 이와 같이 하여, 표시 장치 (1) 는, 사용자가 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치를 조작한 것을 검출하고, 그 조작된 아이콘 (30A) 에 대응한 기능을 실행한다. 예를 들어, 표시기 (11) 의 표시 화상의 전환 등을 실시한다.
그런데, 아이콘 (30A) 은, 조작 검출기 (13) 로부터 거리 (H1) 의 위치에 위치하고 있지만, 공중 이미지 (30) 로서 표시되므로, 어느 사용자와 다른 사용자에서는, 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치, 즉 높이 (H1) 를 시각적으로 상이하게 느끼는 경우가 있다. 또, 동일한 사용자여도, 이 표시 장치 (1) 를 조작하는 환경에 따라서는, 아이콘 (30A) 의 표시 위치를 상이하게 느끼는 경우가 있다. 예를 들어, 검출 기준 (40) 을 공중 이미지 (30) 의 위치에 일치하도록 설정했을 경우에, 어느 사용자가 아이콘 (30A) 의 표시 위치로의 조작을 위해서, 손가락을 공중 이미지 (30) 의 아이콘 (30A) 쪽으로 이동시켰을 때, 그 사용자는 아직 손가락이 아이콘 (30A) 의 앞에 있다고 느끼고 있는데, 실제로는 손가락이 아이콘 (30A), 즉 검출 기준 (40) 에 이르고 있는 경우에는, 사용자의 의사와는 별개로, 아이콘 조작이 실행되어 버린다. 반대로, 다른 사용자는 아이콘 조작을 위해서, 손가락을 공중 이미지 (30) 의 아이콘 (30A) 쪽으로 이동시켰을 때, 그 사용자는 손가락이 아이콘 (30A) 에 도달하여 아이콘 (30A) 의 표시 위치를 조작하고 있다고 생각하는데, 실제로는 손가락이 아이콘 (30A), 즉 검출 기준 (40) 의 앞에 위치하고 있는 경우에는, 사용자의 의사와는 별개로, 아이콘 조작이 실행되지 않는다. 어느 경우에도 사용자는 아이콘 조작에 위화감을 기억하게 된다.
그래서, 본 실시형태의 표시 장치 (1) 는, 상기 서술한 공중 이미지 (30) 에 대한 조작을 실시하는 공중 이미지 조작 모드에 더하여, 상기의 아이콘 조작의 위화감을 경감시키기 위한 캘리브레이션 처리 모드를 구비하는 것이다. 캘리브레이션 처리 모드는, 공중 이미지 (30) 와 검출 기준 (40) 의 상대적인 위치 관계를 사용자의 조작 감각·조작 특성이나 표시 장치의 사용 환경 등에 적합한 관계로 설정하는 것이다. 본 실시형태의 표시 장치 (1) 는, 상기 서술한 바와 같이 제 1, 및 제 2 캘리브레이션 처리 모드를 갖는다. 제 1 캘리브레이션 처리 모드는, 공중 이미지 조작 모드와는 별개로, 즉, 공중 이미지 조작 모드가 실행되어 있지 않을 때에 캘리브레이션 처리가 실행되는 것이고, 제 2 캘리브레이션 처리 모드는, 표시 장치 (1) 의 기동 후에 공중 이미지 조작 모드가 실행되었을 때에 그 공중 이미지 조작 모드의 실행 중에 캘리브레이션 처리가 실행되는 것이다. 이들 제 1 ∼ 제 2 캘리브레이션 처리 모드는, 도 2 에 나타낸 캘리브레이션부 (203) 에 의해 실행된다. 또한, 제 1 ∼ 제 2 캘리브레이션 처리 모드 중 어느 것을 실행할지는, 도시를 생략한 표시 장치 (1) 에 형성한 캘리브레이션 처리 모드 선택용의 조작 버튼을 조작하여 선택하고, 이 캘리브레이션 처리 모드 선택용의 조작 버튼이 제 1 ∼ 제 2 캘리브레이션 처리 모드 중 어느 것도 선택하고 있지 않은 경우에는, 제어부 (20) 는, 공중 이미지 조작 모드를 선택하여 실행해도 된다. 또, 캘리브레이션 처리 모드 선택용의 조작 버튼을 구비하고 있지 않고, 항상 제 2 캘리브레이션 처리 모드를 실시해도 된다. 이하에, 제 1 ∼ 제 2 캘리브레이션 처리 모드를 순차 설명한다. 또한, 제 1 ∼ 제 2 캘리브레이션 처리 모드의 선택은, 조작 버튼 외에, 공중 이미지의 아이콘에서 선택해도 된다.
맨 처음에 제 1 캘리브레이션 처리 모드를 설명한다. 표시 장치 (1) 가 기동되고, 사용자가 캘리브레이션 처리 모드 선택용의 조작 버튼을 조작하여, 제 1 캘리브레이션 처리 모드를 선택하면, 도 2 의 캘리브레이션부 (203) 가 제 1 캘리브레이션 처리 모드를 기동시킨다. 화상 생성부 (201) 는, 표시용 화상 데이터를 생성하고, 이 표시용 화상 데이터에 기초하여 표시기 (11) 는, 캘리브레이션 처리에 사용하는 표시 화상을 표시한다. 도 4 및 도 5 는, 이 캘리브레이션 처리용의 표시 화상의 공중 이미지 (300) 를 나타낸다. 공중 이미지 (300) 는, 캘리브레이션용 아이콘 (300A) 을 포함하고, 이 캘리브레이션용 아이콘 (300A) 은, 메시지 「캘리브레이션을 실시합니다. 이 아이콘에 터치해 주세요.」 가 중첩 표시되어 있다. 또, 검출 기준 제어부 (204) 는, 도 5(a) 에 나타낸 바와 같이, 검출 기준 (40) 을 공중 이미지 (300) 의 근방 위치, 예를 들어, 공중 이미지 (300) 보다 약간 상방의 위치에 초기 설정한다. 물론, 검출 기준 (40) 의 초기 위치는, 공중 이미지 (300) 에 일치시켜도 되고, 공중 이미지 (300) 보다 약간 하방의 위치에 설정해도 된다. 또한, 상기 서술한 메시지 「캘리브레이션을 실시합니다. 이 아이콘에 터치해 주세요.」 는, 캘리브레이션 처리시에 반드시 표시시키지 않아도 된다. 예를 들어, 캘리브레이션 처리 모드를 선택한 사용자가, 캘리브레이션 처리 모드에 있어서 무엇을 조작해야 할지를 미리 인식하고 있는 경우 등에는, 상기 서술한 메시지의 표시는 필요하지 않다.
도 5(a) 에 있어서, 사용자가 공중 이미지 (300) 의 아이콘 (300A) 에 중첩 표시된 메시지에 따라 아이콘 (300A) 의 표시 위치를 조작하기 위해서, 손가락 끝 (F) 을 아이콘 (300A) 쪽으로 하강 이동시켜, 손가락 끝 (F) 이 도 2 의 조작 검출기 (13) 의 정전 용량의 검출 범위 (13A) 에 이르면, 조작 검출기 (13) 는, 이 아이콘 (300A) 으로의 사용자의 손가락 끝 (F) 의 접근 이동, 즉 하방 이동을 정전 용량의 변화로서 검출한다.
도 5(b) 에 있어서, 손가락 끝 (F) 이 하강 이동하여 검출 기준 (40) 보다 약간 상방의 점선 위치 (50) 에 이르렀을 때, 사용자는 손가락 끝 (F) 이 아이콘 (300A) 의 표시 위치에 도달하여 아이콘 (300A) 을 누르는 조작을 실행했다고 느끼고, 손가락 끝 (F) 을 소정 거리만큼 상방으로 이동시킨다. 조작 검출기 (13) 는, 손가락 끝 (F) 의 상기의 하강 이동, 즉 누름과 그것에 계속되는 소정 거리의 상방 이동을 정전 용량의 변화로서 검출한다. 검출 기준 제어부 (204) 는, 조작 검출기 (13) 가 손가락 끝 (F) 의 상기의 누름과 그것에 계속되는 소정 거리의 상방 이동을 검출하면, 아이콘 (300A) 의 표시 위치에 조작이 실시된 것으로 판정한다. 또한, 사용자의 손가락 끝 (F) 이 아이콘 (300A) 의 표시 위치로의 조작을 위해서 누름을 실시한 후에 소정 거리 상방으로 이동했을 경우에, 가장 하방 이동한 위치를 도달 위치로 한다. 즉, 점선 위치 (50) 를 도달 위치라고 칭한다.
검출 기준 제어부 (204) 는, 손가락 끝 (F) 이 도달 위치 (50) 에 있어서 아이콘 (300A) 의 표시 위치로의 조작을 실시한 것으로 판정하면, 도 5(c) 에 나타내는 바와 같이 도달 위치 (50) 의 위치에 검출 기준 (40) 을 이동, 즉 변경함과 함께, 이 변경된 검출 기준 (40) 의 위치 데이터를 도 2 의 기억부 (205) 에 기억한다. 또한, 검출 기준 제어부 (204) 는, 도 5(d) 에 나타내는 바와 같이 도달 위치 (50) 로부터 소정 거리 (d1) 만큼 상방의 위치에 검출 기준 (40) 을 이동, 즉 변경함과 함께, 이 변경된 검출 기준 (40) 의 위치 데이터를 도 2 의 기억부 (205) 에 기억해도 된다. 이 소정 거리 (d1) 는, 예를 들어, 1 ㎜ ∼ 10 ㎜ 정도로 설정된다. 또, 장치를 이용하는 사용자마다 소정 거리 (d1) 를 변경해도 되고, 사용자의 손가락의 선단으로부터 제 1 관절까지의 길이에 기초하여 설정되어도 된다. 예를 들어, 소정 거리 (d1) 를 사용자의 손가락의 선단으로부터 제 1 관절까지의 길이의 1/4 ∼ 1/2 정도로 포함되는 소정의 값으로 설정되어도 된다.
이상에서는, 손가락의 도달 위치 (50) 가 검출 기준 (40) 보다 상방에 위치하는 경우를 설명했지만, 도달 위치 (50) 가 검출 기준 (40) 보다 하방에 위치하는 경우도, 상기 서술과 동일하게 도달 위치 (50) 를 판정하고, 그 도달 위치 (50) 에 기초하여 검출 기준 (40) 을 변경한다. 또, 도달 위치 (50) 가 검출 기준 (40) 에 일치하는 경우에도 상기 서술과 동일하게 도달 위치 (50) 를 판정하지만, 도달 위치 (50) 가 검출 기준 (40) 에 일치하고 있으므로, 검출 기준 (40) 을 변경하지 않는다.
또한, 도달 위치 (50) 가 검출 기준 (40) 보다 하방에 위치하는 경우에는, 손가락은 도달 위치 (50) 에 도달하기 전에 검출 기준 (40) 을 통과하므로, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락이 검출 기준 (40) 에 이른 것을 판정하지만, 제 1 캘리브레이션 처리 모드에서는, 표시기 (13) 의 표시의 전환을 실시하지 않는다. 도달 위치 (50) 가 검출 기준 (40) 에 일치하는 경우도 동일하게, 표시기 (13) 의 표시의 전환을 실시하지 않는다. 물론, 손가락이 검출 기준 (40) 에 이르렀을 때, 예를 들어, 아이콘 (300A) 을 점멸시키는 등의 하이라이트 표시를 하여, 손가락이 검출 기준에 도달한 것을 사용자에게 알려도 된다.
또한, 이상의 설명에서는, 아이콘 (300A) 의 표시 위치로의 조작의 예로서 사용자에 의한 아이콘 (300A) 을 누르는 조작을 예로 들었지만 이것에 한정되지 않는다. 사용자에 의한 아이콘 (300A) 에 대한 소정의 비접촉 조작이 조작 검출기 (13) 에 의해 검출된 경우, 소정의 비접촉 조작이 실시된 장소에 기초하여, 검출 기준 (40) 을 변경해도 된다. 소정의 비접촉 조작이란, 예를 들어, 아이콘 (300A) 을 터치하는 듯한 제스처 조작이다. 아이콘 (300A) 을 터치하는 듯한 조작을 실시한 위치에 기초하여 검출 기준 (40) 을 변경해도 된다. 터치하는 듯한 조작이란, 예를 들어, 아이콘 (300A) 을 사용자의 손으로 뿌리치는 듯한 제스처 등을 들 수 있다. 또, 터치하는 듯한 조작을 실시한 위치로서, 사용자의 손으로 뿌리치는 듯한 제스처가 종료하여, 사용자의 손이 정지된 것으로 판정된 위치나 사용자의 손으로 뿌리치는 듯한 제스처가 개시된 위치에 기초하여 결정해도 된다.
이상과 같이, 제 1 캘리브레이션 처리 모드에서는, 손가락이 공중 이미지 (300) 의 아이콘 (300A) 의 표시 위치를 조작했다고 사용자가 느낀 것을, 손가락의 누름 이동으로부터 소정 거리의 상방 이동으로의 변화를 검출함으로써 판정하여, 손가락의 도달 위치 (50) 보다 소정 거리 (d1) 만큼 상방의 위치에, 그 사용자용으로 검출 기준 (40) 을 변경하여, 검출 기준 (40) 과 공중 이미지 (300) 의 표시 위치의 위치 관계를 변경한다. 즉, 장치를 사용하는 사용자 정보의 하나인 사용자의 조작에 기초하여, 검출 기준 (40) 과 공중 이미지 (300) 의 표시 위치의 위치 관계를 변경한다. 또한, 사용자용으로 검출 기준 (40) 을 변경하는 경우, 장치를 이용하는 사용자를 반드시 검출할 필요는 없고, 상기 서술한 조작을 조작 검출기 (13) 에 의해 검출된 것에 기초하여, 검출 기준 (40) 과 공중 이미지 (300) 의 표시 위치의 위치 관계를 변경하면 된다.
또한, 검출 기준 제어부 (204) 가 검출 기준 (40) 의 위치를 변경하는 경우, 검출 기준 (40) 전체의 위치를 이동시켜도 되고, 검출 기준 (40) 중, 사용자의 손가락에 의해 조작되는 아이콘 (300A) 에 대응하는 검출 기준 (40) 의 일부만을 이동시켜도 된다.
또한, 도 5(c) 에 나타낸 예에 있어서, 검출 기준 (40) 을, 도달 위치 (50) 보다 소정 거리 (d1) 만큼 상방의 위치로 변경한 이유는 이하와 같다. 즉, 사용자는 일반적으로 터치 패널에 대해 조작을 실시할 때에는 손가락을 터치 패널에 접촉시켜 손가락을 다소 누르므로, 공중 이미지 (300) 의 아이콘 (300A) 의 표시 위치에 대해 조작을 실시할 때에도 손가락 끝이 공중 이미지 (300) 의 아이콘 (300A) 의 표시 위치를 조작해도 거기서 즉시 소정 거리 상방 이동되지 않고 다소 누른 후에 소정 거리 상방 이동되는 경향이 있다. 이 때문에, 손가락의 도달 위치 (50) 는, 손가락이 아이콘 (300A) 의 표시 위치를 조작했다고 느낀 위치보다 다소 하방의 위치가 되기 쉬운 경향이 있으므로, 검출 기준 (40) 이 도달 위치 (50) 보다 소정 거리 (d1) 만큼 상방의 위치로 변경된다. 물론, 이 누름량은 사용자에 따라 비교적 작은 경우, 또는 거의 존재하지 않는 경우도 있으므로, 검출 기준 (40) 의 위치를 도달 위치 (50) 에 대략 일치하도록 변경해도 된다.
캘리브레이션 처리 모드는, 상기 서술한 바와 같이, 캘리브레이션용의 공중 이미지 (300) 와 검출 기준 (40) 의 상대적인 위치 관계를 사용자의 조작 특성에 적합한 관계로 설정하는 것이므로, 사용자의 조작 특성이나 표시 장치에 따라, 검출 기준 (40) 을 도달 위치 (50) 의 상방이 아니라, 상기 서술한 바와 같이 도달 위치 (50) 에 대략 일치시켜도 되고, 또, 도달 위치 (50) 보다 하방의 위치로 변경해도 된다. 예를 들어, 어느 사용자의 도달 위치 (50) 가 공중 이미지 (300) 의 상방에 위치하고, 도달 위치 (50) 와 정전 용량의 검출 범위 (13A) 의 상한 (13a) 의 간격이, 도달 위치 (50) 와 공중 이미지 (300) 의 간격보다 작은 경우에는, 검출 기준 (40) 을 도달 위치 (50) 보다 상방의 위치로 변경하면, 검출 기준 (40) 이 정전 용량의 검출 범위 (13A) 의 상한 (13a) 에 지나치게 가까워지므로, 검출 기준 (40) 을 도달 위치 (50) 에 일치시키거나, 도달 위치 (50) 보다 하방의 위치로 변경할 수도 있다.
또한, 도달 위치 (50) 를 판정하는 방법은, 상기 서술한 누름 이동으로부터 소정 거리의 상방 이동으로의 변화에 기초하여 판정하는 방법에 한정되지 않고, 이하에 서술하는 바와 같이 그 밖의 여러 가지 방법에 의해서도 판정할 수 있다. 예를 들어, 사용자는 손가락이 아이콘 (300A) 의 표시 위치에 도달하여 아이콘 (300A) 으로의 누름 조작을 실행했다고 느끼고, 손가락의 하방 이동, 즉 누름을 정지한다. 검출 기준 제어부 (204) 는, 조작 검출기 (13) 가 검출하는 정전 용량의 값이 거의 변화하지 않게 된 것을 가지고, 손가락의 누름의 정지를 판정하고, 이 누름의 정지 위치를 도달 위치 (50) 로 판정, 즉 결정한다. 또한, 하방 이동의 정지는, 조작 검출기 (13) 가 검출하는 정전 용량의 값이 단시간, 예를 들어 0.1 초 ∼ 1 초 정도 동안 변화하지 않는 것을 가지고 판정된다. 또 다른 방법으로는, 사용자의 손가락의 이동의 속도 벡터, 즉, 손가락의 이동 속도와 이동 방향을 정전 용량의 변화로부터 검출하고, 손가락의 속도 벡터의 방향이 하방향으로부터 반대 방향으로 변화한 것 및 반대 방향의 속도 벡터가 소정의 크기가 된 것에 기초하여, 반대 방향의 소정의 크기의 속도 벡터를 검출했을 때의 손가락의 위치를 도달 위치로 판정해도 된다. 이 방법의 경우에는, 상기의 속도 벡터의 소정의 크기를 대략 제로로 설정하면, 속도 벡터의 방향이 하향으로부터 반대 방향으로 변화하는 시점의 손가락의 위치, 즉 가장 하방의 위치가 도달 위치로서 판정되고, 소정의 크기를 제로 이외의 값으로 설정하면, 손가락이 상기 서술한 가장 하방의 위치로부터 소정 거리만큼 상방의 위치가 도달 위치로서 판정된다. 이상과 같이, 도달 위치는, 검출 기준 제어부 (405) 에 의해 손가락이 아이콘의 표시 위치를 조작한 것으로 판정되었을 때의 손가락의 최하방 위치 또는 그 근방의 위치로 결정된다.
또, 상기 서술한 예에서는, 손가락이나 스타일러스는, 공중 이미지 (300) 의 아이콘 (300A) 에 접촉하는 부분, 즉 손가락 끝 부분의 위치나 스타일러스의 최하부의 위치를 기준으로 하여 도달 위치를 결정했지만, 그 대신에, 사용자의 손가락의 손톱 끝의 위치나, 손가락의 제 1 관절의 위치를 기준으로 하여 도달 위치를 결정해도 된다. 나아가서는, 사용자의 손가락에 한정되지 않고, 사용자의 다리나 팔꿈치 등으로 아이콘을 조작하는 경우에는, 다리나 팔꿈치 등을 기준으로 하여 도달 위치를 결정해도 된다. 스타일러스를 사용하는 경우에는, 스타일러스의 소정의 위치에 마크를 부여하고, 그 마크의 위치를 기준으로 도달 위치를 결정해도 된다. 또한, 손가락의 제 1 관절이나 스타일러스의 마크 등을 사용하여 도달 위치를 결정하는 경우에는, 조작 검출기 (13) 로서, 정전 용량식 패널을 사용하는 대신에, 후술하는 변형예 8 에 있어서 설명하는 촬상 장치 등을 사용하는 것이 바람직하다.
상기 설명의 제 1 캘리브레이션 처리 모드와 공중 이미지 조작 모드의 관계에 대해, 도 6 에 나타내는 플로우 차트를 참조하여 설명한다. 도 6 의 플로우 차트에 나타내는 각 처리는, 표시 장치 (1) 가 기동된 후, 제어부 (20) 에 의해 프로그램을 실행하여 실시된다. 이 프로그램은, 기억부 (205) 에 기억되어 있다. 스텝 S1 에 있어서, 사용자에 의해 캘리브레이션 처리 모드 선택용의 조작 버튼에 의해 제 1 캘리브레이션 처리 모드가 선택되어 있는 것을 인식하면, 스텝 S2 로 진행된다. 스텝 S2 에 있어서, 도 2 에 나타낸 캘리브레이션부 (203) 가 제 1 캘리브레이션 처리 모드를 개시하고, 스텝 S3 으로 진행된다. 스텝 S3 에서는, 화상 생성부 (201) 가 캘리브레이션용의 표시용 화상 데이터를 생성하고, 표시 제어부 (202) 는, 표시용 화상 데이터에 기초하는 캘리브레이션용의 화상을 표시기 (11) 에 표시시킴과 함께, 검출 기준 제어부 (204) 는, 검출 기준을 초기 위치에 설정한다. 표시기 (11) 의 표시 화상은, 결상 광학계 (12) 에 의해 생성되는 도 4 에 나타내는 캘리브레이션용의 공중 이미지 (300) 이고, 공중 이미지 (300) 는, 아이콘 (300A) 과 메시지 「캘리브레이션을 실시합니다. 이 아이콘에 터치해 주세요.」 를 포함한다. 스텝 S4 에 있어서, 조작 검출기 (13) 는, 사용자의 손가락 끝 (F) 의 하방으로의 이동을 검출하고, 스텝 S5 로 진행된다.
스텝 S5 에 있어서, 도 2 에 나타낸 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락이 도달 위치에 이르렀는지의 여부를 판정한다. 스텝 S5 에 있어서 긍정으로 판정된 경우, 즉, 손가락이 도달 위치에 이르렀다고 판정된 경우, 스텝 S6 으로 진행된다. 스텝 S5 에 있어서 부정으로 판정된 경우, 즉, 손가락은 정지되어 있지 않은 것으로 판정된 경우, 긍정으로 판정될 때까지 대기한다. 스텝 S6 에 있어서, 검출 기준 제어부 (204) 는, 도달 위치 (50) 에 기초하여, 검출 기준 (40) 의 위치를 변경하고, 그 변경한 검출 기준 (40) 의 위치 데이터를 도 2 에 나타낸 기억부 (205) 에 기억하고, 스텝 S7 로 진행된다. 스텝 S7 에 있어서, 제 1 캘리브레이션 처리 모드를 종료하고, 스텝 S8 로 진행된다. 스텝 S8 에서는, 공중 이미지 조작 모드를 개시하고, 스텝 S9 로 진행된다. 스텝 S9 에 있어서, 도 3 에 나타낸 공중 이미지 조작 모드용의 아이콘 (30A) 을 포함하는 공중 이미지 (30) 가 표시됨과 함께, 스텝 S6 에 있어서 제 1 캘리브레이션 처리 모드에 의해 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 로부터 판독 출력하고, 그 위치 데이터에 기초하여 검출 기준 (40) 을 도 3(b) 에 나타낸 바와 같이, 공중 이미지 (30) 의 근방 위치에 설정한다. 이와 같이 하여, 이 공중 이미지 조작 모드에서는, 제 1 캘리브레이션 처리 모드에 있어서 설정된 사용자의 조작 특성에 적합한 검출 기준 (40) 이 사용된다.
사용자가 아이콘 (30A) 의 표시 위치를 조작하기 위해서, 손가락을 공중 이미지 (30) 를 향하여 하방으로 이동시키면, 스텝 S10 에 있어서, 도 2 에 나타낸 조작 검출기 (13) 가 사용자의 손가락의 하방으로의 이동을 검출하고, 스텝 S11 로 진행된다. 스텝 S11 에 있어서, 검출 기준 제어부 (204) 가, 조작 검출기 (13) 의 검출 출력에 기초하여 손가락이 검출 기준 (40) 에 이르렀는지의 여부를 판정한다. 스텝 S11 에 있어서 긍정으로 판정된 경우, 즉, 손가락이 검출 기준 (40) 에 이르렀다고 판정된 경우, 스텝 S12 로 진행된다. 스텝 S11 에 있어서 부정으로 판정된 경우, 즉, 손가락이 검출 기준 (40) 에 이르지 않은 것으로 판정된 경우, 긍정으로 판정될 때까지 대기한다. 스텝 S12 에 있어서, 표시 제어부 (202) 는 표시기 (13) 의 표시 화상을 조작된 아이콘 (30A) 에 따른 표시 화상으로 전환하고, 스텝 S13 으로 진행된다. 스텝 S13 에 있어서, 표시 장치 (1) 의 정지 조작이 실시되었는지의 여부를 판정한다. 스텝 S13 에 있어서, 긍정으로 판정된 경우, 즉, 표시 장치 (1) 의 정지 조작이 실시된 경우, 표시 장치 (1) 는 정지한다. 스텝 S13 에 있어서 부정으로 판정된 경우, 스텝 S10 으로 되돌아간다.
이상 설명한 바와 같이, 제 1 캘리브레이션 모드에서는, 사용자에 의한 조작에 기초하여 검출 기준이 변경되어, 공중 이미지와 검출 기준의 위치 관계가 변경된다. 이 제 1 캘리브레이션 모드에서 변경된 검출 기준의 위치에 공중 이미지 조작 모드의 검출 기준이 설정되므로, 사용자의 조작 특성이나 표시 장치 (1) 의 사용 환경에 적합한 검출 기준에 기초하여 공중 이미지 조작 모드를 실행할 수 있다.
이상의 설명에서는, 제 1 캘리브레이션 처리 모드는, 표시 장치 (1) 가 기동된 후, 공중 이미지 조작 모드에 앞서 실행되는 것이었지만, 제 1 캘리브레이션 처리 모드는, 공중 이미지 조작 모드의 뒤에 실행할 수도 있다. 예를 들어, 사용자는, 공중 이미지 조작 모드의 실행 중에, 예를 들어 아이콘 (300A) 의 표시 위치로의 조작에 위화감을 기억했을 때, 표시 장치 (1) 의 캘리브레이션 처리 모드 선택용의 조작 버튼을 조작하여, 제 1 캘리브레이션 처리 모드를 선택한다. 이 경우에는, 제 1 캘리브레이션 처리 모드는, 실행 중인 공중 이미지 조작 모드를 중단하여 실행되고, 이 제 1 캘리브레이션 처리의 종료 후에, 공중 이미지 조작 모드가 재개된다. 또한, 상기 서술한 사용자에 의한 조작 버튼의 조작에 따라 표시 장치 (1) 가 제 1 캘리브레이션 모드를 선택하는 것 대신에, 아이콘 (300A) 의 표시 위치로의 조작에 대한 위화감으로부터 사용자가 불쾌감을 느끼고 있는 모습을 검출했을 때, 제 1 캘리브레이션 처리 모드를 실행해도 된다. 표시 장치 (1) 는, 예를 들어 사용자의 맥박수 (생체 정보) 를 검출하고, 검출한 맥박수가 소정값을 초과한 경우에, 사용자가 불쾌감을 느끼고 있는 모습을 검출할 수 있다.
다음에, 제 2 캘리브레이션 처리 모드를 도 7 및 도 8 을 참조하여 설명한다. 또한, 이하에서 설명하는 제 2 캘리브레이션 처리 모드에 대해서는, 상기 서술한 제 1 캘리브레이션 처리 모드에서 설명한 처리를 적절히 적용해도 된다. 도 7 은, 공중 이미지 조작 모드용의 공중 이미지 (30) 와 초기 위치의 검출 기준 (40) 과 손가락의 도달 위치 (50) 를 나타낸 도면이고, 도 8 은, 제 2 캘리브레이션 처리 모드의 동작을 나타낸 플로우 차트이다. 도 8 의 플로우 차트에 나타내는 각 처리는, 표시 장치의 기동 후, 제어부 (20) 에 의해 프로그램을 실행하여 실시된다.
스텝 S41 에 있어서, 제 2 캘리브레이션 처리 모드가 선택되어 있는 것을 인식하고, 스텝 S42 로 진행된다. 스텝 S42 에 있어서, 공중 이미지 조작 모드와 제 2 캘리브레이션 처리 모드가 함께 개시되고, 스텝 S43 으로 진행된다. 스텝 S43 에 있어서, 도 3 에 나타낸 아이콘 (30A) 을 포함하는 공중 이미지 (30) 가 표시됨과 함께, 도 2 에 나타낸 검출 기준 제어부 (204) 가, 검출 기준 (40) 을 미리 정해진 초기 위치, 예를 들어, 공중 이미지 (30) 의 위치 또는 공중 이미지 (30) 의 위치보다 약간 상방의 위치에 설정하고, 스텝 S44 로 진행된다. 이 때, 공중 이미지 (30) 에는, 메시지 「아이콘의 조작 중에 캘리브레이션이 실시됩니다」 가 단시간만 표시된다. 또한, 이 메시지는 표시되지 않아도 된다.
스텝 S44 에 있어서, 사용자가 아이콘 (30A) 의 표시 위치로의 조작을 위해서, 손가락을 하방으로 이동시키면, 조작 검출기 (13) 가 손가락의 이동의 검출을 개시하고, 스텝 S45 로 진행된다. 스텝 S45 에 있어서, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락이 하방 이동 중에 검출 기준 (40) 을 통과했는지를 판정한다. 스텝 S45 에 있어서 긍정으로 판단된 경우, 즉, 손가락이 하강 이동 중에 검출 기준 (40) 을 통과하여, 더욱 하강 이동한 경우, 스텝 S46 으로 진행된다. 도 7 의 손가락 (F1) 은, 하강 이동 중에 검출 기준 (40) 을 통과한 손가락을 나타낸다. 스텝 S46 에서는, 검출 기준 제어부 (204) 는 손가락 (F1) 이 검출 기준 (40) 에 이른 것, 즉 검출 기준 (40) 을 통과한 것을 판정하여, 아이콘 표시의 전환을 실시하고, 즉, 공중 이미지 (30) 가 조작된 아이콘 (30A) 에 따라 전환되고, 스텝 S47 로 진행된다. 스텝 S47 에서는, 검출 기준 제어부 (204) 는, 손가락 (F1) 이 도달 위치 (50) 에 이르렀는지를 판정하고, 긍정으로 판정된 경우에는 스텝 S48 로 진행되고, 부정으로 판정된 경우에는, 긍정으로 판정될 때까지 유지한다. 스텝 S48 에서는, 검출 기준 제어부 (204) 는, 도달 위치 (50) 에 기초하여 검출 기준 (40) 의 위치를 변경한다. 또한, 검출 기준 (40) 의 위치를 변경했을 때, 변경된 검출 기준 (40) 이 사용자의 손가락 끝에 일치하거나, 또는 사용자의 손가락 끝의 위치보다 상방에 위치하는 경우가 있다. 이 경우, 스텝 S46 에서 아이콘 표시의 전환을 이미 한 번 실시했기 때문에, 아이콘 표시의 전환은 실시하지 않는다.
전술한 스텝 S45 에서 부정으로 판정된 경우, 즉, 손가락이 하강 이동 중에 검출 기준 (40) 을 통과하고 있지 않은 경우에는, 스텝 S49 로 진행된다. 스텝 S49 에서는, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락이 도달 위치 (50) 에 이르고 있는지를 판정하고, 긍정으로 판정된 경우에는 스텝 S50 으로 진행된다. 부정으로 판정된 경우에는, 긍정으로 판정될 때까지 유지한다. 도 7 의 손가락 (F2) 은, 도달 위치 (50) 가 검출 기준 (40) 에 일치한 것을 나타내고 있다. 스텝 S50 에서는, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 도달 위치 (50) 가 검출 기준 (40) 에 일치하는지를 판정하고, 긍정으로 판정된 경우에 스텝 S51 로 진행되고, 부정으로 판정된 경우에 스텝 S52 로 진행된다. 스텝 S51 에서는, 도달 위치 (50) 가 검출 기준 (40) 에 일치하고 있으므로, 아이콘 표시의 전환을 실시하지만, 검출 기준 (40) 의 변경은 실시하지 않는다.
스텝 S52 에서는, 도 7 의 손가락 (F3) 으로 나타낸 바와 같이 도달 위치 (50) 가 검출 기준 (40) 의 상방에 위치하고 있고, 검출 기준 제어부 (204) 는, 도달 위치 (50) 에 기초하여 검출 기준 (40) 의 위치를 변경하는, 구체적으로는, 검출 기준 (40) 의 위치를 도달 위치 (50) 의 근방으로 변경하고, 스텝 S55 로 진행된다. 이 때, 변경된 검출 기준 (40) 이 사용자의 손가락 끝에 일치했을 경우, 또는 사용자의 손가락 끝의 위치보다 상방까지 이동한 경우에는, 아이콘 표시의 전환이 실시된다. 한편, 변경된 검출 기준 (40) 이 사용자의 손가락 끝의 위치에 이르지 않은 경우에는, 아이콘 표시의 전환 표시는 실시되지 않는다.
스텝 S55 에서는, 제 2 캘리브레이션 처리 모드의 종료 조작이 실시되었는지를 판정하고, 긍정으로 판정된 경우에 스텝 S55 로 진행되고, 부정으로 판정된 경우에 스텝 S44 로 되돌아간다.
이상과 같이, 제 2 캘리브레이션 처리 모드는, 공중 이미지 조작 모드를 실행 중에 병행하여 실시되기 때문에, 캘리브레이션 처리의 실행을 의식하지 않고, 사용자에게 적합한 검출 기준에서 공중 이미지의 표시 위치에 대한 조작을 실행할 수 있다. 또한, 제 1 ∼ 2 캘리브레이션 처리 모드는 반드시 사용자가 선택하지 않아도 된다. 표시 장치 (1) 가 자동적으로 제 1 ∼ 2 캘리브레이션 처리 모드 중 어느 하나를 선택하도록 해도 된다. 또, 제 1 ∼ 2 캘리브레이션 처리 모드 모두를 구비하는 것이 아니라, 그 중 하나를 구비하는 것이어도 된다.
이상 설명한 제 1 실시형태에 의한 표시 장치 (1) 는, 다음과 같이 변형할 수 있다.
(제 1 실시형태의 변형예 1)
변형예 1 의 표시 장치 (1) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 사용자의 손가락 끝의 속도 혹은 가속도를 산출하고, 산출한 속도 또는 가속도에 기초하여 손가락의 도달 위치를 예측하며, 그 예측 도달 위치에 기초하여 검출 기준을 변경하는 것이어도 된다. 도 9 는, 본 변형예 1 의 표시 장치 (1) 의 구성 중, 제어부 (20) 와, 제어부 (20) 에 의해 제어되는 표시기 (11) 및 조작 검출기 (13) 를 나타낸 블록도이다.
변형예 1 의 표시 장치 (1) 는, 제 1 실시형태의 표시 장치에 대해 상이한 구성에 대해 설명한다. 도 9 에 있어서, 속도·가속도 검출부 (206) 는, 조작 검출기 (13) 에 의해 검출되는 정전 용량값을 소정의 시간마다 판독 출력하고, 소정의 시간당의 정전 용량값의 변화로부터 손가락의 이동 속도를 산출함과 함께, 산출한 속도로부터 손가락의 이동 가속도를 산출한다. 도달 위치 예측부 (207) 는, 속도·가속도 검출부 (206) 로부터 출력된 손가락의 이동 속도 또는 가속도에 기초하여 손가락의 도달 위치를 예측한다. 도달 위치 예측부 (207) 는, 예를 들어, 손가락의 이동이 가속되고 있는 상태 또는 대략 일정 속도 상태로부터 감속 상태로 이행한 것을 검출하고, 그 감속 상태로부터 손가락의 도달 위치를 예측할 수 있다. 검출 기준 제어부 (204) 는, 도달 위치 예측부 (207) 에 의해 예측된 도달 위치에 기초하여, 검출 기준을 변경한다.
다음에, 변형예 1 의 표시 장치 (1) 에 의한 제 1 캘리브레이션 처리 모드를 도 10 및 도 11 을 참조하여 설명한다. 도 11 의 플로우 차트에 있어서, 스텝 S103 내지 스텝 S107 이외에는, 도 6 의 플로우 차트와 동일하므로, 설명을 생략한다. 도 10(a) 에 나타낸 바와 같이, 손가락 끝 (F) 이 조작 검출기 (13) 의 소정의 검출 범위 (13A) 내에 들어가면, 스텝 S104 에 있어서 조작 검출기 (13) 가 손가락 끝 (F) 의 이동을 정전 용량값의 변화로서 검출한다. 스텝 S105 에서는, 속도·가속도 검출부 (206) 가 조작 검출기 (13) 의 검출 출력에 기초하여 손가락 끝 (F) 의 이동 속도 및 가속도를 산출한다. 스텝 S106 에서, 도달 위치 예측부 (207) 가 속도·가속도 검출부 (206) 가 산출한 이동 속도 및 가속도에 기초하여 손가락 끝 (F) 의 도달 위치를 산출한다. 도 10(b) 에 있어서, 도달 위치 예측부 (207) 가 산출한, 즉 예측한 손가락의 도달 위치를 점선 (60) 으로 나타낸다. 스텝 S107 에 있어서, 검출 기준 제어부 (204) 는, 도 10(c) 에 나타낸 바와 같이 예측 도달 위치 (60) 에 기초하여 검출 기준 (40) 을 변경함과 함께, 그 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억한다. 그 후의 스텝 S110 에 있어서, 이 기억된 검출 기준 (40) 의 위치에 공중 이미지 조작 모드의 검출 기준이 설정된다. 또한, 손가락의 도달 위치를 예측하기 위해서는, 손가락의 이동 속도와 가속도의 양방을 사용해도 되고, 어느 일방을 사용해도 된다.
또한, 상기 서술한 설명에서는, 속도·가속도 검출부 (206) 는, 조작 검출기 (13) 에 의해 검출되는 정전 용량값을 소정의 시간마다 판독 출력하고, 소정의 시간당의 정전 용량값의 변화로부터 손가락의 이동 속도를 산출함과 함께, 산출한 속도로부터 손가락의 이동 가속도를 산출했지만, 이 방법에 한정되지 않고, 속도·가속도 검출부 (206) 로서 촬상 장치를 사용해도 된다. 또, 상기 서술한 설명에서는, 사용자의 손가락의 이동 속도 또는 가속도를 산출했지만, 그 밖에, 사용자의 다리나 팔꿈치, 사용자가 소지하고 있는 스타일러스 펜이어도 된다.
또한, 산출한 사용자의 손가락의 이동 속도 및 가속도에 기초하여 사용자의 손가락의 예측 도달 위치 (60) 를 산출하고, 사용자의 손가락의 예측 도달 위치 (60) 에 기초하여 검출 기준 (40) 을 변경하고 있지만, 조작마다 사용자의 손가락의 예측 도달 위치 (60) 를 결정할 필요는 없다. 사용자가 조작을 실시하기 전에 의도하지 않게 움직였을 경우, 그 움직임에 기초하여 예측 도달 위치 (60) 를 산출해 버리면, 극단적으로 위의 위치에 검출 기준 (40) 이 설정되어 버리는 등, 적절한 위치에 검출 기준을 설정할 수 없게 되어 버린다. 상기 서술한 바와 같은 경우를 방지하기 위하여, 사용자의 손가락의 이동 속도 및 가속도를 검출했을 경우에, 소정의 임계값 이상의 사용자의 손가락의 이동 속도 및 가속도를 검출했을 경우에만 예측 도달 위치 (60) 를 산출하고, 예측 도달 위치 (60) 에 기초하여 검출 기준 (40) 의 위치를 변경해도 된다.
본 변형예 1 에 의하면, 손가락의 도달 위치가 손가락의 이동 속도 또는 가속도에 기초하여 예측되므로, 캘리브레이션 처리를 신속하게 실시할 수 있다.
상기와 같이, 본 변형예에 있어서의 캘리브레이션 처리에 대해, 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 적용했을 경우에 대해 설명했지만, 제 2 캘리브레이션 처리 모드에도 적용할 수 있다. 본 변형예 1 을 제 2 캘리브레이션 처리 모드에 적용했을 경우, 공중 이미지 조작 중의 사용자의 손가락 끝 (F) 이 검출 기준 (40) 에 이르기 전에 손가락 끝 (F) 의 도달 위치를 사전에 예측하고, 예측한 도달 위치에 기초하여 검출 기준을 변경하는 것이 가능해진다. 그 때문에, 사용자의 손가락 끝 (F) 이 검출 기준 (40) 에 이르지 않아 아이콘 표시의 전환이 발생하지 않는 등의 오조작을 미연에 방지하여, 사용자에게 쾌적한 조작을 실시하게 할 수 있다.
(제 1 실시형태의 변형예 2)
제 1 실시형태 및 변형예 1 에 관련된 표시 장치 (1) 는, 1 회의 캘리브레이션 처리에 있어서, 도달 위치를 검출 또는 예측하고, 그 도달 위치에 기초하여 검출 기준을 변경하며, 그 검출 기준의 위치 데이터를 기억부 (205) 에 기억하고, 공중 이미지 조작 모드시에 공중 이미지 조작 모드의 검출 기준을 기억부 (205) 에 기억된 검출 기준의 위치에 설정, 또는 변경하는 것이었지만, 그 대신에, 변형예 2 에 관련된 표시 장치는, 복수회의 캘리브레이션 처리에 있어서 각각 설정된 복수의 검출 기준의 위치를 각각 기억부 (205) 에 기억하고, 그 기억된 복수의 검출 기준 위치에 기초하여, 공중 이미지 조작 모드에 있어서의 검출 기준을 변경하는 것이다. 제 1 회째의 캘리브레이션 처리에 있어서 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여 손가락의 도달 위치 (50) 를 판정하고, 이 도달 위치 (50) 에 기초하여 검출 기준 (40) 을 변경하며, 그 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억한다. 계속해서 제 2 회째의 캘리브레이션 처리를 실시하고, 동일하게 변경된 검출 기준의 위치 데이터를 기억부 (205) 에 기억한다. 또한, 계속해서 제 3 회의 캘리브레이션 처리를 실시해도 된다. 이와 같이 하여 연속적으로 실시된 복수회의 캘리브레이션 처리에 의해, 기억부 (205) 에 기억된 복수의 검출 기준의 위치 데이터로부터 하나의 검출 기준을 산출하고, 그 산출된 검출 기준의 위치 데이터를 기억부 (205) 에 기억한다. 그 후에 실행되는 공중 이미지 조작 모드에서는 검출 기준을, 기억부 (205) 에 기억된 산출 검출 기준의 위치에 설정한다.
이들 복수의 검출 기준 (40) 을 사용하여 하나의 검출 기준을 결정하기 위해서는, 여러 가지 순서를 생각할 수 있다. 예를 들어, 복수의 검출 기준 (40) 을 상가 평균하여 하나의 검출 기준을 산출해도 되고, 상승 평균하여 하나의 검출 기준을 산출해도 된다. 또, 복수의 검출 기준 (40) 의 각각에 적당한 가중 부여를 실시하여 새로운 검출 기준을 결정해도 된다. 예를 들어, N 회째의 조작으로부터 구한 검출 기준 (HN) 과, N + 1 회째의 조작으로부터 구한 검출 기준의 위치 (HN+1) 에 대해, 3 : 7 의 비율로 가중 부여를 실시하여 검출 기준을 산출해도 된다. 구체적으로는, HN 과 HN+1 을 사용하여 (HN × 3 + HN+1 × 7)/10 의 계산을 실시하고, 그 결과에 기초하여 검출 기준을 산출한다. 가중 부여는 3 : 7 에 한정되지 않고, 또, 조작 횟수도 2 회에 한정되지 않는다. 물론, 복수회의 캘리브레이션 처리마다 손가락의 도달 위치에 기초하여 검출 위치를 설정하여, 각각 기억부 (205) 에 기억하는 것이 아니라, 복수회의 캘리브레이션 처리마다 검출한 손가락의 도달 위치를 각각 기억부 (205) 에 기억하고, 그 기억된 복수의 도달 위치에 기초하여 하나의 검출 기준을 산출해도 된다.
또, 캘리브레이션 처리는, 도달 위치와 검출 기준의 간격이 소정값 이하인 경우, 즉, 도달 위치가 검출 기준의 근방인 경우에는, 검출 기준의 위치의 변경을 실시하지 않아도 된다.
또한, 캘리브레이션 처리에 있어서, 캘리브레이션 처리마다 검출 기준의 변경을 실시하는 것이 아니라, 복수회의 캘리브레이션 처리에 있어서, 도달 위치를 판정한 횟수와, 실제로 도달 위치가 검출 기준에 이른 것을 판정한 횟수로부터, 아이콘의 표시 위치로의 조작이 실패한 횟수를 산출하고, 소정의 횟수 이상, 실패한 것으로 판정되었을 때, 검출 기준을 변경하도록 해도 된다.
상기와 같이, 본 변형예에 있어서의 캘리브레이션 처리에 대해, 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 적용했을 경우에 대해 설명했지만, 제 2 캘리브레이션 처리 모드나 상기 서술한 변형예 1 에도 적용할 수 있다.
상기 서술한 캘리브레이션 처리에서는, 사용자가 공중 이미지의 아이콘의 표시 위치를 조작할 때에 통상 실시하는 자연스러운 조작 동작, 즉 손가락으로 아이콘을 누르고 나서 손가락을 상방향으로 이동시키는 동작이나, 손가락이 아이콘에 접촉되면 그것을 눌러 단시간 정지시키는 동작 등을 검출하여 도달 위치를 판정하고 있으므로, 사용자는 캘리브레이션 처리에 있어서 도달 위치의 검출·판정이 실시되고 있는 것을 깨닫지 못하며, 따라서 사용자는 캘리브레이션 처리를 의식하지 않고 실행할 수 있다.
(제 1 실시형태의 변형예 3)
제 1 실시형태에 있어서는, 사용자의 손가락의 공중 이미지의 표시 위치에 대한 조작을 검출하여 도달 위치를 판정하고, 도달 위치에 기초하여 검출 기준의 변경을 실시하였다. 그러나, 사용자는 공중 이미지의 아이콘의 표시 위치를 조작했다고 느낀 손가락의 위치를 지정하고, 그 지정 위치를 검출 기준 제어부가 판정하며, 지정 위치에 기초하여 검출 기준을 변경하여, 검출 기준과 공중 이미지의 위치 관계를 변경해도 된다. 이하에, 사용자가 공중 이미지의 표시 위치를 조작하는 위치를 지정 위치로서 지정하는 변형예를 설명한다. 또한, 이하의 설명은, 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 적용했을 경우에 대해 설명하지만, 제 2 캘리브레이션 처리 모드나 상기 서술한 변형예 1, 2 에도 적용할 수 있다.
이하에 변형예 3 의 표시 장치를 설명한다. 표시 장치 (1) 가 기동되고, 사용자가 캘리브레이션 처리 모드 선택용의 조작 버튼을 조작하여, 제 1 캘리브레이션 처리 모드를 선택하면, 도 2 의 캘리브레이션부 (203) 가 제 1 캘리브레이션 처리 모드를 기동시킨다. 화상 생성부 (201) 는, 표시용 화상 데이터를 생성하고, 이 표시용 화상 데이터에 기초하여 표시기 (11) 는, 캘리브레이션용의 표시 화상을 표시한다. 도 12 는, 이 캘리브레이션용의 표시 화상의 공중 이미지 (300) 를 나타낸다. 공중 이미지 (300) 는, 캘리브레이션용 아이콘 (300B) 을 포함하고, 이 캘리브레이션용 아이콘 (300B) 은, 메시지 「캘리브레이션을 실시합니다. 이 아이콘의 위치를 손가락으로 가리키고, 그 상태에서 손가락을 횡방향으로 이동시켜 주세요.」 가 중첩 표시되어 있다. 또, 검출 기준 제어부 (204) 는, 도 13(a) 에 나타낸 바와 같이, 검출 기준 (40) 을 공중 이미지 (300) 의 근방의 초기 위치에 설정한다.
도 13(a) 에 있어서, 사용자가 아이콘 (300B) 에 중첩 표시된 메시지에 따라 아이콘 (300B) 의 표시 위치를 조작하기 위해서, 손가락 끝 (F) 을 아이콘 (300B) 쪽으로 하강 이동시켜, 손가락 끝 (F) 이 도 2 의 조작 검출기 (13) 의 정전 용량 검출 범위 (13A) 에 이르면, 조작 검출기 (13) 는, 이 아이콘 (300B) 으로의 사용자의 손가락 (F) 의 접근 이동, 즉 하방으로의 이동을 정전 용량의 변화로서 검출한다. 또한, 도 13(a) 는 손가락을 정면에서 보도록 표시한 것이다.
사용자는 손가락을 더욱 하강 이동시켜, 손가락 끝 (F) 이 공중 이미지 (300) 의 아이콘 (300B) 의 표시 위치에 이르렀다고 느꼈을 때, 도 13(b) 에 화살표로 나타낸 바와 같이, 손가락 (F) 을 횡방향으로 이동시킨다. 조작 검출기 (13) 는, 이 손가락 (F) 의 하강 이동 및 횡방향의 이동을 검출한다. 검출 기준 제어부 (204) 는, 손가락의 하강 이동을 검출하고 있던 조작 검출기 (13) 가 손가락의 횡방향의 이동을 검출한 것을 판정하여, 하강 이동으로부터 횡방향 이동으로 변화했을 때의 손가락의 높이 위치를 지정 위치 (50A) 로 판정한다. 검출 기준 제어부 (204) 는, 이 지정 위치 (50A) 에 기초하여, 검출 기준 (40) 의 위치를 변경하고, 이 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억한다. 또한, 지정 위치 (50A) 는, 도 13(b) 에서는, 공중 이미지 (300) 의 상방의 위치로서 예시되어 있지만, 지정 위치 (50A) 는, 손가락 끝 (F) 이 공중 이미지 (300) 의 아이콘 (300B) 에 이르렀다고 사용자가 느꼈을 때의 위치이기 때문에, 공중 이미지 (300) 에 일치한 위치에 지정되는 경우도 있고, 또는 공중 이미지 (300) 보다 하방의 위치에 지정되는 경우도 있다.
또한, 검출 기준 제어부 (204) 는, 이상의 설명에서는 손가락이 하강 이동으로부터 횡방향의 이동으로 변화했을 때의 손가락의 위치, 즉 손가락의 높이를 지정 위치 (50A) 로 판정했지만, 이것에 한정되지 않고, 예를 들어 손가락이 하강 이동으로부터 횡방향의 이동으로 변화하고, 그 횡방향 이동이 종료했을 때의 손가락의 높이를 지정 위치 (50A) 로서 판정해도 된다. 또, 검출 기준 제어부 (204) 는, 손가락의 횡방향의 이동 개시로부터 횡방향의 이동 종료까지의 손가락의 높이의 평균값이나 중앙값 등을 지정 위치 (50A) 로 해도 된다.
상기 설명의 변형예 3 의 캘리브레이션 처리에 대해, 도 14 에 나타내는 플로우 차트를 참조하여 설명한다. 또한, 도 14 의 플로우 차트는 스텝 S121 ∼ 스텝 S129 를 나타내고, 그 이후의 스텝은 생략하였다. 스텝 S129 이후의 처리는, 도 11 에 나타내는 플로우 차트의 스텝 S109 이후의 처리와 동일하다.
스텝 S121 ∼ 스텝 S124 의 각 처리는, 도 6 에 나타낸 플로우 차트에 있어서의 스텝 S1 ∼ 스텝 S4 의 각 처리와 동일하다. 스텝 S126 에 있어서, 조작 검출기 (13) 는, 사용자의 손가락의 횡방향 이동을 검출한다. 스텝 S127 에 있어서, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락이 하강 이동으로부터 횡방향 이동으로 변화한 것을 판정하고, 그 변화시의 손가락의 위치를 지정 위치 (50A) 로 판정하고, 지정 위치 (50A) 에 기초하여, 검출 기준 (40) 의 위치를 변경하며, 그 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억하고, 스텝 S128 로 진행된다. 스텝 S128 에 있어서, 제 1 캘리브레이션 처리 모드를 종료하고, 스텝 S129 로 진행된다. 스텝 S129 에서는, 공중 이미지 조작 모드를 개시한다. 이 공중 이미지 조작 모드에서는, 기억부 (205) 로부터 판독 출력된 변경된 검출 기준 (40) 의 위치 데이터에 기초하여 검출 기준이 설정된다.
본 변형예 3 에서는, 사용자는, 캘리브레이션 처리에 있어서 손가락이 공중 이미지의 표시 위치를 조작했다고 느끼는 위치를 손가락을 하강 이동으로부터 횡방향 이동으로 변화시킴으로써 지정하고 있다. 이와 같이, 사용자는 아이콘 (300B) 의 표시 위치를 조작했다고 지각하는 위치를 지정 위치로서 지정하여 캘리브레이션 처리를 실시하기 때문에, 정확하게 캘리브레이션 처리를 실시할 수 있다. 또, 지정 위치를 손가락의 하강 이동으로부터 횡방향 이동으로의 변화에 의해 지정하는 것은, 조작성이 양호하고, 신속하게 캘리브레이션 처리를 실시할 수 있다.
(제 1 실시형태의 변형예 4)
변형예 3 의 표시 장치 (1) 에 있어서는, 사용자는 손가락 끝으로 아이콘의 표시 위치를 조작했다고 생각한 위치를 지정 위치로 하여, 손가락의 하강 이동으로부터 횡방향으로의 이동으로 변화시킴으로써 지정하였다. 변형예 4 의 표시 장치 (1) 는, 사용자가 손가락 끝으로 아이콘의 표시 위치를 조작했다고 생각한 위치를 다른 아이콘을 조작함으로써 지정하는 것이다. 이 캘리브레이션 처리에 대해 다음에 설명한다. 또한, 설명은, 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 적용했을 경우에 대해 설명하지만, 제 2 캘리브레이션 처리 모드나 상기 서술한 변형예 1 ∼ 3 에도 적용할 수 있다.
표시 장치 (1) 가 기동되고, 사용자가 캘리브레이션 처리 모드 선택용의 조작 버튼을 조작하여, 제 1 캘리브레이션 처리 모드를 선택하면, 도 2 의 캘리브레이션부 (203) 가 제 1 캘리브레이션 처리 모드를 기동시킨다. 화상 생성부 (201) 는, 표시용 화상 데이터를 생성하고, 이 표시용 화상 데이터에 기초하여 표시기 (11) 는, 캘리브레이션용의 표시 화상을 표시한다. 도 15 는, 이 캘리브레이션용의 표시 화상의 공중 이미지 (300) 를 나타낸다. 공중 이미지 (300) 는, 캘리브레이션용 아이콘 (300C 와 300D) 을 포함하고, 이 캘리브레이션용 아이콘 (300C) 은, 메시지 「캘리브레이션을 실시합니다. 오른손의 손가락으로 이 아이콘의 위치를 가리켜주세요. 오른손의 손가락으로 가리킨 상태에서, 왼손의 손가락으로 좌측의 아이콘에 터치해 주세요.」 가 중첩 표시되어 있다. 또한, 아이콘 (300C) 과 아이콘 (300D) 은, 아이콘 (300C) 이 우측에, 아이콘 (300D) 이 좌측에 위치하도록 병치 (竝置) 되어 있다.
사용자가 아이콘 (300C) 에 중첩 표시된 메시지에 따라 아이콘 (300C) 의 표시 위치를 조작하기 위해서, 오른손의 손가락 끝을 아이콘 (300C) 쪽으로 하강 이동시켜, 손가락 끝이 조작 검출기 (13) 의 정전 용량 검출 범위 (13A) 에 이르면, 조작 검출기 (13) 는, 이 아이콘 (300C) 의 표시 위치로의 사용자의 손가락의 접근 이동, 즉 하방으로의 이동을 정전 용량의 변화로서 검출한다. 사용자는 손가락을 더욱 하강 이동시켜, 손가락 끝이 공중 이미지 (300) 의 아이콘 (300C) 의 표시 위치를 조작하고 있다고 느낀 시점에서, 메시지에 따라, 왼손의 손가락 끝으로 아이콘 (300D) 의 표시 위치로의 조작을 하려고 하여, 왼손의 손가락 끝을 아이콘 (300D) 쪽으로 이동시킨다. 조작 검출기 (13) 는 아이콘 (300D) 을 향한 손가락 끝의 이동을 검출한다. 검출 기준 제어부 (204) 는, 사용자의 손가락이 아이콘 (300D) 의 위에 위치하는 것을 조작 검출기 (13) 가 검출한 것을 가지고, 그 시점에 있어서의 오른손의 손가락 끝의 위치를 지정 위치 (50A) 로 판정한다. 검출 기준 제어부 (204) 는, 지정 위치 (50A) 에 기초하여 검출 기준 (40) 을 변경함과 함께, 이 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억한다.
또한, 우측 아이콘 (300C) 의 표시 위치를 조작하는 오른손의 손가락은, 그 조작했다고 느꼈을 때의 위치가 지정 위치로 판정되므로, 공중 이미지에 접근하는 하강 이동이 필요하다. 그러나, 좌측 아이콘 (300D) 의 표시 위치로의 조작을 하는 좌측의 손가락은, 손가락을 아이콘 (300D) 의 위 또는 아래에 위치하게 하면 되므로, 반드시 왼손의 손가락을 하강 이동시킬 필요는 없고, 왼손의 손가락은, 예를 들어 공중 이미지 (300) 의 평면에 평행한 방향, 즉 횡방향으로 이동하여 아이콘 (300D) 의 위 또는 아래의 위치까지 횡방향 이동해도 된다.
또, 반드시 왼손의 손가락과 오른손의 손가락을 사용할 필요는 없고, 캘리브레이션용 공중 이미지 (300) 의 아이콘 (300C) 상과 아이콘 (300D) 상의 양방에서 상기의 동작이 검출되면 된다. 예를 들어, 일방의 손의 2 개의 손가락을 사용해도 된다. 또, 본 변형예 4 는, 아이콘 (300D) 의 표시 위치로의 조작을 하는 대신에, 표시 장치 (1) 에 형성한 도시 생략된 결정 버튼을 누르도록 구성할 수도 있다.
또한 사용자가 아이콘 (300D) 의 표시 위치로의 조작을 하거나, 도시 생략된 결정 버튼을 누르거나 한 시점에 있어서의 오른손의 손가락 끝의 위치를 지정 위치로 판정하는 것 대신에, 사용자가 예를 들어 왼손으로 소정의 제스처를 실시한 것을 검출했을 때에 있어서의 오른손의 손가락 끝의 위치를 지정 위치로 판정해도 된다. 이 경우, 표시 장치 (1) 는, 후술하는 변형예 8 의 촬상 장치 (18) (도 22 참조) 를 구비하고, 이 촬상 장치 (18) 에 의해 취득된 화상을 사용하여 사용자의 제스처 (예를 들어 손을 바위에서 보로 바꾼다) 가 실시된 것을 검출한다.
상기 설명의 캘리브레이션 처리에 대해, 도 16 에 나타내는 플로우 차트를 참조하여 설명한다. 또한, 도 16 의 플로우 차트는 스텝 S131 ∼ 스텝 S139 를 나타내고, 그 이후의 스텝은 생략하였다. 스텝 S139 이후의 처리는, 도 11 에 나타내는 플로우 차트의 스텝 S109 이후의 처리와 동일하다.
스텝 S131 ∼ 스텝 S133 의 각 처리는, 도 6 에 나타낸 플로우 차트에 있어서의 스텝 S1 ∼ 스텝 S3 의 각 처리와 동일하다. 스텝 S134 에 있어서, 조작 검출기 (13) 는, 사용자의 오른손의 손가락 끝의 하방으로의 이동의 검출을 개시한다. 사용자는 손가락을 더욱 하강 이동시켜, 손가락 끝이 공중 이미지 (300) 의 아이콘 (300C) 의 표시 위치를 조작하고 있다고 느낀 시점에서, 왼손의 손가락 끝으로 아이콘 (300D) 의 표시 위치로의 조작을 한다. 스텝 S136 에 있어서는, 스텝 S135 에서, 왼손이 아이콘 (300D) 의 표시 위치로의 조작을 한 시점에 있어서의 오른손의 손가락 끝의 위치를 지정 위치 (50A) 로 하고, 스텝 S137 로 진행된다. 스텝 S137 에 있어서, 검출 기준 제어부 (204) 는, 지정 위치 (50A) 에 기초하여, 검출 기준 (40) 을 변경하고, 그 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억하고, 스텝 S138 로 진행된다. 스텝 S138 에 있어서, 제 1 캘리브레이션 처리 모드를 종료하고, 스텝 S139 로 진행된다. 스텝 S139 에서는, 공중 이미지 조작 모드를 개시한다.
상기 서술한 변형예 4 의 표시 장치 (1) 는, 사용자는 캘리브레이션 처리에 있어서 손가락이 아이콘을 조작하는 위치를 지정하는 지정 위치를, 다른 아이콘, 또는 표시 장치 (1) 의 결정 버튼을 조작함으로써 지정하고 있다. 이와 같이 사용자가 아이콘 (300) 을 지각하는 위치를 사용자에게 지정시켜 캘리브레이션 처리를 실시하기 때문에, 정확하게 캘리브레이션 처리를 실시할 수 있다. 또, 이와 같은 지정 위치를 다른 아이콘 또는 표시 장치의 버튼의 조작에 의해 지정하는 것은, 신속하게 캘리브레이션 처리를 실시할 수 있다.
(제 1 실시형태의 변형예 5)
변형예 5 의 표시 장치는, 사용자가 손가락 끝으로 아이콘의 표시 위치를 조작했다고 생각되면, 사용자가 손가락을 소정 시간 정지시킴으로써 지정 위치를 지정하는 것이다. 또한, 이 본 변형예는, 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 적용했을 경우에 대해 설명하지만, 제 2 캘리브레이션 처리 모드나 상기 서술한 변형예 1 ∼ 4 에도 적용할 수 있다.
이 경우에는, 캘리브레이션용의 공중 이미지에 포함되는 아이콘에, 메시지 「캘리브레이션을 실시합니다. 이 아이콘의 위치를 가리켜 주세요. 가리킨 상태를 당분간 유지해 주세요.」 가 중첩 표시된다. 사용자가 아이콘의 표시 위치를 조작했다고 느끼고, 한 동안 손가락의 이동을 정지하면, 조작 검출기 (13) 는 손가락의 하강 이동이 소정 시간 정지된 것을 검출한다. 검출 기준 제어부 (204) 는, 이 때의 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락의 정지 위치를 지정 위치로서 판정한다.
이 지정 위치의 판정은 다음과 같이 실시된다. 즉, 하방으로 이동하고 있는 손가락 끝 (F) 이 정지하여 상하 방향의 비교적 작은 소정의 정지 범위 내에 소정의 시간 이상 체재한 것을 가지고, 아이콘 (300A) 의 표시 위치로의 조작이 실시된 것으로 판정한다. 이와 같이, 손가락 끝 (F) 이 소정의 시간 이상, 소정의 정지 범위 내에 머무는 것을 가지고, 손가락 끝 (F) 의 아이콘 (300A) 의 표시 위치로의 조작으로 판정하는 이유는, 조작이 공중 이미지 (300) 의 아이콘 (300A) 의 표시 위치로의 조작이기 때문에, 터치 패널에 대한 조작과는 달리, 손가락 끝 (F) 이 아이콘 (300A) 의 표시 위치에서 완전하게는 정지하지 않을 가능성이 있기 때문이다. 또한, 지정 위치 판정을 위한 소정의 정지 범위는, 조작 검출기 (13) 의 정전 용량의 검출 범위 (13A) 에 비해 충분히 작은 값, 예를 들어 5 ㎜ 로 설정되고, 또, 소정의 시간은, 예를 들어 2 초 정도로 설정된다.
(제 1 실시형태의 변형예 6)
변형예 6 의 표시 장치는, 사용자가 손가락 끝으로 아이콘의 표시 위치를 조작했다고 생각한 지정 위치를 발성에 의해 지정하는 것이다. 또한, 이 변형예는, 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 적용했을 경우에 대해 설명하지만, 제 2 캘리브레이션 처리 모드나 상기 서술한 변형예 1 ∼ 5 에도 적용할 수 있다.
도 17 은, 본 변형예의 표시 장치 (1) 의 구성 중, 제어부 (20) 와, 제어부 (20) 에 의해 제어되는 표시기 (11) 및 조작 검출기 (13) 를 나타낸 블록도이다. 이 표시 장치 (1) 에는, 집음기 (14) 를 포함하고, 제어부 (20) 에는 음성 검출부 (208) 가 구비된다. 집음기 (14) 는, 표시 장치 (1) 의 주위의 소리를 집음하여, 음성 데이터로서 음성 검출부 (208) 에 출력한다. 집음기 (14) 로는 시판되는 마이크로폰을 사용할 수 있다. 음성 검출부 (208) 는, 집음기 (14) 로부터의 음성 데이터를 식별하고, 그 음성 데이터가 「네」 에 상당하는지의 여부를 판별한다.
도 17 에 있어서, 캘리브레이션부 (203) 가 제 1 캘리브레이션 처리 모드를 기동시키면, 화상 생성부 (201) 는, 표시용 화상 데이터를 생성하고, 이 표시용 화상 데이터에 기초하여 표시기 (11) 는, 캘리브레이션용의 표시 화상을 표시한다. 도 18 은, 이 캘리브레이션용의 표시 화상의 공중 이미지 (300) 를 나타낸다. 공중 이미지 (300) 는, 캘리브레이션용 아이콘 (300E) 을 포함하고, 이 캘리브레이션용 아이콘 (300E) 에는, 메시지 「캘리브레이션을 실시합니다. 이 아이콘에 터치했을 때 「네」 라고 소리를 내주세요.」 가 중첩 표시되어 있다.
사용자는 아이콘 (300E) 에 중첩 표시된 메시지에 따라 아이콘 (300E) 의 표시 위치로의 조작을 하기 위해서, 손가락 끝을 아이콘 (300E) 쪽으로 눌러, 아이콘 (300E) 에 터치했다고 생각했을 때, 메시지에 따라 「네」 라고 소리를 낸다. 조작 검출기 (13) 는, 손가락 끝의 하강 이동을 검출하고, 집음기 (14) 는, 이 소리를 집음하여, 음성 데이터로서 음성 검출부 (208) 에 출력한다. 음성 검출부 (208) 가, 음성 데이터가 「네」 에 대응하는 것을 판정하면, 검출 기준 제어부 (204) 가, 그 시점에 있어서의 조작 검출기 (13) 에 의해 검출되는 손가락 끝의 위치를 지정 위치 (50A) 로 판정하고, 지정 위치 (50A) 에 기초하여 검출 기준 (40) 을 변경함과 함께, 이 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억한다.
상기 설명의 캘리브레이션 처리에 대해, 도 19 에 나타내는 플로우 차트를 참조하여 설명한다. 또한, 도 19 의 플로우 차트는 스텝 S141 ∼ 스텝 S149 를 나타내고, 그 이후의 스텝은 생략하였다. 스텝 S149 이후의 처리는, 도 11 에 나타내는 플로우 차트의 스텝 S109 이후의 처리와 동일하다.
스텝 S141 ∼ 스텝 S144 의 각 처리는, 도 6 에 나타낸 플로우 차트에 있어서의 스텝 S1 ∼ 스텝 S4 의 각 처리와 동일하다. 스텝 S145 에 있어서, 음성 검출부 (208) 는, 집음기 (14) 로부터의 출력에 기초하여, 사용자가 「네」 를 발성했는지의 여부를 판정한다. 스텝 S145 에 있어서 긍정으로 판정된 경우, 즉, 사용자가 아이콘 (30F) 을 터치했다고 생각하고 「네」 라는 소리를 냈다고 판정했을 경우, 스텝 S146 으로 진행된다. 스텝 S145 에 있어서 부정으로 판정된 경우에는, 긍정으로 판정될 때까지 대기한다. 스텝 S146 에 있어서, 검출 기준 제어부 (204) 가, 음성 검출부 (208) 가 음성 「네」 를 판정한 시점에 있어서의 손가락 끝의 위치를 지정 위치 (50A) 로 결정, 즉 판정한다. 스텝 S147 에 있어서, 지정 위치 (50A) 에 기초하여 검출 기준 (40) 을 변경함과 함께, 그 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억하고, 스텝 S148 로 진행된다. 스텝 S148 에 있어서, 제 1 캘리브레이션 처리 모드를 종료하고, 스텝 S149 로 진행된다. 스텝 S149 에 있어서, 공중 이미지 조작 모드를 개시한다.
상기 서술한 변형예 6 의 표시 장치 (1) 는, 사용자는 아이콘의 표시 위치를 조작했다고 생각한 손가락의 위치, 즉 지정 위치를 발성에 의해 지정하는 것이다. 이와 같은 도달 위치를 발성에 의해 지정하는 것은, 신속하게 캘리브레이션 처리를 실시할 수 있다.
또한, 표시 장치 (1) 가 집음기 (14) 를 구비하지 않고, 외부의 집음 장치에 의해 취득된 음성 데이터를 무선이나 유선을 통하여 입력하고, 외부의 집음 장치로부터 입력된 음성 데이터를 사용하여 음성 검출부 (208) 가 음성 검출을 해도 된다.
(제 1 실시형태의 변형예 7)
상기에 있어서는, 검출 기준을 단일 평면 또는 단차를 갖는 평면으로서 설명하였다. 그러나, 검출 기준은 면이 아니라, 두께를 갖는 영역이어도 된다. 이와 같은 영역을 갖는 검출 기준의 캘리브레이션 처리에 대해 설명한다. 또한, 설명은, 제 1 실시형태에 있어서의 제 1 캘리브레이션 처리 모드에 적용했을 경우에 대해 설명하지만, 제 2 캘리브레이션 처리 모드나 상기 서술한 변형예 1 ∼ 6 에도 적용할 수 있다. 또, 상기 서술한 변형예 1 ∼ 6 에 적용해도 된다.
본 변형예의 표시 장치 (1) 는 제 1 실시형태에서 설명한 표시 장치 (1) 와 동일한 장치이고, 그 구성은 도 2 에 나타내는 블록도에 의해 나타낸다. 도 20(a) 는, 본 변형예의 표시 장치 (1) 에 의해 표시되는 공중 이미지 조작 모드시의 공중 이미지 (30) 의 일례를 나타내고, 도 20(b) 는, 본체 (10) 또는 조작 검출기 (13) 와 공중 이미지 (30) 와 검출 기준 (40) 의 위치 관계를 모식적으로 나타낸다. 도 20(a) 에 나타내는 공중 이미지 (30) 는, 도 3(a) 에 나타내는 공중 이미지 (30) 와 동일하다. 도 20(b) 에 있어서, 검출 기준 (40) 은, 상면 (401) 과 하면 (402) 사이에 끼워져 상하 방향으로 두께 (d2) 를 갖는 영역으로서 설정된다.
도 20(b) 에 있어서, 공중 이미지 (30) 는, 표시 장치 (1) 의 조작 검출기 (13) 의 상방에 거리 (H1) 만큼 떨어진 위치에 형성되고, 검출 기준 (40) 은, 상면 (401) 과 하면 (402) 이 각각 조작 검출기 (13) 의 상방에 거리 (H3 과 H4) (H1 < H3 < H4) 만큼 떨어진 위치에 설정되어 있다. 즉, d2 = H4 - H3 이 된다. 공중 이미지 (30) 와 검출 기준 (40) 은, 정전 용량의 검출 범위 (13A) 내에 위치하도록 설정되어 있다. 또한, 검출 기준 (40) 은, 도 3(b) 에서는 공중 이미지 (30) 의 상방에 설정되어 있지만, 조작 검출기 (13) 의 정전 용량 검출 범위 (13A) 내이면, 공중 이미지 (30) 의 하방에 설정해도 되고, 또는 공중 이미지 (30) 의 위치를 영역 (d2) 내에 포함하도록 설정해도 된다.
조작 검출기 (13) 는, 사용자의 손가락 끝이 검출 기준 (40) 에 침입했을 때, 손가락 끝의 위치에 따라, 거리 (H3 ∼ H4) 사이 중 어느 것에 대응한 검출 출력을 출력하고, 검출 기준 제어부 (204) 는, 이 조작 검출기 (13) 의 검출 출력이 거리 (H3 과 H4) 사이에 상당하는 검출 출력인 경우, 손가락 끝이 아이콘 (30A) 의 표시 위치를 조작한 것으로 판정한다. 이와 같이 하여, 표시 장치 (1) 는, 사용자가 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치를 조작한 것을 검출하고, 그 조작된 아이콘 (30A) 에 대응한 기능을 실행한다. 예를 들어, 표시기 (11) 의 표시 화상의 전환 등을 실시한다. 이와 같이, 변형예 7 의 표시 장치는, 공중 이미지 조작 모드에 있어서, 손가락이 검출 기준 (40) 의 두께 (d2) 내의 어디에 위치해도, 검출 기준 제어부 (204) 는 손가락이 아이콘 (30A) 의 표시 위치로의 조작을 실시하고 있는 것으로 판정하므로, 보다 확실하게 표시 위치로의 조작을 판정할 수 있다. 예를 들어, 손가락이 가끔 아이콘 (30A) 의 바로 위에서부터 하강 이동되지 않고, 경사 상방으로부터 하강 이동된 경우에는, 검출 기준 (40) 이 도 3 에 나타낸 바와 같이 평면이면, 아이콘 (30A) 의 바로 위의 검출 기준 (40) 을 통과하지 않고, 그 옆 부분을 통과해 버려, 손가락이 아이콘 (30A) 의 표시 위치로의 조작을 판정할 수 없는 일이 일어날 수 있다. 그러나, 검출 기준 (40) 이 두께 (d2) 를 가지고 있으면, 손가락이 경사 상방으로부터 하강 이동된 경우에도, 손가락이 검출 기준 (40) 에 들어간 것을 확실하게 검출할 수 있기 때문에, 상기 서술한 사태의 발생을 저감시킬 수 있다. 나아가서는, 손가락이 공중 이미지 (30) 에 병행하게 이동하여, 아이콘 (30A) 의 표시 위치를 조작했을 경우에도 변형예 7 의 표시 장치는, 검출 기준 (40) 이 두께 (d2) 를 가지고 있으므로, 손가락이 검출 기준 (40) 내에 들어간 것을 확실하게 검출할 수 있다.
이와 같은 두께 (d2) 의 검출 기준 (40) 을 갖는 변형예 7 의 표시 장치 (1) 에 관한 제 1 캘리브레이션 처리 모드를 이하에 설명한다. 또한, 두께 (d2) 를 갖는 검출 기준 (40) 에 관한 제 2 캘리브레이션 처리 모드도 동일하다. 또, 이하의 설명은 제 1 실시형태와 동일 부분에 대해서는 생략한다.
도 21(a) 에 있어서, 제 1 캘리브레이션 처리 모드에서는, 도 4 에 나타낸 아이콘 (300A) 을 포함하는 공중 이미지 (300) 가 표시되고, 검출 기준 (40) 이 초기 설정된다. 사용자가 아이콘 (300A) 에 중첩 표시된 메시지에 따라 아이콘 (300A) 의 표시 위치로의 조작을 하기 위해서, 손가락 끝 (F) 을 아이콘 (300A) 쪽으로 하방 이동시켜, 손가락 끝 (F) 이 도 2 의 조작 검출기 (13) 의 정전 용량 검출 범위 (13A) 에 이르면, 조작 검출기 (13) 는, 이 아이콘 (300A) 으로의 사용자의 손가락 (F) 의 접근 이동, 즉 하방으로의 이동을 정전 용량의 변화로서 검출한다.
도 21(b) 에 있어서, 사용자는 손가락이 아이콘 (300) 의 표시 위치를 조작하고 있다고 느끼면, 사용자는 예를 들어, 손가락 끝 (F) 을 소정 거리만큼 상방으로 이동시킨다. 조작 검출기 (13) 는, 손가락 끝 (F) 의 상기의 하강 이동, 즉 누름과 그것에 계속되는 소정 거리의 상방 이동을 정전 용량의 변화로서 검출한다. 이 정전 용량의 변화에 기초하여, 검출 기준 제어부 (204) 는, 상기 서술한 도달 위치 (50) 또는 지정 위치 (50A) 를 판정한다.
검출 기준 제어부 (204) 는, 도 21(c) 에 나타내는 바와 같이 도달 위치 (50) 또는 지정 위치 (50A) 에 기초하여, 검출 기준 (40) 을 두께 (d2) 를 갖는 3 차원 영역의 검출 기준 (40) 으로 변경한다. 도 21(c) 에서는, 두께 (d2) 의 검출 기준 (40) 이 도달 위치 (50) 또는 지정 위치 (50A) 를 포함하도록 설정되어 있지만, 두께 (d2) 의 검출 기준 (40) 은, 도달 위치 (50) 또는 지정 위치 (50A) 보다 상방 또는 하방의 위치에 설정해도 된다. 또, 도달 위치 (50) 또는 지정 위치 (50A) 로부터 사용자에 의해 누르는 조작에 의해 밀어넣어진 방향과는 반대 방향으로 소정 거리 떨어진 위치와, 도달 위치 (50) 또는 지정 위치 (50A) 사이에 낀 3 차원의 영역을 두께 (d2) 의 검출 기준 (40) 으로 해도 된다. 검출 기준 제어부 (204) 는, 두께 (d2) 의 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억한다. 그 후에, 공중 이미지 조작 모드가 실행되면, 기억부 (205) 에 기억된 위치 데이터에 기초하여, 두께 (d2) 의 검출 기준 (40) 이 설정된다.
상기 설명의 제 1 캘리브레이션 처리 모드와 공중 이미지 조작 모드의 관계에 대해서는, 도 6 에 나타내는 플로우 차트와 다음의 점을 제외하고 동일한 순서로 실시할 수 있다. 즉, 스텝 S6 에 있어서, 제 1 실시형태에 있어서는, 검출 기준 제어부 (204) 는, 도달 위치 (50) 에 기초하여, 단일 면인 검출 기준 (40) 을 설정하는 순서로 되어 있다. 이에 대하여, 본 변형예 7 에 있어서는, 도달 위치 (50) 또는 지정 위치 (50A) 에 기초하여, 두께 (d2) 의 검출 기준 (40) 이 설정되는 것이 상이하다.
또한, 공중 이미지 조작 모드에 있어서, 아이콘이 조작될 때마다, 사용자의 손가락 끝의 도달 위치 (50) 또는 지정 위치 (50A) 를 포함하는 면이 검출 기준 (40) 의 상면 (401) 과 하면 (402) 의 중간이 되도록 검출 기준 (40) 을 설정하도록 캘리브레이션 처리를 실시하는 것도 유효하다.
또, 손가락 끝이 캘리브레이션 처리용 아이콘의 상방에 위치하고 있는 한, 사용자의 손가락이 비스듬하게, 즉 Z 방향에 대해 각도를 가지고 하강 이동한 경우에도, 도달 위치 또는 지정 위치를 판정할 수 있다.
(제 1 실시형태의 변형예 8)
상기 설명에 있어서, 사용자의 손가락 끝의 하방으로의 이동을 정전 용량 패널에 의해 구성되는 조작 검출기 (13) 에 의해 검출했지만, 촬상 장치에 의해 사용자의 손가락 끝의 위치를 검출해도 된다. 변형예 8 의 표시 장치 (1) 는, 도 22 에 나타내는 바와 같이, 조작 검출기로서 촬상 장치 (예를 들어 디지털 카메라) (18) 를 구비하고, 이 촬상 장치 (18) 는 표시 장치 (1) 의 상면에 배치된다. 이와 같은 표시 장치 (1) 의 블록도를 도 23 에 나타낸다.
도 23 에 블록도를 나타낸 표시 장치 (1) 는, 제어부 (20) 에는, 화상 해석부 (209) 를 구비하고 있다. 촬상 장치 (18) 는, 표시기 (11) 의 상방에 위치하는 물체, 즉 사용자의 손가락을 촬상하고, 촬상된 촬상 화상은, 화상 해석부 (209) 에 입력된다. 화상 해석부 (209) 는, 촬상 장치 (18) 로부터 입력된 촬상 화상을 해석하여 사용자의 손가락 끝의 위치를 구한다. 즉, 화상 해석부 (209) 는, 촬상 화상 내에 있어서의 손가락 이미지의 위치로부터, 사용자의 손가락 끝이 복수의 아이콘 중 어느 아이콘을 조작하고 있는지를 판정한다. 또한, 화상 해석부 (209) 는, 촬상 화상 내에 있어서의 손가락 이미지의 크기를, 기준의 손가락의 크기, 구체적으로는 사전에 촬상한 소정 높이 위치의 손가락의 크기와 비교함으로써 손가락의 높이 위치, 즉 손가락의 강하 위치를 판정한다. 이로써, 사용자의 손가락 끝의 3 차원 공간에 있어서의 위치가 구해진다. 이와 같은 구성에 의해, 변형예 8 의 표시 장치 (1) 는, 정전 용량 패널을 사용한 조작 검출기 (13) 에 의해 구한 손가락 끝의 위치에 관한 정보와 동일한 정보를, 촬상 장치 (18) 에 의한 촬상 화상의 해석에 의해 얻을 수 있다. 따라서, 변형예 8 의 표시 장치는, 상기 서술한 실시형태 및 여러 가지 변형예에서 설명한 정전 용량 패널 대신에 촬상 장치 (18) 를 사용하여, 상기 서술한 실시형태 및 변형예와 동일한 처리를 실시할 수 있다.
변형예 8 의 표시 장치 (1) 는, 화상 해석부 (209) 가 촬상 화상에 있어서의 손가락의 크기로부터 손가락의 높이 위치를 산출했지만, 그 대신에, 촬상 장치 (18) 가 디지털 카메라에 탑재되어 있는 위상차식 초점 검출 장치와 화상 인식 장치에 의해 손가락의 높이 위치를 검출할 수도 있다. 구체적으로는, 화상 인식 장치가 손가락을 인식하고, 위상차식 초점 검출 장치가 화상 인식 장치에 의해 인식된 손가락에 대해 디포커스량을 검출하며, 이 디포커스량으로부터 손가락의 높이 위치를 산출할 수 있다. 또, 위상차식 초점 검출 장치 대신에 디지털 카메라에 탑재되어 있는 콘트라스트 검출식 초점 검출 장치를 사용해도 동일하게 손가락의 높이 위치를 검출할 수 있다.
촬상 장치 (18) 로는, 위상차식 초점 검출 장치나 콘트라스트 검출식 초점 검출 장치 대신에, TOF (Time of Flight) 장치를 탑재한 카메라를 바람직하게 사용할 수 있다. TOF 카메라는, 카메라 본체로부터 적외선을 출사하여, 대상물에 반사되어 TOF 카메라에 입사하는 적외선을 수광하고, 출사광과 수광광의 위상 변화에 기초하여, TOF 카메라로부터 대상물까지 거리를 산출한다. 따라서, 측정 대상물을 사용자의 손가락 끝으로서, TOF 카메라로부터 사용자의 손가락 끝을 향하여 적외광을 출사하고, 손가락 끝으로부터의 반사광을 수광함으로써, TOF 카메라로부터 사용자의 손가락 끝까지의 거리를 구할 수 있다. 또한, 촬상 장치 (18) 는, 그 촬상 렌즈로는, 공중 이미지 (30) 의 전체를 커버하기 위해서 광각 렌즈인 것이 바람직하고, 어안 렌즈여도 된다. 또, 복수 (예를 들어, 2 개) 의 촬상 장치를 탑재하고, 그들 촬상 화상에 의해 사용자의 손가락 끝의 위치를 보다 검출해도 된다.
TOF 카메라를 표시 장치 (1) 에 장비한 예를 도 24 에 나타낸다. 도 24 는, 표시 장치 (1) 의 내부 구성만을 나타내고 있고, 표시 장치의 본체는 생략하고 있다. 도 24 에 있어서, 표시기 (11) 와 결상 광학 소자 (12) 의 중앙부에, TOF 카메라 (118') 를 배치하기 위한 공간이 형성되어 있고, 그 공간에 TOF 카메라 (118') 가 배치되어 있다. TOF 카메라 (118') 는 적외선을 소정 범위로 스캔함으로써, 사용자의 손가락 끝에 적외선을 조사하고, 그 반사광의 위상 변화에 의해, TOF 카메라 (118') 로부터 사용자의 손가락 끝까지의 거리를 측정한다. 이 거리와 적외선의 출사 방향에 기초하여, TOF 카메라 (118') 에 대한 사용자의 손가락 끝의 3 차원 공간에 있어서의 위치를 구할 수 있다. 즉, 손가락 끝의 위치가 공중 이미지면 내 중 어느 위치에 상당하는지, 또 손가락 끝의 위치가 표시 장치 (1) 의 표면으로부터 얼마나 떨어져 있는지가 구해진다. 이로써, 정전 용량 패널에 의한 손가락 끝의 위치의 검출 정보와 동일한 정보를 TOF 카메라 (118') 에 의한 측거 결과로부터 얻을 수 있다. 또한, 상기의 설명으로서, 표시기 (11) 와 결상 광학계 (12) 의 중앙부에, TOF 카메라 (118') 를 배치하기 위한 공간이 형성되어 있고, 그 공간에 TOF 카메라 (118') 가 배치되어 있는 구성으로 설명했지만, 이것에 한정되지 않고, TOF 카메라 (118') 를 표시기 (11) 의 외부에 설치하는 구성이어도 된다.
변형예 8 의 표시 장치 (1) 에 있어서도, 도 24 에 나타내는 바와 같이, 공중 이미지 (30) 가 표시 장치 (1) 의 결상 광학계 (12) 의 상방에 거리 (H1) 만큼 떨어진 위치에 형성되고, 검출 기준 (40) 은, 결상 광학계 (12) 의 상방에 거리 (H2) (H1 < H2) 만큼 떨어진 위치에 설정된다. 촬상 장치 (18) 는, 결상 광학계 (12) 의 표면으로부터 상방으로 사용자의 손가락 끝의 위치를 검출하기 위한 검출 범위 (13A) 를 갖는다. 도 24 에서는, 촬상 장치 (18) 의 상방에 촬상 가능한 범위의 한계를 파선 (13a) 으로 나타내고, 이 검출 한계 (13a) 와 결상 광학계 (12) 의 표면의 간격이 검출 범위 (13A) 로서 나타낸다. 변형예 8 에 있어서도, 상기의 제 1 실시형태나 변형예 1 ∼ 7 의 경우와 동일하게, 공중 이미지 (30) 와 검출 기준 (40) 이 검출 범위 (13A) 내에 위치하도록 설정된다. 또한, 검출 기준 (24) 은, 도 24 에서는 공중 이미지 (30) 의 상방에 설정되어 있지만, 검출 범위 (13A) 내이면, 공중 이미지 (30) 의 하방이어도 되고, 또는 공중 이미지 (30) 의 위치에 일치시켜도 된다. 또, 변형예 8 에 있어서도, 검출 범위 (13A) 내 중 검출 기준 (40) 으로 설정된 영역 이외의 범위는 검출 기준 외 (41) 이다. 또한, 검출 범위 (13A) 는, 촬상 장치 (18) 의 촬상 가능한 범위의 한계로서 설정되는 것에 한정되지 않고, 촬상 가능한 범위 중 일부의 범위 (예를 들어 도 24 중의 좌우 방향의 단부의 소정 범위) 를 제외한 범위로서 설정되어도 된다.
상기 설명에서는, 본 변형예 8 의 표시 장치 (1) 는, 조작 검출기로서의 정전 용량 패널 (13) 대신에 촬상 장치 (18) 를 구비하는 것이었다. 그러나, 표시 장치 (1) 는, 조작 검출기 (13) 와 촬상 장치 (18) 를 모두 구비하는 것이어도 된다. 이 경우에는, 예를 들어, 도 3 에 나타낸 조작 검출기 (13) 의 검출 범위 (13A) 를 상하로 2 개로 분할하여 하방의 검출 범위 (표시기 (11) 에 가까운 쪽의 검출 범위) 와 상방의 검출 범위 (표시기 (11) 로부터 먼 쪽의 검출 범위) 를 형성하고, 이 하방의 검출 범위를 정전 용량 패널 (13) 의 검출 범위로 하고, 상방의 검출 범위를 촬상 장치 (18) 의 검출 범위로 할 수 있다. 이와 같은 구성에 의해, 사용자가 표시 위치로의 조작을 위해서 손가락을 강하 이동시켰을 때에는, 촬상 장치 (18) 가 그 손가락의 강하 이동의 전반 부분을 검출하고, 정전 용량 패널 (13) 이 손가락의 강하 이동의 후반 부분을 검출한다. 일반적으로, 정전 용량 패널 (13) 은, 표시기 (13) 의 상방의 근방 범위를 고정밀도로 검출할 수 있고, 반대로, 촬상 장치 (18) 는, 표시기 (13) 의 상방의 매우 근방 범위를 촬상하는 것이 어려운 경우가 있으므로, 정전 용량 패널 (13) 의 검출 범위와 촬상 장치 (18) 의 검출 범위를 상기 서술한 바와 같이 분담시키는 것은 바람직한 것이다. 또한, 검출 범위 (13A) 의 2 분할은, 검출 범위 (13A) 를 상하로 이등분하는 경우에 한정되지 않고, 부등분으로 분할해도 된다. 또, 조작 검출기 (13) 는, 정전 용량 패널 (13) 이나 촬상 장치 (18) 에 한정되지 않고, 다른 근접 센서 등을 사용할 수 있다. 따라서, 검출 범위 (13A) 를 분할한 경우에는, 여러 가지 조작 검출기 (13) 가 분할된 검출 범위를 분담하는 것이 가능하다.
도 9 에 나타낸 속도·가속도 검출부 (206) 는, 도 23 의 촬상 장치 (18) 의 촬상 화상에 기초하여 손가락의 이동 속도나 가속도를 산출할 수도 있다. 따라서, 검출 범위 (13A) 를 분할한 경우에는, 상방 및 하방의 검출 범위마다 손가락의 이동 속도나 가속도를 산출하여, 정지 위치 예측부 (207) 가 손가락의 도달 위치를 예측할 수도 있다.
또한, 상기 서술한 제 1 실시형태와 그 변형예 1 ∼ 7 에서는, 제어부 (20) 와 표시기 (11) 와 조작 검출기 (13) 를 적어도 포함하는 표시 장치 (1) 를 예로 설명했지만, 제어부 (20) 만으로 구성된 검출 장치나, 제어부 (20) 와 조작 검출기 (13) 로 구성되는 검출 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 검출 기준 제어부 (204) 를 구비하면 된다. 상기 서술한 제 1 실시형태, 또는 변형예 1 ∼ 7 에 기재된 각 효과를 얻기 위해서, 상기 서술한 구성으로부터 필요에 따라 구성을 적절히 추가해도 된다.
-제 2 실시형태-
도면을 참조하면서, 제 2 실시형태에 관련된 표시 장치 (1) 에 대해 설명한다. 제 2 실시형태에 있어서는, 본 실시형태의 표시 장치 (1) 가 휴대 전화에 장착된 경우를 일례로 들어 설명을 실시한다. 또한, 본 실시형태의 표시 장치는, 휴대 전화에 한정되지 않고, 태블릿 단말, 손목 시계형 단말 등의 휴대형 정보 단말 장치, 퍼스널 컴퓨터, 음악 플레이어, 고정 전화, 웨어러블 장치 등의 전자 기기에 장착하는 것이 가능하다.
본 실시형태의 표시 장치 (1) 는, 도 1 에 나타낸 표시 장치 (1) 와 동일하고, 그 주요부의 구성은 도 25 에 나타내는 블록도로 나타낸다. 즉, 제어부 (20) 와, 제어부 (20) 에 의해 제어되는 표시기 (11) 와 조작 검출기 (13) 를 나타내고 있다. 제어부 (20) 는, 화상 생성부 (201) 와, 표시 제어부 (202) 와, 캘리브레이션부 (203) 와, 검출 기준 제어부 (204) 와, 기억부 (205) 와, 사용자 정보 해석부 (210) 를 구비한다.
제어부 (20) 의 주요 구성은, 사용자 정보 해석부 (210) 를 구비한 것을 제외하고, 제 1 실시형태의 표시 장치 (1) 와 동일하므로, 상이한 부분을 제외하고 설명은 생략한다. 검출 기준 제어부 (204) 는, 검출 기준을 초기 설정하고, 후술하는 캘리브레이션 처리의 결과에 기초하여 검출 기준을 변경한다. 사용자 정보 해석부 (210) 는, 입력된 사용자에 관한 정보를 해석한다. 검출 기준 제어부 (204) 는, 캘리브레이션 처리시에 사용자 정보 해석부 (210) 로부터 입력된 정보에 기초하여 검출 기준을 변경한다.
다음에, 본 실시형태의 표시 장치 (1) 에 있어서의 캘리브레이션 처리에 대해, 도 26 에 나타내는 플로우 차트를 참조하면서 설명한다. 또한, 도 26 의 플로우 차트는 스텝 S201 ∼ 스텝 S207 을 나타내고, 그 이후의 스텝은 생략하였다. 스텝 S207 이후의 처리는, 도 11 에 나타내는 플로우 차트의 스텝 S109 이후의 처리와 동일하다. 도 26 의 플로우 차트에 나타내는 각 처리는, 표시 장치 (1) 가 기동된 후, 제어부 (20) 에 의해 프로그램을 실행하여 실시된다. 이 프로그램은, 기억부 (205) 에 기억되어 있다.
스텝 S201 에 있어서, 사용자에 의해 사용자 정보 입력 모드의 조작 버튼이 조작되었는지의 여부를 판정한다. 스텝 S201 에 있어서 긍정으로 판정된 경우, 즉, 사용자가 사용자 정보 입력 모드를 선택했다고 판정된 경우, 스텝 S202 로 진행된다. 스텝 S201 에 있어서 부정으로 판정된 경우, 즉, 사용자가 사용자 정보 입력 모드를 선택하지 않았다고 판정된 경우, 스텝 S206 으로 진행된다. 스텝 S202 에 있어서, 사용자 정보 입력 모드를 개시하고, 스텝 S203 으로 진행된다. 스텝 S203 에 있어서, 사용자 정보의 입력이 종료되었는지의 여부를 판정한다. 이 판정은, 예를 들어, 사용자가 사용자 정보의 입력 종료를 지시하는 버튼을 조작했는지의 여부로 실시된다. 스텝 S203 에 있어서 긍정으로 판정된 경우, 즉, 사용자가 사용자 정보의 입력 종료를 지시했을 경우, 스텝 S204 로 진행된다. 스텝 S203 에 있어서 부정으로 판정된 경우에는, 긍정으로 판정될 때까지 대기한다.
스텝 S204 에 있어서, 사용자 정보 해석부 (210) 는, 입력된 사용자 정보에 기초하여, 공중 이미지 조작 모드에 있어서 초기 설정되는 검출 기준 (40) 을 변경함과 함께, 그 변경된 검출 기준 (40) 의 위치 데이터를 기억부 (205) 에 기억하고, 스텝 S205 로 진행된다. 예를 들어, 도달 위치 (50) 로부터 소정 거리 (d1) 만큼 상방의 위치로 검출 기준 (40) 을 변경한다. 스텝 S205 에 있어서, 사용자 정보 입력 모드를 종료하고, 스텝 S206 으로 진행된다. 스텝 S206 에 있어서, 공중 이미지 조작 모드를 개시한다.
사용자 정보로는, 예를 들어, 사용자의 성별, 연령, 체형 (신장, 팔의 길이), 시력 중 적어도 1 종류 또는 복수의 조합이 있다. 기억부 (205) 에는, 성별, 연령, 체형 (신장), 시력의 인자 중 1 종류 또는 복수의 조합을 파라미터로 하는 도달 위치 (50) 에 관한 복수의 테이블이 미리 기억되어 있다. 사용자가 사용자 정보를 입력하면, 사용자 정보 해석부 (210) 는, 입력된 사용자 정보의 종류와 내용에 기초하여 해당하는 테이블을 선택하고, 그 테이블로부터 해당하는 도달 위치 (50) 를 선택한다. 검출 기준 제어부 (204) 는, 선택된 도달 위치 (50) 에 기초하여 검출 기준 (40) 을 결정한다.
테이블로서 기억된 도달 위치 (50) 는, 예를 들어, 남성보다 여성, 연령이 높은 사람보다 비교하여 연령이 낮은 사람, 신장이 큰 사람보다 신장이 낮은 사람이, 조작 검출기 (13) 에 보다 가까운 위치에 도달 위치 (50) 가 설정된다.
또한, 도 26 의 플로우 차트의 스텝 S201 에 있어서, 사용자에 의해 사용자 정보 입력 모드의 조작 버튼이 조작되었는지의 여부를 판정하고 있었지만, 이 처리를 반드시 실시할 필요는 없고, 장치가 사용자 정보를 취득한 단계에서 스텝 S204 로 이행해도 된다.
또한, 상기의 사용자 정보로서, 사용자의 성별, 연령, 체형 (신장, 팔의 길이), 시력 등의 정보를, 그 사용자를 특정하는 ID (Identification Code) 나 패스워드와 관련지어 기억부 (205) 에 기억해도 된다. 이와 같이 함으로써, 사용자는 표시 장치 (1) 를 사용할 때, ID 나 패스워드를 입력하는 것만으로, 자신의 성별, 연령, 체형 (신장), 시력 등의 정보에 기초하여 검출 기준 (40) 을 설정할 수 있다. 이와 같이, 사용자에 관련하는 정보의 하나인 사용자 정보에 의해, 그 사용자용으로 검출 기준 (40) 을 변경하여, 검출 기준 (40) 과 공중 이미지 (300) 의 표시 위치의 위치 관계를 변경한다.
제 1 실시형태의 변형예 8 에 있어서 설명한 바와 같은 촬상 장치 (18) 에 의해 사용자를 촬영하고 그 촬상 화상을 화상 해석함으로써, 사용자를 특정해도 된다. 예를 들어, 공지된 얼굴 인식 기술을 사용하여 촬상 화상으로부터 사용자의 연령이나 성별 등을 특정한다. 검출 기준 제어부 (204) 는, 그 사용자의 성별이나 연령 등의 정보에 기초하여 검출 기준 (50) 을 설정한다. 이와 같이 하면, 사용자가 ID 나 패스워드를 입력하는 것을 생략할 수도 있다. 이와 같이, 사용자에 관련하는 정보의 하나인 사용자를 특정하는 정보에 의해, 그 사용자용으로 검출 기준 (40) 을 변경하여, 검출 기준 (40) 과 공중 이미지 (300) 의 표시 위치의 위치 관계를 변경한다.
(제 2 실시형태의 변형예 1)
제 2 실시형태는 다음과 같이 변형할 수 있다. 사용자에 의한 사용자 정보는, 표시 장치 (1) 에 대해 실시하는 대신에, 표시 장치 (1) 와는 다른 정보 입력 장치에 대해 실시하고, 그 정보를 인터페이스를 통하여 표시 장치 (1) 에 전송해도 된다. 또, 사용자 정보는 IC 카드에 미리 기록되어 있어도 되고, 그 경우에는, 표시 장치 (1) 또는 정보 입력 장치에는, 카드 정보 판독 기능이 구비되는 것이 바람직하다.
또한, 상기 서술한 제 2 실시형태에서는, 제어부 (20) 와 표시기 (11) 와 조작 검출기 (13) 를 적어도 포함하는 표시 장치 (1) 를 예로 설명했지만, 제어부 (20) 만으로 구성된 검출 장치나, 제어부 (20) 와 조작 검출기 (13) 로 구성되는 검출 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 검출 기준 제어부 (204) 와 사용자 정보 해석부 (210) 를 구비하면 된다. 또한, 상기 서술한 제 2 실시형태에 기재된 각 효과를 얻기 위해서, 상기 서술한 구성으로부터 필요에 따라 구성을 적절히 추가해도 된다.
-제 3 실시형태-
도면을 참조하면서, 제 3 실시형태에 관련된 표시 장치 (1) 에 대해 설명한다. 제 3 실시형태에 있어서는, 본 실시형태의 표시 장치 (1) 가 휴대 전화에 장착된 경우를 일례로 들어 설명을 실시한다. 또한, 본 실시형태의 표시 장치는, 휴대 전화에 한정되지 않고, 태블릿 단말, 손목 시계형 단말 등의 휴대형 정보 단말 장치, 퍼스널 컴퓨터, 음악 플레이어, 고정 전화기, 웨어러블 장치 등의 전자 기기에 장착하는 것이 가능하다.
본 실시형태의 표시 장치 (1) 는, 도 1 에 나타낸 표시 장치 (1) 와 동일하고, 그 주요부의 구성은 도 27 에 나타내는 블록도로 나타낸다. 본 실시형태의 표시 장치 (1) 는, 제어부 (20) 와, 제어부 (20) 에 의해 제어되는 표시기 (11) 와 조작 검출기 (13) 와 환경 검출부 (19) 를 구비한다. 환경 검출부 (19) 는, 표시 장치 (1) 의 주위의 사용 환경을 검출한다. 제어부 (20) 는, 화상 생성부 (201) 와, 표시 제어부 (202) 와, 캘리브레이션부 (203) 와, 검출 기준 제어부 (204) 와, 기억부 (205) 와, 환경 해석부 (211) 를 구비한다.
환경 해석부 (211) 는, 환경 검출부 (19) 로부터 입력된 환경 정보를 해석하여, 환경 변화가 있었는지의 여부를 판정하고, 환경 변화가 있었을 경우에 환경 변화 정보를 검출 기준 제어부 (204) 에 출력한다. 검출 기준 제어부 (204) 는, 환경 해석부 (211) 로부터 입력된 환경 변화 정보에 기초하여 검출 기준의 캘리브레이션 처리를 실행한다.
본 실시형태의 캘리브레이션 처리는, 공중 이미지 조작 모드의 실행과 병행하여 실행된다. 도 28 에 나타내는 플로우 차트를 참조하여 본 실시형태의 캘리브레이션 처리에 대해 설명한다. 도 28 의 플로우 차트에 나타내는 각 처리는, 표시 장치 (1) 가 기동된 후, 제어부 (20) 에 의해 프로그램을 실행하여 실시된다. 이 프로그램은 기억부 (205) 에 기억되어 있다.
스텝 S211 에 있어서, 공중 이미지 조작 모드가 개시되고, 스텝 S212 로 진행된다. 스텝 S212 에 있어서, 도 3 에 나타낸 공중 이미지 조작 모드용의 아이콘 (30A) 을 포함하는 공중 이미지 (30) 가 표시됨과 함께, 검출 기준 제어부 (204) 는, 검출 기준 (40) 을 미리 정해진 초기 위치에 설정하고, 스텝 S213 으로 진행된다. 스텝 S213 에 있어서, 환경 해석부 (211) 는, 환경 검출부 (19) 에 의해 검출된 사용 환경에 관한 환경 정보에 기초하여, 환경 변화가 있었는지의 여부를 판정한다. 스텝 S213 에 있어서 긍정으로 판정된 경우, 즉, 환경 변화가 있었다고 판정된 경우, 스텝 S214 로 진행된다. 스텝 S213 에 있어서, 부정으로 판정된 경우, 즉, 환경 변화가 있었다고는 판정되지 않았던 경우, 스텝 S216 으로 진행된다. 스텝 S214 에 있어서는, 환경 변화 정보를 검출 기준 제어부 (204) 에 출력하고, 스텝 S215 로 진행된다. 스텝 S215 에 있어서, 검출 기준 제어부 (204) 는, 공중 이미지 조작 모드의 검출 기준을 환경 변화 정보에 기초하여 변경하고, 스텝 S216 으로 진행된다. 즉, 스텝 S216 에 있어서, 공중 이미지 조작 모드가 속행된다.
환경 정보로는, 온도, 습도, 밝기 등이 있다. 이러한 환경의 변화에 기초하여, 검출 기준을 캘리브레이션 처리하는 이유는 다음과 같다. 사용자에 의해 표시 장치 (1) 가 사용되어, 표시 장치 (1) 의 온도 또는 표시 장치 (1) 의 주위의 온도가 상승하면, 이것에 수반하여, 예를 들어, 표시 장치 (1) 의 내부에서, 표시기 (11) 와 결상 광학계 (12) 를 고정시키고 있는 고정 부재 (도시 생략) 가 연장되고, 이에 수반하여, 표시기 (11) 와 결상 광학계 (12) 사이의 거리가 길어진다. 사용자에 의해 공중 이미지 (30) 의 근방에 있어서의 온도가 변화하는 요인으로는, 휴대 전화 등의 사용자의 손으로 들 수 있는 표시 장치인 경우, 사용자가 표시 장치를 잡음으로써 표시 장치의 온도가 상승하는 경우를 들 수 있다. 그 결과, 공중 이미지 (30) 가 생성되는 위치는, 온도 상승 전에 비해 사용자측에 가까워진다. 또, 사용자가 표시 장치를 이용했을 때에 공중 이미지 (30) 의 근방에 있어서의 밝기가 변화하여, 사용자로부터 공중 이미지 (30) 의 보이는 방법이 변화한다. 그 결과, 공중 이미지 (30) 를 실제로 밝기가 변화하기 전에 비해 멀게 느끼거나 하는 것도 생각할 수 있다. 공중 이미지 (30) 의 근방에 있어서의 밝기가 변화하는 요인으로는, 사용자 자신의 그림자가 공중 이미지에 겹쳐지는 것을 생각할 수 있다. 또는 표시 장치가 휴대 전화 등의 사용자의 손으로 들 수 있는 장치인 경우, 사용자가 표시 장치를 잡음으로써, 사용자의 손에 땀이 발생하여 주위 습도가 변화했을 경우에도, 표시 장치 (1) 의 표시 성능이 영향을 받는 경우가 있다.
환경 검출부 (19) 로는, 예를 들어, 표시 장치 (1) 의 본체 (10) 내에 구비된 온도 센서, 습도 센서, 밝기 센서 등이다. 또한, 밝기에 대해서는, 카메라의 측광 기능을 사용할 수 있다.
사용자에 의한 주위의 환경 변화 정보에 기초하는 캘리브레이션에 관한 정보에 대해 다음에 설명한다. 기억부 (205) 에는, 표시 장치 (1) 의 내부 혹은 근방에 있어서의 온도 변화와 습도 변화, 공중 이미지 (30) 근방에 있어서의 밝기 변화의 인자 중 1 종류 또는 복수의 조합을 파라미터로 하는 검출 기준의 수정값에 관한 복수의 테이블이 미리 기억되어 있다. 환경 해석부 (211) 에 의해, 환경 변화가 있었다고 판정된 경우, 환경 해석부 (211) 는, 환경 변화가 있었다고 판단했을 경우, 변화가 있던 인자에 따라 개요하는 테이블을 선택하고, 그 테이블로부터 해당하는 검출 기준의 수정값을 선택한다. 검출 기준 제어부 (204) 는, 선택된 수정값에 기초하여 검출 기준 (40) 을 변경한다. 이와 같이, 사용자에 관련하는 정보의 하나인 사용자에 의한 주위의 환경 변화 정보에 의해, 그 사용자용으로 검출 기준 (40) 을 변경하여, 검출 기준 (40) 과 공중 이미지 (300) 의 표시 위치의 위치 관계를 변경한다.
상기 서술한 환경 검출부 (19) 의 검출 출력은, 제 1 실시형태의 제 1 또는 제 2 캘리브레이션 처리 모드나 제 1 실시형태의 변형예 1 ∼ 8 에 있어서, 검출 기준을 변경할 때에도 이용할 수 있다. 즉, 상기 서술한 제 1 또는 제 2 캘리브레이션 처리 모드에 있어서, 사용자의 손가락의 도달 위치에 기초하여 검출 기준을 변경하는 대신에, 사용자의 손가락의 도달 위치 또는 지정 위치와 환경 검출부 (19) 의 검출 출력의 양방에 기초하여 검출 기준을 변경할 수도 있다.
또한, 상기 서술한 환경 변화로는, 사용자에게서 기인하는 주위의 환경 변화에 한정되지 않고, 창으로부터 햇볕이 들어오는 것에 의한 변화나, 기후에 의한 습도의 변화나, 표시 장치의 기동 계속에 따른 장치 자체의 온도 상승 등의 여러 가지 환경의 변화를 검출하고, 이 검출 결과에 기초하여 검출 기준을 변경하여, 검출 기준과 공중 이미지의 위치 관계를 변경해도 된다.
또한, 상기 서술한 제 3 실시형태에서는, 제어부 (20) 와 표시기 (11) 와 조작 검출기 (13) 를 적어도 포함하는 표시 장치 (1) 를 예로 설명했지만, 제어부 (20) 만으로 구성된 검출 장치나, 제어부 (20) 와 조작 검출기 (13) 로 구성되는 검출 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 검출 기준 제어부 (204) 와 환경 해석부 (211) 를 구비하면 된다. 상기 서술한 제 3 실시형태에 기재된 각 효과를 얻기 위해서, 상기 서술한 구성으로부터 필요에 따라 구성을 적절히 추가해도 된다.
-제 4 실시형태-
도면을 참조하면서, 제 4 실시형태에 관련된 표시 장치 (100) 에 대해 설명한다. 본 실시형태에 있어서의 표시 장치 (100) 는, 조작 검출기의 구성이 제 1 실시에 있어서의 조작 검출기 (13) 와는 상이하다. 도 29 는, 본 실시형태에 관련된 표시 장치를 나타내는 도면이고, 도 29(a) 는, 제 4 실시형태에 의한 표시 장치 (100) 의 조작 검출기 (100) 의 개략 구성을 설명하는 단면도이다. 또, 도 19(b) 는 표시 장치 (100) 가 장착된 전자 기기의 일례로서, 현금 자동 인출기 (ATM 장치) (200) 의 사시도이다. 표시 장치 (100) 는, 현금 자동 인출기 (200) 에 있어서, 사용자가 비밀번호나 금액 등을 입력하기 위한 전면 패널 상에 장비되어 있다. 또한, 표시 장치 (100) 는, 현금 자동 인출기에 한정되지 않고, 철도나 버스의 승차권·정기권 등의 각종 자동 매표기나, 도서관이나 미술관 등의 각종 정보 검색 단말 장치 등에 널리 장착할 수 있다. 설명의 사정상, 표시 장치 (100) 에 대해, X 축, Y 축 및 Z 축으로 이루어지는 좌표계를 도시와 같이 설정한다.
도 29(a) 에 나타내는 바와 같이, 표시 장치 (100) 는, 본체 (도시 생략) 내에, 표시기 (111) 와, 결상 광학계 (112) 와, 조작 검출기 (113) 를 구비한다. 본체의 내부에 형성된 표시기 (111) 는, 예를 들어, 액정 소자나 유기 EL 소자 등에 의해 구성되고, 복수의 이차원상으로 배열된 표시 화소를 갖는다. 표시기 (111) 는, 제 1 실시형태에 관련된 표시 장치 (1) 의 제어부 (20) 에 유사한 제어부 (도시 생략) 에 의해 제어되고, 표시용 화상 데이터에 대응하는 화상을 표시한다. 결상 광학계 (112) 는, 표시기 (111) 에 대해 소정의 위치 관계가 되도록 배치된다. 결상 광학계 (112) 로는, 투명 기판의 내부에 2 종류의 띠상 반사부를 일정 간격으로 평행하게 배열된 소자를 2 개 중첩하여 배치한 구성으로 할 수 있다.
도 30 은, 표시 장치 (100) 의 구성 중, 제어부 (20) 와, 제어부 (20) 에 의해 제어되는 표시기 (111) 및 조작 검출기 (113) 를 나타낸 블록도이다. 도 30 의 블록도에 나타낸 표시 장치 (100) 는, 표시기 (111) 및 조작 검출기 (113) 의 구성이 도 2 의 블록도에 나타낸 표시 장치 (1) 의 표시기 (11) 및 조작 검출기 (13) 의 구성과 상이한 것 이외에는, 실질적으로 동일하다. 즉, 제어부 (20) 는, CPU, ROM, RAM 등을 갖고, 제어 프로그램에 기초하여 표시 장치 (100) 의 표시기 (111) 및 조작 검출기 (113) 를 포함하는 여러 가지 구성 요소를 제어하거나, 각종 데이터 처리를 실행하거나 하는 연산 회로를 포함한다. 제어부 (20) 는, 화상 생성부 (201) 와, 표시 제어부 (202) 와, 캘리브레이션부 (203) 와, 검출 기준 제어부 (204) 와, 기억부 (205) 를 구비한다. 기억부 (205) 는, 제어 프로그램을 격납하는 불휘발성 메모리와, 표시기 (111) 에 표시되는 화상 데이터 등을 기억하는 기억 매체 등을 포함하는 것이다.
결상 광학계 (112) 는, 표시용 화상 데이터에 대응하여 표시기 (111) 에 표시된 화상으로부터 사출되는 광속을 편향시켜, 도 29 에 나타낸 바와 같은 아이콘을 포함하는 공중 이미지 (30) 를 생성한다.
조작 검출기 (113) 는, 공중 이미지 (30) 의 근방에 공중 이미지 (30) 를 둘러싸도록 형성된다. 도 31 에 조작 검출기 (113) 의 평면도를 나타낸다. 조작 검출기 (113) 는, XY 평면에 평행한 단면이 사각형인 프레임상의 하우징 (115) 을 구비한다. 하우징 (115) 의 내면을 구성하는 4 면 중, 인접하는 2 면에는 복수의 투광 소자 (116) 가 배치되고, 남는 인접하는 2 면에는 복수의 수광 소자 (117) 가 배치되어 있다. 도 31 에 있어서는, 프레임상의 하우징 (115) 의 ZX 평면에 평행한 1 쌍의 내면 중, 내면 (ZX1) 에는 투광 소자 (116) 만이 형성되고, 내면 (ZX2) 에는 수광 소자 (117) 만이 형성된다. 동일하게, YZ 평면에 평행한 1 쌍의 내면 중, 내면 (YZ1) 에는 투광 소자 (116) 만이 형성되고, 내면 (YZ2) 에는 수광 소자 (117) 만이 형성된다. 즉, 투광 소자 (116) 와 수광 소자 (117) 는 서로 대향하여 형성된다. 투광 소자 (116) 로는 시판되는 레이저나 LED 소자 등을 사용할 수 있다. 또, 수광 소자 (117) 로는, 시판되는 포토다이오드나 포토트랜지스터를 사용할 수 있다. 또한, 투광 소자와 수광 소자를 일체로 구성한 투수광 소자를 사용하는 것도 가능하고, 이 경우에는, 투광 소자 대신에 투수광 소자를 배치하고, 수광 소자 대신에 미러를 배치한다.
투광 소자 (116) 와 수광 소자 (117) 는, 1 개 대 1 개의 대응 관계가 되도록 어레이상으로 정연하게 배열되고, 1 개의 투광 소자 (116) 로부터 출사된 광은 대응하는 1 개의 수광 소자 (117) 에만 입사하도록 구성된다. 투광 소자 (116) 로부터 출사된 광선은 공중 이미지 (I) 와 평행한 면내 (즉, XY 평면에 평행한 면내) 를 진행하여 수광 소자 (117) 에 입사한다. 수광 소자 (117) 에 의한 광의 검출 상태는 제어부에 보내지고, 제어부에서는, 수광 소자 (117) 의 검출 상태는 수광 소자 (117) 의 위치와 대응시켜 파악된다. 이로써, 하우징 (115) 의 내부에 있어서는, XY 평면에 평행한 복수단의 2 차원 격자상의 광로군이 형성된다. 투광 소자 (116) 로부터 출사되는 광의 파장은 적외역인 것이 바람직하다.
위치 검출기 (113) 의 단면을 도 32 에 나타낸다. 도 32 는 설명을 간단하게 하기 위해서, 투광 소자 (116) 와 수광 소자 (117) 가 각각 Z 방향으로 6 단씩 배치된 구성을 나타내고 있다. 6 단의 투광 소자 (116) 를 Z 방향 + 측으로부터 각각 116a, 116b, 116c, 116d, 116e, 116f 로 한다. 또, 6 단의 수광 소자 (117) 를 Z 방향 + 측으로부터 각각 117a, 117b, 117c, 117d, 117e, 117f 로 한다. 이와 같이, 위치 검출기 (113) 는, 투광 소자 (116a 와 116f) 사이에 검출 범위를 갖고, 이 검출 범위는, 제 1 실시형태에 있어서의 도 3 의 검출 범위 (13A) 에 상당하는 것이다.
조작 검출기 (113) 의 기능에 대해 도 32 를 사용하여 설명한다. 표시 장치 (100) 에 있어서, 표시 제어부 (204) 는, 표시 장치 (100) 로부터 떨어진 위치에 공중 이미지 (30) 를 생성한다. 여기서는, 공중 이미지 (30) 는 아이콘 (30A) 을 포함하고, 생성되어 있는 상하 방향에 있어서의 위치는, 투광 소자 (116d) 와 수광 소자 (117d) 를 포함하는 면인 것으로 한다. 또, 검출 기준 제어부 (204) 는, 검출 기준 (40) 을 소정의 초기 위치에 설정한다. 여기서는, 검출 기준 (40) 은, 투광 소자 (116c) 와 수광 소자 (117c) 를 포함하는 면에 설정되는 것으로 한다. 또한, 공중 이미지 (30) 및 검출 기준 (40) 을 각각 미세하게 설정하기 위해서는, 투광 소자 (116) 와 수광 소자 (117) 의 상하 방향의 단수가 많은 것이 바람직하다.
사용자는 공중 이미지 (30) 의 제 1 아이콘 (30A) 의 조작을 실시하기 위해서, 손가락 끝을 아이콘 (30A) 을 향하여 하강 이동시켜, 조작 검출기 (113) 의 검출 한계 (여기서는, 투광 소자 (116a) 와 수광 소자 (117a) 를 포함하는 면) 에 이르면, 조작 검출기 (113) 는, 수광 소자 (117) 의 출력에 기초하여 사용자의 손가락 끝의 접근을 검출한다.
손가락 끝 (F) 이 공중 이미지 (30) 의 아이콘 (30A) 보다 상방의 점선 위치 (50) 에 이르렀을 때, 사용자는 손가락이 아이콘 (30B) 에 도달하여 조작을 실행하고 있다고 느끼고, 손가락 끝 (F) 의 하방으로의 이동을 정지시킨다. 검출 기준 제어부 (204) 는, 수광 소자 (117a 및 117b) 에 있어서 광이 검출되지 않고, 또한 수광 소자 (117c) 에 있어서 광이 검출되는 상태가 소정 시간 이상 계속된 것을 가지고, 손가락 끝 (F) 의 하방으로의 이동의 정지, 즉 아이콘에 30B 의 표시 위치로의 조작을 판정한다. 이 때, 투광 소자 (116b) 와 수광 소자 (117b) 를 포함하는 면을, 손가락 끝 (F) 이 아이콘 (30A) 의 표시 위치를 조작하여 이동을 정지시킨 위치인 도달 위치로 한다.
검출 기준 제어부 (204) 는, 도달 위치 (50) 를 판정하면, 초기 설정의 검출 기준 (40) 의 위치를 예를 들어, 도달 위치 (50) 의 위치로 변경하고, 이 변경된 검출 기준 (40) 의 위치 데이터를 도 2 의 기억부 (205) 에 기억한다. 이로써, 제 1 실시형태의 표시 장치 (1) 와 동일하게 하여, 도달 위치 (50) 에 기초하여, 그 사용자에게 적합한 검출 기준 (40) 이 설정된다. 즉, 미리 복수 설치된 투광 소자 (116) 와 수광 소자 (117) 중, 투광 소자 (116c) 와 수광 소자 (117c) 를 포함하는 면을 검출 기준 (40) 으로서 초기 설정하고, 캘리브레이션 처리에 의해, 도달 위치에 기초하여 검출 기준 (40) 을 예를 들어 투광 소자 (116b) 와 수광 소자 (117b) 를 포함하는 면으로 변경함으로써, 검출 기준 (40) 과 공중 이미지 (30) 의 표시 위치의 위치 관계가 변경된다. 또한, 캘리브레이션 처리에 의해, 도달 위치 (50) 의 위치로 검출 기준 (40) 의 위치를 변경하는, 즉 복수 설치된 투광 소자 (116) 와 수광 소자 (117) 중, 투광 소자 (116b) 와 수광 소자 (117c) 를 포함하는 면으로 변경해도 된다. 물론, 초기 설정된 검출 기준은, 도달 위치에 기초하여 도달 위치의 상방의 위치로 변경할 수도 있고, 도달 위치의 하방의 위치로 변경할 수도 있다.
나아가서는, 검출 기준은, 도 21(c) 에 나타낸 바와 같이, 폭 (d2) 을 갖는 검출 기준으로 변경할 수도 있다. 예를 들어 도달 위치 (50) 에 대해 상방의 투광 소자 (116a) 와 수광 소자 (117a) 가 선택되고, 투광 소자 (116a) 와 수광 소자 (117a) 를 포함하는 면을 상면 (401) 으로 하고, 도달 위치 (50) 에 대해 하방의 투광 소자 (116c) 와 수광 소자 (117c) 가 선택되고, 투광 소자 (116c) 와 수광 소자 (117c) 를 포함하는 면을 하면 (402) 으로 하는, 즉 복수의 투광 소자 (116) 와 수광 소자 (117) 의 세트 중, 1 세트의 투광 소자 (116) 와 수광 소자 (117) 를 포함하는 면으로 상면 (401) 을 설정하고, 다른 1 세트의 투광 소자 (116) 와 수광 소자 (117) 를 포함하는 면으로 하면 (402) 을 설정하면 된다.
상기 서술한 바와 같이, 본 실시형태는, 복수 설치된 투광 소자 (116) 와 수광 소자 (117) 에 의해 설정 가능한 복수의 검출 기준 중에서, 도달 위치에 기초하여 1 세트 혹은 복수 세트의 투광 소자 (116) 와 수광 소자 (117) 를 선택함으로써 검출 기준을 선택하여, 검출 기준의 위치를 변경하는 것이다.
이상 설명한 바와 같이, 표시 장치 (100) 의 표시기 (111) 와 조작 검출기 (113) 는, 표시 장치 (1) 의 표시기 (11) 와 조작 검출기 (13) 와는 구성이 상이하지만, 검출 기준 (40) 의 설정을 유사한 순서에 의해 설정할 수 있다. 따라서, 제 4 실시형태의 표시 장치 (100) 에 의한 제 1 및 제 2 캘리브레이션 처리는, 각각 도 6 및 도 8 에 플로우 차트로 나타낸 순서와 동일한 순서에 의해 실시할 수 있다. 제 4 실시형태의 표시 장치 (100) 는, 상기 서술한 여러 가지 변형예에도 적용할 수 있다.
또한, 표시 장치 (100) 는 액츄에이터와 인코더를 구비하고, 투광 소자 (116) 와 수광 소자 (117) 를 Z 방향으로 미소 거리 이동시켜도 된다. 예를 들어, 도달 위치 (50) 로부터 거리 (d1) 의 위치에 검출 기준 (42) 을 변경하는 경우, 도달 위치 (50) 로부터 거리 (d1) 의 위치에 가장 가까운 위치의 투광 소자 (116) 와 수광 소자 (117) 가 선택된다. 이 선택된 투광 소자 (116) 와 수광 소자 (117) 가 배치된 위치와 도달 위치 (50) 로부터 거리 (d1) 의 차분에 기초하여, 투광 소자 (116) 와 수광 소자 (117) 가 액츄에이터에 의해 이동되어, 투광 소자 (116) 와 수광 소자 (117) 의 위치가 미세 조정된다. 즉, 투광 소자 (116) 와 수광 소자 (117) 의 위치가 미세 조정됨으로써, 검출 기준 (42) 을 도달 위치 (50) 로부터 거리 (d1) 에 보다 접근한 위치로 변경할 수 있다.
(제 4 실시형태의 변형예 1)
제 4 실시형태는 다음과 같이 변형할 수 있다. 제 4 실시형태의 표시 장치 (100) 에 있어서는, 조작 검출기 (113) 가 Z 방향으로 복수단의 이차원상으로 배열된 투광 소자 (116), 수광 소자 (117) 를 갖는 구성으로서 설명하였다. 그러나, 이차원상으로 배열된 투광 소자 (116), 수광 소자 (117) 는 1 단만이어도 된다. 이와 같은 조작 검출기 (113') 를 장비한 구성의 표시 장치 (100) 를 도 33 에 나타낸다. 조작 검출기 (113') 는 프레임상의 하우징 (115') 을 구비하고, 프레임상의 하우징 (115') 의 내면을 구성하는 4 면 중, 인접하는 2 면에는 XY 평면에 평행한 일렬로 복수의 투광 소자 (116) 가 배치되고, 남는 인접하는 2 면에는 XY 평면에 평행한 일렬로 복수의 수광 소자 (117) 가 배치되어 있다. 즉, 조작 검출기 (113') 는, 도 32 에서 설명한 6 단 구성의 조작 검출기 (113) 중 1 단만으로 구성한 것이다. 하우징 (115') 에는 액츄에이터 (119) 가 접속되고, Z 방향으로 소정의 주기 (예를 들어, 매초 10 사이클) 로 왕복 이동시킨다. 하우징 (115') 의 위치는 액츄에이터 (119) 에 장착된 위치를 검출하는 센서, 예를 들어 인코더 (도시 생략) 에 의해 검출된다. 이 경우, 하우징 (115') 을 왕복 이동 가능한 범위에 포함되는 소정의 위치를 검출 기준 (40) 으로 설정한다.
조작 검출기 (113') 를 장비한 표시 장치 (100) 에 의한 검출 기준의 캘리브레이션 처리에 대해 도 32 를 사용하여 설명한다. 사용자가 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치를 조작하기 위해서, 손가락 끝을 공중 이미지 (30) 를 향하여 누른다. 손가락 끝의 위치가 하우징 (115') 의 이동 범위에 들어가면, 투광 소자 (116) 로부터 출사된 광이 사용자의 손가락에 의해 차단되어 수광 소자 (117) 에 도달하지 않게 된다. 이 사용자의 손가락에 의해 차단되어 수광 소자 (117) 에 도달하지 않게 되는 위치를 인코더에 의해 검출하여, 사용자의 손가락 끝의 위치가 검출된다. 사용자는 공중 이미지 (30) 에 포함되는 아이콘 (30A) 의 표시 위치를 조작하기 위해서, 더욱 손가락 끝을 공중 이미지 (30) 를 향하여 누르고, 사용자가 아이콘 (30A) 에 도달하여 아이콘 (30A) 의 표시 위치로의 조작을 실행하고 있다고 느끼고, 손가락 끝을 정지시킨다. 사용자의 손가락 끝이 정지했는지의 여부에 대해서는, 예를 들어, 왕복 이동하는 하우징 (115') 이 1 왕복하는 동안, 투광 소자 (116) 로부터의 광이 수광 소자 (117) 에 도달하지 않게 되는 위치가 대략 동일한 위치에서 검출된 경우, 사용자의 손가락 끝이 정지되어 있는 것으로 제어부 (20) 는 판정한다. 이 때, 사용자의 손가락 끝이 정지되어 있는 위치를 도달 위치로 하고, 결정된 도달 위치에 기초하여, 검출 기준 (40) 의 위치를 설정한다. 각 처리를 나타내는 플로우 차트는 도 6 에 나타낸 것과 실질적으로 동일하다.
또한, 상기 서술한 제 4 실시형태, 변형예 1 에서는, 제어부 (20) 와 표시기 (111) 와 조작 검출기 (113) 를 적어도 포함하는 표시 장치 (1) 를 예로 설명했지만, 제어부 (20) 만으로 구성된 검출 장치나, 제어부 (20) 와 조작 검출기 (113) 로 구성되는 검출 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 검출 기준 제어부 (204) 를 구비하면 된다. 상기 서술한 제 4 실시형태 또는 변형예 1 에 기재된 각 효과를 얻기 위해서, 상기 서술한 구성으로부터 필요에 따라 구성을 적절히 추가하면 된다.
제 4 실시형태에 있어서는, 투광 소자·수광 소자를 사용한 조작 검출기를 사용하여 사용자의 손가락 끝의 위치를 검출하고 있다. 그러나, 조작 검출부로서 촬상부를 구비하는 것도 가능하다. 예를 들어, 표시 장치에 촬상부로서 카메라를 장비하고, 이 카메라에 의해 사용자의 손가락 끝의 움직임을 검출하며, 그 정보에 기초하여 검출 기준 (40) 의 캘리브레이션 처리를 실시해도 된다. 도 34 는, 제 4 실시형태에서 설명한 표시 장치 (100) 와 동일한 표시기 (111) 와 결상 광학계 (112) 를 갖는 표시 장치 (100') 를 나타낸다. 표시 장치 (100') 는, 조작 검출기 (113) 는 구비하지 않고, 그 대신에, 촬상 장치 (예를 들어 디지털 카메라) (118) 를 구비하고 있는 점에서, 표시 장치 (100) 와 상이하다. 표시 장치 (100') 에 있어서는, 촬상 장치 (118) 에 의해 사용자의 손가락의 위치를 파악한다. 촬상 장치 (118) 에 장착하는 렌즈로는, 공중 이미지 (30) 의 전체를 커버하기 위해서 광각 렌즈인 것이 바람직하고, 어안 렌즈여도 된다. 또, 복수 (예를 들어, 2 개) 의 촬상 장치를 형성하고, 그들 촬상 화상에 의해 사용자의 손가락 끝의 위치를 보다 검출해도 된다.
상기 제 1 실시형태 내지 제 4 실시형태 및 그들의 변형예에 있어서는, 검출 기준 (40) 의 위치를 이동시킴으로써, 검출 기준 (40) 과 공중 이미지 (30) (혹은 아이콘 (300A) 등) 의 위치 관계를 변경하도록 제어를 실시하였다. 그러나, 검출 기준 (40) 과 공중 이미지 (30) 의 상대적 위치 관계를 변경하기 위해서는, 공중 이미지 (30) 를 이동시켜도 된다. 또, 검출 기준 (40) 과 공중 이미지 (30) 의 상대적 위치 관계를 변경하기 위해서는, 검출 기준 (40) 과 공중 이미지 (30) 의 양방을 이동시켜도 된다.
-제 5 실시형태-
이상의 실시형태 및 그 변형예는, 캘리브레이션 처리에 의해 검출 기준을 제어 또는 변경하여, 검출 기준과 공중 이미지의 표시 위치의 위치 관계를 변경하는 것이었지만, 다음에, 캘리브레이션 처리에 의해 공중 이미지의 표시 위치를 변경하여, 검출 기준과 공중 이미지의 표시 위치의 위치 관계를 변경하는 제 5 실시형태를 설명한다.
도 35 및 도 36 은, 제 5 실시형태의 표시 장치를 나타내는 것이다. 제 5 실시형태의 표시 장치 (1) 는, 제 1 실시형태의 표시 장치와 동일하게, 도 35 에 나타내는 바와 같이 제어부 (20) 를 내장하는 본체 (10) 와, 표시기 (11) 와, 결상 광학계 (12) 와, 조작 검출기 (13) 를 구비함과 함께, 도 36 에 나타내는 바와 같이 화상 생성부 (201) 와, 표시 제어부 (202) 와, 캘리브레이션부 (203) 와, 검출 기준 제어부 (204) 와, 기억부 (205) 를 구비한다. 제 5 실시형태의 표시 장치 (1) 는, 상기 서술한 구성에 더하여 추가로, 표시 위치 변경부 (500) 와, 표시 위치 제어부 (220) 를 구비한다.
표시 위치 변경부 (500) 는, 예를 들어 모터 또는 액츄에이터 등의 구동부를 갖고, 결상 광학계 (12) 를 화살표로 나타내는 바와 같이 결상 광학계 (12) 의 광 축 방향으로 이동시켜, 결상 광학계 (12) 에 의해 형성되는 공중 이미지 (30) 의 표시 위치를 Z 축 방향, 즉 광축 방향으로 이동시켜 변경한다. 공중 이미지 (30) 를 상방향, 즉 표시기 (11) 로부터 떨어지는 방향으로 이동시키기 위해서는, 결상 광학계 (12) 를 하방향, 즉 표시기 (11) 에 가까워지는 방향으로 이동시키고, 반대로 공중 이미지 (30) 를 하방향, 즉 표시기 (11) 에 가까워지는 방향으로 이동시키기 위해서는, 결상 광학계 (12) 를 상방향, 즉 표시기 (11) 로부터 떨어지는 방향으로 이동시킨다. 또한, 표시 위치 변경부 (500) 는, 결상 광학계 (12) 를 이동시키는 대신에, 표시기 (11) 를 결상 광학계 (12) 의 광축 방향으로 이동시켜, 공중 이미지 (30) 의 표시 위치를 이동시켜 변경할 수도 있다.
표시기 (11) 와 결상 광학계 (12) 와 조작 검출기 (13) 는, 도 1 에 나타낸 제 1 실시형태의 표시기 (11) 와 결상 광학계 (12) 와 조작 검출기 (13) 의 각각과 동일한 구성의 것을 사용할 수 있지만, 본 실시형태의 결상 광학계 (12) 또는 표시기 (11) 는, 상기 서술한 바와 같이 결상 광학계 (12) 의 광축 방향으로 이동 가능하게 구성되어 있다.
또한, 이하의 설명에서는, 모터 또는 액츄에이터 등의 구동부를 갖고, 결상 광학계 (12) 를 화살표로 나타내는 바와 같이 결상 광학계 (12) 의 광축 방향으로 이동시켜, 결상 광학계 (12) 에 의해 형성되는 공중 이미지 (30) 의 표시 위치를 Z 축 방향, 즉 광축 방향으로 이동시켜 변경하는 예로 설명을 실시하지만, 이것에 한정되지 않고, 표시 위치 제어부 (220) 는, 표시기 (11) 를 제어하여, 오른쪽 눈으로 시인하기 위한 표시 화상과, 오른쪽 눈으로 시인하는 화상과는 시차를 갖는 왼쪽 눈으로 시인하기 위한 표시 화상을 표시시켜, 공중 이미지 (30) 의 깊이의 표시 위치를 변경해도 된다.
화상 생성부 (201) 와 표시 제어부 (202) 와 캘리브레이션부 (203) 와 검출 기준 제어부 (204) 와 기억부 (205) 는, 도 1 에 나타낸 제 1 실시형태의 화상 생성부 (201) 와 표시 제어부 (202) 와 캘리브레이션부 (203) 와 검출 기준 제어부 (204) 와 기억부 (205) 와 동일한 기능을 하는 것이다.
제어부 (20) 는, 상기 서술한 바와 같이 표시 위치 제어부 (206) 를 구비하고, 이 표시 위치 제어부 (220) 는, 캘리브레이션 처리 모드에 있어서 검출 또는 판정된 손가락의 도달 위치나 지정 위치 등에 기초하여 공중 이미지 (30) 의 이동량을 산출 또는 결정하여, 표시 위치 변경부 (500) 에 공중 이미지 (30) 의 표시 위치를 변경시킨다.
제 5 실시형태의 표시 장치의 동작을 다음에 설명한다. 공중 이미지 조작 모드는, 제 1 실시형태의 표시 장치와 동일하고, 공중 이미지 조작 모드가 기동되면, 도 3(a) 에 나타낸 공중 이미지 조작 모드용의 공중 이미지 (30) 가 결상 광학계 (12) 에 의해 표시되고, 검출 기준 제어부 (204) 에 의해 검출 기준 (40) 이 소정의 초기 위치에 설정된다. 손가락이 공중 이미지 (30) 의 아이콘 (30A) 의 표시 위치를 조작하기 위해서 하강 이동되면, 조작 검출기 (13) 가 손가락의 하강 이동을 검출한다. 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락이 검출 기준 (40) 의 위치에 도달한 것을 판정하고, 이 판정에 의해, 조작된 아이콘 (30A) 에 따른 기능이 실행되는, 예를 들어, 공중 이미지 (30) 의 표시 내용이 전환된다.
제 1 캘리브레이션 처리 모드가 실행되면, 표시 제어부 (202) 와 표시기 (11) 와 결상 광학계 (12) 가 도 4 에 나타낸 캘리브레이션 처리용의 공중 이미지 (300) 를 공중에 형성하고, 검출 기준 제어부 (204) 가 검출 기준 (40) 을 공중 이미지 (300) 의 근방에 초기 위치에 설정한다. 사용자가 손가락을 공중 이미지 (300) 의 아이콘 (300A) 을 조작하기 위해서 하강 이동시키면, 조작 검출기 (13) 가 그 하강 이동을 검출한다. 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락의 도달 위치 (50) 를 판정한다. 이 판정은, 제 1 실시형태에서 설명한 방법이나 제 1 실시형태의 변형예 1, 2 에서 설명한 방법이 사용된다. 표시 위치 제어부 (206) 는, 손가락의 도달 위치 (50) 에 기초하여, 표시 위치 변경부 (500) 에 공중 이미지 (300) 의 위치를 결상 광학계 (12) 의 광축 방향으로 이동시킨다.
또한, 표시 제어부 (202) 와 표시기 (11) 와 결상 광학계 (12) 는 도 12, 도 15, 도 18 에 나타낸 캘리브레이션 처리용의 공중 이미지 (300) 를 형성해도 되고, 이 경우에는, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락에 의한 지정 위치 (50A) 를 판정한다. 표시 위치 제어부 (220) 는, 지정 위치 (50A) 에 기초하여, 표시 위치 변경부 (500) 에 공중 이미지 (300) 의 위치를 결상 광학계 (12) 의 광축 방향으로 이동시킨다. 이 공중 이미지 (300) 의 표시 위치의 이동에 의해 제 1 캘리브레이션 처리가 종료하고, 이것에 계속되는 공중 이미지 조작 모드에서는, 이동된 표시 위치에 공중 이미지 조작 모드용의 공중 이미지 (30) 가 표시된다.
표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 에 의한 공중 이미지 (300) 의 표시 위치의 이동은, 다음과 같이 실시된다. 즉, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 가 도 37(a) 에 나타낸 바와 같이, 검출 기준 (40) 보다 상방에 위치하는 경우에는, 도달 위치 (50) 또는 지정 위치 (50A) 와 검출 기준 (40) 의 간격 (ΔH) 을 산출하여, 공중 이미지 (300) 의 표시 위치를 예를 들어 간격 (ΔH) 만큼 하방인 점선으로 나타낸 표시 위치 (300) 로 이동시킨다. 공중 이미지 (300) 는 공간에 표시되어 있기 때문에, 시인성이 나쁘고, 사용자에 따라서는 공중 이미지 (300) 의 표시 위치가 상이하게 보이는 경우가 있다. 도 37(a) 에서 나타낸 예에서는, 사용자는 공중 이미지 (300) 의 표시 위치가 실제의 위치보다 높은 위치에 공중 이미지 (300) 가 있다고 느끼고 있다. 그 때문에, 사용자에 의한 도달 위치 (50) 또는 지정 위치 (50A) 가 공중 이미지 (300) 의 표시 위치보다 상방의 위치로 되어 있다. 그래서, 사용자에 의한 공중 이미지 (300) 의 표시 위치로의 조작을 검출하기 위해서, 공중 이미지 (300) 의 표시 위치를 간격 (ΔH) 만큼 하방으로 이동시킨다. 그 때문에, 사용자는 하방으로 이동된 공중 이미지 (300) 의 표시 위치를 조작하게 되어, 도달 위치 (50) 또는 지정 위치 (50A) 가 보다 하방이 되는 것을 기대할 수 있다. 도달 위치 (50) 또는 지정 위치 (50A) 가 보다 하방이 되기 때문에, 도달 위치 (50) 또는 지정 위치 (50A) 가 검출 기준에 도달하여, 사용자에 의한 공중 이미지 (300) 의 표시 위치로의 조작을 검출할 수 있게 된다. 이와 같이, 공중 이미지 (300) 의 표시 위치를 이동시킴으로써, 사용자에 의한 공중 이미지 (300) 의 표시 위치로의 조작을 검출 기준 (40) 에서 검출할 수 있게 된다.
또, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 가 도 37(b) 에 나타낸 바와 같이, 검출 기준 (40) 보다 하방에 위치하는 경우에는, 도달 위치 (50) 또는 지정 위치 (50A) 와 검출 기준 (40) 의 간격 (ΔH) 을 산출하여, 공중 이미지 (300) 의 표시 위치를 예를 들어 간격 (ΔH) 만큼 상방인 점선의 표시 위치 (300) 로 이동시킨다.
또한, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 가 검출 기준 (40) 에 일치했을 경우, 또는 검출 기준 (40) 의 근방 위치에 존재한 경우에는, 공중 이미지 (300) 의 표시 위치를 이동시키지 않는다.
또한, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 도달 위치 (50) 또는 지정 위치 (50A) 가 검출 기준 (40) 보다 상방에 위치하는 경우에는, 공중 이미지 (300) 의 표시 위치를 하방향으로 이동시키고, 도달 위치 (50) 또는 지정 위치 (50A) 가 검출 기준 (40) 보다 하방에 위치하는 경우에는, 공중 이미지 (300) 의 표시 위치를 상방향으로 이동시키지만, 그 이동량은, 상기 서술한 바와 같이 도달 위치 (50) 또는 지정 위치 (50A) 와 검출 기준 (40) 의 간격 (ΔH) 에 일치시킬 필요는 없고, 제 1 실시형태에 있어서 설명한 바와 같이, 간격 (ΔH) 보다 크게 해도 되고 또는 작게 해도 된다.
또한, 공중 이미지의 이동량의 산출 방법의 일례로는, 다수의 사용자에게 사전에 캘리브레이션 처리를 실행하게 하여, 도달 위치 또는 지정 위치와 검출 기준의 거리 (ΔH) 에 대해 공중 이미지 (300) 의 표시 위치를 다양하게 이동시켰을 때의 공중 이미지의 조작상, 위화감이 적은 공중 이미지 (300) 의 이동량을 구하고, 그 공중 이미지 (300) 의 이동량에 대해 통계적인 처리를 실시하여, 거리 (ΔH) 에 대한 공중 이미지의 이동량을 결정한다.
이와 같은 통계적 처리에 의한 공중 이미지의 이동량은, 예를 들어, 모든 사용자에게 공통된 값이어도 되고, 사용자의 연령층마다 상이한 값이어 되고, 성별마다 상이한 값이어도 된다. 또한, 이 통계적인 처리에 의한 공중 이미지의 이동량의 결정 방법은, 상기 서술한 제 1 실시형태에 있어서, 도달 위치 또는 지정 위치에 기초하여 검출 기준을 변경할 때의 검출 기준의 이동량을 결정하는 경우에도 적용할 수 있다.
상기 설명의 캘리브레이션 처리에 대해, 제 1 캘리브레이션 처리 모드를 예에 들어 도 38 에 나타내는 플로우 차트를 참조하여 설명한다. 또한, 도 38 의 플로우 차트는 스텝 S301 ∼ S308 을 나타내고, 그 이후의 스텝은 생략하였다. 스텝 S308 이후의 처리는, 도 6 의 스텝 S9 이후의 처리와 동일하다.
스텝 S301 ∼ S305 의 각 처리는, 도 6 에 나타낸 플로우 차트에 있어서의 스텝 S1 ∼ S5 의 각 처리와 동일하다. 스텝 S306 에 있어서, 표시 위치 제어부 (206) 는, 공중 이미지 (300) 의 표시 위치를 변경시킨다. 즉, 표시 위치 제어부 (206) 는, 손가락의 도달 위치 (50) 에 기초하여, 표시 위치 변경부 (500) 에 공중 이미지 (300) 의 표시 위치를 결상 광학계 (12) 의 광축 방향으로 이동시키고 스텝 S307 로 진행된다. 스텝 S307 에 있어서, 제 1 캘리브레이션 처리 모드를 종료하고, 스텝 S308 로 진행된다. 스텝 S308 에 있어서, 공중 이미지 조작 모드를 개시한다. 또한, 스텝 S303 에서 도 12, 도 15, 도 18 에 나타내는 공중 이미지 (300) 를 표시시킨 경우에는, 스텝 S305 에서 지정 위치 (50A) 를 판정하고, 스텝 S306 에서 지정 위치 (50A) 에 기초하여 공중 이미지 (300) 의 표시 위치를 변경하면 된다.
또한, 캘리브레이션 처리의 설명으로서 제 1 캘리브레이션 처리 모드를 예로서 설명했지만, 제 2 캘리브레이션 처리 모드에도 적용할 수 있다.
이상과 같이, 제 5 실시형태의 표시 장치는, 캘리브레이션 처리에 있어서 도달 위치 또는 지정 위치에 기초하여 공중 이미지의 표시 위치를 변경하여, 공중 이미지의 표시 위치와 검출 기준의 위치 관계를 변경하는 것이며, 사용자의 조작 특성에 적합한 공중 이미지의 표시 위치와 검출 기준의 위치 관계를 얻을 수 있다.
또, 캘리브레이션 처리에 있어서 공중 이미지를 이동시키는 것은, 캘리브레이션 처리에 있어서 검출 기준을 변경하는 경우에 변경 후의 검출 기준이 도 3 에 나타낸 조작 검출기 (13) 의 검출 범위 (13A) 밖으로 나와 버리거나, 검출 범위 (13A) 의 상한 또는 하한 부근에 위치하는 사태가 될 것 같은 경우에는, 검출 기준의 변경 대신에 공중 이미지의 이동을 실시하면, 상기의 사태를 피할 수 있다.
(제 5 실시형태의 변형예 1)
다음에, 제 5 실시형태의 표시 장치의 변형예 1 을 설명한다.
제 5 실시형태의 표시 장치는, 캘리브레이션 처리에 있어서, 도달 위치 또는 지정 위치에 기초하여 공중 이미지의 표시 위치를 변경했지만, 제 5 실시형태의 표시 장치의 변형예 1 은, 캘리브레이션 처리에 있어서, 도달 위치 또는 지정 위치에 기초하여, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 가 공중 이미지의 표시 위치를 변경함과 함께, 검출 기준 제어부 (204) 가 검출 기준의 위치를 변경한다. 이 공중 이미지의 표시 위치의 변경 및 검출 기준의 위치의 변경에 의해, 사용자의 조작 특성에 적합한 공중 이미지의 표시 위치와 검출 기준의 위치 관계를 얻을 수 있다. 표시 위치 변경부 (500) 가 도달 위치 또는 지정 위치에 기초하여 결정되는 적정한 표시 위치에 고정밀도로 공중 이미지를 이동시키는 것이 어려운 경우에는, 표시 위치 변경부 (500) 가 공중 이미지의 표시 위치를 대강 조정하고, 검출 기준 제어부 (204) 가 검출 기준을 미세 조정함으로써, 공중 이미지의 표시 위치와 검출 기준의 위치 관계를 적정하게 설정할 수 있다.
(제 5 실시형태의 변형예 2)
제 5 실시형태의 표시 장치의 변형예 2 를 이하에 설명한다. 변형예 2 의 표시 장치는, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 가 공중 이미지의 표시 위치를 이동시킬 때, 이동 개시로부터 이동 종료의 사이에 공중 이미지의 표시를 페이드 아웃하고 그 다음에 페이드 인한다. 즉, 공중 이미지의 이동 개시에 수반하여 표시의 휘도를 서서히 작게 하고, 그 후, 공중 이미지의 이동 종료를 향하여 표시 휘도를 서서히 크게 한다. 캘리브레이션 처리로서 공중 이미지를 이동시키고 있지만, 사용자가 시인 가능한 공중 이미지가 이동되면, 사용자에게 위화감이 생기는 경우가 있다. 그래서, 공중 이미지의 이동 개시에 수반하여 표시의 휘도를 서서히 작게 함으로써, 공중 이미지의 이동이 사용자에게 잘 시인되지 않게 되어, 사용자의 위화감을 경감시킬 수 있다.
또, 표시 제어부 (202) 는, 공중 이미지의 이동 중, 공중 이미지의 표시 휘도나 콘트라스트를 낮추거나, 휘도나 콘트라스트를 낮춘 상태에서 공중 이미지의 표시를 점멸시키거나, 나아가서는 공중 이미지의 표시를 지우거나 할 수 있다. 이와 같이, 표시 위치 변경부 (500) 에 의한 공중 이미지의 이동을 눈에 띄지 않게 하는, 즉 잘 시인되지 않게 함으로써, 사용자의 위화감을 경감시킬 수 있다.
또, 반대로, 공중 이미지의 이동에 수반하여 공중 이미지 자체를 눈에 띄게 하는 표시 양태를 실시해도 된다. 공중 이미지를 눈에 띄게 하는 표시 양태란, 공중 이미지의 이동 중, 공중 이미지의 표시 휘도나 콘트라스트를 높이거나, 공중 이미지의 표시를 점멸시키거나 하는 것 등이다. 이와 같이, 공중 이미지 자체를 눈에 띄게 하는 표시 양태를 실시함으로써, 공중 이미지의 이동을 눈에 띄지 않게 할 수 있고, 사용자는 공중 이미지의 이동보다 공중 이미지 자체를 주목하게 된다. 그 때문에 사용자는 공중 이미지의 이동이 신경이 쓰이지 않게 되어, 사용자의 위화감을 경감시킬 수 있다.
상기와 같이 공중 이미지의 이동시에 있어서의 공중 이미지의 표시 양태의 변경은, 도 38 의 플로우 차트에 있어서의 스텝 S306 의 한창 처리 중에 실시된다.
이와 같은 공중 이미지의 이동 중에 있어서의 공중 이미지의 표시를 눈에 띄지 않게 하거나, 눈에 띄도록 하는 것은, 공중 이미지의 전체에 대해 실시하는 것이 아니라, 공중 이미지의 일부, 예를 들어, 캘리브레이션 처리용의 아이콘에 대해 실시하도록 해도 된다. 또, 이와 같은 공중 이미지의 이동을 눈에 띄게 할지의 여부는, 사용자의 기호에 따라 선택할 수 있도록 해도 된다.
또 조금 전의 설명과는 반대로, 캘리브레이션 처리의 실행 중에 공중 이미지의 이동을 사용자에게 확인시키기 위해서, 표시 위치 변경부 (500) 에 의한 공중 이미지의 이동이 눈에 띄도록 해도 된다. 표시 제어부 (202) 는, 공중 이미지의 이동 중, 공중 이미지의 표시 휘도나 콘트라스트를 높이거나, 공중 이미지의 표시를 점멸시키거나 해도 된다. 상기 서술한 설명에서는, 공중 이미지의 이동이 눈에 띄지 않게 하고 있었지만, 반대로 사용자에 대해 공중 이미지의 이동을 눈에 띄게 함으로써, 공중 이미지의 이동 후의 위치를 명확하게 할 수 있다.
또한 상기와 같이 공중 이미지의 이동시에 있어서의 공중 이미지의 표시 휘도의 변경은, 도 38 의 플로우 차트에 있어서의 스텝 S306 의 한창 처리 중에 실시된다.
(제 5 실시형태의 변형예 3)
제 5 실시형태의 표시 장치 (1) 의 변형예 3 을 이하에 설명한다. 변형예 3 의 표시 장치 (1) 는, 캘리브레이션 처리시에 사용자의 조작에 의해 공중 이미지의 표시 위치의 변경을 개시한다. 이 경우, 사용자의 조작이 종료한 후, 표시 위치 제어부 (220) 는, 표시 위치 변경부 (500) 를 제어하어, 공중 이미지의 표시 위치의 변경을 개시시킨다.
상기 설명의 캘리브레이션 처리에 대해, 제 1 캘리브레이션 처리 모드를 예로 들어, 도 39 에 나타내는 플로우 차트를 참조하여 설명한다. 또한, 도 39 의 플로우 차트는 스텝 S311 ∼ S319 를 나타내고, 그 이후의 스텝은 생략하였다. 스텝 S319 이후의 처리는, 도 6 의 스텝 S9 이후의 처리와 동일하다.
스텝 S311 ∼ S315 의 각 처리는, 도 38 에 나타낸 플로우 차트에 있어서의 스텝 S301 ∼ S305 의 각 처리와 동일하다. 스텝 S316 에 있어서, 사용자에 의한 조작이 종료했는지의 여부를 판정한다. 스텝 S316 에 있어서 긍정으로 판정된 경우, 즉, 사용자에 의한 조작이 종료한 것으로 판정된 경우에는, 스텝 S317 로 진행된다. 스텝 S316 에 있어서 부정으로 판정된 경우에는, 스텝 S314 로 되돌아간다. 스텝 S317 ∼ S319 의 각 처리는, 도 38 에 나타낸 플로우 차트에 있어서의 스텝 S306 ∼ S308 의 각 처리와 동일하다.
또한, 사용자에 의한 조작이 종료했는지의 여부를 판정하는 스텝 S316 은, 공중 이미지의 표시 위치를 변경할지의 여부를 결정하는 것이다. 따라서, 사용자에 의한 조작의 종료는, 도달 위치 또는 지정 위치를 판정한 것을 가지고 사용자의 조작 종료로 판단해도 되고, 도달 위치 또는 지정 위치의 판정 후에, 표시 위치를 변경하기 위한 특정 제스처 (사용자의 손의 형상이 바위에서 보가 되는 제스처) 의 검출을 가지고 사용자에 의한 조작 종료로 판단해도 되고, 도달 위치 또는 지정 위치의 판정 후에, 표시 위치를 변경하기 위한 버튼이 공중 이미지에 표시되고, 그 버튼이 사용자에 의해 눌려진 것이 검출된 것을 가지고 사용자에 의한 조작이 종료한 것으로 판단해도 된다.
또한, 캘리브레이션 처리의 설명으로서 제 1 캘리브레이션 처리 모드를 예로서 설명했지만, 제 2 캘리브레이션 처리 모드에도 적용할 수 있다.
(제 5 실시형태의 변형예 4)
제 5 실시형태의 표시 장치 (1) 의 변형예 4 를 이하에 설명한다. 변형예 4 의 표시 장치 (1) 는, 캘리브레이션 처리시에 사용자가 공중 이미지의 표시 위치의 변경을 개시하는 타이밍을 발성에 의해 지정하는 것이다. 도 40 은, 변형예 4 에 있어서의 표시 장치 (1) 의 구성 중, 제어부 (20) 에 의해 제어되는 표시기 (11) 및 조작 검출기 (13) 를 나타낸 블록도이다. 이 표시 장치 (1) 는, 도 17 에 나타내는 제 1 실시형태의 변형예 6 에 있어서의 집음기 (14) 를 포함하고, 제어부 (20) 에는 음성 검출부 (208) 가 구비된다.
표시 장치 (1) 는, 제 1 실시형태의 경우와 동일하게 하여 도달 위치 (50) 를 판정한다. 표시 제어부 (202) 는, 공중 이미지 (300) 의 캘리브레이션용 아이콘 (300F) 에, 예를 들어 도 41 에 나타내는 바와 같이, 메시지 「캘리브레이션을 실행합니다. 「네」 라고 소리를 내주세요.」 를 중첩 표시한다. 사용자가 캘리브레이션용 아이콘 (300F) 의 메시지에 따라 「네」 라고 소리를 내면, 집음기 (14) 는 이 음성을 집음하여, 음성 데이터로서 음성 검출기 (208) 에 출력한다. 음성 검출기 (208) 가 음성 데이터가 「네」 에 대응하는 것을 판정하면, 표시 위치 제어부 (220) 는, 표시 위치 변경부 (500) 를 제어하여, 공중 이미지 (300) 의 표시 위치를 변경한다. 상기와 같은 공중 이미지의 표시 위치의 변경은, 도 39 에 나타내는 제 5 실시형태의 변형예 3 의 플로우 차트에 있어서의 스텝 S316 의 사용자에 의한 조작이 종료했는지의 여부 대신에, 사용자가 「네」 를 발성했는지의 여부를 판정하고, 「네」 를 발성한 것으로 판정한 경우에는 스텝 S316 이 긍정으로 판정되어 스텝 S317 로 진행되도록 한다.
또한, 캘리브레이션 처리의 설명으로서 제 1 캘리브레이션 처리 모드를 예로서 설명했지만, 제 2 캘리브레이션 처리 모드에도 적용할 수 있다.
또, 표시 장치 (1) 가 집음기 (14) 를 구비하지 않고, 외부의 집음 장치에 의해 취득된 음성 데이터를 무선이나 유선을 통하여 입력하고, 외부의 집음 장치로부터 입력된 음성 데이터를 사용하여 음성 검출부 (208) 가 음성 검출을 해도 된다.
또한, 이상과 같이, 검출 기준 제어부 (204) 가 손가락의 도달 위치 또는 지정 위치를 판정했음에도 불구하고, 사용자가 「네」 라고 발성할 때까지는 공중 이미지를 이동시키지 않고, 사용자가 「네」 라고 발성한 것을 검출하여 공중 이미지를 이동시키도록 하면, 사용자가 「네」 라고 발성할 때까지의 동안에, 공중 이미지의 표시 위치에 대한 조작을 복수회 반복하는 경우가 있을 수 있다. 이와 같은 경우에는, 사용자가 「네」 라고 발성했을 때, 예를 들어, 복수회의 도달 위치 또는 지정 위치의 상가 평균이나 상승 평균 등의 평균적인 값에 기초하여, 또는 복수의 도달 위치 (50) 의 중앙값 (메디안) 에 기초하여, 또는 복수의 도달 위치 또는 지정 위치 중, 마지막 도달 위치 또는 지정 위치에 기초하여 공중 이미지를 이동시킨다.
(제 5 실시형태의 변형예 5)
제 5 실시형태의 표시 장치의 변형예 5 를 이하에 설명한다. 변형예 5 의 표시 장치 (1) 는, 사용자가 공중 이미지를 시인하고 있는 경우에는, 공중 이미지의 이동을 중지하고, 사용자가 공중 이미지로부터 눈을 떼었을 경우에, 공중 이미지의 이동을 실시한다. 이 때문에, 표시 장치 (1) 는, 제 1 실시형태의 변형예 8 과 같이 카메라 등의 촬상 장치를 구비하고, 촬상 장치가 캘리브레이션 처리를 실행 중인 사용자를 촬영하며, 제어부 (20) 가 촬영된 화상 데이터를 해석하고, 이 해석 결과에 기초하여 사용자의 얼굴의 방향, 또는 사용자의 신체의 방향을 판정하여, 사용자가 공중 이미지를 시인하고 있는지의 여부를 판정한다. 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 사용자가 공중 이미지를 시인하고 있지 않을 때, 공중 이미지를 이동시킨다. 캘리브레이션 처리로서 공중 이미지를 이동시키고 있지만, 사용자가 시인 가능한 공중 이미지가 이동되면, 사용자에게 위화감이 생기는 경우가 있다. 그래서, 사용자가 공중 이미지로부터 눈을 떼었을 경우에, 공중 이미지의 이동을 실시함으로써, 공중 이미지의 이동이 사용자에게 시인되지 않아, 사용자의 위화감을 경감시킬 수 있다.
표시 장치 (1) 는, 촬상 장치 대신에, 또는 촬상 장치에 더하여, 사용자의 시선을 검출하는 시선 검출기를 구비하고, 이 시선 검출기의 검출 출력에 기초하여, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 사용자가 공중 이미지를 시인하고 있지 않을 때, 사용자의 시선이 공중 이미지를 향하고 있지 않을 때에 공중 이미지를 이동시킨다. 상기와 같은 공중 이미지의 표시 위치의 변경은, 예를 들어, 도 39 에 나타내는 제 5 실시형태의 변형예 3 의 플로우 차트에 있어서의 스텝 S316 의 사용자에 의한 조작이 종료했는지의 여부의 판정 대신에, 사용자가 공중 이미지를 시인하고 있는지의 여부를 판정하도록 한다. 사용자가 공중 이미지를 시인하고 있는 것으로 판정한 경우에는 스텝 S316 이 긍정으로 판정되어 스텝 S317 로 진행되도록 한다.
또한, 캘리브레이션 처리의 설명으로서 제 1 캘리브레이션 처리 모드를 예로서 설명했지만, 제 2 캘리브레이션 처리 모드에도 적용할 수 있다.
또한, 상기 서술한 시선 검출기 또는 촬상 장치는, 표시 장치 (1) 에 형성되어 있지 않아도 된다. 시선 검출기는, 표시 장치 (1) 의 외부에 설치되어 있고, 시선 검출 결과를 무선 통신 또는 케이블을 통하여 표시 장치 (1) 에 송신해도 된다. 또, 촬상 장치는, 표시 장치 (1) 의 외부에 설치되어 있고, 촬상 데이터를 무선 통신 또는 케이블을 통하여 표시 장치 (1) 에 송신해도 된다.
또한, 상기 서술한 설명에서는, 사용자가 공중 이미지를 시인하고 있는 것으로 판정했을 경우에 공중 이미지의 표시 위치의 변경을 했지만, 반대로, 사용자가 공중 이미지를 시인하고 있는 경우에, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 공중 이미지의 표시 위치를 변경시키는 제어를 실시해도 된다. 이 경우에는, 사용자가 확실하게 공중 이미지를 시인하고 있기 때문에, 어느 정도 공중 이미지가 이동했는지를 사용자는 지각할 수 있기 때문에, 사용자에 대해 조작하는 위치의 변경을 재촉할 수 있다.
또한, 상기 서술한 설명에서는, 사용자가 공중 이미지를 시인하고 있지 않은 경우에, 공중 이미지의 표시 위치를 변경시키는 제어를 실시했지만, 사용자의 생체 정보를 취득하고, 생체 정보의 값에 기초하여 공중 이미지의 표시 위치를 변경시키는 제어를 실시해도 된다. 예를 들어, 사용자의 생체 정보로서 사용자의 맥박수를 취득한다. 사용자의 맥박을 취득하는 방법으로서 예를 들어, 장치를 이용하기 전에 사용자의 맥박수를 취득하기 위한 장치를 사용자에게 장착시킨다. 그리고, 표시 위치 제어부 (220) 및 표시 위치 변경부 (500) 는, 사용자의 맥박수가 커졌을 경우, 공중 이미지의 표시 위치를 변경시키는 제어를 실시해도 된다. 사용자의 맥박수가 커졌을 경우, 사용자는 조작이 잘되지 않아 초조해하고 있는 경우가 있다. 이와 같은 경우에, 공중 이미지의 표시 위치를 변경함으로써, 사용자에게 장치를 쾌적하게 이용하게 할 수 있다.
또한, 이상과 같이, 검출 기준 제어부가 손가락의 도달 위치 또는 지정 위치를 판정했음에도 불구하고, 사용자가 공중 이미지를 시인하고 있을 때에는 공중 이미지를 이동시키지 않고, 사용자가 공중 이미지를 시인하지 않게 된 것을 검출하여 공중 이미지를 이동시키도록 하면, 사용자는 공중 이미지를 시인하지 않게 될 때까지 공중 이미지의 표시 위치에 대한 조작을 복수회 반복하는 경우가 있을 수 있다. 이와 같은 경우에는, 사용자가 공중 이미지를 시인하지 않게 되었을 때, 예를 들어, 복수회의 도달 위치 또는 지정 위치의 상가 평균이나 상승 평균 등의 평균적인 값에 기초하여, 또는 복수의 도달 위치 (50) 의 중앙값 (메디안) 에 기초하여, 또는 복수의 도달 위치 또는 지정 위치 중, 마지막 도달 위치 또는 지정 위치에 기초하여 공중 이미지를 이동시킨다.
(제 5 실시형태의 변형예 6)
제 5 실시형태의 표시 장치의 변형예 6 을 이하에 설명한다. 변형예 6 의 표시 장치 (1) 는, 캘리브레이션 처리에 있어서, 공중 이미지의 이동 속도를 변경할 수 있다. 표시 장치 (1) 는, 공중 이미지를 매우 고속도로 이동시키거나, 또는 공중 이미지를 저속으로 이동시킬 수 있다. 표시 위치 제어부 (220) 와 표시 위치 변경부 (500) 는, 공중 이미지를 제 1 소정값 이상의 매우 고속도로 이동시키거나, 또는 공중 이미지를 제 1 소정값보다 작은 제 2 소정값 이하의 저속도로 이동시킨다. 이와 같이, 공중 이미지를 매우 고속도 또는 저속도로 이동시킴으로써, 사용자는 공중 이미지의 이동을 잘 시인할 수 없게 된다. 또, 공중 이미지를 매우 고속으로 이동시킬지, 저속도로 이동시킬지를 사용자가 선택 스위치 등에 의해 선택할 수 있도록 해도 된다. 표시 위치 제어부 (220) 와 표시 위치 변경부 (500) 가 이와 같은 제어를 실시함으로써, 사용자는 공중 이미지의 표시 위치의 이동을 잘 시인할 수 없게 된다. 그 때문에, 공중 이미지의 이동이 사용자에게 잘 시인되지 않게 되어, 사용자의 위화감을 경감시킬 수 있다. 또, 공중 이미지의 표시 위치를 변경하는 거리가 큰 경우, 공중 이미지의 표시 위치의 변경이 사용자에게 눈에 띄는 경우가 있기 때문에, 변경하는 거리에 기초하여 제 1 소정값과 제 2 소정값을 변경해도 된다. 예를 들어, 공중 이미지의 표시 위치를 소정 거리 이상 이동시키는 경우에는, 공중 이미지의 표시 위치를 소정 거리 이하 이동시키는 경우와 비교하여, 제 1 소정값의 속도를 빠르게 하고, 제 2 소정값의 속도를 느리게 해도 된다.
또한, 상기 서술한 제 5 실시형태나 그 변형예 1 ∼ 6 에서는, 제어부 (20) 와 표시기 (11) 와 조작 검출기 (13) 를 적어도 포함하는 표시 장치 (1) 를 예로 들었지만, 제어부 (20) 만으로 구성된 제어 장치나, 제어부 (20) 와 표시기 (11) 로 구성되는 제어 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 표시 위치 제어부 (220) 를 구비하면 된다. 상기 서술한 제 5 실시형태 또는 변형예 1 ∼ 6 에 기재된 각 효과를 얻기 위해서, 상기 서술한 구성으로부터 필요에 따라 구성을 적절히 추가하면 된다.
-제 6 실시형태-
다음으로 제 6 실시형태의 표시 장치를 도 42 를 참조하여 설명한다. 설명하는 표시 장치로는, 도 35 및 도 36 에 나타낸 제 5 실시형태의 표시 장치와 동일한 구성을 구비한다. 상기 서술한 제 5 실시형태의 표시 장치와의 차이는, 도 42 에 나타낸 바와 같이, 공중 이미지 (30) 를 사이에 두고, 제 1 검출 기준 (40a) 과 제 2 검출 기준 (40b) 이 초기에 설정되어 있는 점이다. 또한, 도 42 에서는, 공중 이미지 (30) 가 제 1 및 제 2 검출 기준 (40a, 40b) 사이의 중간에 위치하도록, 즉 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리가 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리가 동일해지도록 정해져 있다. 그러나, 반드시 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리와, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를 동일하게 설정하지 않아도 되다. 또, 공중 이미지 (30) 에는 아이콘 (30A) 이 표시되어 있다.
공중 이미지 조작 모드에서, 손가락 (F) 을 아이콘 (30A) 쪽으로 하강 이동시키면, 조작 검출기 (13) 가 손가락 (F) 의 하강 이동을 검출한다. 손가락 (F) 이 제 1 검출 기준 (40a) 에 이르면, 검출 기준 제어부 (204) 는 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락 (F) 이 제 1 검출 기준 (40a) 에 이른 것을 판정하고, 이 판정에 따라, 표시 제어부 (202) 가 아이콘 (30A) 의 표시 양태를 변화시킨다. 이 표시 양태의 변화는, 표시의 고휘도화나 점멸 표시 등의 하이라이트 표시여도 되고, 표시의 색을 바꾸어도 된다. 이와 같은 아이콘 (30A) 의 표시 양태의 변화에 의해, 사용자는 손가락이 아이콘 (30A) 을 선택하고 있는 것을 확인할 수 있다.
사용자가 손가락 (F) 을 더욱 강하 이동시켜, 제 2 검출 기준 (40b) 에 이르면, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락 (F) 이 제 2 검출 기준 (40b) 에 이른 것을 판정하고, 이 판정에 따라, 표시 제어부 (202) 는 공중 이미지 (30) 의 표시 내용을 전환한다. 즉, 제 2 검출 기준 (40b) 은, 상기 서술한 제 5 실시형태에 기재된 검출 기준 (40) 과 동일한 기능을 한다. 또한, 손가락 (F) 이 제 2 검출 기준 (40b) 에 이른 것을 판정하고, 이 판정에 따라, 표시 제어부 (202) 는 공중 이미지 (30) 의 표시 내용을 전환하는 예로 설명을 했지만 이것에 한정되지 않는다. 예를 들어, 손가락 (F) 이 제 2 검출 기준 (40b) 에 이른 것을 판정하고, 이 판정에 따라, 표시 제어부 (202) 는 공중 이미지 (30) 로서 동화상을 표시시켜, 동화상의 재생을 실시하는 제어를 실시해도 된다. 또, 손가락 (F) 이 제 2 검출 기준 (40b) 에 이른 것을 판정하고, 이 판정에 따라, 표시 제어부 (202) 는 공중 이미지 (30) 를 스크롤 제어해도 된다.
다음에, 제 2 캘리브레이션 처리 모드를 참고로 하여 제 6 실시형태의 캘리브레이션을 설명한다. 도 43(a) 에 있어서, 제 2 캘리브레이션 처리에서, 사용자는 손가락 (F) 을 공중 이미지 (30) 의 아이콘 (30A) 쪽으로 하강 이동시켜, 아이콘 (30A) 에 대한 선택 조작을 했다고 느끼면, 즉 손가락 (F) 이 제 1 검출 기준 (40a) 에 이르고 있다고 사용자가 판단한 경우, 사용자의 손가락 (F) 의 하강이 정지하는 등이 발생한다. 도 36 에 나타낸 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 사용자의 손가락 (F) 의 하강이 정지 등으로부터 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 를 판정한다. 도달 위치 (50) 또는 지정 위치 (50A) 는, 제 1 검출 기준 (40a) 보다 거리 (ΔH) 만큼 상방에 위치하고 있다.
도달 위치 (50) 또는 지정 위치 (50A) 가 제 1 검출 기준 (40a) 보다 거리 (ΔH) 만큼 상방의 위치에 위치하고 있으므로, 표시 위치 제어부 (220) 는, 공중 이미지 (30) 의 표시 위치를 거리 (ΔH) 만큼 하방의 위치로, 즉 점선으로 나타낸 위치 (30) 로 이동시킨다.
이 공중 이미지 (30) 의 하방 이동에 의해, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 위치 관계가 캘리브레이션 처리된다. 이 캘리브레이션 처리에 의해 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리가, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 비해 작아졌으므로, 검출 기준 제어부 (204) 는, 도 43(b) 에 나타낸 바와 같이, 제 2 검출 기준 (40b) 을 점선으로 나타낸 위치 (40b) 까지 하방향으로 이동시켜, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 동일하게 한다. 공중 이미지 (30) 의 하방 이동에 의해, 공중 이미지 (30) 의 위치로부터 제 2 검출 기준 (40b) 의 위치까지의 거리가 짧아진다. 그 때문에, 사용자는 공중 이미지 (30) 에 접했다고 생각한 후, 바로 제 2 검출 기준 (40b) 에 이르러 버리기 때문에, 조작하기 어렵게 느끼는 경우가 있다. 이와 같이, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를 적절한 거리로 함으로써, 사용자는 조작하기 쉬워진다. 또, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 동일하게 하면, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 기초하여, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를 사용자는 간단하게 파악할 수 있다.
다음에, 도 44(a) 에 나타낸 바와 같이 도달 위치 (50) 또는 지정 위치 (50A) 가 제 1 검출 기준 (40a) 보다 거리 (-ΔH) 만큼 하방의 위치에 위치하는 경우에는, 표시 위치 제어부 (220) 와 표시 위치 변경부 (500) 는, 도 44(b) 에 나타낸 바와 같이 공중 이미지 (30) 의 표시 위치를 거리 (ΔH) 만큼 상방으로 이동시킨다. 이 공중 이미지 (30) 의 이동에 수반하여, 검출 기준 제어부 (204) 는, 도 44(c) 에 나타낸 바와 같이 제 2 검출 기준 (40b) 을 점선으로 나타낸 위치 (40b) 까지 상방 이동시킨다. 이로써, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 동일하게 한다. 공중 이미지 (30) 의 상방 이동에 의해, 공중 이미지 (30) 의 위치로부터 제 2 검출 기준 (40b) 의 위치까지의 거리가 길어진다. 그 때문에, 사용자는 공중 이미지 (30) 에 접했다고 생각한 후, 제 2 검출 기준 (40b) 에 이를 때까지 거리가 있어, 조작하기 어렵게 느끼는 경우가 있다. 이와 같이, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를 적절한 거리로 함으로써, 사용자는 조작하기 쉬워진다. 또, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 동일하게 하고 있기 때문에, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 기초하여, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리를 사용자는 간단하게 파악할 수 있다.
제 2 캘리브레이션 처리 모드의 설명은 이상과 같지만, 제 1 캘리브레이션 처리 모드도 동일하다.
(제 6 실시형태의 변형예 1)
상기 서술한 제 6 실시형태의 표시 장치는, 제 1 검출 기준 (40a) 과 공중 이미지 (30) 의 위치 관계를 공중 이미지 (30) 의 이동에 의해 변경하고, 이 공중 이미지 (30) 의 이동에 수반하여, 제 2 검출 기준 (40b) 을, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 거리가 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 거리에 거의 동일해지도록 이동시키는 것이었다. 다음에, 본 변형예 1 을 설명한다. 본 변형예 1 에서는, 제 1 검출 기준 (40a) 과 공중 이미지 (30) 의 위치 관계는, 제 6 실시형태의 표시 장치와 동일하게 공중 이미지 (30) 의 이동에 의해 변경되지만, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 위치 관계는, 제 2 검출 기준에 대한 손가락의 도달 위치 또는 지정 위치에 기초하는 제 2 검출 기준 (40b) 의 이동에 의해 변경되는 것이다.
본 변형예 1 의 표시 장치는, 제 6 실시형태의 표시 장치와 동일하게 도 42 에 나타낸 공중 이미지 (30) 를 표시하고, 제 1 및 제 2 검출 기준 (40a, 40b) 을 초기 설정한다. 캘리브레이션 처리를 도 45(a), (b), (c) 를 사용하여 설명한다. 또한, 도 45(a) 는 도 39(a) 와 동일하다.
도 45(a) 에 있어서, 예를 들어, 사용자는 손가락 (F) 을 공중 이미지 (30) 의 제 1 아이콘 (30A) 쪽으로 하강 이동시켜, 아이콘 (30A) 에 대한 선택 조작을 했다고 느끼면, 즉 손가락 (F) 이 제 1 검출 기준 (40a) 에 이르고 있다고 사용자가 판단한 경우, 사용자의 손가락 (F) 의 하강이 정지하는 등이 발생한다. 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 를 판정한다. 도달 위치 (50) 또는 지정 위치 (50A) 가 제 1 검출 기준 (40a) 보다 거리 (ΔH) 만큼 상방에 위치하고 있으므로, 표시 위치 제어부 (220) 는, 공중 이미지 (30) 의 표시 위치를, 예를 들어 대략 거리 (ΔH) 만큼 하방의 위치로, 즉 점선으로 나타낸 위치 (30) 로 이동시킨다. 이 공중 이미지 (30) 의 하방 이동에 의해, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 위치 관계가 변경, 즉 캘리브레이션 처리된다.
사용자는 캘리브레이션 처리를 실시한 후에 손가락 (F) 을 더욱 하강 이동시켜, 아이콘 (30A) 에 대한 실행 조작을 했다고 느끼면, 즉 손가락 (F) 이 제 2 검출 기준 (40b) 에 이르고 있다고 사용자가 판단했을 경우, 사용자의 손가락 (F) 의 하강이 정지하는 등이 발생한다. 도 45(b) 에 나타낸 바와 같이, 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 제 2 검출 기준 (40b) 에 대한 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 를 판정한다. 이 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 가 제 2 검출 기준 (40b) 보다 거리 (ΔH) 만큼 상방에 위치하고 있으므로, 도 36 의 검출 기준 제어부 (204) 는, 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 에 기초하여, 제 2 검출 기준 (40b) 을 상방향으로, 예를 들어 대략 거리 (ΔH) 만큼 이동시킨다. 이렇게 하여, 제 2 검출 기준 (40b) 은, 도 45(c) 에 나타낸 바와 같이, 상방향으로 점선 위치 (40a) 까지 이동된다. 이 제 2 검출 기준 (40b) 의 상방향 이동에 의해, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 위치 관계가 변경, 즉 캘리브레이션된다.
또한, 제 1 검출 기준 (40a) 에 대한 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 가, 제 1 검출 기준 (40a) 보다 하방의 위치인 경우에는, 도 44(a), (b) 에 있어서 설명한 제 6 실시형태의 표시 장치의 경우와 동일하게, 표시 위치 제어부 (220) 는, 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 에 기초하여, 공중 이미지 (30) 를 상방향으로 이동시킨다. 이 공중 이미지 (30) 의 상방 이동에 의해, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 위치 관계가 변경, 즉 캘리브레이션 처리된다.
또, 제 2 검출 기준 (40b) 에 대한 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 가, 제 2 검출 기준 (40b) 보다 하방의 위치인 경우에는, 검출 기준 제어부 (204) 는 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 에 기초하여, 제 2 검출 기준 (40b) 을 하방향으로 이동시킨다. 이 제 2 검출 기준 (40b) 의 하방향 이동에 의해, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 위치 관계가 변경, 캘리브레이션된다. 이와 같이, 공중 이미지 (30) 의 이동에 의해 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 위치 관계를 변경한 후, 제 2 검출 기준 (40b) 의 이동에 의해 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 위치 관계를 변경함으로써, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 위치 관계, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 위치 관계의 양방을 모두 적절한 위치 관계로 변경할 수 있다.
또한, 상기 서술한 변형예 1 의 제어와는 달리, 제 1 검출 기준 (40a) 에 대한 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 에 기초하여, 공중 이미지 (30) 를 이동시켜, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 위치 관계를 변경한 후, 제 2 검출 기준 (40b) 에 대한 손가락의 도달 위치 (50) 또는 지정 위치 (50A) 에 기초하여, 더욱 공중 이미지 (30) 를 이동시켜, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 위치 관계를 변경해도 된다. 이와 같이, 공중 이미지 (30) 와 제 1 검출 기준 (40a) 의 위치 관계, 공중 이미지 (30) 와 제 2 검출 기준 (40b) 의 위치 관계를 공중 이미지 (30) 만의 이동에 의해 결정할 수 있기 때문에, 간단한 제어로 위치 관계의 변경을 할 수 있다.
(제 6 실시형태의 변형예 2)
다음에, 제 6 실시형태의 표시 장치의 변형예 2 를 설명한다. 상기 서술한 제 6 실시형태 및 변형예 1 과의 차이로는, 공중 이미지 (30) 를 이동시키는 방법이 상이하다. 즉, 사용자의 손가락의 하강 이동에 맞춰, 공중 이미지 (30) 의 표시 위치를 이동시킨다.
변형예 2 는, 공중 이미지 조작 모드에 있어서 사용자의 손가락이 아이콘 (30A) 쪽으로 하강 이동되어, 손가락이 제 1 검출 기준 (40a) 에 이르고, 이로써, 아이콘 (30A) 의 표시 양태가 변화한 후에, 손가락이 더욱 하강 이동되어, 공중 이미지 (30) 의 표시 위치에 이르면, 표시 위치 제어부 (220) 는, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락이 공중 이미지 (30) 의 표시 위치에 이른 것을 판정하고, 손가락의 하강 이동에 맞춰 공중 이미지 (30) 의 표시 위치를 이동시킨다. 표시 위치 제어부 (220) 는, 공중 이미지의 표시 위치와 하강 이동되는 손가락의 위치가 소정의 범위에 포함되도록 공중 이미지 (30) 의 표시 위치를 제어한다. 이와 같이 제어함으로써, 하강하는 손가락에 추종하듯이 공중 이미지 (30) 의 표시 위치를 하강 이동시킬 수 있다. 또, 더욱 하강하는 손가락보다 항상 하방에 위치하도록 공중 이미지 (30) 의 표시 위치를 설정하고, 하강하는 손가락에 맞춰 공중 이미지 (30) 의 표시 위치를 하강 이동시키도록, 표시 위치 제어부 (220) 가 공중 이미지 (30) 의 표시 위치를 제어함으로써, 사용자의 손가락이 공중 이미지 (30) 를 관통하는 일이 없어진다.
손가락의 하강 이동 및 그에 추종하는 공중 이미지 (30) 의 하강 이동에 의해, 손가락과 공중 이미지 (30) 가 제 2 검출 기준 (40b) 에 이르면, 검출 기준 제어부 (204) 가 손가락이 제 2 검출 기준 (40b) 에 이른 것을 판정하고, 표시 제어부 (202) 가 재생 화상의 표시를 실시한다.
이와 같이, 손가락이 공중 이미지 (30) 에 도달하면, 공중 이미지 (30) 가 손가락의 하강 이동에 추종하여 하강 이동되므로, 사용자는 손가락의 하강 이동이 공중 이미지 (30) 에 의해 제 2 검출 기준 (40b) 까지 안내되는 것처럼 느껴져, 제 2 검출 기준 (40b) 에 확실하게 이를 수 있다.
또한, 상기 서술한 제 6 실시형태나 변형예 1, 변형예 2 에서는, 제어부 (20) 와 표시기 (11) 와 조작 검출기 (13) 를 적어도 포함하는 표시 장치 (1) 를 예로 설명했지만, 제어부 (20) 만으로 구성된 제어 장치나, 제어부 (20) 와 표시기 (11) 로 구성되는 제어 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 표시 위치 제어부 (220) 와 검출 기준 제어부 (204) 를 구비하면 된다. 상기 서술한 제 6 실시형태 또는 변형예 1 또는 변형예 2 에 기재된 각 효과를 얻기 위해서, 상기 서술한 구성으로부터 필요에 따라 구성을 적절히 추가하면 된다.
-제 7 실시형태-
제 7 실시형태의 표시 장치에 대해 설명한다. 본 실시형태에 관련된 표시 장치는, 도 29, 도 31, 도 32 에 나타내는 제 4 실시형태의 표시 장치 (100) 나, 도 33, 도 34 에 나타내는 제 4 실시형태의 변형예 1 의 표시 장치 (100) 와 동일한 구성을 가지고 있다. 제 7 실시형태의 표시 장치 (100) 에 있어서도, 제 5 실시형태나 그 변형예 1 ∼ 4 나 제 6 실시형태나 그 변형예 1 의 표시 장치 (1) 와 동일하게, 공중 이미지의 표시 위치를 변경 가능하게 구성된다.
도 46 에 나타내는 바와 같이, 본 실시형태에 관련된 표시 장치 (100) 는, 도 29 에 나타내는 제 4 실시형태의 표시 장치 (100) 의 구성에 더하여, 표시 위치 변경부 (500) 와 표시 위치 제어부 (220) 를 구비한다. 검출 기준 제어부 (204) 는, 제 5 실시형태나 그 변형예 1 ∼ 4 나 제 6 실시형태나 그 변형예 1 의 경우와 동일하게 하여, 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락의 도달 위치 (50) 를 판정한다. 표시 위치 제어부 (206) 는, 손가락의 도달 위치 (50) 에 기초하여, 표시 위치 변경부 (500) 에 공중 이미지 (300) 의 위치를 결상 광학계 (12) 의 광축 방향으로 이동시킨다. 이 경우, 표시 위치 변경부 (500) 는, 표시기 (111) 를 X 방향으로 이동시킴으로써, 공중 이미지 (30) 를 Z 방향으로 이동시킨다. 즉 표시기 (111) 를 X 방향 + 측으로 이동시킴으로써 공중 이미지 (30) 를 Z 방향 + 측으로 이동시키고, 표시기 (111) 를 X 방향 - 측으로 이동시킴으로써 공중 이미지 (30) 를 Z 방향 - 측으로 이동시킬 수 있다. 물론, 표시 위치 변경부 (500) 는, 표시기 (111) 를 이동시키지 않고, 결상 광학계 (112) 를 평행 이동시켜도 되고, 결상 광학계 (112) 와 표시기 (111) 를 함께 이동시켜도 된다.
상기 설명의 각 실시형태 및 그들의 변형예에 있어서는, 검출 기준 (40) 의 위치를 이동시키고, 또 공중 이미지 (30) 의 표시 위치를 이동시킴으로써, 검출 기준 (40) 과 공중 이미지 (30) (혹은 아이콘 (30A) 등) 의 상대적 위치 관계를 조정하도록 캘리브레이션 처리를 실시하였다. 그러나, 검출 기준 (40) 과 공중 이미지 (30) 의 상대적 위치 관계를 조정하기 위해서는, 검출 기준 (40) 과 공중 이미지 (30) 의 양방을 이동시켜도 된다.
또한, 상기 서술한 제 7 실시형태에서는, 제어부 (20) 와 표시기 (111) 와 조작 검출기 (113) 를 적어도 포함하는 표시 장치 (100) 를 예로 설명했지만, 제어부 (20) 만으로 구성된 제어 장치나, 제어부 (20) 와 표시기 (111) 로 구성되는 제어 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 표시 위치 제어부 (220) 를 구비하면 된다. 상기 서술한 제 7 실시형태에 기재된 각 효과를 얻기 위해서, 상기 서술한 구성으로부터 필요에 따라 구성을 적절히 추가하면 된다.
-제 8 실시형태-
이상의 실시형태 및 그 변형예는, 캘리브레이션 처리에 있어서의 손가락 끝의 도달 위치나 지정 위치에 기초하여 검출 기준 및/또는 공중 이미지를 제어 또는 변경하여, 검출 기준과 공중 이미지의 표시 위치의 위치 관계를 변경하는 것이었다. 다음에, 캘리브레이션 처리에 있어서의 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우에 검출 기준을 변경하는 제 8 실시형태를 설명한다.
본 실시형태의 표시 장치 (1) 는, 도 1, 도 2 에 나타내는 제 1 실시형태의 표시 장치 (1) 와 동일한 구성을 구비한다. 제 8 실시형태의 표시 장치 (1) 는, 공중 이미지 조작 모드에 있어서, 표시 제어부 (202) 와 표시기 (11) 와 결상 광학계 (12) 가 도 47(a) 및 (b) 에 나타내는 공중 이미지 조작 모드용의 공중 이미지 (30) 를 공중에 표시한다. 도 47(a) 에 있어서, 공중 이미지 (30) 는, 예를 들어 2 개의 사각형상의 아이콘 (30D, 30E) 을 포함한다.
검출 기준 제어부 (204) 는, 도 47(b) 및 도 47(c) 에 나타낸 바와 같이, 공중 이미지 (30) 에 포함되는 2 개의 아이콘 (30D, 30E) 의 각각에 대해, 직방체 형상의 검출 기준 (42) 을 초기 설정한다. 아이콘 (30D) 에 대응하는 검출 기준 (42) 의 횡단면의 크기는, 도 47 에 명시한 바와 같이, 아이콘 (30D) 의 크기에 대응한다. 상하 방향, 즉 Z 방향의 높이는 D1 이다. 즉, 직방체상의 검출 기준 (42) 은, 횡단면의 한 변의 길이 (W1) 가 아이콘 (30D) 의 한 변의 길이 (W1) 에 동일하고, 횡단면의 다른 한 변의 길이 (W2) 가 아이콘 (30D) 의 다른 한 변의 길이 (W2) 에 동일하게 정해져 있다.
직방체상의 검출 기준 (42) 에 대해, 그 상면을 상부 기준면 (42a) 으로 하고, 하면을 하부 기준면 (42b) 으로 하고, 길이 (W2 와 D1) 로 생성되는 측면을 측부 기준면 (42c) 으로 하고, 길이 (W1 와 D1) 로 생성되는 측면을 측부 기준면 (42d) 이라고 칭한다. 검출 기준 (42) 의 외부를 검출 기준 외 (41) 라고 칭한다.
또, 본 실시형태에서는, 검출 기준 (42) 을 직방체 형상으로서 설명하지만, 이것에 한정되는 것은 아니다. 구상, 원주상이나 각주상 등이어도 되고, 그 이외의 형상이어도 된다.
공중 이미지 (30) 는, 검출 기준 (42) 의 상부 기준면 (42a) 과 하부 기준면 (42b) 의 중간에 위치하도록, 즉 공중 이미지 (30) 와 상부 기준면 (42a) 의 거리와, 공중 이미지 (30) 와 하부 기준면 (42b) 의 거리가 동일해지도록 정해져 있다. 또한, 공중 이미지 (30) 는 상부 기준면 (42a) 과 하부 기준면 (42b) 의 중간에 위치하는 것에 한정되지 않고, 공중 이미지 (30) 와 상부 기준면 (42a) 의 거리가 공중 이미지 (30) 와 하부 기준면 (42b) 의 거리가 동일하지 않은 것이나, 공중 이미지 (30) 가 상부 기준면 (42a) 보다 상방에 위치하는 것이나, 공중 이미지 (30) 가 하부 기준면 (42b) 의 하방에 위치하는 것이어도 된다. 요컨대, Z 축 방향에서 봐서, 공중 이미지 (30) (아이콘 (30D, 30E)) 와 검출 기준 (42) 의 기준면 (42a, 42b) 이 중첩된 상태이면 된다.
또한, 아이콘 (30E) 에 대응하는 검출 기준 (42) 도, 아이콘 (30D) 에 대응하는 검출 기준 (42) 과 동일하게, 횡단면이 아이콘 (30E) 의 형상에 대응하여 소정의 높이를 갖는 직방체 형상인 것으로 한다.
공중 이미지 조작 모드에서는, 사용자가 검출 기준 (42) 에 대해, 소정의 비접촉 조작을 실시함으로써 표시 장치 (1) 는 아이콘 (30D) 이나 아이콘 (30E) 에 할당된 기능을 실행한다. 도 48(a) ∼ (c) 에 본 실시형태에 있어서의 소정의 비접촉 조작 (600A ∼ 600C) (총칭하는 경우에는 소정의 비접촉 조작 (600) 이라고 칭한다) 의 예를 나타낸다. 도 48 에서는, 소정의 비접촉 조작 (600A ∼ 600C) 을 손가락 (F) 이 이동할 때의 궤적으로서 화살표를 사용하여 모식적으로 나타낸다. 도 48(a) 에 나타내는 소정의 비접촉 조작 (600A) 은, 사용자가 손가락 (F) 을 거리 (L1) 만큼 하강 이동시킨 후에 U 턴하여, 거리 (L1) 만큼 상방으로 이동시키는 조작이다. 즉, 이 소정의 비접촉 조작 (600A) 은, 하강 이동 거리와 상승 이동 거리가 동일한 U 턴 궤적이다. 또, 소정의 비접촉 조작 (600A) 은, U 턴, 즉 U 자의 궤적이 아니라, V 자의 궤적을 그리는 것이어도 되고, 또 손가락 (F) 이 거리 (L1) 만큼 하강 이동된 후에 그 하강 궤적을 따라 거리 (L1) 만큼 상방으로 이동되는 조작이어도 된다. 나아가서는, 소정의 비접촉 조작 (600A) 은, 하강 이동 거리 (L1) 와 상승 이동 거리 (L1) 가 동일하지 않고 상이해도 된다. 본 실시형태에 있어서의 소정의 비접촉 조작 (600A) 이란, 손가락의 하강 이동에 계속해서 손가락의 상승 이동이 이루어지는 조작이면 된다.
도 48(b) 의 소정의 비접촉 조작 (600B) 은, 사용자가 손가락 (F) 을 거리 (L1) 만큼 하강 이동시킨 후, 소정 시간 손가락 (F) 을 정지시키는 것이다. 도 48(c) 의 소정의 비접촉 조작 (600C) 은, 사용자가 손가락 (F) 을 거리 (L1) 만큼 하강 이동시킨 후, 손가락 (F) 을 횡방향으로 적어도 소정 거리 (L2) 이동시키는 조작이다.
소정의 비접촉 조작 (600) 은, 상기 서술한 여러 가지 손가락 (F) 의 이동 궤적으로 나타내는 것에 한정되지 않고, 그 이동 궤적 (손가락 (F) 이나 손의 이동 궤적) 이 조작 검출기 (13) 로 검출할 수 있는 것이면, 그 밖의 이동 궤적을 그리는 것이어도 된다.
공중 이미지 조작 모드에서는, 조작 검출기 (13) 에 의해 소정의 비접촉 조작 (600) 이 검출 기준에서 검출되면, 이 사용자의 손가락 (F) 의 이동을 검출한 조작 검출기 (13) 의 검출 출력에 기초하여, 검출 기준 제어부 (204) 는, 손가락 (F) 이 아이콘의 표시 위치를 조작한 것으로 판정한다.
도 49 는, 검출 기준 제어부 (204) 에 의해, 전술한 소정의 비접촉 조작 (600) 중 비접촉 조작 (600A) 이 검출 기준 (42) 에서 실시된 것으로 판정되는 경우를 예시한다. 소정의 비접촉 조작 (600A1) 은, 손가락 (F) 이 상부 기준면 (42a) 으로부터 하방으로 거리 (L1) 이동하고, 계속해서 U 턴하여 상방으로 거리 (L1) 이동하여, 손가락 (F) 이 상부 기준면 (42a) 에 이른 경우를 나타낸다. 소정의 비접촉 조작 (600A2) 은, 손가락 (F) 이 상부 기준면 (42a) 과 하부 기준면 (42b) 의 중간에서 손가락 (F) 이 하방으로 거리 (L1) 이동하고, 계속해서 U 턴하여 상방으로 거리 (L1) 이동한 경우를 나타낸다. 소정의 비접촉 처리 (600A3) 는 손가락 (F) 이 하방으로 거리 (L1) 이동하고, 하부 기준면 (42b) 에 있어서 U 턴하여 상방으로 거리 (L1) 이동한 경우를 나타낸다.
이상과 같이, 검출 기준 제어부 (204) 는, 도 49 에 나타낸 바와 같이, 소정의 비접촉 조작 (600A) 의 거리 (L1) 의 하강 이동과, U 턴과, 거리 (L1) 의 상승 이동 모두가 검출 기준 (42) 내에서 실시된 경우에, 소정의 비접촉 조작 (600A) 이 검출 기준 (42) 에서 실시된 것으로 판정한다. 즉, 검출 기준 제어부 (204) 는, 소정의 비접촉 조작 (600A) 을 검출 기준 (42) 에서 검출한다.
이상에서는, 소정의 비접촉 조작 (600A) 을 예로 하여, 검출 기준 제어부 (204) 가, 소정의 비접촉 조작 (600) 이 검출 기준 (42) 에서 실시되었는지의 여부를 판정하는 방법을 설명하였다. 다른 소정의 비접촉 조작 (600B, 600C) 등에 대해서도 동일하다. 검출 기준 제어부 (204) 는, 소정의 비접촉 조작 (600) 의 전체가 검출 기준 (42) 에서 실시된 경우에, 소정의 비접촉 조작 (600) 이 검출 기준 (42) 에서 실시된 것으로 판정한다. 소정의 비접촉 조작 (600) 의 일부라도 검출 기준 외 (41) 에서 실시된 경우에는, 소정의 비접촉 조작 (600) 이 검출 기준 (42) 에서 실시된 것으로 판정하지 않는다. 소정의 비접촉 조작 (600) 이 상하 방향으로 거리 (L1) 의 이동을 수반하는 조작인 경우, 검출 기준 (42) 의 폭 (D1), 즉 상부 기준면 (42a) 과 하부 기준면 (42b) 의 간격 (Z 방향의 길이) 은, 적어도 거리 (L1) 이상 필요하고, 예를 들어 거리 (L1) 의 1.5 배 ∼ 3 배 정도로 정해진다.
또한, 도 49 에 있어서 검출 기준 외 (41) 란, 검출 기준 (42) 의 외측의 외부 공간이다. 상세히 서술하면, 도 47(c) 에 있어서, 검출 기준 (42) 의 상부 기준면 (42a) 과, 하부 기준면 (42b) 과, 측부 기준면 (42c) 과, 측부 기준면 (42d) 으로 둘러싸인 공간 이외의 외측 공간이다.
다음에, 소정의 비접촉 조작 (600) 이 검출 기준 외 (41) 에서 검출되는 경우를 설명한다. 소정의 비접촉 조작 (600) 이 검출 기준 외 (41) 에서 검출되는 경우란, 소정의 비접촉 조작 (600) 의 전체가 검출 기준 외 (41) 에서 검출되는 경우이다.
이후, 본 실시형태 및 변형예의 설명에 있어서는, 대표적으로 소정의 비접촉 조작 (600A) 을 사용하여 설명하지만, 다른 비접촉 조작 (600B, 600C) 등에 있어서도 동등한 기술이 적용되는 것으로 한다.
도 50 은, 소정의 비접촉 조작 (600A) 의 전체가 검출 기준 외 (41) 에서 검출되는 경우의 예를 나타낸 것이다. 도 50(a) 에 있어서, 손가락 (F) 에 의한 소정의 비접촉 조작 (600A) 의 전체가 검출 기준 (42) 의 상부 기준면 (42a) 의 상방의 위치에서 실시되고 있다. 이 경우에는, 소정의 비접촉 조작 (600A) 의 전체가 조작 검출기 (13) 와 검출 기준 제어부 (204) 에 의해, 검출 기준 외 (41) 에서 검출된다.
도 50(b) 는, 손가락 (F) 에 의한 소정의 비접촉 조작 (600Aa) 의 전체가 검출 기준 (42) 의 하부 기준면 (42b) 의 하방의 위치에서 실시되고, 또, 손가락 (F) 에 의한 소정의 비접촉 조작 (600Ab) 의 전체가 검출 기준 (42) 의 측부 기준면 (42c) 보다 외측의 위치에서 실시되고 있다. 이러한 경우에도, 소정의 비접촉 조작 (600Aa) 의 전체, 소정의 비접촉 조작 (600Ab) 의 전체가 조작 검출기 (13) 와 검출 기준 제어부 (204) 에 의해, 각각 검출 기준 외 (41) 에서 검출된다. 조작 검출기 (13) 와 검출 기준 제어부 (204) 에 의해, 검출 기준 외 (41) 에서 소정의 비접촉 조작 (600) 을 검출하는 방법을 설명한다. 먼저, 조작 검출기 (13) 가 손가락 (F) 의 이동을 축차 검출한다. 다음에, 검출 기준 제어부 (204) 는 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락 (F) 의 이동 궤적이 소정의 비접촉 조작 (600) 에 대응하는지의 여부와, 손가락 (F) 의 이동 궤적의 위치 (검출 기준 (42) 또는 검출 기준 외 (41) 또는 검출 기준 (42) 과 검출 기준 외 (41) 의 양방) 를 판정한다. 이 판정 결과에 기초하여, 검출 기준 외 (41) 에서 소정의 비접촉 조작 (600) 을 검출할 수 있다.
다음에, 소정의 비접촉 조작 (600) 이 검출 기준 외 (41) 에서 검출되는 경우에 있어서의 캘리브레이션 처리를 도 51, 도 52 및 도 53 을 참조하여 설명한다. 도 51 은, 소정의 비접촉 조작 (600A) 이 검출 기준 외 (41) 로서, 검출 기준 (42) 의 상부 기준면 (42a) 보다 상방의 위치에서 검출되는 경우이다. 또한, 이하의 캘리브레이션 처리는, 공중 이미지 조작용의 공중 이미지 (30) 를 사용하여 실시하지만, 도 4 등에 나타낸 캘리브레이션 처리용의 공중 이미지 (300) 를 사용해도 된다.
도 51(a) 에 있어서, 사용자가 공중 이미지 (30) 의 아이콘 (30D) 의 표시 위치를 조작하기 위해서, 손가락 (F) 을 하강 이동시켜, 그 손가락 (F) 이 조작 검출기 (13) 의 검출 범위 (13A) 의 상한 (13a) 에 이르면, 조작 검출기 (13) 가 손가락의 하강 이동을 축차 검출하고, 그 손가락의 이동에 수반하는 검출 출력을 순차 기억부 (205) 에 기억한다. 검출 기준 제어부 (204) 는, 기억부 (205) 에 기억된 조작 검출기 (13) 의 검출 출력에 기초하여, 손가락 (F) 의 이동 궤적이 소정의 비접촉 조작 (600A) 에 대응하는지의 여부를 판정함과 함께, 그 손가락 (F) 의 이동 궤적 모두가 검출 기준 (42) 에 존재하는지의 여부를 판정한다.
검출 기준 제어부 (204) 가 소정의 비접촉 조작 (600A) 이 실시된 것을 판정하고, 또한 소정의 비접촉 조작 모두가 검출 기준 외 (41) 에서 실시된 것으로 판정하면, 검출 기준 제어부 (204) 는, 기억부 (205) 에 기억된 조작 검출기 (13) 로부터의 검출 출력에 기초하여, 소정의 비접촉 조작 (600A) 의 조작 개시 위치와 상부 기준면 (42a) 의 간격 (ΔH10) 을 산출한다. 이 간격 (ΔH10) 은, 상기 서술한 바와 같이, 소정의 비접촉 조작 (600A) 의 조작 개시 위치와 상부 기준면 (42a) 의 위치로부터 산출할 수 있지만, 이하의 방법에 의해서도 산출할 수 있다. 즉, 소정의 비접촉 조작 (600A) 의 가장 낮은 위치, 즉 소정의 비접촉 조작 (600A) 의 도달 위치를 기억부 (205) 에 기억된 조작 검출기 (13) 로부터의 검출 출력에 기초하여 구하고, 이 소정의 비접촉 조작 (600A) 의 도달 위치와 상부 기준면 (42a) 의 위치의 간격을 산출하고, 이 산출된 간격에 소정의 비접촉 조작 (600A) 의 거리 (L1) 를 가산하는 것에 의해서도, 간격 (ΔH10) 을 산출할 수 있다.
간격 (ΔH10) 이 산출되면, 검출 기준 제어부 (204) 는, 도 51(b) 에 나타내는 바와 같이 거리 (ΔH10) 에 기초하여, 검출 기준 (42) 의 전체를 도면 중 상방으로 이동시킨다. 이동된 검출 기준 (42) 을 일점 쇄선으로 나타낸다. 검출 기준 (42) 의 상방으로의 이동량은, 도 51(b) 에 나타낸 바와 같이 거리 (ΔH10) 와 대략 동일하게 해도 되고, 거리 (ΔH10) 보다 크게 해도 되고 작게 해도 된다. 이와 같이, 사용자에 의한 소정의 비접촉 조작이 검출 기준 외 (41) 로서, 검출 기준 (42) 보다 상방의 위치에서 검출된 경우에는, 검출 기준 (42) 의 전체를, 그 소정의 비접촉 조작이 이루어진 위치에 가까워지도록 상방향으로 이동시켜, 검출 기준 (42) 을 변경한다. 그 결과, 사용자의 조작이 검출 기준 (42) 에 도달하고 있지 않기 때문에 조작이 듣지 않는 경우, 그 사용자의 조작 위치에 맞춰 검출 기준 (42) 이 변경되기 때문에, 사용자의 조작상의 위화감을 완화시킬 수 있다.
도 52 는, 소정의 비접촉 조작 (600A) 이 검출 기준 외 (41) 로서, 검출 기준 (42) 의 하부 기준면 (42b) 보다 하방의 위치에서 검출되는 경우의 캘리브레이션 처리를 설명하는 도면이다. 도 52(a) 에 있어서, 검출 기준 제어부 (204) 가, 기억부 (205) 에 기억된 조작 검출기 (13) 의 검출 출력에 기초하여 소정의 비접촉 조작 (600A) 이 실시된 것을 판정하고, 또한 그 소정의 비접촉 조작이 검출 기준 외에서 실시된 것으로 판정하면, 검출 기준 제어부 (204) 는, 소정의 비접촉 조작 (600A) 의 이동 궤적의 가장 낮은 위치, 즉 소정의 비접촉 조작 (600A) 의 도달 위치와 검출 기준 (42) 의 하부 기준면 (42b) 의 간격 (ΔH10) 을 산출한다. 이 간격 (ΔH10) 이 산출되면, 검출 기준 제어부 (204) 는, 도 52(b) 에 나타내는 바와 같이 거리 (ΔH10) 에 기초하여, 검출 기준 (42) 의 전체를 도면 중 하방으로 이동시킨다. 이동된 검출 기준 (42) 을 일점 쇄선으로 나타낸다. 검출 기준 (42) 의 하방으로의 이동량은, 도 52(b) 에 나타낸 바와 같이 거리 (ΔH10) 와 대략 동일하게 해도 되고, 거리 (ΔH10) 보다 크게 해도 되고 작게 해도 된다. 이와 같이, 사용자에 의한 소정의 비접촉 조작이 검출 기준 외 (41) 로서, 검출 기준 (42) 보다 하방의 위치에서 검출된 경우에는, 검출 기준 (42) 의 전체를, 소정의 비접촉 조작이 이루어진 위치에 가까워지도록 하방향으로 이동시켜, 검출 기준 (42) 을 변경한다. 그 결과, 사용자의 조작이 검출 기준 (42) 을 통과하여 조작되고 있기 때문에 조작이 듣지 않는 경우, 그 사용자의 조작 위치에 맞춰 검출 기준 (42) 이 변경되므로, 사용자의 조작상의 위화감을 완화시킬 수 있다.
도 53 은, 비접촉 조작 (600A) 이 검출 기준 외 (41) 로서, 검출 기준 (42) 의 측부 기준면 (42c) 의 외측에서 실시된 것이 검출된 경우의 캘리브레이션 처리를 설명하는 도면이다. 도 53(a) 에 있어서, 검출 기준 제어부 (204) 가, 기억부 (205) 에 기억된 조작 검출기 (13) 의 검출 출력에 기초하여 소정의 비접촉 조작 (600A) 이 실시된 것을 판정하고, 또한 그 소정의 비접촉 조작이 측부 기준면 (42c) 의 외측에서 실시된 것으로 판정하면, 검출 기준 제어부 (204) 는, 검출 기준 (42) 의 측부 기준면 (42c) 과 소정의 비접촉 조작 (600A) 의 이동 궤적 중, 측부 기준면 (42c) 으로부터 가장 떨어진 부분과의 거리 (ΔH10) 를 산출한다. 이 거리 (ΔH10) 가 산출되면, 검출 기준 제어부 (204) 는, 도 53(b) 에 나타내는 바와 같이 거리 (ΔH10) 에 기초하여, 검출 기준 (42) 의 전체를 도면 중의 횡방향, 즉 소정의 비접촉 조작 (600A) 에 가까워지는 방향으로 이동시킨다. 이동된 검출 기준 (42) 을 일점 쇄선으로 나타낸다. 검출 기준 (42) 의 횡방향으로의 이동량은, 도 53(b) 에 나타낸 바와 같이, 거리 (ΔH10) 와 대략 동일하게 해도 되고, 거리 (ΔH10) 보다 크게 해도 되고 작게 해도 된다. 이와 같이, 사용자에 의한 소정의 비접촉 조작이 검출 기준 외 (41) 로서, 검출 기준 (42) 의 측부 기준면 (42c 또는 42d) 의 외측의 위치에서 검출된 경우에는, 검출 기준 (42) 의 전체를 소정의 비접촉 조작이 이루어진 위치에 가까워지도록 이동시켜, 검출 기준 (42) 을 변경한다. 그 결과, 사용자의 조작이 검출 기준 (42) 으로부터 벗어나서 조작되고 있기 때문에 조작이 듣지 않는 경우, 그 사용자의 조작 위치에 맞춰 검출 기준 (42) 이 변경되므로, 사용자의 조작상의 위화감을 완화시킬 수 있다.
또한, 도 51 ∼ 도 53 에 있어서는, 산출한 변경량 (ΔH10) 만큼 검출 기준 (42) 을 변경하는 것으로 했지만, 간격 (ΔH10) 에 소정량 (h) 을 가산한 값을 변경량으로 하여 검출 기준 (42) 을 변경해도 된다. 소정량 (h) 은, 소정의 비접촉 조작 (600) 의 도달 위치의 차분 (비접촉 조작의 도달 위치로부터 검출 기준 (42) 의 가장 가까운 기준면까지의 차분) 을 평균을 낸 값이나 복수의 비접촉 조작 (600) 의 개시 위치의 차분 (비접촉 조작의 개시 위치로부터 검출 기준 (42) 의 가장 가까운 기준면까지의 차분) 을 평균을 낸 값 등을 들 수 있다. 또, 소정량 (h) 은 미리 설정된 고정된 값이어도 된다. 그 경우, 간격 (ΔH10) 에 마진이 되는 소정량 (h) 이 가산된 분만큼 검출 기준 (42) 이 이동되게 된다. 그 때문에, 캘리브레이션 처리시에 실시한 비접촉 조작과 엄밀하게 동일한 위치에서 비접촉 조작을 실시할 수 없는 경우에도 소정량 (h) 의 범위 내에서의 오차이면 사용자의 비접촉 조작을 검출 기준 (42) 에서 검출할 수 있다. 사용자의 비접촉 조작의 개시 위치나 도달 위치가 조작마다 변동되어도, 사용자의 비접촉 조작을 검출 기준 (42) 에서 검출할 수 있다. 따라서, 간격 (ΔH10) 에 소정량 (h) 을 가산한 값을 변경량으로 했을 경우, 간격 (ΔH10) 의 값을 변경량으로 했을 경우보다 비접촉 조작을 검출 기준 (42) 에서 검출하는 비율을 높게 할 수 있다.
다음에, 소정의 비접촉 조작 (600) 과는 상이한 조작이 검출 기준 외 (41) 에서 검출되는 경우를 설명한다. 소정의 비접촉 조작 (600) 과는 상이한 조작이 검출 기준 외 (41) 에서 검출되는 경우란, 소정의 비접촉 조작 (600) 모두가 아니라, 그 중의 일부분만이 검출 기준 외 (41) 에서 검출되는 경우이다.
도 54 는, 소정의 비접촉 조작 (600A) 의 일부가 검출 기준 외 (41) 에서 검출되는 경우의 예를 나타낸 것이다. 도 54(a) 에 있어서, 손가락 (F) 에 의한 소정의 비접촉 조작 (600A) 의 일부, 즉 거리 (ΔH10) 에 대응하는 부분이, 검출 기준 (42) 의 상부 기준면 (42a) 보다 상방의 위치에서 실시되고, 그 잔부가 검출 기준 (42) 내에서 실시되고 있다. 바꾸어 말하면, 검출 기준 (42) 에서 검출된 소정의 비접촉 조작 (600A) 의 일부와, 검출 기준 외 (41) 에서 검출된 소정의 비접촉 조작 (600A) 의 일부를 합하면, 소정의 비접촉 조작 (600A) 이 된다.
이 경우, 소정의 비접촉 조작 (600A) 의 일부가 조작 검출기 (13) 와 검출 기준 제어부 (204) 에 의해, 검출 기준 외 (41) 에서 검출된다.
도 54(b) 에 있어서, 손가락 (F) 에 의한 소정의 비접촉 조작 (600Aa) 의 일부, 즉 거리 (ΔH10) 에 대응하는 부분이, 검출 기준 (42) 의 하부 기준면 (42b) 보다 하방의 위치에서 실시되고, 그 잔부가 검출 기준 (42) 내에서 실시되고 있다. 바꾸어 말하면, 검출 기준 (42) 에서 검출된 소정의 비접촉 조작 (600Aa) 의 일부와, 검출 기준 외 (41) 에서 검출된 소정의 비접촉 조작 (600Aa) 의 일부를 합하면, 소정의 비접촉 조작 (600Aa) 이 된다.
또, 손가락 (F) 에 의한 소정의 비접촉 조작 (600Ab) 의 일부, 즉 거리 (ΔH10) 에 대응하는 부분이, 검출 기준 (42) 의 측부 기준면 (42c) 의 외측에서 실시되고, 그 잔부가 검출 기준 (42) 내에서 실시되고 있다. 바꾸어 말하면, 검출 기준 (42) 에서 검출된 소정의 비접촉 조작 (600Ab) 의 일부와, 검출 기준 외 (41) 에서 검출된 소정의 비접촉 조작 (600Ab) 의 일부를 합하면, 소정의 비접촉 조작 (600Ab) 이 된다.
이러한 경우에도, 소정의 비접촉 조작 (600Aa) 의 일부, 또는 소정의 비접촉 조작 (600Ab) 의 일부가 조작 검출기 (13) 와 검출 기준 제어부 (204) 에 의해 검출 기준 외 (41) 에서 검출된다.
다음에, 소정의 비접촉 조작 (600) 과 상이한 조작이 검출 기준 외 (41) 에서 검출되는 경우에 있어서의 캘리브레이션 처리를 도 54 를 참조하여 설명한다.
도 54(a) 에 나타내는 소정의 비접촉 조작 (600A) 과 같이, 소정의 비접촉 조작 (600A) 의 일부가 검출 기준 (42) 에서 실시되고, 그 잔부가 상부 기준면 (42a) 보다 상방의 위치에서 실시된 경우에 관한 캘리브레이션 처리는, 도 51 의 경우와 동일하다. 즉, 거리 (ΔH10) 에 기초하여, 검출 기준 (42) 의 전체를 도면 중 상방으로 이동시킨다.
도 54(b) 에 나타내는 소정의 비접촉 조작 (600Aa) 과 같이, 소정의 비접촉 조작 (600Aa) 의 일부가 검출 기준 (42) 에서 실시되고, 그 잔부가 하부 기준면 (42b) 보다 하방의 위치에서 실시된 경우에 관한 캘리브레이션 처리는, 도 52 의 경우와 동일하다. 즉, 거리 (ΔH10) 에 기초하여, 검출 기준 (42) 의 전체를 도면 중 하방으로 이동시킨다.
도 54(b) 에 나타내는 소정의 비접촉 조작 (600Ab) 과 같이, 소정의 비접촉 조작 (600Ab) 의 일부가 검출 기준 (42) 에서 실시되고, 그 잔부가 측부 기준면 (42c) 의 외측의 위치에서 실시된 경우에 관한 캘리브레이션 처리는, 도 53 의 경우와 동일하다. 즉, 거리 (ΔH10) 에 기초하여, 검출 기준 (42) 의 전체를 옆으로 이동시킨다.
상기 설명의 캘리브레이션 처리에 대해, 제 1 캘리브레이션 처리 모드를 예로 들어, 도 55 에 나타내는 플로우 차트를 참조하여 설명한다. 또한, 도 55 의 플로우 차트는 스텝 S701 ∼ S709 를 나타내고, 스텝 S709 이후의 처리는, 도 6 의 스텝 S9 이후의 처리와 동일하기 때문에 여기서의 기재는 생략한다. 스텝 S701 ∼ S703 의 각 처리는, 도 6 에 나타낸 플로우 차트에 있어서의 스텝 S1 ∼ S3 의 각 처리와 동일하다. 스텝 S704 에 있어서, 조작 검출기 (13) 로부터의 검출 출력에 기초하여, 사용자에 의한 조작 (보다 구체적으로는 사용자에 의한 공중 이미지 (300) 의 아이콘 (300A) 의 표시 위치로의 조작) 이 소정의 비접촉 조작인지의 여부를 판정한다. 소정의 비접촉 조작인 경우에는, 스텝 S704 가 긍정으로 판정되어 스텝 S705 로 진행되고, 소정의 비접촉 조작이 아닌 경우에는, 스텝 S704 가 부정으로 판정되고, 긍정으로 판정될 때까지 대기한다.
스텝 S705 에서는, 소정의 비접촉 조작이 검출 기준 (42) 에서 실시되었는지의 여부를 판정한다. 도 49 에 나타내는 바와 같이 소정의 비접촉 조작이 검출 기준 (42) 에서 실시된 경우에는, 스텝 S705 가 긍정으로 판정되고, 후술하는 스텝 S708 로 진행된다. 소정의 비접촉 조작이 검출 기준 (42) 에서 검출되지 않는 경우, 즉 (1) 소정의 비접촉 조작의 전부가 검출 기준 외 (41) 에서 검출된 경우, 또는 (2) 소정의 비접촉 조작의 일부가 검출 기준 (42) 에서 검출되고 다른 일부가 검출 기준 외 (41) 에서 검출된 경우에는, 스텝 S705 가 부정으로 판정되어 스텝 S706 으로 진행된다. 스텝 S706 에서는, 소정의 비접촉 조작과 검출 기준 (42) 의 위치 관계에 기초하여, 검출 기준 (42) 의 변경량을 산출하고, 스텝 S707 로 진행된다.
스텝 S707 에서는, 스텝 S706 에서 산출한 변경량에 기초하여 검출 기준 (42) 의 위치를 변경하고, 스텝 S708 로 진행된다. 스텝 S708 에 있어서, 제 1 캘리브레이션 처리 모드를 종료하고, 스텝 S709 로 진행된다. 스텝 S709 에 있어서, 공중 이미지 조작 모드를 개시한다. 이상과 같이, 사용자의 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우에, 검출 기준의 위치가 변경된다. 요컨대, 검출 기준 (42) 의 상하 방향의 중심 위치 및/또는 좌우 방향의 중심 위치가 변경된다. 이 검출 기준의 위치의 변경에 의해, 사용자에게 있어서 적합한 장소에서 조작이 가능해진다. 또, 검출 기준과 공중 이미지의 위치 관계를 사용자의 조작에 적합한 위치 관계로 변경할 수 있다.
또한, 캘리브레이션 처리의 설명으로서 제 1 캘리브레이션 처리 모드를 예로서 설명했지만, 도 55 의 플로우 차트는 제 2 캘리브레이션 처리 모드에도 적용할 수 있다.
또한, 상기 서술한 제 8 실시형태에서는, 검출 기준 (42) 은, 각 아이콘 (30D, 30E) 의 각각에 대응하여 설정되는 것으로서 설명했지만, 이것에 한정되지 않는다. 복수의 아이콘에 공통되게 검출 기준 (42) 이 설정되는 것이어도 되고, 공중 이미지 (30) 의 전역에 1 개의 검출 기준 (42) 이 설정되는 것이어도 된다.
(제 8 실시형태의 변형예 1)
제 8 실시형태에서는, 소정의 비접촉 조작 (600) 이 검출된 공간 상에서의 위치와 검출 기준 (42) 의 위치 관계에 기초하여, 검출 기준 (42) 을 상하 방향 및/또는 좌우 방향으로 변경하였다. 즉 검출 기준 (42) 의 상하 방향의 중심 위치 및/또는 좌우 방향의 중심 위치를 변경하는 것으로서 설명하였다. 변형예 1 의 표시 장치 (1) 는, 검출 기준 (42) 과 소정의 비접촉 조작 (600) 의 공간 상에 있어서의 위치 관계를 변경할 때, 검출 기준 (42) 의 폭 (D1) 의 크기를 변경해도 된다. 예를 들어, 도 50(a) 에 나타내는 바와 같이, 소정의 비접촉 조작 (600A) 이 검출 기준 (42) 의 상방의 검출 기준 외 (41) 에서 검출된 경우에는, 하부 기준면 (42b) 의 위치를 변경하지 않고, 상부 기준면 (42a) 만을 변경량 (ΔH10) 만큼 상방으로 변경해도 된다. 즉, 검출 기준 (42) 의 폭 (D1) 을 변경함으로써, 검출 기준 (42) 의 상하 방향의 중심 위치를 변경해도 된다. 또는 상부 기준면 (42a) 을 변경량 (ΔH10) 만큼 상방으로 변경하고, 하부 기준면 (42b) 을 변경량 (ΔH10) 만큼 하방으로 변경해도 된다. 즉, 검출 기준 (42) 의 폭 (D1) 을 상하 방향으로 동일한 변경량 (ΔH10) 으로 변경함으로써, 검출 기준 (42) 의 상하 방향의 중심 위치를 변경하지 않고 검출 기준 (42) 을 변경해도 된다. 또한, 도 50(b) 에 나타내는 바와 같이, 검출 기준 (42) 의 하방에 소정의 비접촉 조작 (600Aa) 이 검출된 경우에는, 하부 기준면 (42b) 의 위치를 변경량 (ΔH10) 만큼 하방으로 변경해도 되고, 하부 기준면 (42b) 의 위치를 변경량 (ΔH10) 만큼 하방으로 변경함과 함께 상부 기준면 (42a) 의 위치를 변경량 (ΔH10) 만큼 상방으로 변경해도 된다. 또한, 검출 기준 (42) 의 우측에 소정의 비접촉 조작 (600Ab) 이 검출된 경우에도, 동일하게 좌우 방향으로 측부 기준면 (42c) 의 위치를 변경해도 된다. 즉, 검출 기준 (42) 의 좌우 방향의 중심 위치를 변경하여 검출 기준 (42) 을 변경해도 되고, 중심 위치를 변경하지 않고 검출 기준 (42) 의 폭을 변경하도록 해도 된다.
(제 8 실시형태의 변형예 2)
변형예 2 의 표시 장치 (1) 에 대해 설명한다. 변형예 2 의 표시 장치 (1) 는, 캘리브레이션 처리시에 실시된 소정의 비접촉 조작 (600) 이 검출 기준 외 (41) 에서 검출된 경우, 소정의 비접촉 조작 (600) 과 검출 기준 (42) 의 거리가 소정의 값 이하인 경우에, 검출 기준 (42) 을 변경한다. 도 50(a) 에 나타내는 바와 같이 소정의 비접촉 조작 (600A) 이 검출 기준 (42) 의 상방의 검출 기준 외 (41) 에서 검출된 경우를 예로 든다. 이 경우, 간격 (ΔH10) 이 소정의 값 이하인 것으로 판정되면, 즉 소정의 비접촉 조작 (600A) 이 검출 기준 (42) 의 근방에서 실시된 것으로 판정되면, 표시 장치 (1) 는 사용자가 공중 이미지의 표시 위치로의 조작을 실시하려는 의도를 가지고 있는 것으로 간주하고, 검출 기준 (42) 을 변경한다. 간격 (ΔH10) 이 소정의 값보다 큰 것으로 판정되면, 즉 소정의 비접촉 조작 (600A) 이 검출 기준 (42) 으로부터 멀리 떨어진 위치에서 실시된 것으로 판정되면, 표시 장치 (1) 는 사용자가 공중 이미지의 표시 위치로의 조작을 실시하려는 의도를 가지고 있지 않고, 오조작이고, 또는 조작을 도중에 중단한 것으로 간주하고, 검출 기준 (42) 을 변경하지 않는다.
또, 도 54 에 나타내는 바와 같이, 소정의 비접촉 조작 (600A) 의 일부가 검출 기준 외 (41) 에서 검출되는 경우에, 검출 기준 외 (41) 에서 검출된 소정의 비접촉 조작 (600) 의 일부의 공간 상의 위치와 검출 기준 (42) 의 거리에 기초하여, 검출 기준 (42) 의 위치를 변경해도 된다. 예를 들어, 도 54(a) 에 나타내는 바와 같이 검출 기준 (42) 의 상면 기준면 (42a) 보다 상방에서 검출된 비접촉 조작 (600) 의 일부, 즉 거리 (ΔH10) 가 소정의 임계값 이하인지의 여부가 판정된다. 거리 (ΔH10) 가 소정의 임계값 이하인 경우에는, 도 56(a) 에 나타내는 바와 같이, 손가락 (F) 의 소정의 비접촉 조작 (600A) 의 전체가 검출 기준 (42) 에서 실시된 것은 아니지만, 소정의 비접촉 조작 (600A) 의 대부분이 검출 기준 (42) 에서 실시된다. 이 경우, 표시 장치 (1) 는, 사용자가 공중 이미지의 표시 위치로의 조작을 실시하려는 의도를 가지고 있는 것으로 간주하고, 검출 기준 (42) 의 위치가 변경된다. 거리 (ΔH10) 가 소정의 임계값을 초과하는 경우에는, 도 56(b) 에 나타내는 바와 같이, 소정의 비접촉 조작 (600A) 의 대부분이 검출 기준 외 (41) 에서 실시된다. 이 경우, 표시 장치 (1) 는 사용자가 공중 이미지의 표시 위치로의 조작을 실시하려는 의도를 가지고 있지 않고, 오조작이고, 또는 조작을 도중에 중단한 것으로 간주하고, 검출 기준 (42) 의 위치를 변경하지 않는다.
(제 8 실시형태의 변형예 3)
제 8 실시형태의 변형예 3 은, 제 1 실시형태의 변형예 1 과 같이, 조작 검출기 (13) 의 검출 출력에 기초하여, 사용자의 손가락 끝의 속도 혹은 가속도를 산출하고, 산출한 속도 또는 가속도에 기초하여 검출 기준 (42) 의 위치를 변경하는 것이어도 된다. 즉, 소정의 비접촉 조작 (600) 의 적어도 일부의 속도에 기초하여, 특히, 소정의 비접촉 조작 (600) 의 일부의 속도가 소정값보다 작은 경우에 검출 기준 (42) 을 변경한다. 도 57 은 변형예 3 의 표시 장치 (1) 중, 제어부 (20) 와, 제어부 (20) 에 의해 제어되는 표시기 (11) 및 조작 검출기 (13) 를 나타낸 블록도이다.
여기서 소정의 비접촉 조작 (600) 의 적어도 일부의 속도란, 소정의 비접촉 조작 (600) 중 적어도 일부의 조작의 속도를 나타내는 것이다. 소정의 비접촉 조작 (600) 중 적어도 일부의 조작이란, 예를 들어, 소정의 비접촉 조작 (600) 이 검출 기준 외 (41) 의 위치로부터 검출 기준 (42) 을 향하여 조작된 후, 계속해서 되돌아가는 조작 (소정의 비접촉 조작 (600A)) 인 경우에 있어서, 그 조작이 검출 기준 외 (41) 로부터 검출 기준 (42) 을 향할 때의 적어도 일부 구간의 조작을 나타낸다. 혹은, 소정의 비접촉 조작 (600) 이 검출 기준 (42) 의 어느 위치로부터 검출 기준 (42) 의 일단을 향하여 조작된 후, 계속해서 되돌아가는 조작 (소정의 비접촉 조작 (600A)) 인 경우에 있어서, 그 일단을 향할 때의 적어도 일부 구간을 나타낸다.
또한, 소정의 비접촉 조작 (600) 의 전체 조작 (예를 들어 소정의 비접촉 조작 (600A) 에 있어서의 하강 개시하고 나서 계속해서 상승이 종료할 때까지의 조작) 에 있어서의 속도 (가속도) 를 모니터하여, 그 속도 (가속도) 의 평균값을 산출하고, 그 평균값에 기초하여 조작의 강약을 판단하여, 다음 번 이후의 조작 검출시에 검출 기준 (42) 을 변경하도록 해도 된다. 예를 들어, 조작 속도가 평균적으로 빠른 경우에는 검출 기준 (42) 을 지나갈 가능성이 있으므로, 다음 번 이후의 검출 기준 (42) 의 폭을 넓히도록 제어해도 된다.
도 57 에 나타내는 속도·가속도 검출부 (206) 는, 제 1 실시형태의 변형예 1 과 동일하게, 조작 검출기 (13) 에 의해 검출되는 정전 용량값을 소정의 시간마다 판독 출력하고, 소정의 시간당의 정전 용량값의 변화로부터 손가락의 이동 속도를 산출한다. 또, 산출한 속도로부터 손가락의 이동 가속도를 산출하고, 소정값을 초과했는지의 여부를 판정한다. 조작 예측부 (211) 는, 속도·가속도 검출부 (206) 에 의해 산출된 이동 속도 및/또는 이동 가속도가 소정값 이하인 경우에는, 속도·가속도 검출기 (206) 로부터 출력되는 손가락의 이동 속도 또는 가속도에 기초하여, 손가락 (F) 의 이동 궤적을 산출, 즉 예측한다. 검출 기준 제어부 (204) 는, 조작 예측부 (211) 에 의해 예측된 손가락 (F) 의 이동 궤적에 기초하여, 검출 기준 (42) 을 변경한다. 즉, 예측된 손가락 (F) 의 이동 궤적이 검출 기준 (42) 에 없는 경우, 소정의 비접촉 조작 (600) 은 검출 기준 (42) 에서 검출되지 않는 것으로 판단한다. 그 경우, 제 8 실시형태의 경우와 동일하게 하여, 산출한 변경량 (ΔH10) 으로 검출 기준 (42) 을 변경한다. 또, 예측된 손가락 (F) 의 이동 궤적이 검출 기준 (42) 에 있는 경우, 소정의 비접촉 조작 (600) 은 검출 기준 (42) 에서 검출되는 것으로 판단하고, 검출 기준 (42) 을 변경하지 않는다.
또, 조작 예측부 (211) 는, 속도·가속도 검출부 (206) 에 의해 산출된 이동 속도 및/또는 이동 가속도가 소정값 이상인 경우에, 손가락 (F) 의 이동 궤적을 예측하여, 검출 기준 (42) 을 변경해도 된다. 즉, 손가락 (F) 의 이동 속도 및/또는 이동 가속도가 소정값 이상인 경우에 예측된 손가락 (F) 의 이동 궤적이 검출 기준 (42) 에 없는 경우, 소정의 비접촉 조작 (600) 은 검출 기준 (42) 에서 검출되지 않는 것으로 판단한다. 그 경우, 제 8 실시형태의 경우와 동일하게 하여, 산출한 변경량 (ΔH10) 으로 검출 기준 (42) 을 변경한다.
다음에, 변형예 3 의 표시 장치 (1) 에 의한 제 1 캘리브레이션 처리 모드를 도 58 및 도 59 를 참조하여 설명한다. 도 59 의 플로우 차트에 있어서, 스텝 S764 내지 스텝 S766 은, 도 56 의 플로우 차트와 동일하므로, 설명을 생략한다. 도 58(a) 에 나타낸 바와 같이, 손가락 (F) 이 조작 검출기 (13) 의 소정의 검출 범위 (13A) 내에 들어가면, 스텝 S764 에 있어서 조작 검출기 (13) 가 손가락 (F) 의 이동을 정전 용량값의 변화로서 검출한다. 스텝 S765 에서는, 속도·가속도 검출부 (206) 가 조작 검출기 (13) 의 검출 출력에 기초하여 손가락 끝 (F) 의 이동 속도 및 가속도를 산출한다. 스텝 S765 에서, 조작 예측부 (211) 가 속도·가속도 검출부 (206) 에 의해 산출된 이동 속도 및 가속도가 제 1 소정값 이상 제 2 소정값 이하인지의 여부를 판정한다. 제 1 소정값은, 검출 기준 (42) 의 상방으로부터의 하방으로의 손가락 (F) 의 이동이 상부 기준면 (42a) 에 닿지 않는 것이 예측되는 속도 및 가속도에 대응하여 결정되고, 제 2 소정값은 제 1 소정값보다 큰 값이고, 손가락 (F) 의 하방으로의 이동이 하부 기준면 (42b) 을 통과하는 것이 예측되는 속도 및 가속도에 대응하여 결정되어 있다. 손가락 끝 (F) 의 이동 속도 및 가속도가 제 1 소정값 이상 제 2 소정값 이하인 경우에는, 스텝 S765 가 긍정으로 판정되어 스텝 S770 으로 진행된다. 손가락 (F) 의 이동 속도 및 가속도가 제 1 소정값보다 작거나 또는 제 2 소정값보다 큰 경우에는, 스텝 S765 가 부정으로 판정되어 스텝 S767 로 진행된다.
스텝 S767 에서는, 조작 예측부 (211) 가 속도·가속도 검출부 (206) 가 산출한 이동 속도 및 가속도에 기초하여 손가락 끝 (F) 의 이동 궤적을 산출한다. 도 58(b) 에 있어서, 이동 속도, 이동 가속도가 제 1 소정값 이하인 경우에 조작 예측부 (211) 가 산출한, 즉 예측한 손가락 (F) 의 이동 궤적을 파선 (600Ac) 으로 나타낸다. 스텝 S768 에 있어서, 검출 기준 제어부 (204) 는, 도 51 에 나타낸 경우와 동일하게 하여 검출 기준 (42) 의 변경량 (ΔH10) 을 산출하고, 검출 기준 (42) 을 변경한다. 또한, 손가락의 도달 위치를 예측하기 위해서는, 손가락의 이동 속도와 가속도의 양방을 사용해도 되고, 어느 일방을 사용해도 된다.
또한, 캘리브레이션 처리의 설명으로서 제 1 캘리브레이션 처리 모드를 예로서 설명했지만, 제 2 캘리브레이션 처리 모드에도 적용할 수 있다.
또한, 상기 서술한 설명에서는, 조작 예측부 (211) 가 손가락 끝 (F) 의 이동 궤적을 산출하는 것으로 했지만, 이동 궤적을 산출하지 않아도 된다. 즉, 표시 장치 (1) 의 제어부 (20) 는 조작 예측부 (211) 를 구비하지 않고, 속도·가속도 검출부 (206) 에 의해 산출된 이동 속도 및 이동 가속도가 소정값 이하인 경우에는, 미리 정해진 변경량만큼 검출 기준 (42) 을 변경해도 된다. 예를 들어, 검출 기준 (42) 보다 소정 거리만큼 위의 위치에서, 이동 속도 또는 이동 가속도를 검출하고, 검출된 이동 속도 또는 이동 가속도가 소정값 이하인 경우에는, 손가락 (F) 이 검출 기준 (42) 에 도달하지 않는다고 예측하여, 검출 기준 (42) 을 변경한다.
또, 또한, 상기 서술한 설명에서는, 속도·가속도 검출부 (206) 는, 조작 검출기 (13) 에 의해 검출되는 정전 용량값을 소정의 시간마다 판독 출력하고, 소정의 시간당의 정전 용량값의 변화로부터 손가락의 이동 속도를 산출함과 함께, 산출한 속도로부터 손가락의 이동 가속도를 산출했지만, 이 방법에 한정되지 않고, 속도·가속도 검출부 (206) 로서 촬상 장치를 사용해도 된다. 또, 상기 서술한 설명에서는, 사용자의 손가락의 이동 속도 또는 가속도를 산출했지만, 그 밖에, 사용자의 다리나 팔꿈치, 사용자가 소지하고 있는 스타일러스 펜이어도 된다.
(제 8 실시형태의 변형예 4)
제 8 실시형태 및 그 변형예 1 ∼ 3 에 관련된 표시 장치 (1) 는, 1 회의 캘리브레이션 처리에 있어서, 소정의 비접촉 조작 (600A) 의 공간 상의 위치와 검출 기준 (42) 의 위치 관계에 기초하여, 검출 기준 (42) 의 위치를 변경하였다. 즉, 1 회의 사용자 조작으로 1 회의 캘리브레이션 처리를 실시하였다. 변형예 4 에 관련된 표시 장치 (1) 는, 복수회의 사용자 조작으로 1 회의 캘리브레이션 처리를 실시한다. 요컨대, 소정의 비접촉 조작 (600A) 이 검출 기준 외 (41) 에서 검출된 횟수 또는 소정의 비접촉 조작 (600A) 이 검출 기준 (42) 에서 검출된 횟수에 기초하여 검출 기준 (42) 을 변경한다.
제 1 회째의 사용자 조작에 있어서 검출 기준 제어부 (204) 는, 조작 검출기 (13) 의 검출 출력에 기초하여 손가락 (F) 이 소정의 비접촉 조작 (600A) 을 실시했는지의 여부를 판정하고, 소정의 비접촉 조작 (600A) 이 실시된 것을 검출한 경우에는 그 소정의 비접촉 조작 (600A) 이 실시된 공간 상의 위치를 검출한다. 소정의 비접촉 조작 (600A) 이 검출 기준 (42) 에서 실시된 것을 검출한 경우에는, 검출 기준 제어부 (204) 는, 제 1 회째의 캘리브레이션 처리는 성공으로 판정하고 기억부 (205) 에 판정 결과를 기억한다. 소정의 비접촉 조작 (600A) 이 검출 기준 외 (41) 에서 검출된 경우에는, 검출 기준 제어부 (204) 는, 제 1 회째의 사용자 조작은 실패로 판정하고, 제 8 실시형태와 동일하게 하여 변경량 (ΔH10) 을 산출하고, 기억부 (205) 에 판정 결과와 변경량 (ΔH10) 을 기억한다. 계속해서, 제 2 회째의 사용자 조작에 있어서, 조작 성공 또는 실패의 판정 결과 및/또는 변경량 (ΔH10) 이 기억부 (205) 에 기억된다. 또한, 계속해서 제 3 회째의 사용자 조작에 있어서, 처리를 실시해도 된다.
상기와 같이, 연속적으로 실시된 복수회의 사용자 조작에 있어서 기억부 (205) 에 기억된 상기 서술한 복수의 판정 결과 및/또는 변경량 (ΔH10) 에 기초하여 검출 기준 (42) 을 변경한다. 이들 복수회의 사용자 조작의 판정 결과 및/또는 변경량 (ΔH10) 에 기초하여 검출 기준 (42) 의 변경을 실시할지의 여부를 결정하기 위해서는, 여러 가지 방법이 생각된다. 예를 들어, 연속된 복수회의 사용자 조작에 있어서, 판정 결과로서 실패가 기억부 (205) 에 연속으로 기억되어 있는 경우, 검출 기준 (42) 을 변경한다. 구체적으로는, 제 1 회째의 사용자 조작과 제 2 회째의 사용자 조작이 모두 실패로 판정되어 있는 경우에, 검출 기준 (42) 을 변경한다. 제 1 회째의 사용자 조작은 성공으로 판정되고, 제 2 회째의 사용자 조작과 제 3 회째의 사용자 조작이 실패로 판정된 경우에, 검출 기준 (42) 을 변경해도 된다. 또, 복수회의 사용자 조작 중 실패로 판정된 사용자 조작이 소정회 이상 존재하는 경우에, 검출 기준 (42) 을 변경해도 된다. 구체적으로는, 10 회의 사용자 조작 중, 5 회 이상의 사용자 조작이 실패로 판정된 경우에 검출 기준 (42) 을 변경한다. 이 경우, 5 회째에 사용자 조작이 실패로 판정된 시점 (실패 판정이 5 회 누적된 시점) 에서 검출 기준 (42) 을 변경해도 되고, 10 회의 사용자 조작 모두가 종료한 후, 검출 기준 (42) 을 변경해도 된다. 또한, 검출 기준 외 (41) 에서 소정의 비접촉 조작 (600A) 이 검출되는 빈도가 높은 경우에는, 검출 기준 (42) 을 변경하는 빈도를 높게 해도 된다. 즉, 10 회의 사용자 조작 중 5 회 이상의 사용자 조작이 실패로 판정된 경우에, 검출 기준 (42) 을 변경한다고 설정되어 있는 경우에, 10 회의 사용자 조작 중 8 회의 사용자 조작이 실패로 판정된 것으로 한다. 그 경우에는, 다음 번 이후에는, 5 회의 사용자 조작 중 3 회 이상의 사용자 조작이 실패로 판정된 경우에 검출 기준 (42) 을 변경하도록 해도 된다.
복수회의 사용자 조작의 결과를 사용하여 검출 기준 (42) 을 변경하는 경우, 변경량 (ΔH10) 은, 제 1 실시형태의 변형예 2 에서 검출 기준을 결정할 때의 산출 방법과 동일한 처리를 실시하면 된다. 즉, 실패 판정이 이루어진 사용자 조작으로 산출된 변경량을 상가 평균이나 상승 평균함으로써, 하나의 변경량 (ΔH10) 이 산출되면 된다. 이 경우도, 제 1 실시형태의 변형예 2 에서 설명한 바와 같이, 적당한 가중 부여를 실시하여 새로운 변경량 (ΔH10) 을 산출할 수 있다.
또한, 복수회의 사용자 조작의 결과에 기초하여 검출 기준 (42) 을 변경하는 경우, 각각의 사용자 조작으로 산출된 변경량 (ΔH10) 의 상가 평균이나 상승 평균의 값이 소정의 임계값을 초과하는 경우나, 각각의 사용자 조작으로 산출된 변경량 (ΔH10) 이 증가 경향이 있는 경우에, 검출 기준 (42) 을 변경해도 된다.
또한, 이상의 설명에서는, 소정의 비접촉 조작 (600A) 이 검출 기준 외 (41) 에서 검출된 경우의 횟수에 기초하여 검출 기준 (42) 의 위치를 변경하는 예를 들었지만, 소정의 비접촉 조작 (600A) 과 상이한 조작, 즉 소정의 비접촉 조작 (600A) 의 일부가 검출 기준 외 (41) 에서 검출되었을 때의 사용자 조작도 실패로 간주해도 된다. 즉, 복수회의 사용자 조작 중, 연속해서 소정의 비접촉 조작 (600A) 의 일부가 검출 기준 외 (41) 에서 검출된 경우나, 소정의 비접촉 조작 (600A) 의 일부가 검출 기준 외 (41) 에서 소정회 이상 검출된 경우도, 검출 기준 (42) 이 변경되어도 된다.
(제 8 실시형태의 변형예 5)
상기 서술한 제 8 실시형태에서는, 소정의 비접촉 조작 (600) 은, 사용자가 표시 위치 (1) 를 향하여 손가락 (F) 을 밀어넣는 조작이었다. 예를 들어, 도 48(a) 에 나타내는 바와 같은 손가락 (F) 이 U 턴하는 조작이었지만, 이것에 한정되지 않는다. 소정의 비접촉 조작 (600) 은, 표시 위치에 있어서 세 개의 손가락을 뻗는 것이어도 되고, 신체의 앞에서 손가락 (F) 의 표시 위치 (1) 로의 이동 동작이어도 된다. 또, 소정의 비접촉 조작 (600) 은 손가락 (F) 의 이동이 소정의 시간, 예를 들어 20 초간 정지하는 동작이어도 된다.
상기 서술한 실시형태에서는, 검출 기준 제어부 (204) 가 소정의 비접촉 조작 (600) 이 실시되었는지의 여부를 조작 검출기 (13) 의 검출 출력에 기초하여 판정하였다. 그런데, 사용자에 따라서는 소정의 비접촉 조작 (600) 을 정확하게 실시하지 않는 경우, 또는 능숙하게 실시할 수 없는 경우가 있다. 예를 들어, 소정의 비접촉 조작 (600) 이 손가락의 10 ㎝ 의 하강 이동과 그것에 계속되는 10 ㎝ 의 상승 이동인 경우에, 사용자에 따라서는 비접촉 조작으로서, 손가락의 5 ㎝ 의 하강 이동과 그것에 계속되는 5 ㎝ 의 상승 이동을 실시하는 경우가 있다. 또, 소정의 비접촉 조작 (600) 이 표시 위치 (1) 에 있어서 세 개의 손가락을 뻗는 것인 경우에, 사용자에 따라서는 3 번째 손가락이 잘 펴지지 않아, 두 개의 손가락을 뻗는 경우가 있다. 또, 소정의 비접촉 조작 (600) 이 신체의 앞에서 손가락 (F) 의 표시 위치로의 이동 동작인 경우에, 사용자에 따라서는 신체의 옆에서 손가락 (F) 의 표시 위치로의 이동을 실시하는 경우가 있다. 또, 소정의 비접촉 조작 (600) 은 손가락 (F) 의 이동이 소정의 시간, 예를 들어 20 초간 정지하는 것인 경우에, 사용자에 따라서는 20 초에 이르기 전에, 예를 들어 15 초 정도에서 손가락을 움직여 버리는 경우가 있다.
이와 같은 경우, 예를 들어 검출 기준 (42) 의 중심 위치나 검출폭을 변경함으로써, 사용자 조작 모두를 검출 기준 (42) 에서 검출할 수 있도록 하고 있었다고 해도, 사용자가 실행하고 있는 조작 자체 (사용자의 조작으로서 검출되는 검출값 자체) 가 「소정의 비접촉 조작 (600)」 (소정의 비접촉 조작 (600) 을 나타내는 기준값) 과 일치하지 않으면, 비록 검출 기준 (42) (상기 서술한 바와 같은 위치나 폭) 을 설정 (변경) 했다고 해도, 사용자 조작을 인식할 수 없다. 이와 같은 경우, 검출 기준 (42) 의 변경으로서, 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경함으로써, 사용자의 조작을 소정의 비접촉 조작 (600) 이라고 인식할 수 있다.
따라서, 사용자가 어느 비접촉 조작을 실시했을 때, 그 어느 비접촉 조작이 소정의 비접촉 조작 (600) 과 동일하지 않지만, 소정의 비접촉 조작 (600) 과 유사한 동작, 또는 혼동되기 쉬운 동작 등인 경우에는, 표시 장치 (1) 는, 사용자가 소정의 비접촉 조작 (600) 을 실시하고 있는 것으로 추측한다. 그리고, 표시 장치 (1) 는, 자신이 기억하고 있는 소정의 비접촉 조작 (600) 을 나타내는 기준값 (소정의 비접촉 조작 (600) 의 정의) 을, 사용자가 실시하고 있는 조작 그 자체 (사용자의 조작으로서 검출되는 검출값) 로 변경 (갱신) 한다. 예를 들어, 검출 기준 제어부 (204) 는, 사용자의 비접촉 조작을 검출하고, 검출한 사용자의 비접촉 조작의 검출값과, 소정의 비접촉 조작 (600) 을 나타내는 미리 기억되어 있는 기준값을 비교한다. 소정의 비접촉 조작 (600) 을 나타내는 기준값이란, 표시 장치 (1) 에 미리 기억되어 있는 소정의 비접촉 조작 (600) 의 정의나 템플릿 등을 나타내는 것이다. 비교의 결과, 양자의 유사도가 소정의 임계값을 초과했을 때, 소정의 비접촉 조작 (600) 의 기준값 (미리 기억되어 있는 값) 을, 검출한 사용자의 비접촉 조작의 검출값에 기초하여 변경한다. 이로써, 사용자가 실시하고 있는 비접촉 조작으로 조작이 듣도록 한다. 예를 들어, 소정의 비접촉 조작 (600) 을 나타내는 기준값으로서, 「손가락 (F) 이 10 ㎝ 하강한다」 는 것을 나타내는 값이 기억되어 있는 것으로 한다. 손가락 (F) 이 5 ㎝ 밖에 하강하고 있지 않은 것을 검출했을 경우, 소정의 비접촉 조작 (600) 을 나타내는 기준값을 「손가락 (F) 이 5 ㎝ 하강한다」 는 것을 나타내는 값으로 변경한다. 이와 같이, 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경함으로써, 소정의 비접촉 조작 (600) 과 유사한 비접촉 조작으로도 조작할 수 있게 된다. 또, 소정의 비접촉 조작 (600) 의 기준값을, 사용자의 비접촉 조작의 조작량이 적어도 조작이 듣도록 변경함으로써, 사용자의 조작의 부담을 경감시킬 수 있다.
또, 소정의 비접촉 조작을 나타내는 기준값으로서 「신체의 「앞에서」 손가락을 10 ㎝ 하강 이동시키고 그것에 계속해서 10 ㎝ 상승 이동시킨다」 라는 동작을 나타내는 값이 기억되어 있는 것으로 한다. 사용자가 신체의 「옆에서」 손가락을 10 ㎝ 하강 이동시키고 그것에 계속해서 10 ㎝ 상승 이동시키고 있는 경우, 상기의 소정의 비접촉 조작 (600) 을 나타내는 기준값을 「신체의 옆에서 손가락을 10 ㎝ 하강 이동시키고 그것에 계속해서 10 ㎝ 상승 이동시킨다」 라는 동작을 나타내는 값으로 변경한다. 이로써, 신체의 옆에서 손가락을 10 ㎝ 하강 이동시키고 그것에 계속해서 10 ㎝ 상승 이동시키는 동작으로 표시 장치 (1) 를 조작할 수 있게 된다.
또한, 사용자의 복수의 조작에 기초하여 검출 기준 (42) (소정의 비접촉 조작 (600) 을 나타내는 기준값) 을 변경해도 된다. 요컨대, 소정의 비접촉 조작 (600) 과는 상이하지만, 유사한 비접촉 조작이 복수회 실시된 경우에, 상기의 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경해도 된다.
이와 같이, 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경하는 것이 검출 기준 (42) 의 변경에 포함된다.
(제 8 실시형태의 변형예 6)
제 8 실시형태 및 그 변형예 1 ∼ 5 에 관련된 표시 장치 (1) 는, 소정의 비접촉 조작 (600) 이나 소정의 비접촉 조작 (600) 의 일부가 검출 기준 외 (41) 에서 검출된 경우 등으로, 검출 기준 (42) 을 변경하였다.
검출 기준 (42) 의 변경을 지시하는 조작이 검출 기준 (42) 에서 검출된 경우에, 검출 기준 (42) 을 변경해도 된다. 이 경우의 검출 기준 (42) 의 변경에는, 검출 기준 (42) 의 위치나 폭의 변경, 소정의 비접촉 조작 (600) 을 나타내는 기준값의 변경이 포함된다. 예를 들어, 변형예 6 에서는, 캘리브레이션을 지시하는 제스처가 표시 장치 (1) 에 기억되어 있고, 사용자가 검출 기준 (42) 에서 캘리브레이션을 지시하는 제스처를 실시했을 경우, 검출 기준 (42) 을 변경해도 된다. 또, 검출 기준 외 (41) 에서 캘리브레이션을 지시하는 제스처를 검출했을 경우에도, 상기 서술과 동일하게 하여 검출 기준 (42) 을 변경해도 된다.
(제 8 실시형태의 변형예 7)
검출 기준 제어부 (204) 는, 소리에 기초하여 검출 기준 (42) 을 변경해도 된다. 이 경우의 검출 기준 (42) 의 변경에는, 검출 기준 (42) 의 위치나 폭의 변경, 소정의 비접촉 조작 (600) 을 나타내는 기준값의 변경이 포함된다. 예를 들어, 표시 장치 (1) 는, 제 1 실시형태의 변형예 6 과 동일한 집음기 (14) 를 갖고, 제어부 (20) 는, 집음기 (14) 로부터 입력된 음성 데이터를 검출하는 음성 검출부 (208) 를 구비한다. 또한, 이 경우에 있어서, 음성 검출부 (208) 는, 「네」 이외에도 음성 인식 가능한 주지된 음성 인식 기능을 구비하는 것이다. 사용자가 「실행할 수 없다」 는 취지의 발언이나 회화를 한 경우나, 캘리브레이션해 주었으면 하는 취지를 발언했을 경우 등에, 변형예 7 의 표시 장치 (1) 는, 음성 인식 기능을 사용하여 이 회화나 발언을 검출하여 검출 기준 (42) 을 변경한다. 구체적으로는, 소리 (발언) 를 검출했을 때의 사용자의 손가락의 위치가 포함되도록 검출 기준 (42) 을 이동시켜도 되고, 검출 기준 (42) 의 폭을 변경해도 된다. 혹은 소리 (발언) 를 검출하면, 소정량, 예를 들어 1 ㎝, 사용자에게 가까워지는 방향으로 검출 기준 (42) 을 이동시켜도 되고, 검출 기준 (42) 의 폭을 변경해도 된다. 또, 소리 (발언) 를 검출했을 때에 사용자의 조작으로서 검출된 검출값이 되도록, 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경해도 된다. 또, 소리 (발언) 를 검출하면, 소정량만큼 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경해도 된다. 예를 들어, 소정의 비접촉 조작 (600) 을 나타내는 기준값으로서, 「10 ㎝ 하강한다」 는 조작을 나타내는 값이 기억되어 있는 경우, 소리 (발언) 를 검출하면 「9 ㎝ 하강한다」 는 조작을 나타내는 값을, 소정의 비접촉 조작 (600) 을 나타내는 기준값으로서 변경 (갱신) 해도 된다.
또한, 표시 장치 (1) 가 집음기 (14) 를 구비하지 않고, 외부의 집음 장치에 의해 취득된 음성 데이터를 무선이나 유선을 통하여 입력하고, 외부의 집음 장치로부터 입력된 음성 데이터를 사용하여 음성 검출부 (208) 가 음성 검출을 해도 된다.
(제 8 실시형태의 변형예 8)
검출 기준 제어부 (204) 는, 시간에 기초하여 검출 기준 (42) 을 변경해도 된다. 이 경우의 검출 기준 (42) 의 변경에는, 검출 기준 (42) 의 위치나 폭의 변경, 소정의 비접촉 조작 (600) 을 나타내는 기준값의 변경이 포함된다. 예를 들어, 소정의 비접촉 조작 (600) 이 검출 기준 (42) 에서 소정의 시간 내에 검출되지 않았던 경우에, 변형예 8 의 표시 장치 (1) 는 검출 기준 (42) 을 소정량만큼 변경한다. 이 때문에, 제어부 (20) 는, 계시부를 구비하고, 표시 장치 (1) 의 전원 스위치가 온으로 되고, 소정의 시간, 아이콘 등에 대한 조작이 없는 경우에, 소정 시간을 계시한 계시부의 출력에 기초하여 검출 기준 제어부 (204) 는 검출 기준 (42) 을 소정량만큼 변경한다. 또, 어느 아이콘 등에 대한 조작이 실시된 후에, 소정의 시간이 지나도 다음 아이콘 등에 대한 조작이 실시되지 않는 경우에는, 소정의 시간을 계시한 계시부의 출력에 기초하여 검출 기준 제어부 (204) 는 검출 기준 (42) 을 소정량만큼 변경한다.
변형예 8 에 있어서 소정의 시간의 계시에 기초하여 검출 기준 (42) 을 변경하는 경우에는, 검출 기준 (42) 을 사용자쪽에 가까워지는 방향으로 소정량 이동시키도록 변경하는 것이 바람직하다. 예를 들어, 소정 시간에 사용자의 조작이 검출되지 않았던 경우, 소정량, 예를 들어 1 ㎝, 사용자에게 가까워지는 방향으로 검출 기준 (42) 의 중심 위치 (전체 위치) 를 이동시켜도 되고, 검출 기준 (42) 의 폭을 변경해도 된다. 또, 소정 시간 경과시의 사용자의 손가락의 위치가 포함되도록 검출 기준 (42) 의 중심 위치를 이동시켜도 되고, 검출 기준 (42) 의 폭을 변경해도 된다. 또, 소정 시간 경과시에 사용자의 조작으로서 검출된 검출값이 되도록, 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경해도 된다. 소정 시간 경과하면, 소정량만큼 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경해도 된다. 예를 들어, 소정의 비접촉 조작 (600) 을 나타내는 기준값으로서 「10 ㎝ 하강한다」 는 조작을 나타내는 값이 기억되어 있는 경우, 소정 시간 경과하면 「9 ㎝ 하강한다」 는 조작을 나타내는 값을, 소정의 비접촉 조작 (600) 을 나타내는 기준값으로서 변경 (갱신) 해도 된다.
(제 8 실시형태의 변형예 9)
검출 기준 제어부 (204) 는, 사용자의 얼굴에 기초하여 검출 기준 (42) 을 변경해도 된다. 이 경우의 검출 기준 (42) 의 변경에는, 검출 기준 (42) 의 위치나 폭의 변경, 소정의 비접촉 조작 (600) 을 나타내는 기준값의 변경이 포함된다. 예를 들어, 변형예 9 의 표시 장치 (1) 에 형성된 카메라에 의해 사용자의 얼굴을 촬상하고, 제어부 (20) 에 있어서 그 촬상 화상을 해석하여, 사용자의 얼굴의 소정의 표정을 검출 (이른바 얼굴 인식 기능에 의한 소정 표정의 인식) 하면, 검출 기준 (42) 을 변경한다. 또한, 소정의 표정은, 예를 들어 사용자가 능숙하게 조작을 실시할 수 없는 경우의 곤란한 얼굴 등이며, 사용자의 곤란한 얼굴을 검출했을 경우, 검출 기준 (42) 을 변경한다.
예를 들어, 표시 장치 (1) 의 얼굴 인식 기능을 사용하여, 사용자가 곤란해 하고 있는 것을 검출하면, 소정량 (예를 들어 1 ㎝) 사용자에 가까워지는 방향으로 검출 기준 (42) 을 이동시켜도 되고, 검출 기준 (42) 의 폭을 변경해도 된다. 또, 곤란해 하고 있는 얼굴을 인식하기 직전에 사용자가 실시하고 있던 조작을 나타내는 검출값을 기억해 두고, 그 기억해 둔 검출값에 기초하여, 소정의 비접촉 조작 (600) 을 나타내는 기준값을 변경해도 된다.
(제 8 실시형태의 변형예 10)
검출 기준 제어부 (204) 는, 사용자에 의한 제스처 조작이 검출 기준 (42) 에서 검출되지 않는 경우에, 검출 기준 (42) (검출 기준 (42) 의 위치나 폭, 소정의 비접촉 조작을 나타내는 기준값) 을 변경해도 된다. 예를 들어, 소정의 비접촉 조작 (600) 으로서의 사용자에 의한 제스처 조작이, 예를 들어, 손에 의한 바위, 가위, 보 등의 동작, 또는 손가락 (F) 의 하강 이동에 계속되는 횡방향 이동의 동작 중 어느 것인 경우에, 변형예 10 의 표시 장치 (1) 는, 그것들 각 동작의 특징 정보 (특징을 나타내는 기준값) 를 각각 기억부 (205) 에 미리 기억해 둔다. 그리고, 표시 장치 (1) 는, 사용자의 제스처 조작을 검출하고, 그 검출된 제스처 조작과, 기억부 (205) 에 기억되어 있는 복수의 특징 정보 중에서 선택된 어느 하나의 특징 정보를 비교하여, 그 제스처 조작이 상기 어느 하나의 소정의 비접촉 조작에 상당하는지의 여부를 판정한다. 표시 장치 (1) 는, 사용자의 제스처 조작이 검출 기준 (42) 에서 검출되지 않았던 경우에, 검출 기준 (42) 을 변경한다. 이 경우의 검출 기준 (42) 의 변경은, 소정의 비접촉 조작 (600) 을 나타내는 기준값의 선택의 변경이다. 즉, 예를 들어 표시 장치 (1) 가, 처음은 바위를 나타내는 특징 정보를 검출 기준 (42) 에서의 검출시에 사용하는 기준값으로서 선택하고 있는 것으로 한다. 표시 장치 (1) 는, 그 검출 기준 (42) 에서는 사용자 조작을 검출할 수 없었던 경우에, 기준값을, 바위를 나타내는 특징 정보로부터 바위와는 다른 조작 (상기 서술한 복수의 제스처 조작에 있어서의 다른 조작, 예를 들어 가위) 을 나타내는 특징 정보로 선택 변경한다.
(제 8 실시형태의 변형예 11)
소정의 비접촉 조작 (600) 이 손가락 (F) 의 위치가 소정의 위치에 일치하는 동작인 경우에는, 그 소정의 위치가 검출 기준 (42) 중에 있는 경우나, 소정의 위치가 검출 기준 외 (41) 에 있는 경우나, 소정의 위치가 아이콘의 표시 위치에 일치하는 경우나, 소정의 위치가 검출 기준 (42) 의 위치인 경우 등이 있다. 소정의 위치가 검출 기준 (42) 중에 있는 경우에는, 손가락이 검출 기준 (42) 에 존재할 때에 소정의 비접촉 조작 (600) 이 실시된 것으로 판정한다. 소정의 위치가 검출 기준 외 (41) 에 있는 경우에는, 손가락이 검출 기준 외 (41) 에 있을 때에 소정의 비접촉 조작 (600) 이 실시된 것으로 판정한다. 소정의 위치가 아이콘의 표시 위치에 일치하는 경우에는, 손가락 (F) 이 공중 이미지의 아이콘의 표시 위치에 일치했을 때, 또는 아이콘의 표시 위치를 조작했을 때에 소정의 비접촉 조작 (600) 이 실시된 것으로 판정한다. 소정의 위치가 검출 기준 (42) 의 위치인 경우에는, 손가락 (F) 이 검출 기준 (42) 과 검출 기준 외 (41) 의 경계를 통과할 때, 또는 손가락이 상기의 경계를 통과하고, 다시 경계를 통과할 때, 소정의 비접촉 조작 (600) 이 실시된 것으로 판정한다.
(제 8 실시형태의 변형예 12)
제 8 실시형태 및 그 변형예 1 ∼ 11 에서는, 검출 기준 (42) 은 상하 방향으로 폭 (D1) 을 갖는 것으로서 설명했지만, 제 1 실시형태의 검출 기준 (40) 과 같이 면으로 구성되어도 된다. 도 60(a), (b) 에 나타내는 바와 같이, 검출 기준 (40) 으로부터 하방을 향하여 거리 (L1) 또는 거리 (L1) 이상의 위치에서 U 턴을 실시하는 소정의 비접촉 조작 (600A) 이 실시된 경우에, 검출 기준 (40) 에서 소정의 비접촉 조작 (600A) 이 실시된 것이 검출된다. 도 61(a) 에 나타내는 바와 같이 검출 기준 (40) 의 상방 (정전 용량 검출 범위 (13A) 내) 에서 소정의 비접촉 조작 (600A) 이 실시된 경우에는, 검출 기준 외 (41) 에서, 조작 검출기 (13) 를 사용하여 소정의 비접촉 조작 (600A) 이 검출되고, 도 61(b) 에 나타내는 바와 같이, 검출 기준 (40) 을 통과하여 소정의 비접촉 조작 (600A) 이 실시된 경우에, 소정의 비접촉 조작 (600A) 의 일부가 검출 기준 외 (41) 에서 조작 검출기 (13) 를 사용하여 검출된다. 도 61(a), (b) 의 경우에는, 검출 기준 (40) 으로부터의 거리에 기초하여 변위량 (ΔH10) 을 산출하고, 이 변위량 (ΔH10) 으로 검출 기준 (40) 의 위치 (도 61 중의 Z 방향의 위치) 를 변경하면 된다.
제 8 실시형태 및 그 변형예 1 ∼ 12 를, 제 4 실시형태나 그 변형예 1 이나 제 7 실시형태에 있어서 설명한 표시 장치 (100) 에 의해 실시할 수 있다.
또, 제 8 실시형태 및 그 변형예 1 ∼ 12 에서는, 공중 이미지의 표시 위치로의 조작에 대한 소정의 비접촉 조작 (600) 을 실시하는 경우에 대해 설명했지만, 이 예에 한정되지 않는다. 예를 들어, 제 8 실시형태 및 그 변형예 1 ∼ 12 의 표시 장치의 표시기 (11) 에 표시된 화상에 대해 공간 상에서 소정의 비접촉 조작 (600) 을 실시하는 경우에도, 소정의 비접촉 조작 (600) 의 공간 상의 위치와 검출 기준 (42) 의 위치 관계에 기초하여, 검출 기준 (42) 의 위치를 변경해도 된다.
또한, 상기 서술한 제 8 실시형태와 그 변형예 1 ∼ 12 에서는, 제어부 (20) 와 표시기 (11) 와 조작 검출기 (13) 를 적어도 포함하는 표시 장치 (1) 를 예로 설명했지만, 제어부 (20) 만으로 구성된 제어 장치, 제어부 (20) 와 표시기 (11) 로 구성되는 제어 장치여도 된다. 또, 제어부 (20) 는, 적어도 캘리브레이션부 (203) 와 검출 기준 제어부 (204) 를 구비하면 된다.
이상에서 설명한 각 실시형태와 그 변형예에 있어서, 표시 장치 (1) 에 대해서는, 표시기 (11) 에 표시된 이미지를 결상 광학계 (12) 에 의해 공중 이미지로서 생성한다는 구성을 설명하였다. 또, 표시 장치 (100) 에 대해서는, 표시기 (111) 에 표시된 이미지를 결상 광학계 (112) 에 의해 공중 이미지로서 생성한다는 구성을 설명하였다. 그러나, 공중 이미지를 생성하는 구성은 상기 구성에 한정되지 않고, 이하에 설명하는 방법도 포함된다. 말할 필요도 없이, 이하에 설명하는 구성은 일례이며, 그 이외의 공중 이미지를 생성하는 방법도 포함된다.
표시 장치에 있어서, 공중 이미지를 생성하는 구성의 예로는, 표시 장치의 표시기에, 오른쪽 눈으로 시인하는 화상과, 오른쪽 눈으로 시인하는 화상과는 시차를 갖는 왼쪽 눈으로 시인하는 화상을 표시시킴으로써, 사용자에게는 표시기에 의해 표시되어 있는 화상과 상이한 깊이가 느껴지는 화상을 생성하는 방법이 있다. 이 방식에 의하면, 사용자는 표시기에 표시된 화상에 대응하는 화상이 공중에 표시되어 있는 것처럼 인식한다.
또, 표시 장치로서 투과형의 헤드 마운트 디스플레이 (HMD) 를 사용하고, 이것을 사용자에게 장착시킬 수도 있다. HMD 에 화상을 표시시키면, 사용자는 표시된 화상이 실제의 시계 (視界) 에 중첩됨으로써, HMD 에 표시된 화상이 마치 공중에 이미지가 표시되어 있는 것처럼 느낀다.
또한, 공중 이미지를 생성하는 방법으로는, 허상을 투영하는 방법이나 사용자의 망막에 화상을 직접 결상시키는 방법 등도 들 수 있다. 또, 공중 이미지를 생성하는 방법으로서, 레이저광을 공중에 집광하고 공기를 구성하는 분자를 플라즈마화하여 공중에서 광을 발광시켜, 공중에 이미지를 형성하는 것이어도 된다. 이 경우, 레이저광의 집광 위치를 3 차원 공간 중에서 자유롭게 제어함으로써 공중에 실상으로서 3 차원 화상이 생성된다. 또, 공중 이미지를 생성하는 방법으로서, 프로젝터 기능에 더하여 공기 중에 안개를 발생시키는 기능을 갖는 표시 장치를 사용하여, 공기 중에 안개를 발생시킨 스크린을 형성하고, 이 안개에 의한 스크린에 화상을 투영함 (포그 디스플레이) 으로써, 공중에 이미지를 생성해도 된다.
표시 장치 (1 이나 100) 를 사용하여 캘리브레이션을 실행하기 위한 프로그램을 컴퓨터 판독 가능한 기록 매체에 기록해 두고, 이 프로그램을 컴퓨터 시스템에 판독 입력시켜, 캘리브레이션을 실행해도 된다. 또한, 여기서 말하는 「컴퓨터 시스템」 이란, OS (Operating System) 나 주변 기기 등의 하드웨어를 포함하는 것이어도 된다.
또한, 상기 「컴퓨터 시스템」 은, WWW 시스템을 이용한 홈 페이지 제공 환경 (혹은 표시 환경) 도 포함한다. 또, 상기 「컴퓨터 판독 가능한 기록 매체」 는, 플렉시블 디스크, 광 자기 디스크, ROM, 플래쉬 메모리 등의 기록 가능한 불휘발성 메모리, CD-ROM 등의 가반 매체, 컴퓨터 시스템에 내장되는 하드 디스크 등의 기억 장치를 말한다. 또한 상기 「컴퓨터 판독 가능한 기록 매체」는, 인터넷 등의 네트워크나 전화 회선 등의 통신 회선을 통하여 프로그램이 송신되었을 경우의 서버나 클라이언트가 되는 컴퓨터 시스템 내부의 휘발성 메모리 (예를 들어 DRAM (Dynamic Random Access Memory)) 와 같이, 일정 시간 프로그램을 유지하고 있는 것도 포함한다.
상기 「프로그램」 은, 이 프로그램을 기억 장치 등에 격납한 컴퓨터 시스템으로부터, 전송 매체를 통하여, 혹은 전송 매체 중의 전송파에 의해 다른 컴퓨터 시스템에 전송되어도 된다. 여기서, 프로그램을 전송하는 「전송 매체」 는, 인터넷 등의 네트워크 (통신망) 나 전화 회선 등의 통신 회선 (통신선) 과 같이 정보를 전송하는 기능을 갖는 매체를 말한다. 또, 상기 프로그램은, 상기 서술한 기능의 일부를 실현하기 위한 것이어도 된다. 또한, 전술한 기능을 컴퓨터 시스템에 이미 기록되어 있는 프로그램과의 조합으로 실현될 수 있는 것, 이른바 차분 파일 (차분 프로그램) 이어도 된다.
또한, 상기 서술한 각 실시형태 및 각 변형예를 조합하여, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치로서, 소정의 비접촉 조작을 검출 기준에서 검출하는 검출부와, 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하고, 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능한 검출 장치의 구성을 취해도 된다. 이 검출 장치의 제어부는, 또한 소리에 기초하여 검출 기준을 변경해도 된다. 또, 이 검출 장치의 제어부는 또한, 시간에 기초하여 검출 기준을 변경해도 된다. 또, 이 검출 장치의 제어부는 또한, 사용자의 얼굴에 기초하여 검출 기준을 변경해도 된다. 또, 이 검출 장치의 제어부는 또한, 소정의 비접촉 조작으로서, 소정의 움직임이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경해도 된다. 또, 이 검출 장치의 제어부는 또한, 소정의 비접촉 조작으로서 누르는 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경해도 된다. 또, 이 검출 장치의 제어부는 또한, 소정의 비접촉 조작으로서 제스처 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경해도 된다. 또, 이 검출 장치의 제어부는 또한, 소정의 비접촉 조작으로서, 비접촉 조작을 실시하는 조작 물체의 형태가 소정의 형태와 일치하지 않은 경우, 검출 기준을 변경해도 된다. 또, 상기 서술한 각 실시형태 및 각 변형예를 조합하여, 공중의 표시에 대한 사용자의 조작을 검출하는 장치로서, 비접촉 조작을 검출하는 검출 기준을 구비하는 검출부와, 비접촉 조작을 검출하는 검출 기준과 표시의 위치 관계를 변경하고, 검출 기준 외에서 검출된 비접촉 조작에 기초하여, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능한 검출 장치의 구성을 취해도 된다.
또한, 상기 서술한 각 실시형태 및 각 변형예를 조합하여, 소정의 비접촉 조작을 검출 기준에서 검출하는 검출부와, 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 사용자의 조작에 기초하여 위치 관계를 변경하는 검출 장치의 구성을 취해도 된다. 또, 상기 서술한 각 실시형태 및 각 변형예를 조합하여, 소정의 비접촉 조작을 검출 기준에서 검출하는 검출부와, 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 사용자의 정보에 기초하여 위치 관계를 변경하는 검출 장치의 구성을 취해도 된다. 또, 상기 서술한 각 실시형태 및 각 변형예를 조합하여, 소정의 비접촉 조작을 검출 기준에서 검출하는 검출부와, 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 사용자에 의한 검출 장치의 주변의 환경 변화에 기초하여 위치 관계를 변경하는 검출 장치의 구성을 취해도 된다.
또한, 상기 서술한 각 실시형태 및 변형예를 조합하여, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치로서, 소정의 비접촉 조작을 검출 기준에서 검출하는 검출부와, 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 표시를 제어하여 위치 관계를 변경하는 검출 장치의 구성을 취해도 된다.
또한, 상기 서술한 각 실시형태 및 변형예를 조합하여, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치와 표시의 위치 관계를, 사용자의 조작에 기초하여, 표시를 제어하여 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능한 제어 장치의 구성을 취해도 된다. 또, 상기 서술한 각 실시형태 및 변형예를 조합하여, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치와 표시의 위치 관계를, 사용자의 정보에 기초하여, 표시를 제어하여 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능한 제어 장치의 구성을 취해도 된다. 또, 상기 서술한 각 실시형태 및 변형예를 조합하여, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치와 표시의 위치 관계를, 사용자에 의한 검출 장치의 주변의 환경 변화에 기초하여, 표시를 제어하여 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능한 제어 장치의 구성을 취해도 된다.
또한, 상기 서술한 각 실시형태 및 각 변형예를 조합하여, 소정의 비접촉 조작을 검출 기준에서 검출하는 검출부와, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 기준과 표시의 위치 관계를 표시를 제어하여 변경하고, 소정의 비접촉 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능한 제어 장치의 구성을 취해도 된다. 이 제어 장치의 제어부는 또한, 소리에 기초하여 검출 기준을 변경해도 된다. 또, 이 제어 장치의 제어부는 또한, 시간에 기초하여 검출 기준을 변경해도 된다. 또, 이 제어 장치의 제어부는 또한, 사용자의 얼굴에 기초하여 검출 기준을 변경해도 된다. 또, 이 제어 장치의 제어부는 또한, 소정의 비접촉 조작으로서, 소정의 움직임이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경해도 된다. 또, 이 제어 장치의 제어부는 또한, 소정의 비접촉 조작으로서, 누르는 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경해도 된다. 또, 이 제어 장치의 제어부는 또한, 비접촉 조작으로서, 제스처 조작이 검출 기준에서 검출되지 않는 경우, 검출 기준을 변경해도 된다. 또, 이 제어 장치의 제어부는 또한, 소정의 비접촉 조작으로서, 비접촉 조작을 실시하는 조작 물체의 형태가 소정의 형태와 일치하지 않은 경우, 검출 기준을 변경해도 된다. 또, 상기 서술한 각 실시형태 및 각 변형예를 조합하여, 비접촉 조작을 검출하는 검출 기준을 구비하는 검출부와, 공중의 표시에 대한 사용자의 조작을 검출하는 검출 기준과 표시의 위치 관계를 표시를 제어하여 변경하고, 검출 기준 외에서 검출된 비접촉 조작에 기초하여, 검출 기준을 변경하는 제어부를 구비하고, 제어부는 위치 관계를 사용자에 의해 변경 가능한 제어 장치의 구성을 취해도 된다.
본 발명의 특징을 저해하지 않는 한, 본 발명은 상기 실시형태나 상기 변형예에 한정되는 것은 아니며, 본 발명의 기술적 사상의 범위 내에서 생각할 수 있는 그 밖의 형태에 대해서도 본 발명의 범위 내에 포함된다. 또, 본 발명은 상기 실시예의 형태나 상기 변형예를 적절히 조합해도 된다.
1, 100 표시 장치
11, 111 표시기
12, 112 결상 광학계
13, 113 조작 검출기
14 집음기
18, 118 촬상 장치
19 환경 검출부
20 제어부
116 투광 소자
117 수광 소자
119 액츄에이터
201 화상 생성부
202 표시 제어부
203 캘리브레이션부
204 검출 기준 제어부
205 기억부
206 속도·가속도 검출부
207 정지 위치 예측부
208 음성 검출부
209 화상 해석부
210 사용자 정보 해석부
220 표시 위치 제어부
500 표시 위치 변경부

Claims (47)

  1. 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치로서,
    상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 제어부를 구비하고,
    상기 제어부는, 상기 위치 관계를 사용자에 의해 변경 가능한, 검출 장치.
  2. 제 1 항에 있어서,
    상기 제어부는, 상기 사용자의 조작에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  3. 제 2 항에 있어서,
    상기 제어부는, 상기 검출 기준 또는 상기 검출 기준 외에서 검출된 상기 사용자의 조작에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 제어부는, 상기 사용자에 의한 상기 표시를 누르는 조작에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  5. 제 4 항에 있어서,
    상기 제어부는, 상기 누르는 조작의 도달 위치에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  6. 제 5 항에 있어서,
    상기 제어부는, 상기 도달 위치를 포함하는 소정 범위가 상기 검출 기준이 되도록 상기 위치 관계를 변경하는, 검출 장치.
  7. 제 6 항에 있어서,
    상기 제어부는, 상기 도달 위치로부터 상기 누르는 조작에 의해 밀어넣어진 방향과는 반대 방향으로 소정 거리 떨어진 위치와 상기 도달 위치 사이에 낀 3 차원의 영역을 상기 검출 기준으로 하는, 검출 장치.
  8. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 누르는 조작의 속도에 기초하여 상기 누르는 조작의 도달 위치를 정하는, 검출 장치.
  9. 제 1 항에 있어서,
    상기 제어부는, 상기 사용자가 지정한 지정 위치에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  10. 제 9 항에 있어서,
    상기 사용자의 조작은, 상기 사용자의 손가락에 의한 조작이고,
    상기 제어부는, 검출된 상기 손가락의 위치의 변화가 소정의 범위 내인지를 판정하고, 상기 소정의 범위 내라고 판정된 경우, 상기 소정의 범위에 포함되는 위치를 상기 지정 위치로 하는, 검출 장치.
  11. 제 9 항에 있어서,
    상기 사용자의 조작은, 상기 사용자의 손가락에 의한 조작이고,
    상기 제어부는, 상기 사용자가 발하는 음성이 검출된 경우, 검출된 상기 손가락의 위치를 상기 지정 위치로 하는, 검출 장치.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 표시에 상기 지정에 관한 정보를 표시시키는, 검출 장치.
  13. 제 9 항에 있어서,
    상기 사용자의 조작은, 상기 사용자의 손가락에 의한 조작이고,
    상기 제어부는, 상기 지정 위치를 결정하는 조작이 검출된 경우, 검출된 상기 손가락의 위치를 상기 지정 위치로 하는, 검출 장치.
  14. 제 2 항에 있어서,
    상기 제어부는, 상기 사용자의 복수의 조작에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 사용자의 조작은, 상기 표시가 표시된 위치에서의 조작인, 검출 장치.
  16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 사용자의 조작은, 상기 표시를 터치하는 조작인, 검출 장치.
  17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 사용자의 정보에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  18. 제 17 항에 있어서,
    상기 사용자의 정보는, 상기 사용자의 연령에 관한 정보, 상기 사용자의 체형에 관한 정보, 상기 사용자의 성별에 관한 정보, 상기 사용자의 시력에 관한 정보 중 적어도 하나를 포함하는 정보인, 검출 장치.
  19. 제 17 항에 있어서,
    상기 사용자의 정보는, 상기 사용자를 특정하는 정보인, 검출 장치.
  20. 제 19 항에 있어서,
    상기 제어부는, 상기 사용자가 촬상된 화상에 기초하여 상기 사용자의 얼굴을 인식하여, 상기 사용자를 특정하는, 검출 장치.
  21. 제 19 항에 있어서,
    상기 제어부는, 상기 사용자에 의해 입력된 정보에 기초하여 상기 사용자를 특정하는, 검출 장치.
  22. 제 1 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 사용자에 의한 상기 검출 장치의 주변의 환경 변화에 기초하여 상기 위치 관계를 변경하는, 검출 장치.
  23. 제 22 항에 있어서,
    상기 환경 변화는 밝기의 변화인, 검출 장치.
  24. 제 1 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 제어부는, 상기 검출 기준을 제어하여, 상기 표시와의 상기 위치 관계를 변경하는, 검출 장치.
  25. 제 24 항에 있어서,
    상기 제어부는, 상기 검출 기준의 일부와 상기 표시의 상기 위치 관계를 변경하는, 검출 장치.
  26. 제 1 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 표시에 대한 상기 사용자의 조작을 상기 검출 기준에 기초하여 검출하는 검출부를 구비하는, 검출 장치.
  27. 제 26 항에 있어서,
    상기 검출부는 상기 검출 기준을 포함하는 검출 범위를 갖고, 상기 사용자의 조작을 상기 검출 범위 내에서 검출하는, 검출 장치.
  28. 제 26 항 또는 제 27 항에 있어서,
    상기 사용자의 조작을 촬상하는 촬상부를 구비하고,
    상기 검출부는, 상기 촬상부에 의해 촬상된 화상에 기초하여 상기 사용자에 의한 조작을 검출하는, 검출 장치.
  29. 제 1 항 내지 제 28 항 중 어느 한 항에 있어서,
    공중에 상기 표시를 표시하는 표시부를 구비한, 검출 장치.
  30. 제 1 항 내지 제 29 항 중 어느 한 항에 기재된 검출 장치를 구비한, 전자 기기.
  31. 공중의 표시에 대한 사용자의 조작을 검출하는 검출 장치로서,
    상기 사용자에 관한 정보에 기초하여, 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 제어부를 구비하는, 검출 장치.
  32. 공중의 표시에 대한 조작을 검출하는 검출 장치로서,
    상기 조작에 기초하여, 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 제어부를 구비하는, 검출 장치.
  33. 공중의 표시에 대한 사용자의 조작을 검출하여, 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 검출부를 구비하고,
    상기 검출부는, 상기 위치 관계를 사용자에 의해 변경 가능한, 검출 장치.
  34. 공중의 표시에 대한 사용자의 조작을 검출하여, 상기 사용자의 정보에 기초하여 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 검출부를 구비하는, 검출 장치.
  35. 공중의 표시에 대한 조작을 검출하여, 상기 조작에 기초하여 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 검출부를 구비하는, 검출 장치.
  36. 공중의 표시에 대한 사용자의 조작을 검출하는 검출 방법으로서,
    상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 사용자에 의해 변경하는, 검출 방법.
  37. 공중의 표시에 대한 사용자의 조작을 검출하는 검출 방법으로서,
    상기 사용자의 정보에 기초하여, 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는, 검출 방법.
  38. 공중의 표시에 대한 조작을 검출하는 검출 방법으로서,
    상기 조작에 기초하여, 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는, 검출 방법.
  39. 공중의 표시에 대한 사용자의 조작을 검출하고,
    상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 사용자에 의해 변경하는, 검출 방법.
  40. 공중의 표시에 대한 사용자의 조작을 검출하고,
    상기 사용자의 정보에 기초하여 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는, 검출 방법.
  41. 공중의 표시에 대한 조작을 검출하고,
    상기 조작에 기초하여 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는, 검출 방법.
  42. 공중의 표시에 대한 사용자의 조작을 검출하는 컴퓨터에 실행시키는 프로그램으로서,
    상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 사용자에 의해 변경하는 처리를 컴퓨터에 실행시키는, 프로그램.
  43. 공중의 표시에 대한 사용자의 조작을 검출하는 컴퓨터에 실행시키는 프로그램으로서,
    상기 사용자의 정보에 기초하여, 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시키는, 프로그램.
  44. 공중의 표시에 대한 조작을 검출하는 컴퓨터에 실행시키는 프로그램으로서,
    상기 조작에 기초하여, 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시키는, 프로그램.
  45. 공중의 표시에 대한 사용자의 조작을 검출하는 처리와,
    상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 사용자에 의해 변경하는 처리를 컴퓨터에 실행시키는, 프로그램.
  46. 공중의 표시에 대한 사용자의 조작을 검출하는 처리와,
    상기 사용자의 정보에 기초하여 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시키는, 프로그램.
  47. 공중의 표시에 대한 조작을 검출하는 처리와,
    상기 조작에 기초하여 상기 조작을 검출하는 검출 기준과 상기 표시의 위치 관계를 변경하는 처리를 컴퓨터에 실행시키는, 프로그램.
KR1020167004323A 2014-12-26 2014-12-26 검출 장치, 전자 기기, 검출 방법 및 프로그램 KR20170100411A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/084714 WO2016103520A1 (ja) 2014-12-26 2014-12-26 検出装置、電子機器、検出方法およびプログラム

Publications (1)

Publication Number Publication Date
KR20170100411A true KR20170100411A (ko) 2017-09-04

Family

ID=56149602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167004323A KR20170100411A (ko) 2014-12-26 2014-12-26 검출 장치, 전자 기기, 검출 방법 및 프로그램

Country Status (7)

Country Link
US (2) US10359883B2 (ko)
EP (1) EP3239816A4 (ko)
JP (1) JP6365660B2 (ko)
KR (1) KR20170100411A (ko)
CN (1) CN106062683B (ko)
TW (1) TW201633067A (ko)
WO (1) WO2016103520A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI564773B (zh) * 2015-08-05 2017-01-01 緯創資通股份有限公司 光學觸控系統及其光學觸控裝置
EP3182250B1 (en) * 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
EP3361457B1 (de) * 2017-02-13 2023-07-12 Diebold Nixdorf Systems GmbH Eingabeeinrichtung, geldautomat und verfahren
JP6923361B2 (ja) * 2017-05-29 2021-08-18 株式会社ミツトヨ 位置計測装置の操作方法
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6898021B2 (ja) * 2018-03-07 2021-07-07 Ｎｅｃソリューションイノベータ株式会社 操作入力装置、操作入力方法、及びプログラム
JP6658809B2 (ja) * 2018-07-04 2020-03-04 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム
CN112925430A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现悬浮触控的方法、3d显示设备和3d终端
TWI812872B (zh) * 2020-08-07 2023-08-21 騰騏科技股份有限公司 非接觸式電子輸入裝置
JP2024004509A (ja) * 2020-11-30 2024-01-17 株式会社村上開明堂 空中操作装置
US11775077B2 (en) * 2021-12-03 2023-10-03 Htc Corporation Method for activating system function in response to triggered icon on hand object, host, and computer readable storage medium
JP2024073690A (ja) * 2022-11-18 2024-05-30 キヤノン株式会社 画像形成装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4274997B2 (ja) 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
TW201020901A (en) * 2008-11-20 2010-06-01 Ibm Visual feedback for drag-and-drop operation with gravitational force model
JP4743267B2 (ja) * 2008-12-12 2011-08-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8514255B2 (en) * 2009-08-31 2013-08-20 Namco Bandai Games Inc. Information storage medium, image control device, and image control method
JP5446769B2 (ja) * 2009-11-20 2014-03-19 富士通モバイルコミュニケーションズ株式会社 ３次元入力表示装置
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US8717360B2 (en) 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
JP5533254B2 (ja) * 2010-05-24 2014-06-25 アイシン・エィ・ダブリュ株式会社 情報表示装置、情報表示方法及びプログラム
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program
EP2620849B1 (en) 2010-09-22 2019-08-28 Shimane Prefectural Government Operation input apparatus, operation input method, and program
JP5494423B2 (ja) 2010-11-02 2014-05-14 ソニー株式会社 表示装置、位置補正方法およびプログラム
JP5785753B2 (ja) 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5766479B2 (ja) * 2011-03-25 2015-08-19 京セラ株式会社 電子機器、制御方法および制御プログラム
JP5341126B2 (ja) 2011-03-31 2013-11-13 シャープ株式会社 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
EP2613226A1 (en) 2012-01-05 2013-07-10 Alcatel Lucent Initiating a logical connection between two devices using eye-gazing detection
US9423877B2 (en) * 2012-02-24 2016-08-23 Amazon Technologies, Inc. Navigation approaches for multi-dimensional input
US9671869B2 (en) * 2012-03-13 2017-06-06 Eyesight Mobile Technologies Ltd. Systems and methods of direct pointing detection for interaction with a digital device
CN103376891A (zh) 2012-04-23 2013-10-30 凹凸电子（武汉）有限公司 多媒体***，显示装置的控制方法及控制器
JP5610644B2 (ja) 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
JP2014067071A (ja) 2012-09-10 2014-04-17 Askanet:Kk 空中タッチパネル
EP2905676A4 (en) * 2012-10-05 2016-06-15 Nec Solution Innovators Ltd USER INTERFACE DEVICE AND USER INTERFACE PROCEDURE
US20140282274A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN103731526A (zh) * 2014-01-21 2014-04-16 唐景华 一种能将三维画面悬浮在空中虚拟成像的智能手机

Also Published As

Publication number Publication date
JP6365660B2 (ja) 2018-08-01
US10359883B2 (en) 2019-07-23
TW201633067A (zh) 2016-09-16
CN106062683A (zh) 2016-10-26
US20170017344A1 (en) 2017-01-19
US10860139B2 (en) 2020-12-08
EP3239816A4 (en) 2018-07-25
JPWO2016103520A1 (ja) 2017-09-14
US20190286280A1 (en) 2019-09-19
EP3239816A1 (en) 2017-11-01
CN106062683B (zh) 2021-01-08
WO2016103520A1 (ja) 2016-06-30

Similar Documents

Publication Publication Date Title
KR20170100411A (ko) 검출 장치, 전자 기기, 검출 방법 및 프로그램
KR20170105404A (ko) 제어 장치, 전자 기기, 제어 방법 및 프로그램
WO2018003861A1 (ja) 表示装置および制御装置
JP6822472B2 (ja) 表示装置、プログラム、表示方法および制御装置
JP6733731B2 (ja) 制御装置、プログラムおよび制御方法
US20220011900A1 (en) Detection device and program
JP6658809B2 (ja) 検出装置、電子機器、検出方法およびプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid