CN107199888A - 姿势输入***和姿势输入方法 - Google Patents

姿势输入***和姿势输入方法 Download PDF

Info

Publication number
CN107199888A
CN107199888A CN201710009397.4A CN201710009397A CN107199888A CN 107199888 A CN107199888 A CN 107199888A CN 201710009397 A CN201710009397 A CN 201710009397A CN 107199888 A CN107199888 A CN 107199888A
Authority
CN
China
Prior art keywords
posture input
input system
action
coordinate
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710009397.4A
Other languages
English (en)
Inventor
和久田大介
江崎贤
江崎贤一
松本玄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107199888A publication Critical patent/CN107199888A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Steering Controls (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Position Input By Displaying (AREA)

Abstract

提供一种提高了用户的便利性的姿势输入***和姿势输入方法。所述姿势输入***具备：传感器，检测用户身体的第一部分和第二部分的动作；控制器，根据所述第一部分的动作，设定实际空间的坐标系与假想空间的坐标系的对应关系，根据所述第二部分的位置和动作，受理对所述假想空间的对象的操作；以及通知装置，根据所述控制器的工作，以非接触方式向所述身体的第三部分通知预定的信息。

Description

姿势输入***和姿势输入方法
技术领域
本公开涉及根据用户的动作受理输入的姿势(gesture)输入***和姿势输入方法。
背景技术
在专利文献1中公开了一种受理来自用户的输入的以往的***。该***具备指点设备和显示部，所述指点设备具备由驾驶员的手操作的操作部和检测驾驶员的手的位置的检测部，所述显示部显示多个图标和光标。在该***中，不管驾驶员的手在指点设备的哪个位置，最初都设定为选择了中央的图标的状态。根据该以往的***，不管将手放置在指点设备的哪个位置，都始终能够以中央的图标为基准，识别其他图标的位置。
在先技术文献
专利文献
专利文献1：日本特开2004-345549号公报
发明内容
发明要解决的问题
本公开提供一种提高了用户的便利性的姿势输入***和姿势输入方法。
用于解决问题的手段
本公开的一个技术方案的姿势输入***具备：传感器，检测用户身体的第一部分和第二部分的动作；控制器，根据所述第一部分的动作，设定实际空间的坐标系与假想空间的坐标系的对应关系，根据所述第二部分的位置和动作，受理对所述假想空间的对象的操作；以及通知装置，根据所述控制器的工作，以非接触方式向所述身体的第三部分通知预定的信息。
这些概括性且特定的技术方案可由***、方法、计算机程序以及它们的组合来实现。
发明的效果
根据本公开的姿势输入***和姿势输入方法，能简化用户进行输入所需的动作，提高用户的便利性。
附图说明
图1是表示第一实施方式的姿势输入***的构成的框图。
图2是表示第一实施方式的姿势输入方法的流程图。
图3是表示第一实施方式中的可选择部位局部坐标映射和实际空间的例子的图。
图4是表示第一实施方式的坐标关联表的一例的图。
图5是表示第一实施方式的姿势输入方法的流程图。
图6是表示第二实施方式的姿势输入方法的流程图。
图7是表示第二实施方式中的、起始位置(home position)移动前的可选择部位的可选择范围和起始位置移动后的可选择部位的可选择范围的图。
图8是表示第三实施方式的姿势输入***的构成的框图。
图9是表示第三实施方式的显示装置的显示例的图。
图10是表示第三实施方式的姿势输入方法的流程图。
图11是表示第三实施方式的姿势输入方法的一例的流程图。
图12是表示第三实施方式的姿势输入方法的另一例的流程图。
图13是表示在车载中搭载了第四实施方式中的姿势输入***的例子的图。
具体实施方式
本公开的一个技术方案涉及的姿势输入***具备：传感器，检测用户身体的第一部分和第二部分的动作；控制器，根据所述第一部分的动作，设定实际空间的坐标系与假想空间的坐标系的对应关系，根据所述第二部分的位置和动作，受理对所述假想空间的对象的操作；以及通知装置，根据所述控制器的工作，以非接触方式向所述身体的第三部分通知预定的信息。
“第一部分”是为了读取与设定实际空间的坐标系与假想空间的坐标系的对应关系的操作进行了关联的预定的姿势而被检测的身体的一部分。“第二部分”是为了读取与对对象的操作进行了关联的预定的姿势而被检测的身体的一部分。“第三部分”是被通知预定信息的身体的一部分。
“检测动作”例如是指检测从由作为检测对象的移动量、移动速度、移动方向以及静止时间构成的组中选择的至少一个。“检测动作”不仅包含对检测对象正在动作进行检测这一情况，也包含对检测对象没有在动作进行检测这一情况。
“预定的信息”例如可以是用于表示已设定对应关系这一情况的信息，可以是用于支援对对象的操作的信息，还可以是用于表示已受理对对象的操作这一情况的信息。
在以下各种实施方式中说明的“参照部位”、“追踪部位”以及“通知部位(或触感提示部位)”分别是“第一部分”、“第二部分”以及“第三部分”的一例。
在以下各种实施方式中说明的“可选择部位”是“对象”的一例。对象例如是图标、按钮以及滚动条。对象不限定于用户能够视觉地识别的事物，也包含用户通过操作能够识别的事物。
在以下各种实施方式中说明的“输入控制装置”是“控制器”的一例。控制器例如可以是半导体装置、半导体集成电路(IC)、LSI(large scale integration：大规模集成电路)或将它们组合而成的电子电路。LSI或IC既可以集成在一个芯片上，也可以组合有多个芯片。例如，在实施方式中说明的各功能块可以集成在一个芯片中。在这里，根据集成的程度，LSI或IC例如称为***LSI、VLSI(very large scale integration：超大规模集成电路)或ULSI(ultra large scale integration：甚超大规模集成电路)。控制器包括存储器，所述存储器记录了用于执行预定算法的程序。该算法例如包括：根据用户身体的第一部分的动作设定实际空间的坐标系与假想空间的坐标系的对应关系的步骤、和根据身体的第二部分的位置和动作受理对假想空间的对象的操作的步骤。
在一个技术方案涉及的姿势输入***中，例如，也可以是，所述通知装置通过刺激所述第三部分的皮肤感觉，通知已设定预定信息这一情况。
“皮肤感觉”是通过皮肤人体能够识别的感觉。作为皮肤感觉的例子，可列举触觉、振动觉、压觉、温觉、冷觉以及痛觉。“刺激皮肤感觉”例如既可以是利用振动和/或压力给予刺激，也可以给予温感和/或冷感。例如，通知装置可以利用振动件(例如超声波振动件)向用户给予振动和/或声辐射压力，也可以利用激光器(laser)在空中生成等离子体，并向与该等离子体接触的皮肤给予冲击，也可以利用空气炮向用户给予空气的压力波。或者，通知装置可以利用红外线源向用户给予温感，也可以利用珀耳帖元件向用户给予冷感。换句话说，通知装置可以包括从由振动件、空气炮、珀耳帖元件以及红外线源构成的组中选择的至少一个。此外，在以下的实施方式中，为了便于说明，有时将对皮肤感觉的刺激称为“触感”。但是，本公开中的“皮肤感觉”不限定于触觉。
在本公开中，有时将映射至实际空间的坐标称为“实际坐标”，将映射至与实际空间对应的假想空间的坐标称为“假想坐标”。
在一个技术方案所涉及的姿势输入***中，例如，也可以是，所述控制器根据所述第一部分的动作在所述实际空间设定基点，并基于所述基点设定所述对应关系。
“基于基点设定对应关系”例如可以包括使在实际空间中设定的基点(例如特定的实际坐标)与在假想空间中预先设定的基点(例如特定的假想坐标)一致的步骤。
在以下各种实施方式中说明的“起始位置”是“基点”的一例。
以下说明的各种实施方式均表示一具体例。以下的实施方式所示的数值、形状、构成要素、构成要素的配置、连接、步骤、步骤的顺序等仅为一例，并不限定本公开。以下说明的构成要素中的没有记载于独立权利要求的构成要素是任意的构成要素。另外，有时会省略在附图中标注相同的标号的构成的说明。
(成为本公开的基础的见解)
在专利文献1记载的以往的***中，由于可输入的位置限定在指点设备的位置，所以用户为了进行输入而需要接触指点设备。进而，在该以往的***中，为了正确地进行意图的输入，用户必须注视显示部。这样，以往的***对用户来说是不便的。
根据以下说明的各种实施方式所涉及的姿势输入***和姿势输入方法，用户能够进行正确的输入，而无需用手接触输入部，且无需注视显示部。以下说明的姿势输入***采用姿势输入和非接触的通知。由此，用户能够高精度且快速地进行输入，而无需用手接触输入部。例如，在用户正在驾驶汽车的情况下，用户能够进行输入操作而不会降低对驾驶的注意力。
“姿势输入”是用户使用身体的一部分的动作，向电子设备等传递用户的操作的意思的输入方法。一般来说，在电子设备中，关联有姿势输入的身体的动作、与电子设备的操作相关的用户的意思以及电子设备内的命令。电子设备分析由传感器检测到的身体的动作，判定与操作相关的用户的意思表示，并执行与判定结果关联的命令。
姿势输入使用身体的一部分(例如指尖)来进行。传感器追踪身体的一部分的动作。在以下说明中，有时将为了姿势输入而追踪的身体的部分称为“追踪部位”。在姿势输入中，身体的动作例如被读取为以某时刻为起点的追踪部位的状态变化。追踪部位的状态变化通过追踪部位的移动量、移动速度、移动方向以及静止时间等的组合而成立。
在以下说明中，有时将空间内的姿势输入的基点(开始点)称为“起始位置”。实际空间中的起始位置例如是在追踪部位成为姿势输入的起点的时刻，追踪部位所处的实际坐标。
换句话说，姿势输入的身体的动作通过追踪部位与起始位置的相对关系而成立。例如，姿势输入时的身体的动作通过追踪部位从起始位置起的移动量、移动速度、移动方向以及静止时间等的组合而成立。
在以下说明的各种实施方式所涉及的姿势输入***和姿势输入方法中，在假想空间中设定受理预定输入的区域(即，可选择部位)。可选择部位的假想坐标与用户身体的一部分存在的实际坐标关联。算出用户的追踪部位位于可选择部位的哪个位置。由此，用户能够通过姿势输入选择在假想空间中设定的至少一个可选择部位。因此，用户能够高精度且快速地进行输入。在以下说明中，有时将假想空间的坐标称为“局部坐标”，将实际空间的坐标称为“全局坐标”。
(第一实施方式)
以下，参照附图说明第一实施方式。此外，在以后的说明中，按以下方式定义术语。
参照部位：在读取想设定起始位置这一用户的意思表示时所参照的身体的部分
追踪部位：为了姿势输入而追踪的身体的部分
触感提示部位：以非接触方式被提示触感的身体的部分
[1.姿势输入***的构成]
在图1中示出第一实施方式的姿势输入***的构成例。本实施方式的姿势输入***100包括：检测用户身体的动作的传感器1、基于传感器1的输出受理用户的姿势输入的输入控制装置2以及根据输入控制装置2的控制对用户提示触感的触感提示装置3。
传感器1是能够检测人体的动作的传感器。传感器1包括相机等视觉传感器。例如，传感器1是能够以非接触方式三维地检测出人体的动作的距离图像传感器或激光传感器。传感器1能够检测人体的动作即可，例如可以是超声波传感器、红外线传感器或可见光传感器。
在本实施方式中，传感器1检测：作为用户身体的一部分的参照部位的动作、作为用户身体的一部分的追踪部位的动作以及作为用户身体的一部分的触感提示部位(或通知部位)的动作。例如，传感器1将参照部位、追踪部位以及触感提示部位的三维坐标作为与参照部位、追踪部位以及触感提示部位的动作相关的信息取得。输入控制装置2能够任意地决定参照部位、追踪部位以及触感提示部位。例如，参照部位、追踪部位以及触感提示部位是上半身、脸部、手、手指或指尖。参照部位、追踪部位以及触感提示部位可以是同一位置，也可以是不同的位置。传感器1输出与检测到的参照部位、追踪部位以及触感提示部位的动作相关的信息。
输入控制装置2包括：基于传感器1检测到的信息而设定起始位置并受理姿势输入的控制部21和存储所设定的起始位置的存储部22。控制部21能够用半导体元件等实现，例如是微控制器。控制部21可以仅用硬件构成，也可以通过组合硬件和软件而实现。控制部21根据受理的姿势输入，对控制对象4进行控制。控制对象4是任意的装置，例如是导航装置、空调装置或音响装置。
存储部22例如能够用DRAM、闪存或铁电存储器等来实现。存储部22存储局部坐标映射23和坐标关联表24，所述局部坐标映射23表示作为受理预定输入的区域的至少一个可选择部位的假想坐标，所述坐标关联表24将局部坐标映射23内的可选择部位的假想坐标与实际坐标关联。
触感提示装置3是能够经由空气提示触感的通知装置。“触感”是指通过皮肤人体能够识别的感觉，包括振动和压力等力起作用的感觉、温暖和寒冷等冷热感。经由空气的触感的提示是不与人体接触而使人体感到触感的提示。在本实施方式中，作为经由空气的触感的提示，利用超声波的声辐射压力。
本实施方式的触感提示装置3包括排列多个超声波振动件而构成的超声波振动件阵列。超声波振动件阵列能够通过在空中的任意位置作出超声波的焦点，从而向人体的表面提示触觉。在超声波的焦点处，除了声压的振动外，还产生称为声辐射压力的静态压力。用与空气的声阻抗不同的物体遮挡在空气中传播的超声波时会产生声辐射压力。当成为声压级大的超声波时，超声波被身体表面遮挡，由此，产生人能够识别的推压身体表面的力。即，能够以非接触方式向身体提示力。一般来说，人能够将20Hz以上且20kHz以下的频率感受为声音，将该频带称为可听域。“超声波”是具有20kHz以上的频率的声波，人的耳朵听不到。为了不依靠听觉地提示触感，将频率设为20kHz以上即可。虽然超声波的频率没有上限的限制，但由于在空气中传播的超声波的衰减随着频率变高而变大，用于提示触感的超声波的频率优选20kHz～200kHz，更优选20kHz～100kH。能够向身体表面提示人能够识别的压力的超声波的声压级为140dB以上，优选150dB以上，更优选160dB以上。
可以通过间歇地驱动超声波振动件，和/或通过对超声波振动进行振幅调制，使声辐射压力按时间变化。由此，能够向用户提示振动。掌管振动觉的皮肤感觉的感受器官在特定的振动数下示出高的灵敏度。因此，可以使声辐射压力的调制频率与该振动数匹配。由此，即使声辐射压力相同，也能够提供更强的触感。该调制频率优选0～300Hz，更优选100Hz～300Hz。
[2.起始位置的设定]
在图2中示出第一实施方式涉及的姿势输入方法。姿势输入***100启动后，传感器1根据控制部21的指示，开始取得作为用户身体的一部分的参照部位的动作(S201)。参照部位既可以是一个，也可以是多个。具体而言，作为一例，传感器1取得参照部位的实际坐标，作为与参照部位的动作相关的信息。将参照部位的实际坐标称为“参照坐标”。传感器1向输入控制装置2输出与所取得的参照部位的动作相关的信息。
在输入控制装置2中，控制部21基于来自传感器1的信息，分析参照部位的动作(S202)。例如，基于参照坐标，分析参照部位的移动量、参照部位的移动速度、参照部位的移动方向以及参照部位的静止时间，由此分析参照部位的动作。控制部21基于分析的结果，判断是否检测到预定的动作(S203)。该预定的动作是用于表明用户设定起始位置的意思的动作，用参照部位的移动量、移动速度、移动方向以及静止时间等的任意组合预先决定。预定的动作的信息存储在存储部22中。例如，也可以将右手食指(即参照部位)通过或横穿在实际空间中假想的平面这样的动作预先决定为预定的动作。由此，用户能够仅利用右手食指设定起始位置。
控制部21在没有检测到预定的动作的情况下(即，判断为用户没有示出设定起始位置的意思的情况下)(在S203中为否)，返回步骤S201，继续利用传感器1取得参照部位的动作。
控制部21在检测到预定的动作的情况下(即，判断为用户示出设定起始位置的意思的情况下)(在S203中为是)，设定作为实际空间的基点的起始位置(S204)。具体而言，从传感器1取得检测到预定的动作的时间点的追踪部位的实际坐标，将其设定为起始位置。控制部21将所设定的起始位置的坐标信息存储在存储部22中。将追踪部位的实际坐标称为“追踪坐标”。追踪部位既可以在设定起始位置前预先决定，也可以与起始位置的设定同时决定。起始位置作为姿势输入时的基点而被参照。
控制部21从传感器1取得触感提示部位的实际坐标(S205)。触感提示部位既可以在设定起始位置前预先决定，也可以与起始位置的设定同时决定。触感提示部位既可以是一个，也可以是多个。将触感提示部位的实际坐标称为“触感提示坐标”。控制部21将所取得的触感提示坐标存储在存储部22中。
在设定起始位置之后，触感提示装置3根据控制部21的指示，以非接触方式在用触感提示坐标表示的用户的触感提示部位提示触感，由此，向用户通知已设定起始位置这一情况(S206)。由此，用户能够识别已设定起始位置这一情况而无需依赖于视觉、听觉以及通过固体的触觉，能够将提示触感时的追踪部位的位置识别为起始位置的位置。
触感提示部位与追踪部位可以是同一个。在该情况下，用户能够通过触感，在该起始位置的位置识别已设定起始位置这一情况。因此，能够进行直接感觉更强烈的姿势输入。
[3.参照部位、触感提示部位以及追踪部位的组合]
参照部位、触感提示部位以及追踪部位能够设定在身体的任意部分。例如，可以将参照部位、触感提示部位以及追踪部位均预先设定在右手食指的指尖。例如，也可以是，当用户的右手食指的指尖横穿在实际空间中假想的平面时，姿势输入***100判断为用户示出设定起始位置的意思。在该情况下，姿势输入***100可以将检测到用户右手食指指尖横穿在实际空间中假想的平面这一情况的时间点的右手食指指尖的实际坐标设定为起始位置，可以以非接触方式向右手食指指尖触感提示已设定起始位置这一情况。
作为另一例，可以将双眼的眼睑预先设定为参照部位，将右手食指的指尖预先设定为追踪部位，将额头预先设定为触感提示部位。例如，姿势输入***100可以在用户的双眼连续眨眼两次时，判断为用户示出了设定起始位置的意思。在该情况下，姿势输入***100可以将检测到双眼连续眨眼两次的时间点的右手食指指尖的实际坐标设定为起始位置，可以以非接触方式向额头触感提示已设定起始位置这一情况。
另外，作为另一例，也可以将右手五根指尖分别预先设定作为参照部位。例如，也可以是，当用户右手五根指尖中的某一根横穿在实际空间中假想的平面时，姿势输入***100判断为用户示出设定起始位置的意思。在该情况下，姿势输入***100可以将检测到右手五根指尖中的某一根横穿在实际空间中假想的平面这一情况的时间点的该一根指尖的实际坐标设定为起始位置，可以以非接触方式向该一根指尖触感提示已设定起始位置这一情况。
[4.局部坐标映射和坐标关联表]
输入控制装置2的控制部21在设定实际空间中的起始位置(S204)之后，从存储部22读出局部坐标映射23(S207)，将局部坐标映射23表示的可选择部位的假想坐标和实际坐标进行关联，由此，生成坐标关联表24(S208)。在本实施方式中，局部坐标映射23预先存储在存储部22中。控制部21将生成的坐标关联表24存储在存储部22中。
图3的上图表示局部坐标映射23的一例。局部坐标映射23包括：作为假想空间的基点的起始位置23a的坐标和至少一个可选择部位23b的坐标。局部坐标映射23是在假想空间中将起始位置23a的坐标作为原点，表示可选择部位23b的坐标的映射。向可选择部位23b分配了各自不同的功能。例如，向可选择部位23b分配了变更与控制对象4关联的参数的功能。在该情况下，用户选择可选择部位23b，进行预先决定的输入动作。由此，用户能够变更与控制对象4关联的参数。局部坐标映射23可以预先存储在存储部22中，例如，可以是，每当设定实际空间的起始位置时，基于实际空间的起始位置与传感器1的可检测范围的位置关系而生成。
图3的下图表示实际空间的一例。由于起始位置23a和可选择部位23b位于假想空间中，所以用户不能够在实际空间中直接观察、接触它们。用户间接地识别在局部坐标映射23中定义的可选择部位23b的配置关系并进行姿势输入。例如，在用户发出指示时或从姿势输入***100启动时起的预定时间内，显示装置(未图示)将局部坐标映射23作为图像视觉地显示。由此，用户能够识别在假想空间中定义的起始位置23a和可选择部位23b的配置关系。
在图4中示出坐标关联表24的一例。坐标关联表24将实际空间中的起始位置24a的全局坐标和假想空间中的起始位置23a的局部坐标进行关联。进而，坐标关联表24将假想空间中的可选择部位23b的局部坐标和实际空间中的全局坐标进行关联。此外，假想空间中的起始位置24a和可选择部位23b的局部坐标的信息包括在局部坐标映射23内。控制部21基于起始位置23a的局部坐标与可选择部位23b的局部坐标的相对位置关系、和实际空间的起始位置24a，生成图4所示的坐标关联表24。例如，也可以是，将起始位置23a的局部坐标和起始位置23b的全局坐标设定为基准点，并基于该基准点，任意设定与可选择部位23b的局部坐标对应的全局坐标。例如，也可以是，在实际空间中假想与连结起始位置24a与用户的脸部的轴线垂直的平面，并将可选择部位23b的局部坐标与该平面上的全局坐标关联。也可以是，在坐标关联表24中，全局坐标与局部坐标的关联并不准确地反映实际空间的距离和方向。例如，也可以是，坐标关联表24仅反映全局坐标的三个轴向中的一个方向。另外，例如，坐标关联表24可以反映追踪坐标的移动速度，也可以反映追踪坐标的移动时间和移动方向。如以上说明那样，输入控制装置2将实际空间的起始位置24a的全局坐标和假想空间的起始位置23a的局部坐标进行关联。除此之外，触感提示装置3能够向用户通知已设定起始位置24a这一情况。由此，用户能够将实际空间的起始位置24a的位置识别为假想空间的起始位置23a的位置。因此，用户能够通过在实际空间中的身体的动作，选择假想空间的可选择部位23b。
存储部22存储有决定可选择部位23b的局部坐标与实际空间的某全局坐标的对应关系的信息(例如函数)。而且，在设定实际空间中的起始位置24a的位置之后，控制部21使用存储在存储部22中的信息(例如函数)，生成坐标关联表24。
作为一例，以下示出表示局部坐标的X坐标与全局坐标的X坐标的对应关系的函数。例如，设想如下情况：在假想空间内中，起始位置23a的局部坐标为0，可选择部位A～E的局部坐标分别为x2～x6。在该情况下，如果实际空间内的起始位置24a的全局坐标为X1，则与可选择部位A～E对应的全局坐标例如如下述的X2～X6那样决定。
可选择部位A的实际空间的全局坐标X2＝X1+x2×α
可选择部位B的实际空间的全局坐标X3＝X1+x3×α
可选择部位C的实际空间的全局坐标X4＝X1+x4×α
可选择部位D的实际空间的全局坐标X5＝X1+x5×α
可选择部位E的实际空间的全局坐标X6＝X1+x6×α
在这里，α是预定的系数，表示实际空间的比例尺相对于假想空间的比例尺的比例。
[5.姿势输入]
在图5中示出图2的后续的流程。在输入控制装置2的控制部21生成坐标关联表24后，传感器1根据控制部21的指示，对追踪部位的动作和触感提示部位的动作进行追踪(S501)。具体而言，传感器1取得追踪部位的实际坐标作为与追踪部位的动作相关的信息，取得触感提示部位的实际坐标作为与触感提示部位的动作相关的信息。追踪部位和触感提示部位既可以是一个，也可以是多个。传感器1向输入控制装置2输出与取得的追踪部位和触感提示部位的动作相关的信息。
在输入控制装置2中，控制部21判断从开始追踪追踪部位的动作起是否经过了预定时间(S502)。如果经过了预定时间(在S502中为是)，则触感提示装置3向触感提示坐标表示的触感提示部位提示触感，由此，向用户示出姿势输入的结束(S508)，取消起始位置24a的设定，返回至参照部位的动作的取得(S201)。由此，在追踪部位从任一个可选择部位的位置离开的状态持续预定时间以上的情况下，能够解除姿势输入的等待状态。或者，也可以是，在追踪部位从起始位置24a的位置离开的状态持续预定时间以上的情况下，解除姿势输入的等待状态。
如果没有经过预定时间(在S502中为否)，则控制部21基于来自传感器1的信息，参照坐标关联表24，判断追踪部位是否位于与可选择部位对应的位置(S503)。
例如，在图3所示的例子中，以如下方式执行判断步骤。首先，在局部坐标映射23中，定义了假想空间中的“可选择部位A”23b的位置。例如，“可选择部位A”23b的位置位于起始位置23a(即基点)的右侧，且与起始位置23a隔开30mm的距离的位置。然后，通过坐标关联表24，关联有与假想空间的“可选择部位A”23b的位置对应的实际空间的预定位置。例如，实际空间内的该预定位置位于起始位置24a(即基点)的右侧，且与起始位置23a隔开30mm的距离的位置。在这样的情况下，用户将右手食指的指尖(即追踪部位)移动到实际空间内的该预定位置时，控制部21判断为追踪部位位于与假想空间的“可选择部位A”23b对应的位置。
如果追踪部位没有成为与可选择部位对应的位置(在S503中为否)，则继续进行追踪部位的追踪，直到经过预定时间(S501)。
如果追踪部位位于与可选择部位对应的位置(在S503中为是)，则触感提示装置3根据控制部21的指示，向触感提示部位提示触感，由此，向用户示出已选择了可选择部位这一情况(S504)。此时，也可以按每个可选择部位改变触感。输入控制装置2的控制部21分析追踪部位的动作，判断是否检测到预定的姿势(S505)。预定的姿势与执行分配给可选择部位的功能的指示相关联。该对应关系预先决定，并存储在存储部22中。
控制部21基于来自传感器1的信息，分析实际空间的起始位置24a与追踪坐标的相对关系。具体而言，控制部21通过检测以起始位置24a为基点的追踪部位的状态变化，能够分析追踪部位的动作。追踪部位的状态变化例如是追踪部位的移动量、移动速度、移动方向以及静止时间的组合。
如果在追踪部位位于与可选择部位对应的位置时，没有检测到预定的姿势(在S505中为否)，则继续利用传感器1取得追踪部位的动作(S501)。
如果在追踪部位位于与可选择部位对应的位置时，检测到预定的姿势(在S505中为是)，则控制部21受理姿势输入，对控制对象4进行控制以执行分配给可选择部位的功能(S506)。
进而，触感提示装置3根据控制部21的指示，以非接触方式向触感提示部位通知触感，由此，向用户示出受理了姿势输入并执行了分配给可选择部位的功能这一情况(S507)。
追踪部位来到与可选择部位对应的位置时向用户提示的触感(S504)、受理了姿势输入时和/或执行分配给可选择部位的功能时向用户提示的触感(S507)可以不同。例如，这些触感可以利用压力的强弱或不同的振动加以区别。追踪部位在与可选择部位对应的位置时向用户提示的触感(S504)、受理了姿势输入时和/或执行分配给可选择部位的功能时向用户提示的触感(S507)既可以与设定起始位置时的触感(S206)相同，也可以不同。追踪部位在与可选择部位对应的位置时的触感提示部位、受理了姿势输入时和/或执行分配给可选择部位的功能时的触感提示部位既可以与通知起始位置的设定时的触感提示部位相同，也可以不同。
[6.效果和补充]
根据本实施方式的姿势输入***100，将作为受理预定输入的区域的可选择部位在假想空间中的坐标与用户存在的实际坐标关联。由此，用户能够通过在实际空间中的姿势输入，选择假想空间内的可选择部位。因此，如果用户在传感器1的检测范围内，则能够进行在任意位置的输入。用户能够快速地进行输入，而无需用手接触触摸面板等输入部。进而，根据本实施方式的姿势输入***100，以非接触方式向用户通知已设定起始位置这一情况和已选择可选择部位这一情况。因此，用户即使不注视显示部，也能够识别起始位置的位置，能够识别已选择可选择部位这一情况。这样，用户即使不注视显示部，也能够正确地选择可选择部位。其结果，用户能够高精度且快速地进行输入，提高输入操作的便利性。用户例如能够设定起始位置并识别该位置，而无需依赖于视觉和听觉。因此，用户能够感觉直接地实施以起始位置为基点的姿势输入。
根据本实施方式的姿势输入***100，能够通过触感以非接触方式提示起始位置。因此，用户能够识别起始位置，而无需依赖于视觉、听觉以及通过固体的触觉。因此，例如，即使在用户不能注视显示部的状况下，也能够依赖触觉，快速且高精度地进行期望的输入操作。另外，例如，即使在用户不能倾听声音提示的状况下，也能够依赖触感，快速且高精度地进行期望的输入操作。根据本实施方式的姿势输入***100，能够执行期望的功能，而不受机械地构成的按钮类等物体限制。
此外，也可以使用将局部坐标映射23内的可选择部位23b的局部坐标与实际空间的全局坐标关联的函数来取代坐标关联表24。函数既可以预先存储在存储部22中，也可以在设定起始位置24a时生成。另外，也可以是，函数是全局坐标与局部坐标的对应关系根据追踪部位的移动速度而变化的函数。函数例如可以是基于追踪部位从起始位置24a起的移动距离和移动速度的函数。例如，可选择部位23b(A～E)的全局坐标Xi(i＝2～6)可以用以下函数表示。
Xi＝X1+d×(i-1)/v×α
其中，X1表示设定的实际空间的起始位置24a的X坐标，d表示假想空间中的起始位置23a与其相邻的可选择部位23b(例如可选择部位A)之间的距离和相互相邻的可选择部位间的距离，v表示追踪部位的移动速度，α表示任意设定的系数。
在本实施方式中，说明了传感器1检测用户身体的一部分的动作，分别取得参照坐标、追踪坐标以及触感提示坐标的例子。但是，控制部21可以解析从传感器1取得的信息，并算出参照坐标、追踪坐标以及触感提示坐标。例如，传感器1可以输出包括参照部位、追踪部位以及触感提示部位的全部的区域的距离图像。在该情况下，输入控制装置2(例如控制部21)可以解析该距离图像，由此，取得参照坐标、追踪坐标以及触感提示坐标。
姿势输入***100也可以构成为：用户能够自由地设定成为起始位置的设定(S203)的判断基准的参照部位的动作、和成为姿势输入(S505)的判断基准的追踪部位的动作。另外，姿势输入***100也可以构成为：用户能够预先设定参照部位、追踪部位以及触感提示部位。
在本实施方式中，作为触感提示装置3而利用了超声波的声辐射压力，但触感提示装置3并不限定于此，例如，既可以利用空气的流动，也可以利用红外线。例如，触感提示装置3能够通过使用红外线，以非接触方式向身体提示温感。另外，向用户的通知既可以以非接触方式向用户通知，也可以使用触感以外的方式。例如，可以使用声音或光。
(第二实施方式)
本实施方式的姿势输入***100在用户将起始位置24a设定在不能选择至少一个可选择部位的位置时，向用户催促起始位置24a的移动。由此，姿势输入***100能够将起始位置24a再设定在用户能够选择全部可选择部位的位置。图6表示第二实施方式的姿势输入方法。图6的各步骤在图2的流程与图5的流程之间，即，在生成了坐标关联表24(S208)之后追踪追踪部位的动作(S501)之前进行。
输入控制装置2的控制部21参照坐标关联表24，判断是否全部可选择部位位于传感器1的检测范围内(S601)。传感器1的检测范围既可以预先存储在存储部22中，也可以从传感器1取得。在判断为至少一个可选择部位位于检测范围外的情况下(在S601中为否)，控制部21计算全部可选择部位进入传感器1的检测范围内的、起始位置的推荐位置(S602)。例如，基于当前的起始位置24a、局部坐标映射23、用于决定与可选择部位23b的局部坐标对应的全局坐标的信息(例如函数)，计算全部可选择部位进入传感器1的检测范围内，且距当前的起始位置24a最近的推荐位置。控制部21算出从当前的起始位置24a的位置到推荐位置为止的距离和方向。图7的左上图和右上图分别表示变更起始位置24a之前的传感器1的检测范围和可选择范围23c。图7的左下图和右下图分别表示变更起始位置24a之后的传感器1的检测范围和可选择范围23c。例如，如图7的左上图所示，在最初设定的起始位置24a的位置接近传感器1的检测范围的右端的情况下，如图7的右上图所示，追踪部位在传感器1的检测范围内进行动作时能够选择的可选择部位被限制在可选择范围23c内。即，用户不能选择可选择范围23c外的可选择部位。在该情况下，如图7的右下图所示，控制部21计算全部可选择部位都位于可选择范围23c内的、起始位置24a的推荐位置。例如，控制部21算出使起始位置24a从其最初设定的位置起向左侧方向移动多远即可。
触感提示装置3根据控制部21的指示，向触感提示部位提示触感，由此，示出应使追踪部位移动的方向(S603)。例如，触感提示装置3将向触感提示部位提示的触感从右侧向左侧的方向移动，由此，进行引导以使追踪部位向左侧方向移动。由此，引导用户以将追踪部位移动到推荐位置。传感器1根据控制部21的指示追踪追踪部位，输入控制装置2基于传感器1的输出，判断追踪部位是否移动到起始位置的推荐位置(S604)。如果追踪部位没有到达起始位置的推荐位置(在S604中为否)，则利用触感提示装置3继续进行触感提示，直到追踪部位到达起始位置的推荐位置(S603)。当输入控制装置2判断为追踪部位到达了起始位置的推荐位置时(在S604中为是)，将该推荐位置再设定为起始位置24a(S605)。触感提示装置3根据控制部21的指示，向触感提示部位提示触感，由此，向用户示出已再设定起始位置24a这一情况(S606)，输入控制装置2的控制部21基于再设定的起始位置，重新制作坐标关联表24(S607)。
由此，即使在最初设定的起始位置24a不是适当的位置的情况下，用户也能够按照姿势输入***100的引导移动追踪部位，由此将起始位置24a再设定在适当的位置。
(第三实施方式)
在图8中示出本公开的第三实施方式的姿势输入***100的构成。本实施方式的姿势输入***100具备显示可选择部位23b的图像的显示装置5。显示装置5视觉地辅助姿势输入。显示装置5例如是平视显示器(HUD：Head Up Display)。在图9中示出显示装置5的画面的显示例。显示装置5显示表示可选择部位的映射图像51a。映射图像51a与局部坐标映射23对应，利用图标52表示可选择部位23b的相对位置。
在图10～图12中示出本实施方式中的姿势输入方法。图10是在图2的流程中追加了与可选择部位的图像的显示相关的步骤S1001而成的图。在图10中，步骤S1001以外的各步骤与图2相同。当本实施方式的姿势输入***100生成坐标关联表24时(S208)，将图9所示的映射图像51a显示在显示装置5上(S1001)。
图11是在图5的流程中追加了与可选择部位的图像的显示相关的步骤S1101～S1103而成的图。当输入控制装置2的控制部21判断为追踪部位位于与可选择部位对应的位置时(在S503中为是)，经由触感提示装置3向触感提示部位提示触感(S504)，且经由显示装置5向用户提示预定的视觉效果(S1101)，并通过触感和视觉向用户示出已选择可选择部位这一情况。例如，如图9所示，在所选择的图标52上追加视觉效果53。由此，用户能够识别已选择可选择部位这一情况。视觉效果53是能够区别可选择部位的选择/非选择的效果即可。例如，视觉效果53既可以是增大所选择的图标52这样的显示，也可以是使图标52摇晃这样的显示。或者，视觉效果53可以是改变图标52的形状这样的显示，也可以是改变图标52的颜色这样的显示。这样，本实施方式的姿势输入***100通过触感和视觉双方，向用户通知已选择可选择部位这一情况。
另外，如果在追踪部位位于与可选择部位对应的位置时，检测到预定的姿势(在S505中为是)，则输入控制装置2的控制部21经由触感提示装置3向触感提示部位提示触感(S507)，且经由显示装置5向用户提示预定的视觉效果(S1102)，由此，向用户通知执行了分配给可选择部位的功能这一情况。例如，视觉效果也可以是使图标52闪烁这样的显示。表示已选择可选择部位这一情况的视觉效果(S1101)和表示已执行功能这一情况的视觉效果(S1102)可以相互不同。
当从开始对追踪部位进行追踪起经过了预定时间时(在S502中为是)，解除姿势输入的等待状态，并消除映射图像51a(S1103)。
图12是在图6的流程中追加了与可选择部位的图像的显示相关的步骤S1201而成的图。输入控制装置2的控制部21再设定了起始位置时(S605)，根据再设定的起始位置的位置，变更显示装置5中的映射图像的显示位置。例如，在图9中，在向左侧的方向变更了起始位置的位置时，映射图像51b变更为映射图像51a，由此，映射图像的显示位置向左侧移动。
这样，本实施方式的姿势输入***100经由显示装置5显示可选择部位的图像作为触感提示的辅助。由此，用户能够以更高精度进行操作。此外，由于姿势输入***100能够通过触感向用户通知各种信息，所以即使不注视显示装置5的映射图像51a，也能够进行期望的输入。
此外，也可以是，姿势输入***100向控制对象4本身赋予视觉效果来取代显示装置5的图像显示，或在显示装置5的图像显示的基础上向控制对象4本身赋予视觉效果。例如，在控制对象4为音响装置的情况下，可以使音响装置的音量调整按钮发光。
(第四实施方式)
在本实施方式中，说明在汽车上安装有姿势输入***100及其控制对象4的情况下的例子。在图13中示出了在具备转向装置6的汽车上搭载了姿势输入***100的例子。
传感器1例如可以是采用了“TOF(Time of Flight：飞行时间)”这样的方式的传感器。该传感器基于向用户身体投射红外线到红外线反射回来的时间，取得深度信息，由此，三维地检测用户的动作。为了检测驾驶员的手的动作，该传感器1例如设置在驾驶席正面的前挡风玻璃之下。传感器1检测从转向装置6起预定范围内的用户身体的动作。例如，传感器1设置于能够取得在驾驶员握着转向装置6的状态下立起手指时的指尖的位置信息的位置。
触感提示装置3包括利用超声波的声辐射压力的超声波振动件阵列。例如，在超声波振动件阵列中，呈格子状排列有驱动频率为40kHz的249个超声波振动件。触感提示装置3通过分别独立地驱动超声波振动件，在空中的任意位置作出超声波的焦点。由此，能够在聚焦点形成用一个一个超声波振动件不能输出的大小的声压。例如，准备249个在单独驱动的情况下示出在测定距离为300mm处小于120dB的输出的超声波振动件，呈格子状排列这些超声波振动件以使得输出在300mm的位置形成焦点。在该情况下，在聚焦点得到159dB的声压级。在超声波的焦点处，产生声辐射压力这样的静态压力，通过用身体的表面遮挡该静态压力，产生推压身体表面的力。由此，能够以非接触方式向身体提示压力。进而，通过间歇地驱动超声波振动件，能够使声辐射压力按时间变化，并向用户提示振动。例如，通过在超声波振动件上施加200Hz矩形波的振幅调制并使之驱动，能够向用户提示振动。为了向操作转向装置6的驾驶员的指尖提示触感，超声波振动件阵列设置在转向杆(steering column)的上表面。
在驱动汽车的发动机时，姿势输入***100启动。由此，传感器1开始取得驾驶员的动作。在本实施方式中，将驾驶员右手的指尖检测作为参照部位。在本实施方式中，作为为了表示用户想设定起始位置的意思而进行的动作，预先设定有作为参照部位的右手指尖横穿从汽车的转向装置离开50mm的面7的动作。由此，即使驾驶员正在驾驶，也能够通过在握着转向装置6的状态下立起右手的一根手指，示出想设定起始位置的意思。
在控制部21经由传感器1检测到右手食指的指尖横穿从汽车的转向装置6离开50mm的面7这一情况时，将该右手食指的指尖的位置(例如坐标)设定为起始位置24a，并将该位置设定为触感提示部位和追踪部位。
为了向驾驶员通知已设定起始位置24a这一情况，控制部21将来自触感提示装置3的超声波的焦点与设定为起始位置24a的指尖匹配。此时，触感提示装置3在超声波上施加200Hz的振幅调制。由此，驾驶员能够感到振动。因此，驾驶员能够通过触感识别已设定起始位置这一情况和该起始位置的位置，而无需依赖于视觉、听觉以及通过固体的触觉。
输入控制装置2例如预先将图3的上图所示的局部坐标映射23存储在存储部22中。或者，输入控制装置2在设定起始位置24a时生成局部坐标映射23并存储在存储部22中。此时，例如向排列好的可选择部位23b分配了用于切换安装于汽车的空调机的打开/关闭(ON/OFF)的、和/或用于设定来自空调机的风的吹出位置的功能。在设定了起始位置24a之后，输入控制装置2基于设定好的起始位置24a，生成坐标关联表24。例如，将局部坐标映射23的局部坐标设定为仅与实际空间中的追踪坐标的X方向的动作对应。由此，忽视实际空间中的追踪部位的Y方向和Z方向的动作，仅将实际空间中的追踪部位的X方向的动作作为选择可选择部位时的动作加以利用。
在右手一根手指的指尖为追踪部位的情况下，传感器1追踪该指尖的动作，并取得指尖的坐标。输入控制装置2参照坐标关联表24，算出指尖的坐标与局部坐标映射23内的哪个位置对应。当指尖到达了与可选择部位23b对应的位置时，输入控制装置2判断为选择了可选择部位23b。而且，触感提示装置3向指尖提示触感，由此，向驾驶员通知已选择可选择部位23b这一情况。例如，用户在选择了可选择部位23b的状态下进行了预定的姿势，例如进行了弯曲指尖后并伸直的动作时，输入控制装置2执行分配给可选择部位23b的功能。除此之外，触感提示装置3向指尖提示触感，并向用户通知已执行该功能这一情况。用于示出已选择可选择部位23b的触感、和用于示出已受理输入指示的触感可以相互不同。例如，这些触感也可以通过使超声波的调制频率变化而不同。或者，触感提示装置3可以间歇地进行触感提示。在追踪部位没有处于与可选择部位对应的位置的状态持续了预定时间时，输入控制装置2既可以判断为驾驶员没有示出操作的意思，也可以解除姿势输入的等待状态，返回至监视参照部位的动作。
通过该一连串步骤，用户能够快速且高精度地进行姿势输入，而无需依赖于视觉、听觉以及通过固体的触觉。根据本实施方式的姿势输入***100，只要用户在从转向装置6离开50mm的面7内，不管在哪里都能够示出想设定起始位置24a的意思。因此，在驾驶期间，驾驶员例如能够在握着转向装置6的状态下立起右手的一根手指来设定起始位置24a。另外，由于姿势输入***100通过触感向用户提示起始位置24a的设定和姿势输入的受理，所以即使在驾驶汽车时，用户也无需注视显示装置。因此，用户(即驾驶员)能够进行输入操作而不降低对驾驶的注意力。这样，根据本实施方式，能够感觉直接地执行输入操作，而不伴随着摸索操作位置的动作和/或大的视线移动。
此外，也可以是，在转向装置6的转向角A比预定角度大时，输入控制装置2中断基于参照部位和追踪部位的动作的控制(例如，用于设定起始位置24a的控制)。或者，也可以是，在转向装置6的转向角A比预定角度大时，输入控制装置2解除已经设定好的起始位置24a。通过这些中断或解除，例如，在汽车拐弯时，能够使用户不进行姿势输入，能够进行安全的驾驶。
(实施方式的概要)
(1)本公开的姿势输入***具备：传感器，检测作为用户身体的一部分的参照部位的动作和作为用户身体的一部分的追踪部位的动作；输入控制装置，基于由传感器检测到的参照部位的动作，设定实际空间内的基点，并基于以设定好的基点为基准的追踪部位的动作受理输入；以及通知装置，根据在输入控制装置受理的输入，以非接触方式向作为用户身体的一部分的通知部位通知预定的信息，输入控制装置基于基点，生成表示实际坐标与假想坐标的关联的对应信息，所述假想坐标包括作为受理预定输入的区域的至少一个可选择部位，参照对应信息，将由传感器检测到的追踪部位在实际空间中的动作与对假想空间内的可选择部位的操作进行关联，并基于对可选择部位的操作受理预定的输入。
这样，通过进行可选择部位的假想坐标与实际坐标的关联，能够受理基于身体的动作的输入，所以用户例如即使不接触触摸面板等输入部，也能够进行输入。因此，能够进行快速的输入。另外，由于根据受理的输入，以非接触方式向通知部位通知预定的信息，所以用户例如即使不注视显示部，也能够高精度地进行输入。
(2)也可以是，在(1)的姿势输入***中，输入控制装置参照对应信息，判断由传感器检测到的追踪部位是否位于与可选择部位对应的位置，在追踪部位位于与可选择部位对应的位置时，当利用传感器检测到追踪部位的预定的动作时，受理与可选择部位对应的预定输入。
由此，由于用户能够通过在实际空间中的操作，执行与可选择部位对应的预定的输入，所以能够进行快速的输入。
(3)也可以是，在(2)的姿势输入***中，通知装置以非接触方式向通知部位通知已利用输入控制装置设定基点这一情况和由传感器检测到的追踪部位位于与可选择部位对应的位置这一情况。
由此，用户例如即使不注视显示部，也能够高精度地进行输入。
(4)也可以是，在(1)至(3)中任一项的姿势输入***中，输入控制装置将参照部位进行了预定的动作时的追踪部位的实际坐标设定作为基点。
由此，用户能够感觉直接地进行利用从基点起的身体的动作的姿势输入。
(5)也可以是，在(1)至(4)中任一项的姿势输入***中，输入控制装置在设定基点时，基于基点决定可选择部位的假想坐标。
由此，能够根据设定好的基点的位置，配置可选择部位。
(6)也可以是，在(1)至(5)中任一项的姿势输入***中，对应信息是将实际坐标与可选择部位的假想坐标关联的表或函数。
由此，通过在实际空间中进行姿势输入，能够选择假想空间的可选择部位。
(7)也可以是，在(1)至(6)中任一项的姿势输入***中，输入控制装置根据追踪部位的移动速度，变更实际坐标与可选择部位的假想坐标的关联。
由此，姿势输入时的操作性变得良好。
(8)也可以是，在(1)至(7)中任一项的姿势输入***中，输入控制装置基于设定好的基点，判断是否能够将假想空间的全部可选择部位的坐标与在传感器的检测范围内能够检测到的追踪部位的实际坐标进行关联，在不能够将假想空间的全部可选择部位的坐标与在传感器的检测范围内能够检测到的追踪部位的实际坐标进行关联的情况下，算出能够将假想空间的全部可选择部位的坐标与在传感器的检测范围内能够检测到的追踪部位的实际坐标进行关联的基点的推荐位置，通知装置以非接触方式向通知部位通知向基点的推荐位置的方向，直到追踪部位到达基点的推荐位置，当追踪部位到达基点的推荐位置时，输入控制装置将基点的推荐位置再设定为基点。
由此，由于能够选择全部可选择部位，所以姿势输入时的操作性变得良好。
(9)也可以是，在(1)至(8)中任一项的姿势输入***中，追踪部位没有处于与可选择部位对应的位置的时间超过了预定时间时，取消基点的设定。
由此，能够在错误地设定了基点等时候解除基点的设定。
(10)也可以是，在(1)至(9)中任一项的姿势输入***中，参照部位、追踪部位以及通知部位中的至少两个是同一个。
由此，用户能够感觉直接地进行基点的设定和利用从基点起的身体的动作的姿势输入。
(11)也可以是，在(1)至(10)中任一项的姿势输入***中，通知装置向用户身体的一部分通知已基于对可选择部位的操作受理了预定的输入这一情况。
由此，用户能够实际感受到已执行基于姿势输入的控制。
(12)也可以是，在(1)至(11)中任一项的姿势输入***中，还具备在设定基点期间视觉地表示可选择部位的显示装置。
由此，用户能够更准确地进行姿势输入。
(13)也可以是，在(12)的姿势输入***中，在追踪部位位于与可选择部位对应的位置时，显示装置追加表示已选择可选择部位这一情况的视觉效果。
由此，用户能够以更高精度进行姿势输入。
(14)也可以是，在(12)或(13)的姿势输入***中，在受理了预定的输入时，显示装置追加表示已受理预定的输入这一情况的视觉效果。
由此，用户能够以更高精度进行姿势输入。
(15)也可以是，在(12)至(14)中任一项的姿势输入***中，显示装置将可选择部位显示在基于基点的位置。
由此，用户能够掌握在假想空间中设定的可选择部位在实际空间中的相对位置。
(16)也可以是，在(1)至(15)中任一项的姿势输入***中，通知装置通过提示触感而进行通知。
由此，用户能够依赖触感，高精度地进行期望的输入操作。
(17)也可以是，在(16)的姿势输入***中，通知装置包括多个超声波振动件，并通过由超声波振动件输出的声辐射压力进行通知。
由此，用户能够依赖触感，高精度地进行期望的输入操作。
(18)也可以是，(1)至(17)中任一项的姿势输入***搭载在具备转向装置的汽车中，传感器从转向装置检测出预定范围内的用户身体的动作。
由此，即使用户正在驾驶，也能够进行输入而不使手离开转向装置。
(19)也可以是，在(18)的姿势输入***中，在转向装置的转向角比预定角度大时，输入控制装置中断基于由传感器检测到的参照部位和追踪部位的动作的控制。
由此，例如，由于在汽车拐弯时不能进行姿势输入，所以驾驶期间的安全性提高。
(20)本公开的姿势输入方法包括：检测作为用户身体的一部分的参照部位的动作的步骤；基于检测到的参照部位的动作设定实际空间内的基点的步骤；检测作为用户身体的一部分的追踪部位的动作的步骤；基于以设定好的基点为基准的追踪部位的动作受理输入的步骤；以及根据受理的输入，以非接触方式向作为用户身体的一部分的通知部位通知预定的信息的步骤，在基于以基点为基准的追踪部位的动作受理输入的步骤中，基于基点，生成表示实际坐标与假想坐标的关联的对应信息，所述假想坐标包括作为受理预定的输入的区域的至少一个可选择部位，参照对应信息，将检测到的追踪部位在实际空间中的动作与对假想空间内的可选择部位的操作进行关联，并基于对可选择部位的操作受理预定输入。
这样，通过进行可选择部位的假想坐标与实际坐标的关联，能够受理基于身体的动作的输入，因此用户例如即使不接触触摸面板等输入部，也能够进行输入。因此，能够进行快速的输入。另外，由于根据受理的输入，以非接触方式向通知部位通知预定的信息，所以用户例如即使不注视显示部，也能够高精度地进行输入。
本公开的全部权利要求所记载的姿势输入***和姿势输入方法通过硬件资源，例如处理器、存储器以及程序的协作等而实现。
产业上的可利用性
本公开的姿势输入***例如作为搭载在汽车中的导航装置、空调装置以及音响装置的输入控制单元是有用的。
标号说明
1 传感器
2 输入控制装置
3 触感提示装置
4 控制对象
5 显示装置
21 控制部
22 存储部
23 局部坐标映射
24 坐标关联表
100 姿势输入***

Claims (21)

1.一种姿势输入***，具备：
传感器，检测用户身体的第一部分和第二部分的动作；
控制器，根据所述第一部分的动作，设定实际空间的坐标系与假想空间的坐标系的对应关系，根据所述第二部分的位置和动作，受理对所述假想空间的对象的操作；以及
通知装置，根据所述控制器的工作，以非接触方式向所述身体的第三部分通知预定的信息。
2.根据权利要求1所述的姿势输入***，
所述通知装置通过刺激所述第三部分的皮肤感觉，通知所述预定的信息。
3.根据权利要求2所述的姿势输入***，
所述通知装置包括从超声波振动件、珀耳帖元件、激光器、空气炮以及红外线源中选择的至少一个。
4.根据权利要求2所述的姿势输入***，
所述通知装置包括向所述第三部分给予声辐射压力的多个超声波振动件。
5.根据权利要求1至4中任一项所述的姿势输入***，
所述控制器根据所述第一部分的动作在所述实际空间设定基点，并基于所述基点设定所述对应关系。
6.根据权利要求5所述的姿势输入***，
所述通知装置以非接触方式向所述第三部分通知已设定所述基点这一情况。
7.根据权利要求5或6所述的姿势输入***，
所述控制器将所述第一部分进行了预定的动作时的所述第二部分的位置设定为所述基点。
8.根据权利要求1至4中任一项所述的姿势输入***，
所述控制器基于所述对应关系，判定所述实际空间中的所述第二部分的位置是否与所述假想空间中的所述对象的位置对应，
所述控制器在判定为所述第二部分的位置与所述对象的位置对应时，根据所述第二部分的动作，受理对所述对象的操作。
9.根据权利要求8所述的姿势输入***，
所述通知装置以非接触方式向所述第三部分通知已判定为所述第二部分的位置与所述对象的位置对应这一情况。
10.根据权利要求1至4中任一项所述的姿势输入***，
所述对应关系被设定为表或函数。
11.根据权利要求1至4中任一项所述的姿势输入***，
所述控制器还根据所述第二部分的动作变更所述对应关系。
12.根据权利要求11所述的姿势输入***，
所述控制器根据所述第二部分的移动速度，变更所述对应关系。
13.根据权利要求1至4中任一项所述的姿势输入***，
在所述对应关系中，包括所述假想空间中的所述对象的全部对象的坐标分别与所述实际空间中所述传感器能够检测的空间内的坐标相对应。
14.根据权利要求1至4中任一项所述的姿势输入***，
在设定所述对应关系之前，所述控制器还算出所述第二部分应移动的推荐位置，
所述通知装置还以非接触方式向所述第三部分通知所述推荐位置的信息，
所述控制器在所述第二部分移动到所述推荐位置后设定所述对应关系。
15.根据权利要求1至4中任一项所述的姿势输入***，
在所述实际空间中的所述第二部分的位置与所述假想空间中的所述对象的位置不对应的时间超过了预定时间的情况下，所述控制器取消所述对应关系的设定。
16.根据权利要求1至4中任一项所述的姿势输入***，
所述第一部分、所述第二部分以及所述第三部分的至少两个是所述身体中的相同的部分。
17.根据权利要求1至4中任一项所述的姿势输入***，
所述通知装置还以非接触方式向所述第三部分通知已受理所述操作这一情况。
18.根据权利要求1至4中任一项所述的姿势输入***，
还具备显示器，所述显示器在所述对应关系被设定了之后显示所述对象。
19.根据权利要求1至4中任一项所述的姿势输入***，
所述姿势输入***搭载在具备转向装置的汽车中，
所述传感器的检测区域是从所述转向装置起的预定范围。
20.根据权利要求19所述的姿势输入***，
在所述转向装置的转向角比预定角度大时，所述控制器中断所述对应关系的设定和对所述对象的操作的受理中的至少一方。
21.一种姿势输入方法，包括：
检测用户身体的第一部分的步骤；
根据所述第一部分的动作，设定实际空间的坐标系与假想空间的坐标系的对应关系的步骤；
检测所述身体的第二部分的步骤；
根据所述第二部分的位置和动作，受理对所述假想空间的对象的操作的步骤；以及
以非接触方式向所述身体的第三部分通知预定的信息的步骤。
CN201710009397.4A 2016-03-18 2017-01-06 姿势输入***和姿势输入方法 Pending CN107199888A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-055635 2016-03-18
JP2016055635 2016-03-18

Publications (1)

Publication Number Publication Date
CN107199888A true CN107199888A (zh) 2017-09-26

Family

ID=57914902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710009397.4A Pending CN107199888A (zh) 2016-03-18 2017-01-06 姿势输入***和姿势输入方法

Country Status (4)

Country Link
US (1) US10558271B2 (zh)
EP (1) EP3220234A1 (zh)
JP (1) JP6788871B2 (zh)
CN (1) CN107199888A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108180606A (zh) * 2017-11-28 2018-06-19 珠海格力电器股份有限公司 空调的控制方法、装置、存储介质和处理器
CN110543234A (zh) * 2018-05-29 2019-12-06 富士施乐株式会社 信息处理装置和非暂时性计算机可读介质
CN110543233A (zh) * 2018-05-29 2019-12-06 富士施乐株式会社 信息处理设备和非暂时性计算机可读介质
CN111556310A (zh) * 2019-02-08 2020-08-18 精工爱普生株式会社 显示***、记录介质以及信息处理装置的控制方法
CN112896074A (zh) * 2019-12-04 2021-06-04 纳恩博（常州）科技有限公司 一种控制方法及装置、车辆、计算机可读存储介质
CN110543233B (zh) * 2018-05-29 2024-06-07 富士胶片商业创新有限公司 信息处理设备和非暂时性计算机可读介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017221663A1 (de) * 2017-12-01 2019-06-06 Audi Ag Identifizierungseinrichtung zum Identifizieren einer Person, Verfahren zum Identifizieren einer Person, und Kraftfahrzeug
KR102649497B1 (ko) * 2017-12-22 2024-03-20 레스메드 센서 테크놀로지스 리미티드 차량에서의 생리학적 감지를 위한 장치, 시스템, 및 방법
KR102097043B1 (ko) * 2018-09-20 2020-04-03 울산과학기술원 차량 미러 제어 장치 및 방법
US11067687B2 (en) 2019-04-25 2021-07-20 Elwha, Llc Multipath acoustic holography and virtual haptics
US10916107B1 (en) * 2019-07-29 2021-02-09 Elwha Llc Time-domain and frequency-domain enhancements for acoustic haptography

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195997A1 (en) * 1999-08-10 2007-08-23 Paul George V Tracking and gesture recognition system particularly suited to vehicular control applications
CN102141839A (zh) * 2007-09-19 2011-08-03 索尼公司 图像处理设备和方法及其程序
CN102334086A (zh) * 2009-01-26 2012-01-25 泽罗技术(2009)有限公司 用于监测物体行为的装置和方法
CN102591452A (zh) * 2010-12-08 2012-07-18 欧姆龙株式会社 姿势识别装置、姿势识别方法、控制程序以及记录介质
US20130107026A1 (en) * 2011-11-01 2013-05-02 Samsung Electro-Mechanics Co., Ltd. Remote control apparatus and gesture recognition method for remote control apparatus
CN103582584A (zh) * 2011-06-09 2014-02-12 本田技研工业株式会社 车辆用操作装置
DE102014204289A1 (de) * 2014-03-10 2015-09-10 Bayerische Motoren Werke Aktiengesellschaft Erfassung von Freiraumgesten und Feedback
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和***

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3742951B2 (ja) * 2002-10-25 2006-02-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP4228781B2 (ja) 2003-05-23 2009-02-25 株式会社デンソー 車載機器操作システム
JP2005063092A (ja) 2003-08-11 2005-03-10 Keio Gijuku ハンドパターンスイッチ装置
JP3933139B2 (ja) 2004-03-09 2007-06-20 日産自動車株式会社 コマンド入力装置
JP4389855B2 (ja) * 2005-09-05 2009-12-24 トヨタ自動車株式会社 車両用操作装置
JP2010108012A (ja) * 2008-10-28 2010-05-13 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5295839B2 (ja) * 2009-03-30 2013-09-18 株式会社東芝 情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラム
WO2012108552A1 (en) * 2011-02-08 2012-08-16 Lg Electronics Inc. Display device and control method thereof
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP6019947B2 (ja) 2012-08-31 2016-11-02 オムロン株式会社 ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP6553052B2 (ja) 2014-01-03 2019-07-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ジェスチャ相互作用式の装着可能な空間オーディオシステム
JP6167932B2 (ja) * 2014-02-20 2017-07-26 トヨタ自動車株式会社 入力装置および入力取得方法
US9939912B2 (en) * 2014-03-05 2018-04-10 Denso Corporation Detection device and gesture input device
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195997A1 (en) * 1999-08-10 2007-08-23 Paul George V Tracking and gesture recognition system particularly suited to vehicular control applications
CN102141839A (zh) * 2007-09-19 2011-08-03 索尼公司 图像处理设备和方法及其程序
CN102334086A (zh) * 2009-01-26 2012-01-25 泽罗技术(2009)有限公司 用于监测物体行为的装置和方法
CN102591452A (zh) * 2010-12-08 2012-07-18 欧姆龙株式会社 姿势识别装置、姿势识别方法、控制程序以及记录介质
CN103582584A (zh) * 2011-06-09 2014-02-12 本田技研工业株式会社 车辆用操作装置
US20130107026A1 (en) * 2011-11-01 2013-05-02 Samsung Electro-Mechanics Co., Ltd. Remote control apparatus and gesture recognition method for remote control apparatus
DE102014204289A1 (de) * 2014-03-10 2015-09-10 Bayerische Motoren Werke Aktiengesellschaft Erfassung von Freiraumgesten und Feedback
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108180606A (zh) * 2017-11-28 2018-06-19 珠海格力电器股份有限公司 空调的控制方法、装置、存储介质和处理器
CN110543234A (zh) * 2018-05-29 2019-12-06 富士施乐株式会社 信息处理装置和非暂时性计算机可读介质
CN110543233A (zh) * 2018-05-29 2019-12-06 富士施乐株式会社 信息处理设备和非暂时性计算机可读介质
CN110543234B (zh) * 2018-05-29 2024-03-08 富士胶片商业创新有限公司 信息处理装置和非暂时性计算机可读介质
CN110543233B (zh) * 2018-05-29 2024-06-07 富士胶片商业创新有限公司 信息处理设备和非暂时性计算机可读介质
CN111556310A (zh) * 2019-02-08 2020-08-18 精工爱普生株式会社 显示***、记录介质以及信息处理装置的控制方法
CN112896074A (zh) * 2019-12-04 2021-06-04 纳恩博（常州）科技有限公司 一种控制方法及装置、车辆、计算机可读存储介质

Also Published As

Publication number Publication date
EP3220234A1 (en) 2017-09-20
US10558271B2 (en) 2020-02-11
US20170269698A1 (en) 2017-09-21
JP6788871B2 (ja) 2020-11-25
JP2017174397A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
CN107199888A (zh) 姿势输入***和姿势输入方法
JP6788870B2 (ja) ジェスチャ入力システム及びジェスチャ入力方法
US10394375B2 (en) Systems and methods for controlling multiple displays of a motor vehicle
EP1604266B1 (en) Multi-view display
CN105589594B (zh) 电子装置和电子装置的操作控制方法
WO2017013834A1 (ja) 表示操作装置
US20200192532A1 (en) Automotive touchscreen with simulated texture for the visually impaired
US10921899B2 (en) Interaction system using collocated visual, haptic, and/or auditory feedback
CN109254658A (zh) 触觉反馈方法、触觉反馈装置及触摸显示装置
WO2016038675A1 (ja) 触感制御システムおよび触感制御方法
Vo et al. Touching the invisible: Localizing ultrasonic haptic cues
JP2021515667A (ja) 超音波画像の動きベース制御のためのシステムおよび方法
CN106066689B (zh) 基于ar或vr***的人机交互方法和装置
JP2015064703A (ja) 触覚提示装置
Sanchez Recognizing shapes and gestures using sound as feedback
CN107368189A (zh) 一种实现三维触控功能的触控显示装置及方法
CN112764593A (zh) 触控反馈控制方法、存储介质、触控反馈***和终端设备
JP4136584B2 (ja) 座標入力装置及び座標値出力方法とプログラム
US20220392320A1 (en) Tactile presentation device and tactile presentation method
TW202321894A (zh) 具有感官回饋的浮空觸控裝置
Ziat et al. Enhancing visuospatial map learning through action on cellphones
RU115937U1 (ru) Устройство пользовательского ввода
Yang et al. Vibrotactile display for hand-held devices and its preferable pattern generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926

RJ01 Rejection of invention patent application after publication