CN117616366A - 输入装置、***和控制方法 - Google Patents

输入装置、***和控制方法 Download PDF

Info

Publication number
CN117616366A
CN117616366A CN202280048109.5A CN202280048109A CN117616366A CN 117616366 A CN117616366 A CN 117616366A CN 202280048109 A CN202280048109 A CN 202280048109A CN 117616366 A CN117616366 A CN 117616366A
Authority
CN
China
Prior art keywords
input device
information
display
user
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048109.5A
Other languages
English (en)
Inventor
山野郁男
泽井邦仁
永野京二郎
高桥慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117616366A publication Critical patent/CN117616366A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[问题]提供了能够在日常生活的移动期间执行更自然、负担更小、麻烦更少的输入操作的输入装置、***和控制方法。[解决方案]一种输入装置,包括:要安装到用户的手指上的环形形状的主体部;一个或更多个传感器,其设置在主体部中并且检测关于其他手指的输入操作的信息;通信单元,其执行与外部装置的无线通信;以及控制单元,其执行控制,以通过通信单元将由一个或更多个传感器检测到的关于操作输入的信息发送到外部装置。

Description

输入装置、***和控制方法
技术领域
本公开内容涉及输入装置、***和控制方法。
背景技术
常规地,诸如鼠标、键盘和触摸板的各种输入装置用于信息处理装置的操作输入。
例如,下面的专利文献1公开了通过佩戴在用户的手指上使用的环形形状的用户操作感测装置。专利文献1中描述的装置由两种类型的传感器检测安装有该装置的手指(拇指)自身的移动,并且确定点击操作或方向键操作。
引用列表
专利文献
专利文献1:日本未审查专利申请公开第2019-536189号
发明内容
本发明要解决的问题
在此,在日常生活的操作中,需要执行更自然、负担更小、麻烦更少的输入操作。
问题的解决方案
根据本公开内容,提出了一种输入装置,该输入装置包括:要安装到用户的手指上的环形形状的主体部;一个或更多个传感器,其设置于主体部中并且检测关于其他手指的输入操作的信息;通信单元,其执行与外部装置的无线通信;以及控制单元,其执行控制,以通过通信单元将由一个或更多个传感器检测到的关于操作输入的信息发送到外部装置。
根据本公开内容,提出了一种***,该***包括:操作输入信息获取单元,其一个或更多个传感器获取关于操作输入信息,其一个或更多个传感器设置于要安装在用户的手指上的环形形状的主体部中并且检测关于其他手指的操作输入的信息;视线信息获取单元,其获取用户的视线信息;以及呈现控制单元,其基于关于操作输入的信息和视线信息控制要呈现给用户的信息。
根据本公开内容,提出了一种控制方法,包括由处理器执行以下操作:由要安装在用户的手指上的环形形状的主体部中设置的一个或更多个传感器检测关于其他手指的操作输入的信息;以及执行控制,以通过执行无线通信的通信单元将检测到的关于操作输入的信息发送到外部装置。
根据本公开内容,提出了一种由处理器进行的控制方法,该控制方法包括:从一个或更多个传感器获取关于操作输入信息,一个或更多个传感器设置于要安装在用户的手指上的环形形状的主体部中并且检测关于其他手指的操作输入的信息;获取关于用户的视线信息;以及基于关于操作输入的信息和视线信息控制要呈现给用户的信息。
附图说明
图1是用于描述根据本公开内容的实施方式的信息处理***的概况的视图。
图2是示出根据本实施方式的信息处理***中包括的显示装置和输入装置的配置的示例的框图。
图3是示出根据本实施方式的输入装置的结构的示例的简化截面图。
图4是根据本实施方式的输入装置的从侧表面观察的视图。
图5是示出根据本实施方式的信息处理***的操作处理的流程的示例的流程图。
图6是用于描述根据本实施方式的二维图像的操作方法的示例的视图。
图7是用于描述根据本实施方式的二维图像的操作方法的示例的视图。
图8是用于描述根据本实施方式的二维图像的操作方法的示例的视图。
图9是用于描述根据本实施方式的二维图像的操作中的UI显示的视图。
图10是用于描述根据本实施方式的二维图像的操作方法的示例(位置调整模式)的视图。
图11是用于描述根据本实施方式的位置调整模式中的触摸操作的方向与指针的移动方向之间的关系的示例的视图。
图12是用于描述根据本实施方式的位置调整模式中的触摸操作的方向与指针的移动方向之间的关系的示例的视图。
图13是用于描述根据本实施方式的用指尖对三维UI进行轻敲操作的视图。
图14是用于描述根据本实施方式的通过使用距离传感器对指尖位置进行稳健检测的视图。
图15是用于描述根据本实施方式的拾取和松开虚拟对象的操作的视图。
图16是用于描述根据本实施方式的检测说话操作的示例的视图。
图17是用于描述根据本实施方式的通过旋转中心的预测来确定松开操作的视图。
图18是用于描述根据本实施方式的使用指尖的字符和图片的AR绘制的视图。
图19是用于描述根据本实施方式的通过触摸操拾取有和松开虚拟对象的操作的视图。
图20是用于描述根据本实施方式的虚拟对象的远程操作的视图。
图21是用于描述根据本实施方式的指针UI根据输入装置在偏航方向上的移动而移动的视图。
图22是用于描述根据本实施方式的指针UI的方向的视图。
图23是用于描述根据本实施方式的指针UI根据输入装置在俯仰方向上的移动而移动的视图。
图24是用于描述根据本实施方式的输入装置被安装在左右食指中的每一个上的示例的视图。
图25是用于描述根据本实施方式的使用指针UI对真实对象进行操作的视图。
图26是示出根据本实施方式的输入装置中设置的触摸传感器的单侧边缘部的视图。
图27是用于描述根据本实施方式的输入装置的结构的示例的视图。
图28是用于描述形成根据本实施方式的输入装置的环形形状的主体部的一部分包括可变形部的结构的视图。
图29是用于描述形成根据本实施方式的输入装置的环形形状的主体部的一部分包括可变形部的结构的视图。
具体实施方式
在下文中,将参照附图详细描述本公开内容的优选实施方式。注意,在本说明书和附图中,具有基本相同功能配置的部件使用相同的附图标记表示,并且省略冗余的描述。
此外,将按以下顺序进行描述。
1.根据本公开内容的实施方式的信息处理***的概况
2.配置示例
2-1.显示装置
2-2.输入装置
3.操作处理
4.操作方法
4-1.二维图像的操作方法
4-2.三维图像的操作方法
(4-2-1.虚拟对象的直接操作)
(4-2-2.虚拟对象的远程操作)
5.输入装置20的安装位置和结构
5-1.输入装置20的安装位置
5-2.输入装置20的结构
6.修改例
6-1.从输入装置20输入音频
6-2.输入装置20的另一种使用方法
7.补充
<<1.根据本公开内容的实施方式的信息处理***的概况>>
图1是用于描述根据本公开内容的实施方式的信息处理***的概况的视图。如图1所示,根据本实施方式的信息处理***包括显示装置10和输入装置20。
如图1所示,根据本实施方式的输入装置20被安装在用户的手指上,并且具有检测关于用户对显示装置10的输入操作的信息的功能。例如,输入装置20设置有作为传感器的示例的触摸传感器230,并且可以检测关于触摸操作的信息作为关于操作输入的信息。输入装置20将检测到的关于操作输入的信息发送到作为外部装置的显示装置10。
显示装置10是向用户呈现信息的信息处理装置的示例。在本实施方式中,呈现视觉信息作为要呈现给用户的信息的示例。要呈现给用户的信息的其他示例包括由音频输出装置呈现的听觉信息、由振动装置呈现的振动信息等。显示装置10可以是安装在用户头部上的光学透视型或非透视型头戴式显示器(HMD)。
如图1所示,根据本实施方式的显示装置10可以由眼镜型装置实现,在该眼镜型装置中,在透镜单元中设置光学透视型显示单元160。在显示单元160中,在用户的眼睛直接观看真实空间的状态下,以叠加方式在真实空间中显示关于虚拟空间(在下文中称为虚拟对象)的信息的图像。如上所述,显示装置10是向用户提供所谓增强现实(AR)的信息处理装置。注意,根据本实施方式的提供AR的信息处理装置不限于光学透视型装置,并且可以是使用视频透视显示器的非透视型装置。在视频透视显示器中,实时显示通过捕获用户的头部方向而获得的视频(真实空间的视频),并且在视频上叠加和显示虚拟对象。此外,还可以通过在视频透视显示器中提供动态屏蔽真实空间中的光的配置,在透视型显示器(光学透视显示器)与非透视型显示器之间进行切换。
例如,如图1所示,在显示装置10的显示单元160上,显示呈现各类信息的虚拟对象310、320和330。虚拟对象可以是二维内容,或者可以是三维对象或用户界面(UI)。二维内容的示例包括网站、社交网络服务(SNS)的画面、照片、运动图像、电子书等。
在此,用户可以对显示装置10的显示单元160上显示的虚拟对象执行来自输入装置20的输入操作。具体地,例如,通过用拇指在佩戴在食指上的环形形状的输入装置20中设置的触摸传感器230上执行诸如轻敲操作或轻扫(swipe)操作的触摸操作,可以对虚拟对象执行选择/确定操作或滚动操作。
如上所述,在本实施方式中,由于可以用其他手指在安装在手指上的环形输入装置20上执行输入操作,因此可以在日常生活的操作中执行更自然、负担更小、麻烦更少的输入操作。例如,手臂向前抬起并直接由手操作虚拟对象的方法可能会很显眼,因此在周围有人的城镇中可能会产生抵触情绪。此外,在直接轻敲眼镜式装置的方法中,由于手必须伸向脸部,因此手臂很容易疲劳。此外,在使用手柄式遥控器(遥控器)的方法中,携带和取出遥控器都很麻烦。在本实施方式中,通过使用安装在手指上并且即使在手放下的状态下也能随手执行输入操作的输入装置20,可以实现减少上述麻烦并且在日常生活的操作中更自然、负担更小的操作输入。
<<2.配置示例>>
图2是示出根据本实施方式的信息处理***中包括的显示装置10和输入装置20的配置的示例的框图。在下文中,将依次描述每个装置。
<2-1.显示装置10>
如图1所示,例如,显示装置10(信息处理装置)包括通信单元110、控制单元120、视线检测单元130、向外摄像装置140、操作输入单元150、显示单元160、音频输出单元170和存储单元180。注意,图1中所示的配置只是示例,并且显示装置10的配置不限于此。
(通信单元110)
通信单元110以有线或无线方式可通信地连接至外部装置,以发送和接收数据。例如,通信单元110可以通过诸如Wi-Fi(注册商标)或蓝牙(注册商标)的无线通信可通信地连接至输入装置20。此外,通信单元110可以通过有线/无线局域网(LAN)、Wi-Fi(注册商标)、蓝牙(注册商标)、移动通信网络(长期演进(LTE)、第三代移动通信***(3G)、***移动通信***(4G)和第五代移动通信***(5G))等可通信地连接至互联网,并且可以从网络上的服务器接收数据以及向网络上的服务器发送数据。
此外,根据本实施方式的通信单元110还充当从输入装置20获取关于操作输入的信息的操作输入信息获取单元。
(控制单元120)
控制单元120充当运算处理装置和控制装置,并且根据各种程序控制显示装置10中的整体操作。例如,控制单元120由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外,控制单元120可以包括存储要使用的程序、操作参数等的只读存储器(ROM)以及临时存储适当变化的参数等的随机存取存储器(RAM)。
此外,根据本实施方式,控制单元120还充当显示控制单元121。显示控制单元121执行在显示单元160上显示虚拟对象的控制。根据本实施方式的显示控制单元121是呈现控制单元的示例,该呈现控制单元执行控制以向用户呈现信息。虚拟对象是二维或三维图像。注意,显示控制单元121还可以基于对由向外摄像装置140获取的用户的头部方向上的捕获图像(包括至少用户的视场范围的捕获图像)的分析结果,控制叠加在真实空间上的虚拟对象的显示位置和姿势。此外,显示控制单元121还可以考虑到用户的自身位置和姿势来控制虚拟对象的显示位置和姿势。控制单元120可以对捕获图像执行分析(对象识别等)。此外,用户的自身位置和姿势可以通过显示装置10中设置的各种传感器来检测。各种传感器的示例包括向外摄像装置140、陀螺仪传感器、加速度传感器、地磁传感器、位置测量单元等。位置测量单元可以是测量绝对位置的测量单元(例如,使用全球导航卫星***(GNSS)进行位置测量),或者可以是测量相对位置的测量单元(例如,使用Wi-Fi或蓝牙信号进行位置测量)。
要显示的虚拟对象的数据可以是存储在存储单元180中的数据、经由通信单元110从外部装置接收的数据或者由控制单元120生成的数据。外部装置的示例包括互联网上的服务器以及用户拥有的通信终端(例如,智能手机、平板终端、可穿戴式装置等)。
此外,显示控制单元121可以基于经由通信单元110从输入装置20接收到的关于操作输入的信息来执行虚拟对象的显示控制。例如,显示控制单元121根据接收到的关于操作输入的信息对虚拟对象执行诸如选择、确定、滚动或缩放的控制。关于操作输入的信息是由输入装置20中设置的各种传感器检测到的信息。其示例包括由触摸传感器230检测到的关于触摸操作的信息以及由运动传感器240检测到的关于手的移动的信息。
此外,显示控制单元121可以根据由视线检测单元130检测到的用户视线信息来控制显示单元160的显示画面上的操作位置。也就是说,显示控制单元121可以通过视线输入执行指向操作。例如,在此,“视线信息”是指示用户的视线方向的信息。显示控制单元121基于用户的视线方向,将用户在显示单元160的显示画面上的视线中心(注视点)的位置识别为操作位置。然后,显示控制单元121将在操作位置处显示的图像识别为操作对象,并且根据要由输入装置20输入的关于操作输入的信息对图像执行控制。如上所述,通过将视线指向作为操作对象的虚拟对象然后操作手边的输入装置20,用户可以对可选的虚拟对象执行输入操作(例如,滚动操作等)。例如,这种将视线信息和关于来自输入装置20的输入操作的信息相结合的操作方法可以用作主要针对二维图像(包括上述二维内容)的操作方法。具体地,稍后将参照图6至图12进行描述。此外,显示控制单元121可以使用输入装置20中设置的振动单元250执行振动反馈,作为用户使用输入装置20的输入操作的反馈。
另一方面,作为虚拟对象是三维图像(包括上述三维对象或UI)的情况下的操作方法,举例说明了直接操作虚拟对象的方法和远程操作虚拟对象的方法。直接操作的方法的示例包括根据用户触摸、拾取或松开虚拟对象的移动控制虚拟对象的显示的方法(参见图13至图19)。在这种情况下,显示控制单元121适当地使用通过分析由向外摄像装置140获取的捕获图像而获得的用户的手或手指的位置和移动以及从输入装置20接收到的关于操作输入的信息。从输入装置20接收到的关于操作输入的信息的示例包括由触摸传感器230检测到的关于触摸操作的信息、由运动传感器240检测到的运动信息、由距离传感器检测到的输入装置20与拇指之间的距离或者输入装置20与预定关节部分之间的距离等。此外,显示控制单元121可以使用输入装置20中设置的振动单元250执行振动反馈,作为用户使用输入装置20的输入操作的反馈。远程操作的方法的示例包括在显示单元160上显示根据输入装置20的方向移动的指针UI 366的方法(参见图20至25)。用户可以在通过移动输入装置20将指针UI 366放置在虚拟对象上的状态下(虚拟对象可以被显示控制单元121识别为操作对象),通过在输入装置20上执行触摸操作等,对可选的虚拟对象执行操作输入。
上述各种操作方法将参照图6至图25进行具体描述。
注意,控制单元120可以根据来自显示装置10中设置的操作输入单元150的操作输入执行电源开启/关闭、音量调节、显示开启/关闭等的控制。此外,控制单元120可以执行来自音频输出单元170的音频输出控制。举例说明了在虚拟对象是运动图像等的情况下的音频再现。
(视线检测单元130)
视线检测单元130是具有检测(获取)关于用户的视线的信息(视线信息)的功能的视线信息获取单元。视线检测单元130可以是在安装了显示装置10时捕获用户的眼睛的向内摄像装置,或者可以是检测眼球电位的肌电传感器。例如,视线检测单元130基于由各种传感器获取的信息检测视线方向作为视线信息。检测视线信息的方法没有特别限制。
(向外摄像装置140)
向外摄像装置140是显示装置10中设置的成像单元,用于在安装了显示装置10时捕获用户的头部方向。向外摄像装置140的视角包括至少视场范围(也称为视野场)。向外摄像装置140包括如下中的每一个:透镜***(包括成像透镜、光圈、变焦透镜、聚焦透镜等)、使透镜***执行聚焦操作和变焦操作的驱动***、对由透镜***获得的成像光执行光电转换以生成成像信号的固态成像元件阵列等。例如,固态成像元件阵列可以由电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列实现。
(操作输入单元150)
操作输入单元150接收来自用户的操作,并且将关于接收到的操作的信息输出到控制单元120。例如,操作输入单元150可以由按钮、触摸传感器、光学传感器等实现。
(显示单元160)
作为示例,显示单元160由透视型显示器实现。透视型显示器是能够将真实空间中的光直接传递到用户的眼睛的显示器。用户可以经由透视型显示器直接在视觉上识别真实空间。例如,透视型显示器可以是光学透视型显示器。光学透视显示器可以采用已知的形式,包括半反射镜***、导光板***、视网膜直接绘制***等。
(音频输出单元170)
音频输出单元170具有输出音频的功能。例如,音频输出单元170可以被配置为头戴式耳机、耳机或骨传导扬声器。
(存储单元180)
存储单元180由存储用于控制单元120的处理的程序、操作参数等的只读存储器(ROM)和临时存储适当变化的参数等的随机存取存储器(RAM)实现。
上文已具体描述了根据本实施方式的显示装置10的配置。注意,显示装置10的配置不限于图2所示的示例。例如,不一定要包括图2所示配置的所有部件,并且可以包括其他部件。此外,显示装置10可以包括多个装置。此外,虽然图2中未示出,但是显示装置10包括向显示装置10的每个配置供电的电力供应单元。
<2-2.输入装置20>
输入装置20包括通信单元210、控制单元220、触摸传感器230、运动传感器240、振动单元250和存储单元260。注意,图1中所示的配置是示例,并且显示装置10的配置不限于此。
(通信单元210)
通信单元210以有线或无线方式通信地连接至外部装置,以发送和接收数据。例如,通信单元210可以通过诸如Wi-Fi(注册商标)或蓝牙(注册商标)的无线通信通信地连接至显示装置10。
(控制单元220)
控制单元220充当运算处理装置和控制装置,并且根据各种程序控制输入装置20的整体操作。例如,控制单元220由诸如中央处理单元(CPU)或微处理器的电子电路实现。此外,控制单元220可以包括存储要使用的程序、操作参数等的只读存储器(ROM)以及临时存储适当变化的参数等的随机存取存储器(RAM)。
控制单元220执行控制,以将由触摸传感器230检测到的信息以及由运动传感器240检测到的信息从通信单元210发送到显示装置10。这些信息(检测结果)对应于关于由用户使用输入装置20执行的对显示装置10的输入操作的信息。
此外,根据本实施方式的控制单元220还充当振动控制单元221。振动控制单元221根据由通信单元210从显示装置10接收到的控制信号对振动单元250执行振动控制。例如,这种振动控制可以作为用户输入的操作的反馈。
(触摸传感器230)
触摸传感器230具有检测用户的触摸操作的功能。触摸传感器230设置在要安装在用户的手指上的输入装置20的主体部的表面上,安装时位于面向其他手指的位置处,所述其他手指不同于要安装输入装置20的手指。例如,在输入装置20被安装在食指上(如图1所示)的情况下,由于触摸传感器230位于面向拇指的位置处,因此用户可以用拇指对触摸传感器230执行触摸操作。触摸操作的示例包括轻敲操作、轻扫操作、拾取操作(长按)等。此外,触摸传感器的***的示例包括电阻膜***、电容***、超声波***、光学***等,但是在本实施方式中可以使用任何***。触摸传感器230可以设置为单个或多个。
(运动传感器240)
运动传感器240具有检测输入装置20自身的运动的功能。例如,运动传感器240可以是三轴加速度传感器和三轴陀螺仪传感器。此外,运动传感器240还可以包括地磁传感器。
(振动单元250)
振动单元250具有呈现触觉信息(对皮肤的触觉刺激)的功能。注意,振动的***并无特别限制。振动单元250可以设置为单个或多个。
(存储单元260)
存储单元260由存储用于控制单元220的处理的程序、操作参数等的只读存储器(ROM)和临时存储适当变化的参数等的随机存取存储器(RAM)实现。
上文已具体描述了根据本实施方式的输入装置20的配置。注意,输入装置20的配置不限于图2所示的示例。例如,不一定要包括图2所示配置的所有部件,并且可以包括其他部件。例如,输入装置20可以包括一个或更多个其他传感器。例如,输入装置20还可以包括距离传感器。距离传感器可以是光学传感器(例如,飞行时间(ToF)***)。此外,虽然在图2中未示出,但是输入装置20包括向输入装置20的每个配置供电的电力供应单元。
在此,将参照图3描述根据本实施方式的输入装置20的结构的示例。图3是示出根据本实施方式的输入装置20的结构的示例的简化截面图。根据本实施方式的输入装置20被形成为可以安装在手指上的形状。例如,输入装置20被形成为环形形状。注意,图3中所示的截面图是从手指穿过的方向观察输入装置20的视图。
环形形状可以是闭合的环形的形状,或者可以是如图3所示的部分开口而不闭合的环形(C形环)的形状。通过具有不闭合的环形的形状,还可以应对手指尺寸的细微差异。此外,为了应对不同的尺寸,可以在主体部的一部分中包括可变形部。细节将在后面参照图27至图29进行描述。
例如,可以在假设输入装置20被安装在食指的基关节部分或中间关节部分的情况下形成输入装置20。
如图3所示,触摸传感器230设置在输入装置20的主体部的表面上,安装时位于面向其他手指的位置处,所述其他手指不同于安装输入装置20的手指。例如,在输入装置20被安装在食指上的情况下,假定触摸操作由同一只手的拇指执行。如图3所示,触摸传感器230可以被形成在主体部的表面的一侧的竖直方向上。图4示出了从侧面(设置有触摸传感器230的一侧)观察输入装置20的视图。在图4中,输入装置20被安装在右手食指的基关节部分上。触摸传感器230的宽度足以实现使用拇指向上、向下、向左和向右的轻扫操作。
此外,如图3所示,运动传感器240(例如,加速度传感器和陀螺仪传感器)设置在输入装置20的主体部的内部,并且可以检测输入装置20自身的移动(姿势信息)。注意,运动传感器240的布置位置没有特别限制。例如,在主体部中,运动传感器240可以被布置在上侧(安装在手指上时设置在手指的背面的部分),可以被布置在下侧(安装在手指上时设置在手指的指腹侧的部分),或者可以设置在左侧或右侧(侧面部分)。
此外,如图3所示,按压开关单元290可以被布置在触摸传感器230的背面。按压开关单元290可以检测触摸传感器230的按压操作(点击操作)。替选地,可以在触摸传感器230的背面布置压力传感器。例如,压力传感器检测用户的拇指等对触摸传感器的按压压力,并且检测在检测值超过预设阈值时的开启操作。此时,可以执行控制,使得使用振动装置250向用户返回振动反馈。通过这种布置,可以实现与按压开关对应的功能,能够根据用户的喜好自由改变按压压力(硬度)和开关感觉。此外,在触摸传感器未检测到用户触摸的状态下,即使在检测到的压力超过阈值时,也不会检测到开启操作,因此可以防止开启操作被手指以外的触摸传感器的抓握对象等错误检测到。此外,由压力传感器获得的模拟值还可以用于模拟量操作,例如,根据压力值对显示区域进行缩放操作。
此外,输入装置20的主体部可以设置有距离传感器280。距离传感器280测量与其他手指(例如,拇指)的距离或者与安装输入装置20的手指的预定关节(例如,中间关节)的距离。例如,距离传感器280可以是飞行时间(ToF)***光学传感器。此外,还可以通过布置多个距离传感器280来扩大检测范围。
此外,振动单元250可以设置在输入装置20的主体部的内部。在图3所示的示例中,振动单元250设置在主体部的上侧,但是本实施方式不限于这种布置。
此外,输入装置20的主体部的内部设置有单元部300。单元部300可以由实现控制单元220、通信单元210和存储单元260的一个或更多个电子电路形成。在图3所示的示例中,单元部300设置在主体部的上侧,但是本实施方式不限于这种布置。
此外,在输入装置20的主体部的内部设置了为输入装置20的每个配置供电的电力供应单元270。在图3所示的示例中,电力供应单元270设置在主体部的右侧,但是本实施方式不限于这种布置。例如,在输入装置20被安装在食指上的情况下,主体部的位于食指与中指之间的右侧理想地是薄的。因此,还可以设想,电力供应单元270被布置在主体部的上侧。此外,除了上述的C形配置之外,输入装置还可以具有安装在手指上的环形形状的部件,在该环形形状的部件上,在食指的背面和面向拇指的侧表面上以L形布置部件,并且将L形部件固定在该环形形状的部件上。在这种情况下,理想的是将环形形状的部件配置成使得根据用户手指的尺寸可替换。此外,还可以提出稳定的输入装置,该稳定的输入装置还通过针对环形形状的部件使用弹性部件,跟随由于手指的弯曲和伸展的手指周围(基关节部分)的厚度的改变。
此外,输入装置20的主体部可以设置有弯曲部,在该弯曲部中,内部不布置基板,并且该部分可以具有塑性可变形结构,使得可以应对每个用户手指尺寸的差异。在图3所示的示例中,例如,输入装置20的主体部的上部与侧部(右侧/左侧)之间的弯曲部对应于弯曲部。在这种情况下,例如,在安装输入装置20之后或安装时,用户自己从外部按压主体部的弯曲部,从而使弯曲部发生塑性变形,是的对手指施加适当的压力,并调整形状和尺寸。例如,弯曲部(或者包括弯曲部的主体部)可以包括诸如铝板的塑性可变形材料。此外,弯曲部可以设置在左右两侧,或者可以只设置在一侧。
尽管上文已经描述了输入装置20的结构的示例,但是根据本实施方式的每个配置的布置不限于此。
<<3.操作处理>>
随后,参照图5,将描述根据本实施方式的信息处理***的操作处理的流程。图5是示出根据本实施方式的信息处理***的操作处理的流程的示例的流程图。
如图5所示,首先,显示装置10的显示控制单元121在显示单元160上执行一个或更多个虚拟对象的AR显示(步骤S103)。AR显示指示在光学透视型显示单元160中将虚拟对象叠加并显示在真实空间上的情况。此外,作为示例,在此假定显示作为二维图像的虚拟对象。
接下来,在显示装置10中,视线检测单元130检测用户的视线(步骤S106)。
接下来,显示装置10的显示控制单元121基于视线信息指定作为操作对象的虚拟对象(步骤S109)。具体地,显示控制单元121基于由视线信息指示的视线方向,将用户查看的虚拟对象(或虚拟对象的一部分)(例如,在显示单元160的显示画面上的注视点处显示的虚拟对象)识别为操作对象。
接下来,在显示装置10中,通信单元110从输入装置20接收触摸传感器230的检测结果(关于触摸操作的信息)(步骤S112)。
接下来,显示装置10的显示控制单元121响应于触摸操作,控制对作为操作对象的虚拟对象的显示(步骤S115)。例如,显示控制单元121响应于轻敲操作执行确定控制,或者响应于轻扫操作执行滚动控制。
然后,显示装置10的控制单元120根据需要执行控制,以在输入装置20中执行振动反馈(步骤S118)。即,控制单元120向输入装置20发送振动控制信号,并且在输入装置20的振动单元250中呈现振动。
上文已经描述了根据本实施方式的操作处理的示例。注意,图3所示的每个步骤的处理不限于图3所示的顺序。例如,步骤S106至S109和步骤S112可以并行地连续执行。
此外,在此假定虚拟对象为二维图像的情况,并且作为该情况下的操作方法之一,描述了将通过视线检测的指向与通过触摸操作的操作的指令相结合的操作方法。此外,还可以考虑将通过视线检测的指向与运动传感器240的检测结果相结合的操作方法。例如,在输入装置20被安装在手指上的状态下,通过左右扭动手腕,可以执行对操作对象的缩放控制(放大/缩小)。此外,在虚拟对象是三维图像的情况下,还可以用安装了输入装置20的手指或手直接操作或远程操作虚拟对象。在这种情况下,例如,可以适当使用由向外摄像装置140拍摄的图像的分析结果、运动传感器240的检测结果、输入装置20中设置的距离传感器的检测结果、触摸传感器230的检测结果等中的每一个。将在下文中参照图6至图26描述每个操作方法的细节。
<<4.操作方法>>
随后,将描述使用输入装置20的具体操作方法。在下文中,将描述虚拟对象是二维图像的情况和虚拟对象是三维图像的情况。
<4-1.二维图像的操作方法>
图6是用于描述根据本实施方式的二维图像的操作方法的示例的视图。例如,如图6所示,在光学透视型显示单元160中,作为二维图像的虚拟对象310至330被显示在用户的视场中。
虚拟对象310至330是显示二维内容的面板(二维图像)。例如,显示与时间相关的信息的面板被显示在视场的左上方区域中,显示诸如体育转播的运动图像信息的面板被显示在右上方区域中,显示Web浏览器画面的面板被显示在前方区域中。此外,在视场的一部分(例如,显示单元160的中心区域)中设置了非显示区域,以能够避免在行走等情况下与周围的人或对象发生碰撞。显示单元160上显示的这些虚拟对象310至330(显示二维内容的相应面板)的显示位置不在真实空间中被定位,而是参照显示装置10自身的坐标轴显示,因此即使头部移动,相对显示位置也不会改变。通过这种布置,用户可以在行走时执行查看网站的操作。
虚拟对象310至330中的每一个的确定控制、滚动控制等可以通过检测用户的视线和输入装置20的操作来执行。例如,当用户将视线指向(注视)虚拟对象310时,虚拟对象310被识别为操作对象(光标不会特别显示),并且在这种状态下,用户在输入装置20的触摸传感器230上执行向上方向的轻扫操作(参见图4),从而可以在图6中执行作为虚拟对象310显示的web浏览器的向上方向的滚动控制。除了响应于竖直方向上的轻扫操作的滚动控制之外,还可以在触摸传感器230中执行水平方向上的轻扫操作(参见图4)。在这种情况下,在操作对象是Web浏览器的情况下,可以向左和向右执行滚动控制;并且在操作对象是运动图像的情况下,可以将向左和向右的轻扫操作识别为命令,并且可以切换运动图像的通道。对于同一轻扫操作是执行模拟画面滚动控制还是命令控制,取决于作为操作对象的图像的设置。
如上所述,在本实施方式中,由于不使用向前抬起手臂并直接接触对象的方法,因此可以避免操作的身体负荷以及给周围人造成不自然的印象。
在下文中,将描述结合视线检测和输入装置20的操作的另一种二维图像操作输入方法。
(通过视线进行滚动控制和微调)
图7是用于描述根据本实施方式的二维图像操作方法的示例的视图。在图7中,在显示单元160上显示虚拟对象340,该虚拟对象340是显示web浏览器画面的面板。如图7所示,例如,显示控制单元121通过检测用户的视线,以与视线位置V对应的速度执行画面滚动。例如,当视线位置V从画面中心线C向下移动时,显示控制单元121更快地执行在向下的方向上的画面滚动;并且当视线位置V从画面中心线C向上移动时,显示控制单元121更快地执行在向上的方向上画面滚动。通过这种布置,用户可以快速查看整个画面并搜索阅读位置。
接下来,当输入装置20中的触摸传感器230被触摸时,显示控制单元121执行控制以停止画面滚动。通过这种布置,用户可以在可选位置处停止画面滚动,同时快速查看整个画面。
然后,在输入装置20中用手指触摸触摸传感器230时执行竖直方向上的移动的操作的情况下,显示控制单元121执行画面微调滚动(慢速滚动)。通过这种布置,用户可以在阅读web浏览器的文本时,在可选的定时处缓慢滚动。注意,可以类似地执行水平方向上的滚动控制。此外,输入装置20的触摸传感器230中的向上、向下、向左和向右如图4所示。也就是说,当输入装置20被佩戴在手指上时,手的背面被定义为向上方向,并且在输入装置20被安装在右手上时,手指根部方向被定义为向右方向。这种向上、向下、向左和向右的方向对应于Web浏览器画面上的向上、向下、向左和向右的方向。
(通过轻敲操作进行确定控制)
图8是用于描述根据本实施方式的二维图像的操作方法的示例的视图。显示控制单元121可以基于视线检测单元130的视线检测来识别作为操作对象的虚拟对象,并且响应于输入装置20上的轻敲操作来进一步执行确定控制。例如,如图8的左侧所示,显示控制单元121首先通过视线检测从视线位置V(对应于注视点)识别操作对象(此时可能不会显示光标)。在这种情况下,虚拟对象340的显示区域342(即显示Web浏览器画面的面板)可以被识别为操作对象。接下来,如图8的右侧所示,当在输入装置20上执行轻敲操作(或按下按压开关单元290)时,显示控制单元121执行确定控制。在确定控制中,例如,执行转到与显示区域342相关联的链接目的地(文章本体的网页)的画面转换。
在操作对象较大的情况下,或者在视线检测的准确度足够的情况下,无需对操作位置进行微调,因此,可以考虑执行上述一个动作的操作,以进一步减少操作负荷。
(轻敲部分的UI显示)
在上述示例中,不执行轻敲部分的用户界面(UI)显示,但是本实施方式不限于此,并且可以在轻敲的瞬间临时执行UI显示。通过这种布置,可以明确地向用户反馈操作位置。
图9是用于描述根据本实施方式的二维图像的操作中的UI显示的视图。例如,如图9的左侧所示,当用户在某处执行轻敲操作时,显示控制单元121在操作位置(视线位置V)处显示环形形状的UI显示344a,接下来,如图9的右侧所示,执行控制以使圆圈变小并在短时间内消失。如上所述,通过响应于轻敲操作在瞬间执行UI显示,用户可以明确识别操作位置。注意,UI显示的方法不限于图9所示的示例。例如,显示控制单元121可以在短时间内突出显示通过轻敲操作选择的链接区域(设置了链接的显示区域,例如图8的右侧所示的显示区域342)。
(操作位置的调整模式)
此外,还存在需要根据情况对操作位置进行微调的情况,例如操作对象较小的情况或者视线检测准确度不足的情况。操作位置是由通过视线检测得到的视线位置V(注视位置)指示的操作对象的位置。将参照图10描述使用输入装置20的位置调整模式。
图10是用于描述根据本实施方式的二维图像的操作方法的示例(位置调整模式)的视图。首先,如图10的左侧所示,显示控制单元121通过检测用户的视线来识别视线位置V(操作位置)(此时不出现指针)。接下来,如图10的中部所示,在用户对输入装置20中的触摸传感器230执行轻敲和拾取操作的情况下,显示控制单元121显示指针346(UI显示的示例)并且进入位置调整模式。此时,显示控制单元121根据手指在触摸传感器230上的移动(向上、向下、向左和向右的移动)来移动指针346。通过这种布置,即使在操作对象较小或视线检测准确度不够的情况下,也可以通过使用输入装置20的触摸传感器230进行操作,在视觉上识别指针346的同时执行微位置调整。然后,如图10的右侧所示,显示控制单元121通过从触摸传感器230上松开手指的触摸释放、按下设置在触摸传感器230的背面的按压开关单元290的点击操作等来执行确定控制。
·关于坐标轴
在此,将参照图11和图12描述在参照图10所述的位置调整模式下触摸操作的方向与指针的移动方向之间的关系。
图11是用于描述根据本实施方式的位置调整模式中的触摸操作的方向与指针的移动方向之间的关系的示例的视图。作为一种方法,例如,如图11所示,输入装置20中设置的触摸传感器230(触摸板)的坐标轴被设置为与输入装置20自身的坐标轴相匹配。也就是说,触摸传感器230的触摸操作中的X轴与输入装置20自身的Z轴相匹配,稍后将参照图21进行描述,并且触摸操作中的Y轴与输入装置20自身的Y轴相匹配。然后,显示控制单元121通过将触摸操作的坐标轴与虚拟对象350中的画面上的坐标轴进行匹配来移动指针352a。通过这样的坐标设置,用户可以直观地执行操作。
在参照图11的示例中,主要假定用户主要在手臂放下的状态下执行触摸操作,但是本实施方式不限于此,并且还假定如图12所示,用户通过抬起手臂执行触摸操作。在这种情况下,通过调整触摸操作的坐标轴,可以使显示***的方向与操作***的方向相互接近,从而实现直观的操作。
图12是用于描述根据本实施方式的位置调整模式中的触摸操作的方向与指针的移动方向之间的关系的示例的视图。如图12所示,在用户通过抬起手臂执行触摸操作的情况下,显示控制单元121使移输入装置20的触摸传感器230(触摸板)的坐标轴与输入装置20自身的坐标轴旋转地偏移。具体地,如图12所示,例如,触摸操作的X轴和Y轴围绕输入装置20自身的X轴方向旋转+45度(参见图21)。然后,显示控制单元121通过将经旋转偏移的触摸操作的坐标轴与虚拟对象350中的画面上的坐标轴进行匹配来移动指针352b。
通过这样的坐标轴设置,例如,用户符合人体工程学原理地且自然地在水平方向(图12中所示的触摸操作的X轴方向)上(通过仅移动拇指的根部关节)移动拇指,使得指针352b也在画面上沿水平方向移动。替选地,还可以通过用户自己的设置操作,使得不论手臂的抬起操作,始终都可以选择是执行如图11所示的操作还是执行如图12所示的操作。
注意,在参照图6和图7所述的响应于触摸操作(轻扫操作)的画面滚动控制中,类似地执行触摸操作的坐标轴设置。基本地,参照图11所述的坐标轴设置可以在手臂放下的状态下操作的假定条件下执行。此外,当检测到用户抬起手臂时,可以执行参照图12所述的坐标轴设置。
(放大/缩小操作)
操作对象的显示放大的操作方法的示例包括:在视线指向对象Web浏览器画面的状态下,执行使安装有输入装置20的手向左和向右扭转的操作,由输入装置20的运动传感器240检测这种操作(向左/向右扭转手腕的操作),并且通过显示控制单元121根据旋转角度位移来控制放大/缩小。例如,显示控制单元121可以执行控制,以在每当向外旋转手腕(例如,在输入装置20被安装在右手上的情况下,在向右的方向上向手背侧旋转)一次时,以1%的增量使对象的显示倍率放大。在这种情况下,例如,通过轻敲并按住(tapping andholding)触摸传感器,可以激活通过扭转手腕进行的放大/缩小操作。
<4-2.三维图像的操作方法>
接下来,将描述虚拟对象是三维图像或者如在触摸面板操作中那样直接操作二维图像的情况下的操作方法。在三维图像的情况下,举例说明直接通过手操作虚拟对象的方法和使用指针UI远程操作虚拟对象的方法。
(4-2-1.直接操作虚拟对象)
作为使用显示装置160向用户呈现视觉信息的示例,举例说明以三维图像生成的虚拟对象。作为三维图像的虚拟对象被叠加并显示在显示单元160的现实空间中。此外,虚拟对象可以被定位并显示在真实空间上,或者可以被显示而不被定位。
在这样的作为三维图像虚的拟对象被显示在用户通过手可以触及的位置的情况下(在虚拟对象的显示位置设置在靠近用户的位置的情况下),用户可以用安装有输入装置20的手指通过轻敲、拾取等直接操作虚拟对象。在下文中,将参照图13至图19进行描述。
·用指尖轻敲三维UI
图13是用于描述根据本实施方式的用指尖对三维UI进行轻敲操作的视图。如图13所示,作为三维图像的示例,例如,在电梯中的显示单元160上显示有三维UI图像360。控制单元120分析由向外摄像装置140捕获的用户的视场的图像(或者分析深度传感器的检测结果),并且识别指尖位置(或输入装置20的位置)。然后,当指尖位置触摸三维UI图像360时(可以考虑深度信息),控制单元120接收对三维UI图像360的操作输入。例如,在图13所示的示例中,当识别到指尖触摸三维UI图像360中的指示电梯楼层编号按钮中的“二楼”的按钮图像360a时,控制单元120将指示选择了二楼的信息发送到电梯侧的***。此外,控制单元120可以通过声音、显示、振动等执行操作反馈。例如,控制单元120可以控制显示控制单元121,以改变按钮图像360a的颜色。此外,控制单元120可以控制输入装置20的振动单元250,以执行向用户的触觉反馈(诸如,点击的振动)。通过这样的触觉反馈,可以在对虚拟对象的操作中产生实体感。在这种情况下,例如,当用手指直接操作按钮图像时,可以设想在按钮开启的情况和按钮关闭的情况下中的每一种情况下给出触觉反馈,并且使两者之间的振动模式有所不同。此外,还可以类似地设想在按钮开启时始终给出另一种触觉反馈。通过这样的控制,可以提高连续按下和操作按钮(例如,电梯的打开按钮)的操作感的实体感和可操作性。
·指尖位置的稳健检测
注意,在使用显示装置10中设置的向外摄像装置140和深度传感器进行“指尖位置的检测”时,根据手的方向和手指的角度,可能无法看到指尖,因此准确度可能会降低。因此,例如,可以向输入装置20提供用于识别的标记,由向外摄像装置140检测该标记,并且由控制单元120估计指尖位置。此外,在输入装置20中还设置了距离传感器,并且检测与安装有输入装置20的手指的预定关节部分(关节)的距离。在这种情况下,控制单元120可以基于通过标记等检测到的输入装置20的位置以及从该位置到预定关节部分(关节)的距离来估计指尖位置。
图14是用于描述根据本实施方式的通过使用距离传感器对指尖位置进行稳健检测的视图。如图14所示,例如,由输入装置20中设置的(单轴)距离传感器测量从输入装置20到手指的中间关节部分的距离。注意,首先对每个个体执行校准。如图14所示,手指的远端关节部分和中间关节部分彼此相结合地移动。例如,从输入装置20到中间关节部分的距离D越长,指尖(即手指的远端关节部分的远端)的位置就越远。通过这种布置,控制单元120可以根据输入装置20的位置和到中间关节的距离信息来估计指尖位置。
·拾取和松开操作
控制单元120可以基于对向外摄像装置140的拍摄图像以及输入装置20的运动传感器240的检测结果的分析,检测用安装有输入装置20的手指拾取和松开虚拟对象的操作。
图15是用于描述根据本实施方式的拾取和松开虚拟对象的操作的视图。如图15所示,在本实施方式中,例如,可以执行直接拾取和松开定位在真实空间的桌子40上的虚拟对象362(三维图像)的操作。
由于手指(例如,食指和拇指)相互碰撞会产生振动,因此容易通过加速度传感器(即输入装置20中设置的运动传感器240的示例)检测到拾取操作。另一方面,仅单独从输入装置20的运动可能难以确定松开操作是松开手指的操作还是移动整个手的操作(在拾取状态下从手腕移动),因此,例如,举例说明以下方法。
作为第一种解决方法,举例说明通过指向拇指的单轴距离传感器的值的改变来检测“松开”操作。图16是用于描述根据本实施方式的检测说话操作的示例的视图。如图16所示,(单轴)距离传感器280设置在输入装置20中,以测量到拇指的距离。通过这种布置,例如,控制单元120可以在距离为D10的情况下确定拾取状态,并且在距离为D11的情况下确定松开状态。注意,首先执行对每个个体的校准。替选地,还可以设想测量单轴距离传感器的值D,在检测到上述加速度传感器的“拾取”的操作时将值记录为Dt,此后在值D满足D>Dt+ΔD时检测到“松开”的操作。通过这种布置,可以消除如下事件:即使是同一用户,在每次拾取和松开的操作中,每次操作的拾取时的距离D都会发生变化,并且确定不稳定。在上述描述中,ΔD是用于确保检测的稳健性和稳定性的值,并且例如设置为Dt的10%等。
作为第二种解决方法,举例说明与由显示装置10的向外摄像装置140识别手的结果一起确定。例如,在手背的位置未移动并且输入装置20的运动传感器240检测到输入装置20在向上的方向上移动的情况下,控制单元120确定执行了“松开”操作。
作为第三种解决方法,举例说明了如下方法:控制单元120基于输入装置20的运动传感器240的检测结果预测旋转中心,并且根据旋转中心的位置确定“松开”操作。图17是用于描述根据本实施方式的通过预测旋转中心来确定松开操作的视图。例如,如图17的左侧所示,在输入装置20自身在向上的方向上移动的情况下,由运动传感器240的检测结果预测的旋转中心R位于食指根部周围。因此,在这种情况下,控制单元120确定执行了“松开”操作。另一方面,如图17的右侧所示,在旋转中心R位于比食指根部更远的位置(例如,手腕或肘部)时,控制单元120确定没有执行“松开”操作。注意,例如,旋转中心的预测可以基于陀螺仪传感器和加速度传感器(即运动传感器240的示例)的检测结果来执行。此外,通过在输入装置20内部布置多个陀螺仪传感器和加速度传感器(例如,将多个陀螺仪传感器和加速度传感器中的每一个布置在输入装置20的上部和下部处),控制单元120能够以更高的准确度进行确定。
·防止检测准确度降低
在上述拾取和松开检测中,检测准确度可能会根据输入装置20的安装方式受到影响。如上所述,运动传感器240和距离传感器280(光学传感器)可以用于检测拾取和松开。例如,运动传感器240检测食指与拇指相互接触时的振动。例如,控制单元120观察从运动传感器240检测到的x、y和z轴信号,并且利用这些信号自身的值或者应用了带通滤波器或范数的值来检测接触。注意,在本实施方式中,手指之间的接触被检测为“松开”操作,但是也可能被检测为轻敲操作。
在此,当输入装置20被安装在手指上时,运动传感器240在安装角度方面具有很高的自由度,但是当输入装置20与手指没有紧密接触时,通过手指接触的振动有可能会减弱。即使当安装角度是可选角度时,通过对传感器的值施加旋转处理或者使用与角度无关的特征量执行识别,也可以顺利检测到接触。
因此,在输入装置20的安装松动和运动传感器240的检测不成功的情况下,控制单元120指示用户重新安装输入装置20,使得输入装置20的接触更紧密。作为指示方法,在显示单元160上显示指导、输入装置20振动或者呈现声音。例如,在确定振动检测是不足够时,可以查看端子晃动的幅度,或者可以预先了解并比较终端松动时的振动数据。此外,可以执行校准,例如在安装输入装置20时始终轻敲手指一次,并且可以根据其振幅指示重新安装。
另一方面,对于主要用于测量手指与手指之间的距离的距离传感器280,即使当输入装置20没有与手指紧密接触时也没有问题(检测准确度不会明显降低),但是存在可允许的安装角度。例如,距离传感器280对应于距离传感器(深度传感器),例如,单轴ToF、其他ToF、毫米波雷达、摄像装置或红外传感器。例如,在单轴ToF的情况下,由于可识别的范围受限于实体角度(例如,平面角度小于60度),因此在用户未以正确姿势安装输入装置20的情况下,,难以如图16所示那样测量到拇指的距离(例如,在距离传感器280未安装在指向拇指的位置的情况下,无法测量到拇指的距离)。
另一方面,举例说明了在输入装置20中设置多个距离传感器280,使得可以高准确度地使用输入装置20而无需尽可能多地重新安装的方法。例如,通过在输入装置20的多个位置处设置单轴距离传感器,即使在输入装置20被安装在任意方向的情况下,也可以测量与拇指的距离。
在即使设置了多个距离传感器也无法获得与拇指的距离的情况下,控制单元120指示用户执行重新安装。例如,控制单元120可以在显示单元160上显示指导,使得输入装置20以正确的姿势安装。此外,输入装置20可以通过显示装置(未示出)(例如输入装置20的LED显示画面)执行指导。例如,无法获得到拇指的距离这一事实表示,在距离传感器280无法观察到接近拇指的情况下,虽然运动传感器240检测到手指之间的接触(轻敲操作),但仍无法测量距离。
然后,在用户未遵循重新安装的指令并且多个距离传感器280无法测量与拇指的距离的情况下,控制单元120可以仅使用运动传感器240的检测结果来检测拾取和松开的操作。此外,例如,控制单元120可以指定使手指相互接触两次(轻敲两次)作为“松开”操作的替选操作。
另一方面,在用户未遵循重新安装的指令,并且输入装置20的安装仍然松动并且无法使用运动传感器240的检测结果的情况下,控制单元120可以仅通过距离传感器280以伪方式检测拾取和松开的操作。
如上所述,即使在用户不遵循重新安装的情况下,控制单元120也可以通过适当选择用于识别的传感器来确保可操作性。
·通过触摸操作进行三维AR操作
随后,将描述使用输入装置20的触摸传感器230实现各种操作。
(1)使用指尖进行字符和图片的AR绘制
显示装置10的控制单元120执行控制,以在用拇指触摸触摸传感器(触摸开启)230的状态下,从食指的指尖在显示装置160上绘制线条等(执行诸如线条的图像的AR显示),并且在未用拇指触摸触摸传感器230(触摸关闭)的状态下,停止绘制。诸如线条的图像是通过三维信息生成的虚拟对象。诸如线条的图像可以在真实空间中定位,或者可以不在真实空间中定位。如上所述,指尖位置可以基于对由显示装置10的向外摄像装置140捕获的捕获图像的分析或者由输入装置20中设置的距离传感器对距离(从输入装置20到中间关节部分的距离)的测量来估计。显示装置10可以通过声音或振动执行操作反馈。图18是用于描述根据本实施方式的使用指尖对字符和图片进行AR绘制的视图。如图18所示,在输入装置20中触摸开启的情况下,控制单元120根据指尖在显示单元160上的位置执行对线条图像L1的AR显示(AR绘制),并且在触摸关闭的情况下停止绘制。
还可以通过输入装置20的操作来控制线条的粗细、类型、颜色等。例如,控制单元120可以检测用拇指按压输入装置20的力,并且根据按压压力改变线条的粗细等。例如,输入装置20设置有具有压力检测功能的触摸传感器、其他压力传感器等。
此外,由于在书写字符时可能难以操作意在“轻扫”等的触摸开启/关闭的定时,因此控制单元120可以根据字符的形状以及关于输入装置20的移动的信息自动辨别“轻扫”等,从而确定绘图的停止位置。
(2)确定“拾取/松开”
控制单元120可以执行控制,以在用拇指触摸触摸传感器230(触摸开启)的情况下使虚拟对象处于可以被拾取的状态,并且在没有用拇指触摸触摸传感器230(触摸关闭)的情况下使虚拟对象处于被松开的状态。图19是用于描述根据本实施方式的通过触摸操作拾取和松开虚拟对象的操作的视图。例如,如图19的左侧所示,控制单元120在显示单元160上显示定位在真实空间(例如,在桌子40上)上的虚拟对象364,并且由向外摄像装置140进一步识别安装有输入装置20的手指(或手)的位置。例如,虚拟对象364是三维CG图像。接下来,在输入装置20检测到触摸开启的情况下,识别出虚拟对象364处于被用户拾取的状态,并且控制虚拟对象364的显示。具体地,如图19所示,控制单元120执行控制,以使虚拟对象364的显示位置和姿势跟随指尖的位置而变化。此外,控制单元120可以通过改变虚拟对象364的颜色来执行操作反馈。此外,控制单元120可以通过声音或振动来执行操作反馈。然后,在输入装置20检测到触摸关闭(松开被触摸的拇指)的情况下,控制单元120识别到松开状态,并且执行控制,以使虚拟对象364从手部松开,如图19的右侧所示。在图19的右侧所示的示例中,控制单元120执行显示控制,在该显示控制中,从手中松开的虚拟对象364根据虚拟对象364中设置的参数落到真实空间中的桌子40上。
可以通过触摸操作的类型来区分执行上述各种操作中的哪一种。例如,可以通过选择性地使用“触摸”、“触摸拾取”、“轻敲并按住”等来区分任何操作(AR绘图、持有操作等)。此外,可以通过触摸位置或压力进行区分。例如,在触摸传感器230的下部被触摸的情况下可以执行AR绘制,而在上部被触摸的情况下可以执行拾取操作。
(4-2-2.虚拟对象的远程操作)
随后,将描述如下情况:通过由输入装置20操作的指针UI远程操作显示在手无法触及的地方的虚拟对象。此外,还可以由输入装置20执行触摸操作或开关操作,来拾取并移动由指针UI接触的虚拟对象。
图20是用于描述根据本实施方式的虚拟对象的远程操作的视图。如图20所示,例如,在显示装置160中,当作为三维对象的虚拟对象368被定位在真实空间上时,用户可以通过使用指针UI 366移动虚拟对象368,该指针UI 366是像激光一样的线性UI,并且根据输入装置20的方向移动。在图20所示的示例中,假设如下情况:为了考虑房间的内部装饰,在通过显示装置10的显示单元160查看通过三维CG数据生成的作为观叶植物的虚拟对象368时执行布置考虑。
指针UI 366经历显示控制,例如,以根据输入装置20的姿势以显示单元160下侧的中心点为基点向左右倾斜。输入装置20的姿势(相对于地面的偏航和俯仰方向的姿势)可以基于加速度传感器、陀螺仪传感器和地磁传感器(即运动传感器240的示例)的检测结果获取。注意,输入装置20中设置的运动传感器240可以检测三个自由度(3DOF)的姿势信息(除上述偏航和俯仰方向之外还有横滚方向),但是由于难以检测输入装置20相对于显示装置10的XYZ位置坐标,因此指针UI的基点被固定在例如图21所示的显示单元160的下侧中心的一部分处。注意,还可以通过在输入装置20中设置二维标记等来检测输入装置20相对于显示装置10的XYZ位置坐标,并且通过在显示装置10中设置的摄像装置检测该标记,然后以检测到的位置作为基点来显示指针UI。
在指针UI 366被放置在虚拟对象368上的状态下,通过在输入装置20上执行触摸操作,用户可以拾取手无法直接触及的虚拟对象368,并且将虚拟对象368移动到可选位置。
此外,例如,指针UI 366的长度可以初始地设置为5m等。此外,在指针UI 366的长度方向上存在可以远程操作的虚拟对象或真实对象体的情况下,控制单元120可以适当地将长度变更为到达其位置的长度。此外,在上述5m范围内存在虚拟对象或真实对象体的情况下,指针UI的显示长度可以被限制在其位置处。
·关于指针UI的显示的开启/关闭
只有当用户触摸输入装置20的触摸传感器230时,控制单元120可以显示指针UI366。
此外,指针UI 366可以通过执行预定操作来显示,所述预定操作例如对触摸传感器230进行双击、三击或长触(长按)或按压操作(按压在触摸传感器230的背面上设置的按压开关单元290的点击操作)、开关的双击操作或长按操作,以与上述二维图像上的滚动操作等分开。
替选地,在用户的视线方向上没有可滚动的虚拟对象(Web浏览器画面等)的状态下,在执行诸如输入装置20的触摸传感器230在输入装置20的Y轴(参见图21)的正方向上的轻扫操作的预定操作时,控制单元120可以使指针UI 366出现。此外,在执行诸如在输入装置20的Y轴的负方向上的轻扫操作的预定操作的情况下,控制单元120可以隐藏指针UI366。
此外,在由输入装置20指示的大致方向上显示可以远程操作的虚拟对象的情况下,控制单元120可以显示指针UI 366,或者在这种情况下,在对输入装置20执行触摸操作时控制单元120可以显示指针UI 366。
此外,在可以远程操作的虚拟对象被显示在用户的视线方向上的情况下,控制单元120可以显示指针UI 366,或者在这种情况下,在对输入装置20执行触摸操作时控制单元120可以显示指针UI 366。
此外,在用户在安装有输入装置20的状态下抬起手臂的情况下(在垂直于地面的俯仰方向上抬起手臂的情况下),控制单元120可以显示指针UI 366。
·关于反馈
用户通过改变输入装置20的姿势来控制指针UI 366的方向,并且例如,通过将指针UI 366与作为观叶植物等的三维CG图像的虚拟对象368对准来执行指向操作。在这种情况下,当指针UI 366被放置在可以远程操作的虚拟对象368上时,控制单元120改变虚拟对象368的显示(例如,改变亮度值、添加阴影、用边框包围、闪烁一次等),以允许用户识别聚焦已开启。此外,控制单元120可以进一步通过声音或振动执行反馈。例如,在虚拟对象368被聚焦的瞬间,在输入装置20中产生振动,从而产生实体感。
·关于拾取和松开的操作
当在虚拟对象368被聚焦的状态下对输入装置20执行触摸操作或对开关的按压操作(开关开启)时,控制单元120识别到对象处于被拾取的状态,并且执行显示控制,使得虚拟对象368跟随指针UI 366移动(接近于使用鼠标进行拖动操作的控制)。
此外,当执行触摸释放操作、再次按下开关操作或者结束按下操作(开关关闭)的操作时,控制单元120识别到对象处于被松开的状态,并且执行控制,以将虚拟对象368的显示位置保持在分开的地方。注意,按压操作不限于按压开关单元290的操作。例如,在输入装置20中设置的压力传感器的值超过阈值的情况下,可以确定执行了按压操作。同样,在使用压力传感器的情况下,当确定按压操作的开启/关闭时,可以通过振动单元250执行触觉反馈来提高操作感。
·关于输入装置20的姿势和指针UI 366的方向
控制单元120执行控制,以将输入装置20相对于地面在俯仰方向(竖直)和偏航方向(水平)上的姿势反映在指针UI 366的方向上。注意,使用输入装置20的操作输入是在两个轴(偏航、俯仰)上,但是例如,通过将虚拟对象设置为受限于在真实空间的地面上移动,对于两个轴的输入可以实现两个方向(左右和前后)上的移动。也就是说,可以通过相对于俯仰操作(相对于地面的竖直方向)前后移动虚拟对象(相对于用户的前后)来实现深度方向上的移动。
图21是用于描述根据本实施方式的指针UI 366根据输入装置20在偏航方向上的移动而移动的视图。如图21所示,例如,当用户在偏航方向上移动输入装置20时,即在手臂向前抬起的状态下相对于地面在水平方向上移动时,在显示装置160上显示的指针UI 366的尖端上执行向左和向右的显示控制。如上所述,指针UI 366的基点(起点)被固定至显示装置160下侧的中心。
注意,在不包括能够检测偏航方向上的绝对姿势角的地磁传感器而仅使用加速度传感器和陀螺仪传感器作为运动传感器240的情况下,在偏航方向相对于地面的姿势检测中,由陀螺仪传感器检测偏航姿势角的相对变化。因此,在控制意图使得指针UI 366的方向与手臂的方向基本相匹配的情况下,可能会出现手臂的方向与指针UI 366的方向在偏航方向上不匹配的情况。另一方面,例如,在用户将手臂举到身体前方的预定高度(例如,如图23所示前臂基本水平的俯仰方向角度)的情况下,控制单元120可以开启指针UI 366的显示,并且将指针UI 366当时的初始偏航姿势设置为0度(如图21所示的前方方向)。通过这种布置,可以从指针UI 366的方向和手的方向大致指向前方并且相匹配的状态开启控制。由于由陀螺仪传感器检测随后在偏航方向上的姿势变化,因此指针UI 366与手的方向之间的匹配可以继续进行。另一方面,在相对于地面的俯仰方向上的姿势检测中,通过重力方向获得绝对姿势角(如图23所示,俯仰方向上的0度为水平方向)。
·关于指针UI 366的显示方向
如图21所示,在显示单元160上显示的指针UI 366的方向(左倾或右倾)可以相对于输入装置20的Y轴(以直角与穿过输入装置20的手指相交的方向)旋转地偏移。在图21所示的示例中,与输入装置20的Y轴偏移约45度的方向d被设置为指针UI 366的方向(以显示单元160下侧的中心为基点,向左或向右倾斜)。如图21所示,通过这种布置,用户前臂的方向和指针UI 366的方向(向左或向右倾斜)可以基本匹配,从而可以执行更直观的操作。此外,同样从手腕的关节运动范围的观点来看,通过执行如上所述的旋转偏移,如图22所示,从图22中的手腕角度约为0度的中心的状态开始,通过手腕的弯曲或伸展运动,可以在身体负荷较小的情况下将指针UI 366的方向从前方方向移动到水平方向。
此外,如图23所示,显示单元160上显示的指针UI 366在竖直方向上的移动是根据输入装置20在俯仰方向上的移动来控制的。图23是用于描述根据本实施方式的输入装置在俯仰方向上的移动来控制指针UI移动的视图。如上所述,在本实施方式中,在显示单元160中相对于使用输入装置20的两个轴(偏航、俯仰)的输入来实现指针UI 366在两个方向(左右和前后)上的移动。如图23所示,例如,在用户的手臂相对于水平方向向上指向约45度的情况下,指针UI 366也处于相对于真实空间从水平方向向上斜伸45度并指向天花板的状态。
·关于旋转偏移的方向
控制装置120根据输入装置20安装在左右手指中的哪一个手指上,切换指针UI366的方向(执行旋转偏移的方向)。图24是用于描述根据本实施方式的输入装置20被安装在左右食指上的情况的视图。例如,在根据本实施方式的输入装置20中,如图3所示,触摸传感器230设置在输入装置20的主体部的一侧。将这种输入装置20安装在食指上的正确姿势是触摸传感器230朝向拇指的姿势。因此,如图24所示,当输入装置20以正确姿势安装在食指上时,左手指和右手指会以相对的方向(具体地,Z轴的正/负方向)***。
然后,如图24的左侧所示,例如,在用户将输入装置20安装在右手上的情况下,控制单元120将指针UI 366的方向(方向d)设置为输入装置20的Y轴绕X轴旋转偏移约+45度的方向。此外,如图24的右侧所示,例如,在用户将输入装置20安装在左手上的情况下,控制单元120将指针UI 366的方向(方向d)设置为输入装置20的Y轴绕X轴旋转偏移约-45度的方向。如上所述,指针UI 366的方向可以根据用户将输入装置20安装在左手还是右手上的信息进行更改。
例如,作为用于获取指示用户将输入装置20安装在左手还是右手中的哪只手上的信息的手段,存在用户使用显示装置10的显示单元160上显示的画面UI等手动输入信息的方法。替选地,通过用显示装置10的向外摄像装置140识别用户的手和输入装置20,可以确定输入装置20被安装在哪只手上。例如,作为安装输入装置20时的初始操作,用户通过将安装了输入装置20的手保持在向外摄像装置140的成像区域上来执行初始设置。此外,例如,输入装置20的安装/拆卸由安装在输入装置20内部的接近传感器确定。
替选地,通过积累安装输入装置20时的姿势信息,控制单元120还可以确定输入装置20是安装在右手还是左手上。这是通过根据在行走期间食指主要指向地面的方向的事实等对姿势信息进行统计处理来执行估计的方法。每次安装或拆卸输入装置20时,执行这种估计。
此外,在图24所示的示例中,输入装置20被安装在手指的基关节部分(手指根部的关节)上。然而,作为安装位置的其他示例,还假设输入装置20被安装在中间关节部分(手指中心的关节)上的情况。在图24所示的手的状态(食指弯曲的状态)下输入装置20被安装在中间关节部分上时,控制单元120反转上述旋转偏移的方向(例如,在右手的情况下为-45度,在左手的情况下为+45度),或者将方向设置为0度。通过这种布置,同样在输入装置20被安装在中间关节部分的情况下,还可以根据手腕的关节运动范围的视点容易地操作指针UI366。至于输入装置20是安装在基关节部分还是中间关节部分,例如,可以通过使用向外摄像装置140捕获手部和输入装置20来确定,就像上述确定左手和右手一样。
·使用指针UI 366操作真实对象
图25是用于描述根据本实施方式的使用指针UI对真实对象进行操作的视图。在本实施方式中,操作不限于对作为二维或三维图像的虚拟对象的操作,还可以对真实对象进行操作。例如,如图25所示,当指针UI 366被放置在天花板上设置的作为真实对象的空调45上时,显示温度操作面板370。显示装置10可以通过向外摄像装置140识别空调45。用户可以在显示温度操作面板370的状态下执行诸如温度调节和操作模式切换的操作。例如,可以通过在触摸传感器230中执行竖直方向的轻扫操作来给出升高或降低温度的指令。显示装置10和空调45被预先配对,并且可以发送和接收数据。替选地,显示装置10可以通过无线通信连接至家庭网络,以经由家庭网络控制空调45。
·关于显示装置160的显示开启/关闭
控制单元120还可以根据输入装置20的操作控制显示单元160的显示器自身的开启/关闭。通过关闭显示单元160的显示,可以实现显示装置10的电池容量的节省。
显示单元160的显示开启/关闭操作的示例包括在输入装置20的触摸传感器230上进行触摸操作(轻敲、双击、三击或长触)、按压操作(使用按压开关单元290进行点击操作、双击操作、三击操作或长点击操作)等。由于轻敲操作、点击操作等也可能与使用指针UI366的远程操作中使用的操作相冲突,因此例如,当在未显示指针UI366时执行预定的轻敲操作或点击操作时,控制单元120可以关闭显示单元160的显示。
此外,显示单元160的显示开启/关闭操作的示例包括在输入装置20的触摸传感器230上进行轻扫操作(通过向上方向的轻扫操作使显示开启,通过向下方向的轻扫操作使显示关闭,等等)。同样在这种情况下,为了将对二维图像操作的操作、对三维图像的直接操作、远程操作等区分开来,例如,可以只将图26中所示的在触摸传感器230的单侧边缘部230a中沿竖直方向的轻扫操作分配给显示单元160的显示开启/关闭操作。注意,通过使用边缘的操作将左右边缘中的哪一个分配给显示单元160的显示开启/关闭操作,可以基于上述关于输入装置20被安装在手的左手指和右手指上的哪一个的信息来确定。替选地,可以使用触摸传感器230的整个表面而不是边缘的操作来进行显示单元160的显示开启/关闭操作。在这种情况下,为了避免显示关闭操作与画面滚动控制之间的冲突,只在用户的视线方向周围没有可滚动的虚拟对象的情况下,才可以将轻扫操作(例如,向下方向的轻扫操作)分配给显示关闭控制。
此外,通过与显示单元160的显示关闭一起关闭视线检测和与网络的通信连接,可以进一步抑制显示装置10的功耗。此外,在显示单元160的显示被关闭的情况下,或者在输入装置20在一定时间段内不工作的情况下,控制单元120可以通过降低输入装置20的触摸传感器230的采样率、关闭运动传感器240的感测等来抑制输入装置20的功耗。
上文已经具体描述了根据本实施方式的各种操作方法。根据本实施方式,对所需二维或三维对象(虚拟对象)的操作可以通过单手低负荷操作来实现。
<<5.输入装置20的安装位置和结构>>
<5-1.输入装置20的安装位置>
根据本实施方式的输入装置20可以被安装在手指的基关节部分(手指根部的关节),如图24等所示,或者可以被安装在中间关节部分(手指中心的关节)作为安装位置的其他示例。此外,用户可以根据使用场景适当改变安装位置。
<5-2.输入装置20的结构>
对于输入装置20的结构,如上文参照图3所述,形成输入装置20的主体部的C形环的一部分可以发生塑性变形,这使得输入装置20能够安装在具有不同粗细的手指上。注意,根据本实施方式的输入装置20的结构不限于图3所示的示例。在下文中,将参照图27至图29具体描述根据本实施方式的输入装置20的其他结构示例。
如上所述,根据本实施方式的输入装置20可以具有闭合的环形的形状或不闭合的环形的形状。图27示出了不闭合的环形的形状的特定示例。图27是用于描述根据本实施方式的输入装置20的结构的示例的视图。图27所示的截面图是从手指穿过的方向观察的输入装置20的视图。图27中的左侧所示的输入装置20A具有图3中所示的C形环的形状。图27的中部所示的输入装置20B是凹口环形形状的示例。图27的右侧的输入装置20C是另一C形环的形状的示例。如上所述,根据本实施方式的输入装置20可以通过具有不闭合的部分的环形来应对不同粗细的手指。此外,通过在环的一部分中设置可塑性变形的部分,可以在更大范围内进行调节。
图28和图29是用于描述如下结构的视图,在该结构中,根据本实施方式形成输入装置20的环形主体部的一部分包括可变形部位。首先,在图28的上部所示的输入装置20D中,C形环的一部分通过整体形成等包括变形部21a和21b,变形部21a和21b包括柔性材料。由于输入装置20D被安装在手指上的方法是将手指从变形部21a和21b之间形成的缺口中***,因此拆卸非常方便。此外,即使手指2比手指1粗,也可以通过使变形部21a和21b弯曲来进行安装。
在图28的中部所示的输入装置20E中,在具有闭合的环形形状的O形环状主体部的一部分中,通过整体形成等配置了变形部22,该变形部22包括可以根据手指的粗细而扩大或收缩的可伸展材料。由于输入装置20E是通过将手指穿过孔的方法安装在手指上的,因此输入装置20E不易脱落。
在图28的下部所示的输入装置20F中,环形主体部的一部分通过整体形成等配置了根据手指的粗细进行可逆变形的变形部23。输入装置20F是带状环,其形状是通过将变形部23上翻并***手指,然后将变形部23缠绕在手指上,从而安装在手指上。作为带状环的输入装置20F易于取下,并且不易脱落。例如,锁定变形部23的方法可以是半变形力、磁体等的吸引力等。
此外,在图29的上部所示的输入装置20G中,在C形环状主体部的一部分中设置有可以根据手指的粗细移动的变形部24a和24b。输入装置20G安装在手指上的方法是,将手指从变形部24a与24b之间形成的缺口中***。例如,变形部24a和24b被配置为保持弹簧类型,在该保持弹簧类型中,在按压手指的方向上施加弹簧压力,并调整强度,使得在开口的方向上不会通过闩锁机构返回。
图29的下部所示的输入装置20H是由这样的结构形成的:在主体部的一部分中安装有可以根据手指的粗细更换的附件25(25a,25b)。例如,在手指1的情况下,安装附件25a,而在手指2比手指1粗的情况下,安装附件25b。每个附件25都沿着手指的指垫形状形成。当输入装置20被安装在手指上时,在附件25的两端处设置的连接部分中的一个可以被拆卸并开口,并且手指可以从开口的部分***。通过使用柔软且具有轻微伸缩性的材料形成附件25,可以应对更多的手指尺寸。
在安装输入装置20时,根据上述手指的粗细而变形的变形部设置在主要位于手指的指垫侧的部分处。此时,输入装置20的诸如通信单元210、控制单元220、运动传感器240、振动单元250和存储单元260的每个配置(单元)可以设置在输入装置20的上部(安装在手指上时主要位于手指背面的部分)。此外,由于触摸传感器230设置在面向拇指的一侧,使得在安装输入装置20时可以用拇指执行操作,因此触摸传感器230还可以设置在输入装置20的变形部处。
<<6.修改例>>
随后,将描述本实施方式的修改例。
<6-1.来自输入装置20的音频输入>
还可以在输入装置20中设置音频输入单元,以应对音频输入。此外,考虑到难以说话的情况,例如,在火车上,输入装置20可以设置有静音音频输入装置。在本说明书中,以非常小的音量低声说话的情况或者根本不说话而执行发声操作的情况被称为静音。例如,静音音频输入装置分析在发出别人听不到的低语时喉咙的振动、在闭嘴状态下执行发声时喉咙的振动、在完全不发声的情况下执行发声操作(所谓的唇音)时喉咙和口腔的信息(例如,超声波回声视频),并且实现音频文本输入和音频命令识别。在输入装置20与下颌区域接触的状态下,输入装置20中设置的各种传感器(振动传感器和超声波传感器)可以获取关于喉咙和口腔中的振动的信息。显示装置10的控制单元120可以对这些信息进行分析。
<6-2.输入装置20的另一种使用方法>
根据本实施方式的输入装置20不仅可以用于对上述显示装置10的操作输入,例如,还可以用于对音频输出装置的操作输入。音频输出装置可以是安装在用户身上的各种扬声器(挂在脖子上的扬声器、耳机型扬声器和头戴式耳机型扬声器),或者可以是安装在房间或汽车中的音频装置。
此外,根据本实施方式的输入装置20可以单独使用。例如,输入装置20可以用作与他人通信的装置。此外,输入装置20可以用作电视机等的遥控器(远程控制器)。
<<7.补充>>
如上所述,在根据本公开内容的实施方式的信息处理装置中,可以执行在日常生活中的操作中更自然、负担更小、麻烦更少的输入操作。
以上已参照附图详细描述了本公开内容的优选实施方式,但是本技术不限于这样的示例。显然,本公开内容的技术领域的普通技术人员可以在权利要求书中记载的技术思想的范围内设想出各种修改或修正,并且这些修改或修正自然被理解为它们也落入本公开内容的技术范围内。
例如,输入装置20中的输入操作手段不限于使用触摸传感器230的触摸操作,并且可以是使用按压开关的点击操作、使用运动传感器240的运动输入、使用压力传感器的按压操作等。此外,这些操作还可以适当地组合使用。
此外,已经举例说明了安装在用户头部的眼镜式装置作为显示虚拟对象的显示装置,但是根据本实施方式的显示装置不限于此。例如,显示装置可以是智能手机或平板电脑终端,或者可以是向用户的一只眼睛呈现视频的显示装置(可以安装在一只耳朵上)。此外,输入装置20的操作对象不限于叠加并显示在真实空间上的虚拟对象。例如,操作对象可以是显示在显示装置上的虚拟空间中的虚拟对象。此外,当显示装置由投影仪实现时,由投影仪投射的图像中包含的虚拟对象可以是操作对象。
例如,还可以创建一个或更多个计算机程序,用于使并入上述显示装置10或输入装置20中的诸如CPU、ROM和RAM的硬件发挥显示装置10或输入装置20的功能。此外,还提供了存储一个或更多个计算机程序的计算机可读存储介质。
此外,本说明书中描述的效果仅是说明性或示例性的,而不是限制性的。也就是说,除了上面所描述的效果或代替上面所描述的效果以外,根据本说明书的描述,根据本公开内容的技术可以表现出对于本领域技术人员明显的其他效果。
注意,本技术还可以具有以下配置。
(1)一种输入装置,包括:
要安装到用户的手指上的环形形状的主体部;
一个或更多个传感器,其设置于所述主体部中并且检测关于其他手指的输入操作的信息;
通信单元,其执行与外部装置的无线通信;以及
控制单元,其执行控制,以通过所述通信单元将由所述一个或更多个传感器检测到的关于所述操作输入的信息发送到所述外部装置。
(2)根据(1)所述的输入装置,其中,所述一个或更多个传感器设置在所述主体部中的在安装时面向拇指的位置处。
(3)根据(2)所述的输入装置,其中,所述一个或更多个传感器包括检测触摸操作的触摸传感器以及检测开关操作的开关传感器中的至少一个。
(4)根据(1)至(3)中任一项所述的输入装置,其中,至少所述通信单元和所述控制单元设置于在安装时位于所述手指的背面侧的所述主体部的上部。
(5)根据(1)至(4)中任一项所述的输入装置,其中,所述环形形状是环形闭合的形状或者环形不闭合的形状。
(6)根据(1)至(5)中任一项所述的输入装置,其中,所述主体部的一部分包括可变形部。
(7)根据(1)至(5)中任一项所述的输入装置,其中,所述主体部包括与手指的粗细对应的可更换附件。
(8)根据(1)至(7)中任一项所述的输入装置,还包括:
运动传感器,其设置于所述主体部中并且检测移动,
其中,所述控制单元执行控制,以通过所述通信单元将所述运动传感器的检测结果发送到所述外部装置。
(9)根据(1)至(8)中任一项所述的输入装置,还包括:
设置于所述主体部中的振动单元,
其中,所述控制单元根据通过所述通信单元从所述外部装置接收到的信息控制所述振动单元。
(10)根据(1)至(9)中任一项所述的输入装置,其中,所述外部装置是由所述用户使用的显示装置或音频输出装置。
(11)根据(1)至(10)中任一项所述的输入装置,还包括:
距离传感器,其设置于所述主体部中,并且检测与其他手指的距离或者与安装有所述输入装置的手指的预定关节的距离,
其中,所述控制单元执行控制,以通过所述通信单元将所述距离传感器的检测结果发送到所述外部装置。
(12)一种***,包括:
操作输入信息获取单元,其从一个或更多个传感器获取关于操作输入的信息,所述一个或更多个传感器设置于要安装在用户的手指上的环形形状的主体部中并且检测关于其他手指的操作输入的信息;
视线信息获取单元,其获取用户的视线信息;以及
呈现控制单元,其基于所述关于操作输入的信息和所述视线信息控制要呈现给用户的信息。
(13)根据(12)所述的***,其中,要呈现给用户的信息包括由振动单元给出的触觉信息、由显示单元给出的视觉信息、以及由音频输出单元给出的听觉信息中的至少一种。
(14)根据(12)或(13)所述的***,还包括:
输入装置,其包括:
所述主体部;
设置于所述主体部中的所述一个或更多个传感器;
通信单元,其执行与所述用户所使用的信息处理装置的无线通信;以及
控制单元,其执行控制,以通过所述通信单元将由所述一个或更多个传感器检测到的关于所述操作输入的信息发送到所述信息处理装置,以及
所述信息处理装置包括:
所述操作输入信息获取单元,其获取从所述输入装置发送的关于所述操作输入的信息;
所述视线信息获取单元;以及
所述呈现控制单元。
(15)根据(14)所述的***,其中,
所述信息处理装置是安装在用户的头部上的显示装置,并且
所述呈现控制单元对在所述显示装置中被叠加显示在真实空间上的二维或三维图像执行显示控制,
根据所述视线信息识别操作对象的图像,并且
基于关于所述操作输入的信息,对所识别的操作对象的图像执行控制。
(16)根据(15)所述的***,其中,
所述呈现控制单元
基于所述视线信息识别所述显示装置的显示画面上的操作位置,并且
根据关于预定操作输入的信息进一步调整所述操作位置。
(17)根据(15)或(16)所述的***,其中,所述呈现控制单元基于关于所述操作输入的信息对所述操作对象的图像执行控制,并且执行对所述输入装置中设置的振动单元的触觉信息的呈现控制。
(18)一种控制方法,包括由处理器执行以下操作:
由设置于要安装在用户的手指上的环形形状的主体部中的一个或更多个传感器检测关于其他手指的操作输入的信息;以及
执行控制,以通过执行无线通信的通信单元将所检测到的关于所述操作输入的信息发送到外部装置。
(19)一种控制方法,包括由处理器执行以下操作:
从一个或更多个传感器获取关于操作输入的信息,所述一个或更多个传感器设置于要安装在用户的手指上的环形形状的主体部中并且检测关于其他手指的操作输入的信息;
获取用户的视线信息;以及
基于关于所述操作输入的信息和所述视线信息控制要呈现给用户的信息。
附图标记列表
10显示装置
110通信单元
120控制单元
121显示控制单元
130视线检测单元
140向外摄像装置
150操作输入单元
160显示单元
170音频输出单元
180存储单元
20输入装置
210通信单元
220控制单元
221振动控制单元
230触摸传感器
240运动传感器
250振动单元
260存储单元

Claims (19)

1.一种输入装置,包括:
要安装到用户的手指上的环形形状的主体部;
一个或更多个传感器,其设置于所述主体部中并且检测关于其他手指的输入操作的信息;
通信单元,其执行与外部装置的无线通信;以及
控制单元,其执行控制,以通过所述通信单元将由所述一个或更多个传感器检测到的关于所述操作输入的信息发送到所述外部装置。
2.根据权利要求1所述的输入装置,其中,所述一个或更多个传感器设置在所述主体部中的在安装时面向拇指的位置处。
3.根据权利要求2所述的输入装置,其中,所述一个或更多个传感器包括检测触摸操作的触摸传感器以及检测开关操作的开关传感器中的至少一个。
4.根据权利要求1所述的输入装置,其中,至少所述通信单元和所述控制单元设置于在安装时位于所述手指的背面侧的所述主体部的上部。
5.根据权利要求1所述的输入装置,其中,所述环形形状是环形闭合的形状或者环形不闭合的形状。
6.根据权利要求1所述的输入装置,其中,所述主体部的一部分包括可变形部。
7.根据权利要求1所述的输入装置,其中,所述主体部包括与手指的粗细对应的可更换附件。
8.根据权利要求1所述的输入装置,还包括:
运动传感器,其设置于所述主体部中并且检测移动,
其中,所述控制单元执行控制,以通过所述通信单元将所述运动传感器的检测结果发送到所述外部装置。
9.根据权利要求1所述的输入装置,还包括:
设置于所述主体部中的振动单元,
其中,所述控制单元根据通过所述通信单元从所述外部装置接收到的信息控制所述振动单元。
10.根据权利要求1所述的输入装置,其中,所述外部装置是由所述用户使用的显示装置或音频输出装置。
11.根据权利要求1所述的输入装置,还包括:
距离传感器,其设置于所述主体部中,并且检测与其他手指的距离或者与安装有所述输入装置的手指的预定关节的距离,
其中,所述控制单元执行控制,以通过所述通信单元将所述距离传感器的检测结果发送到所述外部装置。
12.一种***,包括:
操作输入信息获取单元,其从一个或更多个传感器获取关于操作输入的信息,所述一个或更多个传感器设置于要安装在用户的手指上的环形形状的主体部中并且检测关于其他手指的操作输入的信息;
视线信息获取单元,其获取用户的视线信息;以及
呈现控制单元,其基于所述关于操作输入的信息和所述视线信息控制要呈现给用户的信息。
13.根据权利要求12所述的***,其中,要呈现给用户的信息包括由振动单元给出的触觉信息、由显示单元给出的视觉信息、以及由音频输出单元给出的听觉信息中的至少一种。
14.根据权利要求12所述的***,还包括:
输入装置,其包括:
所述主体部;
设置于所述主体部中的所述一个或更多个传感器;
通信单元,其执行与所述用户所使用的信息处理装置的无线通信;以及
控制单元,其执行控制,以通过所述通信单元将由所述一个或更多个传感器检测到的关于所述操作输入的信息发送到所述信息处理装置,以及
所述信息处理装置包括:
所述操作输入信息获取单元,其获取从所述输入装置发送的关于所述操作输入的信息;
所述视线信息获取单元;以及
所述呈现控制单元。
15.根据权利要求14所述的***,其中,
所述信息处理装置是安装在用户的头部上的显示装置,并且
所述呈现控制单元对在所述显示装置中被叠加显示在真实空间上的二维或三维图像执行显示控制,
根据所述视线信息识别操作对象的图像,并且
基于关于所述操作输入的信息,对所识别的操作对象的图像执行控制。
16.根据权利要求15所述的***,其中,
所述呈现控制单元基于所述视线信息识别所述显示装置的显示画面上的操作位置,并且
根据关于预定操作输入的信息进一步调整所述操作位置。
17.根据权利要求15所述的***,其中,所述呈现控制单元基于关于所述操作输入的信息对所述操作对象的图像执行控制,并且执行对所述输入装置中设置的振动单元的触觉信息的呈现控制。
18.一种控制方法,包括由处理器执行以下操作:
由设置于要安装在用户的手指上的环形形状的主体部中的一个或更多个传感器检测关于其他手指的操作输入的信息;以及
执行控制,以通过执行无线通信的通信单元将所检测到的关于所述操作输入的信息发送到外部装置。
19.一种控制方法,包括由处理器执行以下操作:
从一个或更多个传感器获取关于操作输入的信息,所述一个或更多个传感器设置于要安装在用户的手指上的环形形状的主体部中并且检测关于其他手指的操作输入的信息;
获取用户的视线信息;以及
基于关于所述操作输入的信息和所述视线信息控制要呈现给用户的信息。
CN202280048109.5A 2021-07-14 2022-02-22 输入装置、***和控制方法 Pending CN117616366A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021116212 2021-07-14
JP2021-116212 2021-07-14
PCT/JP2022/007274 WO2023286316A1 (ja) 2021-07-14 2022-02-22 入力装置、システム、および制御方法

Publications (1)

Publication Number Publication Date
CN117616366A true CN117616366A (zh) 2024-02-27

Family

ID=84918833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048109.5A Pending CN117616366A (zh) 2021-07-14 2022-02-22 输入装置、***和控制方法

Country Status (3)

Country Link
JP (1) JPWO2023286316A1 (zh)
CN (1) CN117616366A (zh)
WO (1) WO2023286316A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070554A2 (en) * 2009-12-13 2011-06-16 Ringbow Ltd. Finger-worn input devices and methods of use
CN106164808A (zh) * 2014-04-01 2016-11-23 苹果公司 用于戒指计算设备的设备和方法
KR20160015050A (ko) * 2014-07-30 2016-02-12 엘지전자 주식회사 반지형 이동 단말기
KR20160031896A (ko) * 2014-09-15 2016-03-23 엘지전자 주식회사 반지형 이동 단말기
KR101853706B1 (ko) * 2016-11-30 2018-05-02 (주)슈팅스 손가락 마디 간 착용형 반지 타입의 사용자 조작 센싱 장치
US10838499B2 (en) * 2017-06-29 2020-11-17 Apple Inc. Finger-mounted device with sensors and haptics
US11360558B2 (en) * 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
JP2020174787A (ja) * 2019-04-16 2020-10-29 国立大学法人東京農工大学 手指運動推定システム
US10948980B2 (en) * 2019-05-10 2021-03-16 Apple Inc. Electronic device system with controllers
US20210089131A1 (en) * 2019-09-23 2021-03-25 Apple Inc. Finger-Mounted Input Devices

Also Published As

Publication number Publication date
WO2023286316A1 (ja) 2023-01-19
JPWO2023286316A1 (zh) 2023-01-19

Similar Documents

Publication Publication Date Title
EP3776147B1 (en) Accelerated gaze-supported manual cursor control
EP2929424B1 (en) Multi-touch interactions on eyewear
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
JP5412227B2 (ja) 映像表示装置、および、その表示制御方法
US20220229524A1 (en) Methods for interacting with objects in an environment
EP3291061B1 (en) Virtual reality control method, apparatus and electronic equipment
US20150143283A1 (en) Information processing device, display control method, and program
US20150002475A1 (en) Mobile device and method for controlling graphical user interface thereof
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US20140053115A1 (en) Computer vision gesture based control of a device
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
Weng et al. Facesight: Enabling hand-to-face gesture interaction on ar glasses with a downward-facing camera vision
US20220057978A1 (en) Display Method And Apparatus, Intelligent Wearable Device, And Storage Medium
CN112099618A (zh) 电子设备、电子设备的控制方法和存储介质
US20170160797A1 (en) User-input apparatus, method and program for user-input
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
CN117616366A (zh) 输入装置、***和控制方法
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
WO2019142621A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP4400956A1 (en) Touchless user interface provision method based on an electronic device case
JPH08315118A (ja) マンマシン・インターフェース
WO2024149693A1 (en) Touchless user interface provision method based on an electronic device case
CN117827072A (zh) 设备控制方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination