CN105739681A - 改变触觉控制器的触觉表面来传达交互式***信息的技术 - Google Patents

改变触觉控制器的触觉表面来传达交互式***信息的技术 Download PDF

Info

Publication number
CN105739681A
CN105739681A CN201511009219.9A CN201511009219A CN105739681A CN 105739681 A CN105739681 A CN 105739681A CN 201511009219 A CN201511009219 A CN 201511009219A CN 105739681 A CN105739681 A CN 105739681A
Authority
CN
China
Prior art keywords
haptic
state
haptic controller
control signal
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511009219.9A
Other languages
English (en)
Other versions
CN105739681B (zh
Inventor
J.E.纳曼
S.马蒂
D.迪森索
M.斯帕索杰维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN105739681A publication Critical patent/CN105739681A/zh
Application granted granted Critical
Publication of CN105739681B publication Critical patent/CN105739681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Mechanical Control Devices (AREA)

Abstract

在本发明的实施方案中，触觉引擎动态地配置触觉控制器来通过纹理感觉提供关于交互式***的状态的信息。在操作中，随着交互式***的状态改变，触觉引擎动态地更新触觉状态，触觉状态包括被设计来以直观的方式反映交互式***的所述状态的纹理特性，诸如纹理图案。触觉引擎随后生成信号，信号配置包括在触觉控制器中的触摸表面来传达这些纹理特性。有利地，基于纹理感觉提供关于所述交互式***的正确状态和/或操作的信息减少归于许多常规音频和/或视觉交互式***的分心。值得注意的是，与常常诱导驾驶员把目光从道路移开的常规车载信息娱乐***相比，提供动态更新的纹理数据的车载信息娱乐***提高驾驶安全性。

Description

改变触觉控制器的触觉表面来传达交互式***信息的技术
相关申请的交叉引用
本申请要求具有序列号62/098,790(代理人案件号HRMN/0141USL)并提交于2014年12月31日的美国临时专利申请的权益。所述相关申请的主题据此以引用方式并入本文。
技术领域
本发明的实施方案总体涉及汽车设计，并且更具体地说，涉及用于动态改变触觉控制器的触觉表面来传达交互式***信息的技术。
背景技术
交互式***通常包括一个或多个接口机构，所述一个或多个接口机构使用户能够动态地控制和/或观察交互式***的状态。例如，计算机***可包括多个接口机构，诸如鼠标、键盘、和显示装置。理想地，这些接口机构使用户能够以直观方式并具有最小认知负荷(即，心智努力量)有效地控制交互式***的操作。然而，在一些情况下，操纵此类交互式机构可不可接受地增长用户的认知负荷。例如，需要用户并行执行若干“二级”交互式任务的聚集认知负荷可致使用户失去对“一级”任务的关注。
用户特别易受归于二级交互式任务分心影响的一个共同一级任务在驱动。例如，车载信息娱乐***可包括中央控制面板，所述中央控制面板使用户能够输入改变***的状态并接收关于***的当前状态和目标状态的反馈的命令。在操作中，用户可扫视嵌入在中央控制面板中的触敏显示器，以便确定当前模式是“导航”，执行向前扫动手势来将模式改变到“媒体”，扫视显示器来确定在媒体模式中可利用的动作，并随后执行另外的扫动手势来播放特定的歌。当用户在驾驶的同时执行此类调整时，用户通常将他/她的眼睛离开道路-多次-减少驾驶员专注于驾驶的能力，其增加事故的可能性。
在减少归于视觉接口的驾驶员分心的努力中，这其中一些车载信息娱乐***已经被设计来包括(尤其)听觉接口。然而，此类***仍然将视觉反馈提供到用户来传达当前操作模式(即，导航、媒体等)、可以在当前操作模式下执行的不同动作和/或各种基于用户动作的结果。这种性质的视觉反馈仍然使用户分散注意力。此外，听觉接口易受由道路噪音、乘客交谈等产生的误差的影响。这些误差当它们发生时还分散用户注意力。因此，归于操作包括听觉接口的车载信息娱乐***的增加的认知负荷仍然是相对高的。
如前述示出的，对于用户来与交互式***交互的更有效的技术将是有用的。
发明内容
本发明的一个实施方案阐述用于传达涉及与交互式***相关联的一个或多个状态的信息的计算机实现方法。所述方法包括：基于与交互式***相关联的第一状态确定第一纹理特性；将第一触觉控制信号传送到触觉控制器，所述第一触觉控制信号致使触觉控制器配置第一表面来提供对应于第一纹理特性的第一触感；基于与交互式***相关联的第二状态确定第二纹理特性；以及将第二触觉控制信号传送到触觉控制器，所述第二触觉控制信号致使触觉控制器配置第一表面来提供对应于第二纹理特性的第二触感。
另外的实施方案尤其提供被配置来实现以上阐述方法的子***和非暂时性计算机可读介质。
本公开技术的至少一个优点是它们使用户能够以非视觉、非听觉的方式与***交互。因此，用户可在将适当的注意维持在非常依赖视觉和/或声音的感觉的一级任务的同时，从事于二级交互式任务中。值得注意的是，这些技术使用户能够使用触觉感知而不是视觉与听觉来与车载信息娱乐***交互，增加驾驶员专注于驾驶的能力并因此减少驾驶事故的可能性。
附图说明
因此，使本发明的上述特征可得到详细理解的方式，即对以上简要概述的本发明的更具体描述可参照实施方案来获得，实施方案中的一些在附图中示出。然而，应指出的是，附图只示出本发明的典型实施方案，并因此不视为对本发明范围的限制，因为本发明可承认其他同等有效的实施方案。
图1A示出根据各种实施方案的包括车载信息娱乐***的车辆的乘客舱；
图1B是根据各种实施方案的对图1A的信息娱乐***的更详细的说明；
图2是根据各种实施方案的对图1B的信息娱乐软件的更详细的说明；
图3A示出根据各种实施方案的图2的触觉引擎如何配置触觉控制器来通过脊向用户表达不同的可用动作；
图3B示出根据各种实施方案的图2的触觉引擎如何配置触觉控制器来通过毛发向用户表达不同的可用动作；
图3C示出根据各种实施方案的图2的触觉引擎如何配置触觉控制器来通过表面粗糙度向用户表达不同的可用动作；
图3D示出根据各种实施方案的图2的触觉引擎如何配置触觉控制器来通过枢轴控制的表面粗糙度向用户表达不同的可用动作；
图4示出根据各种实施方案的图2的触觉引擎如何配置触觉控制器的不同表面部分来反映图形用户界面的不同元素；并且
图5是根据各种实施方案的用于将涉及与信息娱乐***相关联的一个或多个状态的信息传达给用户的方法步骤的流程图。
具体实施方式
在以下描述中，阐述大量具体细节以便提供本发明的更详尽的理解。然而，对于本领域技术人员将是清楚的：可以在无一种或多种这些具体细节的情况下实施本发明。
车载信息娱乐***
图1A示出根据各种实施方案的包括车载信息娱乐***110的车辆的乘客舱100。如图所示，乘客舱100包括不限于，邻近于仪表板102定位的信息娱乐***110，所述仪表板102为车辆的驾驶员提供各种仪器。
在操作中，信息娱乐***110将导航信息和其他车辆控制信息提供给操作车辆的驾驶员。确切地说，为了导航，信息娱乐***110被配置来从驾驶员或其他人员(“用户”)接受包括目标位置的输入，以便分析道路信息；计算或确定用于驾驶员的一个或多个驾驶路径；显示覆盖在地图上的此类驾驶路径；以及向驾驶员输出相关联的驾驶指令。在又其他实施方案中，信息娱乐***110被配置来将控制显示给驾驶员或其他用户以用于控制车辆内的各种装备和装置。此类装备和装置可包括不限于，无线电和其他音频功能、视频功能、电影功能、互联网功能、车载网络功能、空调、加热器、蜂窝电话功能等。在一些实施方案中，不限于，信息娱乐***110还可输出关于汽车、路况等的各种信息，所述各种信息可与驾驶员有关。
尽管信息娱乐***110被示出为嵌在仪表板102中并在其中心，但是信息娱乐***110可替代地位于乘客舱100的其他部分中和/或可以是独立模块。位置和配置中的其他变化也是可能的。
图1B是根据各种实施方案的对图1A的信息娱乐***110的更详细的说明。如图所示，信息娱乐***110包括不限于，中央处理单元(CPU)170、图形处理单元(GPU)172、***存储器174、输入装置112、显示装置114、存储装置160、全球导航卫星***(GNSS)接收器116以及触觉控制器190。
CPU170通常包括执行程序指令以操纵输入数据的可编程处理器。CPU170可包括任何数量的处理核心、存储器和用于促进程序执行的其他模块。***存储器174通常包括存储由CPU170处理的应用程序和数据的存储装置芯片，诸如随机存取存储器(RAM)芯片。
***存储器174尤其存储包括不限于用于控制与信息娱乐***110相关联的不同装备和装置的软件的信息娱乐软件140，所述不同装备和装置诸如但不限于，上文描述的导航功能和其他装备和装置。信息娱乐软件140还对执行处理和涉及控制与信息娱乐***110相关联的不同装备和装置的其他功能负责。
GPU172通常包括从CPU170接受命令和数据并生成像素以便显示在显示装置114上的可编程或固定功能处理器。输入装置112可包括各种类型的输入装置，诸如按钮、麦克风、摄像机、与显示装置114集成的基于触摸的输入装置(即，触摸屏)和用于将输入信息提供到信息娱乐***110的其他输入装置和/或，更具体地，CPU170。
在各种实施方案中，存储装置160包括非易失性存储器，诸如光盘驱动器、磁驱动器、闪存驱动器或其他存储装置。全球导航卫星***(GNSS)接收器116确定车辆(信息娱乐***110、驾驶员等)的全球位置。GNSS接收器116基于造地球卫星的一个或多个人全球定位***、各种电磁波谱信号(诸如蜂窝塔信号、无线互联网信号等)或其他信号或测量和/或上述项目的组合操作。在各种实施方案中，信息娱乐软件140从GNSS接收器116访问全球定位信息以便确定车辆的当前位置。
在操作中，CPU170是信息娱乐***110的主处理器，控制并协调其他***部件的操作。具体来说，CPU170通过输入112和/或触觉控制器190接收输入并执行存储在***存储器174中的信息娱乐软件140来将导航和与例如但装置不限于本文描述的车载装备和装置相关联的其他信息娱乐定向信息和控制输出到显示装置114和/或触觉控制器190。
触觉控制器190可以是刺激触觉来提供给用户涉及信息娱乐的信息的任何装置。值得注意的是，触觉控制器190包括一个或多个可配置的触摸表面，所述可配置的触摸表面包括表面变化机构。在操作中，信息娱乐软件140配置触摸表面来动态地产生各种纹理体验。这些纹理体验使用户能够以直观、非视觉及非听觉的方式与信息娱乐***110相关联的不同装备和装置交互。
通过利用触觉，信息娱乐软件140在驾驶期间“负荷平衡”人类感觉-使用在驾驶期间通常受刺激小于视觉和听觉的触觉。因此，与更严重依赖与用户的视觉和/或听觉交互的常规信息娱乐***相比，信息娱乐软件140和触觉控制器190减少由用户体验的认知负荷。具体来说，通过触觉控制器190利用触觉使信息娱乐软件140能够传达信息娱乐***140的状态，诸如输入模式和许可输入动作，而不要求驾驶员把目光从道路移开。
配置触觉控制器
图2是根据各种实施方案的对图1B的信息娱乐软件140的更详细的说明。如图所示，信息娱乐软件140包括不限于，信息娱乐引擎210和触觉引擎240。在操作中，信息娱乐引擎210通过包括在触觉引擎190中的任何数量的表面部分270来接收用户手势280-实现触敏输入。以互补的方式，触觉引擎240生成表面配置信号260，所述表面配置信号260配置任何数量的表面部分270-使用表面-变化作为输出通信机构。
在一些实施方案中，不限于，信息娱乐软件140可支持(除了或替代触觉控制器190)任何数量的触敏输入装置、任何数量的表面-变化输出装置以及任何数量的触敏和表面-变化输入/输出装置。在又其他替代实施方案中，不限于，信息娱乐软件140可不包括支持触摸传感输入。
在接收用户手势280后，信息娱乐引擎210解释用户手势280的意思并随后执行对应的处理和涉及控制与信息娱乐***110相关联的不同装备和装置的其他功能。作为除了任何其他相关的输入信息之外的处理用户手势280的部分(即，通过输入112接收的数据)，信息娱乐引擎210更新反装置映信息娱乐***110的当前操作状态的信息娱乐***状态220。如图所示，信息娱乐***状态220包括，不限于，***模式222、分级级别224以及任何数量的可用动作226。在替代实施方案中，信息娱乐***状态220可包括以任何方式组织的与信息娱乐***110或车辆的操作相关的任何量的信息。
***模式222是信息娱乐***110的当前操作模式。例如但不限于，***模式222可以是“主菜单”、“导航”、“媒体”等中的一个。分级级别224是***模式222内的当前级别。例如但不限于，***模式222可以是音乐，并且分级级别可以反映音乐选择菜单树的底部(例如，选择歌曲中的特定声道)。可用动作226包括可接受种类的用手势示意的输入，诸如水平扫动、垂直扫动、旋转扫动等。
通常，信息娱乐引擎210可独立或以任何组合使用***模式222、层级级别224和可用动作226。值得注意的是，在一些实施方案中，但不限于，可用动作226可取决于***模式222传达不同意思。例如但不限于，在信息娱乐***110处于“导航”的***模式222时向前扫动手势可以传达“平移地图”，而在信息娱乐***110处于“媒体”的***模式222时向前扫动手势可以传达“下一首歌曲”。
在信息娱乐引擎210改变信息娱乐***状态220之后，信息娱乐引擎210将***状态更新230传送到触觉引擎240。***状态更新230包括对与触觉引擎240相关的信息娱乐***状态220的修改以及，因此，触觉控制器190的配置。例如但不限于，触觉控制器190可以被配置来传达***模式222但不传达可用动作226并且，相应地，信息娱乐引擎210可以被配置来生成包括***模式222但不包括可用动作226的***状态更新230。此外，信息娱乐引擎210可以被配置来响应于***模式222中的变化但不响应于可用动作226中的变化而生成***状态更新230。
在一些实施方案中，但不限于，***状态更新230可包括信息，所述信息使触觉引擎240能够反映通过显示装置114被可视地传达给驾驶员的图形用户界面的元素。通常，信息娱乐引擎210可被配置来动态地通信任何量的信息，所述信息使触觉引擎240能够以任何方式配置设计来减少驾驶员分心和/或降低驾驶员认知负荷的触觉控制器190。值得注意的是，因为触觉引擎240利用触觉来“负荷平衡”人类感觉(即，使用已经不常用的感觉)，所以操作信息娱乐***110与操作典型的常规信息娱乐***比较不太可能干扰驾驶的一级任务。
在操作中，触觉引擎240处理***状态更新230来确定纹理信息被设计来直观传达信息***状态220的相关方面，诸如可用动作226。例如但不限于，在一些实施方案中触觉引擎240可映射涉及对包括圆的或弯曲的纹理图案的纹理旋转交互的可用动作226，并映射涉及对包括直线图案的纹理的侧向(扫动)运动的可用动作226。通常，触觉引擎240维持触觉信息作为触觉状态250，将信息娱乐***状态250的元素编码为具有变化布局、“锐度”、密度、取向、摩擦系数等的纹理。
如图所示，触觉状态250包括不限于，纹理类型252、纹理密度254以及任何数量的纹理图案256。在替代实施方案中，触觉状态250可包括以任何方式组织的与触觉控制器190的配置相关的任何量的信息。纹理类型252是反映***模式222的表面特征的类型，诸如***。例如但不限于，纹理类型252可以是反映“导航”的***模式222的***或反映“音乐”的***模式222的脊。纹理密度254是相关于层级级别224的表面特征的密度。例如但不限于，纹理密度254可以是相对低的以反映音乐菜单的顶部或相对高的以反映音乐菜单的底部。每一个纹理图案256被设计来促进一个可用动作226的适当输入。例如但不限于，纹理图案256可以是圆的或环形的以邀请旋转交互或直线图案的可用动作226来促进滚动的可用动作225。
作为更新触觉状态250的部分，触觉引擎240生成表面配置信号260并随后将表面配置信号260传送到触觉控制器190。触觉引擎240可在任何时间动态地生成任何数量的表面配置信号260。此外，触觉引擎240可制作表面配置信号260来致使以任何组合包括在触摸装置190中的任何数量的表面部分270基于触摸状态250的任何数量的特性提供纹理感觉。
值得注意的是，可用动作226的数量、纹理图案256的数量以及表面部分270的数量可或不可匹配。例如但不限于，在一些实施方案中触觉控制器190可包括五个单独可配置的表面部分270，但是当前信息娱乐***状态230可仅仅提供一个可用动作226。在这种情况下，触觉引擎240可选择配置表面部分270来对应于可用动作226提供纹理图案256，或者触觉引擎240可选择配置仅表面部分270的子集来提供纹理图案256。
在各种实施方案中，触觉引擎240可以以与信息娱乐***110的能力一致的技术上可行的方式来将信息娱乐状态220映射到触觉状态250，所述信息娱乐***110的能力包括但不限于，触觉装置190的可用功能和纹理变化能力。类似地，在各种实施方案中，触觉引擎可以以与触觉装置190一致的任何技术上可行的方式来生成并传送表面配置信号260。通常，包括在信息娱乐***状态220和触觉状态250中的元素的数量和类型反映信息娱乐***110的处理和装备能力。
触觉控制器190可以是支持至少一种动态可配置表面纹理并可以任何技术上可行方式来实现的任何类型的装置。例如，触觉控制器190可以包括为，不限于，中央控制面板的部分、方向盘、变速杆、扶手、入口/出口辅助手柄、座位、头枕等。此外，触觉控制器190可被设计来使驾驶员能够以任何技术上可行的方式来感知任何类型的基于纹理的表面变化。例如但不限于，在一些实施方案中，触觉控制器190可允许触觉引擎240可变地配置表面部分270的摩擦来传达信息娱乐***状态220。或者但不限于，在“像盲文”的实施方案中，触觉控制器190可允许触觉引擎240利用脊和***的不同布置来配置表面部分270。在“毛发/毛皮”实施方案中，不限于，触觉控制器190可允许触觉引擎240配置包括在像地毯的表面部分270中的“毛发”来指向各种方向。通常，触觉控制器190可提供以任何组合使用盲文、毛发/毛皮、可变摩擦和/或任何其他技术上可行的机构来传达纹理信息的能力。
可以以任何技术上可行的方式实现各种表面-变化技术中的每一个。例如但不限于，可使用任何数量的可变摩擦振动诱导机构来实现可变摩擦技术。值得注意的是，通过诱导跨表面部分270的振动，可以在驾驶员手指与表面部分270之间产生不同级别的摩擦来给驾驶员触摸不同触觉表面的感知。触觉控制器190可包括使这些振动能够以任何技术上可行的方式(诸如机械地、声学地、静电地等)被致动的任何数量的装置。通常，触觉控制器190可使用任何类型的部件和/或材料以任何技术上可行的方式实现表面-变化技术。例如但不限于，可使用(不限于)气动囊状物、微流体可充气囊状物、铁磁流体、形变材料和/或受百叶窗启发的技术来配合各种纹理-变化技术。
此外，触觉引擎240和触觉控制器190可一起工作来将任何数量的动态纹理变化技术应用到任何数量和/或部分的表面部分270。例如但不限于，在像盲文或毛发/毛皮实施方案中，触觉引擎240可致使触觉控制器190以动画方式致动跨触觉控制器190的较大表面的表面部分270，从而将波浪式效果传达给驾驶员。
图3A示出根据各种实施方案的图2的触觉引擎240如何配置触觉控制器190来通过脊向用户表达不同的可用动作226。更具体地说，图3A描绘被配置来表示三个不同信息娱乐***状态220的触觉控制器190的快照。
如图所示，触觉控制器190包括，不限于，三个单独的表面部分270：手指触敏区域392、手掌区域394和手腕支撑396。值得注意的是，手指触敏区域392充当输入和输出装置。更具体地说，手指触敏区域392由触觉引擎240通过表面配置信号260配置，并且手指触敏区域392将用户手势280传达给信息娱乐引擎210。
手掌区域394是混合使用区域并可充当在基于表面配置信号260提供基于纹理的信息时提供用于手掌的休息空间的输出装置，或充当输入和输出装置。手腕支撑396充当被触觉引擎240配置来通信信息娱乐***状态220的一个或多个元素的输出装置。通常，触觉控制器190的以仅输出模式操作的表面部分270将纹理体验提供给用户，而无需基于用户移动传达对应的用户手势280。此外，手指触敏区域392、手掌区域394和手掌支撑396中的每一个可独立地或与其他部分组合操作。
在触觉控制器190的最左边的描绘中，触觉引擎240还未配置触觉控制器190来将纹理信息提供给用户。在触觉控制器190的中间描绘中，触觉引擎240已经配置手指触敏区域392、手掌区域394和手腕支撑396来表达直线纹理图案320。更具体地说，纹理类型252是脊纹理类型310，并且纹理图案256是直线纹理图案320。在触觉控制器190的最右边的描绘中，触觉引擎240已经配置手指触敏区域392、手掌区域394和手腕支撑396来表达环形纹理图案330。具体来说，纹理类型252仍然是脊纹理类型310，然而纹理图案256是环形纹理图案330。纹理图案256中这样的过渡可以反映可用动作226从滚动运动到旋转运动的变化。
图3B示出根据各种实施方案的图2的触觉引擎240如何配置触觉控制器190来通过毛发向用户表达不同的可用动作226。具体来说，图3B描绘触觉控制器190的被配置来基于毛发、刷毛、毛皮等的部分的方向表示三个不同信息娱乐***状态220的快照。
在触觉控制器190的最左边的描绘中，触觉引擎240已经配置触觉控制器190的两个表面部分2701和2702来限定两个单独的交互区域。如图所示，触觉引擎240已经配置左边表面部分2701来表达左倾毛发361并配置右边表面部分2702来表达右倾毛发363。
相反，在触觉控制器190的中间描绘中，触觉引擎240已经配置触觉控制器190的多个表面部分270来限定表示替代可用动作的交互区域。如图所示，触觉引擎240已经配置底部表面部分2701来表达毛发的右倾水平带365并配置邻近表面部分2702来表达毛发的左倾水平带364。
在触觉控制器190的最右边的描绘中，触觉引擎240已经配置触觉控制器190的三个表面部分2701、2702和2703来限定三个单独的交互区域。触觉引擎240已经配置左边表面部分2701来表达前倾毛发366，配置中间表面部分2702来表达后倾毛发367，并配置右边表面部分2703来表达右倾毛发363。
在各种实施方案中，可使用(不限于)致动来适应毛发的动态表面上的静态毛发；独立附接到磁体的毛发；由形变材料组成并通过电、热或磁体变化致动的毛发；和/或由磁体材料制造的毛发来实现毛发/毛皮技术。在磁体毛发实施方案中，磁体毛发可使用策略性放置的电磁体来致动，并且触觉引擎240可通过表面配置信号260配置与电磁体相关联的参数以便控制毛发的方向。
图3C示出根据另一个实施方案的图2的触觉引擎240如何配置触觉控制器190来通过表面粗糙度向用户表达不同的可用动作226。出于描述性目的，图3C描绘以受百叶窗启发的方式配置的触觉控制器190的截面/俯视图，以便表示两个不同的信息娱乐***状态220。
如图所示，触觉控制器190包括不限于，塞绳(cord)控制器374和塞绳372。在操作中，触觉引擎240配置塞绳控制器374来动态地改变包括在表面部分270中的塞绳372的长度，致使表面部分270的纹理变化。随着特定塞绳372的长度减少，相关联的表面部分270的粗糙度增加-皱曲、翘曲等。因此，在这样的实施方案中，触觉引擎240可通过表面配置信号260配置塞绳372的长度来将信息娱乐***状态220的元素编码为表面粗糙度。
光滑截面342和光滑的俯视图343均描绘对应于塞绳372相对长的长度的光滑表面376。相反，皱曲的截面344和皱曲的俯视图345均描绘对应于塞绳372相对短的长度的皱曲的表面378。
图3D描绘根据另一个实施方案的通过枢轴控制的表面粗糙度被配置来表示两个不同的信息娱乐***状态220的触觉控制器190的快照。更具体地说，图3D描绘以受百叶窗启发的方式配置的触觉控制器190的截面图，以便使用枢轴元件表示两个不同的信息娱乐***状态220。
在图3D中描绘的枢轴控制的实施方案中，触觉控制器190包括，不限于，枢轴塞绳387、枢轴塞绳控制器389和枢轴元件385。在操作中，触觉控制器190通过枢轴塞绳控制器389引导每一个枢轴塞绳387的移动。随着特定枢轴塞绳387移动，一个或多个附接的枢轴元件385旋转，从而致使相关联的表面部分270展示不同的纹理图案。因此，在这样的实施方案中，触觉引擎240可通过表面配置信号260引导枢轴塞绳387的移动以将信息娱乐***状态220的元素编码为表面粗糙度的图案。
光滑的基于枢轴的截面346描绘对应于枢轴元件385的相对水平(即，平的)取向的水平光滑的枢轴控制的表面386。相反，皱曲的基于枢轴的截面348描绘对应于枢轴元件385的相对垂直配置的水平的皱曲的枢轴控制的表面388。
图4示出根据各种实施方案的图2的触觉引擎240如何配置触觉控制器190的不同表面部分270来反映图形用户界面(GUI)的不同元素。图4描绘处于两个状态下的触觉控制器190的表面：在用户执行扫动运动用户手势280之前和之后。
如在触觉控制器190的左边描绘中所示的，触觉引擎240已经配置触觉控制器190的三个表面部分270来反映包括在通过显示装置114显示的GUI中的三个单独的交互区域。触觉引擎240已经配置表面部分2701来表达反映包括在GUI中的垂直滚动菜单的垂直脊420。触觉引擎240已经配置表面部分2702来表达反映包括在GUI中的环形滚动选择器的环形脊430。触觉引擎240已经配置表面部分2703来表达反映将GUI“扫动”到全屏模式的能力的圆形***440。
在用户已经跨表面部分2703执行扫动运动用户手势280之后，信息娱乐引擎210处理用户手势280并更新信息娱乐***状态220。随后，信息娱乐引擎210将***状态更新230中继到GUI引擎并中继到触觉引擎240。GUI引擎接收***状态更新230，基于***状态更新230修改视觉状态数据，并随后更新在显示装置114上显示的GUI来反映新的视觉状态数据。类似地，触觉引擎240接收***状态更新230，基于***状态更新230修改触觉状态250，并随后生成表面配置信号260并将其传送到触觉控制器190以用于纹理表达。以这种方式，信息娱乐引擎210、GUI引擎和触觉引擎240一起工作以确保信息由显示装置114传达并且触觉控制器190是同步的。
如在触觉控制器190的右边描绘中所示的，响应于表面配置信号260，触觉控制器190的三个表面部分270表达两个单独的交互区域。触觉引擎240已经配置表面部分2701来表达反映将GUI“扫动”离开全屏模式的能力的圆形***440。触觉引擎240已经配置剩余的两个表面区域2702和2703来表达反映层级级别224的相对高的值的低密度水平脊450以及用户手势280的可在全屏模式下执行的相对广的范围。
图5是根据各种实施方案的用于将涉及与信息娱乐***相关联的一个或多个状态的信息传达给用户的方法步骤的流程图。尽管结合图1至图4的***描述了方法步骤，但是本领域技术人员将理解的是，被配置来以任何顺序实现方法步骤的任何***落在本发明的范围内。图5的上下文是信息娱乐***110包括触觉控制器190，并且触觉控制器190包括一个或多个动态可配置表面部分270。
如图所示，方法500在步骤504开始，其中触觉引擎240接收包括不限于，***模式222、层级级别224和可用动作226的信息娱乐***状态220。在替代的实施方案中，信息娱乐***状态220可包括任何数量的***模式222、任何数量的层级级别224和任何数量的可用动作226，使触觉引擎能够独立地配置包括在触觉控制器160中的多个表面部分270。
在步骤506，触觉引擎240基于***模式222设置纹理类型252。类似地，在步骤508，触觉引擎240基于层级级别224设置纹理密度254。在步骤510，对于每一个可用动作226，触觉引擎240基于可用动作226选择直观手势，并随后设置纹理图案256来指导用户采用直观手势。
在步骤512，触觉引擎240生成表面配置信号260，所述表面配置信号260被设计来配置触觉控制器190的表面部分270来反映纹理类型252、纹理密度254和纹理图案256。在步骤514，触觉引擎240将表面配置信号260传送到触觉控制器190。在步骤516，触觉引擎240从信息娱乐引擎210接收***状态更新230，并且方法500回到步骤506，其中触觉引擎240重新配置触觉控制器190来以纹理方式将状态变化传达给用户。触觉控制器190以这种方式继续，执行步骤506-516来动态地配置触觉控制器190来以非视觉、非听觉、直观的方式传达潜意识地提示用户执行适当的用户手势280的当前信息娱乐***状态220。
总而言之，公开的技术使直观的、相对低的认知负荷能够接入到交互式***。值得注意的是，信息娱乐***包括触觉引擎，其配置触觉控制器的表面来提供传达关于***状态的相关信息的纹理感觉。在操作中，信息娱乐引擎维持***状态，所述***状态包括，不限于，当前***模式、在***模式下的当前层级级别以及当前由信息娱乐***支持的用户动作。触觉引擎聪敏地将当前***模式转换成纹理类型，将层级级别转换成纹理密度，并将可用动作转换成纹理图案。通常，对于每一个可用动作，触觉引擎选择诱导用户本能地执行正确的动作(例如，选择弯曲的触觉图案来邀请旋转交互)的纹理类型、纹理密度以及纹理图案的组合。随后，触觉引擎生成信号并将其传送到触觉控制器，所述信号在由触觉控制器接收时，配置包括在触觉控制器中的表面来传达对应于纹理类型、密度以及图案的感觉。
公开方法的至少一个优点是与许多常规交互式***比较它们通过“负荷平衡”人类感觉减少认知负荷。更具体地说，诸如驾驶的许多常见任务严重依赖视觉和听觉，但是较少依赖触觉引擎利用的触觉。值得注意的是，因为触觉引擎可以使用纹理来传达有关信息娱乐***状态的信息和可接受的交互式手势，所以用户可以在保持专注于驾驶的同时配置信息娱乐***。具体来说，用户可以与信息娱乐***交互而无需把目光从道路上移开，从而减少归于分散注意力驾驶的汽车事故的可能性。
已经出于说明目的呈现了各种实施方案的描述内容，但是其并不意在是排他性的或者限于所公开的实施方案。在不背离所描述实施方案的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。
本文实施方案的各方面可以体现为***、方法或计算机程序产品。因此，本公开的各方面可以采用以下形式：完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件与硬件方面组合的实施方案，所述实施方案在本文中一般都可以称为“电路”、“模块”或“***”。此外，本公开的各方面可采用在一个或多个计算机可读介质上实施的计算机程序产品形式，所述计算机可读介质具有在该介质上实施的计算机可读程序代码。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如)但不限于电子、磁性、光学、电磁、红外或半导体***、设备或装置或者前述介质的任何合适组合。计算机可读存储介质的更具体示例(并非详尽清单)将包括以下介质：具有一个或多个导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述介质的任何合适组合。在本文件的上下文中，计算机可读存储介质可以是可含有或存储供指令执行***、设备或装置使用或与其联用的程序的任何有形介质。
上文中参照根据本公开实施方案的方法、设备(***)和计算机程序产品的流程图图解和/或方框图来描述本公开的各方面。应了解，流程图图解和/或方框图的每一个方框以及流程图图解和/或方框图的方框组合可以通过计算机程序指令来实施。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器来产生一种机器，以使得通过计算机或其他可编程数据处理设备的处理器来执行的指令允许实现在流程图和/或方框图的一个或多个方框中指定的功能/操作。这类处理器可不限于通用处理器、专用处理器、特殊应用处理器或现场可编程。
附图中的流程图和方框图示出根据本公开的各种实施方案的***、方法和计算机程序产品的可能实行方案的架构、功能性和操作。在这方面，流程图或方框图中的每个方框可以表示代码模块、代码区段或代码的一部分，其包括用于实施所指定的逻辑功能的一个或多个可执行指令。也应注意到，在一些替代实行方案中，方框中提到的功能可以不按附图中提到的顺序出现。例如，连续展示的两个方框实际上可以大致上同时执行，或者这些方框有时可以按相反的顺序执行，这取决于所涉及的功能性。也应指出的是，方框图和/或流程图图解的每个方框/以及方框图和/或流程图图解中的方框的组合可以由执行指定功能或动作的基于专用硬件的***或者专用硬件和计算机指令的组合来实施。
本发明已在上文参照特定实施方案加以描述。然而，本领域的一般技术人员将理解的是，在不背离如随附权利要求书阐述的本发明的更广泛精神和范围的情况下，可对所述特定实施方案做出各种修改和变化。例如，但不限于，尽管许多本文的描述涉及视听装备和传感器，但是本领域的技术人员将了解，本文描述的***和技术适用于其他类型的性能输出装置(例如，激光器、烟雾器等)和传感器。因此，应将前述描述和附图视为说明性而非限制性意义。
虽然上述内容是针对本公开的实施方案，但是可以在不背离其基本范围的情况下，设想出本公开的其他和另外实施方案，而且其范围由随附的权利要求书加以确定。

Claims (11)

1.一种用于传达涉及与交互式***相关联的一个或多个状态的信息的计算机实现的方法，所述方法包括：
基于与所述交互式***相关联的第一状态确定第一纹理特性；
将第一触觉控制信号传送到触觉控制器，所述第一触觉控制信号致使所述触觉控制器配置第一表面来提供对应于所述第一纹理特性的第一触感；
基于与所述交互式***相关联的第二状态确定第二纹理特性；以及
将第二触觉控制信号传送到所述触觉控制器，所述第二触觉控制信号致使所述触觉控制器配置第一表面来提供对应于所述第二纹理特性的第二触感。
2.根据权利要求1所述的方法，其中所述第一状态包括***模式、层级级别以及可用动作中的至少一种。
3.根据权利要求2所述的方法，其中所述第一状态包括可用动作，确定所述第一纹理特性包括基于所述可用动作确定可用手势，并且将所述第一触觉控制信号传送到所述触觉控制器还致使所述触觉控制器配置所述第一表面来通过所述可用手势接收输入。
4.根据权利要求1所述的方法，其中所述第一纹理特性包括形状、密度或图案。
5.根据权利要求1所述的方法，其还包括通过所述第一表面来检测触觉输入，并基于所述触觉输入生成所述第二状态。
6.根据权利要求1所述的方法，其还包括通过第二表面检测触觉输入，并基于所述触觉输入生成所述第二状态。
7.根据权利要求1所述的方法，其还包括：
基于所述第二状态确定第三纹理特性；以及
将第三触觉控制信号传送到所述触觉控制器，所述第三触觉控制信号致使所述触觉控制器配置第二表面来提供对应于所述第三纹理特性的第三触感。
8.根据权利要求1所述的方法，其还包括基于所述第二状态确定视觉信号，并将所述视觉信号传送给显示装置。
9.一种用于传达涉及与交互式***相关联的一个或多个状态的信息的设备，所述设备包括：
基于与所述交互式***相关联的第一状态确定第一纹理特性的装置；
将第一触觉控制信号传送到触觉控制器的装置，所述第一触觉控制信号致使所述触觉控制器配置第一表面来提供对应于所述第一纹理特性的第一触感；
检测从所述交互式***相关联的第一状态到第二状态的过渡的装置；
基于所述第二状态确定第二纹理特性的装置；以及
将第二触觉控制信号传送到所述触觉控制器的装置，所述第二触觉控制信号致使所述触觉控制器配置第一表面来提供对应于所述第二纹理特性的第二触感。
10.一种用于传达涉及与交互式***相关联的一个或多个状态的信息的子***，所述子***包括：
存储器，其包括触觉引擎；以及
处理器，其耦接至所述存储器并且在执行所述触觉引擎后被配置来：
基于与所述交互式***相关联的第一状态确定第一纹理特性，
将第一触觉控制信号传送到触觉控制器，所述第一触觉控制信号致使所述触觉控制器配置第一表面来提供对应于所述第一纹理特性的第一触感，
基于与所述交互式***相关联的第二状态确定第二纹理特性，并且
将第二触觉控制信号传送到所述触觉控制器，所述第二触觉控制信号致使所述触觉控制器配置第一表面来提供对应于所述第二纹理特性的第二触感。
11.根据权利要求10所述的子***，其中所述第一状态包括***模式、层级级别以及可用动作中的至少一种，并且所述第一纹理特性包括形状、密度或图案。
CN201511009219.9A 2014-12-31 2015-12-29 改变触觉控制器的触觉表面来传达交互式***信息的技术 Active CN105739681B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462098790P 2014-12-31 2014-12-31
US62/098,790 2014-12-31
US14/747,444 US9836124B2 (en) 2014-12-31 2015-06-23 Techniques for dynamically changing tactile surfaces of a haptic controller to convey interactive system information
US14/747,444 2015-06-23

Publications (2)

Publication Number Publication Date
CN105739681A true CN105739681A (zh) 2016-07-06
CN105739681B CN105739681B (zh) 2020-09-08

Family

ID=55024942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511009219.9A Active CN105739681B (zh) 2014-12-31 2015-12-29 改变触觉控制器的触觉表面来传达交互式***信息的技术

Country Status (4)

Country Link
US (1) US9836124B2 (zh)
EP (1) EP3040843B1 (zh)
JP (1) JP6700034B2 (zh)
CN (1) CN105739681B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109476318A (zh) * 2016-07-22 2019-03-15 哈曼国际工业有限公司 用于车辆的触觉通知***
CN112230764A (zh) * 2020-09-27 2021-01-15 中国人民解放军空军特色医学中心 一种触觉感知载体功能切换方法、装置及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017206111A1 (de) 2017-04-10 2018-10-11 Osram Gmbh Bedienvorrichtung, verfahren und fahrzeug
US20210347260A1 (en) * 2018-09-25 2021-11-11 Agc Glass Europe Vehicle control device and manufacturing method thereof
US12019807B2 (en) * 2021-11-01 2024-06-25 Meta Platforms Technologies, Llc Soft stretchable high-density fluidic routing using multi-channel tubing, connectors, and breakout

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128503A1 (en) * 2007-11-21 2009-05-21 Immersion Corp. Method and Apparatus for Providing A Fixed Relief Touch Screen With Locating Features Using Deformable Haptic Surfaces
EP2733576A1 (en) * 2012-11-20 2014-05-21 Immersion Corporation System and method for simulated physical interactions with haptic effects
CN104054040A (zh) * 2012-01-12 2014-09-17 国际商业机器公司 使用振动在移动设备的显示器上模拟触摸纹理
CN104102376A (zh) * 2013-04-01 2014-10-15 联想（新加坡）私人有限公司 触摸输入设备触觉反馈
CN104199554A (zh) * 2014-09-21 2014-12-10 吉林大学 一种应用于移动终端的静电力触觉再现方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4263855B2 (ja) * 2001-04-12 2009-05-13 日本放送協会 触覚呈示制御装置および触覚呈示制御方法
US8400410B2 (en) 2009-05-26 2013-03-19 Microsoft Corporation Ferromagnetic user interfaces
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
CN104737096B (zh) * 2012-05-31 2018-01-02 诺基亚技术有限公司 显示装置
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
EP2733573A1 (en) 2012-11-16 2014-05-21 Sony Mobile Communications AB Detecting a position or movement of an object
US9223403B2 (en) * 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
US9829979B2 (en) * 2014-04-28 2017-11-28 Ford Global Technologies, Llc Automotive touchscreen controls with simulated texture for haptic feedback
US9791929B2 (en) * 2014-10-31 2017-10-17 Elwha Llc Tactile control system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128503A1 (en) * 2007-11-21 2009-05-21 Immersion Corp. Method and Apparatus for Providing A Fixed Relief Touch Screen With Locating Features Using Deformable Haptic Surfaces
CN104054040A (zh) * 2012-01-12 2014-09-17 国际商业机器公司 使用振动在移动设备的显示器上模拟触摸纹理
EP2733576A1 (en) * 2012-11-20 2014-05-21 Immersion Corporation System and method for simulated physical interactions with haptic effects
CN103838423A (zh) * 2012-11-20 2014-06-04 伊梅森公司 用于带有触觉效果的模拟物理交互的***和方法
CN104102376A (zh) * 2013-04-01 2014-10-15 联想（新加坡）私人有限公司 触摸输入设备触觉反馈
CN104199554A (zh) * 2014-09-21 2014-12-10 吉林大学 一种应用于移动终端的静电力触觉再现方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109476318A (zh) * 2016-07-22 2019-03-15 哈曼国际工业有限公司 用于车辆的触觉通知***
CN109476318B (zh) * 2016-07-22 2022-06-24 哈曼国际工业有限公司 用于车辆的触觉通知***
CN112230764A (zh) * 2020-09-27 2021-01-15 中国人民解放军空军特色医学中心 一种触觉感知载体功能切换方法、装置及电子设备

Also Published As

Publication number Publication date
JP6700034B2 (ja) 2020-05-27
CN105739681B (zh) 2020-09-08
US20160187979A1 (en) 2016-06-30
JP2016126784A (ja) 2016-07-11
EP3040843B1 (en) 2019-07-10
US9836124B2 (en) 2017-12-05
EP3040843A1 (en) 2016-07-06

Similar Documents

Publication Publication Date Title
US11573638B2 (en) Facilitating interaction with a vehicle touchscreen using haptic feedback
JP6526760B2 (ja) サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
US10747322B2 (en) Systems and methods for providing features in a friction display
EP2406700B1 (en) System and method for providing features in a friction display
CN105739681A (zh) 改变触觉控制器的触觉表面来传达交互式***信息的技术
EP2923251B1 (en) System and method for providing mode or state awareness using a programmable surface texture
EP3299951B1 (en) Light-based touch controls on a steering wheel and dashboard
CN102349041B (zh) 用于摩擦显示和附加触觉效果的***和方法
US9983672B2 (en) Electrostatic haptic actuator and user interface with an electrostatic haptic actuator
Mahr et al. Determining human-centered parameters of ergonomic micro-gesture interaction for drivers using the theater approach
CN105786172A (zh) 使用相关联的感觉反馈进行跟踪的***和方法
US9335822B2 (en) Method and system for providing haptic effects based on haptic context information
US20170139479A1 (en) Tactile sensation control system and tactile sensation control method
Georgiou et al. Haptic in-vehicle gesture controls
US20170004127A1 (en) Vehicle and control method for the vehicle
US20170123610A1 (en) User terminal, electronic device, and control method thereof
KR20230103755A (ko) 차량에 탑재된 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant