CN110244845A - 触觉反馈方法、装置、电子设备及存储介质 - Google Patents

触觉反馈方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110244845A
CN110244845A CN201910502500.8A CN201910502500A CN110244845A CN 110244845 A CN110244845 A CN 110244845A CN 201910502500 A CN201910502500 A CN 201910502500A CN 110244845 A CN110244845 A CN 110244845A
Authority
CN
China
Prior art keywords
application program
program image
image target
tone
icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910502500.8A
Other languages
English (en)
Other versions
CN110244845B (zh
Inventor
杜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910502500.8A priority Critical patent/CN110244845B/zh
Publication of CN110244845A publication Critical patent/CN110244845A/zh
Application granted granted Critical
Publication of CN110244845B publication Critical patent/CN110244845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0072Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with application of electrical currents

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Hematology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Anesthesiology (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种触觉反馈方法、装置、电子设备及存储介质。所述方法包括:确定屏幕内用户触摸的应用程序图标,获取所述应用程序图标的色调,根据应用程序图标的色调和预设映射关系确定应用程序图标的初始刺激电压,控制电极生成初始刺激电压,以使用户接收到触觉反馈。本申请实施例中通过获取电子设备内所有应用程序图标的色调,根据应用程序图标的色调和初始刺激电压建立预设映射关系,然后获取用户点击的应用程序图标的色调,根据色调对应的初始刺激电压,控制电极生成初始刺激电压,从而生成刺激电流使用户能够感受到真实的触觉反馈效果。

Description

触觉反馈方法、装置、电子设备及存储介质
技术领域
本申请涉及终端控制技术领域,具体涉及一种触觉反馈方法、装置、电子设备和存储介质。
背景技术
在对现有技术的研究和实践过程中,本申请的发明人发现,目前电子设备的触觉反馈方式大多是通过振动马达来实现触觉反馈的,振动马达振动整个电子设备以达到触觉反馈,在电子设备日益小巧、精密化的今天,振动马达比较占用电子设备的空间,同时通过振动马达振动整个电子设备的方式也不能实现真实的物理触觉。
发明内容
本申请实施例提供一种触觉反馈的方法、装置、电子设备及存储介质。在手指触摸屏幕时,能够实现真实的触觉反馈的效果。
为了解决以上技术问题,本申请提出了以下技术方案:
第一方面,本申请实施例提供了一种触觉反馈方法,其中所述方法包括:
确定所述屏幕内用户触摸的应用程序图标;
获取所述应用程序图标的色调;
根据所述应用程序图标的色调和第一映射关系确定所述应用程序图标的初始刺激电压;
控制所述电极生成初始刺激电压,以使用户接收到触觉反馈。
第二方面,本申请实施例提供了一种触觉反馈装置,其中所述装置包括:
第一确定模块,用于确定所述屏幕内用户触摸的应用程序图标;
色调获取模块,用于获取所述应用程序图标的色调;
第二确定模块,用于根据所述应用程序图标的色调和第一映射关系确定所述应用程序图标的初始刺激电压;
第一电压生成模块,用于控制所述电极生成初始刺激电压,以使用户接收到触觉反馈。
第三方面,本申请实施例提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述触觉反馈方法的步骤。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述触觉反馈方法的步骤。
本申请实施例通过确定屏幕内用户触摸的应用程序图标,获取所述应用程序图标的色调,根据应用程序图标的色调和预设映射关系确定应用程序图标的初始刺激电压,控制电极生成初始刺激电压,以使用户接收到触觉反馈。本申请实施例中通过获取电子设备内所有应用程序图标的色调,根据应用程序图标的色调和初始刺激电压建立预设映射关系,然后获取用户点击的应用程序图标的色调,根据色调对应的初始刺激电压,控制电极生成初始刺激电压,从而生成刺激电流使用户能够感受到真实的触觉反馈效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的触觉反馈方法的第一流程示意图。
图2是本申请实施例提供的触觉反馈方法的第二流程示意图。
图3是本申请实施例提供的实现触觉反馈的电路原理图。
图4是本申请实施例提供的触觉反馈装置的第一结构示意图。
图5是本申请实施例提供的触觉反馈装置的第二结构示意图。
图6是本申请实施例提供的电极分布电路图。
图7是本申请实施例提供的电子设备的第一结构示意图。
图8是本申请实施例提供的电子设备的第二结构示意图。
具体实施方式
请参照图式,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的说明中,本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存***中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实***置,其具有由该数据格式所定义的特定特性。但是,本申请原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
本申请实施例提供一种触觉反馈方法、装置、电子设备及存储介质。以下分别进行详细说明。
请参阅图1,图1是本申请实施例提供的触觉反馈方法的第一流程示意图。
在步骤S101中,确定屏幕内用户触摸的应用程序图标。
用户在打开应用程序时,需要点击屏幕内的应用程序的图标,然后进入应用程序,此时,可以通过检测手指点击屏幕的位置来确定应用程序的图标。
在步骤S102中,获取所述应用程序图标的色调。
应用程序图标的设计是多种多样的,每一款应用程序图标都有着自己的设计风格,其中应用程序图标可以包含多种色彩、文字、图案等。可以通过获取应用程序图标上的颜色,根据应用程序图标上的颜色分布来识别出图标的色调。
其中,获取应用程序图标的色调包括,对图标上不同颜色的分别所占用的面积进行计算,例如,白色占用10%,蓝色占用60%,其他颜色占用30%,由于蓝色占用的面积比例最大,则可以确定该应用程序图标的色调为蓝色。
另外,还可以通过对不同颜色设置数值,对不同色调设置数值范围,通过获取应用程序图标上每种颜色所占用的面积,将一种颜色的数值和颜色面积相乘,得到该颜色的参考数值,然后通过这种方式将每一种颜色的参考数值相加,得到了一个总数值,将总数值除以图标的面积,得到最终的色调数值,若色调数值落入某一色调数值范围,则认为图标的色调为该数值范围对应的色调。例如,色调数值为5,而红色调的色调数值范围为2~7,则认为该图标的色调为红色调。
在步骤S103中,根据应用程序图标的色调和预设映射关系确定应用程序图标的初始刺激电压。
在获取到被触摸、点击的应用程序图标的色调之后,根据应用程序图标的色调在预设映射关系中确定应用程序图标的初始刺激电压。其中,预设映射关系可以为应用程序图标不同的色调对应设置不同的初始刺激电压。
例如,可以根据应用图标的色调来设置触觉驱动参数,不同的触觉驱动参数能够调节电子表面、后壳上的电极生成不同的初始刺激电压。根据应用图标的色调和触觉驱动参数来建立应用程序图标色调和初始刺激电压的预设映射关系。
在步骤S104中,控制电极生成初始刺激电压,以使用户接收到触觉反馈。
电极会产生初始刺激电压刺激皮肤下的感受器/神经纤维束,引发神经纤维动作电位,传导到大脑的感觉神经中枢,使操作者产生被接触的意识,从而产生触觉反馈。
具体请参阅图3,图3是本申请实施例提供的实现触觉反馈的电路原理图。
人体皮肤有四种类型的触觉感受器,分别是迈斯纳小体(Meissner’scorpuscle)、梅克尔触盘(Merkel’s disk)、环层小体(Pacinian corpuscle)和鲁菲尼终末(Ruffini’s ending),它们分别位于表皮层的下方、表皮的基底、真皮层深层及皮下组织和真皮层及关节处。
不同的触觉感受器能够感受到不同的触觉,例如,迈斯纳小体在刺激频率为10-200Hz时,感受到的触觉为“痒、颤动、接触”等;梅克尔触盘在刺激频率为0.4-100Hz的时候,感觉类型为“边缘、压力”等;环层小体在刺激频率为40-800Hz时,感觉类型为“振动、痒”等;鲁菲尼终末在刺激频率为740-1500Hz时,感觉类型为“伸张、剪切力”等。
神经膜的电导Gm、电容Cm和神经内部介质的电导Ga构成。
当有电流I通过皮肤表面的时候,会在皮肤表面产生一个电位分布,这个电位分布Ψ沿着神经轴突产生膜电流Im,进而导致一个膜上的电压差Vm,即神经的刺激是通过改变外部膜电位Ψ来改变神经膜的电压差Vm。当神经膜的电压差Vm达到某一特定的阈值即电流足够大时,最终刺激了神经末梢中的触觉感受器,进而传入中枢神经***产生电刺激的感觉。
因此用户在触摸、点击应用程序的图标时,通过控制电极生成刺激电压使用户的手指或者手掌感受到真实的触觉反馈。
综上所述,本申请实施例通过确定屏幕内用户触摸的应用程序图标,获取所述应用程序图标的色调,根据应用程序图标的色调和预设映射关系确定应用程序图标的初始刺激电压,控制电极生成初始刺激电压,以使用户接收到触觉反馈。本申请实施例中通过获取电子设备内所有应用程序图标的色调,根据应用程序图标的色调和初始刺激电压建立预设映射关系,然后获取用户点击的应用程序图标的色调,根据色调对应的初始刺激电压,控制电极生成初始刺激电压,从而生成刺激电流使用户能够感受到真实的触觉反馈效果。
请参阅图2,图2是本申请实施例提供的触觉反馈方法的第二流程示意图。
在步骤S201中,获取电子设备内所有的应用程序图标。
可以理解的是,电子设备内部安装有很多应用程序,应用程序会在桌面生成一个打开应用程序的图标,部分应用程序还会在桌面生成快捷工具图标,***会在桌面生成时钟、天气、日历等应用程序图标,当然还包括其他图标。通过获取电子设备内部所有的图标,生成一个图标集合。
在步骤S202中,获取应用程序图标的颜色比例。
应用程序图标的设计是多种多样的,每一款应用程序图标都有着自己的设计风格,其中应用程序图标可以包含多种色彩、文字、图案等。可以通过获取应用程序图标上的颜色,根据应用程序图标上的颜色分布来识别出图标的色调。
可以对图标上不同颜色的分别所占用的面积进行计算,例如,白色占用10%,蓝色占用60%,其他颜色占用30%。
还可以根据各种颜色的明度和饱和度来计算出应用程序图标中每种颜色所占的比例,例如,在应用图标含有红色、橙色时,可以分别对红色、橙色的明度进行获取,分别对红色、橙色的饱和度进行获取,根据红色、橙色分别对应的明度权重值以及红色、橙色分别对应的饱和度权重值,将红色的明度权重值乘以红色明度得到第一参数,将红色的饱和度权重值乘以红色饱和度得到第二参数,然后将第一参数和第二参数相加得到红色所占用的比例,同理,橙色的占用比例也可以根据此方式。
以上获取应用图标颜色比例的方式只是例举,不应视为对本申请的限制。
在步骤S203中,将颜色比例中比例最高的颜色确定为所述应用程序图标的色调。
例如,上述应用程序的图标白色占用10%,蓝色占用60%,其他颜色占用30%,由于蓝色占用的比例最大,则可以确定该应用图标的色调为蓝色调。
在步骤S204中,建立应用程序图标的色调与所述初始刺激电压的所述预设映射关系。
可以根据应用图标的色调来设置触觉驱动参数,不同的触觉驱动参数能够调节电子表面、后壳上的电极生成不同的初始刺激电压。根据应用图标的色调和触觉驱动参数来建立应用程序色调和初始刺激电压的预设映射关系。
例如,从颜色的顺序来对色调设置不同的初始刺激电压,颜色的顺序可以为红、橙、黄、绿、青、蓝、紫等,越往前的颜色对应的色调的初始刺激电压越强,比如红色对应的红色调初始刺激电压的强度最强,紫色对应的紫色调初始刺激电压最弱。
还可以是根据色调的明度来设置,例如,不同色调的明暗深浅都有所差别,比如白色、黄色明度较高,蓝色、紫色明度较低,黑色明度最低,则可以根据明度的高低来对色调设置初始刺激电压,明度越高的色调,设置的初始刺激电压越高。
在预设映射关系中还可以对应用图标的色调和应用图标建立对应的映射关系。
以上设置应用图标色调与初始刺激电压的预设映射关系的方式只是例举,不应视为对本申请的限制。
在步骤S205中,确定屏幕内用户触摸的应用程序图标,此步骤与步骤S101相同,在此不作赘述。
在步骤S206中,获取所述应用程序图标的色调。
可以根据预设映射关系,直接找到应用程序图标所对应的色调。
当应用程序的图标为新添加的应用程序图标时,还可以对应用程序图标进行计算来得到应用程序图标的色调,例如,对图标上不同颜色的分别所占用的面积进行计算,例如,白色占用10%,蓝色占用60%,其他颜色占用30%,由于蓝色占用的面积比例最大,则可以确定该应用程序图标的色调为蓝色。
在步骤S207中,获取应用程序图标上的内容,所述内容包括图片、文字。
在步骤S208中,识别出所述内容的轮廓,控制所述轮廓对应的目标电极生成初始刺激电压,以使用户接收到触觉反馈。
可以理解的是,应用图标上包含有图片或者文字,可以对图片、文字的轮廓进行获取,或者对图片、文字的纹理进行获取。
然后控制应用图标轮廓对应目标的电极生成初始刺激电压。例如,可以在电子设备的后壳上生成应用程序图标的图案的纹理触觉,或者生成应用程序图标的文字的纹理触觉,还可以在电子设备的屏幕上生成触摸弧形表面的触觉、生成触摸锥形顶角的触觉等等。
具体请参阅图6,图6是本申请实施例提供的电子设备的电极分布电路图。
其中,在屏幕或者后壳的表面上分布有多个电极,多个电极通过多个开关来控制,当获取到应用程序图标上内容的轮廓时,通过控制轮廓对应的目标电极来生成初始刺激电压,轮廓对应的目标电极可以是屏幕或者后盖表面,轮廓对应的目标电极可以将轮廓的范围放大或者缩小,还可以根据原来的比例生成初始刺激电压,从而使用户感受到图标的轮廓,产生真实的触觉反馈。
需要说明的是,控制电极生成初始刺激电压的具体方式,请参阅图7,图7是本申请实施例提供的电子设备的第一结构示意图。
其中,图7具体展示的是电子设备的屏幕,其中511为表面电极,510为多个表面电极组合而成的第一电压驱动模块,520为绝缘介质,530为平板电极,540为显示屏,550为第二电压驱动模块,560为压电震动模块。
其中屏幕的触摸表面可以使用ITO透明材料形成触摸电极阵列,覆盖在触摸屏上面,ITO透明材料形成触摸电极阵列,所述触摸电极阵列即图中表面电极511所构成的电极阵列。
通过预设映射关系调用应用图标色调所对应的触觉驱动参数,处理器利用触觉驱动参数调用电压驱动模块,在表面电极511上生成初始刺激电压,用户在接触到表面电极时,初始刺激电压会产生初始刺激电流。
表面电极511会直接用电流刺激皮肤下的感受器/神经纤维束,引发神经纤维动作电位,传导到大脑的感觉神经中枢,使操作者产生被接触的意识,从而产生触觉反馈。
在步骤S209中,获取所述应用程序图标的触摸时长。
可以理解的是,用户在触摸到应用程序图标之后,可能没有松开,此时可以获取用户触摸应用程序图标的时长。
还可以在获取用户触摸应用程序图标时,还可以检测用户手指按压屏幕的压力。
在步骤S210中,根据所述触摸时长,改变所述应用程序图标的初始刺激电压,生成动态刺激电压,以使用户接收到动态触觉反馈。
例如用户触摸应用程序图标的时长为两秒,可以对触摸时长进行分段处理,在0~1秒内,控制电极生成初始刺激电压,在1~2秒内,在初始刺激电压的基础上控制电极增强或者减弱刺激电压,生成动态刺激电压。
此时,可以检测用户的手指对屏幕或者后盖的压力,例如在1~1.5秒内,用户的手指对屏幕的压力在增大,则在初始刺激电压的基础上控制电极增大刺激电压,在1.5~2秒内,用户手指对屏幕的压力在减小,则控制电极减小刺激电压,由于刺激电压的改变,对用户的触觉反馈也会发生改变,从而形成动态触觉反馈,让用户感受到真实的触觉反馈。
综上所述,本申请实施例中,通过获取电子设备内所有应用程序的图标,对应用程序的图标的颜色比例,将颜色比例中比例最高的颜色确定为应用程序图标的色调,建立应用程序图标的色调与初始刺激电压的预设映射关系,在用户触摸屏幕内的应用程序的图标时,可以通过预设映射关系获取应用程序图标的色调,然后根据应用程序图标的色调和预设映射关系确定应用程序图标的初始刺激电压,获取所述应用程序图标上的内容,识别出所述内容的轮廓,控制所述轮廓对应的目标电极生成所述初始刺激电压,在生成初始刺激电压之后,获取应用程序图标的触摸时长,根据触摸时长,改变应用程序图标的初始刺激电压,生成动态刺激电压,以使用户接收到动态触觉反馈。从而使用户在点击电子设备上的图标时,能够获得真实的触觉反馈。
请参阅图4,图4是本申请实施例提供的触觉反馈装置的第一结构示意图。其中所述装置包括:第一确定模块410、色调获取模块420、第二确定模块430以及第一电压生成模块440。
第一确定模块410,用于确定所述屏幕内用户触摸的应用程序图标。
用户在打开应用程序时,需要点击屏幕内的应用程序的图标,然后进入应用程序,此时,可以通过第一确定模块410检测手指点击屏幕的位置来确定应用程序的图标。
色调获取模块420,用于获取所述应用程序图标的色调。
色调获取模块420会根据预设映射关系,来根据色调和应用程序图标之间的关系来确定点击的应用程序图标的色调。
还可以对图标上不同颜色的分别所占用的面积进行计算,例如,白色占用10%,蓝色占用60%,其他颜色占用30%,由于蓝色占用的面积比例最大,则可以确定该应用程序图标的色调为蓝色。
另外,色调获取模块420还可以通过对不同颜色设置数值,对不同色调设置数值范围,通过获取应用程序图标上每种颜色所占用的面积,将一种颜色的数值和颜色面积相乘,得到该颜色的参考数值,然后通过这种方式将每一种颜色的参考数值相加,得到了一个总数值,将总数值除以图标的面积,得到最终的色调数值,若色调数值落入某一色调数值范围,则认为图标的色调为该数值范围对应的色调。例如,色调数值为5,而红色调的色调数值范围为2~7,则认为该图标的色调为红色调。
第二确定模块430,用于根据所述应用程序图标的色调和预设映射关系确定所述应用程序图标的初始刺激电压。
在获取到被触摸、点击的应用程序图标的色调之后,第二确定模块430根据应用程序图标的色调在预设映射关系中确定应用程序图标的初始刺激电压。其中,预设映射关系可以为应用程序图标不同的色调对应设置不同的初始刺激电压。
例如,可以根据应用图标的色调来设置触觉驱动参数,不同的触觉驱动参数能够调节电子表面、后壳上的电极生成不同的初始刺激电压。根据应用图标的色调和触觉驱动参数来建立应用程序图标色调和初始刺激电压的预设映射关系。
第一电压生成模块440,用于控制所述电极生成初始刺激电压,以使用户接收到触觉反馈。
第一电压生成模块440会控制电极产生初始刺激电压刺激皮肤下的感受器/神经纤维束,引发神经纤维动作电位,传导到大脑的感觉神经中枢,使操作者产生被接触的意识,从而产生触觉反馈。
此时,请参阅图5,图5是本申请实施例提供的触觉反馈装置的第二结构示意图。
其中第一电压生成模块440包括,内容获取子模块441和识别子模块442。
内容获取子模块441,用于获取所述应用程序图标上的内容,所述内容包括图片、文字。
识别子模块442,用于识别出所述内容的轮廓,控制所述对应的目标电极生成所述初始刺激电压。
可以理解的是,应用图标上包含有图片或者文字,识别子模块442可以对图片、文字的轮廓进行获取,或者对图片、文字的纹理进行获取。
然后控制应用程序图标轮廓对应的目标电极生成初始刺激电压。例如,可以在电子设备的后壳上生成应用程序图标的图案的纹理触觉,或者生成应用程序图标的文字的纹理触觉,还可以在电子设备的屏幕上生成触摸弧形表面的触觉、生成触摸锥形顶角的触觉等等。
请参阅图5,本申请实施例提供的触觉反馈装置400还包括:图标获取模块450、第三确定模块460、映射关系建立模块470、时长获取模块480及第二电压生成模块490。
其中,图标获取模块450,用于获取所述电子设备内所有的应用程序图标。
可以理解的是,电子设备内部安装有很多应用程序,应用程序会在桌面生成一个打开应用程序的图标,部分应用程序还会在桌面生成快捷工具图标,***会在桌面生成时钟、天气、日历等应用程序图标,当然还包括其他图标。图标获取模块450通过获取电子设备内部所有的图标,生成一个图标集合。
第三确定模块460,用于确定所述应用程序图标对应的色调。
其中,第三确定模块460包括:比例获取子模块461和确定子模块462。
比例获取子模块461,用于获取所述应用程序图标的颜色比例。
应用程序图标的设计是多种多样的,每一款应用程序图标都有着自己的设计风格,其中应用程序图标可以包含多种色彩、文字、图案等。比例获取子模块461可以通过获取应用程序图标上的颜色,根据应用程序图标上的颜色分布来识别出图标的色调。
比例获取子模块461可以对图标上不同颜色的分别所占用的面积进行计算,例如,白色占用10%,蓝色占用60%,其他颜色占用30%。
比例获取子模块461还可以根据各种颜色的明度和饱和度来计算出应用程序图标中每种颜色所占的比例,例如,在应用图标含有红色、橙色时,可以分别对红色、橙色的明度进行获取,分别对红色、橙色的饱和度进行获取,根据红色、橙色分别对应的明度权重值以及红色、橙色分别对应的饱和度权重值,将红色的明度权重值乘以红色明度得到第一参数,将红色的饱和度权重值乘以红色饱和度得到第二参数,然后将第一参数和第二参数相加得到红色所占用的比例,同理,橙色的占用比例也可以根据此方式。
以上获取应用图标颜色比例的方式只是例举,不应视为对本申请的限制。
确定子模块462,用于将所述颜色比例中比例最高的颜色确定为所述应用程序图标的色调。
例如,上述应用程序的图标白色占用10%,蓝色占用60%,其他颜色占用30%,由于蓝色占用的比例最大,则可以确定该应用图标的色调为蓝色调。
映射关系建立模块470,用于建立所述应用程序图标的色调与所述初始刺激电压的所述预设映射关系。
映射关系建立模块470可以根据应用图标的色调来设置触觉驱动参数,不同的触觉驱动参数能够调节电子表面、后壳上的电极生成不同的初始刺激电压。根据应用图标的色调和触觉驱动参数来建立应用程序色调和初始刺激电压的预设映射关系。
例如,从颜色的顺序来对色调设置不同的初始刺激电压,颜色的顺序可以为红、橙、黄、绿、青、蓝、紫等,越往前的颜色对应的色调的初始刺激电压越强,比如红色对应的红色调初始刺激电压的强度最强,紫色对应的紫色调初始刺激电压最弱。
还可以是根据色调的明度来设置,例如,不同色调的明暗深浅都有所差别,比如白色、黄色明度较高,蓝色、紫色明度较低,黑色明度最低,则可以根据明度的高低来对色调设置初始刺激电压,明度越高的色调,设置的初始刺激电压越高。
时长获取模块480,用于获取所述应用程序图标的触摸时长。
可以理解的是,用户在触摸到应用程序图标之后,可能没有松开,时长获取模块480可以获取用户触摸应用程序图标的时长。
还可以在获取用户触摸应用程序图标时,还可以检测用户手指按压屏幕的压力。
第二电压生成模块490,用于根据所述触摸时长,改变所述应用程序图标的初始刺激电压,生成动态刺激电压,以使用户接收到动态触觉反馈。
例如用户触摸应用程序图标的时长为两秒,可以对触摸时长进行分段处理,在0~1秒内,第二电压生成模块490控制电极生成初始刺激电压,在1~2秒内,在初始刺激电压的基础上,第二电压生成模块490控制电极增强或者减弱刺激电压,生成动态刺激电压。
此时,第二电压生成模块490可以检测用户的手指对屏幕或者后盖的压力,例如在1~1.5秒内,用户的手指对屏幕的压力在增大,则在初始刺激电压的基础上控制电极增大刺激电压,在1.5~2秒内,用户手指对屏幕的压力在减小,则控制电极减小刺激电压,由于刺激电压的改变,对用户的触觉反馈也会发生改变,从而形成动态触觉反馈,让用户感受到真实的触觉反馈。
综上所述,本申请实施例中,通过获取电子设备内所有应用程序的图标,对应用程序的图标的颜色比例,将颜色比例中比例最高的颜色确定为应用程序图标的色调,建立应用程序图标的色调与初始刺激电压的预设映射关系,在用户触摸屏幕内的应用程序的图标时,可以通过预设映射关系获取应用程序图标的色调,然后根据应用程序图标的色调和预设映射关系确定应用程序图标的初始刺激电压,获取所述应用程序图标上的内容,识别出所述内容的轮廓,控制所述轮廓对应的目标电极生成所述初始刺激电压,在生成初始刺激电压之后,获取应用程序图标的触摸时长,根据触摸时长,改变应用程序图标的初始刺激电压,生成动态刺激电压,以使用户接收到动态触觉反馈。从而使用户在点击电子设备上的图标时,能够获得真实的触觉反馈。
请参阅图8,图8是本申请实施例提供的电子设备的第二结构示意图。
电子设备600包括:显示单元601、输入单元602、存储器603、中央处理器604、电源605和传感器606等部件。本领域技术人员可以理解,图中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
显示单元601可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元601可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给中央处理器604以确定触摸事件的类型,随后中央处理器604根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
输入单元602可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元602可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给中央处理器604,并能接收中央处理器604发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元602还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
存储器603可用于存储软件程序以及模块,处理器504通过运行存储在存储器603的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器604可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器603可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器603还可以包括存储器控制器,以提供处理器604和输入单元602对存储器603的访问。
电子设备还包括给各个部件供电的电源605(比如电池),优选的,电源可以通过电源管理***与中央处理器604逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源605还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
电子设备还可包括至少一种传感器606,比如光传感器、压力传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
尽管图8中未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的中央处理器604会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器603中,并由中央处理器604来运行存储在存储器603中的应用程序,从而实现各种功能:
确定所述屏幕内用户触摸的应用程序图标;
获取所述应用程序图标的色调;
根据所述应用程序图标的色调和预设映射关系确定所述应用程序图标的初始刺激电压;
控制所述电极生成初始刺激电压,以使用户接收到触觉反馈。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种触觉反馈方法中的步骤。例如,该指令可以执行如下步骤:
确定所述屏幕内用户触摸的应用程序图标;
获取所述应用程序图标的色调;
根据所述应用程序图标的色调和预设映射关系确定所述应用程序图标的初始刺激电压;
控制所述电极生成初始刺激电压,以使用户接收到触觉反馈。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种触觉反馈方法中的步骤,因此,可以实现本申请实施例所提供的任一种触觉反馈方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种触觉反馈方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种触觉反馈方法,应用于电子设备,所述电子设备包括屏幕和后盖,所述屏幕和后盖表面设置有电极,其特征在于,所述方法包括:
确定所述屏幕内用户触摸的应用程序图标;
获取所述应用程序图标的色调;
根据所述应用程序图标的色调和预设映射关系确定所述应用程序图标的初始刺激电压;
控制所述电极生成初始刺激电压,以使用户接收到触觉反馈。
2.根据权利要求1所述的触觉反馈方法,其特征在于,在确定所述屏幕内用户触摸的应用程序图标之前,所述方法还包括:
获取所述电子设备内所有的应用程序图标;
确定所述应用程序图标对应的色调;
建立所述应用程序图标的色调与所述初始刺激电压的所述预设映射关系。
3.根据权利要求2所述的触觉反馈方法,其特征在于,所述确定所述应用程序图标对应的色调,包括:
获取所述应用程序图标的颜色比例;
将所述颜色比例中比例最高的颜色确定为所述应用程序图标的色调。
4.根据权利1所述的触觉反馈方法,其特征在于,所述控制所述电极生成初始刺激电压,以使用户接收到触觉反馈,包括:
获取所述应用程序图标上的内容,所述内容包括图片、文字;
识别出所述内容的轮廓,控制所述轮廓对应的目标电极生成所述初始刺激电压。
5.根据权利要求1所述的触觉反馈方法,其特征在于,在控制所述电极生成初始刺激电压,以使用户接收到触觉反馈之后,所述方法还包括:
获取所述应用程序图标的触摸时长;
根据所述触摸时长,改变所述应用程序图标的初始刺激电压,生成动态刺激电压,以使用户接收到动态触觉反馈。
6.一种触觉反馈装置,其特征在于,所述装置包括:
第一确定模块,用于确定所述屏幕内用户触摸的应用程序图标;
色调获取模块,用于获取所述应用程序图标的色调;
第二确定模块,用于根据所述应用程序图标的色调和预设映射关系确定所述应用程序图标的初始刺激电压;
第一电压生成模块,用于控制所述电极生成初始刺激电压,以使用户接收到触觉反馈。
7.根据权利要求6所述的触觉反馈装置,其特征在于,所述装置还包括:
图标获取模块,用于获取所述电子设备内所有的应用程序图标;
第三确定模块,用于确定所述应用程序图标对应的色调;
映射关系建立模块,用于建立所述应用程序图标的色调与所述初始刺激电压的所述预设映射关系。
8.根据权利要求7所述的触觉反馈装置,其特征在于,所述第三确定模块包括:
比例获取子模块,用于获取所述应用程序图标的颜色比例;
确定子模块,用于将所述颜色比例中比例最高的颜色确定为所述应用程序图标的色调。
9.一种电子设备,其特征在于,包括:
存储有可执行程序代码的存储器、与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1至5任一项所述的触觉反馈方法中的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至5任一项所述的触觉反馈方法中的步骤。
CN201910502500.8A 2019-06-11 2019-06-11 触觉反馈方法、装置、电子设备及存储介质 Active CN110244845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502500.8A CN110244845B (zh) 2019-06-11 2019-06-11 触觉反馈方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502500.8A CN110244845B (zh) 2019-06-11 2019-06-11 触觉反馈方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110244845A true CN110244845A (zh) 2019-09-17
CN110244845B CN110244845B (zh) 2022-08-05

Family

ID=67886612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502500.8A Active CN110244845B (zh) 2019-06-11 2019-06-11 触觉反馈方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110244845B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399645A (zh) * 2020-03-13 2020-07-10 Oppo广东移动通信有限公司 可穿戴设备及触觉反馈方法、装置、存储介质
CN115167747A (zh) * 2021-03-18 2022-10-11 华为技术有限公司 截屏方法、电子设备及存储介质
WO2022266901A1 (zh) * 2021-06-23 2022-12-29 广州视源电子科技股份有限公司 触控控制方法、装置、设备、存储介质及程序产品

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526140A (en) * 1995-03-03 1996-06-11 Minnesota Mining And Manufacturing Company Emulation of a halftone printed image on a continuous-tone device
US20040183817A1 (en) * 2002-12-03 2004-09-23 Bitstream Inc. Methods, systems, and programming for scaled display of web pages
US20060050320A1 (en) * 2004-08-31 2006-03-09 Mitsubishi Heavy Industries, Ltd Picture color tone controlling method and apparatus
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
US20100253981A1 (en) * 2009-03-18 2010-10-07 Makoto Higashiyama Image forming apparatus, image forming method, and computer program product
CN102057345A (zh) * 2008-06-05 2011-05-11 诺基亚公司 触觉用户接口
CN102447832A (zh) * 2010-08-18 2012-05-09 佳能株式会社 追踪设备和追踪方法
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US8441343B1 (en) * 2009-11-20 2013-05-14 Dean Fishman Handheld mobile device viewing angle indicator
CN103869960A (zh) * 2012-12-18 2014-06-18 富泰华工业(深圳)有限公司 触感反馈***及其提供触感反馈的方法
CN103869940A (zh) * 2012-12-13 2014-06-18 富泰华工业(深圳)有限公司 触感反馈***、电子装置及其提供触感反馈的方法
US20150002530A1 (en) * 2012-02-29 2015-01-01 Nec Corporation Color-scheme determination device, color-scheme determination method, and color-scheme determination program
CN104583912A (zh) * 2012-08-20 2015-04-29 三星电子株式会社 用于感知具有多形态反馈的图像的***和方法
CN107077281A (zh) * 2014-09-09 2017-08-18 三菱电机株式会社 触感控制***及触感控制方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526140A (en) * 1995-03-03 1996-06-11 Minnesota Mining And Manufacturing Company Emulation of a halftone printed image on a continuous-tone device
US20040183817A1 (en) * 2002-12-03 2004-09-23 Bitstream Inc. Methods, systems, and programming for scaled display of web pages
US20060050320A1 (en) * 2004-08-31 2006-03-09 Mitsubishi Heavy Industries, Ltd Picture color tone controlling method and apparatus
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
CN102057345A (zh) * 2008-06-05 2011-05-11 诺基亚公司 触觉用户接口
US20100253981A1 (en) * 2009-03-18 2010-10-07 Makoto Higashiyama Image forming apparatus, image forming method, and computer program product
US8441343B1 (en) * 2009-11-20 2013-05-14 Dean Fishman Handheld mobile device viewing angle indicator
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
CN102447832A (zh) * 2010-08-18 2012-05-09 佳能株式会社 追踪设备和追踪方法
US20150002530A1 (en) * 2012-02-29 2015-01-01 Nec Corporation Color-scheme determination device, color-scheme determination method, and color-scheme determination program
CN104583912A (zh) * 2012-08-20 2015-04-29 三星电子株式会社 用于感知具有多形态反馈的图像的***和方法
CN103869940A (zh) * 2012-12-13 2014-06-18 富泰华工业(深圳)有限公司 触感反馈***、电子装置及其提供触感反馈的方法
CN103869960A (zh) * 2012-12-18 2014-06-18 富泰华工业(深圳)有限公司 触感反馈***及其提供触感反馈的方法
CN107077281A (zh) * 2014-09-09 2017-08-18 三菱电机株式会社 触感控制***及触感控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399645A (zh) * 2020-03-13 2020-07-10 Oppo广东移动通信有限公司 可穿戴设备及触觉反馈方法、装置、存储介质
CN111399645B (zh) * 2020-03-13 2023-07-25 Oppo广东移动通信有限公司 可穿戴设备及触觉反馈方法、装置、存储介质
CN115167747A (zh) * 2021-03-18 2022-10-11 华为技术有限公司 截屏方法、电子设备及存储介质
WO2022266901A1 (zh) * 2021-06-23 2022-12-29 广州视源电子科技股份有限公司 触控控制方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN110244845B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN104395851B (zh) 电子装置和电子装置中的方法
CN108874271A (zh) 包括多个输入设备的电子设备及其控制方法
CN103425334B (zh) 控制电子装置的显示器的方法以及使用该方法的电子装置
CN109313519A (zh) 包括力传感器的电子设备
CN110134238A (zh) 按键反馈方法、装置、存储介质和电子设备
CN110244845A (zh) 触觉反馈方法、装置、电子设备及存储介质
US11789608B2 (en) Key structure, key control method, and electronic device
US20140253504A1 (en) Mobile electronic device with sensors
CN104641322A (zh) 用于提供局部反馈的用户终端装置及其方法
CN110413172A (zh) 一种按键指示方法及电子设备
CN106681503A (zh) 一种显示控制方法、终端及显示装置
WO2013162830A1 (en) Systems and methods for a rollable illumination device
US11928260B2 (en) Control method and electronic device having touch positions with different pressure value
CN110109549A (zh) 应用通知的处理方法、装置、存储介质和电子设备
CN108196740A (zh) 一种图标显示方法、装置及移动终端
CN110533651A (zh) 一种图像处理方法及装置
CN108920040A (zh) 一种应用图标整理方法及移动终端
CN110147176B (zh) 一种触摸屏的控制方法、装置、存储介质及电子设备
CN108845730A (zh) 一种对象控制方法及终端
CN110225200A (zh) 提醒方法、装置、存储介质及电子设备
CN107968939A (zh) 显示画面的处理方法、装置、存储介质及电子装置
CN108650456A (zh) 对焦方法、装置、存储介质及电子设备
CN108595105A (zh) 补光灯控制方法、装置、存储介质及电子设备
CN112286411A (zh) 显示模式的控制方法、装置、存储介质以及电子设备
CN109828702A (zh) 一种界面显示方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant