CN109992177A - 电子设备的用户交互方法、***、电子设备及计算机介质 - Google Patents

电子设备的用户交互方法、***、电子设备及计算机介质 Download PDF

Info

Publication number
CN109992177A
CN109992177A CN201711498692.7A CN201711498692A CN109992177A CN 109992177 A CN109992177 A CN 109992177A CN 201711498692 A CN201711498692 A CN 201711498692A CN 109992177 A CN109992177 A CN 109992177A
Authority
CN
China
Prior art keywords
information
electronic equipment
user
describing
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711498692.7A
Other languages
English (en)
Inventor
吴双熔
李建树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201711498692.7A priority Critical patent/CN109992177A/zh
Publication of CN109992177A publication Critical patent/CN109992177A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种电子设备的用户交互方法，包括：根据用户操作确定所述电子设备的用户界面上展示的元素；获取与所述元素相关的信息，所述与所述元素相关的信息包括以下任意一项或多项：所述元素的描述信息、所述元素的功能信息、所述元素的内容信息、或所述元素在所述用户界面的位置信息；以及根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息。

Description

电子设备的用户交互方法、***、电子设备及计算机介质
技术领域
本公开涉及互联网技术领域，更具体地，涉及一种电子设备的用户交互方法、***、电子设备及计算机介质。
背景技术
触控屏方式的普及对于视力正常的用户而言，大大化简了操作步骤，提升了手机、平板电脑、笔记本电脑等电子设备的使用体验。但是对于盲人和有视力障碍的用户，在大量取消物理实体按键之后，则让他们找不到定位感和触摸感，光是一块没有凹凸感的触控屏反而给他们实际使用带来不便。针对这种情况，现有技术的解决方案是利用一种基于手势的屏幕阅读器(苹果手机中的VoiceOver)对用户在电子设备的触摸屏展示的用户界面上的操作进行语音提示，例如，用户在用户界面上点击图片或者应用程序时，该屏幕阅读器响应用户操作，并对用户所点击的元素进行播放：“图片”或者“微信”以提示用户。
在实现本发明构思的过程中，发明人发现现有技术中至少存在如下问题：在响应用户操作，对用户界面展示的元素进行播放时，只能播放该元素的名称而没有其他信息，致使用户获得的关于其点击的元素的信息非常有限。
发明内容
有鉴于此，本公开提供了一种种电子设备的用户交互方法、***、电子设备及计算机介质。
本公开的一个方面提供了一种电子设备的用户交互方法，包括：根据用户操作确定所述电子设备的用户界面上展示的元素；获取与所述元素相关的信息，所述与所述元素相关的信息包括以下任意一项或多项：所述元素的描述信息、所述元素的功能信息、所述元素的内容信息、或所述元素在所述用户界面的位置信息；以及根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息包括：基于所述元素的描述信息和/或功能信息生成第一信息，所述第一信息包括所述元素的名称和/或对所述元素操作的结果；以及根据所述第一信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，所述与所述元素相关的信息还包括所述元素的外观信息；以及根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息包括：根据所述元素的外观信息和/或所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，所述元素的外观信息包括所述元素的形状和/或大小；以及根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息包括：根据所述元素的形状和/或大小、所述元素的名称、对所述元素操作的结果、所述元素的内容信息和所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，所述元素包括以下任意一个：应用程序、控件、图像文件、视频文件、音频文件、或文档。
本公开的另一个方面提供了一种电子设备的用户交互方法，包括：确定模块，用于根据用户操作，确定所述电子设备的用户界面上展示的元素；获取模块，用于获取与所述元素相关的信息，所述与所述元素相关的信息包括以下任意一项或多项：所述元素的描述信息、所述元素的功能信息、所述元素的内容信息、或述元素在所述用户界面的位置信息；以及生成模块，用于根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，所述生成模块包括：第一生成模块，用于基于所述元素的描述信息和/或功能信息生成第一信息，所述第一信息包括所述元素的名称和/或对所述元素操作的结果；以及第二生成模块，用于根据所述第一信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，所述与所述元素相关的信息还包括所述元素的外观信息；以及所述生成模块包括：第三生成模块，用于根据所述元素的外观信息和/或所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，所述元素的外观信息包括所述元素的形状和/或大小；以及所述生成模块包括：第四生成模块，用于根据所述元素的形状和/或大小、所述元素的名称、对所述元素操作的结果、所述元素的内容信息和所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
根据本公开的实施例，所述元素包括以下任意一个：应用程序、控件、图像文件、视频文件、音频文件、或文档。
本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；以及一个或多个存储器，存储有可执行指令，所述指令在被处理器执行时，使得处理器执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机可读介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例，可以至少部分地解决在用户点击电子设备的用户界面的元素时，电子设备只能播放该元素的名称问题，并因此可以实现电子设备可以播放除该元素的名称之外的信息，例如该元素的内容信息、位置信息、功能信息等其他信息。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的电子设备的用户交互方法和***的应用场景；
图2示意性示出了根据本公开实施例的电子设备的用户交互方法的流程图；
图3示意性示出了根据本公开实施例的电子设备根据第一信息生成第一语音信息的流程图；
图4示意性示出了根据本公开实施例的电子设备根据元素的外观信息和/或位置信息生成第一语音信息的流程图；
图5示意性示出了根据本公开实施例的电子设备根据元素的多条信息生成第一语音信息的流程图；
图6A～6D示意性示出了根据本公开实施例的用户与电子设备交互时的示意图；
图7示意性示出了根据本公开实施例的电子设备的用户交互***的框图；
图8示意性示出了根据本公开另一个实施例的电子设备的用户交互***的框图；以及
图9示意性示出了根据本公开实施例的适于实现电子设备的计算机***的方框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种电子设备的用户交互的方法，包括：根据用户操作确定电子设备的用户界面上展示的元素；获取与元素相关的信息，与所述元素相关的信息包括以下任意一项或多项：元素的描述信息、元素的功能信息、元素的内容信息、或元素在用户界面的位置信息；以及根据获取的与元素相关的信息生成用于描述该元素的第一语音信息。
图1示意性示出了根据本公开实施例的电子设备的用户交互方法和***的应用场景100。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
本公开实施例所提供的电子设备的用户交互方法可以由终端设备101、102、或103执行。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开的实施例的电子设备的用户交互方法的流程图。
如图2所示，该方法包括操作S201～操作S203。
在操作S201，根据用户操作确定电子设备的用户界面上展示的元素。
在操作S202，获取与元素相关的信息，与该元素相关的信息包括以下任意一项或多项：元素的描述信息、元素的功能信息、元素的内容信息、或元素在用户界面的位置信息。
根据本公开的实施例，与元素相关的信息可以通过电子设备的非正式协议生成。例如，UIAccessibility是在用户界面框架里的一个非正式协议，可以用于提供关于用户界面的元素的相关信息，即元素的描述信息、元素的功能信息、元素的内容信息、或元素在用户界面的位置信息。
例如，元素的描述信息可以是一个简短的本地化词或短语，此短语可以简洁的描述元素，但是不能识别元素的类型，例如“添加”、“播放”。这时可以通过与电子设备相关联的服务器下发文字所描述的内容，电子设备的非正式协议给元素提供具体的描述内容。例如，元素为微信图标，在用户在用户界面选中时，与微信相关的服务器下发描述微信图标的内容，电子设备的非正式协议根据该内容生成与该微信图标对应的描述信息。
根据本公开的实施例，元素的功能信息、元素的内容信息、或元素在用户界面的位置信息与上述生成元素的描述信息类似，需通过与用户所操作的元素相关联的服务器下发与元素的功能信息、元素的内容信息、或元素在用户界面的位置信息相对应的内容，电子设备基于接收到的内容通过非正式协议提供简洁的元素的功能信息、元素的内容信息、或元素在用户界面的位置信息。
在操作S203，根据获取的与元素相关的信息生成用于描述该元素的第一语音信息。
根据本公开的实施例，当用户通过手势(例如，点击、拖动、或轻拂等手势)选中电子设备的用户界面展示的元素时，电子设备可以从服务器或从本地获取与该元素相关的信息，例如，与该元素相关的信息可以包括以下任意一项或多项：元素的描述信息、元素的功能信息、元素的内容信息、或元素在用户界面的位置信息。然后，电子设备可以根据获取的与该元素相关的信息生成用于描述该元素的第一语音信息。根据本公开的实施例，用户界面展示的元素可以是应用程序、控件、图像文件、视频文件、音频文件、或文档。例如，本实施例的元素为应用程序(例如微信)，根据与微信相关的信息可以生成用于描述微信的第一语音信息，例如，第一语音信息可以是“您点击的是由腾讯公式发行的微信App，该App主要用于聊天，位于用户界面的第三行第二列”，以此方式对用户所点击的元素进行语音播报有助于用户及时获取与该元素相关的信息，进而使得用户可以及时知道自己所点击在用户界面的位置、所点击的元素的名称以及该元素的功能，这种方式可以帮助特殊人群(例如，盲人或者有视力障碍的人群)及时的获知其点击元素的信息。
图3示意性示出了根据本公开实施例的电子设备根据第一信息生成第一语音信息的流程图。
如图3所示，根据本公开的实施例，图2实施例中的操作S203包括操作S301～操作S302。
在操作S301，基于元素的描述信息和/或功能信息生成第一信息，该第一信息包括元素的名称和/或对该元素操作的结果。
在操作S302，根据第一信息生成用于描述该元素的第一语音信息。
根据本公开的实施例，元素的描述信息和/或功能信息可以是关于对该元素的介绍。例如，元素为微信，该元素的描述信息可以是“该元素是腾讯公司于2011年推出的一款为智能终端提供即时通讯服务的免费App”，该元素的功能信息可以是“微信支持跨通信运营商、跨操作***平台通过网络快速发送语音信息、视频、图片和文字”。
根据本公开的实施例，第一信息可以是元素的名称和/或对该元素操作的结果。例如，该元素为一应用程序(微信)，在这种情况下，该元素的名称可以为“微信”，对该元素操作的结果可以为“用于聊天”，那么第一信息可以为“微信，用于聊天”，此时电子设备可以根据该第一信息生成第一语音信息(例如，您点击的是微信，用于聊天)。这样，通过电子设备对从服务器接收的元素的描述信息和/或功能信息进行关键字的提取和组合生成第一信息，基于该第一信息生成的第一语音信息简洁易懂，从而减少了用户听第一语音所用的时间，提高了用户的体验。
图4示意性示出了根据本公开实施例的电子设备根据元素的外观信息和/或位置信息生成第一语音信息的流程图。
根据本公开的实施例，获取的与元素相关的信息除了图2实施例描述的元素的描述信息、元素的功能信息、元素的内容信息、或所述元素在所述用户界面的位置信息之外，还包括该元素的外观信息，如图4所示的操作401。另外，图2实施例中的操作S203包括操作S402。
如图4所示，该方法包括操作S201、操作S401和操作S402。
在操作S201，根据用户操作确定电子设备的用户界面上展示的元素。
在操作S401，获取与元素相关的信息，与元素相关的信息包括以下任意一项或多项：元素的描述信息、元素的功能信息、元素的内容信息、元素的外观信息、或元素在用户界面的位置信息。
在操作S402，根据元素的外观信息和/或元素在用户界面的位置信息生成用于描述该元素的第一语音信息。
根据本公开的实施例，电子设备的用户界面的框架可以是5*3的宫格，元素在该用户界面的位置信息例如可以是第三行第二列等等，但不限于此。
根据本公开的实施例，元素的外观信息可以指该元素的形状和/或大小。例如，该元素可以是1.5*1.5的正方形的应用图标。
电子设备可以根据元素外观信息和/或元素在用户界面的位置信息生成用于描述该元素的第一语音信息，例如，该第一语音信息可以是“您点击的元素是以1.5*1.5的正方形展示在用户界面上，位于第三行第二列”，这样使得盲人或者有视力障碍的人群在下次对该元素进行点击时，可以准确快速的找到该元素在用户界面的位置，避免了误触发与该元素相邻的元素。
图5示意性示出了根据本公开实施例的电子设备根据元素的多条信息生成第一语音信息的流程图。根据本公开的实施例，上述元素的外观信息包括元素的形状和/或大小。
如图5所示，该方法包括操作S201、操作S501和操作S502。
在操作S201，根据用户操作确定电子设备的用户界面上展示的元素。
在操作S501，获取与元素相关的信息，与元素相关的信息包括以下任意一项或多项：元素的描述信息、元素的功能信息、元素的内容信息、元素的外观信息、或元素在用户界面的位置信息，其中元素的外观信息包括所述元素的形状和/或大小。
在操作S502，根据元素的形状和/或大小、元素的名称、对元素操作的结果、元素的内容信息和元素在用户界面的位置信息生成用于描述该元素的第一语音信息。
根据本公开的实施例，电子设备可以根据用户在用户界面点击的元素的形状和/或大小、元素的名称、对元素操作的结果、元素的内容信息和元素在用户界面的位置信息生成用于描述该元素的第一语音信息，以此方式生成的第一语音信息可以让用户对该元素进行详细的了解，这样的方式可以帮助到盲人或者有视力障碍的人群。例如，在用户界面展示的元素为一张图片，通过上述方式生成的第一语音信息使得用户可以知道该图片在用户界面的具***置(例如，该图片位于电子设备的C盘中的图片文件夹的第四行第二列)、该图片的具体形状和/或大小(例如该图片是以3*3的正方形在用户界面上显示的)、该图片的内容是一辆汽车、该元素的名称为图片、对元素操作的结果是“展示一辆汽车的图片”等等。
图6A～6D示意性示出了根据本公开实施例的用户与电子设备交互时的示意图。
根据本公开的实施例，上述方法应用于电子设备600，在用户与电子设备600交互时的场景可以包括如图6A～6D所示的场景。
具体地，如图6A所示，当用户点击电子设备600的用户界面展示的微信时，电子设备600播放A61：“您点击的是由腾讯公式发行的微信App，该App主要用于聊天，位于用户界面的第三行第二列”。
如图6B所示，当用户点击电子设备600的用户界面展示的微信时，电子设备600播放A62：“您点击的是微信，用于聊天”。
如图6C所示，当用户点击电子设备600的用户界面展示的微信时，电子设备600播放A63：“您点击的元素是以1.5*1.5的正方形展示在用户界面上，位于第三行第二列”。
如图6D所示，当用户点击电子设备600的用户界面展示的微信时，电子设备600播放A64：“您点击的是以1.5*1.5的正方形展示在用户界面上的微信图标，用于聊天，位于用户界面的第三行第二列”。
可以理解，以上所举的元素为微信仅是示例性说明，以方便更清晰准确地理解本公开的技术方案，本公开的方案并不限于此。
图7示意性示出了根据本公开的实施例的电子设备的用户交互***的框图。
如图7所示，***700包括确定模块710、获取模块720、和生成模块730。
确定模块710，用于根据用户操作，确定电子设备的用户界面上展示的元素。
获取模块720，用于获取与元素相关的信息，与元素相关的信息包括以下任意一项或多项：元素的描述信息、元素的功能信息、元素的内容信息、或元素在所述用户界面的位置信息。
生成模块730，用于根据获取的与元素相关的信息生成用于描述该元素的第一语音信息。
图8示意性示出了根据本公开另一个的实施例的电子设备的用户交互***的框图。
如图8所示，根据本公开的实施例，生成模块730包括第一生成模块810、第二生成模块820、第三生成模块830、和第四生成模块840。
第一生成模块810，用于基于元素的描述信息和/或功能信息生成第一信息，该第一信息包括元素的名称和/或对元素操作的结果。
第二生成模块820，用于根据第一信息生成用于描述该元素的第一语音信息。
第三生成模块830，用于根据元素的外观信息和/或元素在用户界面的位置信息生成用于描述该元素的第一语音信息。
第四生成模块840，用于根据元素的形状和/或大小、元素的名称、对元素操作的结果、元素的内容信息和元素在用户界面的位置信息生成用于描述该元素的第一语音信息。
根据本公开的实施例，***700可以利用上述生成模块730中的任意一个模块生成用于描述该元素的第一语音信息。
根据本公开的实施例，关于确定模块710、获取模块720、生成模块730、第一生成模块810、第二生成模块820、第三生成模块830、以及第四生成模块840的具体实施过程与图2～图5所述的方法的实施过程相同或相似。
可以理解的是，确定模块710、获取模块720、生成模块730、第一生成模块810、第二生成模块820、第三生成模块830、以及第四生成模块840可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，确定模块710、获取模块720、生成模块730、第一生成模块810、第二生成模块820、第三生成模块830、以及第四生成模块840中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，确定模块710、获取模块720、生成模块730、第一生成模块810、第二生成模块820、第三生成模块830、以及第四生成模块840中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
图9示意性示出了根据本公开实施例的适于实现电子设备的计算机***的方框图。图9示出的计算机***仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，根据本公开实施例的计算机***900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行参考图2～图5描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中，存储有***900操作所需的各种程序和数据。处理器901、ROM 902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行以上参考图2～图5描述的方法的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行以上参考图2～图5描述的方法的各种操作。
根据本公开的实施例，***900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。***900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
根据本公开的实施例，上文参考流程图描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器901执行时，执行本公开实施例的***中限定的上述功能。根据本公开的实施例，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。根据本公开的实施例，计算机可读介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行：根据用户操作确定电子设备的用户界面上展示的元素；获取与元素相关的信息，与所述元素相关的信息包括以下任意一项或多项：元素的描述信息、元素的功能信息、元素的内容信息、或元素在用户界面的位置信息；以及根据获取的与元素相关的信息生成用于描述该元素的第一语音信息。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种电子设备的用户交互方法，包括：
根据用户操作确定所述电子设备的用户界面上展示的元素；
获取与所述元素相关的信息，所述与所述元素相关的信息包括以下任意一项或多项：所述元素的描述信息、所述元素的功能信息、所述元素的内容信息、或所述元素在所述用户界面的位置信息；以及
根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息。
2.根据权利要求1所述的方法，其中，根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息包括：
基于所述元素的描述信息和/或功能信息生成第一信息，所述第一信息包括所述元素的名称和/或对所述元素操作的结果；以及
根据所述第一信息生成用于描述所述元素的第一语音信息。
3.根据权利要求1所述的方法，其中：
所述与所述元素相关的信息还包括所述元素的外观信息；以及
根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息包括：
根据所述元素的外观信息和/或所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
4.根据权利要求3所述的方法，其中：
所述元素的外观信息包括所述元素的形状和/或大小；以及
根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息包括：
根据所述元素的形状和/或大小、所述元素的名称、对所述元素操作的结果、所述元素的内容信息和所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
5.根据权利要求1所述的方法，其中，所述元素包括以下任意一个：应用程序、控件、图像文件、视频文件、音频文件、或文档。
6.一种电子设备的用户交互***，包括：
确定模块，用于根据用户操作，确定所述电子设备的用户界面上展示的元素；
获取模块，用于获取与所述元素相关的信息，所述与所述元素相关的信息包括以下任意一项或多项：所述元素的描述信息、所述元素的功能信息、所述元素的内容信息、或所述元素在所述用户界面的位置信息；以及
生成模块，用于根据获取的与所述元素相关的信息生成用于描述所述元素的第一语音信息。
7.根据权利要求6所述的***，其中，所述生成模块包括：
第一生成模块，用于基于所述元素的描述信息和/或功能信息生成第一信息，所述第一信息包括所述元素的名称和/或对所述元素操作的结果；以及
第二生成模块，用于根据所述第一信息生成用于描述所述元素的第一语音信息。
8.根据权利要求6所述的***，其中：
所述与所述元素相关的信息还包括所述元素的外观信息；以及
所述生成模块包括：
第三生成模块，用于根据所述元素的外观信息和/或所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
9.根据权利要求8所述的***，其中：
所述元素的外观信息包括所述元素的形状和/或大小；以及
所述生成模块包括：
第四生成模块，用于根据所述元素的形状和/或大小、所述元素的名称、对所述元素操作的结果、所述元素的内容信息和所述元素在所述用户界面的位置信息生成用于描述所述元素的第一语音信息。
10.根据权利要求6所述的***，其中，所述元素包括以下任意一个：应用程序、控件、图像文件、视频文件、音频文件、或文档。
11.一种电子设备，包括：
一个或多个处理器；以及
一个或多个存储器，存储有可执行指令，所述指令在被处理器执行时，使得处理器执行根据权利要求1～5中任意一项所述的方法。
12.一种计算机可读介质，其上存储有用于执行根据权利要求1～5中任意一项所述的方法的指令。
CN201711498692.7A 2017-12-29 2017-12-29 电子设备的用户交互方法、***、电子设备及计算机介质 Pending CN109992177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711498692.7A CN109992177A (zh) 2017-12-29 2017-12-29 电子设备的用户交互方法、***、电子设备及计算机介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711498692.7A CN109992177A (zh) 2017-12-29 2017-12-29 电子设备的用户交互方法、***、电子设备及计算机介质

Publications (1)

Publication Number Publication Date
CN109992177A true CN109992177A (zh) 2019-07-09

Family

ID=67110255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711498692.7A Pending CN109992177A (zh) 2017-12-29 2017-12-29 电子设备的用户交互方法、***、电子设备及计算机介质

Country Status (1)

Country Link
CN (1) CN109992177A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776580A (zh) * 2018-06-04 2018-11-09 珠海格力电器股份有限公司 窗口的提示方法和装置
CN112423066A (zh) * 2020-11-13 2021-02-26 深圳创维－Rgb电子有限公司 一种电视控制方法、装置、智能终端及存储介质
WO2022089180A1 (zh) * 2020-10-31 2022-05-05 华为技术有限公司 一种交互方法以及终端设备
CN114816618A (zh) * 2021-04-14 2022-07-29 浙江口碑网络技术有限公司 一种页面元素展示方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012104092A (ja) * 2010-11-11 2012-05-31 Atlab Co Ltd 視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法
CN103106031A (zh) * 2013-01-22 2013-05-15 北京小米科技有限责任公司 一种移动终端的操作方法及装置
CN103631506A (zh) * 2012-08-24 2014-03-12 腾讯科技（深圳）有限公司 基于终端的阅读方法及相应的终端
CN105487744A (zh) * 2014-09-23 2016-04-13 中兴通讯股份有限公司 一种无障碍智能终端实现交互的方法及装置
CN107370670A (zh) * 2017-09-06 2017-11-21 叶进蓉 未读消息提取展示方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012104092A (ja) * 2010-11-11 2012-05-31 Atlab Co Ltd 視覚障害者による客体操作が可能なタッチスクリーン装置及びその装置における客体操作方法
CN103631506A (zh) * 2012-08-24 2014-03-12 腾讯科技（深圳）有限公司 基于终端的阅读方法及相应的终端
CN103106031A (zh) * 2013-01-22 2013-05-15 北京小米科技有限责任公司 一种移动终端的操作方法及装置
CN105487744A (zh) * 2014-09-23 2016-04-13 中兴通讯股份有限公司 一种无障碍智能终端实现交互的方法及装置
CN107370670A (zh) * 2017-09-06 2017-11-21 叶进蓉 未读消息提取展示方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘宗意: "iOS UIAccessibility讲解", 《CSDN博客-HTTPS://BLOG.CSDN.NET/CSDN_LIUZONGYI/ARTICLE/DETAILS/53535579》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776580A (zh) * 2018-06-04 2018-11-09 珠海格力电器股份有限公司 窗口的提示方法和装置
WO2022089180A1 (zh) * 2020-10-31 2022-05-05 华为技术有限公司 一种交互方法以及终端设备
CN114527894A (zh) * 2020-10-31 2022-05-24 华为终端有限公司 一种交互方法以及终端设备
CN114527894B (zh) * 2020-10-31 2024-05-14 华为终端有限公司 一种交互方法以及终端设备
CN112423066A (zh) * 2020-11-13 2021-02-26 深圳创维－Rgb电子有限公司 一种电视控制方法、装置、智能终端及存储介质
CN114816618A (zh) * 2021-04-14 2022-07-29 浙江口碑网络技术有限公司 一种页面元素展示方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9043412B2 (en) Computer device for reading e-book and server for being connected with the same
CN110096344A (zh) 任务管理方法、***、服务器集群和计算机可读介质
CN109992177A (zh) 电子设备的用户交互方法、***、电子设备及计算机介质
KR101622871B1 (ko) 메신저의 대화내용을 관리하는 방법과 시스템 및 기록 매체
CN110061909A (zh) 用于处理信息的方法和设备
WO2021223752A1 (zh) 展示方法、装置和电子设备
CN110162758A (zh) 在线文档***信息方法及装置
WO2023040443A1 (zh) 用于绘制画布的方法和装置
CN110213614A (zh) 从视频文件中提取关键帧的方法和装置
CN109981719A (zh) 信息处理方法及其***、计算机***和计算机可读介质
CN107766106B (zh) 生成配置文件的方法和装置
CN112015314A (zh) 信息展示方法、装置、电子设备和介质
CN110020329A (zh) 用于生成网页的方法、装置和***
CN113031946A (zh) 一种渲染页面组件的方法和装置
CN109491742A (zh) 页面表格渲染方法及装置
JP2023548485A (ja) 情報表示方法、装置、電子機器及びコンピュータ可読記憶媒体
CN109582317A (zh) 用于调试寄宿应用的方法和装置
CN111061860A (zh) 摘要生成方法和装置
CN113407882A (zh) 组件生成方法、装置、计算机可读存储介质及电子设备
CN109002282A (zh) 一种在web页面开发中实现动画效果的方法和装置
CN108959642A (zh) 用于写入信息的方法和装置
CN110135903A (zh) 广告位排位方法、***、介质和电子设备
US10643252B2 (en) Banner display method of electronic device and electronic device thereof
CN112307393A (zh) 信息发布方法、装置和电子设备
CN109472740A (zh) 基于Web前端生成图形的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190709