CN104662567A - 访问软件功能的*** - Google Patents

访问软件功能的*** Download PDF

Info

Publication number
CN104662567A
CN104662567A CN201380049803.XA CN201380049803A CN104662567A CN 104662567 A CN104662567 A CN 104662567A CN 201380049803 A CN201380049803 A CN 201380049803A CN 104662567 A CN104662567 A CN 104662567A
Authority
CN
China
Prior art keywords
user
input
natural language
prompting
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380049803.XA
Other languages
English (en)
Inventor
B-K·W·怀特
M·维罗克斯
G·M·小海克曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oracle International Corp
Original Assignee
Oracle International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oracle International Corp filed Critical Oracle International Corp
Publication of CN104662567A publication Critical patent/CN104662567A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Development Economics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于方便用户访问软件功能的***和方法，其中的软件功能诸如与企业相关的软件应用以及附带的动作和数据。示例方法包括接收自然语言输入；在经用户接口显示屏说明的会话流中显示代表该自然语言输入的电子文本；解释该自然语言输入并确定代表其的命令；采用该命令来确定并显示提示，该提示与一个或多个用户可选择的项的预定集合关联；响应于该提示，提供指示用户选择的第一用户选项；以及在会话流中***用户选择的表示。在更具体的实施例中，第一用户选项是经除自然语言之外的输入选择机制提供的，例如，经触摸手势，使得会话流包括代表除基于纯文本或语音的输入之外的用户输入的文本。

Description

访问软件功能的***
对相关申请的交叉引用
本申请要求于2012年9月28日提交且标题为“COMPUTINGDEVICE WITH SPEECH CONTROL”的美国临时专利申请序列No.61/707,353(代理人案号ORACP0074P-ORA130295-US-PSP)以及于2013年3月15日提交且标题为“SYSTEM FOR ACCESSINGSOFTWARE FUNCTIONALITY”的美国临时专利申请序列No.13/842,982(代理人案号ORACP0074-ORA130295-US-PSP)的优先权，这些申请通过引用被结合于此，用于所有目的，就好像在本申请中完全阐述了一样。
本申请涉及以下申请，于2012年12月14日提交且标题为“NATURAL LANGUAGE PROCESSING FOR SOFTWARECOMMANDS”的美国专利申请序列No.13/715,776(代理人案号ORACP0071-ORA130060-US-NP)，该申请通过引用被结合于此，就好像在本申请中完全阐述了一样。
技术领域
本申请涉及软件并且更具体而言涉及软件和附带的图形用户接口，其中图形用户接口采用语言输入来方便与软件的交互并控制软件。
背景技术
自然语言处理在各种高要求的应用中被采用，包括免提设备、移动日历和文本消息传送应用、外语翻译软件，等等。这种应用要求用户友好的机制用于经语言输入，诸如语音，与有可能复杂的软件高效地交互。
用于与软件交互的高效的基于语言的机制在移动企业应用中特别重要，在这种应用中，有限的显示面积可用于方便用户访问潜在大量的数据和功能，这些数据和功能可以经客户关系管理(CRM)、人力资本管理(HCM)、商业智能(BI)数据库等来提供。
按照惯例，语音或语言辅助的企业应用呈现出使仅仅有限的自然语言支持成为必需并且缺乏方便数据访问和任务完成的高效机制的设计限制。例如，用于把口述命令翻译成软件命令和用于采用软件命令来控制软件的低效机制常常限制现有应用采用语音命令来访问复杂特征集的能力。
因而，自然语言的使用通常局限于方便启动软件过程或动作，而不实现或继续操纵已启动的软件过程或动作。
发明内容
一种示例方法方便用户访问软件功能，诸如企业相关的软件应用及附带的动作和数据。该示例方法包括接收自然语言输入；在经用户接口显示屏说明的会话流中显示对应的电子文本；解释自然语言输入并确定代表其的请求或命令；采用该命令来确定并显示提示，该提示与一个或多个用户可选择的项的预定集合关联；响应于该提示而提供指示用户选择的第一用户选项；并且在会话流中***用户选择的表示。
在更具体的实施例中，第一用户选项经除自然语言之外的输入选择机制，例如，经触摸手势、鼠标光标等，提供。作为替代，用户选择可以经自然语言输入，例如语音输入，进行。
一个或多个用户可选择的项的集合可以经用户可选择的项的显示列表给出。用户选择的表示可以包括在代表第一自然语言输入的电子文本之后***的电子文本。
在该具体实施例中，示例方法还包括显示在用户选择的表示之后插在会话流中的第二提示；响应于经第二自然语言输入的第二提示提供第二用户选项，以提供用户输入；并且在第二提示之后把第二自然语言输入的表示***会话流。
在说明性实施例中，示例方法还可以包括确定用户命令代表查看数据的请求；然后确定用户请求查看的数据的类型，并且响应于此而显示所请求的数据的表示。数据类型的例子包括，但不限于，客户、机会、约会、任务、交互和笔记数据。
解释步骤还可以包括确定命令代表创建计算对象的请求。计算对象可以包括关于任务、约会、交互等的数据。
解释步骤还可以包括引用用户数据的存储库，包括之前被用户采用的词汇表，以方便估计由自然语言输入表示的用户意图。采用步骤可以包括引用之前访问过的计算对象，以方便确定提示。
用户选择可以包括，例如，要创建的计算对象或者其数据要显示的计算对象的指示。计算对象可以经企业资源计划(ERP)***维护。
示例方法还可以包括提供一个或多个附加提示，这些附加提示适于向用户询问指定要输入到为了创建计算对象而被调用的Web服务的一个或多个参数的输入。ERP服务器提供Web服务，并且移动计算设备方便接收自然语言输入并显示会话流。
服务器可以向移动计算设备或其它客户端设备提供元数据，以调整经客户端设备说明的用户接口显示屏。基于自然语言输入，一个或多个Web服务可以与会话流关联。第一提示可以包括一个或多个问题，对这些问题的响应代表提供识别要包括在一个或多个Web服务请求中的一个或多个参数的回答的用户选择。参数的例子包括客户标识号、机会标识号、指示交互类型的参数，等等。
由此，部分地通过启用混合自然语言对话或会话流的创建，本文所讨论的某些实施例方便对企业数据和功能的高效访问，其中混合自然语言对话或会话流可以包括代表用户提供的自然语言输入(例如，语音)的文本；软件生成的自然语言提示；及代表经触摸手势或其它用户输入机制提供的用户输入的文本。
例如，在会话流期间，用户可以使用触摸输入来从列表选择项。结果产生的选择可以经自动***会话流的文本指示。提示、语音/文本输入/输出以及其它接口特征到会话流中的集成对于移动企业应用会特别有用，其中，以别的方式，常规复杂菜单和软件接口的导航会特别困难。例如，如经元数据维护的，会话上下文对从用户输入指引会话流和准确估计用户意图的使用可以进一步方便ERP操作/任务的快速实现，例如，查看企业数据、创建数据对象，等等。
由此，用来实现本文所讨论的某些实施例的软件组件可以提供启用自然语言输入，例如语音，以完成ERP动作的高效使用的应用框架，包括访问数据、编辑数据和创建数据对象。实施例可以接受变化的语言结构和词汇表，以便经基于简单会话的用户接口完成相对复杂的任务。利用上下文感知的自然语言处理机制以及附带的元数据和过去的用户输入，包括关于用户目前从事(work on)或者之前从事的交互的信息，调用特定软件服务所需的多个参数可以从用户输入的单个实例同时确定。
本文所公开的特定实施例的本质和优点的进一步理解可以通过参考本说明书的剩余部分和附图来实现。
附图说明
图1是接受自然语言输入以方便用户与ERP软件的交互的第一示例***的图。
图2是说明为了方便计算设备的自然语言控制而可以经图1的***实现的示例子过程的示例过程流程图。
图3A说明了第一示例用户接口显示屏，这可以经图1的***实现，并且说明了涉及使用语音输入来启动交互计算对象的创建的第一示例用户交互。
图3B说明了给出用户可选择选项的列表用于***在图3A中启动的会话流的第二示例用户接口显示屏。
图3C说明了第三示例用户接口显示屏，示出了经图3B的用户接口显示屏所进行的把用户选择的表示***在图3A中启动的会话流。
图4说明了第四示例用户接口显示屏，示出了用来创建交互计算对象的备选示例会话流。
图5A说明了第五示例用户接口显示屏，示出了用来创建任务计算对象的会话流的第一部分。
图5B说明了第六示例用户接口显示屏，说明了在图5A中启动的会话流的第二部分。
图6A说明了第七示例用户接口显示屏，示出了用来创建约会计算对象的会话流的第一部分。
图6B说明了第八示例用户接口显示屏，示出了在图6A中启动的会话流的第二部分。
图7说明了第九示例用户接口显示屏，示出了用来创建约会计算对象的备选示例会话流，其中单个自然语言输入语句被底层软件用来填充用来创建约会计算对象的多个参数。
图8A说明了第十示例用户接口显示屏，示出了用来创建笔记计算对象的会话流的第一部分。
图8B说明了第十一示例用户接口显示屏，示出了在图8A中启动的会话流的第二部分。
图9A说明了第十二示例用户接口显示屏，示出了用来查看与经自然语言输入指定的特定机会计算对象关联的数据的示例会话流。
图9B说明了第十三示例用户接口显示屏，示出了用来查看识别所有用户机会计算对象的列表的示例会话流。
图10说明了第十四示例用户接口显示屏，示出了指示各种示例企业动作的示例帮助菜单，其中各种示例企业动作可以响应于自然语言输入和/或自然语言输入与其它输入的组合而经底层软件实现。
图11A说明了第十五示例用户接口显示屏，其中，代替在帮助菜单中显示(或者附加地)，各种语音可激活的用户选项在初始菜单中显示。
图11B说明了第十六示例用户接口显示屏，其中各种语音可激活的用户选项在第二示例菜单中显示，该第二示例菜单已经根据会话流的目前上下文进行了调整。
图12是适于与图1-11B的实施例一起使用的第一示例方法的流程图。
图13是用于方便经存储参数供软件用来实现一个或多个企业或动作的表单和附带元数据的使用实现图1-12的实施例的第二示例方法的流程图。
具体实施方式
对于本讨论，企业可以是人的任何组织，诸如公司、大学、政府、军队，等等。术语“组织”和“企业”在本文中可互换使用。组织的人员，即，企业人员，可以包括与组织相关联的任何人，诸如员工、承办者、董事会成员、客户联系人，等等。
企业计算环境可以是用于公司或组织的任何计算环境。计算环境可以是用来执行涉及计算机处理的一个或多个任务的计算资源的任何集合。示例企业计算环境包括跨网络分布的各种计算资源并且还可以包括私有和在内联网Web服务器上共享的内容、数据库、本地硬盘或文件服务器上的文件、电子邮件***、文档管理***、门户网站，等等。
ERP软件可以是适于方便实现诸如管理企业资源、管理客户关系等任何企业相关的过程或操作的任何计算机代码集合。示例资源包括企业的人力资源(HR)(例如，企业人员)、财务资源、资产、员工、公司合同，等等。术语“ERP软件”和“ERP应用”可以在本文中互换使用。但是，ERP应用可以包括一个或多个ERP软件模块或组件，诸如用户接口软件模块或组件。
企业软件应用，诸如客户关系管理(CRM)、商业智能(BI)、企业资源计划(ERP)及项目管理软件，常常包括具有也被称为数据对象或实体的各种数据库对象的数据库。对于本讨论，数据库对象可以是由数据库维护的任何计算对象。计算对象可以是数据和/或功能的任何集合。计算对象的例子包括笔记、约会、特定交互、任务，等等。可以包括在对象中的数据的例子包括笔记的文本(例如，描述)；约会的主题、参与者、时间和日期，等等；交互的类型、描述、客户名字，等等；与任务关联的主题、到期日期、机会名称，等等。可以与对象关联或包括在其中的功能的例子包括用于发出约会提醒的软件功能或过程。
企业数据可以是关于组织或公司的任何信息，包括关于客户、约会、会议、机会、客户交互、项目、任务、资源、订单、企业人员等等的信息。企业数据的例子包括与工作相关的笔记、约会数据、客户联系信息、工作订单的描述、资产描述、照片、联系信息、日历信息、企业层次信息(例如，公司组织图表信息)，等等。
为了清晰，某些众所周知的组件，诸如硬驱、处理器、操作***、电源等，从附图中略去了。但是，能获取本示教的本领域技术人员将知道，为了满足给定实现的需要，要实现哪些组件并且如何实现它们。
图1是第一示例***10的图，该***10从例如客户端用户接口机制18(例如，麦克风、软件键控板等)接受自然语言输入，以方便与ERP软件，包括客户端软件20和服务器端软件26、30，的用户交互。示例***10包括与ERP服务器***14通信的客户端***12。
对于本讨论，自然语言可以是任何讲话或者讲话的表示，即，口头或书面语言。类似地，自然语言输入可以是经口头或书面人类语言向计算机提供的任何指令、请求、命令或其它信息。可以与本文所讨论的某些实施例一起使用的语言输入的例子包括语音命令、文本消息(例如，短消息服务(SMS)文本消息)、包含文本的电子邮件、直接文本输入，等等。
在本示例实施例中，客户端***10包括由与图形用户接口(GUI)软件20通信的触摸显示器18表示的用户输入机制。GUI软件20包括与客户端ERP软件24通信的控制器22。客户端GUI控制器22经网络16，诸如因特网，与ERP服务器***14和附带的服务器端软件30通信。
服务器端软件30可以包括Web服务器、应用编程接口(API)等等，以便经会话流实现用于方便对企业数据和软件功能的高效用户访问的软件，其中会话流是经触摸显示器18显示的，如以下更完全讨论的。
对于本讨论，会话流可以是包括自然语言或自然语言的表示的会话的任何显示表示。术语会话流、对话、讲话线程和会话线程在本文中可互换使用。
如在本文中所使用的，会话流可以包括经除语音或录入的文本之外的用户接口机制提供的输入的表示。例如，对由软件提问的问题的回答可以经用户从列表对选项的选择来提供。用户选定的选项的自然语言表示可以***到会话流中。
对于本讨论，软件功能可以是经计算机代码，即，软件，提供的任何功能、能力或特征，例如，所存储或布置的数据。一般而言，软件功能可以经用户接口以及附带的用户接口控制和特征的使用来访问。软件功能可以包括动作，诸如检索关于计算对象(例如，业务对象)的数据；执行与企业相关的任务，诸如提拔、雇佣和辞退企业人员、发订单、计算分析、启动某些对话框、执行搜索，等等。
软件动作可以是经软件实现的任何过程或者过程或操作的集合。过程的附加例子包括更新或编辑数据库中的数据、发出产品订单、显示数据可视化或分析、触发用于方便自动雇佣、辞退或提拔工人的过程序列、启动ERP软件应用、显示对话框，等等。
服务器端软件30可以与维护数据库对象28的各种数据库26，诸如人力资本管理(HCM)、商业智能(BI)、项目管理(PM)数据库等等，通信。管理员用户接口40包括用于使管理员能够配置服务器端软件30和各种数据库26以满足给定实现的需求的计算机代码和硬件。
在本示例实施例中，服务器端软件30包括与虚拟辅助服务模块34通信的讲话/文本转换服务模块32。但是，应当指出，在不背离本示教的范围的情况下，服务器端软件30的各个模块，诸如讲话/文本转换服务模块32，可以在别的地方实现，即，不在ERP服务器***14中。例如，特定实施例使用第三方云模块，由此，.wav文件经因特网发送并且由ERP***接收回文本。另一种实施例可以如图1中所说明的，其中讲话/文本转换可以在ERP服务器***中发生。在ERP服务器***中执行转换的优点是应用和/或领域数据可能更好地集成到***的功能中。
讲话/文本转换服务模块32包括适于接收从移动计算设备12(也被称为客户端设备、客户端***或者客户端计算机)转发的编码的讲话，即，语音数据，然后把语音数据转换成文本的计算机代码。讲话/文本转换服务模块32还可以包括用于把计算机生成的文本转换成音频数据用于传送到移动计算设备12并由其重放的计算机代码。
应当指出，虽然某些特征，诸如讲话到本文的转换和反过来，在图1中示为在服务器端实现，而其它特征在客户端实现，但是实施例不限于此。例如，在不背离本示教的范围的情况下，讲话到文本和文本到讲话的转换可以在客户端，即，在移动计算设备12上执行。
服务器端软件30的虚拟辅助服务模块34与讲话/文本转换服务模块32和自然语言处理器(NLP)服务模块36通信。虚拟辅助服务模块34可以包括用于指引会话流(在本文也被称为对话)经移动计算设备12的触摸显示器18显示的计算机代码并且还可以充当讲话/文本转换服务模块32与NLP模块36之间的接口。
虚拟辅助服务模块34可以包括和/或调用一个或多个附加的Web服务，诸如创建交互服务、创建任务服务、创建笔记服务、创建交互服务、查看客户服务、查看任务服务，等等。附加的服务适于方便数据库对象28的用户选择和/或创建。
对于本讨论，电子文本可以是一个或多个字母、数字或其它字符的电子表示，并且可以包括自然语言的电子表示，诸如词、句子，等等。术语“电子文本”和“文本”在本文中可互换使用。
NLP模块36可以包括用于根据从讲话/文本转换服务模块32输出的电子文本估计用户意图并且把结果估计转发到虚拟辅助服务模块34供进一步处理的计算机代码。例如，虚拟辅助服务模块34可以包括用于确定用户已请求基于来自NLP模块36的输入创建约会，然后响应于此而确定适当的计算机生成的响应向用户显示的计算机代码。
例如，如果用户已请求创建笔记，则虚拟辅助服务模块34可以参考预先存储的关于笔记创建的元数据确定为了创建笔记而将被调用的笔记创建服务所需的给定参数集。然后，虚拟辅助服务模块34可以生成要转发到客户端GUI软件20的一个或多个提示，用于在经触摸显示器18给出的会话流中显示。会话流可以由虚拟辅助服务模块34以足以接收用户输入来填充笔记创建服务所需的参数的方式指引。
对于本讨论，元数据可以是描述数据或者以别的方式描述应用、过程或者过程或服务集合的任何数据或信息。由此，元数据还可以包括用于触发一个或多个操作的计算机代码。例如，与给定表单字段关联的元数据可以适于基于到给定表单字段的输入而触发另外的(一个或多个)表单字段的填充。
在某些实现中，由给定服务，例如笔记创建服务、交互创建服务等等，需要的某些参数可以包括缺省参数、经自然语言用户输入得出的参数、从其它用户输入(例如，触摸输入)得出的参数、基于某些用户指定的参数推断或确定的参数等等的混合。这种参数可以在由虚拟辅助服务模块34向适当的Web服务，在本文中也被简单地称为服务，提交的表单(可以隐藏不被用户看到)中维护。如以下参考图13更完全地讨论的，表单可以包括描述某些字段的元数据、包括在其中的数据，和/或与其关联的指令，以便使虚拟辅助服务模块34能够利用数据高效地填充表单，为把表单提交到适当的服务以实现用户请求的动作而作准备。
用户数据存储库38适于维护用户输入，例如自然语言输入，的历史，以方便匹配所接收的自然语言与适当的命令，例如，查看关于数据库对象的数据的命令和创建数据库对象并在其中***数据的命令。
对于本讨论，命令可以是代表访问软件功能，例如触发软件动作，诸如数据检索和显示、计算对象创建等等，的请求或次序的任何用户输入。术语命令和请求在本文中可以互换使用。
用户数据存储库38还可以被虚拟辅助服务模块34引用，以方便确定给定会话流的上下文。结合来自NLP模块36的用户意图的估计，上下文可以被用来方便确定哪些提示要经客户端GUI软件20和附带的触摸显示器18提供给用户，以实现与用户输入，例如自然语言输入，一致的企业动作。
对于本讨论，提示可以是任何问题或询问，或者口述的、显示的，或者以别的方式经软件和关联的计算设备呈现给用户的。
虚拟辅助服务模块34还可以包括用于向客户端GUI软件20和附带的客户端ERP软件24提供用户接口元数据的计算机代码。客户端ERP软件24可以包括用于使得能够呈现会话流并说明与元数据一致的各种用户接口特征(例如，引证、用户可选择的选项列表等)的计算机代码。用户接口元数据可以包括由虚拟辅助服务模块34调用的一个或多个服务和/或由虚拟辅助服务模块34本身生成的元数据。
由此，移动计算设备12可以从服务器***14接收指示如何布置经服务器端软件30接收的指令，例如元数据。例如，当机会列表返回到移动计算设备12时，该列表可以包含通知移动计算设备12该列表具有一定数量的字段以及列表中每个字段应当看起来是什么样子的元数据。这确保各种用户接口特征可以一般性地在不同类型的移动计算设备上显示。这进一步使得能够更新或调整服务器端软件30，而不需要改变移动计算设备12的软件20。
在示例操作场景中，用户向移动计算设备12提供请求为用户访问过的商业机会创建约会的语音输入。然后，该语音输入由GUI控制器22转发到服务器端软件30的讲话/文本转换服务模块32，模块32把音频数据(即，语音数据)转换成电子文本。然后，NLP模块36估计用户要创建并填充约会计算对象，并且还参考用户数据存储库38确定用户已从事特定的业务机会。
然后，关于业务机会的信息和用户要创建约会计算对象的估计被转发到虚拟辅助服务模块34。然后，虚拟辅助服务模块34确定为了创建约会计算对象而要调用的一个或多个服务；确定正确调用约会创建服务所需的参数和信息，然后生成设计成从用户查询信息的提示。提示***经触摸显示器18显示的会话流中。
要获得的参数以及对应的提示和动作的例子在下表中提供。
表1
由此，***10可以使用操作或交互(例如，“任务”、“约会”等)的已知上下文指示对关键业务对象，诸如客户或机会(例如，销售协议)，完成操作的过程。***10可以加载全部给定用户的数据(例如，如经用户数据存储库38维护的)作为预定的词汇表，供讲话控制使用。
例如，如果用户讲出客户的名字来开始对话，诸如“Pinnacle”，则服务器端软件30可以理解预先加载的客户名并利用诸如“OK，Pinnacle是客户，你想对Pinnacle创建或查看什么？”的问题作出响应。企业数据与理解自然语言的组合可以允许用户讲话的更好识别。
当启动新的业务过程时，服务器端软件30可以保留高级业务对象，诸如客户，的上下文。例如，如果销售代表为特定的客户“ACME”创建笔记，并且随后利用(engage)***10创建任务，则***10可以提问用户或隐含地理解新任务也是针对“ACME”。
移动计算设备12可以与各种个别组件，例如模块，交互(或者直接地或者通过代理间接地)并且可以包括方便平滑过程的附加逻辑，例如，如包括在虚拟辅助服务模块34中的。
概括地说，用户可以通过按下(麦克风)按钮并开始讲话来启动会话流。结果讲话被发送到讲话/文本转换服务模块32，该模块32从讲话信息提取文本串。
在备选实现中，例如，当讲话/文本翻译发生在客户端时，串可以被移动计算设备12传递到虚拟辅助服务模块34。在该示例备选实现中，虚拟辅助34可以选择性地采用NLP模块36来解释串；识别与意图关联的对话类型；以及启动对话并向移动计算设备12返回对话信息，例如，一个或多个提示。
对话可以包括在预期动作(例如，创建交互)可以完成之前要被回答的问题列表。移动计算设备12可以提问这些问题。在用户回答问题之后，回答被转发到服务器端软件30供处理，由此虚拟辅助服务模块34记录回答并且从其提取参数，直到收集到实现动作的所有必需的数据。
如上所述，但在这里更详细描述的，动作可以经由ERP***14提供的Web服务(WS)(例如，创建交互)实现。例如，Web服务可以与会话流类型，即，对话类型，关联。对话将包含其回答提供完成Web服务请求所需的参数的问题。例如，用于在ERP***中创建交互的特定Web服务可以需要四个参数(例如，customer_id、opportunity_id、interaction_type和interaction_details)。然后，设计提示，以调用提供这些参数或者编程确定参数的足够信息的用户响应。例如，客户识别参数可以经动作或服务的调用基于客户名来计算，以便把名字翻译成用于Web服务的客户标识号。
由此，***10说明了用于实现企业软件的示例体系架构，包括适于把讲话变换成文本并且反之亦然的讲话/文本转换服务模块或引擎32；适于从文本估计意图的NLP模块或引擎36；适于基于意图指引会话流的虚拟辅助服务模块34；及ERP数据库和/或其它ERP软件应用26，以便向客户端设备12和附带的GUI软件20和用户接口机制18提供业务功能。
***10和附带的体系架构适于使讲话的使用能够完成企业任务(例如，CRM机会管理)并且使变化的语言结构和词汇表的使用能够在基于对话的接口中完成企业任务。经GUI软件20和附带的触摸显示器18呈现的、基于对话的接口还适于把常规的用户接口功能(例如，用于经触摸手势、鼠标光标等从一个或多个列表选择项的机制/功能)选择性地集成到会话流中。用户数据条目，诸如经触摸输入选自列表的选择，变成会话流的部分并且被可视地集成，以提供一致且直观的描述。
此外，服务器端软件30适于使得能够把单个用户提供的语句解析成数据，然后，数据被用来填充为实现企业动作而调用特定服务所需的多个表单字段和/或参数。此外，用户数据存储库38的使用基于不只是最近而是还有较旧的讲话输入和/或使用数据启用相对准确的用户意图预测或估计，即，用户试图实现什么。
应当指出，图1中所示的各个模块和模块分组仅仅是说明性的并且，在不背离本示教的范围的情况下，可以变化。例如，某些示为在客户端***12上运行的组件可以代替地在容纳ERP服务器***14的计算机或计算机集合上实现。此外，某些模块可以经单个机器实现或者可以跨网络分布。
能访问本示教的本领域技术人员可以采用很容易获得的技术来方便实现***10的实施例。例如，无需过度实验，涉及统一消息服务(UMS)、商业智能发布者(BIP)、附带的Web服务和API等等的使用的面向服务的体系架构(SOA)可以被用来方便实现本文所讨论的实施例。
此外，在不背离本示教的范围的情况下，各种模块可以从***10略去或者与其它模块组合。例如，在某些实现中，讲话/文本转换服务32不是在ERP服务器***14上实现；模块32-38当中的一个或多个可以在移动计算设备12或其它服务器或服务器集群上实现，等等。
图2是说明为了方便计算设备的自然语言控制而可以经图1的***10实现的示例子过程64-72的过程50的例子。示例过程50包括第一列62的各个步骤64-78，依赖于最初发生了什么或者在前一步骤中发生了什么，每个步骤可以通过执行相邻列52-60中所指示的一个或多个操作来实现。
例如，第一对话类型识别步骤64包括基于之前的自然语言输入，诸如讲话，确定对话类型。在本示例实施例中，对话类型包括查看(View)和创建对话(Create dialog)类型。一般而言，查看类型的会话流，即，对话，涉及用户请求查看企业数据，诸如关于客户、机会、约会、任务、交互、笔记等等的信息。如果与客户、约会等相关联的计算对象的数据被图1的***10检索，然后经其触摸显示器18显示，则说用户要查看客户、约会等等。
类似地，创建类型的对话涉及用户请求创建任务、约会、笔记或交互。应当指出，如果用户启动对用于任务、约会等等的计算对象的创建，然后分别利用与任务、约会等等相关联的数据填充计算对象，则说用户要创建任务、约会等等。
一般而言，当初始对话类型被识别为查看对话时，根据第一列62的步骤实现第一列52(由查看首部74识别)的一个或多个步骤。类似地，当初始对话类型被识别为创建对话时，根据第一列62的步骤执行创建部分(由创建首部76识别)的一个或多个步骤。在查看部分74或创建部分76的步骤根据第一列62的一个或多个对应步骤执行之后，数据或者在例如显示步骤70中被显示或者计算对象在例如创建步骤72中被创建。如果在任何时候，用户输入不被底层软件理解，则帮助菜单或其它用户接口显示屏可以自动显示。
参考图1和2，在第一示例操作场景中，对话类型识别步骤64利用问题和/或用户可选择的选项列表提示用户。然后，用户响应，例如，如经初始自然语言输入提供的，被用来确定对话类型。
例如，初始自然语言输入可以代表用户对最初由图1的***10在触摸显示器18上显示的询问“你有什么新的销售活动？”的提示(即，问题)的用户响应。示例用户响应可以是“查看我的约会”。
随后，执行字段确定步骤66。在本示例操作场景中，字段确定步骤66包括确定为检索用户指定的约会或约会集合以便经图1的触摸显示器18显示而调用Web服务所需的一个或多个参数。Web服务所需的任何缺省参数或字段可以经字段检索步骤68检索和/或计算。随后，显示步骤70涉及运行Web服务，以检索和显示指定的约会数据。
例如，用户可以通过说“创建约会”来对初始提示作出响应。然后，对话类型识别步骤64确定对话类型是创建约会(CreateAppointment)。
然后，后续的字段确定步骤66包括经会话流发布提示并与用户交互，以获得或以别的方式确定在创建会话列56中指示的参数，例如，主题、日期、客户和机会。
然后，后续的字段检索步骤68包括确定或得出约会时间、将在约会中涉及的参与者的指示，以及可以由图1的***10参考在之前的步骤中收集的或者参考图1的用户数据存储库38收集的现有数据来确定的任何其它字段。
在收集、确定或以别的方式检索出足够多参数以便调用约会创建Web服务之后，约会创建Web服务被调用，以完成约会计算对象的创建。
应当指出，虽然在图2中只指出了查看和创建对话类型，但是实施例不限于此。例如，在不背离本示教的范围的情况下，附加的或不同的对话类型及关联的企业动作可以根据过程50的一般结构来实现。此外，可以提供附加的功能性，诸如用于启用通过语音对机会字段值进行编辑的功能。
应当指出，一般而言，商业过程对话或会话流只需要捕捉关于为了实现与对话关联的企业动作而调用Web服务所需的必需字段，也称为参数，的最少量数据。如果数据不可用，则缺省的数据可以被用来加速该流程。
在以下更完全讨论的例子中，用来描绘对话的用户接口可以只示出对所需数据字段的泡泡问题(bubble question)。缺省字段可以在概述屏幕上显示。这可以允许将业务过程，诸如创建任务，与诸如给定客户或机会的高级业务对象关联。用户可以在数据提交到Web服务之前验证经对话提供的数据。参数可以经隐藏的表单维护，该隐藏的表单包括元数据和/或嵌入的宏，以方便完成表单的字段，其中字段代表在调用Web服务时要使用的参数，其中Web服务用来实现由用户经会话流指定的动作。
图3A说明了第一示例用户接口显示屏94，该显示屏可以经图1的***10实现，并且可以经其触摸屏18显示。说明会话流的第一示例部分96-98的用户接口显示屏94涉及使用语音输入来启动交互计算对象的创建，例如，根据图2的交互列60和对应的步骤64-72。
对于本讨论，交互可以是在两个或更多个商业实体或者其代表之间发生的任何行为或行为的描述(或者以别的方式作为参与者涉入该行为)。依赖于上下文，作为替代，交互可以指涉及在用户提供输入并从软件接收输入时，即，当用户与软件和附带的计算设备交互时，执行的一组行为的用户-软件交互。一般而言，本文所讨论的这种用户-软件交互涉及涉及自然语言的会话流，或者涉及自然语言输入和输出以及其它类型输入和输出的组合的混合会话流，其中其它类型的输入诸如通过对菜单应用触摸手势所提供的输入，如以下更完全讨论的。
对于本讨论，用户接口显示屏可以是在显示器，诸如触摸显示器18，上给出的任何软件生成的描绘。描绘的例子包括窗口、对话框、显示的表，以及任何其它图形用户接口特征，诸如经软件向用户给出的用户接口控制，诸如浏览器。用户接口显示屏可以包括各种图形描绘，包括可视化，诸如图、图表、线图(diagram)、表格，等等。
示例用户接口显示屏94包括各种用户接口控制，诸如分别用于复位会话流、访问帮助菜单或提供语音输入的复位图标102、帮助图标104以及点击并讲话按钮100。
对于本讨论，用户接口控制可以是用户接口显示屏的任何所显示元件或组件，这些元件或组件适于使用户能够提供输入、查看数据和/或以别的方式与用户接***互。用户接口控制的附加例子包括下拉菜单、菜单项、点击并保持功能(或者其它触摸手势)，等等。类似地，用户接口控制信号可以是作为对软件的输入而提供的任何信号，其中该输入影响用户接口显示屏和/或与软件关联的附带软件应用。
在本示例实施例中，用户通过讲出或录入指示用户刚举行了会议的语句来开始会话流96-98。这导致对应的输入文本96。然后，初始用户输入96被底层软件解析并分析，以确定对话类型是创建类型对话，并且更具体而言，对话将旨在创建用于Safeway客户的交互计算对象。因而，底层软件可以经用户语句96，诸如“刚与Safeway举行了会议。”，确定多个参数，例如，交互类型、描述、客户名，等等。
应当指出，参考预定的(例如，之前提供的)信息，例如，使用上下文，底层软件可以从措辞“刚与Safeway举行了会议”推断出“创建交互对话”意图。例如，诸如销售代表的用户可以在与客户的会议之后频繁地创建交互。由于底层软件能访问用户的使用历史并且可以解释术语“会议”，因此底层软件可以推断用户创建会议交互的意图。由此，这种理解/推断用户创建会议交互的意图的能力是基于会议后的上下文感知，这可以参考用户的使用历史来确定，例如，如经图1的用户数据存储库38所维护的。
通过提示用户提供关于任何缺失的参数或字段的信息，软件作出响应，例如，通过提供机会请求提示98，从而请用户从列表中选择机会。随后，可以显示具有用户可选择的选项的列表，如以下参考图3B更完全讨论的。
图3B说明了第二示例用户接口显示屏110，该显示屏给出了用户可选择的选项的列表112，用于***在图3A中启动的会话流。
在本示例实施例中，用户采用触摸手势，例如应用到触摸显示器18的点击手势，以便从列表112选择机会；具体而言，被称为Exadata Big Deal的机会。然后，选定机会的指示在机会请求提示98之后***图3A的会话流96-98，如图3C中所示。
图3C说明了第三示例用户接口显示屏120，该显示屏示出了经图3B的用户接口显示屏110所作的用户选择126的表示***在图3A中启动的会话流96-128。基于菜单的用户选择126表示为自然语言。
在用户选择126***之后，底层软件经细节请求提示128提示用户关于与机会Exadata Big Deal的用户交互的附加细节。然后，会话流继续，直到用户退出或恢复会话流或者直到所有参数，如图2的列60中所示的，都已获得，如调用Web服务或其它软件来实现图2的创建步骤72所需的。
由此，图3A-3C绘出了涉及自然语言输入、输出并且还包括除自然语言输入之外的用户输入，例如，经触摸输入提供的输入，的混合用户-软件交互。经触摸提供的输入(例如，指示Exadata BigDeal)集成到会话流96-98中，就好像它是经自然语言输入实现的。
这种混合功能可以方便复杂任务的实现，以别的方式，这是难以经自然语言单独实现的。但是，应当指出，在不背离本示教的范围的情况下，作为替代，用户可以经语音输入指示“Exadata BigDeal”，例如，通过按下点击并讲话按钮100并且对移动计算设备12讲话。此外，机会信息可以最初由用户提供，由此避免显示图3B的列表112的需求。
图4说明了第四示例用户接口显示屏140，该显示屏示出了用来创建交互计算对象的备选示例会话流142-152。
在图4中，底层软件经第一提示142提示用户指示关于销售活动的信息。在第一用户响应144中，用户请求创建用于Cisco的交互144，由此同时暗示用户要创建用于客户Cisco的交互计算对象。
第二***提示146要求用户指定机会。在第二用户响应148中，用户通过例如提供语音输入来指示机会被称为“商业智能ABC”。第三***提示150要求关于“商业智能ABC”的附加细节。
在第三用户响应152中，用户提供代表要包括在用于客户“Cisco”的类型为“交互”的计算对象和机会“商业智能ABC”中的附加细节的语音或其它文字输入。在第三用户响应152中提供的数据可以与所创建的计算对象相关联地存储。
图5A说明了第五示例用户接口显示屏160，该显示屏示出了用来创建任务计算对象的会话流的第一部分162-172。会话流162-172由例如图1的虚拟辅助服务模块34指引，以根据图2过程50的对应步骤64-68获得图2的任务创建列54中识别的参数。
响应于询问用户有什么新的销售活动的第一***提示162，用户随后请求经创建任务请求164创建任务。***使用用户输入164来确定对话具有类型“创建”，并且具体而言，对话将被用来创建任务计算对象。这种信息可以在底层表单字段中被存储为一个或多个参数，为表单向任务创建Web服务的提交作准备。
通过询问客户是谁的***响应是经客户请求提示166的。用户响应168指示客户是Cisco。
然后，***利用机会请求步骤170作出响应，从而要求用户选择机会。用户通过在机会识别步骤172中指示机会是“商业智能ABC机会”来作出响应。应当指出，在不背离本示教的范围的情况下，可用机会的中间列表可以被显示，由此用户可以从列表，例如图3B的列表112，选择机会。
图5B说明了第六示例用户接口显示屏180，该显示屏说明了在5A中启动的会话流162-172的第二部分182-188。
在用户识别出与任务关联的机会之后，***经任务请求提示182提示用户关于任务的信息。用户经任务指示响应184对“向Bob发送样张”作出响应。
然后，***经到期日期请求提示186提示用户指定任务的到期日期。用户经到期日期是“周五”的到期日期指示响应188作出响应。图5A-5B的各种用户响应168、172、184、188可以代表参数或表单字段，底层***存储这些字段并且把它们转发到适当的任务创建Web服务，例如，如经图1的服务器端软件30所维护的。
图6A说明了第七示例用户接口显示屏190，该显示屏示出了用来创建约会计算对象的会话流的第一部分192-202。会话流192-202由例如图1的虚拟辅助服务模块34指引，以便根据图2的过程50的对应步骤64-68获得在图2的约会创建列56中识别的参数。
响应于询问用户有什么新的销售活动的第一***提示192，用户随后请求经创建约会请求194创建会议，这被解释为指“约会”。***使用用户输入194来确定对话具有类型“创建”，并且具体而言，对话将被用来创建约会计算对象。
通过询问客户是谁的***响应是经随后的客户请求提示196。用户的客户指示响应198指示客户是Cisco。
然后，***利用后续的机会请求步骤200作出响应，从而要求用户选择机会。用户通过在后续的机会识别提示202中指示机会是“商业智能ABC机会”作出响应。应当指出，在不背离本示教的范围的情况下，可用机会的中间列表可以被显示，由此用户可以从列表，例如图3B的列表112，选择机会。
图6B说明了第八示例用户接口显示屏210，该显示屏示出了在图6A中启动的会话流192-202的第二部分212-218。
在用户识别出与约会，例如会议，关联的机会之后，***经约会请求提示212提示用户关于约会的信息。用户经约会关于“BI深潜(deep dive)”的约会指示响应214作出响应。
然后，***经日期请求提示216提示用户指定约会日期。用户经约会日期是“下周二”的日期指示响应218作出响应。图6A-6B的各种用户响应198、202、214、218可以代表参数或表单字段，底层***存储这些字段并且把它们转发到适当的约会创建Web服务，例如，如经图1的服务器端软件30维护的。
图7说明了第九示例用户接口显示屏220，该显示屏示出了用来创建约会计算对象的备选示例会话流222-232，其中单个自然语言输入语句224被底层软件用来填充用来创建约会计算对象的多个参数(例如，对话类型、客户名以及日期)。
响应于询问用户有什么新的销售活动的第一***提示222，用户随后请求经初始输入语句224排定下周二与客户Cisco的约会。
***使用用户输入224来确定对话具有类型“创建”，并且具体而言，该对话将被用来创建约会计算对象，该计算对象的特征在于下周二的日期参数。这个信息可以被存储为底层表单字段中的一个或多个参数，为表单向约会创建Web服务的提交作准备。
调用约会创建Web服务所需的任何附加信息，例如参数，由底层***通过发布附加的用户提示获得。例如，***随后经机会请求提示226提示用户指定机会。用户可以从列表选择机会，或者作为替代，提供指示机会是例如“商业智能ABC机会”228的语音输入。
后续的约会请求提示212提示用户关于约会的信息。用户通过指示约会是关于“BI深潜”232来作出响应。
图8A说明了第十示例用户接口显示屏240，该显示屏示出了用来创建笔记计算对象的会话流242-252的第一部分。会话流242-252由例如图1的虚拟辅助服务模块34指引，以便根据图2的过程50的对应步骤64-68获得在图2的笔记创建列58中识别的参数。
响应于询问用户有什么新的销售活动的第一***提示192，用户随后经笔记创建请求244请求创建笔记。***使用用户输入244确定对话具有类型“创建”，并且具体而言，对话将被用来创建笔记计算对象。
通过询问客户是谁的***响应是经后续的客户请求提示246。用户的客户指示响应248指示客户是ACME公司。
然后，***利用后续的机会请求提示250作出响应，从而要求用户选择机会。用户通过在后续的机会识别步骤252中指示机会是“商业智能ABC机会”来作出响应。应当指出，在不背离本示教的范围的情况下，可用机会的中间列表可以显示，由此用户可以从列表，例如图3B的列表112，选择机会。
图8B说明了第十一示例用户接口显示屏260，该显示屏示出了在图8A中启动的会话流242-252的第二部分262-264。
在用户识别出与笔记关联的机会之后，***经笔记细节请求提示262提示用户关于笔记的信息。通过讲出、录入或以别的方式输入笔记，例如“Maria有两个儿子……”，用户经笔记指示响应264作出响应。
然后，***经日期请求提示216提示用户指定约会日期。用户经约会日期是“下周二”的日期指示响应218作出响应。图6A-6B的各种用户响应198、202、214、218可以代表参数或表单字段，底层***存储这些字段并且把它们转发到适当的约会创建Web服务，例如，如经图1的服务器端软件30维护的。
图9A说明了第十二示例用户接口显示屏270，该显示屏示出了用来查看与经自然语言输入指定的特定机会计算对象关联的数据的示例会话流272-276。会话流272-276由例如图1的虚拟辅助服务模块34指引，以便根据图2的过程50的对应步骤64-68获得在图2的查看列52中识别的参数。
响应于询问用户有什么新的销售活动的第一***提示272，用户随后经查看请求响应274请求查看对于客户Cisco的机会。***使用用户输入244确定对话具有类型“查看”，并且具体而言，对话将被用来查看机会。附加的客户参数，即，“Cisco”，经用户输入274提供。
***从用户输入“显示我的机会……”274确定用户请求查看用于客户Cisco的所有机会。因而，***具有足够多的参数来调用Web服务，以检索并显示用户的Cisco机会计算对象(例如，从图1的一个或多个数据库26)。然后，用户的Cisco机会在随后显示的机会列表276中被指示，即，列出，该列表集成到会话流272-276中并且可以经自然语言或者经代表用户之前存储的Cisco机会的其它指示器或图标给出。
图9B说明了第十三示例用户接口显示屏，该显示屏示出了用来查看识别所有用户机会计算对象的列表的示例会话流。会话流282-286由例如图1的虚拟辅助服务模块34指引，以便根据图2的过程50的对应步骤64-68获得在图2的查看列52中识别的参数。
响应于询问用户有什么新的销售活动的第一***提示282，用户随后请求查看指示“示出所有我的机会”的所有机会响应284。***使用用户输入284确定对话具有类型“查看”，并且具体而言，对话将被用来查看用户的所有机会。
现在***具有足够多的参数来调用Web服务，以检索并显示用户的所有机会计算对象(例如，从图1的一个或多个数据库26)。然后，用户的机会在随后显示的机会列表286中被指示，即，列出，该列表集成到会话流282-286中并且可以经自然语言或者经代表用户之前存储的机会的其它指示器或图标给出。
图10说明了第十四示例用户接口显示屏290，该显示屏示出了指示可以响应于自然语言输入和/或自然语言输入和其它输入的组合而经底层软件实现的各种示例企业动作294的示例帮助菜单292。帮助菜单292可以响应于用户对帮助按钮104的选择或者响应于用户讲出词“帮助”而被显示。作为替代，指示要说什么的项的列表294可以包括在当运行底层软件时呈现给用户的初始菜单中，如以下参考图11A-11B更完全讨论的。
列表294可以代表用户可以说出或讲出以便启动一个或多个对应企业动作的执行的事件列表。例子包括“创建约会”、“创建交互”、“创建笔记”等等，如在帮助菜单292中所指示的。
图11A说明了第十五示例用户接口显示屏300，其中，代替在帮助菜单中显示(或者附加地)，各种语音可激活的用户选项306在初始菜单304中显示。菜单304可以结合要求用户指定关于用户销售活动的信息的初始***提示302显示。
示例用户选项306可以代表关于用户可以说什么的两种建议并且可以包括用户可以选择以便启动特定类型的对话的用户可选择图标。在某些实施例中，菜单的各种实例可以在会话流的不同部分发生，以方便通知用户关于***可以理解什么。但是，应当指出，***可以使用自然语言处理算法根据与菜单304中列出的项306不同的口语理解或估计意图。
为了说明，备选的点击并讲话按钮308和软键盘激活按钮310示为使用户能够分别讲出或录入用户输入。
图11B说明了第十六示例用户接口显示屏320，其中各种语音可激活的用户选项326在第二示例菜单324中显示，该菜单已经根据会话流的当前上下文进行了调整。
在本示例实施例中，***经后续行动请求提示322提示用户指定关于后续行动的信息。附带的菜单324提供关于用户可以说或者以别的方式输入什么的示例建议326，以方便继续当前的会话流。
图12是适于与图1-11B的实施例一起使用的第一示例方法330的流程图。示例方法330关于混合会话流的使用，其中混合会话流包括自然语言输入以及触摸屏输入或集成到会话流中的其它输入。
示例方法330包括第一步332，该步骤涉及接收由用户提供的自然语言输入。
第二步334包括在经用户接口显示屏说明的会话流中显示代表自然语言输入的电子文本。
第三步336包括解释自然语言输入并且确定代表其的命令。
第四步338包括采用该命令来确定并显示第一提示，该第一提示与一个或多个用户可选择的项的预定集合关联。
第五步340包括提供指示对第一提示作出响应的用户选择的第一用户选项。
第六步342包括在会话流中***用户选择的表示。
应当指出，在不背离本示教的范围的情况下，方法330可以利用附加的步骤增强，和/或某些步骤可以被略去。例如，方法330还可以包括经输入机制，例如应用到用户可选择的项的列表的触摸输入，实现第一用户选项，这不涉及直接的自然语言输入。
作为另一个例子，第一步332还可以包括把自然语言输入解析为一个或多个名词和一个或多个动词；基于这一个或多个名词或者一个或多个动词，确定要与自然语言输入关联的交互类型；确定自然语言输入的一个或多个附加属性；以及采用所述交互类型和一个或多个附加属性(例如，元数据)来确定要与自然语言输入关联的后续提示或者软件动作或命令，等等。
图13是经存储参数的表单和附带元数据的使用来方便实现图1-12实施例的第二示例方法350的流程图，其中参数被软件用来实现一个或多个企业动作。在本示例实施例中，为交互收集的数据被用来填充表单，该表单提交给服务器，以完成企业操作。用户接口会话流可以循环通过一系列问题，直到表单利用足够多的输入数据、检索出的数据和/或预先存在的缺省数据填充，以实现企业操作/动作或数据检索动作。
示例方法350包括初始输入接收步骤352，该步骤涉及接收用户输入，例如，经自然语言(讲话或文本)。输入接收步骤352可以包括附加的步骤，诸如发布一个或多个提示、显示一个或多个用户可选择的菜单项，等等。
随后，操作识别步骤354包括识别关于在输入接收步骤352中接收的用户输入的一个或多个企业操作。
后续可选的输入确定步骤356包括，依赖于要执行的操作，如在操作识别步骤354中所确定的，如果需要就提示用户附加的输入。
接下来，表单检索步骤358涉及检索将存储调用Web服务以实现一个或多个之前确定的操作所需信息的表单和附带的元数据。
随后，执行一系列表单填充步骤360-368，直到所有必需的数据都输入到适当的表单字段。表单填充步骤包括在表单字段识别步骤360中确定未填充的表单字段；在提示步骤362中，基于元数据提示用户输入并且检索表单字段输入；在自动填充步骤364中，可选地基于对给定表单字段的用户输入利用元数据填充附加的表单字段；以及在字段设置步骤366中，基于所确定的表单字段信息设置表单字段值。
字段检查步骤368包括确定是否所有必需的表单字段都已经填充，即，关联的参数已经输入或以别的方式确定。如果存在未填充的表单字段，则控制传递回表单字段识别步骤360。否则，控制传递到后续的表单提交步骤370。
应当指出，在某些情况下，软件可以响应于指定几个参数的口头语句同时填充多个表单字段，例如，如上所述。此外，关于一个字段(例如，客户名)的信息可以被底层软件用来，例如参考元数据，填充另一字段(例如，客户标识号)。
在某些实施例中，元数据可以与特定的表单字段关联。例如，元数据可以指定对表单字段的输入包括与另一机会标识号字段关联的机会名。因而，在指定机会名信息时，软件可以引用元数据并启动基于所输入的机会名从数据库检索机会标识号信息的动作。该动作还可以填充其它表单字段，为把表单提交到服务器端处理软件作准备。
在填充表单字段之后，实现表单提交步骤370。表单提交步骤370包括把填充好的表单和/或在其中指定的数据提交到Web服务或其它软件，以方便实现所识别的操作。
接下来，可选的上下文设置步骤372可以向底层软件提供上下文信息，以方便解释后续的用户输入，例如命令、请求等等。
随后，可以执行可选的后续行动操作启动步骤374。可选的后续行动操作启动步骤374可以涉及基于步骤352-372中一个或多个的结果触发不同软件中的操作。
例如，底层软件可以基于来自本软件的输出与其它软件，例如人力资源(HR)软件，通信，以触发其中的动作。例如，在用户输入假期的请求时，信号可以发送到HR应用，以通知该用户的主管有请求挂起；周期性地提示HR主管，等等。
接下来，中断检查步骤376包括，如果检测到***中断(例如，如果用户退出底层软件、关闭移动计算设备，等等)就退出方法350，或者把控制传递回输入接收步骤352。
虽然本文已经主要参考经面向服务的体系架构(SOA)实现的自然语言处理软件讨论了某些实施例，其中SOA涉及在客户端和服务器***上运行的软件，但是实施例不限于此。例如，本文所讨论的各种方法可以在单个计算机上实现。此外，方法可以涉及除说话声音之外的输入，例如，经文本消息、电子邮件等提供的输入，可以被用来实现根据本文所讨论的实施例的会话流。
任何合适的编程语言都可以被用来实现特定实施例的例程，包括C、C++、Java、汇编语言等。不同的编程技术可以被采用，诸如过程性的或者面向对象的。例程可以在单个处理设备或多个处理器上执行。虽然步骤、操作或计算可以以特定次序给出，但是这种次序可以在不同的特定实施例中改变。在一些特定的实施例中，在本说明书中顺序示出的多个步骤可以同时执行。
特定的实施例可以在由指令执行***、装置、***或设备使用或与其结合使用的计算机可读存储介质中实现。特定的实施例可以在软件或硬件或者这二者的组合中以控制逻辑的形式实现。当被一个或多个处理器执行时，控制逻辑可***作为执行在特定实施例中所描述的动作。
特定的实施例可以通过使用编程的通用数字计算机、通过使用专用集成电路、可编程逻辑设备、现场可编程门阵列、光学、化学、生物、量子或纳米工程***、组件和机制来实现。一般而言，特定实施例的功能可以通过如本领域已知的任何手段来实现。可以使用分布式联网***、组件和/或电路。数据的通信，或传送，可以是有线的、无线的，或者通过任何其它手段。
还应当认识到，如根据特定应用是有用的，附图/图示中描绘的一个或多个元件也可以以更分离或集成的方式实现，或者甚至在某些情况下被移除或使其不可操作。实现可存储在机器可读介质中以允许计算机执行上述任何方法的程序或代码也在所述精神和范围之内。
如在本文的描述中以及贯穿随后的权利要求所使用的，除非上下文另有明确说明，否则“一”、“一个”和“该”包括复数的所指对象。而且，如在本文的描述中以及贯穿随后的权利要求所使用的，除非上下文另有明确说明，否则“在……中”的含义包括“在……中”和“在……上”。
因此，虽然已经描述了特定的实施例，但是在前述公开内容中预期修改、各种改变和替换的活动余地(latitude)，并且应当认识到，在不背离所阐述范围和精神的情况下，在一些情况下，特定实施例的一些特征将在没有其它特征的对应使用的情况下被采用。因此，可以做出许多修改，以便使特定的情形或材料适应本质范围和精神。

Claims (20)

1.一种方便用户访问软件功能的方法，该方法包括：
接收第一自然语言输入；
在经用户接口显示屏说明的会话流中显示代表第一自然语言输入的电子文本；
解释自然语言输入并确定代表其的命令；
采用该命令来确定并显示第一提示，第一提示与一个或多个用户可选择的项的预定集合关联；
响应于第一提示，提供指示用户选择的第一用户选项；及
在会话流中***用户选择的表示。
2.如权利要求1所述的方法，其中所述提供包括经适于接收除自然语言之外的输入的输入机制提供指示用户选择的第一用户选项。
3.如权利要求2所述的方法，其中输入机制包括应用到用户可选择的项的所显示列表的触摸输入。
4.如权利要求2所述的方法，其中用户选择的表示包括在代表第一自然语言输入的电子文本之后***的电子文本。
5.如权利要求1所述的方法，其中所述提供包括经包括自然语言输入的输入机制提供指示用户选择的第一用户选项。
6.如权利要求1所述的方法，还包括显示在用户选择的表示之后插在会话流中的第二提示，并且响应于经第二自然语言输入的第二提示而提供第二用户选项，以提供用户输入，并且在第二提示之后把第二自然语言输入的表示***会话流。
7.如权利要求1所述的方法，其中所述解释还包括确定命令代表查看数据的请求，并且还包括确定用户请求查看的数据的类型，并且响应于此而显示所请求的数据的表示。
8.如权利要求7所述的方法，其中数据的类型包括关于客户以及机会、约会、任务、交互或笔记的数据。
9.如权利要求1所述的方法，其中所述解释还包括确定用户命令代表创建计算对象的请求，其中计算对象包括关于任务、约会、笔记或交互的数据。
10.如权利要求1所述的方法，其中所述解释包括引用用户数据的存储库，包括之前被用户采用的讲话词汇表，以方便估计由第一自然语言输入表示的用户意图。
11.如权利要求10所述的方法，其中所述采用包括引用之前访问过的计算对象，以方便确定提示。
12.如权利要求1所述的方法，其中用户选择识别要创建的计算对象或者其数据要被显示的计算对象，其中计算对象经企业资源计划(ERP)***维护。
13.如权利要求12所述的方法，还包括提供一个或多个附加提示，所述附加提示适于向用户询问指定要输入到为了创建计算对象而被调用的Web服务的一个或多个参数的输入。
14.如权利要求13所述的方法，还包括采用一个或多个ERP服务器来提供Web服务并且采用客户端计算机来显示会话流并接收自然语言输入。
15.如权利要求14所述的方法，其中该方法还包括从服务器向移动计算设备提供元数据，以调整经移动计算设备说明的用户接口显示屏。
16.如权利要求1所述的方法，还包括基于自然语言输入把一个或多个Web服务与会话流关联，并且其中提示包括一个或多个问题，对这些问题的响应代表提供识别要包括在一个或多个Web服务请求中的一个或多个参数的回答的用户选择。
17.如权利要求16所述的方法，其中所述一个或多个参数包括客户标识号、机会标识号或者交互类型的指示。
18.如权利要求1所述的方法，还包括：
基于第一自然语言用户输入确定经会话流实现的交互的类型；
确定适用于该交互类型的表单，其中表单与特征化该表单的一个或多个字段或者其数据的可更新元数据关联；
响应于对一个或多个提示作出响应的用户输入并且基于表单和关联的元数据，确定一个或多个用户提示在会话流中经客户端设备显示；
利用基于对一个或多个提示作出响应的用户输入的数据和基于元数据自动生成的表单输入来填充表单；及
从表单向适于实现与所述交互类型关联的动作的软件输入数据。
19.一种装置，包括：
数字处理器，耦合到显示器并耦合到处理器可读的存储设备，其中处理器可读的存储设备包括可由数字处理器执行的一条或多条指令，以执行以下动作：
接收自然语言输入；
在经用户接口显示屏说明的会话流中显示代表自然语言输入的电子文本；
解释自然语言输入并确定代表其的命令；
采用该命令来确定并显示提示，该提示与一个或多个用户可选择的项的预定集合关联；
响应于该提示，提供指示用户选择的第一用户选项；及
在会话流中***用户选择的表示。
20.一种包括可由数字处理器执行的指令的处理器可读存储设备，处理器可读存储设备包括一条或多条指令，用于：
接收自然语言输入；
在经用户接口显示屏说明的会话流中显示代表自然语言输入的电子文本；
解释自然语言输入并确定代表其的命令；
采用该命令来确定并显示提示，该提示与一个或多个用户可选择的项的预定集合关联；
响应于该提示，提供指示用户选择的第一用户选项；及
在会话流中***用户选择的表示。
CN201380049803.XA 2012-09-28 2013-09-26 访问软件功能的*** Pending CN104662567A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261707353P 2012-09-28 2012-09-28
US61/707,353 2012-09-28
US13/842,982 2013-03-15
US13/842,982 US20140115456A1 (en) 2012-09-28 2013-03-15 System for accessing software functionality
PCT/US2013/061930 WO2014052598A1 (en) 2012-09-28 2013-09-26 System for accessing software functionality

Publications (1)

Publication Number Publication Date
CN104662567A true CN104662567A (zh) 2015-05-27

Family

ID=49354920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049803.XA Pending CN104662567A (zh) 2012-09-28 2013-09-26 访问软件功能的***

Country Status (4)

Country Link
US (1) US20140115456A1 (zh)
EP (1) EP2901383A1 (zh)
CN (1) CN104662567A (zh)
WO (1) WO2014052598A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183300A (zh) * 2015-09-29 2015-12-23 Tcl集团股份有限公司 基于触摸屏的人机交互方法及装置
CN108369514A (zh) * 2015-07-31 2018-08-03 慧咨环球有限公司 用于可执行内容和可执行内容流创建的***和方法
CN109002465A (zh) * 2017-06-06 2018-12-14 万事达卡国际公司 用于具有智能众包选项的对话输入设备的方法和***
CN112262368A (zh) * 2018-03-13 2021-01-22 微软技术许可有限责任公司 自然语言到api转换

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176827B2 (en) 2008-01-15 2019-01-08 Verint Americas Inc. Active lab
US10489434B2 (en) 2008-12-12 2019-11-26 Verint Americas Inc. Leveraging concepts with information retrieval techniques and knowledge bases
US8943094B2 (en) 2009-09-22 2015-01-27 Next It Corporation Apparatus, system, and method for natural language processing
US9122744B2 (en) 2010-10-11 2015-09-01 Next It Corporation System and method for providing distributed intelligent assistance
US9836177B2 (en) 2011-12-30 2017-12-05 Next IT Innovation Labs, LLC Providing variable responses in a virtual-assistant environment
US9223537B2 (en) 2012-04-18 2015-12-29 Next It Corporation Conversation user interface
US9536049B2 (en) 2012-09-07 2017-01-03 Next It Corporation Conversational virtual healthcare assistant
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9229680B2 (en) 2013-09-20 2016-01-05 Oracle International Corporation Enhanced voice command of computing devices
US10055681B2 (en) * 2013-10-31 2018-08-21 Verint Americas Inc. Mapping actions and objects to tasks
US9823811B2 (en) 2013-12-31 2017-11-21 Next It Corporation Virtual assistant team identification
US10846112B2 (en) 2014-01-16 2020-11-24 Symmpl, Inc. System and method of guiding a user in utilizing functions and features of a computer based device
US20150286486A1 (en) * 2014-01-16 2015-10-08 Symmpl, Inc. System and method of guiding a user in utilizing functions and features of a computer-based device
US20160071517A1 (en) 2014-09-09 2016-03-10 Next It Corporation Evaluating Conversation Data based on Risk Factors
US9904450B2 (en) 2014-12-19 2018-02-27 At&T Intellectual Property I, L.P. System and method for creating and sharing plans through multimodal dialog
US10671954B2 (en) * 2015-02-23 2020-06-02 Google Llc Selective reminders to complete interrupted tasks
US10831811B2 (en) * 2015-12-01 2020-11-10 Oracle International Corporation Resolution of ambiguous and implicit references using contextual information
KR20170088691A (ko) * 2016-01-25 2017-08-02 엘지전자 주식회사 페어링된 장치, 알림 및 어플리케이션의 제어에 관한 한 손 조작 모드를 적용한 이동 통신 단말기
US10409550B2 (en) 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US10417021B2 (en) * 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
US11089132B2 (en) 2016-03-29 2021-08-10 Microsoft Technology Licensing, Llc Extensibility for context-aware digital personal assistant
US11340925B2 (en) 2017-05-18 2022-05-24 Peloton Interactive Inc. Action recipes for a crowdsourced digital assistant system
US10838746B2 (en) 2017-05-18 2020-11-17 Aiqudo, Inc. Identifying parameter values and determining features for boosting rankings of relevant distributable digital assistant operations
US11520610B2 (en) 2017-05-18 2022-12-06 Peloton Interactive Inc. Crowdsourced on-boarding of digital assistant operations
US11043206B2 (en) 2017-05-18 2021-06-22 Aiqudo, Inc. Systems and methods for crowdsourced actions and commands
US11056105B2 (en) * 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
US11269938B2 (en) * 2017-06-21 2022-03-08 Salesforce.Com, Inc. Database systems and methods for conversational database interaction
US11494395B2 (en) * 2017-07-31 2022-11-08 Splunk Inc. Creating dashboards for viewing data in a data storage system based on natural language requests
US10579641B2 (en) * 2017-08-01 2020-03-03 Salesforce.Com, Inc. Facilitating mobile device interaction with an enterprise database system
WO2019087194A1 (en) * 2017-11-05 2019-05-09 Walkme Ltd. Chat-based application interface for automation
US20190213242A1 (en) * 2018-01-11 2019-07-11 Microsoft Technology Licensing, Llc Techniques for auto-populating form input fields of an application
WO2019152511A1 (en) 2018-01-30 2019-08-08 Aiqudo, Inc. Personalized digital assistant device and related methods
US10991369B1 (en) * 2018-01-31 2021-04-27 Progress Software Corporation Cognitive flow
WO2019155717A1 (ja) * 2018-02-09 2019-08-15 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7290154B2 (ja) * 2018-07-31 2023-06-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US11500655B2 (en) 2018-08-22 2022-11-15 Microstrategy Incorporated Inline and contextual delivery of database content
US11714955B2 (en) 2018-08-22 2023-08-01 Microstrategy Incorporated Dynamic document annotations
US11568175B2 (en) 2018-09-07 2023-01-31 Verint Americas Inc. Dynamic intent classification based on environment variables
US11232264B2 (en) 2018-10-19 2022-01-25 Verint Americas Inc. Natural language processing with non-ontological hierarchy models
US11196863B2 (en) 2018-10-24 2021-12-07 Verint Americas Inc. Method and system for virtual assistant conversations
US11682390B2 (en) * 2019-02-06 2023-06-20 Microstrategy Incorporated Interactive interface for analytics
CN111552794B (zh) * 2020-05-13 2023-09-19 海信电子科技(武汉)有限公司 提示语生成方法、装置、设备和存储介质
US11972280B2 (en) * 2022-01-28 2024-04-30 Intuit Inc. Graphical user interface for conversational task completion
US12007870B1 (en) 2022-11-03 2024-06-11 Vignet Incorporated Monitoring and adjusting data collection from remote participants for health research
US11790107B1 (en) 2022-11-03 2023-10-17 Vignet Incorporated Data sharing platform for researchers conducting clinical trials

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1313972A (zh) * 1998-08-24 2001-09-19 Bcl计算机有限公司 自适应的自然语言接口
JP2004133495A (ja) * 2002-10-08 2004-04-30 Nec Fielding Ltd ヘルプデスクシステム
CN1926515A (zh) * 2004-03-11 2007-03-07 国际商业机器公司 用于业务过程的普及的***和方法
CN101017428A (zh) * 2006-12-22 2007-08-15 广东电子工业研究院有限公司 一种嵌入式语音交互装置及交互方法
US7921156B1 (en) * 2010-08-05 2011-04-05 Solariat, Inc. Methods and apparatus for inserting content into conversations in on-line and digital environments
WO2011088053A2 (en) * 2010-01-18 2011-07-21 Apple Inc. Intelligent automated assistant

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6636831B1 (en) * 1999-04-09 2003-10-21 Inroad, Inc. System and process for voice-controlled information retrieval
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20100077085A1 (en) * 2009-09-23 2010-03-25 Joseph Chyam Cohen Systems and method for configuring display resolution in a terminal server environment
US20120209586A1 (en) * 2011-02-16 2012-08-16 Salesforce.Com, Inc. Contextual Demonstration of Applications Hosted on Multi-Tenant Database Systems
US8935806B2 (en) * 2011-07-13 2015-01-13 Salesforce.Com, Inc. Mechanism for facilitating management of data in an on-demand services environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1313972A (zh) * 1998-08-24 2001-09-19 Bcl计算机有限公司 自适应的自然语言接口
JP2004133495A (ja) * 2002-10-08 2004-04-30 Nec Fielding Ltd ヘルプデスクシステム
CN1926515A (zh) * 2004-03-11 2007-03-07 国际商业机器公司 用于业务过程的普及的***和方法
CN101017428A (zh) * 2006-12-22 2007-08-15 广东电子工业研究院有限公司 一种嵌入式语音交互装置及交互方法
WO2011088053A2 (en) * 2010-01-18 2011-07-21 Apple Inc. Intelligent automated assistant
US7921156B1 (en) * 2010-08-05 2011-04-05 Solariat, Inc. Methods and apparatus for inserting content into conversations in on-line and digital environments

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369514A (zh) * 2015-07-31 2018-08-03 慧咨环球有限公司 用于可执行内容和可执行内容流创建的***和方法
CN108369514B (zh) * 2015-07-31 2023-01-06 慧咨环球有限公司 用于可执行内容和可执行内容流创建的***和方法
CN105183300A (zh) * 2015-09-29 2015-12-23 Tcl集团股份有限公司 基于触摸屏的人机交互方法及装置
CN105183300B (zh) * 2015-09-29 2019-08-27 Tcl集团股份有限公司 基于触摸屏的人机交互方法及装置
CN109002465A (zh) * 2017-06-06 2018-12-14 万事达卡国际公司 用于具有智能众包选项的对话输入设备的方法和***
CN109002465B (zh) * 2017-06-06 2022-03-22 万事达卡国际公司 用于具有智能众包选项的对话输入设备的方法和***
US11537644B2 (en) 2017-06-06 2022-12-27 Mastercard International Incorporated Method and system for conversational input device with intelligent crowd-sourced options
CN112262368A (zh) * 2018-03-13 2021-01-22 微软技术许可有限责任公司 自然语言到api转换

Also Published As

Publication number Publication date
EP2901383A1 (en) 2015-08-05
US20140115456A1 (en) 2014-04-24
WO2014052598A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
CN104662567A (zh) 访问软件功能的***
CN110610240B (zh) 基于人工智能的虚拟自动化辅助
US11223584B2 (en) Automatic action responses
Whittaker et al. Let's stop pushing the envelope and start addressing it: a reference task agenda for HCI
US10095471B2 (en) Context aware voice interface for computing devices
US7925985B2 (en) Methods and apparatus for process thumbnail view
US9576263B2 (en) Contextualized report building
WO2021201982A1 (en) Automating tasks for a user across their mobile applications
US20060090071A1 (en) Systems and methods for project management
US20060294509A1 (en) Dynamic user experience with semantic rich objects
CN112136124A (zh) 用于与计算机实现的自动助理进行人机对话会话的依赖图谈话建模
CN108292383B (zh) 与通信相关联的任务的自动提取
US20180314532A1 (en) Organizing messages exchanged in human-to-computer dialogs with automated assistants
CN112639827A (zh) 从计算应用自动地生成对话式服务
US20160125527A1 (en) Financial Information Management System and User Interface
US20070027909A1 (en) Methods and apparatus for comparison of projects
US7783574B2 (en) Shared information notation and tracking
US10432700B2 (en) Conversation connected visualization of items based on a user created list
US20220350858A1 (en) Web task automation with vectorization
Shaikh et al. Comprehensive understanding of intelligent user interfaces
Zaguia et al. Using multimodal fusion in accessing web services
US20220350860A1 (en) Web task automation
US20240242158A1 (en) Digital employee experience improvement based on de-identified productivity data signals
Pribeanu Task modeling for user interface design: a layered approach
Bolle et al. Automated Usage Tracing and Analysis: a comparison with web survey

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150527

WD01 Invention patent application deemed withdrawn after publication