CN100339885C - 智能个人助理 - Google Patents

智能个人助理 Download PDF

Info

Publication number
CN100339885C
CN100339885C CNB038070065A CN03807006A CN100339885C CN 100339885 C CN100339885 C CN 100339885C CN B038070065 A CNB038070065 A CN B038070065A CN 03807006 A CN03807006 A CN 03807006A CN 100339885 C CN100339885 C CN 100339885C
Authority
CN
China
Prior art keywords
user
information
disposed
intelligent
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB038070065A
Other languages
English (en)
Other versions
CN1643575A (zh
Inventor
龚立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAP SE
Original Assignee
SAP SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/134,679 external-priority patent/US20030163311A1/en
Priority claimed from US10/158,213 external-priority patent/US20030167167A1/en
Application filed by SAP SE filed Critical SAP SE
Publication of CN1643575A publication Critical patent/CN1643575A/zh
Application granted granted Critical
Publication of CN100339885C publication Critical patent/CN100339885C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种智能社交代理，是一种具有社交智能的动画的计算机接口代理，其被开发用于给定应用或应用类型和特定用户群。代理的社交智能来自于与用户交互时代理是吸引人的、有情感的、适配的和适合的能力。智能个人助理是智能社交代理的一种实现，其辅助用户操作计算设备和使用计算设备上的应用程序。

Description

智能个人助理
技术领域
本发明涉及开发和使用计算机接口代理以辅助计算机***用户的技术。
背景技术
计算机***可用于完成许多任务。计算机***的用户可通过提供信息给用户或为用户执行服务的计算机接口代理来辅助。
发明内容
在总的一方面，实现一种智能个人助理包括：接收与用户关联的输入和与应用程序关联的输入；访问与用户关联的用户简表。从接收的输入提取环境信息；以及处理环境信息和用户简表，以由智能个人助理产生适配的响应。
各实现可包括下面一个或多个特征。例如，应用程序可以是个人信息管理应用程序、操作计算设备的应用程序、娱乐应用程序或游戏。
智能个人助理的适配响应可关联于个人信息管理应用程序、操作计算设备的应用程序、娱乐应用程序或游戏。
在总的另一方面，一种实现智能社交代理的装置包括信息提取器、适配引擎和输出产生器。信息提取器配置于：访问与用户关联的用户简表，接收与用户关联的输入，和从接收的输入提取环境信息。适配引擎配置于：从信息提取器接收环境信息和用户简表，并且处理环境信息和用户简表，以产生适配的输出。输出产生器配置于：接收适配的输出，并且表示智能社交代理中的适配的输出。
各实现可包括上述一个或多个特征和下面一个或多个特征。例如，信息提取器可以配置于接收与用户关联的生理数据或应用程序信息。信息提取器可以配置于：从与用户关联的生理信息，从通过提取语言内容和分析用户的语音特性、而与用户关联的嗓音分析信息，或从来自用户的语言信息，提取有关用户的情感状态的信息。提取环境信息还可以包括：通过使用全球定位***，提取用户的地理位置和提取基于用户的地理位置的信息。提取环境信息可以包括：提取有关与用户关联的应用环境的信息或者有关用户的语言风格的信息。
输出产生器可以是语言产生器，适配引擎可以配置于产生语言表达，并且语言产生器可以产生智能社交代理中的语言表达。输出产生器可以是情感产生器，适配引擎可以配置于产生面部表情，并且情感产生器可以产生智能社交代理中的面部表情。输出产生器可以是多模式产生器，其使用两个模式的至少一个，表示智能社交代理中的适配输出。一个模式可以是语言模式，而另一个模式可以是情感模式。适配引擎可以配置于产生由多模式输出产生器在智能社交代理中表示的面部表情和语言表达。适配引擎可以配置于产生智能社交代理中的情感表达。输出产生器可以配置于表示智能社交代理中的情感表达。
在总的又一方面，实现一种智能社交代理，包括：接收与用户关联的输入；访问与用户关联的用户简表；从接收的输入提取环境信息；以及处理环境信息和用户简表，以产生要由智能社交代理表示的适配输出。
各实现可包括上述一个或多个特征和下面一个或多个特征。例如，与用户关联的输入可以包括与用户关联的生理数据或应用程序信息。提取环境信息可以包括从与用户关联的生理信息、嗓音分析信息或语言信息提取有关用户的情感状态的信息。提取环境信息还可以包括提取用户的地理位置和提取基于用户的地理位置的信息。提取环境信息可以包括提取有关与用户关联的应用环境的信息或者有关用户的语言风格的信息。要由智能社交代理表示的适配输出可以是语言表达、面部表情或情感表达。
上述任何技术的实现可包括用于实现与用户或其它类型的***交互的智能社交代理的方法或过程、计算机可读介质上的计算机程序、***或装置、或者移动设备。
各种实现的一个或多个细节在下面的附图和说明中提出。从这些说明和附图以及从权利要求，其它特征和优点将会清楚明白。
附图说明
图1是用于开发和使用智能社交代理(intelligent social agent)的可编程***的框图。
图2是智能社交代理操作于其上的计算设备的框图。
图3是说明社交智能引擎的架构的框图。
图4A和4B是用于提取用户的情感和心理状态的过程的流程图。
图5是将智能社交代理适配用户和环境(context)的过程的流程图。
图6是投射(cast)智能社交代理的过程的流程图。
图7-10是说明智能个人助理的架构的各方面的框图。
各附图中同样的标号表示同样的元件。
具体实施方式
参照图1，可编程***100用于开发和使用智能社交代理的可编程***100包括各种输入/输出(I/O)设备(例如，鼠标102、键盘103、显示器104、声音识别和语音合成设备105、摄像机106、带触笔的触摸输入设备107、个人数字助理或“PDA”108和移动电话109)，可操作用于与具有中央处理单元(CPU)120、I/O单元130、存储器140和数据存储设备150的计算机110通信。数据存储设备150可存储机器可执行的指令、数据(如配置数据或其它类型的应用程序数据)，以及各种程序如操作***152和一个或多个用于开发和使用智能社交代理的应用程序154，所有这些可由CPU 120处理。每个计算机程序可以高级过程或面向对象编程语言实现，或如果希望就以汇编或机器语言实现；而在任何情形，所述语言可以是编译或解释语言。数据存储设备150可以是任何形式的非易失性存储器，包括例如半导体存储器件，如可擦写可编程只读存储器(EPROM)、电可擦写可编程只读存储器(EEPROM)和闪存器件；磁盘如内部硬盘和可移除盘；磁光盘；和致密盘只读存储器(CD-ROM)。
***100还可以包括通信卡或器件160(例如，调制解调器和/或网络适配器)，用于使用通信链路175(例如电话线、无线网络链路、有线网络链路或电缆网络)与网络170交换数据。或者，可使用通用***总线(USB)连接器连接***100，用于与网络170交换数据。***100的其它例子可以包括手持设备、工作站、服务器、设备或能够以定义的方式响应和执行指令的这些设备的一些组合。前述任何设备可由ASIC(应用专用集成电路)补充或在ASIC中包含。
虽然图1说明PDA和移动电话作为相对***100的***设备，但在一些实现中，***100的功能性可以直接集成在PDA或移动电话中。
图2说明用于包括PDA 210、触笔212的计算设备和智能社交代理220的可视化表现的智能社交代理200的示例性实现。虽然图2说明智能社交代理作为动画的说话头风格的人物，但智能社交代理不限于这样的外观，并且可以表现为例如卡通头、动物、从视频或静止图像捕获的图像、图形对象或仅仅作为声音。用户可选择参数定义社交代理的外观。PDA可以是例如从COMPAQ可获得的iPAQTM袖珍型PC。
智能社交代理200是具有社交智能的动画计算机接口代理，其已经为给定应用或设备或目标用户群开发。代理的社交智能源于与用户交互时成为吸引人的(appealing)、有情感的(affective)、适配的(adaptive)和适合(appropriate)的代理的能力。创建基于目标用户群的个人和专业特性的智能社交代理的可视化外观、声音(voice)和个性，可帮助智能社交代理对目标用户有吸引力。将智能社交代理编程以表现通过面部、嗓音(vocal)和语言表达的影响，可以帮助智能社交代理显现对目标用户有情感。将智能社交代理编程以对用户、应用和当前环境修饰其行为，可以帮助智能社交代理适配和适合目标用户。智能社交代理和用户之间的交互，可在代理辅助用户操作计算设备或计算设备应用程序时为用户产生改进的体验。
图3说明社交智能引擎300的架构，社交智能引擎300可使智能社交代理在与用户交互时能够是吸引人的、有情感的、适配的和适合的。社交智能引擎300从用户305接收关于用户305的可包括用户简表(user profile)的信息，并且从应用程序310接收关于应用程序310的信息。社交智能引擎300产生行为和语言(verbal)和非语言(nonverbal)表达用于智能社交代理。
用户可通过说、输入文字、使用指针设备或使用其它类型的I/O设备(如触摸屏或视觉跟踪设备)与社交智能引擎300交互。文字或语音(speech)可由自然语言处理***处理并且由社交智能引擎作为文字输入接收。语音将通过语音识别软件识别，并且可由嗓音特征分析器处理，嗓音分析器根据用户的语音的特性如音调范围和呼吸，提供用户的情感和生理状态的简表。
有关用户的信息可由社交智能引擎300接收。社交智能引擎300可接收有关用户的个人特性(如名字、年龄、性别、种族或国籍信息和偏好语言)，和有关用户的专业特性(如职业、职务和一个或多个会员组织)。接收的用户信息可包括用户简表或可由中央处理单元120使用以产生和存储用户简表。
从嗓音特征分析器或自然语言处理***接收的非语言信息可包括来自用户的嗓音提示(vocal cue)(如基本音调和语音速率)。摄像机或视觉跟踪设备可提供有关用户眼睛焦点、头方向和其它身***置信息的非语言数据。用户和I/O设备(如键盘、鼠标、手持设备或触摸板)之间的物理连接可提供生理信息(如用户的心率、血压、呼吸、体温和皮肤导电性的测量)。全球定位***可提供有关用户的地理位置的信息。其它这样的环境获知工具可提供有关用户的环境的附加信息，如摄像机提供用户的物理位置的一个或多个图像，其可被处理用于环境信息，如用户是单独的还是在组中，在建筑物内在办公室环境中或在外面在公园里。
社交智能引擎300还可从运行在计算机110上的应用程序310接收关于应用程序310的信息。来自应用程序310的信息由社交智能引擎300的信息提取器320接收。信息提取器320包括语言提取器322、非语言提取器324和用户环境提取器326。
语言提取器322处理用户输入的语言数据。该语言提取器可从用户使用的I/O设备接收数据，或可在处理后接收数据(如从用户的原始输入由自然语言处理***产生的文字)。语言提取器322捕获语言内容，如由用户输入的命令或数据，用于计算设备或应用程序(如与计算机110关联的那些)。语言提取器322还解析语言内容以确定用户的语言风格，如措词、选语法和语法风格。
语言提取器322捕获应用程序的语言内容，包括功能和数据。例如，电子邮件应用程序中的功能可包括观看电子邮件消息、写电子邮件消息和删除电子邮件消息，而电子邮件消息中的数据可包括在主题行中包括的词、发送人的标识、发送消息的时间和电子邮件消息实体中的词。电子商务应用程序可包括的功能如：搜索特定产品，创建订单，以及检查产品价格；包括的数据如：产品名称、产品说明、产品价格和订单。
非语言提取器324处理有关用户的生理和情感状态的信息。非语言提取器324从以下方面确定用户的生理和情感状态：1)生理数据，如心率、血压、血脉冲量、呼吸、体温和皮肤导电性；2)声音特征数据，如语音速率和幅度；以及3)用户的语言内容，表示如“我多高兴”或“我累了”这样的情感信息。生理数据提供丰富的提示以感应用户的情感状态。例如，加速的心率可关联于害怕或生气，而低心率可指示放松状态。生理数据可使用设备确定，该设备从计算机110附加到用户的手指，并且能够检测用户的心率、呼吸率和血压。非语言提取过程在图4中说明。
用户环境提取器326确定用户的内部环境和外部环境。用户环境提取器326根据用户的生理数据和语言数据确定用户请求或执行动作的模式(可称为内部环境)。例如，对于用户在与以正常风格说话时相比、以较快语速、较少呼吸和较快心率说同样的话时，在特定时间段显示sales figures的命令可指示紧急的内部环境。用户环境提取器326可从命令的语言内容确定紧急的内部环境，如在命令包括词“快”或“现在”时。
用户环境提取器326确定用于用户环境的特性(可称为用户的外部环境)。例如，全球定位***(集成于或连接于计算机110)可确定用户的地理位置，从该地理位置可确定用户的本地天气条件、地质概况、文化和语言。用户的环境的噪声水平，例如可通过处理通过集成于或连接于计算机110的麦克风检测的音频数据的、存储在计算机110上的嗓音特征分析器或自然语言处理***确定。通过分析来自摄像机或视觉跟踪设备的图像，用户环境提取器326能够确定其它物理和社会环境特性，如用户是单独的还是与其他人在一起，位于办公室环境中或在公园或汽车里。
应用环境提取器328确定有关应用程序环境的信息。该信息例如可包括应用程序的重要性、关联于特定动作的紧急性、特定动作的结果的水平、应用或用于应用程序的数据的机密性的水平、用户与应用程序或应用程序中的功能交互的频率、应用程序的复杂水平、应用程序是用于个人用途还是雇佣环境设置、应用程序是否用于娱乐、以及应用程序要求的计算设备资源的水平。
信息提取器320向适配引擎330发送由语言提取器322、非语言提取器324、用户环境提取器326和应用环境提取器328捕获和编译的信息。适配引擎330包括机器学习模块332、代理个性化模块334和动态适配器模块336。
机器学***和人数。机器学习模块332修改在用户和智能社交代理之间交互期间的用户的基本简表。
机器学习模块332将接收的有关用户和应用内容和环境的信息与用户的基本简表比较。机器学习模块332可使用存储在计算机110上的决策逻辑进行比较。例如，在机器学习模块332已经接收用户的心率是每分钟90跳的信息时，机器学习模块332比较接收的心率与来自用户的基本简表的典型心率，以确定典型和接收的心率之间的差别，并且如果心率提高到每分钟某一心跳数或某一百分比，机器学习模块332就确定用户的心率明显提高，并且在用户对应的情感状态是显然的。
机器学习模块332产生有关用户、应用、环境和从用户接收的输入的动态摘要。动态摘要可列出由机器学习模块332接收的输入、任何处理的中间值(如用户的典型心率和当前心率之间的差别)和任何做出的决定(如根据提高的心率和语音变化或表示生气的语义，用户在生气)。机器学习模块332使用动态摘要更新用户的基本简表。例如，如果动态摘要指示用户具有提高的心率，那么机器学习模块332就可以在用户的基本简表的当前生理简表部分这样指示。代理个性化模块334和动态适配器模块336也可以使用动态摘要。
代理个性化模块334从机器学习模块332接收用户的基本简表和有关用户的动态摘要。或者，代理个性化模块334可从数据存储设备150访问用户的基本简表或有关用户的动态摘要。代理个性化模块334为可吸引和适合特定用户群的智能社交代理创建外观和声音(这可称为投射(cast)智能社交代理)，并且在智能社交代理与用户交互时适配智能社交代理以适合该用户和该用户的在变化的环境(这可称个性化智能社交代理)。
动态适配器模块336从机器学习模块332接收调整的用户的基本简表和有关用户的动态摘要以及由信息提取器320接收或编译的信息。动态适配器模块336还从代理个性化模块334接收有关智能社交代理的投射和个性化信息。
动态适配器模块336确定智能社交代理的动作和行为。动态适配器模块336可使用来自用户和应用程序环境的语言输入，以确定智能社交代理应该执行的一个或多个动作。例如，在用户输入请求“检查我的电子邮件消息”而电子邮件应用程序未启动时，智能社交代理启动电子邮件应用程序并且初始化电子邮件应用功能以检查电子邮件消息。动态适配器模块336可使用有关用户的非语言信息和有关用户和应用程序的环境信息，以帮助确保智能社交代理的行为和动作适合于用户的环境。
例如，在机器学习模块332指示用户的内部环境紧急时，动态适配器模块336可调整智能社交代理，使得代理具有看起来严肃的面部表情并且停止或暂停非关键功能(如从网络接收大数据文件)或关闭不必要的应用程序(如绘图程序)，以尽快完成请求的紧急动作。
在机器学习模块332指示用户疲劳时，动态适配器模块336可调整智能社交代理，使得代理具有放松的面部表情，说话更慢，并且使用较少音节的词语和较少词语的句子。
在机器学习模块332指示用户高兴或精力充沛时，动态适配器模块336可调整智能社交代理，以具有高兴的面部表情，并且说话更快。在用户在使用电子商务应用程序下订单时，动态适配器模块336可使智能社交代理建议附加的购买或者更新。
在机器学习模块332指示用户沮丧时，动态适配器模块336可调整智能社交代理，以具有忧虑的面部表情，并且进行较少的或仅仅关键的建议。如果机器学习模块332指示用户对智能社交代理沮丧，那么动态适配器模块336可使智能社交代理道歉并明智地解释问题是什么以及应该如何解决它。
动态适配器模块336可调整智能社交代理，以根据用户对当前计算机设备、应用程序或应用程序功能的熟悉度和应用程序的复杂度来运转。例如，在应用程序复杂并且用户不熟悉应用程序时(例如，用户在第一次使用应用程序时或用户已经在某个预定时间段不使用应用程序时)，动态适配器模块336可让智能社交代理询问用户是否想要帮助，并且如果用户做出如此表示，智能社交代理就启动用于应用程序的帮助功能。在应用程序不复杂或用户熟悉应用程序时，动态适配器模块336一般不让智能社交代理向用户提供帮助。
语言产生器340从适配器引擎330接收信息并且产生用于智能社交代理350的语言表达。语言产生器340可从动态适配器模块336接收用于智能社交代理的适当语言表达。语言产生器340使用来自机器学习模块332的信息产生用于智能社交代理350的具体内容和语言风格。
然后语言产生器340发送文字语言内容给用于计算机设备的I/O设备，一般是显示设备，或将文字转换为语音的文字到语音产生程序，并且发送该语音到语音合成器。
情感产生器360从适配器引擎330接收信息并且产生用于智能社交代理350的情感表达。情感产生器360根据有关智能社交代理350应该表达什么情感的、来自动态适配器模块336的指示，产生智能社交代理350的面部表情和嗓音表达。产生情感的过程相对图5进行说明。
参照图4A，过程400A控制处理器提取非语言信息并且确定用户的情感状态。过程400A开始于接收有关用户的生理状态数据(步骤410A)。生理状态数据可包括自主神经***(autonomic)数据，如心率、血压、呼吸率、体温和皮肤导电性。生理数据可使用从计算机110附加到用户手指或手掌、并且能够检测用户的心率、呼吸率和血压的设备确定。
然后处理器根据通过生理渠道接收的生理数据，确定用于用户的情感状态的假设(步骤415A)。处理器可使用将特定生理响应与情感状态相关的预定的决定逻辑。如上相对图3所述，加速的心率可与害怕或生气关联，而慢的心率可指示放松状态。
用于确定用户的情感状态的由处理器接收的数据的第二渠道是嗓音分析数据(步骤420A)，如用户的语音中的音调范围、音量和呼吸程度。例如，比用户的基本模式更响和更快的语音可指示用户高兴。类似地，比通常更轻和更慢的语音可指示用户悲伤。然后处理器根据通过嗓音特征渠道接收的嗓音分析数据确定用于用户的情感状态的假设(步骤425A)。
用于确定用户的情感状态的由处理器接收的数据的第三渠道，是揭示用户的情感的用户的语言内容(步骤430A)。这样的语言内容的例子包括短语，如“哇，这太好了”或“什么？文件不见了？”。然后处理器根据通过语言渠道接收的语言内容确定用于用户的情感状态的假设(步骤435A)。
然后处理器根据来自生理渠道、嗓音特征渠道和语言渠道的数据集成情感状态假设，解决任何冲突并且确定用户的最终情感状态(步骤440A)。通过预定的决定逻辑可完成冲突解决。根据对那个特定情感的那个渠道的固有预测功率和出现的情感状态的具体诊断的明确级别，将置信系数给予由三个渠道的每个预测的情感状态。然后处理器通过比较和集成各置信系数来消除模糊。
一些实现可接收生理数据、嗓音分析数据、语言内容或组合。在仅仅接收一种数据时，可能不执行集成(步骤440A)。例如，在仅仅接收生理数据时，不执行步骤420A-440A，而处理器使用基于生理数据的用户的情感状态作为用户的情感状态。类似地，在仅仅接收嗓音分析数据时，过程开始于接收嗓音分析数据，而不执行步骤410A、415A和430A-445A。处理器使用基于嗓音分析数据的用户的情感状态作为用户的情感状态。
类似地，参照图4B，过程400B控制处理器提取非语言信息并且确定用户的情感状态。处理器接收有关用户的生理数据(步骤410B)、嗓音分析数据(步骤420B)和指示用户的情感的语言内容(步骤430B)，并且根据每一种数据并行确定用于用户的情感状态的假设(步骤415B、425B和435B)。然后处理器根据来自生理渠道、嗓音特征渠道和语言渠道的数据集成情感状态假设，解决任何冲突并且确定用户最终的情感状态(步骤440B)，如相对图4A所述。
参照图5，过程500控制处理器使智能社交代理适配于用户和环境。过程500可帮助智能社交代理根据用户和应用环境适当动作。
过程500开始于由处理器从输入/输出设备(如声音识别和语音合成设备、摄像机、连接用户的手指的生理检测设备)接收(步骤510)内容和环境信息到计算机110。接收的内容和环境信息可以是从用户或应用程序接收的语言信息、非语言信息或环境信息，或可以是由信息提取器编译的信息(如前相对图3所述)。
然后处理器访问数据存储设备150，确定智能社交代理在与其交互的用户的基本用户简表(步骤515)。基本用户简表包括有关用户的个人特性(如名字、年龄、性别、种族或国籍信息和偏好语言)、有关用户的专业特性(如职业、职务和一个或多个会员组织)和有关用户的非语言信息(如语言风格和生理简表信息)。基本用户简表信息可在用于主管(host)智能社交代理的产品的注册过程期间接收，或通过创建用于用户的智能社交代理的投射(casting)过程接收，并且存储在计算设备上。
处理器可根据基本用户简表信息调整接收的环境和内容信息(步骤520)。例如，可接收语言指令“现在读电子邮件消息”。一般地，用词“现在”修饰的语言指令可产生“紧急”的用户环境模式。然而，在基本用户简表信息指示用户一般使用词“现在”作为部分指令时，用户环境模式可改变为“正常”。
处理器可通过确定用户的情感状态调整接收的内容和环境信息。用户的情感状态可从内容和环境信息(如生理数据和嗓音分析数据)确定。
处理器根据调整的内容和环境信息改变智能社交代理(步骤525)。例如，处理器可改变智能社交代理的语言风格和语音风格，以更类似于用户的语言风格和语音风格。
然后处理器执行应用程序中的基本动作(步骤530)。例如，在用户输入请求“检查我的电子邮件消息”而电子邮件应用程序没有启动时，智能社交代理启动电子邮件应用程序，并且启动电子邮件应用功能检查电子邮件消息(如前相对图3所述)。
处理器确定可包括面部表情的用于智能社交代理的适当的情感表达(步骤540)和适当的语言表达(步骤535)。
处理器产生用于智能社交代理的适当的语言表达(步骤545)。适当的语言表达包括：基于接收的内容和环境信息、基本用户简表信息或基本用户简表信息和接收的内容和环境信息的组合的、适当的语言内容和适当的情感语义。
例如，可使用具有情感内涵的词匹配代理应该表达的适当的情感。这可通过使用将词与情感状态关联的电子词典来完成，其中的关联如将词“极妙”与高兴关联、如将词“拖延”与沮丧关联等。处理器从对用户和环境适当的词典选择词。类似地，处理器在用户的情感状态是高兴时可增加使用在语言表达中的词数，或者如果用户的情感状态是悲伤就可减少使用的词数或使用具有较少音节的词。
处理器可发送语言表达文字给用于计算机设备的I/O设备，一般是显示设备。处理器可将语言表达文字转换为语音并且输出该语音。这可使用文字到语音转换器和语音合成器来完成。
同时，处理器产生用于智能社交代理的面部表情的适当情感(步骤550)。另外，可选择默认的面部表情。默认的面部表情可通过应用、代理的角色和目标用户群来确定。一般地，智能社交代理默认可以是微微友好的、微笑的和愉快的。
面部情感表达可通过修改智能社交代理的面部的各部分来完成以表现情感。例如，通过显示眉毛上扬(例如弯曲而高的)、眉毛下的皮肤水平伸展、皱纹穿过前额、眼睑张大以及眼白可见、下巴打开而嘴不紧张或伸张，可表示惊奇。
通过显示眉毛上扬而挨在一起、前额皱纹牵拉在前额中心、上眼睑上扬而下眼睑停住(draw up)，嘴张大以及嘴唇微微紧张或伸张并缩回，可表示害怕。通过显示上唇提高、下唇提高而向上推到上唇或下唇降低、皱鼻子、脸颊提高、下眼睑下出现线、眼睑向上推但不紧张以及眉毛降低，可表示厌恶。通过显示眉毛上扬而挨在一起、眉毛之间出现垂直线、下眼睑紧张、上眼睑紧张、眼睛硬盯着、以及眼睛具有凸出的外观、嘴唇不是紧紧压在一起就是紧张为方形、鼻孔可扩大，可表示生气。通过嘴角缩回向上、从鼻子到嘴角上外缘显示皱纹、脸颊提高、下眼睑下显示皱纹、下眼睑可上扬而不紧张、眼角皱纹从外眼角伸出，可表示高兴。通过停住眉毛内角、眉毛下的皮肤分成三角、上眼睑的内角和上角提高、牵拉嘴角或嘴唇颤抖，可表示悲伤。
然后处理器产生用于智能社交代理的语言表达的适当情感(步骤555)。这可通过从用于智能社交代理的语音的基线风格修改语音风格来完成。语音风格可包括语音速率、音调平均、音调范围、强度、声音质量、音调变化和发音水平。例如，在语音速率非常快、音调平均非常非常高、音调范围非常宽、语音强度正常、声音质量不规则、音调变化正常、以及发音准确时，嗓音表达可表示害怕。可意味着特定情感状态的语音风格修改在下面的表中提出，并且进一步描述在Murray，I.R.& Arnott，J.L.(1993)，Toward thesimulation of emotion in synthetic speech：A review of the literature on humanvocal emotion，Journal of Acoustical Society of America，93，1097-1108。
  害怕   生气   悲伤   高兴   厌恶
  语音速率   非常快   稍微快   稍微慢   较快或较慢   非常非常慢
  音调平均   非常非常高   非常非常高   稍微低   非常高   非常非常低
  音调范围   非常宽   非常宽   稍微窄   非常宽   稍微宽
  强度   正常   较高   较低   较高   较低
  声音质量   不规则声音   带呼吸的胸音   共振的   带呼吸的叫喊   喃喃的胸音
  音调变化   正常   生硬的重音   向下变形   平滑向上变形   宽的向下终端变形
  发音   准确   紧张   含糊   正常   正常
参照图6，过程600控制处理器对目标用户群产生智能社交代理。该过程(这可称为投射智能社交代理)可产生其外观和声音吸引和适于目标用户的智能社交代理。
过程600开始于由处理器访问存储在基本用户简表中的用户信息(步骤605)。存储在基本用户简表中的用户信息可包括有关用户的个人特性(如名字、年龄、性别、种族或国籍信息和偏好语言)和有关用户的专业特性(如职业、职务和一个或多个会员组织)。
处理器对一个或多个具体应用程序接收有关智能社交代理的角色的信息(步骤610)。例如，智能社交代理可用作为帮助代理，以提供有关应用程序的功能帮助信息，或者可用作为游戏应用程序中的娱乐玩家。
然后处理器应用吸引规则，进一步分析基本用户简表，并且选择用于可吸引目标用户群的智能社交代理的可视外观(步骤620)。处理器可应用决定逻辑，将用于智能社交代理的具体可视外观关联于具体年龄组、职业、性别、或种族或文化组。例如，决定逻辑可基于类似吸引(即匹配智能社交代理和用户的年龄、个性和种族身份)。看起来专业的说话的头可更适合行政主管用户(如行政执行总裁或财务执行总裁)，而具有极其现代发型的说话的头可更吸引艺术家。
处理器应用适合规则，进一步分析基本用户简表，并且修改智能社交代理的投射(步骤630)。例如，男性智能社交代理可更适合技术主题，而女性智能社交代理可更适合时尚和装饰主题。
然后处理器向用户呈现用于智能社交代理的可视外观(步骤640)。一些实现可允许用户修改智能社交代理的属性(如头发颜色、眼睛颜色和皮肤颜色)，或者从具有不同可视外观的几个智能社交代理中选择。一些实现还可允许用户导入图形绘画或图像，以用作为智能社交代理的可视外观。
处理器将吸引规则应用于存储的基本用户简表(步骤650)，并且将适合规则应用于存储的基本用户简表以选择用于智能社交代理的声音(步骤660)。该声音应该吸引用户，并且适合由可视的智能社交代理表示的性别(例如，具有男性可视外观的智能社交代理具有男性的声音，而具有女性可视外观的智能社交代理具有女性的声音)。处理器在适合智能社交代理的声音时可匹配用户的语音风格特性(如语音速率、音调平均、音调范围和发音)。
处理器呈现用于智能社交代理的声音选择(步骤670)。一些实现可允许用户修改用于智能社交代理的语音特性。
然后处理器将智能社交代理关联于具体用户(步骤680)。例如，处理器可将智能社交代理标识符关联于智能社交代理，存储智能社交代理标识符和智能社交代理的特性到计算机110的数据存储设备150中，并且存储智能社交代理标识符与基本用户简表。一些实现可投射一个或多个智能社交代理，以适合具有类似个人或专业特性的用户组。
参照图7，智能社交代理的实现是智能个人助理。智能个人助理与如计算设备210的计算设备的用户交互，以帮助用户操作计算设备210和使用应用程序。智能个人助理帮助计算设备的用户管理个人信息，操作计算设备210或运行在计算设备上的一个或多个应用程序，并且为娱乐使用该计算设备。
智能个人助理可在移动计算设备上操作，这样的设备如PDA、膝上型计算机、或移动电话、或包括关联PDA、膝上型计算机、或移动电话的功能的混合设备。在智能个人助理在移动计算设备上操作时，智能个人助理可称为智能移动个人助理。智能个人助理还可操作在固定计算设备上，如桌面型个人计算机或工作站，并且可操作在网络计算设备的***上，如相对图1所述。
图7说明用于智能个人助理730的架构700的一个实现。应用程序710，包括个人信息管理应用程序715、一个或多个娱乐应用程序720、和/或操作计算设备的一个或多个应用程序725，可运行在计算设备上，如相对图1所述。
智能个人助理730使用社交智能引擎735与用户740和应用程序710交互。社交智能引擎735基本上类似于图3的社交智能引擎300。智能个人助理730的信息提取器745，以与相对图3所述的类似方式、接收来自和有关应用程序710的信息以及来自和有关用户740的信息。
智能个人助理730使用适配引擎750处理提取的信息，然后产生一个或多个响应(包括语言内容和面部表情)，以便使用语言产生器755和情感产生器760、以与相对图3所述的类似方式、与用户740交互。智能个人助理730还可产生一个或多个响应，以便操作运行在计算设备210上的一个或多个应用程序710，如相对图2-3和图8-10所述。产生的响应可使智能个人助理730在与用户740交互时能够表现出吸引人的、有情感的、适配的和适合的。用户740还与一个或多个应用程序710交互。
图8说明用于实现帮助用户管理个人信息的智能个人助理的架构800。智能个人助理810可辅助用户815作为工作于所有个人信息管理应用程序功能的助理。对于使用移动计算设备的商务用户，智能个人助理810可能用作为管理助理，帮助用户管理约会、电子邮件消息和联系表。与相对图3和7所述的类似，智能个人助理810使用社交智能引擎825与用户815和个人信息管理应用程序820交互，社交智能引擎825也包括信息提取器830、适配引擎835、语言产生器840和情感产生器845。
个人信息管理应用程序820(也可称为PIM)包括电子邮件功能850、日历功能855、联系管理功能860和任务列表功能865(也可称为“要做的(todo)”列表)。个人信息管理应用程序可以是例如在PDA上操作的、Microsoft公司的Microsoft Outlook的一个版本，如Pocket Outlook。
智能个人助理810可关于电子邮件功能850与用户815交互。例如，智能个人助理810在工作日的开始或在用户请求这样的动作时，可报告用户的电子邮件账户的状态，如未读消息的数量或具有紧急状态的未读消息的数量。智能个人助理810可关于具有紧急状态的未读消息、或在(根据典型电子邮件模式(pattern)的智能和/或统计监视)对用户815未读消息的数量高于典型情况时，用更强烈的情感与用户815通信。智能个人助理810可通知用户815最近接收的消息，并且在最近接收的消息具有紧急状态时，可用更强烈的情感通信。智能个人助理810可帮助用户管理消息，如根据用户的典型消息删除或存档模式或在消息的存储空间达到或超过其限制时、建议删除或存档消息，或者根据用户的典型消息转发模式建议转发消息给特定用户或用户组。
智能个人助理810可帮助用户815管理用户的日历850。例如，智能个人助理810可在早晨或在用户希望的任何时间向用户报告他/她该日的到来的约会。智能个人助理810可在用户希望的时间提醒用户815到来的约会，并且还决定约会地点离用户当前位置有多远。如果对约会用户要迟到或看来要迟到，智能个人助理810会由此以如说话大声一点和表现得关切一点的紧急方式提醒他/她。例如，在用户不需要行进去到来的约会时，如在用户所在的办公室的业务会谈，并且约会在重要和紧急方面是常规的约会，智能个人助理810可以用具有常规声音音调和面部表情的中性情感提醒用户815该约会。在接近要求用户离开楼层行进去到约会的到来的约会的时间时，智能个人助理810可以用具有较高音量和更紧急情感的声音提醒用户815该约会。
智能个人助理810可帮助用户815在日历中输入约会。例如，用户815可使用一般或相对的词口头描述该约会。智能个人助理810将该约会的一般描述转换为可输入在日历应用程序860中的信息，并且发送命令输入该信息在日历中。例如，用户可说“我有个与Dr.Brown在下周四1点的约会”。使用社交智能引擎825，智能个人助理810可产生适当的命令给日历应用程序860在用户的日历中输入约会。例如，智能个人助理810可理解Dr.Brown是用户的医生(可能通过执行联系数据库860中的搜索)，以及用户必须行进去该医生的办公室。智能个人助理810还可使用联系管理应用程序860中的联系信息查找地址，并且可使用地图应用程序估计从用户的办公室地址到医生的办公室行进要求的时间，并且确定对应“下周四”的日期。然后智能个人助理810发送命令给日历应用程序，以输入适当日期的1:00pm的约会，并且产生在约会前足够时间的提醒消息，该时间给用户预留行进去该医生的办公室的时间。
智能个人助理810还可帮助用户815管理用户的联系860。例如，智能个人助理810可加入用户815已经说给智能个人助理810的新联系的信息。例如，用户815可说“我的新医生是Oakdale的Dr.Brown”。智能个人助理810通过使用用户的保险公司的网站查找Dr.Brown的全名、地址和电话号码，该网站列出从用户的保险承载人接受付费的医生。然后智能个人助理810发送命令给联系应用程序860加入联系信息。智能个人助理810可通过加入用户815输入的交叉引用联系的新联系，如也在“医生”下加入Dr.Brown的联系信息，从而帮助组织该联系表。
智能个人助理810可帮助用户815管理用户的任务列表应用程序865。例如，智能个人助理810可加入用于新任务的信息，在用户可能不能察看计算设备的文字显示时，如在用户在驾驶汽车时，读取任务列表给用户，并且提醒用户近期到期的任务。智能个人助理810可使用具有较高音量和更紧急情感的声音提醒用户815近期到期的、具有较高重要等级的任务。
一些个人信息管理应用程序可包括声音电子邮件和电话呼叫功能(未显示)。智能个人助理810可帮助管理用户815接收的声音电子邮件，如通过播放消息、存储消息或报告消息状态(例如已经接收多少新消息)。在比用户检查其声音电子邮件消息的典型时间已经经过更多的时间时，智能个人助理810可使用具有较高音量和更紧急情感的声音提醒用户815还没有播放新消息。
智能个人助理810可帮助用户管理用户的电话呼叫。通过接收和选择性地处理接收的电话呼叫，智能个人助理810可表现为智能个人助理810好像是用户815的虚拟秘书。例如，在用户繁忙并且不想接收电话呼叫时，智能个人助理810可不通知用户到来的呼叫。智能个人助理810可根据用户指定的人的列表的优先级方案，选择性地通知用户有关到来的电话呼叫，如果接收到这些人的电话呼叫、用户将与之通话，或者如果在用户指定的特定条件下接收到这些人的电话呼叫、例如甚至在用户繁忙时、用户将与之通话。
智能个人助理810还能够组织和呈现新闻给用户815。智能个人助理810可根据用户的典型方案使用新闻源和新闻类别。另外或者可替代地，用户815可选择智能个人助理810使用的新闻源和类别。
用户815可选择智能个人助理810通过其产生输出的形式，这样的输出如智能个人助理是否仅仅产生语音输出，仅仅在显示器上的文字输出或语音和文字输出两者。用户815可通过使用语音输入或点击静音按钮指示智能个人助理810仅仅使用文字输出。
图9说明帮助用户操作计算设备中的应用的智能个人助理的架构900。智能个人助理910可辅助用户915遍及各种应用程序或功能。如相对图3和7描述地，智能个人助理910与用户915和计算设备中的应用程序920交互，应用程序920包括有关设备自身的基本功能和运行在设备上的如企业应用的应用。智能个人助理910类似地使用社交智能引擎945，社交智能引擎945包括信息提取器950、适配引擎955、语言产生器960和情感产生器965。
有关计算设备自身的基本功能的一些例子是在许多其它功能中察看电池状态925、打开或关闭应用程序930、935和同步数据940。智能个人助理910与用户915交互关于计算设备中的电池状态925。例如，在电池运行在低于电池容量的10％(或其它用户定义的阈值)时，智能个人助理910可报告电池运行在低电量。智能个人助理910可建议如使屏幕暗淡或关闭一些应用，并且发送命令以在用户915接受建议时完成那些功能。
智能个人助理910可与用户915交互，通过使用打开应用程序930功能和关闭应用程序935功能，开关应用。例如，在用户指示应该打开特定字处理文档时，因为用户在打开特定字处理文档时一般关闭特定电子表格文件，所以，智能个人助理910可关闭特定电子表格文件并且打开特定字处理文档。
智能个人助理910可与用户交互，同步两个计算设备之间的数据940。例如，智能个人助理910可发送命令从如PDA的便携式计算设备复制个人管理信息到桌面计算设备。用户915可请求同步各设备而不指定要同步什么信息。智能个人助理910可同步基于保持联系的用户的典型方案的、适当的个人管理信息和在桌面上同步的任务列表信息，但不复制仅仅居于PDA中的约会信息。
在操作计算设备自身的基本功能之上，智能个人助理910可帮助用户操作运行在计算设备上的宽范围的应用。用于智能个人助理910的企业应用的例子是业务报告、预算管理、项目管理、制造监控、存货控制、采购、销售、学习和培训。
在移动企业门户(portal)，通过区分优先级和突出重要和紧急的信息，智能个人助理910可向用户915提供极大的帮助。用于智能社交代理架构中的应用的环境定义方法在此情况指导智能个人助理910。例如，智能个人助理910通过在屏幕上显示它或将其说给用户，可突出最高优先级的销售下降警告。在销售下降警告情形，智能个人助理910适配其语言风格使其直截了当和简明，说话快一点，并且如通过稍微皱眉而显得关注。智能个人助理910可通过语音或图形显示向用户呈现业务报告，如销售报告、采购报告和如生产时间线(timeline)的项目状态。智能个人助理910会突出或标记这些情况中任何紧急或严重的问题。智能个人助理910可以用简单和直截了当的方法向管理人员呈现批准请求，使得用户可立刻抓住最关键的信息而非花费许多步骤由他/她自己发现信息。
图10说明帮助用户使用用于娱乐的计算设备的智能个人助理的架构1000。使用用于娱乐的智能个人助理可提高用户与用于非娱乐应用的智能个人助理交互的愿望。智能个人助理1010可辅助用户1015遍及各种娱乐应用程序。如相对图3和7描述地，智能个人助理1010与用户1015和计算设备娱乐程序1020交互，如通过参与游戏、提供故事性娱乐并且作为演艺人员表演。智能个人助理1010类似地使用社交智能引擎1030，社交智能引擎1030包括信息提取器1035、适配引擎1040、语言产生器1045和情感产生器1050。
智能个人助理1010可通过参与基于计算设备的游戏与用户1015交互。例如，在与用户玩游戏时，例如纸牌游戏或其它基于计算设备的游戏，如动画赛车游戏或下棋游戏，智能个人助理1010可充当参与者。智能个人助理1010可在帮助用户1015使用用于娱乐的计算设备时、比关于非娱乐应用程序帮助用户时、以更夸张的方式与用户交互。例如，在与用户玩游戏时，智能个人助理1010可更大声说话，使用通俗表达，笑，经常上下移动眉毛，并且张大其眼睛。在用户赢得对智能个人助理1010的竞争性游戏时，智能个人助理可表扬用户1015，或者在用户输给智能个人助理时，智能个人助理可安慰用户，恭维用户，或者讨论如何提高。
通过提供故事性娱乐，如在用户驾驶汽车时通过读故事或给用户重新叙述体育事件，或者在用户烦闷或劳累时给用户讲笑话，智能个人助理1010可充当娱乐伙伴。如通过显出唱音乐歌词(这可称为“唇同步”)，或者在智能个人助理1010表现为完全身体的代理时随音乐起舞来娱乐，智能个人助理1010可作为演艺人员表演。
各种实现可包括方法或过程、装置或***、或者计算机媒体上的计算机软件。将会理解：可以进行各种修改而不脱离权利要求的精神和范围。例如，如果以不同顺序执行所公开的技术的步骤，和/或如果在所公开的***中的各部件以不同方式组合和/或由其它部件代替或补充，仍然会取得有益结果。

Claims (58)

1.一种用于实现智能个人助理的计算机实现的方法，包括：
接收与用户关联的输入和与应用程序关联的输入；
访问与用户关联的用户简表，所述用户简表存储在计算机存储介质中；
从接收的与用户关联的输入和接收的与应用程序关联的输入提取环境信息；以及
处理环境信息和用户简表，以由智能个人助理操作所述应用程序来产生适配的响应。
2.根据权利要求1所述的方法，其中：
所述应用程序是个人信息管理应用程序，以及
由智能个人助理产生的适配响应关联于所述个人信息管理应用程序。
3.根据权利要求1所述的方法，其中：
所述应用程序是操作计算设备的应用程序，以及
由智能个人助理产生的适配响应关联于操作所述计算设备。
4.根据权利要求1所述的方法，其中：
所述应用程序是娱乐应用程序，以及
由智能个人助理产生的适配响应关联于所述娱乐应用程序。
5.根据权利要求4所述的方法，其中：
所述娱乐应用程序是游戏，以及
由智能个人助理产生的适配响应关联于所述游戏。
6.一种用于实现智能个人助理的***，所述***包括连接存储设备和一个或多个输入/输出设备的处理器，其中所述处理器配置于：
接收与用户关联的输入和与应用程序关联的输入；
访问与用户关联的用户简表，所述用户简表存储在计算机存储介质中；
从接收的与用户关联的输入和接收的与应用程序关联的输入提取环境信息；以及
处理环境信息和用户简表，以由智能个人助理操作所述应用程序来产生适配的响应。
7.根据权利要求6所述的***，其中：
所述应用程序是个人信息管理应用程序，以及
由智能个人助理产生的适配响应关联于所述个人信息管理应用程序。
8.根据权利要求6所述的***，其中：
所述应用程序是操作计算设备的应用程序，以及
由智能个人助理产生的适配响应关联于操作所述计算设备。
9.根据权利要求6所述的***，其中：
所述应用程序是娱乐应用程序，以及
由智能个人助理产生的适配响应关联于所述娱乐应用程序。
10.根据权利要求9所述的***，其中：
所述娱乐应用程序是游戏，以及
由智能个人助理产生的适配响应关联于所述游戏。
11.一种用于实现智能社交代理的装置，所述装置包括：
信息提取器，其配置于：
访问与用户关联的用户简表，
接收与用户关联的输入，其中输入包括与用户关联的生理数据，其通过用户和设备之间的物理连接接收，和
从接收的输入提取环境信息；
适配引擎，其配置于：
从信息提取器接收环境信息和用户简表，并且处理环境信息和用户简表，以产生适配的输出，所述适配的输出包括表示面部表情的信息；以及
输出产生器，其配置于：
从适配引擎接收适配的输出和表示面部表情的信息，并且在智能社交代理中显示适配的输出和面部表情。
12.根据权利要求11所述的装置，其中所述输入是与用户关联的应用程序信息，并且所述信息提取器配置于接收与用户关联的应用程序信息。
13.根据权利要求11所述的装置，其中所述信息提取器还配置于从接收的输入提取有关用户的情感状态的信息。
14.根据权利要求13所述的装置，其中所述信息提取器配置于根据与用户关联的生理信息，提取有关用户的情感状态的信息。
15.根据权利要求13所述的装置，其中配置于提取有关用户的情感状态的信息的所述信息提取器配置于：通过提取语言内容和分析用户的语音特性，根据与用户关联的嗓音分析信息，提取有关用户的情感状态的信息。
16.根据权利要求13所述的装置，其中配置于提取有关用户的情感状态的信息的所述信息提取器配置于：从接收的输入提取基于语言信息的有关用户的情感状态的信息。
17.根据权利要求11所述的装置，其中配置于提取环境信息的所述信息提取器配置于：通过使用全球定位***，提取用户的地理位置。
18.根据权利要求17所述的装置，其中配置于提取环境信息的所述信息提取器配置于：提取基于用户的地理位置的信息。
19.根据权利要求11所述的装置，其中配置于提取环境信息的所述信息提取器配置于：提取有关与用户关联的应用内容的信息。
20.根据权利要求11所述的装置，其中配置于提取环境信息的所述信息提取器配置于：从接收的输入提取有关用户的语言风格的信息。
21.根据权利要求11所述的装置，其中：
所述输出产生器是语言产生器；
配置于产生适配输出的所述适配引擎配置于产生语言表达；以及
所述语言产生器产生智能社交代理中的语言表达。
22.根据权利要求11所述的装置，其中所述输出产生器是多模式输出产生器，其使用第一模式和第二模式的至少一个，表示智能社交代理中的适配输出。
23.根据权利要求22所述的装置，其中：
所述第一模式是语言模式；
所述第二模式是情感模式；
配置于产生适配输出的所述适配引擎配置于：
产生面部表情，和
产生语言表达；以及
所述多模式输出产生器表示智能社交代理中的面部表情和语言表达。
24.根据权利要求11所述的装置，其中：
所述适配引擎还配置于产生要由智能社交代理表示的情感表达；以及
所述输出产生器配置于表示智能社交代理中的情感表达。
25.一种用于实现与用户交互的智能社交代理的移动设备，所述移动设备包括：
处理器，连接存储器和一个或多个输入/输出设备；
配置于与处理器交互的社交智能引擎，所述社交智能引擎包括：
信息提取器，其配置于：
访问与用户关联的用户简表，
接收与用户关联的输入，其中输入包括与用户关联的生理数据，其通过用户和设备之间的物理连接接收，和
从接收的输入提取环境信息；
适配引擎，其配置于：
从信息提取器接收环境信息和用户简表，并且处理环境信息和用户简表，以产生适配的输出，所述适配的输出包括表示面部表情的信息；以及
输出产生器，其配置于：
从适配引擎接收适配的输出和表示面部表情的信息，并且在智能社交代理中显示适配的输出和面部表情。
26.根据权利要求25所述的移动设备，其中所述输入是与用户关联的应用程序信息，并且所述信息提取器配置于接收该应用程序信息。
27.根据权利要求25所述的移动设备，其中所述信息提取器还配置于从接收的输入提取有关用户的情感状态的信息。
28.根据权利要求27所述的移动设备，其中所述信息提取器配置于根据与用户关联的生理数据，提取有关用户的情感状态的信息。
29.根据权利要求27所述的移动设备，其中配置于提取有关用户的情感状态的信息的所述信息提取器配置于：通过提取语言内容和分析用户的语音特性，根据与用户关联的嗓音分析信息，从接收的输入提取有关用户的情感状态的信息。
30.根据权利要求27所述的移动设备，其中配置于提取有关用户的情感状态的信息的所述信息提取器配置于：从接收的输入提取基于语言信息的有关用户的情感状态的信息。
31.根据权利要求25所述的移动设备，其中配置于提取环境信息的所述信息提取器配置于：通过使用全球定位***，提取用户的地理位置。
32.根据权利要求31所述的移动设备，其中配置于提取环境信息的所述信息提取器配置于：提取基于用户的地理位置的信息。
33.根据权利要求25所述的移动设备，其中配置于提取环境信息的所述信息提取器配置于：提取有关与用户关联的应用内容的信息。
34.根据权利要求25所述的移动设备，其中配置于提取环境信息的所述信息提取器配置于：从接收的输入提取有关用户的语言风格的信息。
35.根据权利要求25所述的移动设备，其中：
所述输出产生器是语言产生器；
配置于产生适配输出的所述适配引擎配置于产生语言表达；以及
所述语言产生器产生智能社交代理中的语言表达。
36.根据权利要求25所述的移动设备，其中所述输出产生器是多模式输出产生器，其使用第一模式和第二模式的至少一个，表示智能社交代理中的适配输出。
37.根据权利要求36所述的移动设备，其中：
所述第一模式是语言模式；
所述第二模式是情感模式；
配置于产生适配输出的所述适配引擎配置于：
产生面部表情，和
产生语言表达；以及
所述多模式输出产生器表示智能社交代理中的面部表情和语言表达。
38.根据权利要求25所述的移动设备，其中：
所述适配引擎还配置于产生要由智能社交代理表示的情感表达；以及
所述输出产生器配置于表示智能社交代理中的情感表达。
39.一种用于实现智能社交代理的装置，所述装置包括：
信息提取器，其配置于：
接收与用户关联的输入，其中输入包括与用户关联的生理数据，其通过用户和设备之间的物理连接接收，和
从接收的输入提取环境信息；
适配引擎，其配置于：
从信息提取器接收环境信息，并且处理环境信息，以产生适配的输出，所述适配的输出包括表示面部表情的信息；以及
输出产生器，其配置于：
从适配引擎接收适配的输出和表示面部表情的信息，并且在智能社交代理中显示适配的输出和面部表情。
40.根据权利要求39所述的装置，其中所述信息提取器还配置于从接收的输入提取有关用户的情感状态的信息。
41.根据权利要求40所述的装置，其中所述信息提取器配置于根据与用户关联的生理数据，提取有关用户的情感状态的信息。
42.根据权利要求39所述的装置，其中所述输出产生器包括多模式输出产生器，其使用第一模式和第二模式的至少一个，表示智能社交代理中的适配输出。
43.一种实现能够与用户交互的智能个人助理的方法，该方法包括：
通过用户和设备之间的物理连接接收与用户关联的生理数据；
从接收的生理数据提取环境信息；
处理环境信息，以产生要由智能个人助理表示的适配输出，所述适配输出包括表示面部表情的信息；以及
在智能个人助理的呈现中显示适配输出和面部表情。
44.根据权利要求43所述的方法，还包括根据与用户关联的生理数据来提取有关用户的情感状态的信息。
45.根据权利要求43所述的方法，还包括使用第一模式和第二模式的至少一个来表示智能个人助理中的适配输出。
46.一种实现智能个人助理的方法，所述方法包括：
接收与用户关联的输入；
访问与用户关联的用户简表，所述用户简表存储在计算机存储介质中；
从接收的输入提取环境信息；
处理环境信息和用户简表，以产生要由智能个人助理表示的适配输出，所述适配输出包括表示面部表情的信息；以及
在智能个人助理的呈现中显示面部表情。
47.根据权利要求46所述的方法，其中所述与用户关联的输入包括与用户关联的生理数据。
48.根据权利要求46所述的方法，其中所述与用户关联的输入包括与用户关联的应用程序信息。
49.根据权利要求46所述的方法，其中提取环境信息包括提取有关用户的情感状态的信息。
50.根据权利要求49所述的方法，其中提取有关用户的情感状态的信息是基于与用户关联的生理信息。
51.根据权利要求49所述的方法，其中提取有关用户的情感状态的信息是基于与用户关联的嗓音分析信息。
52.根据权利要求49所述的方法，其中提取有关用户的情感状态的信息是基于来自用户的语言信息。
53.根据权利要求46所述的方法，其中提取环境信息包括提取用户的地理位置。
54.根据权利要求53所述的方法，其中提取环境信息包括提取基于用户的地理位置的信息。
55.根据权利要求46所述的方法，其中提取环境信息包括提取有关与用户关联的应用内容的信息。
56.根据权利要求46所述的方法，其中提取环境信息包括提取有关用户的语言风格的信息。
57.根据权利要求46所述的方法，其中所述适配输出包括要由智能个人助理表示的语言表达。
58.根据权利要求46所述的方法，其中所述适配输出包括要由智能个人助理表示的情感表达。
CNB038070065A 2002-02-26 2003-02-26 智能个人助理 Expired - Lifetime CN100339885C (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US35934802P 2002-02-26 2002-02-26
US60/359,348 2002-02-26
US10/134,679 US20030163311A1 (en) 2002-02-26 2002-04-30 Intelligent social agents
US10/134,679 2002-04-30
US10/158,213 US20030167167A1 (en) 2002-02-26 2002-05-31 Intelligent personal assistants
US10/158,213 2002-05-31
US10/184,113 2002-06-28
US10/184,113 US20030187660A1 (en) 2002-02-26 2002-06-28 Intelligent social agent architecture

Publications (2)

Publication Number Publication Date
CN1643575A CN1643575A (zh) 2005-07-20
CN100339885C true CN100339885C (zh) 2007-09-26

Family

ID=27767911

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038070065A Expired - Lifetime CN100339885C (zh) 2002-02-26 2003-02-26 智能个人助理

Country Status (4)

Country Link
EP (1) EP1490864A4 (zh)
CN (1) CN100339885C (zh)
AU (1) AU2003225620A1 (zh)
WO (1) WO2003073417A2 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004001801A1 (de) * 2004-01-05 2005-07-28 Deutsche Telekom Ag Dialogsystem insbesondere zur Unterstützung der Patientenbetreuung
EP2099198A1 (en) * 2008-03-05 2009-09-09 Sony Corporation Method and device for personalizing a multimedia application
DE102010012427B4 (de) * 2010-03-23 2014-04-24 Zoobe Gmbh Verfahren zur Zuordnung von Sprachmerkmalen zu Bewegungsmustern
CN102447786A (zh) * 2011-11-14 2012-05-09 候万春 一种个人专用生活协助装置和方法
EP2672379A1 (en) * 2012-06-06 2013-12-11 BlackBerry Limited Method and device for data entry
CN103546503B (zh) * 2012-07-10 2017-03-15 百度在线网络技术（北京）有限公司 基于语音的云社交***、方法及云分析服务器
CN103543979A (zh) * 2012-07-17 2014-01-29 联想(北京)有限公司 一种输出语音的方法、语音交互的方法及电子设备
US9786296B2 (en) * 2013-07-08 2017-10-10 Qualcomm Incorporated Method and apparatus for assigning keyword model to voice operated function
US10803850B2 (en) 2014-09-08 2020-10-13 Microsoft Technology Licensing, Llc Voice generation with predetermined emotion type
US9786299B2 (en) 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
CN105744090A (zh) * 2014-12-09 2016-07-06 阿里巴巴集团控股有限公司 语音信息处理方法及装置
US10038757B2 (en) * 2015-04-29 2018-07-31 Microsoft Technology Licensing, Llc Providing personalized greetings on a digital assistant
WO2016176375A1 (en) * 2015-04-29 2016-11-03 Microsoft Technology Licensing, Llc Providing personalized greetings on a digital assistant
CN105893771A (zh) * 2016-04-15 2016-08-24 北京搜狗科技发展有限公司 一种信息服务方法和装置、一种用于信息服务的装置
US9866927B2 (en) 2016-04-22 2018-01-09 Microsoft Technology Licensing, Llc Identifying entities based on sensor data
US10945129B2 (en) 2016-04-29 2021-03-09 Microsoft Technology Licensing, Llc Facilitating interaction among digital personal assistants
US10824932B2 (en) 2016-04-29 2020-11-03 Microsoft Technology Licensing, Llc Context-aware digital personal assistant supporting multiple accounts
US20170351330A1 (en) * 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
US10847154B2 (en) * 2016-07-26 2020-11-24 Sony Corporation Information processing device, information processing method, and program
US10395652B2 (en) 2016-09-20 2019-08-27 Allstate Insurance Company Personal information assistant computing system
CN106486111B (zh) * 2016-10-14 2020-02-07 北京光年无限科技有限公司 基于智能机器人的多tts引擎输出语速调节方法及***
CN109154948B (zh) 2017-03-01 2023-04-25 微软技术许可有限责任公司 用于提供内容的方法和装置
US10853717B2 (en) 2017-04-11 2020-12-01 Microsoft Technology Licensing, Llc Creating a conversational chat bot of a specific person
US10237209B2 (en) * 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
US10643632B2 (en) 2018-01-12 2020-05-05 Wells Fargo Bank, N.A. Automated voice assistant personality selector
US11509659B2 (en) 2018-09-18 2022-11-22 At&T Intellectual Property I, L.P. Context-based automated task performance for user contacts
CN115277951A (zh) * 2022-07-26 2022-11-01 云南电网有限责任公司信息中心 一种智能语音外呼方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1987003411A1 (en) * 1985-11-27 1987-06-04 The Trustees Of Boston University Pattern encoding system
US6021403A (en) * 1996-07-19 2000-02-01 Microsoft Corporation Intelligent user assistance facility
US6185534B1 (en) * 1998-03-23 2001-02-06 Microsoft Corporation Modeling emotion and personality in a computer user interface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters

Also Published As

Publication number Publication date
EP1490864A2 (en) 2004-12-29
CN1643575A (zh) 2005-07-20
AU2003225620A1 (en) 2003-09-09
WO2003073417A3 (en) 2003-12-04
EP1490864A4 (en) 2006-03-15
WO2003073417A2 (en) 2003-09-04

Similar Documents

Publication Publication Date Title
CN100339885C (zh) 智能个人助理
Feine et al. A taxonomy of social cues for conversational agents
CN110688911B (zh) 视频处理方法、装置、***、终端设备及存储介质
US20030167167A1 (en) Intelligent personal assistants
Heidemann A System for Describing Vocal Timbre in Popular Song.
US20030187660A1 (en) Intelligent social agent architecture
CN109040471B (zh) 情绪提示方法、装置、移动终端以及存储介质
Brown et al. (Im) politeness: Prosody and gesture
US11646026B2 (en) Information processing system, and information processing method
JP2006061632A (ja) 感情データ提供装置、心理解析装置、および電話ユーザ心理解析方法
JP2007272773A (ja) 対話型インターフェイス制御システム
CN109308178A (zh) 一种语音画图方法及其终端设备
CN112148850A (zh) 动态交互方法、服务器、电子设备及存储介质
CN114566187B (zh) 操作包括电子装置的***的方法、电子装置及其***
CN112883181A (zh) 会话消息的处理方法、装置、电子设备及存储介质
KR20170135598A (ko) 특정인의 합성된 가상 음성을 이용한 음성 대화 시스템 및 방법
CN111063346A (zh) 基于机器学习的跨媒体明星情感陪伴交互***
JPH0981174A (ja) 音声合成システムおよび音声合成方法
CN110781327A (zh) 图像搜索方法、装置、终端设备及存储介质
CN110781329A (zh) 图像搜索方法、装置、终端设备及存储介质
JP2006109966A (ja) 音ゲーム機および携帯電話機
JPWO2019167848A1 (ja) データ変換システム、データ変換方法及びプログラム
CN110795581B (zh) 图像搜索方法、装置、终端设备及存储介质
Fujita et al. Virtual cognitive model for Miyazawa Kenji based on speech and facial images recognition.
CN114745349B (zh) 一种点评方法、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20070926

CX01 Expiry of patent term