CN103927321B - 使用众包改进情感分析的方法和*** - Google Patents

使用众包改进情感分析的方法和*** Download PDF

Info

Publication number
CN103927321B
CN103927321B CN201410002073.4A CN201410002073A CN103927321B CN 103927321 B CN103927321 B CN 103927321B CN 201410002073 A CN201410002073 A CN 201410002073A CN 103927321 B CN103927321 B CN 103927321B
Authority
CN
China
Prior art keywords
theme
computer
sentiment analysis
emotion
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410002073.4A
Other languages
English (en)
Other versions
CN103927321A (zh
Inventor
包胜华
邓豫
郭宏蕾
胡琪
J·A·拉雷多
R·瓦库林
M·武科维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103927321A publication Critical patent/CN103927321A/zh
Application granted granted Critical
Publication of CN103927321B publication Critical patent/CN103927321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种使用众包改进情感分析的方法和***。公开了一种用于管理情感分析的方法和计算机。计算机取回用于执行所述情感分析的数据。所述计算机分析所述数据和所述情感分析以便确定是否存在需要进一步处理以改进所述情感分析的差距。响应于确定存在需要进一步处理以改进所述情感分析的差距,所述计算机生成任务以解决所述差距。所述计算机然后使用众包提交所生成的任务以便处理。

Description

使用众包改进情感分析的方法和***
技术领域
本公开一般地涉及使用数据处理***进行情感分析,具体地说,涉及管理情感分析的改进。更具体地说,本公开涉及使用众包(crowdsourcing)执行与改进情感分析有效性关联的指定任务。
背景技术
社交媒体和Web 2.0显著增强了因特网上的交互式信息共享和协作。诸如和Twitter之类的社交网络站点提供了协作工具,这些工具允许用户通过与其他计算机用户交换消息来彼此交互。典型的协作工具包括用于聊天、发短信、即时消息传送、多媒体消息传送、电子邮件、会议、微博以及评论的工具。
用户有时通过使用协作工具表达有关实体的特性和各方面的情感。实体是单独存在的某种事物,尽管它不需要物理存在。实体被定义为特定且分立的单元。例如,实体可以是个人、组织、事物、抽象观念、问题、解决方案以及特定类型的活动。所讨论的实体可以是具体命名的个人、地方或事物,有时可以包括未命名实体。实体的一个方面是实体向人眼或心灵展示的外观。实体的某些方面包括物理外观,例如基于视觉、触觉、嗅觉以及其他感觉的物理外观。实体的其他方面包括对抽象概念的描述,例如特定哲学的某一方面。更具体地说,实体可以具有将一个实体与其他实体进行对比的各方面。
对实体的某一方面的情感是对该实体的该方面的肯定、否定或中立观点的主观表达。例如,可以在例如-5至+5之间的标度定义对实体的某一方面的情感,其中-5表示最否定,+5表示最肯定,0为中立。
情感分析指应用自然语言处理、计算语言以及文本分析来标识并提取源材料中的主观信息。使用情感分析,计算机程序可以挖掘源材料以获得有关实体的各方面的用户情感。然而,可能存在差距,其中对源材料的情感分析被确定不足以获得有关某些实体的某些方面的情感。
众包是一种用于执行特定类型任务的过程。在众包工作或程序中,邀请一大群期望提供相关服务的组织、个人和其他实体(例如特定的提供者团体或公众)参与任务请求者提出的任务。目前,众包平台可以用作任务请求者和有兴趣承担或参与任务执行的提供者之间的代理或中介。众包平台通常允许请求者发布或广播他们的难题和任务,并进一步允许成功完成任务的参与提供者接收指定的货币报酬或其他奖励。 是目前可用平台的实例。
然而,目前没有***或过程可用于创建和提交众包任务以便解决对源材料的情感分析中的计算机标识的差距,所述情感分析被确定为不足以获得有关实体的各方面的情感。
因此,具有一种考虑上面所讨论的至少某些问题以及可能考虑其他问题的方法、数据处理***和计算机程序产品是有利的。
发明内容
在一个示例性实施例中,公开了一种用于管理情感分析的方法、数据处理***和计算机程序产品。数据处理***分析数据和情感分析以便确定是否存在需要进一步处理以改进所述情感分析的差距。响应于确定存在需要进一步处理以改进所述情感分析的差距,所述数据处理***生成任务以解决所述差距。所述数据处理***然后使用众包提交所生成的任务以便处理。
附图说明
图1是根据一个示例性实施例的用于管理情感分析的情感分析管理环境的图示;
图2是根据一个示例性实施例的在情感分析管理***内的数据处理***中管理情感分析所涉及的组件的方块图;
图3是根据一个示例性实施例的用于管理情感分析的过程的流程图;
图4是根据一个示例性实施例的用于针对与活动对应的实体的各方面管理情感分析的过程的流程图;
图5是根据一个示例性实施例的用于针对实体的各方面标识用户情感和社交网络团体情感的过程的流程图;
图6是根据一个示例性实施例的用于针对与活动对应的实体的各方面生成并发送对其他情感信息的请求的过程的流程图;以及
图7是根据一个示例性实施例的数据处理***的图示。
具体实施方式
所属技术领域的技术人员知道,本发明的各方面可以实现为***、方法或计算机程序产品。因此,本发明的各方面可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“模块”或“***”。此外,在一些实施例中,本发明的各方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件的上下文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括—但不限于—电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括—但不限于—无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明的各方面的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以将这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置的制品。
也可以将计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
示例性实施例认识到并考虑了现有基于Web的应用可用于共享用户的情感信息。基于Web的应用通常在Web服务器上运行。这些基于Web的应用通过生成文档(例如Web页面)并在网络上发送文档和其他数据而与Web浏览器和其他应用通信。通常由计算设备上运行的Web浏览器在显示屏上显示所生成的Web页面。例如,用于众包平台的基于Web的应用可以针对用户帐户所有者生成用户帐户的Web页面。在此实例中,用户帐户所有者可以选择在众包平台中执行和管理任务。例如,响应于接受任务,用户帐户所有者可以例如通过提供与实体的各方面相关的情感,在执行所述任务期间提供问题解答。
如在此使用的,术语“计算设备”意指如下硬件设备:其具有处理器单元并具有在显示设备上显示信息的能力,并且还可以包括在扬声器上发出音频的能力。例如,所述计算设备可以是计算机、具有处理器单元的电视机、智能电话以及任何其他适合的设备。
示例性实施例还认识到并考虑了现有基于Web的应用可用于与社交网络Web站点和其他协作工具的用户共享有关实体的各方面的情感。例如,当用户正在使用社交网络的基于Web的应用时,基于Web的应用可以允许用户输入并共享有关感兴趣主题的情感。通过表达有关感兴趣主题的情感,用户可以提供有关与感兴趣主题关联的实体的特定方面的情感。例如,用户可以提供与特定实体的特定方面有关的肯定或否定观点。
示例性实施例还认识到并考虑了用于执行自然语言处理、计算语言和文本分析的现有情感分析工具可用于标识并提取源材料中的主观信息。这些情感分析工具可用于从用户输入到社交网络和协作工具中的信息标识有关实体的各方面的用户情感。
因此,不同的示例性实施例提供了管理情感分析的方法、装置和计算机程序产品。例如,不同的示例性实施例可以使用管理情感分析的过程。例如,情感分析管理***可以取回用于针对与活动对应的实体的各方面执行情感分析的数据。所述情感分析管理***可以分析所述数据和所述情感分析以便确定是否存在需要进一步处理以改进所述情感分析的差距。在此实例中,所述差距对应于与所述实体的特定方面有关的主题。所述情感分析管理***可以根据与所述差距的差距类型对应的模板生成任务以解决所述差距。所述情感分析管理***还可以使用众包提交所生成的任务以便处理。在提交所述任务以便处理之后,所述情感分析管理***可以接收处理所述任务的结果。响应于接收处理所述任务的结果,所述情感分析管理***然后可以根据所述结果重新计算所述情感分析。
现在参考附图,具体地说参考图1,其中示出了根据一个示例性实施例的用于管理情感分析的情感分析管理环境的图示。在此示例性实例中,以方块图形式示出了情感分析管理环境100。
在这些示例性实例中,用户(例如用户101)可以使用在计算设备(例如情感分析管理环境100中的客户端设备102)上运行的客户端应用。在客户端设备102上运行的客户端应用可以采取各种形式。例如,客户端应用可以包括以下项中的至少一个:Web浏览器、情感分析管理应用、数据库应用、智能电话应用,以及用于情感分析管理环境100的其他适合类型的应用。在这些示例性实例中,Web浏览器可以在客户端设备102的显示屏上显示信息,并且还可以通过使用扬声器发出音频向用户101提供信息。
如在此使用的,词组“至少一个”当与项目列表一起使用时,意指可以使用一个或多个列出的项目的不同组合,并且可能只需要列表中每个项目中的一个。例如,“项目A、项目B和项目C中的至少一个”例如可以包括但不限于项目A或者项目A和项目B。此实例还可以包括项目A、项目B和项目C,或者项目B和项目C。在其他实例中,“至少一个”例如可以是但不限于两个项目A、一个项目B和10个项目C;四个项目B和七个项目C;以及其他适合的组合。
如所示出的,客户端设备102通过网络104与情感分析管理***106通信。在这些示例性实例中,用户101可以将活动108发送到情感分析管理***106以便处理。活动108可以是开发项目,例如建造电影院、公路、公共设施、政府设施、房屋、商品,以及可使用情感分析的任何其他类型的活动。
还如所示出的,情感分析管理***106和客户端设备102可以通过网络104与社交网络110和众包平台112通信。在这些示例性实例中,社交网络110可以是具有用户(例如用户101)输入的数据114的基于Web的应用。如所示出的,数据114可以包括有关与活动(例如活动108)关联的实体的各方面的情感116。例如,社交网络110的一个或多个成员可以具有有关与活动108对应的实体的一个或多个方面的先前输入的情感116。社交网络110可以提供服务以搜索、浏览、输入和修改数据114。
在这些示例性实例中,众包平台112用作任务请求者和有兴趣承担或参与任务(与改进活动的情感分析关联)执行的提供者之间的代理或中介。如所示出的,情感分析管理***106生成任务并向提供者发出请求以便经由众包平台112处理任务。在这些示例性实例中,情感分析管理***106在过程中使用众包平台112来改进针对活动108的情感分析。例如,情感分析管理***106可以使用众包平台112发布任务,所述任务与使用对应于活动108的实体的特定方面的情感分析来解决问题关联。在此实例中,提供者可以执行所述任务并提供众包信息118。例如,众包信息118可以包括对其他情感调查的响应,以及对与使用情感分析解决所述问题关联的问题的其他响应。
在这些示例性实例中,域本体(domain ontology)120位于情感分析管理环境100中。域本体120可以包括与活动108关联的一个或多个实体的一个或多个方面、与活动108相关的一个或多个其他活动、与每个方面和相关活动的情感关联的优先次序信息,以及适合于用于标识与活动108关联的任务的其他信息。例如,域本体120可以用于政府域、商业域以及其他适合的域。在此实例中,域本体120可以包括对目标活动(例如电影院建造、政府服务建造以及其他适合的活动)的描述。在这些示例性实例中,域本体120可以包括对与目标活动相关的可能问题(例如交通问题、安全问题、环境问题、服务问题以及其他适合的问题)的描述。域本体120还可以包括对与活动相关的实体的各方面(例如位置的各方面、设施的各方面、组织的各方面以及实体的其他适合的各方面)的描述。域本体120可以还包括目标受众的特征,例如兴趣、职业、年龄、性别以及目标受众的其他适合的特征。
如所示出的,情感分析管理***106可以使用域本体120标识与改进活动108的情感分析关联的任务。例如,在分析情感116和域本体120之后,情感分析管理***106可以标识与有关域本体120中的实体各方面的情感116关联的问题。在此实例中,情感分析管理***106可以生成与解决问题关联的任务,并将所述任务发送到众包平台112以便处理。作为另一个实例,在分析情感116和域本体120之后,情感分析管理***106可以标识与域本体120中的信息关联的问题。在此实例中,域本体120中的实体和/或实体方面的定义可能需要细化。作为另一个实例,可能需要更多的训练数据以改进情感分析管理***106的能力,以便分析数据114以标识情感116。
在这些示例性实例中,计算机***组126中的计算机***128是一个或多个计算机。此外,如在此使用的,“组”当与项目参考一起使用时意指一个或多个项目。例如,计算机***组126是一个或多个计算机***。当计算机***128是多个计算机时,所述计算机***可以采取计算机群集、计算机***组126,或者其他被配置为运行服务器应用130的计算机***配置的形式。
情感分析管理***106使用位于计算机***组126中的计算机***128上的服务器应用130。在这些示例性实例中,计算机***是一个或多个计算机。服务器应用130可以是任何被配置为处理通信以提供服务132的应用。服务器应用130例如可以是数据库服务器、文件传输协议(FTP)服务器、Web服务器、邮件服务器和/或其他适合类型的应用中的至少一个。服务132例如可以包括取回文件、取回Web页面、取回信息、写入信息、下载程序和/或其他适合类型的访问中的至少一项。
情感分析管理***106可以使用硬件、软件或两者的组合来实现。在这些示例性实例中,情感分析管理***106被配置为使用计算机***组126管理情感分析。在这些示例性实例中,情感分析管理***106被配置为使用服务器应用130的服务132。例如,情感分析管理***106可以使用服务132中的服务以便针对有关活动108的数据114和域本体120执行情感分析。作为另一个实例,情感分析管理***106可以使用服务132中的另一个服务来生成并发布任务(例如情感分析管理***106标识的任务)以便改进情感分析。在这些示例性实例中,情感分析管理***106可以被实现为用户用于管理活动的情感分析的服务器,例如Web服务器。
图1中的情感分析管理环境100的图示并不意味着暗示对其中可以实现不同示例性实施例的方式的物理或架构限制。除了所示组件之外和/或替代所示组件,还可以使用其他组件。某些组件可能不是必须的。此外,提供方块以例示某些功能组件。当在一个示例性实施例中实现时,这些方块中的一个或多个可以被组合和/或分成不同的方块。
例如,在某些示例性实例中,除社交网络110之外,可以在情感分析管理环境100中存在其他社交网络。此外,尽管情感分析管理***106被示为与计算机***组126分离的方块,但情感分析管理***106可以在计算机***128中实现。在其他实例中,情感分析管理***106可以在计算机***组126内的一个或多个计算机***中实现。
此外,尽管社交网络110、众包平台112以及情感分析管理***106被示出在情感分析管理环境100的方块中,但它们可以相互远离,例如位于不同的位置中。例如,社交网络110可以位于第一物理位置中,而众包平台112可以位于不同于第一物理位置的第二物理位置中。
接下来转到图2,其中示出了根据一个示例性实施例的在情感分析管理***内的数据处理***中管理情感分析所涉及的组件的方块图。情感分析管理***200是图1内的情感分析管理环境100中的情感分析管理***106的一种实施方式的实例。
在此示例性实例中,在情感分析***200中存在数据处理***202。数据处理***202可以是实现情感分析管理***200的硬件组件的任意组合。数据处理***202包括情感分析管理服务204。在这些示例性实例中,情感分析管理服务204包括多个管理情感分析的服务。偏好管理206是包括在情感分析管理服务204中的服务,其管理情感分析管理***200的用户的用户简档。
如所示出的,偏好简档208包括情感分析管理***200的用户在情感分析管理***200中的一个或多个简档。在这些示例性实例中,简档210是位于简档208中的用户的简档。简档208中的每个简档都是情感分析管理***200的用户的帐户或其他信息记录。在这些示例性实例中,简档(例如简档210)包括情感分析管理***200的用户的偏好212。用户、管理员以及规则可以使用默认偏好选择用户的偏好212。偏好212包括集成偏好214,其用于使用社交网络和众包平台。偏好212还可以包括策略216,其用于确定是否需要进一步处理以改进情感信息分析,并且还用于确定谁发送任务以解决情感分析中的差距。在这些示例性实例中,策略216可以指定其情感信息必须满足特定阈值的实体的各方面。所述策略可以包括与实体的某一方面有关的情感信息质量阈值、与实体的某一方面有关的情感信息分布阈值、没有与实体的某一方面有关的情感信息,以及用于确定情感信息是否足以进行情感分析的其他适合的阈值。
在这些示例性实例中,简档210中的集成偏好214包括一个或多个服务器(例如服务器218)的标识。集成偏好214还可以包括用于与服务器218通信的信息的标识。例如,用于与服务器218通信的信息可以包括服务器218在网络(例如网络220)上使用的网络协议的标识、服务器218在网络220中的网络地址的标识、用于获得对服务器218中的数据222的访问的用户名和密码的标识,以及用于与情感分析管理***200中的服务器218通信的任何其他适合的信息。
在这些示例性实例中,服务器218可以托管一个或多个Web站点,例如图1中的社交网络110和众包平台112。如所示出的,服务器218可以包括数据222,例如情感信息224和社交网络226。在这些示例性实例中,情感信息224和社交网络226可以用于执行情感分析。情感信息224是图1中的情感116的实例。在这些示例性实例中,情感信息224可以包括与实体的各方面有关的一种或多种情感。例如,情感信息224中的情感可以包括对与实体的各方面有关的肯定、否定和中立观点的主观表达。社交网络226是服务器218的用户(例如从图1中的数据114取回的图1中的用户101)的社交网络的实例。在这些示例性实例中,社交网络226可以包括关系的标识、成员、已知即时消息标识符、已知电子邮件标识符、已知电话号码、公司协会、法律协会,以及情感分析管理***200中的服务器218的用户的任何其他适合的社交网络信息。
情感分析服务228是包括在情感分析管理服务204中的服务,其用于从情感信息224生成情感分析。在这些示例性实例中,情感分析服务228从域本体230取回实体234的各方面236以生成情感分析232。域本体230是图1中的域本体120的实例。如所示出的,情感分析服务228根据数据222确定情感测量238。情感测量238可以包括情感信息224的质量240、情感信息224的分布242,以及情感分析管理***200中的任何其他适合的情感测量。在这些示例性实例中,情感信息224的质量240可以包括以下项中的一个或多个:表达相同情感的用户数量的计数、所表达的情感有意义的置信水平、一个组中同意某情感的成员数量、指示每种情感的强度的加权值、情感信息与满足目标受众特征的用户的关联,以及与实体的各方面有关的情感信息的任何其他适合的质量。
差距标识242是包括在情感分析管理服务204中的服务,其用于标识其中需要进一步处理以改进情感分析232的差距(例如差距244)。在这些示例性实例中,差距标识242使用策略216根据不满足策略216中的一个或多个阈值的情感测量来标识差距244。
众包任务管理248是包括在情感分析管理服务204中的服务,其用于管理任务以改进情感分析232。如所示出的,众包任务管理248从与差距244的差距类型匹配的任务模板(例如任务模板254中的任务模板256)生成任务250。在这些示例性实例中,任务250包括用于执行由众包任务管理248生成的任务250的规范252。规范252可以包括对活动246的描述、域本体230、对差距244的描述、对任务250的描述、情感信息224、有关与差距244关联的实体234的各方面236的情感测量238、有关任务模板256中的调查的问题,以及用于完成任务250以解决差距244的其他适合的说明。
在这些示例性实例中,众包任务管理248标识一个或多个实体(例如众包258)以执行任务250。如所示出的,众包任务管理248可以根据用户262中的每个用户的情感264、兴趣266以及活动268,从用户262标识众包258。例如,众包任务管理248可以根据用户262中具有满足策略216中如下策略的情感264、兴趣266以及活动268的用户来选择众包258:用于选择用户以执行与情感分析232中的差距关联的任务。如所示出的,活动268是每个用户输入的情感的历史以及每个用户执行的任务的历史。在这些示例性实例中,情感264是众包平台的用户先前例如在先前活动268中标识的情感的实例。如所示出的,兴趣266标识用户是其专家的实体的各方面。众包任务管理248可以根据情感264和活动268确定兴趣266。还可以由用户在先前选择兴趣266。
众包任务管理248将生成的任务250发送到众包258并从众包258接收任务响应270。在这些示例性实例中,任务响应270可以包括处理任务250的结果,例如除情感信息224以外的其他情感信息。在接收任务响应270之后,众包任务管理248可以将在响应270中返回的处理任务的结果添加到数据222。众包任务管理248还可以在活动268中记录所述响应。众包任务管理248还可以将在响应270中提供的任何情感信息记录到情感264。
在这些示例性实例中,情感分析服务228然后可以部分地根据在响应270中返回的处理所述任务的结果而重新计算情感分析232。在这些示例性实例中,差距标识242还可以用于根据情感分析232确定在任务响应270中返回的结果是否已经弥补差距244。例如,当策略216中标识先前情感分析中的差距244的策略不再标识到差距244时,可以确定弥补了差距244。
图2中的情感分析管理环境200的图示并非意味着暗示对其中可以实现不同示例性实施例的方式的物理或架构限制。除了所示组件之外和/或替代所示组件,可以使用其他组件。某些组件可能不是必须的。此外,提供方块以示出某些功能组件。当在一个示例性实施例中实现时,这些方块中的一个或多个可以被组合和/或分成不同的方块。
例如,在某些示例性实例中,除被示出为情感分析管理服务204的服务之外,可以在情感分析管理***200中存在其他服务。例如,可以在情感分析管理***200中包括图1内的服务132中的服务,其用于授权诸如图1中的客户端设备102之类的计算设备。在此实例中,在允许客户端设备102访问偏好简档208、活动246、情感分析232、任务250、任务响应270、域本体230、任务模板254以及情感分析管理***200中的其他信息之前,策略218中的策略可能要求客户端设备102的授权。
作为另一个实例,可以在情感分析管理***200中包括图2内的情感分析管理服务204中的服务,其用于取回情感分析信息,例如域本体230、任务模板254以及情感分析服务228的训练数据。在此实例中,可以按照选定间歇或根据情感分析232中的问题标识来执行用于取回情感分析信息的服务。此外,在此实例中,还可以响应于来自服务器218或众包260的如下通知而执行用于取回情感分析信息的服务:情感分析管理***200先前取回的情感分析信息已经发生更改。
接下来转到图3,其中示出了根据一个示例性实施例的用于管理情感分析的过程的流程图的一个示例性实例。图3中的步骤可以在图2内的授权管理***200中实现。具体地说,所述过程中的步骤可以以软件、硬件或两者的组合在图2的数据处理***202内的情感分析管理服务204中实现。
所述过程首先取回用于执行情感分析的数据(步骤300)。在此例示的过程中,所述数据是图2中的数据222的实例,所述情感分析是图2中由图2中的情感分析服务228生成的情感分析232的实例。
所述过程接下来分析所述数据和所述情感分析以便确定是否存在需要进一步处理以改进所述情感分析的差距(步骤302)。在此例示的过程中,所述差距是图2中由图2中的差距标识242确定的差距244的实例。
如在步骤304中所示,如果所述差距不存在,则所述过程终止。否则,如果所述差距存在,则所述过程继续生成任务以解决所述差距(步骤306)。在此例示的过程中,所述任务是图2中由图2中的众包任务管理248生成的任务250的实例。
所述过程然后例如通过使用众包平台,使用众包提交所生成的任务以便处理(步骤308),并且之后所述过程终止。在此例示的过程中,所述众包平台是图1中的众包平台112的实例。
接下来转到图4,其中示出了根据一个示例性实施例的用于针对与活动对应的实体的各方面管理情感分析的过程的流程图的一个示例性实例。图4中的步骤可以在图2内的授权管理***200中实现。具体地说,所述过程中的步骤可以以软件、硬件或两者的组合在图2的数据处理***202内的情感分析管理服务204中实现。
所述过程首先取回用于针对与活动对应的实体的各方面执行情感分析的数据(步骤400)。在此例示的过程中,所述数据是图2中的数据222的实例,所述情感分析是图2中的情感分析232的实例,所述实体的各方面是图2中的实体234的各方面236的实例。
所述过程接下来分析所述数据和所述情感分析以便确定是否存在需要进一步处理以改进所述情感分析的差距,其中所述差距对应于与所述实体的特定方面有关的主题(步骤402)。在此例示的过程中,所述差距是图2中由图2中的差距标识242确定的差距244的实例。
如在步骤404中所示,如果所述差距不存在,则所述过程终止。否则,如果所述差距存在,则所述过程继续根据与所述差距的差距类型对应的模板来生成任务以解决所述差距(步骤406)。所述过程然后使用众包提交所生成的任务以便处理(步骤408)。
提交所述任务以便处理之后,所述过程接收处理所述任务的结果(步骤410)。所述过程然后根据所述结果重新计算所述情感分析(步骤412),并且所述过程继续到步骤402。
接下来转到图5,其中示出了根据一个示例性实施例的用于针对实体的各方面标识用户情感和社交网络团体情感的过程的流程图的一个示例性实例。图5中的步骤可以在图2内的授权管理***200中实现。具体地说,所述过程中的步骤可以以软件、硬件或两者的组合在图2的数据处理***202内的情感分析管理服务204中实现。
所述过程首先从可包含与实体的各方面有关的用户情感的信息源取回数据,所述源包括论坛、博客、社交网络Web站点、协作工具以及其他适合的源(步骤500)。所述过程接下来根据用户在所取回的数据中输入的情感信息量来标识与实体关联的用户(步骤502)。所述过程接收有关用户的标识与该用户关联的用户组的社交网络信息(步骤504)。所述过程使用有关所述用户的社交网络信息和所取回的数据,针对所述用户的社交网络确定有关所述实体的团体情感(步骤506)。所述过程然后在存储库中存储所述用户、有关所述用户的社交网络信息、所述实体、所述情感信息以及所述团体情感(步骤508),并且之后所述过程终止。
接下来转到图6,其中示出了根据一个示例性实施例的用于针对与活动对应的实体的各方面生成并发送对其他情感信息的请求的过程的流程图的一个示例性实例。图6中的步骤可以在图2内的授权管理***200中实现。具体地说,所述过程中的步骤可以以软件、硬件或两者的组合在图2的数据处理***202内的情感分析管理服务204中实现。
所述过程首先通过使用描述实体和与实体关联的活动的本体来标识与活动对应的实体的各方面(步骤600)。所述过程接下来从所述实体的各方面选择其情感信息无法满足以下项之一的阈值的一组方面:有关相应方面的情感信息质量、有关相应方面的情感信息分布以及没有有关相应方面的情感信息(步骤602)。所述过程然后针对一组选定方面中的每个方面生成并发送对其他情感信息的请求(步骤604),并且之后所述过程终止。
现在转到图7,其中示出了根据一个示例性实施例的数据处理***的图示。数据处理***700是可以用于实现管理情感分析管理***中的个人数据访问授权的数据处理***的实例。数据处理***700也是可以用于实现图1中的情感分析管理***106和图1中的计算机***128的数据处理***的实例。更具体地说,数据处理***700可以用于实现图2中的数据处理***202和图2中的服务器224。在此示例性实例中,数据处理***700包括通信框架702,其在处理器单元704、存储器706、永久性存储装置708、通信单元710、输入/输出(I/O)单元712以及显示装置714之间提供通信。在这些实例中,通信框架702可以是总线***。
处理器单元704用于执行可以被载入存储器706的软件指令。处理器单元704可以是多个处理器、多处理器核心或者某种其他类型的处理器,具体取决于特定的实施方式。数量,如在此与项目参考一起使用的那样,意指一个或多个项目。此外,处理器单元704可以使用多个异构处理器***(其中主处理器与辅助处理器存在于一个芯片上)实现。作为另一个示例性实例,处理器单元704可以是包含多个相同类型的处理器的对称多处理器***。
存储器706和永久性存储装置708是存储设备716的实例。存储设备是任何能够临时和/或永久存储信息(例如但不限于数据、功能形式的程序代码和/或其他适合的信息)的硬件。在这些实例中,存储设备716也可以被称为计算机可读存储设备。在这些实例中,存储器706例如可以是随机存取存储器或者任何其他适合的易失性或非易失性存储设备。永久性存储装置708可以采取各种形式,具体取决于特定的实施方式。
例如,永久性存储装置708可以包含一个或多个组件或设备。例如,永久性存储装置708可以是硬盘驱动器、闪存、可重写光盘、可重写磁带或者以上各项的某种组合。永久性存储装置708使用的介质也可以是移动的。例如,可以将可移动硬盘驱动器用于永久性存储装置708。
在这些实例中,通信单元710提供与其他数据处理***或设备的通信。在这些实例中,通信单元710是网络接口卡。通信单元710可以通过使用物理和无线通信链路之一或两者来提供通信。
输入/输出单元712允许使用可以连接到数据处理***700的其他设备来输入和输出数据。例如,输入/输出单元712可以提供连接以便用户通过键盘、鼠标和/或某种其他适合的输入设备来输入。此外,输入/输出单元712可以将输出发送到打印机。显示器714提供向用户显示信息的机制。
操作***、应用和/或程序的指令可以位于存储设备716中,存储设备716通过通信框架702与处理器单元704通信。在这些示例性实例中,所述指令以功能形式位于永久性存储装置708上。这些指令可以被载入存储器706以便由处理器单元704执行。处理器单元704可以使用可位于存储器(例如存储器706)中的计算机实现的指令来执行不同实施例的过程。
这些指令被称为程序代码、计算机可用程序代码或计算机可读程序代码,它们可以由存储器单元704中的处理器读取并执行。不同实施例中的程序代码可以包含在不同物理或计算机可读存储介质(例如存储器706或永久性存储装置708)上。
程序代码718以功能形式位于可选择性地移除的计算机可读介质720上,并可以被加载或传输到数据处理***700以便由处理器单元704执行。在这些实例中,程序代码718和计算机可读介质720形成计算机程序产品722。在一个实例中,计算机可读介质720可以是计算机可读存储介质724或计算机可读信号介质726。计算机可读存储介质724例如可以包括光或磁盘,其被***或放到是永久性存储装置708一部分的驱动器或其他设备中以便传输到是永久性存储装置708一部分的存储设备(例如硬盘驱动器)。计算机可读存储介质724也可以采取连接到数据处理***700的永久性存储装置的形式,例如硬盘驱动器、拇指驱动器或闪存。在某些实例中,计算机可读存储介质724可能不可从数据处理***700移除。在这些实例中,计算机可读存储介质724是用于存储程序代码718的物理或有形存储设备,而不是传播或传输程序代码718的介质。计算机可读存储介质724也被称为计算机可读有形存储设备或计算机可读物理存储设备。换言之,计算机可读存储介质724是个人可以触摸到的介质。
备选地,可以使用计算机可读信号介质726将程序代码718传输到数据处理***700。计算机可读信号介质726例如可以是包含程序代码718的传播数据信号。例如,计算机可读信号介质726可以是电磁信号、光信号和/或任何其他适合类型的信号。这些信号可以通过诸如无线通信链路、光缆、同轴电缆、电线和/或任何其他适合类型的通信链路之类的通信链路传输。换言之,在示例性实例中,通信链路和/或连接可以是物理或无线的。
在某些示例性实施例中,可以在网络上通过计算机可读信号介质726将程序代码718从其他设备或数据处理***下载到永久性存储装置708,以便在数据处理***700中使用。例如,可以通过网络将存储在服务器数据处理***内的计算机可读存储介质中的程序代码从所述服务器下载到数据存储***700。提供程序代码718的数据处理***可以是服务器计算机、客户端计算机或者能够存储并传输程序代码718的某种其他设备。
针对数据处理***700示出的不同组件并非意味着提供对其中可以实现不同实施例的方式的架构限制。可以在如下数据处理***中实现不同的示例性实施例:其包括除了针对数据处理***700示出的组件之外或替代示出的组件的组件。在示出的示例性实例中,图7中所示的其他组件可以有所不同。可以使用任何能够运行程序代码的硬件设备或***实现不同的实施例。作为一个实例,所述数据处理***可以包括与无机组件集成的有机组件和/或可以完全由不包括人类的有机组件组成。例如,存储设备可以包括有机半导体。
在另一个示例性实例中,处理器单元704可以采取硬件单元的形式,所述硬件单元具有针对特定使用而制造或配置的电路。此类硬件无需将程序代码从被配置为执行操作的存储设备加载到存储器即可执行操作。
例如,当处理器单元704采取硬件单元的形式时,处理器单元704可以是电路***、专用集成电路(ASIC)、可编程逻辑器件或者被配置为执行多个操作的某种其他适合类型的硬件。对于可编程逻辑器件,所述器件被配置为执行所述多个操作。所述器件可以在以后被重新配置或者可以被永久配置为执行所述多个操作。可编程逻辑器件的实例例如包括可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列以及其他适合的硬件器件。对于此类实施方式,程序代码718可以被省略,因为在硬件单元中实现不同实施例的过程。
在另一个示例性实例中,处理器单元704可以使用计算机和硬件单元中的处理器的组合来实现。处理器单元704可以具有多个硬件单元和多个被配置为运行程序代码718的处理器。对于此所示实例,可以在所述多个硬件单元中实现某些过程,而可以在所述多个处理器中实现其他过程。
在另一个实例中,总线***可以用于实现通信框架702,并可以包括一条或多条总线(例如***总线或输入/输出总线)。当然,所述总线***可以使用任何适合类型的架构来实现,所述架构在连接到所述总线***的不同组件或设备之间提供数据传输。
此外,通信单元可以包括多个发送数据、接收数据或者发送和接收数据的设备。通信单元例如可以是一个调制解调器或一个网络适配器、两个网络适配器或者它们的某种组合。此外,存储器例如可以是存储器706,或者是例如在可以存在于通信框架702中的接口和存储器控制器集线器中的高速缓存。
因此,示例性实施例提供了一种用于管理情感分析的方法、数据处理***和计算机程序产品。在一个实例中,程序在计算机***中运行,并且通过生成并发送任务以解决在情感分析中标识的差距来管理所述情感分析。在另一个实例中,所述程序使用众包标识有兴趣承担或参与所述任务的执行以解决在所述情感分析中标识的差距的提供者。
在此使用的术语只是为了描述特定的实施例并且并非旨在作为本发明的限制。如在此使用的,单数形式“一”、“一个”和“该”旨在同样包括复数形式,除非上下文明确地另有所指。还将理解,当在此说明书中使用时,术语“包括”和/或“包含”指定了声明的特性、整数、步骤、操作、元素和/或组件的存在,但是并不排除一个或多个其他特性、整数、步骤、操作、元素、组件和/或其组合的存在或增加。
附图中的流程图和框图显示了根据本发明的各实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
以下的权利要求中的对应结构、材料、操作以及所有功能性限定的装置或步骤的等同替换,旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能的结构、材料或操作。所给出的对本发明的描述其目的在于示意和描述,并非是穷尽性的,也并非是要将本发明限定到所表述的形式。对于所属技术领域的普通技术人员来说,在不偏离本发明范围和精神的情况下,显然可以作出许多修改和变型。对实施例的选择和说明,是为了最好地解释本发明的原理和实际应用,使所属技术领域的普通技术人员能够明了,本发明可以有适合所要的特定用途的具有各种改变的各种实施方式。

Claims (16)

1.一种用于管理情感分析的方法,所述方法包括:
由计算机取回用于执行所述情感分析的数据;以及
由所述计算机分析所述数据和所述情感分析以便确定是否由于存在差距而需要进一步处理以改进所述情感分析,其中,所述情感分析针对与活动对应的实体的各方面,所述差距指所述数据中的情感信息不满足预定的阈值,对应于与所述实体的特定方面有关的主题;并且
响应于需要进一步处理以改进所述情感分析,生成任务以解决所述差距并使用众包提交所述任务以便处理,其中所述使用众包提交所述任务以便处理的步骤进一步包括:
由所述计算机根据与从每个用户取回的数据中的主题有关的情感信息量来标识与所述实体的所述方面有关的主题所关联的用户;
由所述计算机根据每个相应用户的社交网络来确定与每个所述用户的主题有关的团体情感;以及
由所述计算机根据与来自每个用户的主题有关的情感信息量以及与每个用户的主题有关的团体情感而选择所述任务被提交到的一个或多个用户。
2.根据权利要求1的方法,还包括:
由所述计算机根据处理所述任务以解决所述差距的结果而重新计算所述情感分析。
3.根据权利要求1的方法,还包括:
由所述计算机根据所述数据中与所述主题有关的情感信息来标识与所述实体的所述特定方面有关的所述主题。
4.根据权利要求3的方法,其中由所述计算机根据所述数据中与所述主题有关的情感信息来标识与所述实体的所述特定方面有关的所述主题的步骤包括:
由所述计算机针对主题集中的每个主题确定所述数据中的情感信息质量;以及
由所述计算机根据不满足情感信息质量阈值的主题的情感信息质量来选择所述主题。
5.根据权利要求3的方法,其中由所述计算机根据所述数据中与所述主题有关的情感信息来标识与所述实体的所述特定方面有关的所述主题的步骤包括:
由所述计算机针对主题集中的每个主题确定所述数据中的肯定情感和所述数据中的否定情感的分布;以及
由所述计算机根据不满足肯定和否定情感分布阈值的分布来选择所述主题。
6.根据权利要求1的方法,还包括:
由所述计算机根据所述数据中没有与所述实体的所述特定方面有关的信息而标识与所述实体的所述特定方面有关的主题。
7.根据权利要求1的方法,其中由所述计算机生成的任务包括用于根据与所述差距的差距类型对应的模板来解决所述差距的规范。
8.根据权利要求1的方法,还包括:
由所述计算机通过使用描述实体和与所述实体关联的活动的本体来标识与所述活动对应的所述实体的各方面。
9.一种用于管理情感分析的数据处理***,所述数据处理***包括:
一个或多个处理器、一个或多个存储器,以及一个或多个计算机可读存储设备;
第一程序指令,用于取回用于执行所述情感分析的数据;以及
第二程序指令,用于分析所述数据和所述情感分析以便确定是否由于存在差距而需要进一步处理以改进所述情感分析,其中,所述情感分析针对与活动对应的实体的各方面,所述差距指所述数据中的情感信息不满足预定的阈值,对应于与所述实体的特定方面有关的主题,并且,响应于需要进一步处理以改进所述情感分析,生成任务以解决所述差距并使用众包提交所述任务以便处理,
其中所述使用众包提交所述任务以便处理的步骤进一步包括:
由所述计算机根据与从每个用户取回的数据中的主题有关的情感信息量来标识与所述实体的所述方面有关的主题所关联的用户;
由所述计算机根据每个相应用户的社交网络来确定与每个所述用户的主题有关的团体情感;以及
由所述计算机根据与来自每个用户的主题有关的情感信息量以及与每个用户的主题有关的团体情感而选择所述任务被提交到的一个或多个用户,
其中所述第一程序指令和所述第二程序指令被存储在所述一个或多个计算机可读存储设备中的至少一个上,以便通过所述一个或多个存储器中的至少一个由所述一个或多个处理器中的至少一个执行。
10.根据权利要求9的数据处理***,还包括:
第三程序指令,用于根据处理所述任务以解决所述差距的结果而重新计算所述情感分析,其中所述第三程序指令被存储在所述一个或多个计算机可读存储设备中的至少一个上,以便通过所述一个或多个存储器中的至少一个由所述一个或多个处理器中的至少一个执行。
11.根据权利要求9的数据处理***,还包括:
第三程序指令,用于根据所述数据中与所述主题有关的情感信息来标识与所述实体的所述特定方面有关的所述主题,其中所述第三程序指令被存储在所述一个或多个计算机可读存储设备中的至少一个上,以便通过所述一个或多个存储器中的至少一个由所述一个或多个处理器中的至少一个执行。
12.根据权利要求11的数据处理***,其中用于根据所述数据中与所述主题有关的情感信息来标识与所述实体的所述特定方面有关的所述主题的第三程序指令包括:
用于针对主题集中的每个主题确定所述数据中的情感信息质量的程序指令;以及
用于根据不满足情感信息质量阈值的主题的情感信息质量来选择所述主题的程序指令。
13.根据权利要求11的数据处理***,其中用于根据所述数据中与所述主题有关的情感信息来标识与所述实体的所述特定方面有关的所述主题的第三程序指令包括:
用于针对主题集中的每个主题确定所述数据中的肯定情感和所述数据中的否定情感的分布的程序指令;以及
用于根据不满足肯定和否定情感分布阈值的分布来选择所述主题的程序指令。
14.根据权利要求9的数据处理***,还包括:
第三程序指令,用于根据所述数据中没有与所述实体的所述特定方面有关的信息而标识与所述实体的所述特定方面有关的主题,其中所述第三程序指令被存储在所述一个或多个计算机可读存储设备中的至少一个上,以便通过所述一个或多个存储器中的至少一个由所述一个或多个处理器中的至少一个执行。
15.根据权利要求9的数据处理***,其中所述任务包括用于根据与所述差距的差距类型对应的模板来解决所述差距的规范。
16.根据权利要求9的数据处理***,还包括:
第三程序指令,用于通过使用描述实体和与所述实体关联的活动的本体来标识与所述活动对应的所述实体的各方面。
CN201410002073.4A 2013-01-15 2014-01-03 使用众包改进情感分析的方法和*** Active CN103927321B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/741,567 2013-01-15
US13/741,567 US9330420B2 (en) 2013-01-15 2013-01-15 Using crowdsourcing to improve sentiment analytics

Publications (2)

Publication Number Publication Date
CN103927321A CN103927321A (zh) 2014-07-16
CN103927321B true CN103927321B (zh) 2018-07-03

Family

ID=51145542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410002073.4A Active CN103927321B (zh) 2013-01-15 2014-01-03 使用众包改进情感分析的方法和***

Country Status (2)

Country Link
US (2) US9330420B2 (zh)
CN (1) CN103927321B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112014008453A2 (pt) * 2011-10-11 2017-04-11 Intel Corp geração automática de código para coleta automática de dados colaborativos
US9330420B2 (en) 2013-01-15 2016-05-03 International Business Machines Corporation Using crowdsourcing to improve sentiment analytics
US10510449B1 (en) 2013-03-13 2019-12-17 Merge Healthcare Solutions Inc. Expert opinion crowdsourcing
US9014983B1 (en) 2014-09-26 2015-04-21 Blue Tribe, Inc. Platform, systems, and methods for obtaining shore and near shore environmental data via crowdsourced sensor network
CN105608236A (zh) * 2014-11-12 2016-05-25 索尼公司 数据记录方法、数据记录装置以及电子设备
US11216529B2 (en) * 2014-12-08 2022-01-04 Verizon Patent And Licensing Inc. Systems and methods for categorizing, evaluating, and displaying user input with publishing content
ZA201501916B (en) * 2014-12-11 2016-08-31 Tata Consultancy Services Ltd Method and system for classifying plant disease through crowdsourcing using a mobile communiacation device
CN105183717B (zh) * 2015-09-23 2018-04-24 东南大学 一种基于随机森林和用户关系的osn用户情感分析方法
US11170172B1 (en) 2015-09-28 2021-11-09 Press Ganey Associates, Inc. System and method for actionizing comments
US10114814B1 (en) * 2015-09-28 2018-10-30 NarrativeDX, Inc. System and method for actionizing patient comments
US10528671B1 (en) 2015-09-28 2020-01-07 NarrativeDX Inc. System and method for actionizing comments using voice data
US9544327B1 (en) 2015-11-20 2017-01-10 International Business Machines Corporation Prioritizing security findings in a SAST tool based on historical security analysis
US9531745B1 (en) 2015-11-20 2016-12-27 International Business Machines Corporation Crowd-sourced security analysis
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10810695B2 (en) 2016-12-31 2020-10-20 Ava Information Systems Gmbh Methods and systems for security tracking and generating alerts
US11816622B2 (en) 2017-08-14 2023-11-14 ScoutZinc, LLC System and method for rating of personnel using crowdsourcing in combination with weighted evaluator ratings

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101099128A (zh) * 2004-11-16 2008-01-02 亚马逊科技公司 提供电子集市以便于人们执行编程提交的任务
CN101609459A (zh) * 2009-07-21 2009-12-23 北京大学 一种情感特征词提取***
CN102096680A (zh) * 2009-12-15 2011-06-15 北京大学 信息有效性分析的方法和装置
CN102754094A (zh) * 2009-10-29 2012-10-24 谷歌公司 对用户产生的网络内容分级

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110238670A1 (en) * 2010-03-23 2011-09-29 Microsoft Corporation Crowd-sourcing and contextual reclassification of rated content
US20110295722A1 (en) 2010-06-09 2011-12-01 Reisman Richard R Methods, Apparatus, and Systems for Enabling Feedback-Dependent Transactions
US8527521B2 (en) * 2010-06-09 2013-09-03 One Hour Translation, Inc. System and method for evaluating the quality of human translation through the use of a group of human reviewers
US20120123948A1 (en) 2010-11-12 2012-05-17 Rachel Fefer Judging Methods And Systems
CN102760264A (zh) * 2011-04-29 2012-10-31 国际商业机器公司 为互联网上的评论生成摘录的计算机实现的方法和***
CA2789701C (en) * 2011-10-11 2020-04-07 Tata Consultancy Services Limited Content quality and user engagement in social platforms
US20130197954A1 (en) * 2012-01-30 2013-08-01 Crowd Control Software, Inc. Managing crowdsourcing environments
US8600796B1 (en) * 2012-01-30 2013-12-03 Bazaarvoice, Inc. System, method and computer program product for identifying products associated with polarized sentiments
US8620718B2 (en) * 2012-04-06 2013-12-31 Unmetric Inc. Industry specific brand benchmarking system based on social media strength of a brand
US9330420B2 (en) 2013-01-15 2016-05-03 International Business Machines Corporation Using crowdsourcing to improve sentiment analytics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101099128A (zh) * 2004-11-16 2008-01-02 亚马逊科技公司 提供电子集市以便于人们执行编程提交的任务
CN101609459A (zh) * 2009-07-21 2009-12-23 北京大学 一种情感特征词提取***
CN102754094A (zh) * 2009-10-29 2012-10-24 谷歌公司 对用户产生的网络内容分级
CN102096680A (zh) * 2009-12-15 2011-06-15 北京大学 信息有效性分析的方法和装置

Also Published As

Publication number Publication date
US20140201749A1 (en) 2014-07-17
US20140201251A1 (en) 2014-07-17
CN103927321A (zh) 2014-07-16
US9330420B2 (en) 2016-05-03

Similar Documents

Publication Publication Date Title
CN103927321B (zh) 使用众包改进情感分析的方法和***
US11775494B2 (en) Multi-service business platform system having entity resolution systems and methods
Venkatesh et al. Managing citizens’ uncertainty in e-government services: The mediating and moderating roles of transparency and trust
US9509655B2 (en) Aligning content and social network audience using analytics and/or visualization
Martins et al. Understanding the Internet banking adoption: A unified theory of acceptance and use of technology and perceived risk application
US11651401B2 (en) Transactional platform
KR102679849B1 (ko) 인간-기계 인터랙션들에서의 커뮤니케이션의 증거 기록
US10748157B1 (en) Method and system for determining levels of search sophistication for users of a customer self-help system to personalize a content search user experience provided to the users and to increase a likelihood of user satisfaction with the search experience
US10097552B2 (en) Network of trusted users
US20150269639A1 (en) Referent-Centric Social Networking
CN104620276A (zh) 基于社交网站上的个人资料对事件的参与者进行建议
CN107741976A (zh) 智能应答方法、装置、介质和电子设备
US20140244363A1 (en) Publication of information regarding the quality of a virtual meeting
US11429833B2 (en) Cognitive communication assistant services
US20220351312A1 (en) System and Method for Searching and Monitoring Assets Available for Acquisition
US20220150188A1 (en) Synchronicity of electronic messages via a transferred secure messaging channel among a system of various networked computing devices
US20230418793A1 (en) Multi-service business platform system having entity resolution systems and methods
CN105955961B (zh) 预约信息处理方法和装置
US11755848B1 (en) Processing structured and unstructured text to identify sensitive information
CA2965457C (en) Computer-implemented system and method for providing on-demand expert advice to a consumer
US20230316186A1 (en) Multi-service business platform system having entity resolution systems and methods
US20210065573A1 (en) Answer validation and education within artificial intelligence (ai) systems
Sołtysik-Piorunkiewicz Knowledge management impact of information technology Web 2.0/3.0. The case study of agent software technology usability in knowledge management system
Bhardwaj et al. Conversational AI—a State‐of‐the‐Art review
KR20220111331A (ko) 진로교육 기관 전문강의 매칭 시스템 및 이에 의한 강의 매칭 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant