CN110888975A - 文本可视化 - Google Patents

文本可视化 Download PDF

Info

Publication number
CN110888975A
CN110888975A CN201811039339.7A CN201811039339A CN110888975A CN 110888975 A CN110888975 A CN 110888975A CN 201811039339 A CN201811039339 A CN 201811039339A CN 110888975 A CN110888975 A CN 110888975A
Authority
CN
China
Prior art keywords
visual
information
natural language
information items
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811039339.7A
Other languages
English (en)
Inventor
崔为炜
黄河
张海东
D·M·张
陈蓓
I·格普塔
毛宇
楼建光
张冬梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201811039339.7A priority Critical patent/CN110888975A/zh
Priority to US17/266,924 priority patent/US20210350090A1/en
Priority to PCT/US2019/038085 priority patent/WO2020050894A1/en
Publication of CN110888975A publication Critical patent/CN110888975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)

Abstract

本公开的各个实现涉及文本可视化。在一种方法中,从自然语言语句中提取多个信息项。确定与多个信息项相关联的多个视觉元素。基于多个视觉元素确定自然语言语句的可视化表示,可视化表示指示由自然语言语句所表达的信息。

Description

文本可视化
背景技术
通常而言,信息的可视化表示(例如,图表、图形、图案等)更容易吸引人,并且能够传递大量的信息。与文本等信息而言,可视化方式可以更加容易帮助人们消化或理解信息。然而,信息的可视化表示通常难以获取,需要大量的时间并需要学习相应的技能。目前的一些文本可视化方案仍然需要具有一定技能的人员才能实现,具有较高的学习成本。
发明内容
本公开的多个实现提供了用于文本可视化的方案。在一些实现中,从自然语言语句中提取多个信息项。确定与多个信息项相关联的多个视觉元素。基于多个视觉元素确定自然语言语句的可视化表示,可视化表示指示由该自然语言语句所表达的信息。
提供发明内容部分是为了简化的形式来介绍对概念的选择,其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征,也无意限制要求保护的主题的范围。
附图说明
图1示出了能够实施本公开的多个实现的计算设备的框图;
图2示出了根据本公开的一些实现的文本可视化架构的示意图;
图3示出了根据本公开的一些实现的解析器的示意图;
图4示出了根据本公开的一些实现的生成器的示意图;以及
图5示出了根据本公开的一些实现的文本可视化方法的流程图。
这些附图中,相同或相似参考符号用于表示相同或相似元素。
具体实施方式
现在将参照若干示例实现来论述本公开。应当理解,论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开,而不是暗示对本主题的范围的任何限制。
如本文所使用的,术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
以下参考附图来说明本公开的基本原理和若干示例实现。图1示出了能够实施本公开的多个实现的计算设备100的框图。应当理解,图1所示出的计算设备100仅仅是示例性的,而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示,计算设备100包括通用计算设备形式的计算设备100。计算设备100的部件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。
在一些实现中,计算设备100可以被实现为具有计算能力的各种用户终端或服务终端。服务终端可以是各种服务提供方提供的服务器、大型计算设备等。用户终端诸如是任意类型的移动终端、固定终端或便携式终端,包括移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合,包括这些设备的配件和外设或者其任意组合。还可预见到的是,计算设备100能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。
处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器***中,多个处理单元并行执行计算机可执行指令,以提高计算设备100的并行处理能力。处理单元110也可以被称为中央处理单元(CPU)、微处理器、控制器、微控制器。
计算设备100通常包括多个计算机存储介质。这样的介质可以是计算设备100可访问的任何可以获得的介质,包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如,只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或其某种组合。存储器120可以包括预测模块122,这些程序模块被配置为执行本文所描述的各种实现的功能。预测模块122可以由处理单元110访问和运行,以实现相应功能。
存储设备130可以是可拆卸或不可拆卸的介质,并且可以包括机器可读介质,其能够用于存储信息和/或数据并且可以在计算设备100内被访问。计算设备100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出,可以提供用于从可拆卸、非易失性磁盘进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中,每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。
通信单元140实现通过通信介质与另外的计算设备进行通信。附加地,计算设备100的部件的功能可以以单个计算集群或多个计算机器来实现,这些计算机器能够通过通信连接进行通信。因此,计算设备100可以使用与一个或多个其他服务器、个人计算机(PC)或者另一个一般网络节点的逻辑连接来在联网环境中进行操作。
输入设备150可以是一个或多个各种输入设备,例如鼠标、键盘、追踪球、语音输入设备等。输出设备160可以是一个或多个输出设备,例如显示器、扬声器、打印机等。计算设备100还可以根据需要通过通信单元140与一个或多个外部设备(未示出)进行通信,外部设备诸如存储设备、显示设备等,与一个或多个使得用户与计算设备100交互的设备进行通信,或者与使得计算设备100与一个或多个其他计算设备通信的任何设备(例如,网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
在一些实现中,除了被集成在单个设备上之外,计算设备100的各个部件中的一些或所有部件还可以以云计算架构的形式被设置。在云计算架构中,这些部件可以被远程布置,并且可以一起工作以实现本公开所描述的功能。在一些实现中,云计算提供计算、软件、数据访问和存储服务,它们不需要终端用户知晓提供这些服务的***或硬件的物理位置或配置。在各种实现中,云计算使用适当的协议通过广域网(诸如因特网)提供服务。例如,云计算提供商通过广域网提供应用,并且它们可以通过web浏览器或任何其他计算部件被访问。云计算架构的软件或部件以及相应的数据可以被存储在远程位置处的服务器上。云计算环境中的计算资源可以在远程数据中心位置处被合并或者它们可以被分散。云计算基础设施可以通过共享数据中心提供服务,即使它们表现为针对用户的单一访问点。因此,可以使用云计算架构从远程位置处的服务提供商提供本文所描述的部件和功能。备选地,它们可以从常规服务器被提供,或者它们可以直接或以其他方式被安装在客户端设备上。
计算设备100可以用于实施根据本公开的多个实现的用于将文本转换为其可视化表示的方法。例如,该方法可以自动从文本生成可视化。在一些实现中,“可视化表示”可以是信息图,信息图是信息、数据或知识的图形可视化表示,其用于快速清楚地呈现信息。在将文本转换为其可视化表示时,计算设备100可以通过输入设备150接收文本(或自然语言语句)170,例如“More than 40%of the students like football.”计算设备100可以对文本170进行处理,并根据文本170来生成其可视化表示,该可视化表示指示文本170包含或表达的信息。例如,一个可视化表示的示例示出了10个学生,其中4个学生被高亮显示,另外,显示了较大字号的“40%”,后续接着是较小字号的“of the students likefootball”。可视化表示可以被提供给输出设备160以作为输出180提供给用户等。例如,可视化表示可以显示在显示器上,以呈现给用户。
以下将参照图2-图4来详细描述本公开的示例实现。图2示出了根据本公开的一些实现的文本可视化架构200的示意图。应当理解,图2仅仅是出于示例的目的而提供,而不旨在限制本公开的范围。在不脱离本公开的精神和范围的情况下,可以省略文本可视化架构200中的一个或多个模块,也可以向文本可视化架构200中增加一个或多个模块,或者替换文本可视化架构200中的一个或多个模块。
在一些实现中,文本202是一个或多个自然语言语句,自然语言语句可以包含数字信息。例如,数字信息可以包括多种不同的类型,例如,比例、数量、变化、排序、倍数、范围等。比例的一个示例是“25%的非裔美国人生活在联邦贫困线以下”。数量的一个示例是“地球上有14亿学生”。变化的一个示例是“2017年中国GDP同比增长了7%”。排序的一个示例是“大部分用户在搜索引擎上点击排第一的网站”。倍数的一个示例是“中国人口是美国人口的四倍多”。范围的一个示例是“用户通常在10-20秒内离开网页”。应当理解,以上语句仅仅是文本202的一些示例,而不旨在限制本公开的范围。在不脱离本公开的精神和范围的情况下,文本202也可以是其他类型的自然语言语句或文本,甚至可以不包含数字信息。文本202可以通过语音等方式提供,并通过语音转文本的方式来获得。
在将文本202提供给解析器204之后,解析器204可以将文本202解析为多个信息项。例如,解析器204可以将文本202分割为多个部分,每一部分指示相应的信息并对应于一个信息项。例如,对于比例类型的数字信息而言,可以将文本202分为四个部分(或四个信息项):“比例值”、“整体”、“部分”和“修饰语”。在一些情况下,“整体”、“部分”和“修饰语”中的一个或多个可能被省略。例如,在文本“More than 40%of the students likefootball.”中,“40%”是比例值,“the students”是整体,“like football”是部分,并且“more than”是修饰语。
在一些实现中,解析器204可以确定文本202中的数字信息的类型,例如,确定数字信息是比例、数量、排序、范围等信息中的哪一种类型。例如,这可以通过目前已知的或者将来开发的自然语言处理方法来实现,本公开在此不受限制。不同类型的数字信息可能需要将文本202划分为不同数目和/或不同类型的部分。例如,数量类型的数字信息可能仅需要将文本划分为两个部分:“数量”和“对象”。例如,可以将语句“地球上有14亿学生”划分为“14亿”和“学生”这两个部分。
在一些实现中,解析器204可以由基于机器学习的模型来实现,例如,神经网络模型。图3示出了根据本公开的一些实现的基于机器学习的解析器204的示意图。具体地,如图3所示的解析器204是基于有名实体识别(NER)模型的解析器。尽管在图3中示出了基于比例信息的解析器204,然而应当理解,这仅是示例,解析器204也可以应用于其他类型的数字信息或者自然语言语句,本公开在此不受限制。此外,图3所示的解析器204的架构仅作为示例提供,可以使用目前已知的或将来开发的任何合适的机器学习架构来实现解析器204。另外,尽管图3示出了一种基于机器学习的解析器204,然而,也可以使用基于规则的解析器实现对自然语言语句的解析。
如图3所示,可以通过模式匹配(例如,正则表达式)来确定比例等数字信息。识别出的比例等数字信息可以作为外部特征。在302,对自然语言语句进行词语切分,以获得多个标记(token),例如,单词等。在304,对于每一个标记,可以提取该标记的特征,作为基本特征,并将所提取的基本特征与上述外部特征相结合。这些特征被提供给306,在此处将这些特征转换为相应的向量,并且将每一个标记的向量合并为一个嵌入表示。各个标记的嵌入表示被提供给卷积神经网络(CNN)。CNN的输出在308处被提供给条件随机场(CRF)。CRF可以确定每一个标记对应的标签,标签可以指示该标记对应于“修饰语”、“整体”和“部分”中的哪一个部分或信息项。
现在返回图2,在解析器204从文本202解析出多个信息项之后,生成器206基于这些信息项来生成文本202的候选可视化表示。生成器206可以确定与解析器204提取的信息项相关联的视觉元素。图4示出了根据本公开的一些实现的生成器206的示意图。如图4所示,视觉元素可以是图标402、模板404、描述406和配色408中的一个或多个。
在一些实现中,可以针对每一种视觉元素来预先构建一个视觉元素库。例如,对于图标而言,可以设计或者以其他方式获取各种类型的图标,以构建图标库。图标库可以包括用作象形图画、容器和背景等的图标,各个图标可以包括与之相关联的描述性标签以方便进行匹配使用。因此,可以通过将这些信息项与图标库中的描述性标签进行匹配,以从图标库中选择一个或多个图标402。
在一些实现中,可以设计或以其他方式获取各种类型的模板,以构建模板库。模板404可以包括指示数字信息的可视化特征。例如,在一个示例模板中,可视化特征可以是一个环形图的形式,由两个不同颜色圆弧相接而形成的圆,其中一个圆弧在圆中所占的比例用于表示比例的大小值。。模板库可以包括用于各种场景的通用模板和专用于特定场景的专用模板。
在一些实现中,配色408可以包括美学特征和语义特征。例如,美学特征可以包括背景色、前景色、图标颜色、文本颜色和高亮等方面。语义特征可以包括与信息项所表示的语义相关联的图标和配色。例如,用蓝色来指示海洋,用红色来指示火等。因此,可以基于信息项对颜色进行排序,以确定适合的颜色。例如,可以根据关键词寻找一个主色调,然后根据该主色调寻找合适的配色调。例如,如果文本中的主题是出租车,那么可以得到主色调为黄色,然后在自动地生成和黄色搭配的其他辅助色。
在一些实现中,可以基于信息项来确定描述406。对于不同的模板可以使用不同版本或长度的描述。例如,对于语句“50%of our brain is devoted to visualfunctions”,可以基于不同的模板来设置不同的描述。例如,在一个模板中,仅指示了数字信息50%,因此,需要将“of our brain is devoted to visual functions”全部作为描述显示出来。在一个模板中,显示了一个大脑,并将大脑的50%高亮,则可以仅使用“isdevoted to visual functions”作为描述。描述文字可以使用合适的字体、字号、粗细、倾斜等效果显示。
在确定多个视觉元素之后,生成器206可以将视觉元素以不同方式组织成多个候选可视化表示,并对候选可视化表示进行排序。例如,生成器206可以将这些视觉元素进行各种组合,以确定多个候选可视化表示。在一些实现中,合成和排序模块410可以确定多个候选可视化表示的相应评分,并基于多个候选可视化表示的相应评分,对多个候选可视化表示进行排序。合成和排序模块410可以基于多个候选可视化表示的排序,从多个候选图标中选择一个或多个可视化表示。
在一些实现中,可以对四种视觉元素之间进行排列组合。在另外一些实现中,也可以考虑到兼容性的问题。例如,一个模板需要一个背景图标,但是挑选出的图标都不支持作为背景,那么这种组合就不合法,会被首先淘汰。在淘汰后剩下的合法组合中再考虑评分。
在一些实现中,每个候选可视化表示的评分包括语义评分、美观评分和信息量评分中的一个或多个。例如,语义评分指示候选可视化表示中的视觉元素与自然语言语句的语义匹配程度。例如,对于一个信息项“学生”,包含学生图标的候选可视化表示应当比包含人的候选图标的可视化表示具有更高的语义评分。
美观评分指示候选可视化表示的视觉质量,例如,左右是否平衡,留白是否合理等等。信息量评分指示候选可视化表示指示由自然语言语句表达的信息的完整性。例如,只包含一个数字的可视化表示具有较低的评分。这些评分可以通过基于规则的方法来计算,也可以通过基于学习的方法来计算。
现在返回图2,在将一个或多个可视化表示提供给用户之后,用户可以选择其中的一个可视化表示,并且对选择的可视化表示进行修改。例如,用户对图标不满意,则用户可以将图标替换成另一个图标,而不影响可视化的其他部分。编辑器208可以接收用户对可视化表示的选择和修改,并输出相应的可视化表示210。编辑器208可以在接收用户的选择和修改的过程中可以将用户的偏好212提供给解析器204和/或生成器206。在后续使用过程中,解析器204和/或生成器206可以基于用户的偏好212来执行相应的文本解析和生成可视化表示的过程。
图5示出了根据本公开的一些实现的文本可视化方法500的流程图。方法500可以由如图1所示的文本可视化模块122来实现。
在502,从自然语言语句中提取多个信息项。在一些实现中,提取多个信息项包括:通过基于机器学习的模型,从自然语言语句中提取多个信息项。基于机器学习的模型可以是如图3所示的解析器204。
在一些实现中,自然语言语句包括数字信息,并且其可视化表示包括数字信息的指示。在一些实现中,提取多个信息项包括:通过模式匹配来确定数字信息,作为多个信息项中的一个信息项;以及通过基于机器学习的模型来确定多个信息项中的其他信息项。
在一些实现中,提取多个信息项包括:确定自然语言语句中的数字信息的类型;基于数字信息的类型,将自然语言语句划分为多个部分,作为多个信息项。
在504,确定与多个信息项相关联的多个视觉元素。在一些实现中,确定多个视觉元素包括:从视觉元素库中获取与多个信息项相关联的多个视觉元素中的至少一个视觉元素,视觉元素库包括多个预定的视觉元素。在一些实现中,多个视觉元素包括图标、模板、描述和配色中的至少一个。
在506,基于多个视觉元素确定自然语言语句的可视化表示,可视化表示指示由自然语言语句所表达的信息。在一些实现中,确定可视化表示包括:将多个视觉元素以不同方式组织成多个候选可视化表示;确定多个候选可视化表示的相应评分;基于多个候选可视化表示的相应评分,对多个候选可视化表示进行排序;以及基于多个候选可视化表示的排序,从多个候选可视化表示中选择可视化表示。
在一些实现中,每个候选可视化表示的评分包括以下至少一项:指示候选可视化表示中的视觉元素与自然语言语句的语义匹配程度的语义评分;指示候选可视化表示的视觉质量的美观评分;以及指示候选可视化表示指示由自然语言语句表达的信息的完整性的信息量评分。
以下列出了本公开的一些示例实现方式。
在第一方面,本公开提供了一种设备。该设备包括:处理单元;存储器,存储器被耦合到处理单元并且存储用于由处理单元执行的指令,指令当由处理单元执行时,使得设备执行动作,动作包括:从自然语言语句中提取多个信息项;确定与多个信息项相关联的多个视觉元素;以及基于多个视觉元素确定自然语言语句的可视化表示,可视化表示指示由自然语言语句所表达的信息。
在一些实现中,提取多个信息项包括:通过基于机器学习的模型,从自然语言语句中提取多个信息项。
在一些实现中,自然语言语句包括数字信息,并且可视化表示包括数字信息的指示。
在一些实现中,提取多个信息项包括:通过模式匹配来确定数字信息,作为多个信息项中的一个信息项;以及通过基于机器学习的模型来确定多个信息项中的其他信息项。
在一些实现中,提取多个信息项包括:确定自然语言语句中的数字信息的类型;基于数字信息的类型,将自然语言语句划分为多个部分,作为多个信息项。
在一些实现中,确定多个视觉元素包括:从视觉元素库中获取与多个信息项相关联的多个视觉元素中的至少一个视觉元素,视觉元素库包括多个预定的视觉元素。
在一些实现中,多个视觉元素包括图标、模板、描述和配色中的至少一个。
在一些实现中,确定可视化表示包括:将多个视觉元素以不同方式组织成多个候选可视化表示;确定多个候选可视化表示的相应评分;基于多个候选可视化表示的相应评分,对多个候选可视化表示进行排序;以及基于多个候选可视化表示的排序,从多个候选可视化表示中选择可视化表示。
在一些实现中,每个候选可视化表示的评分包括以下至少一项:指示候选可视化表示中的视觉元素与自然语言语句的语义匹配程度的语义评分;指示候选可视化表示的视觉质量的美观评分;以及指示候选可视化表示指示由自然语言语句表达的信息的完整性的信息量评分。
在第二方面,提供了一种计算机实现的方法。该方法包括:从自然语言语句中提取多个信息项;确定与多个信息项相关联的多个视觉元素;以及基于多个视觉元素确定自然语言语句的可视化表示,可视化表示指示由自然语言语句所表达的信息。
在一些实现中,提取多个信息项包括:通过基于机器学习的模型,从自然语言语句中提取多个信息项。
在一些实现中,自然语言语句包括数字信息,并且可视化表示包括数字信息的指示。
在一些实现中,提取多个信息项包括:通过模式匹配来确定数字信息,作为多个信息项中的一个信息项;以及通过基于机器学习的模型来确定多个信息项中的其他信息项。
在一些实现中,提取多个信息项包括:确定自然语言语句中的数字信息的类型;基于数字信息的类型,将自然语言语句划分为多个部分,作为多个信息项。
在一些实现中,确定多个视觉元素包括:从视觉元素库中获取与多个信息项相关联的多个视觉元素中的至少一个视觉元素,视觉元素库包括多个预定的视觉元素。
在一些实现中,多个视觉元素包括图标、模板、描述和配色中的至少一个。
在一些实现中,确定可视化表示包括:将多个视觉元素以不同方式组织成多个候选可视化表示;确定多个候选可视化表示的相应评分;基于多个候选可视化表示的相应评分,对多个候选可视化表示进行排序;以及基于多个候选可视化表示的排序,从多个候选可视化表示中选择可视化表示。
在一些实现中,每个候选可视化表示的评分包括以下至少一项:指示候选可视化表示中的视觉元素与自然语言语句的语义匹配程度的语义评分;指示候选可视化表示的视觉质量的美观评分;以及指示候选可视化表示指示由自然语言语句表达的信息的完整性的信息量评分。
在第三方面,本公开提供了一种计算机程序产品,计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括计算机可执行指令,计算机可执行指令在由设备执行时使设备执行本公开的第二方面中的方法。
在第四方面,本公开提供了一种计算机可读介质,其上存储有计算机可执行指令,计算机可执行指令在由设备执行时使设备执行本公开的第二方面中的方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上***(SOC)、复杂可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种设备,包括:
处理单元;
存储器,所述存储器被耦合到所述处理单元并且存储用于由所述处理单元执行的指令,所述指令当由所述处理单元执行时,使得所述设备执行动作,所述动作包括:
从自然语言语句中提取多个信息项;
确定与所述多个信息项相关联的多个视觉元素;以及
基于所述多个视觉元素确定所述自然语言语句的可视化表示,所述可视化表示指示由所述自然语言语句所表达的信息。
2.根据权利要求1所述的设备,其中提取所述多个信息项包括:
通过基于机器学习的模型,从所述自然语言语句中提取所述多个信息项。
3.根据权利要求1所述的设备,其中所述自然语言语句包括数字信息,并且所述可视化表示包括所述数字信息的指示。
4.根据权利要求3所述的设备,其中提取所述多个信息项包括:
通过模式匹配来确定所述数字信息,作为所述多个信息项中的一个信息项;以及
通过基于机器学习的模型来确定所述多个信息项中的其他信息项。
5.根据权利要求3所述的设备,其中提取所述多个信息项包括:
确定所述自然语言语句中的所述数字信息的类型;
基于所述数字信息的类型,将所述自然语言语句划分为多个部分,作为所述多个信息项。
6.根据权利要求1所述的设备,其中确定所述多个视觉元素包括:
从视觉元素库中获取与所述多个信息项相关联的所述多个视觉元素中的至少一个视觉元素,所述视觉元素库包括多个预定的视觉元素。
7.根据权利要求1所述的设备,其中所述多个视觉元素包括图标、模板、描述和配色中的至少一个。
8.根据权利要求1所述的设备,其中确定所述可视化表示包括:
将所述多个视觉元素以不同方式组织成多个候选可视化表示;
确定所述多个候选可视化表示的相应评分;
基于所述多个候选可视化表示的相应评分,对所述多个候选可视化表示进行排序;以及
基于所述多个候选可视化表示的排序,从所述多个候选可视化表示中选择所述可视化表示。
9.根据权利要求8所述的设备,其中每个候选可视化表示的所述评分包括以下至少一项:
指示所述候选可视化表示中的视觉元素与所述自然语言语句的语义匹配程度的语义评分;
指示所述候选可视化表示的视觉质量的美观评分;以及
指示所述候选可视化表示指示由所述自然语言语句表达的信息的完整性的信息量评分。
10.一种计算机实现的方法,包括:
从自然语言语句中提取多个信息项;
确定与所述多个信息项相关联的多个视觉元素;以及
基于所述多个视觉元素确定所述自然语言语句的可视化表示,所述可视化表示指示由所述自然语言语句所表达的信息。
11.根据权利要求10所述的方法,其中提取所述多个信息项包括:
通过基于机器学习的模型,从所述自然语言语句中提取所述多个信息项。
12.根据权利要求10所述的方法,其中所述自然语言语句包括数字信息,并且所述可视化表示包括所述数字信息的指示。
13.根据权利要求12所述的方法,其中提取所述多个信息项包括:
通过模式匹配来确定所述数字信息,作为所述多个信息项中的一个信息项;以及
通过基于机器学习的模型来确定所述多个信息项中的其他信息项。
14.根据权利要求12所述的方法,其中提取所述多个信息项包括:
确定所述自然语言语句中的所述数字信息的类型;
基于所述数字信息的类型,将所述自然语言语句划分为多个部分,作为所述多个信息项。
15.根据权利要求10所述的方法,其中确定所述多个视觉元素包括:
从视觉元素库中获取与所述多个信息项相关联的所述多个视觉元素中的至少一个视觉元素,所述视觉元素库包括多个预定的视觉元素。
16.根据权利要求10所述的方法,其中所述多个视觉元素包括图标、模板、描述和配色中的至少一个。
17.根据权利要求10所述的方法,其中确定所述可视化表示包括:
将所述多个视觉元素以不同方式组织成多个候选可视化表示;
确定所述多个候选可视化表示的相应评分;
基于所述多个候选可视化表示的相应评分,对所述多个候选可视化表示进行排序;以及
基于所述多个候选可视化表示的排序,从所述多个候选可视化表示中选择所述可视化表示。
18.根据权利要求17所述的方法,其中每个候选可视化表示的所述评分包括以下至少一项:
指示所述候选可视化表示中的视觉元素与所述自然语言语句的语义匹配程度的语义评分;
指示所述候选可视化表示的视觉质量的美观评分;以及
指示所述候选可视化表示指示由所述自然语言语句表达的信息的完整性的信息量评分。
19.一种计算机程序产品,所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令,所述机器可执行指令在由设备执行时使所述设备执行动作,所述动作包括:
从自然语言语句中提取多个信息项;
确定与所述多个信息项相关联的多个视觉元素;以及
基于所述多个视觉元素确定所述自然语言语句的可视化表示,所述可视化表示指示由所述自然语言语句所表达的信息。
20.根据权利要求19所述的计算机程序产品,其中所述自然语言语句包括数字信息,并且所述可视化表示包括所述数字信息的指示。
CN201811039339.7A 2018-09-06 2018-09-06 文本可视化 Pending CN110888975A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811039339.7A CN110888975A (zh) 2018-09-06 2018-09-06 文本可视化
US17/266,924 US20210350090A1 (en) 2018-09-06 2019-06-20 Text to visualization
PCT/US2019/038085 WO2020050894A1 (en) 2018-09-06 2019-06-20 Text to visualization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811039339.7A CN110888975A (zh) 2018-09-06 2018-09-06 文本可视化

Publications (1)

Publication Number Publication Date
CN110888975A true CN110888975A (zh) 2020-03-17

Family

ID=67138236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811039339.7A Pending CN110888975A (zh) 2018-09-06 2018-09-06 文本可视化

Country Status (3)

Country Link
US (1) US20210350090A1 (zh)
CN (1) CN110888975A (zh)
WO (1) WO2020050894A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220050884A1 (en) * 2020-08-11 2022-02-17 Accenture Global Services Limited Utilizing machine learning models to automatically generate a summary or visualization of data
JP7369110B2 (ja) * 2020-09-30 2023-10-25 本田技研工業株式会社 会話支援装置、会話支援システム、会話支援方法およびプログラム
CN113283248B (zh) * 2021-04-29 2022-06-21 桂林电子科技大学 散点图描述的自然语言自动生成方法及装置
US20240104292A1 (en) * 2022-09-23 2024-03-28 Texas Instruments Incorporated Mathematical calculations with numerical indicators

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546587A (zh) * 2008-03-25 2009-09-30 国际商业机器公司 在播放歌曲时自动显示视觉元素的方法和装置
CN108140018A (zh) * 2015-10-16 2018-06-08 微软技术许可有限责任公司 创作用于基于文本的文档的视觉表示

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6946715B2 (en) * 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication
US9135233B2 (en) * 2011-10-13 2015-09-15 Microsoft Technology Licensing, Llc Suggesting alternate data mappings for charts
US20150074127A1 (en) * 2013-09-10 2015-03-12 Microsoft Corporation Creating Visualizations from Data in Electronic Documents
US10796690B2 (en) * 2018-08-22 2020-10-06 Adobe Inc. Digital media environment for conversational image editing and enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546587A (zh) * 2008-03-25 2009-09-30 国际商业机器公司 在播放歌曲时自动显示视觉元素的方法和装置
CN108140018A (zh) * 2015-10-16 2018-06-08 微软技术许可有限责任公司 创作用于基于文本的文档的视觉表示

Also Published As

Publication number Publication date
WO2020050894A1 (en) 2020-03-12
US20210350090A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US11645314B2 (en) Interactive information retrieval using knowledge graphs
US20180225306A1 (en) Method and system to recommend images in a social application
CN110888975A (zh) 文本可视化
CN111324771B (zh) 视频标签的确定方法、装置、电子设备及存储介质
CN111459977B (zh) 自然语言查询的转换
US11158349B2 (en) Methods and systems of automatically generating video content from scripts/text
US10956470B2 (en) Facet-based query refinement based on multiple query interpretations
US10699112B1 (en) Identification of key segments in document images
US11829710B2 (en) Deriving global intent from a composite document to facilitate editing of the composite document
US20220121668A1 (en) Method for recommending document, electronic device and storage medium
US20230252220A1 (en) Style transfer
CN111681087B (zh) 信息处理方法、装置、计算机可读存储介质及电子设备
WO2023020160A1 (zh) 一种推荐方法、训练方法、装置、设备及推荐***
US20210142002A1 (en) Generation of slide for presentation
US20230401250A1 (en) Systems and methods for generating interactable elements in text strings relating to media assets
US11768867B2 (en) Systems and methods for generating interactable elements in text strings relating to media assets
CN111144122A (zh) 评价处理方法、装置和计算机***及介质
KR20210084641A (ko) 정보를 송신하는 방법 및 장치
CN110705251A (zh) 计算机执行的文本分析方法及装置
WO2020005604A1 (en) Generating document summary
US12052474B2 (en) Systems and methods for generating interactable elements in text strings relating to media assets
CN108509058B (zh) 输入方法与相关设备
US20230199260A1 (en) Systems and methods for generating interactable elements in text strings relating to media assets
US12050636B2 (en) Generating document summary
CN115617426A (zh) 具有丰富的对象的自动建议

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination