CN115329753B - 一种基于自然语言处理的智能数据分析方法和*** - Google Patents
一种基于自然语言处理的智能数据分析方法和*** Download PDFInfo
- Publication number
- CN115329753B CN115329753B CN202211252819.8A CN202211252819A CN115329753B CN 115329753 B CN115329753 B CN 115329753B CN 202211252819 A CN202211252819 A CN 202211252819A CN 115329753 B CN115329753 B CN 115329753B
- Authority
- CN
- China
- Prior art keywords
- token
- query
- natural language
- data analysis
- language processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2452—Query translation
- G06F16/24522—Translation of natural language queries to structured queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了基于自然语言处理的智能数据分析方法和***,涉及数据分析***,包括:提供一用于接收用户输入文本的搜索栏以接收自然语言文本;基于自然语言处理***对接收到的自然语言文本进行分析,得到对应自然语言文本的语义的多个字符串片段,基于多个字符串片段生成数据库语法的一组TOKEN集合;使用表示查询语法的有限状态机为TOKEN集合生成查询图;基于查询图确定TOKEN集合中的每个TOKEN的序列以形成数据库查询;使用基于数据库查询的查询指令来调用数据库的搜索行为,以获得搜索结果。本发明提升了数据分析效率且方便普通用户使用,极大提升了非IT专业人员(普通用户)直接对多数据源(非关系数据源)的大量混合数据进行数据分析的工作效率。
Description
技术领域
本发明涉及数据分析技术领域,具体而言,涉及一种基于自然语言处理的智能数据分析方法和***。
背景技术
传统的数据分析***可以收集、分析数据源中包含的数据并对其采取操作。数据源可以是与数据分析***相关的内部、外部、本地或远程的计算设备。例如,外部远程数据源可以是通过计算机网络连接到数据分析***的服务器。
现有的数据分析***有很多缺点。它们专为信息技术 (InformationTechnology, IT) 专业人员而非最终客户使用而设计。这些***使用提取、转换和加载(Extract, Transform, and Load,ETL) 管道从数据源中提取数据并将提取的数据存储到集中式数据仓库或数据湖中。这些***只提供部分和陈旧的数据用于查询和分析,因而不匹配现代组织对数据分析的需要。分析师通常会花费大量时间收集和准备数据,而不是使用商业智能 (Business Intelligence, BI) 工具实际分析数据。具有分析或可视化功能的 BI 工具示例包括 TABLEAU、POWER BI、R 或 PYTHON。这些工具主要对驻留在单个小型关系数据库中的数据进行操作。然而,非关系数据源已在现代组织中得到广泛应用,例如HADOOP、云存储(例如 S3、MICROSOFT AZURE BLOB STORAGE)和 NOSQL 数据库(例如MONGODB、ELASTICSEARCH、CASSANDRA)。
此外,数据通常分布在不同的数据源中,因此用户不能简单地将 BI 工具连接到任何数据源组合。连接机制通常太慢,查询经常失败,原始数据量太大或太复杂,并且数据通常是混合类型的。
此外,寻求灵活访问数据分析***的用户通常会通过将数据下载或提取到不安全、不受监管的***(例如电子表格、独立数据库和 BI 服务器)中进行后续分析来规避安全措施。
因此,用户亟需一种访问、探索和分析来自分布式数据源的大量混合数据的能力,而不必承受主要供 IT 专业人员使用的严格数据分析***的负担,如何设计一种能够提升数据分析效率且方便普通用户使用的数据分析***成为需要解决的技术问题。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一,公开了基于自然语言处理的智能数据分析方法和***,使用查询语法将用户基于自然语言的搜索行为自动转化为基于专业数据分析思想的查询行为,提高了数据分析效率以及便利性。
本发明的第一方面公开了一种基于自然语言处理的智能数据分析方法,包括:提供一用于接收用户输入文本的搜索栏以接收自然语言文本;基于自然语言处理***对接收到的自然语言文本进行分析,得到对应自然语言文本的语义的多个字符串片段,基于多个字符串片段生成数据库语法的一组TOKEN集合;使用表示查询语法的有限状态机为TOKEN集合生成查询图;基于查询图确定TOKEN集合中的每个TOKEN的序列以形成数据库查询;使用基于数据库查询的查询指令来调用数据库的搜索行为,以获得搜索结果。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,使用表示查询语法的有限状态机为TOKEN集合生成查询图的步骤,具体包括:有限状态机的节点表示TOKEN类型,有限状态机的有向边表示查询语法中TOKEN类型之间的有效转换,查询图对应于TOKEN集合中的各个TOKEN,查询图的有向边表示TOKEN排序中两个TOKEN之间的转换。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,基于查询图确定TOKEN集合中的每个TOKEN的序列以形成数据库查询的步骤,具体包括:确定从查询图的源节点到目标节点的有向边的权重,这对应于TOKEN集合中的第一个TOKEN到第二个TOKEN,其中,权重是基于从表示第一个TOKEN的TOKEN类型的有限状态机的节点到表示第二个TOKEN的TOKEN类型的有限状态机的节点的有向边的语法权重来确定的,语法权重指示查询语法中从第一个TOKEN类型的TOKEN到第二个TOKEN类型的TOKEN的转换频率。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,还包括:从查询图中移除一条或多条有向边以形成无环查询图,并基于无环查询图确定TOKEN集合中TOKEN的顺序。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,应用Eades算法生成查询图。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,使用改良的Dijkstra算法确定查询图中的最短路径。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,还包括:基于查询语法从TOKEN集合中识别有效开始TOKEN和有效结束TOKEN,并确定查询图中从有效开始TOKEN对应的顶点开始到有效结束TOKEN对应的顶点结束的路径。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,还包括:确定查询图中顶点的路径并选择权重和最大的路径。
根据本发明公开的基于自然语言处理的智能数据分析方法,优选地,还包括:确定字符串和TOKEN集合与一种模式匹配,对应于这个匹配,基于与模式相关联的模式分数设置查询图的有向边的权重。
本发明的第二方面公开了一种基于自然语言处理的智能数据分析***,包括:存储器,用于存储程序指令;处理器,用于调用存储器中存储的程序指令以实现如上述任一技术方案中的基于自然语言处理的智能数据分析方法。
本发明的有益效果至少包括:使用查询语法将基于自然语言的搜索行为自动转化为基于专业数据分析思想的查询行为,极大方便非IT专业人员(普通用户)直接对多数据源(非关系数据源)的大量混合数据进行数据提取、转换和加载,大大提升工作效率,匹配现代组织对数据分析的需要。
附图说明
图1示出了根据本发明的一个实施例的基于自然语言处理的智能数据分析***的用户界面示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开的具体实施例的限制。
根据本发明的一个实施例公开了一种用于为数据库提供搜索界面的***,该***包括存储器、处理器和网络接口,网络接口用于连接数据库,存储器用于存储可由处理器执行的指令,以实现基于自然语言处理的智能数据分析方法:
接收用户输入的字符串文本,该字符串由数据分析***处理以基于字符串生成数据库语法的一组TOKEN,其中每个TOKEN与字符串的相应片段匹配;使用表示查询语法的有限状态机为TOKEN集生成查询图,其中有限状态机的节点表示TOKEN类型,有限状态机的有向边表示查询语法中TOKEN类型之间的有效转换,查询图对应于TOKEN集合中的各个TOKEN,查询图的有向边表示TOKEN排序中两个TOKEN之间的转换。基于查询图确定TOKEN集合中的TOKEN序列以形成数据库查询;并使用基于数据库查询的查询来调用数据库的搜索以获得搜索结果。
根据上述实施例,优选地,确定从查询图的源节点到目标节点的有向边的权重,这对应于TOKEN集合中的第一个TOKEN到第二个TOKEN,其中,权重是基于从表示第一个TOKEN的TOKEN类型的有限状态机的节点到表示第二个TOKEN的TOKEN类型的有限状态机的节点的有向边的语法权重来确定的。语法权重可以指示查询语法中从第一个TOKEN类型的TOKEN到第二个TOKEN类型的TOKEN的转换频率。
根据上述实施例,优选地,从查询图中移除一条或多条有向边以形成无环查询图,并基于无环查询图确定TOKEN集合中TOKEN的顺序。
根据上述实施例,优选地,将Eades算法应用于查询图。
根据上述实施例,优选地,使用改良的Dijkstra算法确定查询图中的最短路径。
根据上述实施例,优选地,基于查询语法从TOKEN集合中识别有效开始TOKEN和有效结束TOKEN,并确定查询图中从有效开始TOKEN对应的顶点开始到有效结束TOKEN对应的顶点结束的路径。
根据上述实施例,优选地,确定查询图中顶点的路径,并选择权重和最大的路径。
根据上述实施例,优选地,确定字符串和TOKEN集与一种模式匹配,对应于这个匹配,基于与模式相关联的模式分数设置查询图的有向边的权重。
本发明公开的基于自然语言处理的智能数据分析方法的实现可以包括上述实施例描述的特征的任意组合。
如图1所示,本发明的又一个实施例还公开了生成一个或多个数据库查询行为的用户界面示意图,下文结合图1进一步说明本发明的具体工作过程:
显示区域110包括使用户能够输入字符串的搜索栏120。字符串可以包括自然语言(如中文或英文)的文本。例如,字符串的文本可以表示用于数据分析***的问题或命令。用户选择搜索栏120并键入字符串的文本以输入字符串。除此之外,用户还可以选择搜索栏120的语音图标部分(图1中未示出)并通过语音输入字符串的文本。该字符串可以由数据分析***处理以基于该字符串确定数据库查询。
显示区域110包括数据库查询窗格130,其显示数据库查询的表示,该数据库查询包括由最初基于字符串生成的各个TOKEN图标(132、134、136、138和140)表示的TOKEN序列。数据库查询窗格130可以使用户能够通过与他们各自的TOKEN图标(132、134、136、138和140)交互来选择TOKEN并编辑TOKEN。用光标点击或悬停在TOKEN图标140上可以触发数据库语法的建议替代TOKEN列表显示在建议TOKEN菜单160和/或出现在TOKEN图标附近的下拉菜单中140(图1中未示出)。用户可以选择替代TOKEN来编辑数据库查询,并且TOKEN图标140可以被移除或替换为所选TOKEN的TOKEN图标。
显示区域110包括搜索结果窗格150,其包括基于使用数据库查询获得的搜索结果的数据。例如,搜索结果窗格150可以包括在用户修改数据库查询之前和/或之后使用数据库查询从数据库检索的原始数据(表示为文本)。除此之外,搜索结果窗格150也可以包括基于在用户修改数据库查询之前和/或之后使用数据库查询从数据库检索的数据的处理数据(表示为图和/或摘要文本)。
显示区域110包括建议的TOKEN菜单160,其中列出了在数据库查询中使用的建议TOKEN,以便于编辑数据库查询。建议的TOKEN可以包括来自高排名候选查询的TOKEN,这些TOKEN由用于基于字符串确定数据库查询的过程生成,最初未被选择用于呈现给用户。建议TOKEN菜单160使用户能够选择要添加到数据库查询的TOKEN或替换数据库查询的当前TOKEN。建议TOKEN菜单160包括使用户能够搜索数据库语法的可用TOKEN空间的文本输入选项。
显示区域110包括使用户能够表达对数据库查询的认可的点赞图标170。当用户对作为其意图的准确表示的所呈现的数据库查询感到满意时,可以点击点赞图标170。
根据上述实施例,本发明公开的基于自然语言处理的智能数据分析方法和***通过分析自然语言文本自动生成一组TOKEN集合,并根据TOKEN集合生成查询图,使用基于数据库查询的查询来调用数据库的搜索以获得搜索结果,以使同一个操作界面能够对接多个数据源,同时降低普通用户的使用门槛,使得普通用户掌握了一种访问、探索和分析来自分布式数据源的大量混合数据的能力,而不必承受主要供 IT 专业人员使用的严格数据分析***的负担。
上述实施例的各种方法中的全部或部分步骤是可以通过程序来控制相关的硬件来完成,该程序可以存储于可读存储介质中,存储介质包括只读存储器(Read—OnlyMemory,ROM) 、随机存储器(Random Access Memory, RAM) 、可编程只读存储器(Programmable Read-only Memory,PROM) 、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM) 、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM) 、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM) 、只读光盘(CompactDisc Read—Only Memory,CD-ROM) 或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的可读的任何其他介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于自然语言处理的智能数据分析方法,其特征在于,包括:
提供一用于接收用户输入文本的搜索栏以接收自然语言文本;
基于自然语言处理***对接收到的所述自然语言文本进行分析,得到对应所述自然语言文本的语义的多个字符串片段,基于多个所述字符串片段生成数据库语法的一组TOKEN集合;
使用表示查询语法的有限状态机为所述TOKEN集合生成查询图;
基于所述查询图确定所述TOKEN集合中的每个TOKEN的序列以形成数据库查询;
使用基于数据库查询的查询指令来调用数据库的搜索行为,以获得搜索结果。
2.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,所述使用表示查询语法的有限状态机为所述TOKEN集合生成查询图的步骤,具体包括:
有限状态机的节点表示TOKEN类型,有限状态机的有向边表示查询语法中TOKEN类型之间的有效转换,查询图对应于TOKEN集合中的各个TOKEN,查询图的有向边表示TOKEN排序中两个TOKEN之间的转换。
3.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,所述基于所述查询图确定所述TOKEN集合中的每个TOKEN的序列以形成数据库查询的步骤,具体包括:
确定从查询图的源节点到目标节点的有向边的权重,这对应于TOKEN集合中的第一个TOKEN到第二个TOKEN,其中,权重是基于从表示第一个TOKEN的TOKEN类型的有限状态机的节点到表示第二个TOKEN的TOKEN类型的有限状态机的节点的有向边的语法权重来确定的,语法权重指示查询语法中从第一个TOKEN类型的TOKEN到第二个TOKEN类型的TOKEN的转换频率。
4.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,还包括:
从所述查询图中移除一条或多条有向边以形成无环查询图,并基于所述无环查询图确定TOKEN集合中TOKEN的顺序。
5.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,应用Eades算法生成所述查询图。
6.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,使用改良的Dijkstra算法确定所述查询图中的最短路径。
7.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,还包括:
基于查询语法从TOKEN集合中识别有效开始TOKEN和有效结束TOKEN,并确定所述查询图中从有效开始TOKEN对应的顶点开始到有效结束TOKEN对应的顶点结束的路径。
8.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,还包括:
确定所述查询图中顶点的路径并选择权重和最大的路径。
9.根据权利要求1所述的基于自然语言处理的智能数据分析方法,其特征在于,还包括:
确定字符串和TOKEN集合与一种模式匹配,对应于这个匹配,基于与模式相关联的模式分数设置查询图的有向边的权重。
10.一种基于自然语言处理的智能数据分析***,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的所述程序指令以实现如权利要求1至9中任一项所述的基于自然语言处理的智能数据分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211252819.8A CN115329753B (zh) | 2022-10-13 | 2022-10-13 | 一种基于自然语言处理的智能数据分析方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211252819.8A CN115329753B (zh) | 2022-10-13 | 2022-10-13 | 一种基于自然语言处理的智能数据分析方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115329753A CN115329753A (zh) | 2022-11-11 |
CN115329753B true CN115329753B (zh) | 2023-03-24 |
Family
ID=83914735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211252819.8A Active CN115329753B (zh) | 2022-10-13 | 2022-10-13 | 一种基于自然语言处理的智能数据分析方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115329753B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117290429B (zh) * | 2023-11-24 | 2024-02-20 | 山东焦易网数字科技股份有限公司 | 通过自然语言调用数据***接口的方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101201834A (zh) * | 2007-11-01 | 2008-06-18 | 复旦大学 | 基于文档类型定义的xml数据流关键字搜索方法 |
US10599644B2 (en) * | 2016-09-14 | 2020-03-24 | International Business Machines Corporation | System and method for managing artificial conversational entities enhanced by social knowledge |
US11334565B1 (en) * | 2016-10-28 | 2022-05-17 | Intuit, Inc. | System to convert natural-language financial questions into database queries |
CN109947794B (zh) * | 2019-02-21 | 2023-09-01 | 东华大学 | 一种交互式自然语言查询转换方法 |
CN111177184A (zh) * | 2019-12-24 | 2020-05-19 | 深圳壹账通智能科技有限公司 | 基于自然语言的结构化查询语言转换方法、及其相关设备 |
CN111190920B (zh) * | 2019-12-30 | 2023-09-15 | 南京诚勤教育科技有限公司 | 一种基于自然语言的数据交互查询方法及其*** |
CN114428788A (zh) * | 2022-01-28 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 自然语言处理方法、装置、设备及存储介质 |
CN114844689A (zh) * | 2022-04-19 | 2022-08-02 | 尚蝉(浙江)科技有限公司 | 一种基于有限状态机的网站逻辑漏洞检测方法及*** |
-
2022
- 2022-10-13 CN CN202211252819.8A patent/CN115329753B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115329753A (zh) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109857917B (zh) | 面向威胁情报的安全知识图谱构建方法及*** | |
US7668858B2 (en) | Drag and drop technique for building queries | |
US9519636B2 (en) | Deduction of analytic context based on text and semantic layer | |
CN110019616B (zh) | 一种poi现势状态获取方法及其设备、存储介质、服务器 | |
TW202020691A (zh) | 特徵詞的確定方法、裝置和伺服器 | |
US11907659B2 (en) | Item recall method and system, electronic device and readable storage medium | |
US20130124194A1 (en) | Systems and methods for manipulating data using natural language commands | |
JP2006309446A (ja) | 分類辞書更新装置、分類辞書更新プログラムおよび分類辞書更新方法 | |
CN109344374B (zh) | 基于大数据的报表生成方法及装置、电子设备、存储介质 | |
CN115329753B (zh) | 一种基于自然语言处理的智能数据分析方法和*** | |
CN114579104A (zh) | 数据分析场景的生成方法、装置、设备及存储介质 | |
JP2024507902A (ja) | 情報検索方法、装置、電子機器および記憶媒体 | |
CN112558966B (zh) | 深度模型可视化数据的处理方法、装置及电子设备 | |
CN113361240A (zh) | 用于生成目标文章的方法、装置、设备和可读存储介质 | |
US20210271637A1 (en) | Creating descriptors for business analytics applications | |
US11227111B2 (en) | Graphical user interface providing priority-based markup of documents | |
JP2839555B2 (ja) | 情報検索方法 | |
CN115687717A (zh) | Grok表达式获取方法、装置、设备及计算机可读存储介质 | |
CN115016770A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN114676155A (zh) | 代码提示信息的确定方法、数据集的确定方法及电子设备 | |
CN114238745A (zh) | 一种提供搜索结果的方法及装置、电子设备和介质 | |
CN112989066A (zh) | 数据处理方法和装置、电子设备、计算机可读介质 | |
JP6677624B2 (ja) | 分析装置、分析方法、および分析プログラム | |
CN117540447B (zh) | 一种基于业务分析场景的组件化建模方法及*** | |
JP7349219B1 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |