CN117994519A - 信息提取方法、装置、电子设备及可读存储介质 - Google Patents
信息提取方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117994519A CN117994519A CN202410219242.3A CN202410219242A CN117994519A CN 117994519 A CN117994519 A CN 117994519A CN 202410219242 A CN202410219242 A CN 202410219242A CN 117994519 A CN117994519 A CN 117994519A
- Authority
- CN
- China
- Prior art keywords
- information
- sector
- processed
- image
- pie chart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 230000011218 segmentation Effects 0.000 claims abstract description 97
- 238000010586 diagram Methods 0.000 claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims description 74
- 238000012549 training Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 17
- 238000007621 cluster analysis Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 description 154
- 238000003062 neural network model Methods 0.000 description 12
- 238000000926 separation method Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000003708 edge detection Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种信息提取方法、装置、电子设备及可读存储介质,涉及图像识别技术领域,包括:基于检测模型获取待处理饼图的图例信息以及扇区占比信息;基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息;若第一数量与第二数量不相等,则基于语义分割模型获取待处理饼图的掩码图像,其中,第一数量为基于初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,指定信息包括图例信息或扇区占比信息;基于掩码图像与待处理饼图获取每个扇区的目标扇区信息;将每个扇区的目标扇区信息分别与图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。可以提高提取到的每个扇区对应的目标信息的准确度。
Description
技术领域
本申请涉及图像识别技术领域,更具体地,涉及一种信息提取方法、装置、电子设备及可读存储介质。
背景技术
目前,随着计算机技术的发展,可以通过电子设备对饼图进行识别并提取信息、然而,目前提取饼图中数据的方法,得到的数据准确度不足。
发明内容
本申请提出了一种信息提取方法、装置、电子设备及可读存储介质。
第一方面,本申请实施例提供了一种信息提取方法,包括:基于检测模型获取待处理饼图的图例信息以及扇区占比信息;基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息;若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息;基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息;将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。
第二方面,本申请实施例还提供了一种信息提取装置,包括:第一获取单元、第二获取单元、比较单元、第三获取单元以及提取单元。其中,第一获取单元,用于基于检测模型获取待处理饼图的图例信息以及扇区占比信息;第二获取单元,用于基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息;比较单元,用于若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息;第三获取单元,用于基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息;提取单元,用于将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。
第三方面,本申请实施例还提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行第一方面所述的方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面所述的方法。
本申请实施例提供的信息提取方法、装置、电子设备及可读存储介质,首先基于检测模型获取待处理饼图的图例信息以及扇区占比信息;然后基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息;若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像;再基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息;从而将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。其中,获取到的初始扇区信息与图例信息或扇区占比信息可能存在不对应的情况,此时可能为对待处理饼图的识别出现了错误,若直接将获取到的图例信息、扇区占比信息以及初始扇区信息进行匹配,则提取得到的每个扇区的目标信息也可能存在错误,从而造成提取得到的数据准确度不足。而本申请中,通过比较第一数量以及第二数量,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息;若第一数量与第二数量不相等,此时有较大可能对待处理饼图的识别出现了错误,从而获取目标扇区信息,再将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,以提高提取得到的每个扇区对应的目标信息的准确度。
本申请实施例的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的信息提取方法的应用场景图;
图2示出了本申请实施例提供的信息提取方法的方法流程图;
图3示出了本申请实施例提供的待处理饼图的示意图;
图4示出了图3对应的掩码图像的示意图;
图5示出了本申请另一实施例提供的信息提取方法的方法流程图;
图6示出了本申请实施例提供的待处理饼图的检测框的示意图;
图7示出了本申请实施例提供的边缘分割二值化图像的示意图;
图8示出了本申请再一实施例提供的信息提取方法的方法流程图;
图9示出了本申请实施例提供的信息提取装置的结构框图;
图10示出了本申请实施例提供的电子设备的结构框图;
图11示出了本申请实施例提供的计算机可读存储介质的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
目前,随着计算机技术的发展,可以通过电子设备对饼图进行识别并提取信息、然而,目前提取饼图中数据的方法,得到的数据准确度不足。如何从饼图中较为准确的提取出数据,是一个亟待解决的问题。
现有技术中,可以对饼图进行图像识别,从而提取相应的信息,进而再将获取到的各个信息进行扇区匹配,从而得到每个扇区对应的信息。
然而,发明人在研究中发现,直接将提取得到的信息进行扇区匹配,可能造成得到的扇区对应的信息准确度较低的问题。
因此,为了解决或部分解决上述问题,本申请提供了一种信息提取方法、装置、电子设备及可读存储介质。
请参阅图1,图1示出了本申请实施例提供的信息提取方法的应用场景图,即信息提取场景100,该信息提取场景100中可以包括有电子设备110以及服务器120,其中电子设备110与服务器120相连接。
电子设备110可以通过接入互联网,从而和同样接入了互联网的服务器120建立连接。其中,电子设备110可以通过无线的方式接入互联网,例如通过无线通信技术Wi-Fi、蓝牙Bl uetooth等接入互联网;电子设备110还可以通过有线的方式接入互联网,例如通过Rj45网线或光纤接入互联网。
用户可以控制电子设备110从而使电子设备执行信息提取方法,例如,用户可以直接对电子设备110进行操作,从而控制电子设备执行信息提取方法,其中电子设备110可以在本地部署有用于执行信息提取方法的相关环境配置,详细的介绍可以参阅后续实施方式。可选的,电子设备110也可以调用服务器120从而实现信息提取。
其中,服务器120可以为一种云端的服务器,也可以为本地服务器。
请参阅图2,图2示出了本申请实施例提供的一种信息提取方法的方法流程图。该信息提取方法可以应用于图1示出的视频生成场景中的电子设备,具体的可以将电子设备的处理器作为执行该信息提取方法的执行主体。该信息提取方法可以包括步骤S110至步骤S150。
步骤S110:基于检测模型获取待处理饼图的图例信息以及扇区占比信息。
待处理饼图为包括饼图的图像数据,该图像数据可以具有不同的数据格式,例如可以为联合图片专家组(Joint Photograph ic Experts Group,JPEG)、可移植网络图形(Portab le Network Graph ics,PNG)或位图(Bitmap,BMP)等。待处理饼图中可以包括饼形图,该饼形图可以被划分为多个扇区;待处理饼图中还可以包括图例描述信息、扇区描述字符、标题等。
在一些实施方式中,可以通过截图工具对屏幕中显示的饼图文件进行截取,从而得到待处理饼图;也可以通过饼图软件,将打开的饼图文件导出为待处理饼图;也可以从互联网中下载或截取待处理饼图;还可以从显示设备上拍摄清晰的待处理饼图,本申请实施例不做具体限定。
示例性的,请参阅图3,图3示出了本申请实施例提供的待处理饼图的示意图。图3示出的待处理饼图300中包括有图例描述信息310、扇区描述字符320、标题330、饼图的中心点340、圆弧上饼图各扇区的分界点350、最大圆弧的中点360以及各个扇区370。其中,各个扇区370即构成了饼图。
其中,图3示出的待处理饼图300中标题330具体为“宠物市场各细分领域规模占比”;扇区描述字符320包括“29%、13%、7%以及51%”;图例描述信息310包括“宠物食品、宠物医疗、宠物用品以及宠物服务”,以及宠物食品、宠物医疗、宠物用品以及宠物服务分别对应的色彩信息。
需要说明的是,图3中示出的仅为待处理饼图的一种示例,实际应用中,待处理饼图可以为任意包括有饼图的图像数据,本申请实施例不做具体限定。
对于一些实施方式,可以首先对待处理饼图中的图例信息以及扇区占比信息进行检测,从而为后续获取各扇区对应的目标信息奠定数据基础。其中,图例信息可以包括文本信息以及各文本信息对应的色彩参数,该色彩参数用于与饼图中各个扇区的色彩进行匹配,从而确定各个扇区相对应的文本信息。
扇区占比信息可以包括占比数值以及占比数值对应的位置信息,该占比数值可以用于表征某一个扇区在饼图中的占比,而通过位置信息后续可以确定各个占比数值对应的具体扇区。
示例性的,可以通过检测模型来获取待处理饼图的图例信息以及扇区占比信息。该检测模型可以为预先训练得到的深度神经网络模型,例如可以为NanoDet、YOLO、FasterR-CNN等模型。可以通过预先获取训练集以及训练集的标签的方式,对深度神经网络模型进行训练,从而得到满足需求的深度神经网络模型,作为检测模型。其中,训练集可以包括采集的大量饼图,而训练集的标签可以包括图例描述信息、扇区描述字符、标题等标注。
需要说明的是,上述具体的深度神经网络模型仅为一种示例,实际应用中可以根据需要灵活调整。
进而,可以将该待处理饼图作为输入量,输入至检测模型,得到检测模型的输出,即为待处理饼图的图例信息以及扇区占比信息。详细的介绍,可以参阅后续实施例。
步骤S120:基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息。
进一步的,还可以获取待处理饼图中每个扇区的初始扇区信息。其中,初始扇区信息可以包括扇区的位置信息、每个扇区对应的色彩参数以及该色彩参数在该饼图的全部扇区对应的色彩中的占比。
示例性的,可以通过语义分割模型来获取待处理饼图中每个扇区的初始扇区信息。该语义分割模型可以为预先训练得到的深度神经网络模型,例如可以为Unet、SegNet、BiSeNet等模型。可以通过预先获取训练数据以及训练数据的标签信息的方式,对深度神经网络模型进行训练,从而得到满足需求的深度神经网络模型,作为语义分割模型。进而,可以将该待处理饼图作为输入量,输入至语义分割模型,得到语义分割模型的输出,即为待处理饼图的初始扇区信息。详细的介绍,可以参阅后续实施例。
需要说明的是,上述具体的深度神经网络模型仅为一种示例,实际应用中可以根据需要灵活调整。
其中,初始扇区信息是与各个扇区相对应的。示例性的,若获取到四个初始扇区信息,分别为初始扇区信息A1、初始扇区信息A2、初始扇区信息A3以及初始扇区信息A4,而待处理饼图中包括四个扇区,具体为扇区B1、扇区B2、扇区B3以及扇区B4。此时获取到的多个初始扇区信息是与扇区相互对应的,也即是初始扇区信息A1与扇区B1对应、初始扇区信息A2与扇区B2对应、初始扇区信息A3与扇区B3对应以及初始扇区信息A4与扇区B4对应。
步骤S130:若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息。
可以理解的是,虽然前述步骤中均为对待处理饼图进行识别,然而,通过语义分割模型获取待处理饼图中每个扇区的初始扇区信息,可能存在识别不准确的情况,此时得到的初始扇区信息可能存在误差。例如,待处理饼图包括有4个扇区,而通过语义分割模型获取到的初始扇区信息中对应有5个扇区,此时则可以判定语义分割模型获取待处理饼图中每个扇区的初始扇区信息存在误差。
因此,在一些实施方式中,可以基于初始扇区信息来确定扇区数量,作为第一数量;然后基于指定信息来确定扇区数量,作为第二数量,其中指定信息包括所述图例信息或所述扇区占比信息。
进而,再对第一数量与第二数量进行比较,若第一数量与第二数量不相等,则表征语义分割模型获取待处理饼图中每个扇区的初始扇区信息存在误差。此时可以进一步的基于所述语义分割模型获取所述待处理饼图的掩码图像,从而后续结合掩码图像来获取目标扇区信息。
其中,掩码图像也称为掩膜或遮罩图像,是一种在图像处理中使用的技术。掩码图像通常是一个与原始图像同样大小的二维矩阵,其中的每个像素值决定了原始图像中对应像素的可见性或处理方式。示例性的,请参阅图4,图4示出了图3对应的掩码图像的示意图。图4示出的掩码图像400中包括第一区域410以及第二区域420,其中,第一区域410用于表征待处理饼图中的所有扇区所在的图像区域,而第二区域420用于表征待处理饼图中扇区之外的图像区域。
对于一些实施方式,该掩膜图像也可以基于语义分割模型来获取,示例性的,该语义分割模型与步骤S120中用于获取初始扇区信息的语义分割模型为不同的两个模型,从而将待处理饼图输入该语义分割模型,得到输出的掩膜图像。
另一种示例性的,步骤S120中用于获取初始扇区信息的语义分割模型的输出量,即包括了初始扇区信息以及掩膜图像,也就是说,可以将待处理图像输入语义分割模型,则可得到该语义分割模型输出的初始扇区信息以及掩膜图像。
其中,初始扇区信息中可以包括每个扇区对应的色彩参数,从而,通过初始扇区信息中色彩参数的数量,即可确定第一数量;初始扇区信息中也可以包括扇区的位置信息,从而通过扇区的位置信息也可以确定扇区的数量,进而得到第一数量。
而指定信息包括有图例信息或所述扇区占比信息,因此,可以通过图例信息中各文本信息对应的色彩参数的数量,确定第二数量;也可以通过占比数值对应的位置信息的数量,确定第二数量。
步骤S140:基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息。
在一些实施方式中,可以通过指定算法来基于所述掩码图像与所述待处理饼图确定每个扇区的目标扇区信息。和前述初始扇区信息类似的,目标扇区信息也可以包括扇区的位置信息、每个扇区对应的色彩参数以及该色彩参数在该饼图的全部扇区对应的色彩中的占比。
其中,指定算法可以包括聚类分析算法、归类邻近点算法、关键点检测算法以及连通域分析算法中至少一种,详细的通过指定算法获取目标扇区信息的介绍,可以参阅后续实施例。
和初始扇区信息类似的,目标扇区信息是与各个扇区相对应的。示例性的,若获取到四个目标扇区信息,分别为目标扇区信息A1、目标扇区信息A2、目标扇区信息A3以及目标扇区信息A4,而待处理饼图中包括四个扇区,具体为扇区B1、扇区B2、扇区B3以及扇区B4。此时获取到的多个目标扇区信息是与扇区相互对应的,也即是目标扇区信息A1与扇区B1对应、目标扇区信息A2与扇区B2对应、目标扇区信息A3与扇区B3对应以及目标扇区信息A4与扇区B4对应。
步骤S150:将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。
在获取到每个扇区的目标扇区信息、图例信息以及扇区占比信息之后,可以对上述信息进行匹配,从而提取得到每个扇区对应的目标信息。其中,目标信息用于表征每个扇区包括的色彩参数、文本信息、位置信息以及占比数值等。
通过前述的介绍可知,目标扇区信息与各个扇区具有对应关系,从而,可以将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,从而实现提取待处理饼图中每个扇区对应的目标信息。
其中,通过将每个扇区的目标扇区信息与所述图例信息进行匹配,可以确定每个扇区对应的文本信息;然后再将每个扇区的目标扇区信息与扇区占比信息进行匹配,可以确定每个扇区对应的占比数值;再综合匹配有文本信息以及占比数值的各个扇区从而得到每个扇区对应的目标信息,详细的介绍可以参阅后续实施例。
本申请实施例提供的信息提取方法,首先基于检测模型获取待处理饼图的图例信息以及扇区占比信息;然后基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息;若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像;再基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息;从而将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。其中,获取到的初始扇区信息与图例信息或扇区占比信息可能存在不对应的情况,此时可能为对待处理饼图的识别出现了错误,若直接将获取到的图例信息、扇区占比信息以及初始扇区信息进行匹配,则提取得到的每个扇区的目标信息也可能存在错误,从而造成提取得到的数据准确度不足。而本申请中,通过比较第一数量以及第二数量,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息;若第一数量与第二数量不相等,此时有较大可能对待处理饼图的识别出现了错误,从而获取目标扇区信息,再将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,以提高提取得到的每个扇区对应的目标信息的准确度。
请参阅图5,图5示出了本申请实施例提供的一种信息提取方法的方法流程图。该信息提取方法可以应用于图1示出的视频生成场景中的电子设备,具体的可以将电子设备的处理器作为执行该信息提取方法的执行主体。该信息提取方法可以包括步骤S210至步骤S2130。
步骤S210:基于所述检测模型确定待处理饼图对应的第一检测框以及第二检测框,其中,所述第一检测框中包括所述待处理饼图中图例对应的第一部分图像,所述第二检测框中包括所述待处理饼图中扇区占比文本对应的第二部分图像。
步骤S220:基于所述第一部分图像确定所述图例信息。
步骤S230:基于所述第二部分图像确定所述扇区占比信息。
通过检测模型可以确定待处理饼图中的检测框,具体的可以确定第一检测框以及第二检测框,其中,所述第一检测框中包括所述待处理饼图中图例对应的第一部分图像,所述第二检测框中包括所述待处理饼图中扇区占比文本对应的第二部分图像。
示例性的,请参阅图6,图6示出了本申请实施例中待处理饼图的检测框的示意图。图6示出的待处理饼图600中包括有第一检测框610以及第二检测框620。其中,第一检测框610中包括待处理饼图600中图例对应的第一部分图像;而第二检测框620中包括待处理饼图600中扇区占比文本对应的第二部分图像。
其中,第一检测框以及第二检测框可以通过坐标信息来表征,该坐标信息可以为基于该待处理饼图建立的指定坐标系确定的坐标。示例性的,可以通过第一检测框的对角线的两个顶点的在指定坐标系中的坐标来表征坐标信息,例如第一检测框的顶点A的坐标为(x1,y1),第二检测框的顶点B的坐标为(x2,y2),则可以将{x1,y1,x2,y2}作为第一检测框的坐标信息。类似的,也可以确定第二检测框的坐标信息,此处不再赘述。
进一步的,可以基于第一部分图像来确定图例信息,对于一些实施方式,可以结合图像文字识别技术以及检测模型,来得到图例信息。示例性的,步骤S220还可以包括步骤S221至步骤S223。
步骤S221:对所述第一部分图像进行文字识别,得到文本信息。
步骤S222:对所述第一部分图像进行图像处理,得到第一部分图像中包括的第四色彩参数。
步骤S223:基于所述文本信息以及所述第四色彩参数确定所述图例信息。
在一些实施方式中,在确定第一检测框后,可以对待处理饼图进行裁剪,从而得到第一检测框对应的图像,作为第一部分图像。也就是说,该第一图像中仅包括第一检测框对应的图像。
可以理解的是,第一部分图像中包括有文本信息,以及每个文本信息对应的色块。
可以对该第一部分图像进行文字识别,进而得到文本信息。示例性的,可以通过光学字符识别(Optical Character Recognition,OCR)来对第一部分图像进行文字识别,从而得到文本信息。在一些实施方式中,该本文信息可以以legend.text的形式进行存储。
进一步的,还可以对第一部分图像进行图像处理,从而得到第一部分图像中包括的第四色彩参数。示例性的,若以L1表征第一部分图像,可以首先对第一部分图像L1进行图像增强从而获得第一中间图像,可以以L2表征第一中间图像。其中,图像增强可以包括提高分辨率、减少图像中的噪点、减少图像中的摩尔纹等。其中,第四色彩参数为与文本信息对应的色块的色彩参数。
然后对第一中间图像L2进行梯度计算,获得梯度图像,可以通过L3来表征梯度图像。进而将梯度图L3转化为自适应的二值图像,可以以L4来表征该二值图像。进一步的可以对二值图像L4做轮廓检测与轮廓填充操作得到第二中间图像,可以以L5来表征第二中间图像。其中,轮廓检测的目的是检测图例中色块的轮廓,轮廓填充是为了让轮廓中的信息连续、封闭。
再去除第二中间图像L5中的文字部分,并对第二中间图像L5进行去除噪点和腐蚀操作,然后保留面积最大的连通域,从而可以得到形状贴合第一部分图像中各个色块的第二掩码图像,可以以L6来表征第二掩码图像。通过第二掩码图像有利于提取色块的颜色值。
通过第二掩码图像L6获得第一部分图像中各个色块的外接矩形坐标,其中外接矩形坐标用于表征各个色块的位置信息。类似的,同样可以基于指定坐标系来确定外接矩形坐标。示例性的,可以通过外接矩形的对角线的两个顶点的坐标来确定外接矩形坐标。若外接矩形的对角线的两个顶点的坐标分别为(m_x1,m_y1)以及(m_x2,m_y2),则可以通过{m_x1,m_y1,m_x2,m_y2}表征定外接矩形坐标。
进一步的,通过{m_x1,m_y1,m_x2,m_y2}从待处理饼图中裁剪得到色块图,可以以L7表征色块图。从而可以获取色块图L7的RGB值。再将色块图对应的R值、G值以及B值求取算术平均值,得到第四色彩参数,可以通过legend.co lor表征第四色彩参数。
在一些实施方式中,可以将legend.text以及legend.co lor均存储至pie_detection.json文件中。
进一步的,可以基于第二部分图像来确定扇区占比信息,和确定图例信息类似的,也可以结合图像文字识别技术以及检测模型,来得到扇区占比信息。示例性的,步骤S230还可以包括步骤S231至步骤S233。
步骤S231:对每个所述备选部分图像进行文字识别,得到占比数值。
步骤S232:获取每个所述备选部分图像的第三位置信息。
步骤S233:基于所述占比数值以及第三位置信息确定所述扇区占比信息。
其中,第二部分图像为待处理饼图中扇区占比文本对应的图像,各个扇区的占比文本分布于待处理饼图中的不同位置,从而第二部分图像中可以包括多个备选检测框对应的备选部分图像,其中每个备选部分图像中包括一个扇区的占比文本。
每个备选部分图像的可以对应有第三位置信息,其中第三位置信息可以通过备选部分图像的四个顶点位于指定坐标系中的坐标来确定。示例性的,若四个顶点的坐标分别为(text_x1,text_y1)、(text_x2,text_y2)、(text_x3,text_y3)以及(text_x4,text_y4),从而第三位置信息可以通过{(text_x1,text_y1),(text_x2,text_y2),(text_x3,text_y3),(text_x4,text_y4)}进行表征。
在一些实施方式中,在确定第二检测框后,可以将裁剪后的第二检测框对应的图像与空白图像进行融合,其中该空白图像的尺寸大小与待处理饼图的大小相同,而第二检测框对应的图像在融合得到的融合图像中所处的位置,与在待处理饼图所处的位置具有对应关系,可以通I来表征融合得到的融合图像。
进一步的,可以对融合图像I进行文字识别,通过识别结果即可确定数值占比。示例性的,可以通过光学字符识别OCR对融合图像I进行文字识别,从而得到占比数值。例如,占比数值可以为21%、51%、4%等,可以通过text_legend2来表征占比数值。
可以理解的是,每个扇区可以对应有一个第三位置信息以及数值占比。从而,可以将每个扇区的占比数值以及第三位置信息进行对应,确定所述扇区占比信息。在一些实施方式中,可以将数值占比以及第三位置信息更新至前述的pie_detect ion.json文件中存储。
可选的,在一些实施方式中,还可以确定第三检测框,其中第三检测框中包括待处理饼图中标题对应的第三部分图像。类似的,也可以通过前述检测模型来确定第三检测框。示例性的,请继续参阅图6,图6中的待处理饼图600还包括第三检测框630。
从而,还可以基于第三部分图像来确定标题信息。类似的,第四位置信息可以通过第三部分图像的四个顶点位于指定坐标系中的坐标来确定。示例性的,若四个顶点的坐标分别为(text_x1,text_y1)、(text_x2,text_y2)、(text_x3,text_y3)以及(text_x4,text_y4),从而第四位置信息可以通过{(text_x1,text_y1),(text_x2,text_y2),(text_x3,text_y3),(text_x4,text_y4)}进行表征。
在确定第三检测框后,可以对待处理饼图进行裁剪,从而得到第三检测框对应的图像,作为第三部分图像。也就是说,该第三图像中仅包括第三检测框对应的图像。
可以对该第三部分图像进行文字识别,进而得到标题信息。示例性的,可以通过光学字符识别来对第三部分图像进行文字识别,从而得到的输出结果即为标题信息。在一些实施方式中,该标题信息可以以text_t it le的形式进行存储。在一些实施方式中,可以将标题信息以及第四位置信息更新至前述的pie_detect ion.json文件中存储。
步骤S240:基于所述语义分割模型获取所述待处理饼图的边缘分割二值化图像。
为了获取初始扇区信息,首先可以通过语义分割模型来获取待处理饼图的边缘分割二值化图像。其中,边缘分割二值化图像一般用于提取图像中的边缘信息,并将图像转换为二值形式,即只有黑色和白色两种像素值的图像。示例性的,请参阅图7,图7示出了本申请实施例中提供的一种边缘分割二值化图像的示意图。图7中示出的边缘分割二值化图像700对应于图3中示出的待处理饼图300。从图7中可见,图7包括有各个扇区710以及相邻两个扇区之间的分割线720,分割线也即是边缘信息。
其中,边缘分割二值化图像可以基于语义分割模型得到,例如,边缘分割二值化图像可以作为语义分割模型输出量中的一部分,从而将待处理饼图输入至语义分割模型后,可以通过语义分割模型输出的数据确定边缘分割二值化图像。
步骤S250:基于所述边缘分割二值化图像以及所述待处理饼图,确定每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息。
可以理解的是,在待处理饼图中,每个扇区对应的色彩是不相同的,而由于每个扇区的占比数值也可能是不相同的,从而使得每个扇区对应的色彩占比也是不相同的。在一些实施方式中,步骤S250还可以包括步骤S251和步骤S252。
步骤S251:基于所述边缘分割二值化图像以及所述待处理饼图,确定每个扇区包括的像素点的第二色彩参数。
步骤S252:基于每个像素点的第二色彩参数确定所述每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息。
为了确定每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息,可以首先确定每个扇区中像素点的第二色彩参数。示例性的,每个像素点的第二色彩参数可以为该像素点的RGB像素值的平均值。
然后,可以基于每个像素点的第二色彩参数确定所述每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息。
其中,可以通过第二色彩参数来表征该扇区对应的第一色彩参数,也就是说,第一色彩参数表征的可以是对应扇区中各个像素点的RGB值的平均值。而第一色彩参数的第一色彩占比信息则为该第一色彩参数所对应的像素点的数量在待处理饼图的饼图对应的像素点的数量的占比。示例性的,该第一色彩参数所对应的像素点的数量为10万个,而待处理饼图的饼图对应的像素点的数量为100万个,则该第一色彩参数的第一色彩占比信息为10万/100万=10%。其中,饼图可以为待处理饼图中每个扇区的和。
步骤S260:基于所述第一色彩参数与所述边缘分割二值化图像确定每个所述第一色彩参数对应的扇区的第一位置信息。
进一步的,还可以通过所述第一色彩参数与所述边缘分割二值化图像确定每个所述第一色彩参数对应的扇区的第一位置信息。第一位置信息用于表征对应的扇区的位置,其中,扇区的第一位置信息可以通过该扇区中的指定点的位置坐标来表征,例如该指定点可以为该扇区的几何中心点。类似的,可以通过在指定坐标系下通过坐标来表征第一位置信息。
确定每个所述第一色彩参数对应的扇区的第一位置信息的详细介绍,可以参阅后续获取目标扇区信息的相关介绍。
步骤S270:将所述第一色彩参数、第一色彩占比信息以及第一位置信息作为所述初始扇区信息。
在获取到第一色彩参数、第一色彩占比信息以及第一位置信息作为所述初始扇区信息之后,可以将第一色彩参数、第一色彩占比信息以及第一位置信息作为所述初始扇区信息。
步骤S280:若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息。
其中,步骤S280在前述实施例中已经详细介绍,此处不再赘述。
步骤S290:通过指定算法基于所述掩码图像与所述待处理饼图确定每个扇区对应的第三色彩参数、每个所述第三色彩参数的第二色彩占比信息以及每个所述第三色彩参数对应的扇区的第二位置信息,所述指定算法包括聚类分析算法、归类邻近点算法、关键点检测算法以及连通域分析算法中至少一种。
在一些实施方式中,目标扇区信息可以包括每个扇区对应的第三色彩参数、每个所述第三色彩参数的第二色彩占比信息以及每个所述第三色彩参数对应的扇区的第二位置信息。
其中,每个扇区对应的第三色彩参数表征的可以是该扇区中像素点的RGB像素值的平均值。每个所述第三色彩参数的第二色彩占比信息表征的是第三色彩参数所对应的像素点的数量在待处理饼图的饼图对应的像素点的数量的占比。每个所述第三色彩参数对应的扇区的第二位置信息表征的是对应的扇区的位置。
对于一些实施方式,可以通过指定算法来获取第三色彩参数、每个所述第三色彩参数的第二色彩占比信息以及每个所述第三色彩参数对应的扇区的第二位置信息,其中,指定算法可以包括聚类分析算法、归类邻近点算法、关键点检测算法以及连通域分析算法中至少一种。
以指定算法为聚类分析算法为例进行介绍,其中该聚类分析算法为k-means聚类分析算法。具体的,可以将掩码图像与所述待处理饼图作为聚类分析算法的输入量。
可以理解的是,待处理饼图中包括有各个扇区组成的饼图,以及标题、图例描述信息或扇区描述字符等,因此可以收首先利用掩码图像对待处理饼图中饼图的空间位置进行检测。其中,空间位置可以为通过指定坐标系进行表征的坐标信息。示例性的,可以通过饼图的圆心的坐标和饼图的半径来确定饼图的空间位置。可以以center(x_c,y_c)来表征圆心的坐标,以rad ius来表征半径。
进一步的,可以从待处理饼图中裁剪得到检测圆,可以以img_check来表征检测圆。示例性的,可以以(x_c,y_c)为中心、半径为指定数值*rad ius的数值,从待处理饼图中裁剪得到检测圆。需要说明的是,理论上设定任意小于1的指定数值均可以得到检测圆,然而若设定较大的指定数值可能使得检测圆的圆周上存在一些文字信息,例如扇区描述字符,从而对后续进一步对检测圆的检测识别精度造成负面影响。因此,可以通过设定较小的指定数值来确保检测圆内几乎不包括文字信息,例如可以设定指定数值为30%。
然后,对检测圆中每个像素点的RGB值和每个像素点的图像位置进行统计,并将每个像素点的RGB值和每个像素点的图像位置分别进行合并,得到融合数据。示例性的,若通过{(b,g,r)}表征每个像素点的RGB值,通过{(x,y)}表征每个像素点的图像位置,则合并得到每个像素点对应的融合数据{(b,g,r,x,y)}。
进一步的,将前述步骤中第二数量作为k-means聚类的聚类类别的数量,并基于每个扇区的像素点的RGB值,确定聚类类别对应的扇区的中心的色彩参数,可以通过{(b_c,g_c,r_c)}表征聚类类别的色彩参数,该色彩参数即为每个扇区对应的第三色彩参数。
然后将聚类类别中每个类别所占的总聚类类别的比例,作为每个所述第三色彩参数的第二色彩占比信息。其中,聚类类别所占总聚类类别的比例,可以通过该聚类类别的像素点的数量与总聚类类别的像素点的数量的比值确定。聚类类别的数量即为扇区的数量,总聚类类别即对应于饼图。可以通过co lor_rate来表征每个所述第三色彩参数的第二色彩占比信息。
另外,还可以计算每个所述第三色彩参数对应的扇区的第二位置信息,可以通过表征第二位置信息。
以指定算法为归类邻近点算法为例进行介绍,其中该归类邻近点算法可以用于计算相邻像素点的颜色范数,进而归类统计区域中扇区的颜色的和占比情况。具体的,可以将掩码图像与所述待处理饼图作为归类邻近点算法的输入量。
和利用聚类分析算法类似的,首先可以从待处理饼图中裁剪得到检测圆,然后,对检测圆中每个像素点的RGB值和每个像素点的图像位置进行统计,并将每个像素点的RGB值和每个像素点的图像位置分别进行合并,得到融合数据。
进一步的,可以计算饼图中每个像素点{(x,y)}相对于圆点center的极角,通过{(angle)}来表征极角。按照极角{(angle)}从小到大的位序排列得到新的各个像素点的RGB值{(b,g,r)}的序列。
按照该序列对每个像素点的RGB值{(b,g,r)}进行遍历,依次计算当前像素点的RGB值{(b,g,r)}与相邻的上一个像素点的RGB值{(b,g,r)}之间的差异,若差异小于指定阈值,则确定当前像素点与相邻的上一个像素点为相同的一类像素点;若差异大于或等于指定阈值,则确定当前像素点与相邻的上一个像素点为不同的一类像素点,以对每个像素点进行分类。
在对每个像素点进行分类后,还可以计算第一类和最后一类的颜色差异,若差异小于指定阈值则将最后一类合并到第一类中;若差异大于或等于指定阈值,则将最后一类与第一类分别作为不同的类。其中,第一类为上述对像素点进行分类时首先确定的类,而最后一类为分类时最后确定的类。
然后,确定每一类的中心点处像素点的RGB值,作为每个扇区对应的第三色彩参数,通过{(b_c,g_c,r_c)}表征第三色彩参数,并将每个扇区中心点处像素点的位置作为第二位置信息,通过表征第二位置信息。进一步的还可以计算每一类包括的像素点的数量与所有类中像素点的数量的比值,作为每个第三色彩参数的第二色彩占比信息,可以通过co lor_rate来表征每个第三色彩参数的第二色彩占比信息。
以指定算法为关键点检测算法为例进行介绍,其中该关键点检测算法为利用开源的计算机视觉和机器学习软件库(Open Source Computer Vi s ion Library,OpenCV)进行关键点检测的算法。具体的,可以将掩码图像与所述待处理饼图作为关键点检测算法的输入量。
和利用聚类分析算法类似的,首先可以利用掩码图像对待处理饼图中饼图的空间位置进行检测。可以通过饼图的圆心的坐标和饼图的半径来确定饼图的空间位置。可以以center(x_c,y_c)来表征圆心的坐标,以rad ius来表征半径。进一步的,可以将待处理饼图中所有像素点中除饼图对应的像素点之外的像素点的像素值置0,从而得到边缘掩膜图像,可以通过mask_edge来表征边缘掩膜图像。
对边缘掩膜图像中RGB颜色通道进行分离,得到蓝色通道的蓝色分离图像、绿色通道的绿色分离图像以及红色通道的红色分离图像,通过img_b表征蓝色通道的蓝色分离图像,通过img_g表征绿色通道的绿色分离图像,通过img_r表征红色通道的红色分离图像。进一步的,可以通过Canny算子分别处理三个颜色通道的分离图像得到canny图像。具体的,canny图像中可以包括蓝色通道的canny_b图像、绿色通道的canny_g图像以及红色通道的canny_r图像。将canny_b图像、canny_g图像以及canny_r图像进行加权平均得到整合后的平均canny图像,以canny_add进行表征。其中,Canny算子是一种多边缘检测算法,是图像处理中常用的一种边缘检测方法。常见的Canny算子可以包括高斯滤波、计算梯度、非极大值抑制、双阈值检测或滞后阈值等步骤。
进一步的,可以使用一个7*7的卷积核膨胀平均canny图像canny_add,得到膨胀图像,以dilated_image表征膨胀图像。再使用一个3*3的卷积核对膨胀图像dilated_image进行均值滤波,得到均值滤波后的中值滤波图像,通过median_blur表征中值滤波图像,并使将中值滤波图像median_blur二值化,示例性的,可以通过100的阈值将中值滤波图像median_blur二值化。其中,中值滤波是一种非线性滤波技术,常用于消除数字图像或信号中的噪声。
然后,再使用一个11*11的卷积核再次膨胀二值化后的中值滤波图像median_blur得到第二膨胀图像,通过dilated_image_2表征第二膨胀图像。再使用一个7*7的卷积核再次对第二膨胀图像dilated_image_2进行均值滤波得到第二中值图像,通过median_blur_2表征第二中值图像。
进一步的,对第二中值图像median_blur_2提取骨架得到骨架图像,通过sk_img表征骨架图像。将骨架图像sk_img乘以第一数值后再进行角点检测,得到只带角点的角点图像,通过coner_img表征角点图像,其中第一数值可以为255。对于一些实施方式,角点检测方法检测的是拥有特定特征的图像点,而不仅仅是“角点”。这些特征点在图像中有具体的坐标,并具有某些数学特征,如局部最大或最小灰度、某些梯度特征等。
再选取半径radius的第二数值的比例的区域作为掩码来滤除角点图像coner_img中非圆周的角点,其中,第二数值可以为小于1的数值,例如95%。再找到每个角点块中的中心角点,角点块为角点所对应的扇区。进一步的可以计算各个相邻角点之间的夹角,从而得到夹角对应的扇区的占比,该占比即为每个第三色彩参数的第二色彩占比信息color_rate。该夹角对应的扇区的占比即为夹角与360度的比值。其中,计算相邻角点之间的夹角的方法,可以参阅后续实施例中计算相邻分界点之间的夹角的介绍。
还可以获取各个角点的坐标,然后根据角点的坐标和圆心的坐标来计算每个扇区的中心点处像素点的位置作为第二位置信息,通过表征第二位置信息;也可以计算每个扇区中心点处像素点的RGB值,作为每个扇区对应的第三色彩参数,通过{(b_c,g_c,r_c)}表征第三色彩参数。
以指定算法为连通域分析算法为例进行介绍,其中该连通域分析算法为利用开源的计算机视觉和机器学习软件库(Open Source Computer Vision Library,OpenCV)进行连通域分析的算法。具体的,可以将掩码图像与所述待处理饼图作为连通域分析算法的输入量。
和前述介绍类似的,可以收首先利用掩码图像对待处理饼图中饼图的空间位置进行检测。其中,空间位置可以为通过指定坐标系进行表征的坐标信息。示例性的,可以通过饼图的圆心的坐标和饼图的半径来确定饼图的空间位置。可以以center(x_c,y_c)来表征圆心的坐标,以radius来表征半径。
进一步的,可以从待处理饼图中裁剪得到检测圆,可以以img_check来表征检测圆。示例性的,可以以(x_c,y_c)为中心、半径为指定数值*radius的数值,从待处理饼图中裁剪得到检测圆,例如可以设定指定数值为30%。
从而,对边检测圆img_check中RGB颜色通道进行分离,得到蓝色通道的蓝色分离图像、绿色通道的绿色分离图像以及红色通道的红色分离图像,通过img_b表征蓝色通道的蓝色分离图像,通过img_g表征绿色通道的绿色分离图像,通过img_r表征红色通道的红色分离图像。进一步的,可以通过Canny算子分别处理三个颜色通道的分离图像得到canny图像。具体的,canny图像中可以包括蓝色通道的canny_b图像、绿色通道的canny_g图像以及红色通道的canny_r图像。将canny_b图像、canny_g图像以及canny_r图像进行加权平均得到整合后的平均canny图像,以canny_add进行表征。其中,Canny算子是一种多边缘检测算法,是图像处理中常用的一种边缘检测方法。常见的Canny算子可以包括高斯滤波、计算梯度、非极大值抑制、双阈值检测或滞后阈值等步骤。
然后使用一个7*7的卷积核膨胀平均canny图像canny_add,得到膨胀图像,以dilated_image表征膨胀图像。再对膨胀图像dilated_image提取骨架得到骨架图像,通过sk_img表征骨架图像。
将骨架图像sk_img乘以第三数值后进行连通域分析,得到每个连通域的质心,每个质心即为对应扇区的中心,从而获取到第二位置信息再计算各个相邻质心之间的夹角,从而得到夹角对应的扇区的占比,该占比即为每个第三色彩参数的第二色彩占比信息color_rate。该夹角对应的扇区的占比即为夹角与360度的比值。
最后计算各个扇区的质心周围的颜色值均值,作为每个扇区对应的第三色彩参数{(b_c,g_c,r_c)}。
需要说明的是,上述各个指定算法在实际应用中可以灵活选取,也可以同时选取多种算法,此时可以对每种算法得到的第三色彩参数、第二色彩占比信息以及第二位置信息再进一步处理,从而得到第三色彩参数、第二色彩占比信息以及第二位置信息。示例性的,可以通过聚类分析算法得到对应的第三色彩参数、第二色彩占比信息以及第二位置信息,通过归类邻近点算法得到对应的第三色彩参数、第二色彩占比信息以及第二位置信息,从而将聚类分析算法对应的第三色彩参数与归类邻近点算法对应的第三色彩参数求取平均值,作为每个扇区对应的第三色彩参数;类似的,将聚类分析算法对应的第二色彩占比信息与归类邻近点算法对应的第二色彩占比信息求取平均值,作为每个扇区对应的第二色彩占比信息;将聚类分析算法对应的第二位置信息与归类邻近点算法对应的第二位置信息求取平均值,作为每个扇区对应的第二位置信息。
可以理解的是,上述示出的多种算法仅为一种示例,多种算法可以包括上述示出的各种算法中的至少两种,本申请实施例不做具体限定。
步骤S2100:将所述第三色彩参数、第二色彩占比信息以及第二位置信息作为所述目标扇区信息。
在获取到第三色彩参数、第二色彩占比信息以及第二位置信息后,可以直接将所述第三色彩参数、第二色彩占比信息以及第二位置信息作为所述目标扇区信息。
在一些实施方式中,可以将第三色彩参数{(b_c,g_c,r_c)}、第二色彩占比信息color_rate以及第二位置存储至pie_seg.json文件中。
步骤S2110:获取与第四色彩参数匹配的第三色彩参数对应的扇区,作为第一待匹配扇区。
步骤S2120:获取与所述第三位置信息匹配的所述第二位置信息对应的扇区,作为第二待匹配扇区。
步骤S2130:基于所述第一待匹配扇区以及所述第二待匹配扇区确定待处理饼图中每个扇区对应的第四色彩参数、文本信息、第三位置信息以及占比数值,得到待处理饼图中每个扇区对应的目标信息。
在通过前述步骤分别得到目标扇区信息、图例信息以及扇区占比信息后,可以将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,从而得到待处理饼图中每个扇区对应的目标信息。
通过前述的介绍可知,目标扇区信息可以包括第三色彩参数、第二位置信息、每个第三色彩参数对应的扇区以及每个第二位置信息对应的扇区。也就是说,目标扇区中包括有每个扇区与第三色彩参数以及第二位置信息之间的对应关系。另外,图例信息可以包括第四色彩参数以及每个第四色彩参数对应的文本信息;扇区占比信息可以包括第三位置信息以及每个所述第三位置信息对应的占比数值。
在一些实施方式中,可以首先对目标扇区信息以及图例信息进行匹配。示例性的,可以通过色彩参数来进行匹配,例如可以获取与第四色彩参数匹配的第三色彩参数对应的扇区,作为第一待匹配扇区。其中,与第四色彩参数匹配的第三色彩参数,可以是与第四色彩参数相同的第三色彩参数,也可以是与第四色彩参数相近的第三色彩参数。根据前述的介绍可知,可以读取pie_seg.json文件从而获取到目标扇区信息,读取pie_detection.json文件从而获取到图例信息。
而在图例信息中,每个第四色彩参数对应有文本信息,从而,第一待匹配扇区中包括有每个扇区分别与第四色彩参数以及文本信息的对应关系。
进一步的,可以再对目标扇区信息以及扇区占比信息进行匹配。示例性的,可以通过位置信息进行匹配,例如可以获取与所述第三位置信息匹配的所述第二位置信息对应的扇区,作为第二待匹配扇区。其中,与第三位置信息匹配的第二位置信息,可以是与第三位置信息相同的第二位置信息,也可以是与第三位置信息相近的第二位置信息。在一些实施方式中,可以通过计算第三位置信息与第二位置信息之间的欧式距离,来确定与所述第三位置信息匹配的所述第二位置信息。根据前述的介绍可知,可以读取pie_seg.json文件从而获取到目标扇区信息,读取pie_detect ion.json文件从而获取到扇区占比信息。
在扇区占比信息中,每个所述第三位置信息对应的占比数值,从而,第二待匹配扇区中包括有每个扇区分别与第三位置信息以及占比数值的对应关系。
可以进一步基于所述第一待匹配扇区以及所述第二待匹配扇区确定待处理饼图中每个扇区对应的第四色彩参数、文本信息、第三位置信息以及占比数值。示例性的,可以对第一待匹配扇区中的各个扇区以及所述第二待匹配扇区中的各个扇区进行融合,例如,可以确定第一待匹配扇区中与第二待匹配扇区中相同的扇区,然后将相同的扇区中包括的信息进行融合。
具体例如,若第一待匹配扇区中包括第一个扇区、第二个扇区以及第三个扇区,其中,第一个扇区包括第一个第四色彩参数以及第一个文本信息,第二个扇区包括第二个第四色彩参数以及第二个文本信息,第三个扇区包括第三个第四色彩参数以及第三个文本信息;若第二待匹配扇区中包括第一个扇区、第二个扇区以及第三个扇区,其中,第一个扇区包括第一个第三位置信息以及第一个占比数值,第二个扇区包括第二个第三位置信息以及第二个占比数值,第三个扇区包括第三个第三位置信息以及第三个占比数值。从而,可以将第一个第三位置信息、第一个占比数值、第一个第三位置信息以及第一个占比数值进行融合,得到第一个扇区对应的目标信息;将第二个第三位置信息、第二个占比数值、第二个第三位置信息以及第二个占比数值进行融合,得到第二个扇区对应的目标信息;将第三个第三位置信息、第三个占比数值、第三个第三位置信息以及第三个占比数值进行融合,得到第三个扇区对应的目标信息。
需要说明的是,目标信息中还可以包括有除了上述介绍中提及的第四色彩参数、文本信息、第三位置信息以及占比数值之外的信息,例如还可以包括有每个扇区对应的第三色彩参数以及第二位置信息等,本申请实施例不做具体限定。
可以理解的是,得到的待处理饼图中每个扇区对应的目标信息,可以后续用于进行数据重构,例如可以后续基于目标信息重构新的饼图;又例如,还可以基于目标数据生成对该待处理饼图的文本描述信息;再例如,还可以基于目标数据生成包括有目标类型的图像,例如目标类型可以为柱状图、折线图等,从而容易对目标数据进行转化。本申请实施例提供的信息提取方法,通过指定算法获取目标扇区信息,并结合识别得到的图例信息以及扇区占比信息一并确定出待处理饼图中每个扇区对应的目标信息。其中,对目标扇区信息、图例信息以及扇区占比信息的获取结合了神经网络模型,即使是轻量化的神经网络模型也能够实现信息获取,从而即使是移动端也具有了较高效率获取目标信息的能力。另外,由于本申请实施例中的目标扇区信息是在第一数量与第二数量不相等的情况下,基于所述掩码图像与所述待处理饼图获取得到的,从而可以一定程度提高后续目标信息提取的准确性。并且,本申请实施例中指定算法包括聚类分析算法、归类邻近点算法、关键点检测算法以及连通域分析算法中至少一种,泛化了应用场景,优化了使用者的体验,得到的目标信息具有较高的鲁棒性。
请参阅图8,图8示出了本申请实施例提供的一种信息提取方法的方法流程图。该信息提取方法可以应用于图1示出的视频生成场景中的电子设备,具体的可以将电子设备的处理器作为执行该信息提取方法的执行主体。该信息提取方法可以包括步骤S310至步骤S3100。
步骤S310:基于检测模型获取待处理饼图的图例信息以及扇区占比信息。
其中,步骤S310在前述实施例中已经详细,此处不再赘述。
步骤S320:获取训练数据,所述训练数据包括多个训练饼图以及每个训练饼图对应的标签信息,所述标签信息用于表征每个训练饼图对应的标准边缘分割二值化图像和标准掩码图像。
通过前述介绍可知,语义分割模型可以为预先训练得到的深度神经网络模型,因此可以对初始模型进行训练,从而得到语义分割模型。该初始模型为一种深度神经网络模型。
首先,可以获取训练数据,该训练数据即用于对初始模型进行训练。其中,训练数据可以包括多个训练饼图以及每个训练饼图对应的标签信息,所述标签信息用于表征每个训练饼图对应的标准边缘分割二值化图像和标准掩码图像。也就是说,标签信息表征的每个训练饼图对应的标准边缘分割二值化图像可以看作是该训练饼图对应的标准的边缘分割二值化图像的标准值;而标准掩码图像可以看作是该训练饼图对应的标准的掩码图像。
对于一些实施方式,可以首先采集饼图,例如通过互联网采集饼图,然后对得到的饼图中的关键点进行标注,再基于机器学习软件库对带有标注的饼图进行转换,得到转换后的掩码作为标准掩码图像,以及得到边缘分割二值化图像作为标准边缘分割二值化图像。其中,关键点可以包括圆形的圆周上各个扇区之间的分界点,该圆形即包括有各个扇区,而关键点还可以包括圆形的圆心。
需要说明的是,由于需要通过机器学习软件库对带有标注的饼图进行转换,而机器学习软件库对饼图的扇区数量具有一定要求,需要扇区数量不能小于阈值数量,其中阈值数量一般为5。因此,若获取到的训练饼图中的扇区数量较少,具体的若少于阈值数量,此时可以对扇区数量较少的训练饼图增加扇区数量。具体的,步骤S330之前,还可以包括步骤S331至步骤S334。
步骤S331:获取每个所述训练饼图中扇区的初始数量;
步骤S332:将初始数量小于阈值数量的训练饼图作为备选饼图;
步骤S333:增加备选饼图中的扇区数量至所述阈值数量,得到增强饼图;
步骤S334:基于所述增强饼图更新所述训练数据。
因此,首先可以获取每个所述训练饼图中扇区的初始数量,从而可以将初始数量小于阈值数量的训练饼图作为备选饼图,然后增加备选饼图中的扇区数量至所述阈值数量,得到增强饼图,后续则可以通过增强饼图来更新训练数据。其中,阈值数量可以为5。
其中,基于所述增强饼图更新所述训练数据可以是通过增强饼图替换训练数据中的备选饼图。
在一些实施方式中,可以获取每个备选饼图的关键点的位置信息,例如可以基于指定坐标系来表征各个关键点的位置信息。可以通过pie_arc={p1,p2,…,pk}来表征圆周上各个扇区之间的分界点的位置信息的集合;通过pie_center来表征圆形的圆心的位置信息。
可以分别计算每一个分界点与圆心之间的极角,并按照极角从小到大的顺序对分界点进行排序,得到第一序列,通过{a1,a2,…,ak}表征第一序列。然后,计算第一序列中相邻两个分界点之间的夹角,得到第二序列,通过{a′1,a′2,…,a′k―1}表征第二序列。对第一序列中第一个夹角与最后一个极角求差,并用2π减去该差值得到a′k,将a′k添加至第二训练末尾,得到第三序列,可以通过{a′1,a′2,…,a′k}表征第三序列。
然后,从第三序列中选取最大的极角,计算该极角对应的圆弧的中点相对于圆心的极角和极径,再根据中点相对于圆心的极角和极径得到该中点的位置信息,例如可以通过pk+1来表征新增的中点的位置信息。进一步的可以将新增的中点的位置信息条添加至pie_arc以对pie_arc进行更新,得到更新后的分界点的位置信息的集合,表征为pie_arc={p1,p2,…,pk,pk+1}。从而实现了对训练数据的扩展,也使得训练数据更好的满足需求,提高了整体获取语义分割模型的效率。
可选的,在更新分界点的位置信息的集合后,可以判断分界点的位置信息的集合中包括的分界点数量是否大于阈值数量,例如阈值数量为5,若未大于阈值数量,此时可以返回执行上述分别计算每一个分界点与圆心之间的极角以及后续步骤,以继续对分界点的位置信息的集合中包括的分界点进行增加,直至分界点的位置信息的集合中包括的分界点数量大于阈值数量。而增加了新的分界点的备选饼图,即为增强饼图。
步骤S330:基于初始模型获取所述训练数据对应的初始边缘分割二值化图像和初始掩码图像。
从而,可以基于初始模型获取所述训练数据对应的初始边缘分割二值化图像和初始掩码图像。示例性的,可以将训练数据输入至初始模型中,获取到初始模型输出的初始边缘分割二值化图像和初始掩码图像。
步骤S340:基于第一差异以及第二差异训练所述初始模型,以减小所述第一差异以及所述第二差异,其中,所述第一差异为所述标准边缘分割二值化图像与初始边缘分割二值化图像之间的差异,所述第二差异为所述标准掩码图像与所述初始掩码图像之间的差异。
步骤S350:将训练后的所述初始模型作为所述语义分割模型。
然后可以获取第一差异以及第二差异,其中,第一差异为所述标准边缘分割二值化图像与初始边缘分割二值化图像之间的差异,第二差异为所述标准掩码图像与所述初始掩码图像之间的差异。从而,可以基于第一差异以及第二差异训练所述初始模型,以减小所述第一差异以及所述第二差异。
反复通过训练数据对初始模型进行迭代训练,直至满足目标条件时,将训练后的所述初始模型作为所述语义分割模型。其中,目标条件可以是第一差异以及第二差异满足预先设定的损失函数的要求;目标条件也可以是迭代的次数达到指定次数。
步骤S360:基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息。
步骤S361:第一数量与第二数量是否相等。
在第一数量与第二数量不相等的情况下,可以跳转执行步骤S370;在第一数量与第二数量相等的情况下,可以跳转执行步骤S390。
步骤S370:若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息。
步骤S380:基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息。
其中,步骤S360至步骤S380在前述实施例中已经详细介绍,此处不再赘述。
步骤S390:若第一数量与第二数量相等,则将所述初始扇区信息作为所述目标扇区信息。
在第一数量与第二数量相等的情况下,则表征语义分割模型获取待处理饼图中每个扇区的初始扇区信息具有较高的准确度,此时则可以直接将初始扇区信息作为目标扇区信息,并跳转至步骤S3100进行待处理饼图中每个扇区对应的目标信息的提取。
步骤S3100:将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。
其中,步骤S3100在前述实施例中已经详细介绍,此处不再赘述。
本申请实施例提供的信息提取方法,通过对训练数据中的备选饼图进行增强,从而实现了对训练数据的扩展,也使得训练数据更好的满足需求,提高了整体获取语义分割模型的效率。
请参阅图9,图9示出了本申请实施例提供的一种信息提取装置的结构框图,该信息提取装置900包括:第一获取单元910、第二获取单元920、比较单元930、第三获取单元940以及提取单元950。
第一获取单元910,用于基于检测模型获取待处理饼图的图例信息以及扇区占比信息。
可选的,第一获取单元910还可以用于基于所述检测模型确定待处理饼图对应的第一检测框以及第二检测框,其中,所述第一检测框中包括所述待处理饼图中图例对应的第一部分图像,所述第二检测框中包括所述待处理饼图中扇区占比文本对应的第二部分图像;基于所述第一部分图像确定所述图例信息;基于所述第二部分图像确定所述扇区占比信息。
可选的,第一获取单元910还可以用于对所述第一部分图像进行文字识别,得到文本信息;对所述第一部分图像进行图像处理,得到第一部分图像中包括的第四色彩参数;基于所述文本信息以及所述第四色彩参数确定所述图例信息。
可选的,第一获取单元910还可以用于对每个所述备选部分图像进行文字识别,得到占比数值;获取每个所述备选部分图像的第三位置信息;基于所述占比数值以及第三位置信息确定所述扇区占比信息。
第二获取单元920,用于基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息。
可选的,第二获取单元920还可以用于基于所述语义分割模型获取所述待处理饼图的边缘分割二值化图像;基于所述边缘分割二值化图像以及所述待处理饼图,确定每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息;基于所述第一色彩参数与所述边缘分割二值化图像确定每个所述第一色彩参数对应的扇区的第一位置信息;将所述第一色彩参数、第一色彩占比信息以及第一位置信息作为所述初始扇区信息。
可选的,第二获取单元920还可以用于基于所述边缘分割二值化图像以及所述待处理饼图,确定每个扇区包括的像素点的第二色彩参数;基于每个像素点的第二色彩参数确定所述每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息。
可选的,第二获取单元920还可以用于获取训练数据,所述训练数据包括多个训练饼图以及每个训练饼图对应的标签信息,所述标签信息用于表征每个训练饼图对应的标准边缘分割二值化图像和标准掩码图像;基于初始模型获取所述训练数据对应的初始边缘分割二值化图像和初始掩码图像;基于第一差异以及第二差异训练所述初始模型,以减小所述第一差异以及所述第二差异,其中,所述第一差异为所述标准边缘分割二值化图像与初始边缘分割二值化图像之间的差异,所述第二差异为所述标准掩码图像与所述初始掩码图像之间的差异;将训练后的所述初始模型作为所述语义分割模型。
可选的,第二获取单元920还可以用于获取每个所述训练饼图中扇区的初始数量;将初始数量小于阈值数量的训练饼图作为备选饼图;增加备选饼图中的扇区数量至所述阈值数量,得到增强饼图;基于所述增强饼图更新所述训练数据。
比较单元930,用于若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息。
第三获取单元940,用于基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息。
可选的,第三获取单元940还可以用于通过指定算法基于所述掩码图像与所述待处理饼图确定每个扇区对应的第三色彩参数、每个所述第三色彩参数的第二色彩占比信息以及每个所述第三色彩参数对应的扇区的第二位置信息,所述指定算法包括聚类分析算法、归类邻近点算法、关键点检测算法以及连通域分析算法中至少一种;将所述第三色彩参数、第二色彩占比信息以及第二位置信息作为所述目标扇区信息。
提取单元950,用于将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。
可选的,提取单元950还可以用于获取与第四色彩参数匹配的第三色彩参数对应的扇区,作为第一待匹配扇区;获取与所述第三位置信息匹配的所述第二位置信息对应的扇区,作为第二待匹配扇区;基于所述第一待匹配扇区以及所述第二待匹配扇区确定待处理饼图中每个扇区对应的第四色彩参数、文本信息、第三位置信息以及占比数值,得到待处理饼图中每个扇区对应的目标信息。
可选的,提取单元950还可以用于若第一数量与第二数量相等,则将所述初始扇区信息作为所述目标扇区信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,单元相互之间的耦合可以是电性,机械或其它形式的耦合。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
请参阅图10,图10示出了本申请实施例提供的一种电子设备的结构框图。该电子设备110可以是智能手机、台式电脑、车载计算机、服务器或平板电脑等。本申请中的电子设备110可以包括一个或多个如下部件:处理器111、存储器112以及一个或多个应用程序,其中处理器111电连接于存储器112,一个或多个程序配置用于执行如前述各实施例所描述的方法。
处理器111可以包括一个或者多个处理核。处理器111利用各种接口和线路连接整个电子设备110内的各个部分,通过运行或执行存储在存储器112内的指令、程序、代码集或指令集,以及调用存储在存储器112内的数据,执行电子设备110的各种功能和处理数据。可选地,处理器111可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器111可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和计算机程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器111中,单独通过一块通信芯片进行实现。具体可以通过一个或多个处理器111执行如前述实施例所描述的方法。
对于一些实施方式,存储器112可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器112可用于存储指令、程序、代码、代码集或指令集。存储器112可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备110在使用中所创建的数据等。
请参阅图11,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种信息提取方法,其特征在于,包括:
基于检测模型获取待处理饼图的图例信息以及扇区占比信息;
基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息;
若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息;
基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息;
将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。
2.根据权利要求1所述的方法,其特征在于,所述基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息,包括:
基于所述语义分割模型获取所述待处理饼图的边缘分割二值化图像;
基于所述边缘分割二值化图像以及所述待处理饼图,确定每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息;
基于所述第一色彩参数与所述边缘分割二值化图像确定每个所述第一色彩参数对应的扇区的第一位置信息;
将所述第一色彩参数、第一色彩占比信息以及第一位置信息作为所述初始扇区信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述边缘分割二值化图像以及所述待处理饼图,确定每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息,包括:
基于所述边缘分割二值化图像以及所述待处理饼图,确定每个扇区包括的像素点的第二色彩参数;
基于每个像素点的第二色彩参数确定所述每个扇区对应的第一色彩参数以及每个所述第一色彩参数的第一色彩占比信息。
4.根据权利要求1所述的方法,其特征在于,所述基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息,包括:
通过指定算法基于所述掩码图像与所述待处理饼图确定每个扇区对应的第三色彩参数、每个所述第三色彩参数的第二色彩占比信息以及每个所述第三色彩参数对应的扇区的第二位置信息,所述指定算法包括聚类分析算法、归类邻近点算法、关键点检测算法以及连通域分析算法中至少一种;
将所述第三色彩参数、第二色彩占比信息以及第二位置信息作为所述目标扇区信息。
5.根据权利要求1所述的方法,其特征在于,所述目标扇区信息包括第三色彩参数、第二位置信息、每个第三色彩参数对应的扇区以及每个第二位置信息对应的扇区,所述图例信息包括第四色彩参数以及每个第四色彩参数对应的文本信息,所述扇区占比信息包括第三位置信息以及每个所述第三位置信息对应的占比数值,所述将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息,包括:
获取与第四色彩参数匹配的第三色彩参数对应的扇区,作为第一待匹配扇区;
获取与所述第三位置信息匹配的所述第二位置信息对应的扇区,作为第二待匹配扇区;
基于所述第一待匹配扇区以及所述第二待匹配扇区确定待处理饼图中每个扇区对应的第四色彩参数、文本信息、第三位置信息以及占比数值,得到待处理饼图中每个扇区对应的目标信息。
6.根据权利要求1所述的方法,其特征在于,所述基于检测模型获取待处理饼图的图例信息以及扇区占比信息,包括:
基于所述检测模型确定待处理饼图对应的第一检测框以及第二检测框,其中,所述第一检测框中包括所述待处理饼图中图例对应的第一部分图像,所述第二检测框中包括所述待处理饼图中扇区占比文本对应的第二部分图像;
基于所述第一部分图像确定所述图例信息;
基于所述第二部分图像确定所述扇区占比信息。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一部分图像确定所述图例信息,包括:
对所述第一部分图像进行文字识别,得到文本信息;
对所述第一部分图像进行图像处理,得到第一部分图像中包括的第四色彩参数;
基于所述文本信息以及所述第四色彩参数确定所述图例信息。
8.根据权利要求6所述的方法,其特征在于,所述第二部分图像包括多个备选检测框对应的备选部分图像,所述基于所述第二部分图像确定所述扇区占比信息,包括:
对每个所述备选部分图像进行文字识别,得到占比数值;
获取每个所述备选部分图像的第三位置信息;
基于所述占比数值以及第三位置信息确定所述扇区占比信息。
9.根据权利要求1所述的方法,其特征在于,所述将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息之前,还包括:
若第一数量与第二数量相等,则将所述初始扇区信息作为所述目标扇区信息。
10.根据权利要求1所述的方法,其特征在于,所述基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息之前,还包括
获取训练数据,所述训练数据包括多个训练饼图以及每个训练饼图对应的标签信息,所述标签信息用于表征每个训练饼图对应的标准边缘分割二值化图像和标准掩码图像;
基于初始模型获取所述训练数据对应的初始边缘分割二值化图像和初始掩码图像;
基于第一差异以及第二差异训练所述初始模型,以减小所述第一差异以及所述第二差异,其中,所述第一差异为所述标准边缘分割二值化图像与初始边缘分割二值化图像之间的差异,所述第二差异为所述标准掩码图像与所述初始掩码图像之间的差异;
将训练后的所述初始模型作为所述语义分割模型。
11.根据权利要求10所述的方法,其特征在于,所述基于初始模型获取所述训练数据对应的初始边缘分割二值化图像和初始掩码图像之前,还包括:
获取每个所述训练饼图中扇区的初始数量;
将初始数量小于阈值数量的训练饼图作为备选饼图;
增加备选饼图中的扇区数量至所述阈值数量,得到增强饼图;
基于所述增强饼图更新所述训练数据。
12.一种信息提取装置,其特征在于,包括:
第一获取单元,用于基于检测模型获取待处理饼图的图例信息以及扇区占比信息;
第二获取单元,用于基于语义分割模型获取待处理饼图中每个扇区的初始扇区信息;
比较单元,用于若第一数量与第二数量不相等,则基于所述语义分割模型获取所述待处理饼图的掩码图像,其中,所述第一数量为基于所述初始扇区信息确定的扇区数量,第二数量为基于指定信息确定的扇区数量,所述指定信息包括所述图例信息或所述扇区占比信息;
第三获取单元,用于基于所述掩码图像与所述待处理饼图获取每个扇区的目标扇区信息;
提取单元,用于将每个扇区的目标扇区信息分别与所述图例信息以及扇区占比信息进行匹配,提取待处理饼图中每个扇区对应的目标信息。
13.一种电子设备,其特征在于,包括:一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-11任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410219242.3A CN117994519A (zh) | 2024-02-27 | 2024-02-27 | 信息提取方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410219242.3A CN117994519A (zh) | 2024-02-27 | 2024-02-27 | 信息提取方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117994519A true CN117994519A (zh) | 2024-05-07 |
Family
ID=90895071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410219242.3A Pending CN117994519A (zh) | 2024-02-27 | 2024-02-27 | 信息提取方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117994519A (zh) |
-
2024
- 2024-02-27 CN CN202410219242.3A patent/CN117994519A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112381775B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
CN107346409B (zh) | 行人再识别方法和装置 | |
US9367766B2 (en) | Text line detection in images | |
CN110232713B (zh) | 一种图像目标定位修正方法及相关设备 | |
CN109753953B (zh) | 图像中定位文本的方法、装置、电子设备和存储介质 | |
JP5775225B2 (ja) | マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出 | |
CN110647829A (zh) | 一种票据的文本识别方法及*** | |
CN110717489A (zh) | Osd的文字区域的识别方法、装置及存储介质 | |
CN111178355B (zh) | ***识别方法、装置和存储介质 | |
CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
CN109343920B (zh) | 一种图像处理方法及其装置、设备和存储介质 | |
TW201413602A (zh) | 基於行動終端的標誌識別處理方法和系統 | |
WO2022134771A1 (zh) | 表格处理方法、装置、电子设备及存储介质 | |
CN112990205B (zh) | 手写字符样本的生成方法及装置、电子设备、存储介质 | |
CN111680690A (zh) | 一种文字识别方法及装置 | |
CN112949455B (zh) | 一种增值税***识别***及方法 | |
CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN115392188A (zh) | 基于不可编辑的图文类图像生成可编辑文档的方法及装置 | |
CN114444565A (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
CN116051575A (zh) | 图像分割方法、装置、计算机设备、存储介质程序产品 | |
CN111461070A (zh) | 文本识别方法、装置、电子设备及存储介质 | |
CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
CN117058554A (zh) | 电力设备目标检测方法、模型训练方法和装置 | |
CN112087661A (zh) | 视频集锦生成方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |