CN112949596A - 表格图片的识别方法、播报方法、电子设备和存储介质 - Google Patents

表格图片的识别方法、播报方法、电子设备和存储介质 Download PDF

Info

Publication number
CN112949596A
CN112949596A CN202110360337.3A CN202110360337A CN112949596A CN 112949596 A CN112949596 A CN 112949596A CN 202110360337 A CN202110360337 A CN 202110360337A CN 112949596 A CN112949596 A CN 112949596A
Authority
CN
China
Prior art keywords
cell
cells
type
dimensional
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110360337.3A
Other languages
English (en)
Inventor
陈凌奇
蔡海蛟
冯歆鹏
周骥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NextVPU Shanghai Co Ltd
Original Assignee
NextVPU Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NextVPU Shanghai Co Ltd filed Critical NextVPU Shanghai Co Ltd
Priority to CN202110360337.3A priority Critical patent/CN112949596A/zh
Publication of CN112949596A publication Critical patent/CN112949596A/zh
Priority to PCT/CN2022/084861 priority patent/WO2022206965A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/177Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种表格图片的识别方法、播报方法、电子设备和计算机可读存储介质,涉及图像处理技术领域。表格图片的识别方法包括:对图片中的表格进行识别以确定所述表格包含的多个单元格的类型信息,所述单元格的类型信息至少包括值类型与关键字类型;以及基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。本发明中,基于多个单元格之间的关联关系,确定了各值类型的单元格与关联的关键字类型的单元格之间的映射关系,从而能够更准确的表达表格的语义信息。

Description

表格图片的识别方法、播报方法、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域,具体涉及一种表格图片的识别方法、播报方法、电子设备和计算机可读存储介质。
背景技术
当前,各种文字识别技术,如光学字符识别(Optical Character Recognition,OCR),已经广泛用于对图片中的文字进行识别。对于包含表格的图片来说,传统的文字识别技术要么仅仅对其中的文字部分进行识别而忽略表格部分,要么虽然能够识别出表格中的单元格,但是仅仅是在图像处理层面上从图片中原样提取出各个单元格并将识别后的文本放入对应的单元格中。
可以看出,上述技术仅仅是对各个单元格中的文字本身的识别,并不能得到单元格中的文字的语义信息,更不能得到不同单元格之间的文字的逻辑关系。因此,在对识别出的单元格中的文字进行进一步处理(如进行分析或语音再现)时,无法得到与表格所希望表达的语义信息相一致的处理结果。例如,在为听力残障人士提供有声朗读服务时,由于不能准确识别各个单元格之间的逻辑关系,再现出的语音可能完全不符合表格所希望表达的语义信息。
发明内容
针对上述问题,本发明提供了一种表格图片的识别方法及播报方法以及用于执行该方法的电子设备,能够在对图片中的表格进行识别时,识别出表格中的各个单元格的类型信息,并且基于表格中各类型的单元格的位置排布,识别出表格中各个值类型的单元格与关联的关键字类型的单元格的关联关系,从而能够更准确的表达表格的语义信息。
为实现上述目的,本发明提供了一种表格图片的识别方法,包括:对图片中的表格进行识别以确定所述表格包含的多个单元格的类型,所述单元格的类型至少包括值类型与关键字类型;以及基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。
本发明还提供了一种表格图片的播报方法,包括:接收基于上述识别方法识别的待播报图片所得到的各个值类型的单元格与关联的关键字类型的单元格之间的映射关系;基于各个值类型的单元格与关联的关键字类型的单元格之间的映射关系,对所述待播报图片中所包含的各个单元格的内容进行播报。
本发明还提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上所述的表格图片的识别方法和/或上述的表格图片的播报方法。
本发明还提供了一种存储程序的计算机可读存储介质,该程序包括指令,该指令在由电子设备的处理器执行时,致使该电子设备执行如上所述的表格图片的识别方法和/或如上所述的表格图片的播报方法。
在一实施例中,基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系包括:对于相邻的多个第二单元格,若多个第二单元格的最上一行中的每个第二单元格的上侧均存在相邻的第一单元格,建立多个第二单元格中的每列的第二单元格与上侧的第一单元格之间的关联关系,第一单元格为关键字类型的单元格,第二单元格为值类型的单元格;对于相邻的多个第二单元格,若多个第二单元格的阅读起始列中的每个第二单元格的外侧均存在相邻的第一单元格,建立多个第二单元格中的每行的第二单元格与外侧的第一单元格之间的关联关系;对于不存在相邻的第二单元格的每个第二单元格,若第二单元格相邻的外侧或者上侧存在对齐的第一单元格,建立第二单元格与相邻的外侧或者上侧的第一单元格之间的关联关系;对于关联于一个第一单元格的每个第二单元格,建立第二单元格与其所关联的第一单元格的一维映射关系;对于关联于两个第一单元格的每个第二单元格,建立第二单元格与其所关联的两个第一单元格的二维映射关系。
在一实施例中,基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系还包括:对于相邻的多个第二单元格,若多个第二单元格的最上一行中的每个第二单元格的上侧均不存在单元格,建立多个第二单元格中的每列的第二单元格与所在列的索引信息的关联关系;对于相邻的多个第二单元格,若多个第二单元格的阅读起始列中的每个第二单元格的外侧均不存在单元格,建立多个第二单元格中的每行的第二单元格与所在行的索引信息的关联关系。
在一实施例中,在对于关联于两个第一单元格的每个第二单元格,建立第二单元格与其所关联的两个第一单元格的二维映射关系之后,还包括:对于不存在关联的第二单元格的每个第一单元格,若第一单元格与多个第一目标单元格对齐,则建立第一单元格作为多个第一目标单元格的父关键字的关联关系,其中第一目标单元格为与所述第一单元格相邻且位于所述第一单元格下侧或内侧的第一单元格。
在一实施例中,在建立所述第一单元格作为所述多个第一目标单元格的父关键字的关联关系之后,还包括:对于不存在任何关联关系的单元格,基于所述单元格的属性信息识别所述单元格为标题类型或注释类型。
在一实施例中,在基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格的映射关系之后,还包括:利用第二目标单元格以及与所述第二目标单元格存在一维映射关系的所述第一单元格建立一维子表,所述第二目标单元格为与一个所述第一单元格存在一维映射关系的所述第二单元格;利用相邻的第三目标单元格以及与各所述第三目标单元格关联的所述第一单元格建立二维子表,所述第三目标单元格为与两个所述第一单元格存在二维映射关系的所述第二单元格。
在一实施例中,在所述基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系之后,还包括:采用二维数组来存储各个二维子表中的各个单元格,其中所述二维数组的多个元素与所述二维子表中的多个第二单元格的位置一一对应;采用一维数组来存储各个一维子表中的各个单元格,其中所述一维数组的多个元素表示所述一维子表中的多个第二单元格以及与各个第二单元格存在一维映射关系的第一单元格。
在一实施例中,每个单元格的数据存储的格式包括:所述单元格的编号、所述单元格的类型信息以及所述单元格的内容。
在一实施例中,对图片中的表格进行识别以确定所述表格包含的多个单元格的类型信息,包括:对图片中的表格进行识别以确定所述表格包含的多个单元格的属性信息;基于各个单元格的属性信息确定各个单元格的类型信息。
在一实施例中,基于各个单元格的属性信息确定各个单元格的类型信息包括:基于各个单元格的属性信息以及预设的匹配词库,确定各个单元格的类型信息。
在一实施例中,属性信息包括以下各项中的至少一项:所述单元格的大小、所述单元格中的内容的字体属性以及所述单元格的位置。
在一实施例中,所述映射关系为基于上述的识别方法识别待播报图片后得到;基于各个值类型的单元格与关联的关键字类型的单元格的映射关系,对待播报图片中所包含的各个单元格的内容进行播报包括:对于与两个第一单元格存在二维映射关系的每个第二单元格,先播报与第二单元格存在二维映射关系的各第一单元格的内容,再播报第二单元格的内容,第一单元格为关键字类型的单元格,第二单元格为值类型的单元格;对于与一个第一单元格存在一维映射关系的每个第二单元格,先播报与第二单元格存在一维映射关系的各第一单元格的内容,再播报第二单元格的内容。
在一实施例中,播报与第二单元格存在二维映射关系的各个第一单元格的内容包括:在播报与第二单元格存在二维映射关系的每个第一单元格的内容时,若所述第一单元格存在另一第一单元格作为父关键字,则先播报作为所述第一单元格的父关键字的另一第一单元格的内容,再播报所述第一单元格的内容;若所述第一单元格不存在另一第一单元格作为父关键字,则直接播报所述第一单元格的内容。
在一实施例中,在播报任一第一单元格的内容时,若第一单元格的内容为空,则跳过第一单元格的内容的播报。
附图说明
图1示出了根据本发明一些实施例的一种表格图片的识别方法的示意性流程图;
图2示出了一种示例性表格图片的示意图;
图3示出了另一种示例性表格图片的示意图;
图4示出了根据本发明另一实施例的一种表格图片的识别方法的示意性流程图;
图5示出了根据本发明另一实施例的一种表格图片的识别方法的示意性流程图;
图6是根据本发明一些实施例的表格存储形式的示意图;
图7示出了根据发明再一个实施例的一种表格图片的识别方法的示意性流程图;
图8示出了根据本发明一个实施例的一种表格图片的播报方法的示意性流程图;
图9示出了根据本发明另一个实施例的一种表格图片的播报方法的示意性流程图;
图10是根据本发明一些实施例的电子设备的示意图。
具体实施例
以下将结合附图对本发明的各实施例进行详细说明,以便更清楚理解本发明的目的、特点和优点。应理解的是,附图所示的实施例并不是对本发明范围的限制,而只是为了说明本发明技术方案的实质精神。
在下文的描述中,出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是,相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下,与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
除非语境有其它需要,在整个说明书和权利要求中,词语“包括”和其变型,诸如“包含”和“具有”应被理解为开放的、包含的含义,即应解释为“包括,但不限于”。
在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此,在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外,特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
如该说明书和所附权利要求中所用的单数形式“一”和“”包括复数指代物,除非文中清楚地另外规定。应当指出的是术语“或”通常以其包括“和/或”的含义使用,除非文中清楚地另外规定。
在以下描述中,为了清楚展示本发明的结构及工作方式,将借助诸多方向性词语进行描述,但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“上”、“下”等词语理解为方便用语,而不应当理解为限定性词语。
图1示出了根据本发明一些实施例的一种表格图片的识别方法的示意性流程图。该方法应用于电子设备,电子设备例如为手机、平板电脑、台式电脑、服务器设备等。电子设备采用本实施例的表格图片的识别方法,能够对表格图片中的表格进行识别。
步骤101,对图片中的表格进行识别以确定表格包含的多个单元格的类型,单元格的类型至少包括值类型与关键字类型。
具体而言,对于输入的图片,可以采用OCR方法对于该图片中的表格进行识别,得到该表格中的行线与列线,各行、各列所包含的单元格,以及各个单元格中的内容。此外,还可以基于OCR识别出的各个单元格的字体大小、字体粗细以及单元格大小等信息,确定各个单元格的类型。这里,单元格的类型至少包括值类型(即单元格中的内容指示数值)与关键字类型(即单元格中的内容指示关键字)。此外,在一些实施例中,单元格的类型还可以包括注释类型,其用于对整个表格或其一部分进行注释说明,和/或标题类型,其用于指示表格的标题。图2示出了一种示例性表格图片的示意图。图3示出了另一种示例性表格图片的示意图。单元格的类型能够表征该单元格所包含的内容的类型。以图2的表格为例,该表格中可以包括标题、注释、值和关键字这几种类型的单元格。其中,可以根据单元格中的文字确定关键字类型、值类型或者注释类型的单元格,并且将剩下的单元格(或者根据单元格的位置)来确定标题类型的单元格。例如,图2中内容为(单位:千元)的单元格为注释类型的单元格、内容为(工资)的单元格为关键字类型的单元格、内容为(0.5)的单元格为值类型的单元格。这里,单元格的类型的确定可以基于先验的统计信息,例如,可以首先将内容为数字的单元格确定为值类型的单元格,然后以先验的关于关键字的统计信息,将内容为特定关键字的单元格确定为关键字类型的单元格。并且,从剩下的单元格中,根据单元格的位置(例如位于整个表格最上方或最下方且居中)确定标题类型的单元格。注释类型的单元格可以最后确定或者像关键字类型的单元格那样基于先验的统计信息来确定。
在一个例子中,在采用OCR技术对图片进行识别时,先判断该图片中是否存在表格,若图片中存在表格,则进一步识别该表格中所包含的单元格;若图片中不存在表格,则可以发出表征图片中不存在表格的提示信息或者直接执行常规的文字识别过程。
此外,在识别出单元格的同时,还能够得到各个单元格的位置信息,这已经是现有的OCR技术所实现的,本文不再赘述。
接下来,在步骤102,可以基于步骤101中所确定的表格中的各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。
具体而言,对于表格中每个值类型的单元格,能够基于该值类型的单元格与周围的关键字类型的单元格之间的位置排布,得到该值类型的单元格与关键字类型的单元格之间的层级和逻辑关系,从而确定出与该值类型的单元格关联的关键字类型的单元格。在得到各个值类型的单元格所关联的关键字类型的单元格后,再基于各个值类型的单元格关联的关键字单元格的维度,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。
利用本实施例的方案,可以确定图片中的表格中的各个值类型的单元格与关联的关键字类型的单元格之间的映射关系,从而使得有可能进一步明确各个单元格之间的逻辑关系,以便于更好地理解表格的语义。
图4示出了根据本发明另一实施例的一种表格图片的识别方法的示意性流程图。本实施例相对于图1所示的实施例而言,主要区别之处在于:本实施例提供了基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系的一种具体实现方式。其中,步骤201、202分别对应于图1所示的步骤101、102。
本实施例的表格图片的识别方法的具体流程如图4所示。
步骤201,对图片中的表格进行识别以确定表格包含的多个单元格的类型,单元格的类型至少包括值类型与关键字类型。步骤201与图1中的步骤101大致相同,在此不再赘述。
接下来,在步骤202,可以基于步骤101中所确定的表格中的各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。映射关系可以包括值类型的单元格与关联的关键字类型的单元格之间的一维映射关系或二维映射关系,及关联的关键字类型之间的父子层级关系。
具体而言,在本实施例中,步骤202可以包括以下子步骤:
子步骤2021,对于相邻的多个第二单元格,若多个第二单元格的最上一行中的每个第二单元格的上侧均存在相邻的第一单元格,建立多个第二单元格中的每列的第二单元格与上侧的第一单元格之间的关联关系,其中第一单元格为关键字类型的单元格,第二单元格为值类型的单元格。
子步骤2022,对于相邻的多个第二单元格,若多个第二单元格的阅读起始列中的每个第二单元格的外侧均存在相邻的第一单元格,建立多个第二单元格中的每行的第二单元格与外侧的第一单元格之间的关联关系。在本文中,外侧是指列方向上目标单元格的阅读顺序的前方,类似地,内侧是指列方向上目标单元格的阅读顺序的后方。这里,使用“外侧”和“内侧”仅仅是出于描述方便起见,在不同的语境下,也可以将其称为“左侧”和“右侧”,或者“前方”和“后方”等,本发明并不受所使用的具体术语的限制。
子步骤2023,对于关联于两个第一单元格的每个第二单元格,建立第二单元格与其所关联的两个第一单元格的二维映射关系。
具体而言,在识别得到图片中的表格所包含的多个单元格的类型后,可以按照预设的编号方式对各个单元格进行编号。编号方式例如为从左到右、从上到下,或者从右到左、从上到下等。本实施例以及之后的实施例中均以编号方式为从左到右、从上到下为例。然后将各个单元格以其编号为标识进行存储。每个单元格的数据存储的格式包括:单元格的编号、单元格的类型以及单元格的内容。这里,以第一单元格为关键字类型的单元格、第二单元格为值类型的单元格为例。对于相邻的多个第二单元格,可能包括在同一行和同一列相邻的多个第二单元格,这多个第二单元格可以形成一个集合,该集合可以表示为多行多列的子表(例如子表A)。需要说明的是,一个表格中也可以包括多个子表A。
若该子表A的最上一行的多个第二单元格中的每个第二单元格的上侧均存在相邻的第一单元格,则说明该子表A的横排关键字存在,子表A中各列的第二单元格存在关联的列维度上的第一单元格。这样,可以建立子表A中各列的第二单元格与上侧的第一单元格之间的关联关系。
若子表A的阅读起始列的每个第二单元格的外侧均存在相邻的第一单元格,则说明该子表A的竖排关键字存在,子表A中各行的第二单元格存在关联的行维度上的第一单元格。这样,可以建立子表A中各行的第二单元格与外侧的第一单元格之间的关联关系。
若在上述过程确定了子表A的各行的第二单元格存在关联的行维度上的第一单元格,且子表A的各列的第二单元格存在关联的列维度上的第一单元格,则可以进一步将子表A中的每个第二单元格与其在行维度与列维度上关联的两个第一单元格之间建立二维映射关系。
以图2中的表格为例,从(1月)和(工资)对应的值类型的单元格(0)至(小计)和(合计)对应的值类型的单元格(169.1)之间包括234个第二单元格,在这234个第二单元格形成的子表A中,最上一行的13个第二单元格,分别与其上侧的1月至12月以及合计这13个第一单元格相邻,由此建立子表A中各列的第二单元格与上侧的第一单元格之间的关联关系。子表A的阅读起始列的18个第二单元格的外侧存在18个第一单元格,由此建立子表A中各行的第二单元格与外侧的第一单元格之间的关联关系。然后,建立这234个第二单元格中的每个第二单元格与其在行维度与列维度上关联的两个第一单元格之间的二维映射关系,例如,第二单元格(0.5)与行维度上的第一单元格(1月)以及列维度上的第一单元格(工资)之间为二维映射关系。
在一个例子中,对于相邻的多个第二单元格,若多个第二单元格的最上一行中的每个第二单元格的上侧均不存在单元格,则可以建立多个第二单元格中的每列的第二单元格与所在列的索引信息的关联关系。对于相邻的多个第二单元格,若多个第二单元格的阅读起始列中的每个第二单元格的外侧均不存在单元格,则可以建立多个第二单元格中的每行的第二单元格与所在行的索引信息的关联关系。
以图3中的表格为例,第一单元格(日期)下方的第二单元格(1)至第二单元格(25)这25个第二单元的外侧不存在任何的单元格,则在图3中子表20中的250个第二单元格中,每行的第二单元格与该行的索引信息建立关联关系,索引信息可以是该行的行号。
子步骤2024,对于不存在相邻的第二单元格的每个第二单元格,若第二单元格相邻的外侧或者上侧存在对齐的第一单元格,则可以建立第二单元格与相邻的外侧或者上侧的第一单元格之间的关联关系。
子步骤2025,对于关联于一个第一单元格的每个第二单元格,可以建立第二单元格与其所关联于的第一单元格之间的一维映射关系。
具体而言,对于子表A中不存在相邻的第二单元格的每个第二单元格,即该第二单元格的周围不存在相邻的第二单元格,则查找该第二单元格上侧或者外侧是否存在与之对齐的第一单元格。若该第二单元格上侧或者外侧存在与之对齐的第一单元格,则说明该第二单元格存在与其具有一维映射关系的第一单元格,建立该第二单元格与其相邻的外侧或者上侧的第一单元格之间的关联关系,并将该第二单元格与其关联的第一单元格之间建立一维映射关系。
以图3中的表格为例,值类型的单元格(男)周围不存在相邻的值类型的单元格,其外侧存在的单元格(性别)为关键字类型的单元格,因此可以建立单元格(男)与单元格(性别)之间的关联关系,并建立单元格(男)与单元格(性别)之间的一维映射关系。
需要说明的是,步骤202中是针对从上至下、从左至右阅读的表格(即,关键字类型的单元格位于值类型的单元格的上方和外侧),对确定各值类型的单元格与关联的关键字类型的单元格的映射关系进行的详细说明。然而本发明不限于此,也可以根据实际的应用场景,对应调整确定第二单元格和第一单元格关联的具体方式,例如表格为从上至下、从右至左阅读的表格(即,关键字类型的单元格位于值类型的单元格的上方和内侧),则在确定第二单元格关联的第一单元格时,从内侧与上方的单元格中寻找关键字类型的单元格。
步骤203,对于不存在关联的第二单元格的每个第一单元格,若第一单元格与多个第一目标单元格对齐,则建立第一单元格作为多个第一目标单元格的父关键字的关联关系,其中第一目标单元格为与第一单元格相邻且位于第一单元格下侧或内侧的第一单元格。
具体而言,对于第一单元格来说,若其不存在关联的第二单元格,即该第一单元格与任一第二单元格之间不存在映射关系,则基于该第一单元格周围的关键字类型的单元格的分布情况,来判断该第一单元格与其他的关键字单元格是否相关联。若该第一单元格与多个第一目标单元格对齐,第一目标单元格为与第一单元格相邻且位于第一单元格下侧或内侧的关键字类型的单元格,则判定该第一单元格与这多个第一目标单元格之间存在关联关系,该第一单元格可以作为这多个第一目标单元格的父关键字。
以图2的表格为例,单元格(用人费用)为第一单元格,单元格(用人费用)内侧存在相邻的多个关键字类型的单元格,包括单元格(工资)、单元格(加班费)、……、单元格(小计)等18个第一单元格,且这18个第一单元格中第一个单元格(工资)上侧的单元格线与最后一个单元格(小计)下侧的单元格线与单元格(用人费用)上下两侧的单元格线对齐,说明单元格(用人费用)与这18个第一单元格存在关联关系,该关联关系为包含关系,单元格(用人费用)为父关键字,其包含的18个第一单元格为子关键字。
以图3的表格为例,单元格(家庭住址)为第一单元格,单元格(家庭住址)下侧存在相邻的多个关键字类型的单元格,分别为单元格(贵宾签名)、单元格(日期)、单元格(消费项目);由于单元格(家庭住址)左右两侧的单元格线与单元格(贵宾签名)外侧的单元格线以及单元格(消费项目)内侧的单元格线均未对齐,因此,单元格(家庭住址)与其下侧的单元格(贵宾签名)、单元格(日期)、单元格(消费项目)不存在关联关系。
需要说明的是,在步骤203中,是针对从上至下、从左至右阅读的表格,确定第一目标单元格为与第一单元格相邻且位于第一单元格下侧或内侧的关键字类型的单元格。然而本发明不限于此,也可以根据表格的具体情况,确定第一目标单元格为与第一单元格相邻且位于第一单元格外侧、内侧、上侧或下侧的关键字类型的单元格,例如表格为从上至下、从右至左阅读的表格,则确定第一目标单元格为与第一单元格相邻且位于第一单元格内侧或上侧的关键字类型的单元格。
步骤204,对于不存在任何关联关系的单元格,基于单元格的属性信息识别单元格为标题类型或注释类型。
具体而言,在基于上述分析之后剩下的单元格,这些单元格与其他的单元格不存在任何的关联关系或映射关系。可以基于各个单元格的属性信息,识别出各个单元格为标题类型或者注释类型的单元格。举例来说,属性信息包括以下任意之一或任意组合:单元格的大小、单元格中的内容的字体属性以及单元格的位置。其中,单元格的字体属性例如为字体风格、颜色或粗细等。以图2所示的表格为例,单元格(年度费用预算总表)的字体最大且位于表格的第一行,识别出单元格(年度费用预算总表)为标题类型的单元格,单元格(单位:千元)的字体小于单元格(年度费用预算总表),则识别单元格(单位:千元)为注释类型的单元格。
下面以下表1为例对本实施例中的表格图片的识别方法进行详细说明。
表1
Figure BDA0003005287270000121
1、按照从左到右、从上到下的编号方法对各单元格进行编号,然后将各个单元格进行存储,每个单元格的数据存储的格式包括:单元格的编号(id)、单元格的类型信息(type)以及单元格的内容(content)。下表2为编号后的表1。
表2
Figure BDA0003005287270000131
表1中各单元的列表包括:
{id=1;type=关键字类型;content=“个人信息”};
{id=2;type=关键字类型;content=“姓名”};
{id=3;type=值类型;content=“李三”};
{id=4;type=关键字类型;content=“家庭成员”};
{id=5;type=关键字类型;content=“姓名”};
{id=6;type=关键字类型;content=“关系”};
{id=7;type=值类型;content=“李山”};
{id=8;type=值类型;content=“父”};
{id=9;type=值类型;content=“王五”};
{id=10;type=值类型;content=“母”}。
编号(id)1至10的单元格为待处理的单元格。
2、单元格7、单元格8、单元格9、单元格10为相邻的4个第二单元格,第一行的单元格7和单元格8上方存在两个关键字类型的单元格5和6,则建立单元格7与单元格5的关联关系、单元格9与单元格5的关联关系、单元格8与单元格6的关联关系、单元格9与单元格6的关联关系。而第一列的单元格7和单元格9外侧不存在单元格,则将单元格7与第一行的索引信息(以索引信息为行数为例)“1”建立关联关系、单元格8与第一行的索引信息(以索引信息为行数为例)“1”建立关联关系、单元格9与第二行的索引信息(以索引信息为行数为例)“2”建立关联关系、单元格10与第二行的索引信息(以索引信息为行数为例)“2”建立关联关系。然后,建立单元格7与单元格5以及索引信息“1”的二维映射关系、建立单元格9与单元格5以及索引信息“2”的二维映射关系、单元格8与单元格6以及索引信息“1”的二维映射关系、建立单元格10与单元格6以及索引信息“2”的二维映射关系。
3、值类型的单元格3周围不存在第二单元格,单元格3外侧存在关键字类型的单元格2,则建立单元格3与单元格2的关联关系,并建立单元格3与单元格2的一维映射关系。
4、关键字类型的单元格4“家庭成员”不存在任何关联的第二单元格,单元格4的下方存在相邻的关键字类型的单元格5和关键字类型的单元格6,并且单元格5和单元格6的两侧与单元格4的两侧对齐,由此,建立单元格4与这两个单元格(单元格5和单元格6)的关联关系,单元格4为父关键字,单元格5和单元格6位子关键字。
5、关键字类型的单元格1“个人信息”不存在任何关联的单元格,单元格1“个人信息”的字体最大,因此将其识别为标题类型的单元格。
基于上述的过程完成了表1的识别,建立了第二单元格与关联的两个第一单元格(或者一个第一单元格与索引信息)的二维映射关系、第二单元格与第一单元格的一维映射关系,以及关键字与关键字的父子关系。
图5示出了根据本发明又一实施例的一种表格图片的识别方法的示意性流程图,本实施例相对于图4所示的实施例而言,主要区别之处在于:本实施例还包括将映射关系采用数组的方式进行存储。其中,步骤301、302、303和304分别对应于图4所示的步骤201、202、203和204,在此不再赘述。
步骤305,利用第二目标单元格以及与第二目标单元格存在一维映射关系的第一单元格建立一维子表,第二目标单元格为与一个第一单元格存在一维映射关系的第二单元格。
步骤306,采用一维数组来存储各一维子表中的各单元格,其中一维数组的多个元素表示一维子表中的多个第二单元格以及与各第二单元格存在一维映射关系的第一单元格。
具体而言,对于与一个第一单元格存在一维映射关系的第二单元格(即第二目标单元格),即第二目标单元格为一维单元格,利用多个一维单元格以及与各个一维单元格存在一维映射关系的关键字类型的单元格建立一维子表。一张表格中可以包括一个或多个一维子表。以图3的表格为例,值类型的单元格“张三”和与其存在一维映射关系的关键字类型的单元格“顾客姓名”构成了一个一维子表,表格部分10包括多个一维子表。
采用一维数组来存储各一维子表中的各个单元格,即用一维数组来存储关键字-值之间的一维映射关系,一维数组的具体形式为Z[O]-P,P为一维子表中的第二单元格的内容,O则为该一维子表中的关键字类型的单元格的内容;以图3中的表格为例,Z[顾客姓名]-“张三”、Z[性别]=“男”。
步骤307,利用相邻的第三目标单元格以及与各第三目标单元格关联的第一单元格建立二维子表,第三目标单元格为与两个第一单元格存在二维映射关系的第二单元格。
步骤308,采用二维数组来存储各二维子表中的各单元格,其中二维数组的多个元素与二维子表中的多个第二单元格的位置一一对应。例如,二维数组的各行对应于二维子表中各行单元格中的第一单元格,二维数组的各列对应于二维子表中各列单元格中的第一单元格。或者,二维数组的各行对应于二维子表中各列单元格中的第一单元格,二维数组的各列对应于二维子表中各行单元格中的第一单元格。本发明并不限制二维数组与二维子表之间的对应方式。
具体而言,对于与两个第一单元格(或者一个第一单元格与索引信息)存在二维映射关系的第二单元格(即第三目标单元格),该第三目标单元格为二维单元格,可以利用多个相邻的二维单元格以及与各个二维单元格存在二维映射关系的两个第一单元格(或者一个第一单元格与索引信息)建立二维子表。以图3中的表格为例,表格部分20为一个二维子表。
在一个例子中,若与第三目标单元格存在二维映射关系的第一单元格存在父关键字,则将该第一单元格的父关键字也加入到二维子表中。
对于每个二维子表,采用二维数组来存储各二维子表中的各个单元格,以图2中的表格为例,从(1月)和(工资)对应的值类型的单元格(0)至(小计)和(合计)对应的值类型的单元格(169.1)之间包括234个第二单元格,这些第二单元格均为二维单元格。对于每个二维单元格来说,其表示方式为A[x][y],A[x][y]表示该二维单元格的内容,x表示该二维单元格所在的行,y表示该二维单元格所在的列。例如,A[0][0]=0表示1月的工资为0。行关键字数组A[x]表示第x行对应的第二目标单元格,即该行的二维单元格所对应外侧的关键字类型的单元格。例如,A[0]=工资表示第0行对应的单元格的关键字为(工资)。列关键字数组B[y]表示第y列对应的第二目标单元格,即该列的二维单元格对应的上侧的关键字类型的单元格。例如B[0]=1月表示第0列对应的单元格的关键字为(1月)。
基于步骤305至步骤308的存储方式,图片中的表格被解析得到一维子表与二维子表后,最终可以采用文本的方式进行存储。图6是根据本发明一些实施例的表格存储形式的示意图。
下面结合第二实施例中的表1进行详细说明。
在建立了第二单元格与关联的两个第一单元格(或者一个第一单元格与索引信息)的二维映射关系、第二单元格与第一单元格的一维映射关系,以及关键字与关键字的父子关系后,还包括:
6、利用存在一维映射关系的单元格3与单元格2构建一维子表,并将一维子表中存在一维映射关系的单元格3与单元格2采用一维数组的方式进行存储,例如存储为Z[姓名]=“李三”。在一个例子中,还可以用各单元格编号来对一维子表进行存储,然后再利用各个单元格的编号读取单元格的内容。由此,一维映射关系的单元格3与单元格2可以表示为(2;3),其中2、3均表示单元格的编号。
7、利用二维单元格7、8、9、10,与这四个二维单元格存在二维映射关系的关键字类型的单元格5和6以及单元格5和单元格6的父关键字单元格4构成二维子表;然后采用二维数据的方式描述该二维子表,该二维子表可以采用A[3][2]数组来表示,其中3表示行数为3,即行0至行2,2表示列数为2,即列0至列1,A[3][2]数组为3行2列的6元素数组。具体如下,其中以编号来表示各单元格。
A[0][0]=5;A[0][1]=6;A[1][0]=7;A[1][1]=8;A[2][0]=9;A[2][1]=10;其中5、6、7、8、9、10表示单元格的id。
对于子关键字单元格5和单元格6与父关键字单元格4的关联关系,则其表示方式为(4:5,6),其中冒号外侧为父关键字单元格的id,冒号内侧为子关键单元格的id。对于存在多级父子关系的关键字单元格,可通过添加冒号来依次进行添加。
本实施例中,对二维子表和一维子表分别采用二维数组与一维数组的方式进行存储,采用文本方式对生成的二维子表和一维子表进行存储,即根据映射关系将表格图片转换为文本数组的方式进行存储,节省了存储空间且便于网络传输与还原。
图7示出了根据发明再一个实施例的一种表格图片的识别方法的示意性流程图。本实施例相对于图1所示的实施例而言,主要区别之处在于:本实施例提供了对图片中的表格进行识别,得到表格包含的多个单元格的类型信息的一种具体实现方式。其中,步骤401和402分别对应于图1所示的步骤101和102。
步骤401,包括以下子步骤:
子步骤4011,对图片中的表格进行识别以确定表格包含的多个单元格的属性信息。
具体而言,对于输入的图片,采用OCR对于该图片中的表格进行识别,得到该表格中的行线与列线,各行、各列所包含的单元格,以及各个单元格中的内容,得到了表格中各个单元格的属性信息,属性信息包括以下任意之一或任意组合:单元格的大小、单元格中的内容的字体属性(字体大小、字体类型等)以及单元格的位置。
子步骤4012,基于各个单元格的属性信息确定各个单元格的类型信息。
具体而言,基于各个单元格的属性信息,来确定各个单元格的类型信息,例如分别获取每个单元格中的内容的字体大小,然后用数字等级来表示,数字等级最小的单元格确定为值类型的单元格,其他的单元格确定为关键字类型的单元格。
在一个例子中,基于各个单元格的属性信息确定各个单元格的类型信息包括:基于各个单元格的属性信息以及预设的匹配词库,确定各个单元格的类型信息。即在确定各单元格的类型信息时,可以针对不同的表格确定不同的关键字的匹配词库。例如,对于图3所示的表格,可以在匹配词库中加入:顾客姓名、生日、家庭住址、性别、类型、卡金、储值***等作为关键字,在基于各个单元格的属性信息,得到关键字类型的单元格后,再将关键字类型的单元格中所包含的关键字与匹配词库中的关键字进行匹配,从而能够进一步筛选出关键字类型的单元格,提升了确定出的单元格类型的准确性,即提升了图片中的表格识别的准确率。
步骤402,基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。与图1中的步骤102大致相同,在此不再赘述。
图8示出了根据本发明一个实施例的一种表格图片的播报方法的示意性流程图。该方法应用于电子设备,电子设备例如为手机、平板电脑、台式电脑、阅读辅助设备、可穿戴设备等。电子设备采用本实施例的表格图片的播报方法,能够对表格图片中的表格进行语音播报。
步骤501,接收基于上述任一实施例中的识别方法识别待播报图片后得到的各个值类型的单元格与关联的关键字类型的单元格的映射关系。
具体而言,待播报图片经过上述任一实施例中的识别表格图片的识别方法的处理后,可以得到各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。本实施例中的电子设备能够接收各个值类型的单元格与关联的关键字类型的单元格之间的该映射关系。
步骤502,基于各个值类型的单元格与关联的关键字类型的单元格之间的映射关系,对待播报图片中所包含的各个单元格的内容进行播报。
具体而言,在进行语音播报时,可以根据值类型的单元格与关键字类型的单元格之间的映射关系,在播报了每个关键字类型的单元格之后,依次播报与其存在映射关系的值类型的单元格。
本实施例相对于现有技术而言,能够基于接收到的图片的表格中各个值类型的单元格与关联的关键字类型的单元格的映射关系,来对各个单元格的内容进行播报,从而能够在播报关键字类型的单元格之后依次播报与其存在映射关系的值类型的单元格的内容,从而能够更清楚的表达表格所希望体现的具有逻辑关系的语义信息,实现了更好的播报效果。
图9示出了根据本发明又一个实施例的一种表格图片的播报方法的示意性流程图,本实施例相对于图8所示的实施例而言,提供了基于各个值类型的单元格与关联的关键字类型的单元格的映射关系,对待播报图片中所包含的各个单元格的内容进行播报的一种具体播报方式。
步骤601,接收基于第二实施例的识别方法识别待播报图片后得到的各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。
步骤602,包括以下子步骤:
子步骤6021,对于与两个第一单元格存在二维映射关系的每个第二单元格,先播报与第二单元格存在二维映射关系的各个第一单元格的内容,再播报第二单元格的内容,第一单元格为关键字类型的单元格,第二单元格为值类型的单元格。
具体而言,以第二实施例中的表1为例,在播报单元格7的内容时,先播报与单元格3存在二维映射关系的单元格5的内容,由于与单元格3存在二维映射关系的关键字为索引信息,由于索引信息的内容为空,则跳过该索引信息的播报,即播报单元格7的方式为:姓名-李山;然后再播报相邻的单元格8的内容,具体方式与上述类似,播报单元8的方式为:关系-父。
在一个例子中,在播报与第二单元格存在二维映射关系的每个第一单元格的内容时,若与第二单元格存在二维映射关系的第一单元格存在另一第一单元格作为父关键字,先播报作为第一单元格的父关键字的另一第一单元格的内容,再播报第一单元格的内容;若与第二单元格存在二维映射关系的第一单元格不存在另一第一单元格作为父关键字,播报第一单元格的内容。
具体地,仍以表1为例,在播报单元格7的内容时,需要先播报单元格5的内容,单元格5存在作为其父关键字的单元格4,因此在播报单元格5时,需要播报作为单元格5的父关键字的单元格4的内容,此时单元格7的播报方式为:家庭成员-姓名-李山;同理,单元格8的播报方式为:家庭成员-关系-父。
子步骤6022,对于与一个第一单元格存在一维映射关系的每个第二单元格,先播报与第二单元格存在一维映射关系的第一单元格的内容,再播报第二单元格的内容。
具体而言,以第二实施例中的表1为例,在播报单元格3的内容时,先播报与单元格3存在一维映射关系的单元格2的内容,即播报单元格3的方式为:姓名-李三。
在一个例子中,在播报关键字类型的单元格(第一单元格)的内容时,若该第一单元格的内容为空,则跳过该第一单元格的内容的播报。以第二实施例中的表1为例,单元格7将索引信息“1”作为第一单元格构建了二维映射关系,由于索引信息“1”在表1中并不存在,则可以跳过索引信息“1”这个维度的播报。
图10示出了适合实现本发明的实施例的电子设备1000的结构方框图。
如图10中所示,电子设备1000可以包括一个或多个中央处理单元(CPU)1010(图中仅示意性地示出了一个),其可以根据存储在只读存储器(ROM)1020中的计算机程序指令或者从存储单元1080加载到随机访问存储器(RAM)1030中的计算机程序指令,来执行各种适当的动作和处理。在RAM 1030中,还可存储电子设备1000操作所需的各种程序和数据。CPU1010、ROM 1020以及RAM 1030通过总线1040彼此相连。输入/输出(I/O)接口1050也连接至总线1040。
电子设备1000中的多个部件连接至I/O接口1050,包括:输入单元1060,例如键盘、鼠标等;输出单元1070,例如各种类型的显示器、扬声器等;存储单元1080,例如磁盘、光盘等;以及通信单元1090,例如网卡、调制解调器、无线通信收发机等。通信单元1090允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文结合图2至图9所描述的方法可由电子设备1000的CPU 1010执行。例如,在一些实施例中,这些方法可被实现为计算机软件程序,其被有形地包括于机器可读介质,例如存储单元1080。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1020和/或通信单元1090而被载入和/或安装到电子设备1000上。当计算机程序被加载到RAM 1030并由CPU1010执行时,可以执行上文描述的方法的一个或多个操作。此外,通信单元1090可以支持有线或无线通信功能。
本领域技术人员可以理解,图10所示的电子设备1000仅是示意性的。在一些实施例中,电子设备1000可以仅包含通信连接的处理器(如CPU 1010或微处理器等)和存储器(如ROM 1020、RAM 1030等),并且存储器中存储有可由处理器执行的指令,以使得指令在被处理器执行时实现如上所述的方法。
以上结合附图对根据本发明的方法以及可实现该方法的电子设备1000进行了描述。然而本领域技术人员可以理解,上述方法的步骤的执行并不局限于图中所示和以上所述的顺序,而是可以以任何其他合理的顺序来执行。此外,电子设备1000也不必须包括图10中所示的所有组件,其可以仅仅包括执行本发明中所述的功能所必须的其中一些组件,并且这些组件的连接方式也不局限于图中所示的形式。
本发明可以实现为方法、设备、芯片电路和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。芯片电路可以包括用于执行本发明的各个方面的电路单元。
在一个或多个示例性设计中,可以用硬件、软件、固件或它们的任意组合来实现本发明所述的功能。例如,如果用软件来实现,则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上,或者作为计算机可读介质上的一个或多个指令或代码来传输。
本文公开的装置的各个单元可以使用分立硬件组件来实现,也可以集成地实现在一个硬件组件,如处理器上。例如,可以用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑、分立硬件组件或用于执行本文所述的功能的任意组合来实现或执行结合本发明所描述的各种示例性的逻辑块、模块和电路。
本领域普通技术人员还应当理解,结合本发明的实施例描述的各种示例性的逻辑块、模块、电路和算法步骤可以实现成电子硬件、计算机软件或二者的组合。
本发明的以上描述用于使本领域的任何普通技术人员能够实现或使用本发明。对于本领域普通技术人员来说,本发明的各种修改都是显而易见的,并且本文定义的一般性原理也可以在不脱离本发明的精神和保护范围的情况下应用于其它变形。因此,本发明并不限于本文所述的实例和设计,而是与本文公开的原理和新颖性特性的最广范围相一致。

Claims (17)

1.一种表格图片的识别方法,其特征在于,包括:
对图片中的表格进行识别以确定所述表格包含的多个单元格的类型信息,所述单元格的类型信息至少包括值类型与关键字类型;以及
基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系。
2.根据权利要求1所述的表格图片的识别方法,其特征在于,所述基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系包括:
对于相邻的多个第二单元格,若所述多个第二单元格的最上一行中的每个第二单元格的上侧均存在相邻的第一单元格,建立所述多个第二单元格中的每列的第二单元格与上侧的第一单元格之间的关联关系,其中所述第一单元格为关键字类型的单元格,所述第二单元格为值类型的单元格;
对于相邻的多个第二单元格,若所述多个第二单元格的阅读起始列中的每个第二单元格的外侧均存在相邻的第一单元格,建立所述多个第二单元格中的每行的第二单元格与外侧的第一单元格之间的关联关系;
对于不存在相邻第二单元格的每个第二单元格,若所述第二单元格相邻的外侧或者上侧存在对齐的第一单元格,建立所述第二单元格与相邻的外侧或者上侧的第一单元格之间的关联关系;
对于关联于一个第一单元格的每个第二单元格,建立所述第二单元格与其所关联的第一单元格的一维映射关系;
对于关联于两个第一单元格的每个第二单元格,建立所述第二单元格与其所关联的两个第一单元格的二维映射关系。
3.根据权利要求2所述的表格图片的识别方法,其特征在于,所述基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系,还包括:
对于相邻的多个第二单元格,若所述多个第二单元格的最上一行中的每个第二单元格的上侧均不存在单元格,建立所述多个第二单元格中的每列的第二单元格与所在列的索引信息的关联关系;以及
对于相邻的多个第二单元格,若所述多个第二单元格的阅读起始列中的每个第二单元格的外侧均不存在单元格,建立所述多个第二单元格中的每行的第二单元格与所在行的索引信息的关联关系。
4.根据权利要求2所述的表格图片的识别方法,其特征在于,在对于关联于两个第一单元格的每个第二单元格,建立所述第二单元格与其所关联的两个第一单元格的二维映射关系之后,还包括:
对于不关联第二单元格的每个第一单元格,若所述第一单元格与多个第一目标单元格对齐,则建立所述第一单元格作为所述多个第一目标单元格的父关键字的关联关系,其中所述第一目标单元格为与所述第一单元格相邻且位于所述第一单元格下侧或内侧的第一单元格。
5.根据权利要求4所述的表格图片的识别方法,其特征在于,在建立所述第一单元格作为所述多个第一目标单元格的父关键字的关联关系之后,还包括:
对于不存在任何关联关系的单元格,基于所述单元格的属性信息识别所述单元格为标题类型或注释类型。
6.根据权利要求2所述的表格图片的识别方法,其特征在于,在基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系之后,还包括:
利用第二目标单元格以及与所述第二目标单元格存在一维映射关系的第一单元格建立一维子表,所述第二目标单元格为与一个第一单元格存在一维映射关系的第二单元格;
利用相邻的第三目标单元格以及与各个第三目标单元格关联的第一单元格建立二维子表,所述第三目标单元格为与两个第一单元格存在二维映射关系的第二单元格。
7.根据权利要求6所述的表格图片的识别方法,其特征在于,在基于表格中各个类型的单元格的位置排布,确定各个值类型的单元格与关联的关键字类型的单元格之间的映射关系之后,还包括:
采用二维数组来存储各个二维子表中的各个单元格,其中所述二维数组的多个元素与所述二维子表中的多个第二单元格的位置一一对应;
采用一维数组来存储各个一维子表中的各个单元格,其中所述一维数组的多个元素表示所述一维子表中的多个第二单元格以及与各个第二单元格存在一维映射关系的第一单元格。
8.根据权利要求1至7中任一项所述的表格图片的识别方法,其特征在于,所述每个所述单元格的数据存储的格式包括:所述单元格的编号、所述单元格的类型信息以及所述单元格的内容。
9.根据权利要求1所述的表格图片的识别方法,其特征在于,对图片中的表格进行识别以确定所述表格包含的多个单元格的类型信息包括:
对图片中的表格进行识别以确定所述表格包含的多个单元格的属性信息;
基于各个单元格的属性信息确定各个单元格的类型信息。
10.根据权利要求9所述的表格图片的识别方法,其特征在于,基于各个单元格的属性信息确定各个单元格的类型信息包括:
基于各个单元格的属性信息以及预设的匹配词库,确定各个单元格的类型信息。
11.根据权利要求5或9中任一项所述的表格图片的识别方法,其特征在于,所述属性信息包括以下各项中的至少一项:
所述单元格的大小、所述单元格中的内容的字体属性以及所述单元格的位置。
12.一种表格图片的播报方法,其特征在于,包括:
接收基于权利要求1至11中任一项所述的识别方法识别待播报图片中的表格后得到的各个值类型的单元格与关联的关键字类型的单元格之间的映射关系;
基于各个值类型的单元格与关联的关键字类型的单元格之间的映射关系,对所述待播报图片中的表格所包含的各个单元格的内容进行播报。
13.根据权利要求12所述的表格图片的播报方法,其特征在于,所述映射关系为基于权利要求2至8中任一项所述的识别方法识别待播报图片中的表格后得到;
所述基于各个值类型的单元格与关联的关键字类型的单元格的映射关系,对所述待播报图片中的表格所包含的各个单元格的内容进行播报包括:
对于与两个第一单元格存在二维映射关系的每个第二单元格,先播报与所述第二单元格存在二维映射关系的各个第一单元格的内容,再播报所述第二单元格的内容,所述第一单元格为关键字类型的单元格,所述第二单元格为值类型的单元格;
对于与一个第一单元格存在一维映射关系的每个第二单元格,先播报与所述第二单元格存在一维映射关系的所述第一单元格的内容,再播报所述第二单元格的内容。
14.根据权利要求13所述的表格图片的播报方法,其特征在于,所述播报与所述第二单元格存在二维映射关系的各个第一单元格的内容包括:
在播报与第二单元格存在二维映射关系的每个第一单元格的内容时,若所述第一单元格存在另一第一单元格作为父关键字,则先播报作为所述第一单元格的父关键字的另一第一单元格的内容,再播报所述第一单元格的内容;若所述第一单元格不存在另一第一单元格作为父关键字,则直接播报所述第一单元格的内容。
15.根据权利要求13所述的表格图片的播报方法,其特征在于,在播报任一第一单元格的内容时,若所述第一单元格的内容为空,则跳过所述第一单元格的内容的播报。
16.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至11中任一项所述的表格图片的识别方法和/或权利要求12至15中任一项所述的表格图片的播报方法。
17.一种存储程序的计算机可读存储介质,所述程序包括指令,所述指令在由电子设备的处理器执行时,致使所述电子设备执行如权利要求1至11中任一项所述的表格图片的识别方法和/或权利要求12至15中任一项所述的表格图片的播报方法。
CN202110360337.3A 2021-04-02 2021-04-02 表格图片的识别方法、播报方法、电子设备和存储介质 Pending CN112949596A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110360337.3A CN112949596A (zh) 2021-04-02 2021-04-02 表格图片的识别方法、播报方法、电子设备和存储介质
PCT/CN2022/084861 WO2022206965A1 (zh) 2021-04-02 2022-04-01 表格图片的识别方法、播报方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360337.3A CN112949596A (zh) 2021-04-02 2021-04-02 表格图片的识别方法、播报方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112949596A true CN112949596A (zh) 2021-06-11

Family

ID=76232179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360337.3A Pending CN112949596A (zh) 2021-04-02 2021-04-02 表格图片的识别方法、播报方法、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN112949596A (zh)
WO (1) WO2022206965A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206965A1 (zh) * 2021-04-02 2022-10-06 上海肇观电子科技有限公司 表格图片的识别方法、播报方法、电子设备和存储介质
CN115859926A (zh) * 2023-01-30 2023-03-28 天津联想协同科技有限公司 一种电子表单数据关系处理方法、装置、电子设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388079B (zh) * 2008-10-17 2011-06-08 纬衡浩建科技(深圳)有限公司 一种图签识别方法
CN110334292B (zh) * 2019-07-02 2021-09-28 百度在线网络技术(北京)有限公司 页面处理方法、装置及设备
CN111492370B (zh) * 2020-03-19 2023-05-26 香港应用科技研究院有限公司 用于识别结构化布局的文本图像的装置和方法
CN112418180A (zh) * 2020-12-11 2021-02-26 深圳前海微众银行股份有限公司 表格数据提取方法、装置、设备及计算机存储介质
CN112949596A (zh) * 2021-04-02 2021-06-11 上海肇观电子科技有限公司 表格图片的识别方法、播报方法、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022206965A1 (zh) * 2021-04-02 2022-10-06 上海肇观电子科技有限公司 表格图片的识别方法、播报方法、电子设备和存储介质
CN115859926A (zh) * 2023-01-30 2023-03-28 天津联想协同科技有限公司 一种电子表单数据关系处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
WO2022206965A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
US10235349B2 (en) Systems and methods for automated content generation
CN110362370B (zh) 一种网页语言的切换方法、装置及终端设备
US9697193B2 (en) Associating captured image data with a spreadsheet
US8533223B2 (en) Disambiguation and tagging of entities
CN110659527B (zh) 电子表单中的表格检测
US10192236B2 (en) Methods and systems for automatically generating advertisements
CN106407420B (zh) 一种多媒体资源的推荐方法及***
CN109582847B (zh) 一种信息处理方法及装置、存储介质
US20230386238A1 (en) Data processing method and apparatus, computer device, and storage medium
WO2022206965A1 (zh) 表格图片的识别方法、播报方法、电子设备和存储介质
US20160179833A1 (en) Related information display method and electronic device capable of automatically displaying related information
US8751485B2 (en) System and method for providing loan word search service
US20240143684A1 (en) Information presentation method and apparatus, and device and medium
CN111125438A (zh) 实体信息提取方法、装置、电子设备及存储介质
CN113408323B (zh) 表格信息的提取方法、装置、设备及存储介质
CN112102038A (zh) 一种基于大数据的直播电商平台用户访问数据库的优化方法
US10896287B2 (en) Identifying and modifying specific user input
CN109408652B (zh) 一种图片搜索方法、装置及设备
CN106033417B (zh) 视频搜索系列剧的排序方法和装置
CN111368553B (zh) 智能词云图数据处理方法、装置、设备及存储介质
CN110929647B (zh) 一种文本检测方法、装置、设备及存储介质
CN112329409B (zh) 一种单元格颜色转换方法、装置及电子设备
CN109145261B (zh) 一种生成标签的方法和装置
CN111898022A (zh) 商标类别推荐方法和装置、以及存储介质和电子设备
CN106294292B (zh) 章节目录筛选方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination