CN111310750B - 一种信息处理方法、装置、计算设备及介质 - Google Patents

Abstract

本发明公开了一种信息处理方法、装置、计算设备及介质，该信息处理方法包括：对图像集合中的各图像进行文字信息识别，以获取图像包含的一个或多个关键文字信息，以及关键文字信息的位置信息；将图像的关键文字信息和对应的位置信息关联，生成相应的关键数据。

Description

一种信息处理方法、装置、计算设备及介质

技术领域

本发明涉及图像处理及互联网技术领域，特别涉及一种信息处理方法、装置、计算设备及介质。

背景技术

目前，基于OCR(Optical Character Recognition，光学字符识别，指如扫描仪或数码相机等电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程)的文书识别服务已陆续在企业中使用，以有效地代理人工录入信息，从而大幅度提升了工作效率。

然而，常规的文书识别只是实现了将纸质图形文件转换为文本格式，但应用在更多专业领域中时，仍存在一些问题。比如，在实际的业务场景里，通常需要根据文书类型，识别出纸质文书中的关键信息，生成结构化的数据后再入库保存，但现有的方案仅通过OCR技术将纸质文书上的内容转成电子文档，之后更多情况是靠人工从电子文档中抽取有用的信息提交入库，没有采用更智能更自动化的方式。

此外，考虑到字符识别存在着误差，所以实际应用中往往需要进一步编辑和校验，但这部分不可避免人工操作，若没有好的辅助手段，则同样会影响工作效率。例如，可以通过DOM(Document Object Model，文档对象模型)元素标记位置、引入第三方JS(JavaScript，一种直译式脚本语言)类库等方法，高亮定位编辑区域，以提示当前操作位置，从而辅助用户完成编辑。但是，基于DOM元素标记位置会生成很多额外的DOM元素，性能较差且不适合绘制不规则的区域，而采用第三方JS类库则需要额外引入脚本文件，并只用到其中一小部分功能，得不偿失。

基于此，如何正确识别出文书中的关键信息，并提供较好的辅助手段来提升编辑和校验的准确性和便利性，成为解决上述问题的关键。因此，需要提供一种技术解决方案来优化上述处理过程。

发明内容

为此，本发明提供一种信息处理方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种信息处理方法，该方法包括如下步骤：首先，对图像集合中的各图像进行文字信息识别，以获取图像包含的一个或多个关键文字信息，以及关键文字信息的位置信息；将图像的关键文字信息和对应的位置信息关联，生成相应的关键数据。

可选地，在根据本发明的信息处理方法中，对图像集合中的各图像进行文字信息识别包括：对图像集合中的各图像进行光电字符识别，以获取图像中包括的文本信息，以及文本信息的位置信息；对获取到的各文本信息进行标题提取，以确定图像集合对应文本中的一个或多个标题；根据标题，对各文本信息进行分类，以获取标题对应的文本集合以及文本集合的类别，文本集合包括一个或多个与标题对应的文本信息；将文本集合输入到与其类别对应的命名实体识别模型中，以提取出文本集合中包含的一个或多个关键文字信息。

可选地，在根据本发明的信息处理方法中，对图像集合中的各图像进行文字信息识别包括：根据关键文字信息所属文本集合中的各文本信息的位置信息，确定关键文字信息的位置信息。

可选地，在根据本发明的信息处理方法中，还包括预先获取图像集合，预先获取图像集合包括：对第一格式的文档进行转换处理，以生成文档对应的多张图像；若图像的边缘强度小于预设的强度阈值，则判定图像为空白图像；基于空白图像对文档对应的多张图像进行划分，以形成一个或多个图像集合。

可选地，在根据本发明的信息处理方法中，文档包括法律文书。

可选地，在根据本发明的信息处理方法中，关键文字信息的位置信息包括坐标信息，以及关键文字信息所来源图像的标识。

可选地，在根据本发明的信息处理方法中，还包括：生成图像集合的集合标识；将集合标识与图像集合、以及图像集合中各图像对应的关键数据，进行关联存储。

可选地，在根据本发明的信息处理方法中，还包括：响应客户端的请求，请求包括待查找的集合标识；根据请求查找与待查找的集合标识关联的图像集合；将查找到的图像集合及图像集合中各图像对应的关键数据，下发至客户端，以便客户端在显示界面中进行显示。

根据本发明的又一个方面，提供一种信息处理方法，该方法包括如下步骤：首先，检测显示界面中光标的当前位置，显示界面包括第一区域和第二区域，第二区域包括一个或多个预设区域；若当前位置为预设区域内，则将第一区域中对应于预设区域的显示内容进行标记；其中，第一区域中显示有如本发明中前述信息处理方法图像集合中的图像，第二区域中显示有与图像对应的关键文字信息。

可选地，在根据本发明的信息处理方法中，在检测显示界面中光标的当前位置之前，还包括：响应于用户的操作，根据操作获取待查找的集合标识；根据集合标识形成请求，向服务器发送请求，以获取与待查找的集合标识关联的图像集合，以及图像集合中各图像对应的关键数据。

可选地，在根据本发明的信息处理方法中，还包括：接收服务器下发的图像集合，以及图像集合中各图像对应的关键数据，关键数据包括图像中包含的关键文字信息和关键文字信息的位置信息；将图像显示于第一区域，将图像中包含的关键文字信息显示于第二区域。

可选地，在根据本发明的信息处理方法中，将图像中包含的关键文字信息显示于第二区域包括：将图像中包含的关键文字信息相应显示于第二区域中的预设区域。

可选地，在根据本发明的信息处理方法中，将第一区域中对应于预设区域的显示内容进行标记包括：获取预设区域对应的关键文字信息的位置信息；根据位置信息确定第一区域中对应于预设区域的显示内容，并标记显示内容。

可选地，在根据本发明的信息处理方法中，标记显示内容包括：通过在第一区域叠加canvas元素标记显示内容。

可选地，在根据本发明的信息处理方法中，关键文字信息的位置信息包括坐标信息，以及关键文字信息所来源图像的标识，方法还包括：对光标位于的预设区域，若预设区域内关键文字信息所来源图像的标识数量大于1，则在第一区域生成相应的切换图标。

根据本发明的又一个方面，提供一种信息处理装置，该装置包括识别模块和生成模块。其中，识别模块适于对图像集合中的各图像进行文字信息识别，以获取图像包含的一个或多个关键文字信息，以及关键文字信息的位置信息；生成模块适于将图像的关键文字信息和对应的位置信息关联，生成相应的关键数据。

根据本发明的又一个方面，提供一种信息处理装置，该装置包括检测模块和标记模块。其中，检测模块适于检测显示界面中光标的当前位置，显示界面包括第一区域和第二区域，第二区域包括一个或多个预设区域，第一区域中显示有如本发明中前述信息处理装置图像集合中的图像，第二区域中显示有与图像对应的关键文字信息；标记模块适于当当前位置为预设区域内时，将第一区域中对应于预设区域的显示内容进行标记。

根据本发明的又一个方面，提供一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行根据本发明的信息处理方法的指令。

根据本发明的又一个方面，还提供一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行根据本发明的信息处理方法。

根据本发明的信息处理方案，通过光电字符识别技术对图像格式的文书进行文字识别，以获取该文书包含的一个或多个关键文字信息，以及关键文字信息的位置信息，将关键文字信息和对应的位置信息关联，生成了结构化的关键数据，更加智能化和自动化。在上述文字识别过程中，对转换成图像格式的每一页文书，基于与文书类型对应的特定识别算法进行识别处理，提升了识别的准确率。

进一步地，基于上述生成的结构化关键数据，提供用户在线编辑和校验的功能，根据每个关键文字信息的位置信息，在显示文书对应图像的第一区域中，绘制第二区域中用户当前操作关联位置处信息的高亮区域，用来辅助编辑和校验。其中，绘制高亮区域可利用canvas元素来实现，相较于DOM元素、第三方JS类库等方式，更加便利且适用于以上场景。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明的一个实施例的信息处理***100的示意图；

图2示出了根据本发明的一个实施例的计算设备200的结构框图；

图3示出了根据本发明的一个实施例的信息处理方法300的流程图；

图4示出了根据本发明的一个实施例的图像集合中图像的示意图；

图5示出了根据本发明的一个实施例的信息处理方法500的流程图；

图6A示出了根据本发明的一个实施例的第一区域和第二区域中信息显示的示意图；

图6B示出了根据本发明的一个实施例的标记后第一区域和第二区域中信息显示的示意图；

图6C示出了根据本发明的又一个实施例的第一区域和第二区域中信息显示的示意图；

图7示出了根据本发明的一个实施例的信息处理装置700的示意图；以及

图8示出了根据本发明的一个实施例的信息处理装置800的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明的一个实施例的信息处理***100的示意图。应当指出，图1中的信息处理***100仅是示例性的，在具体的实际情况中，信息处理***100中可以有不同数量的终端设备和服务器，终端设备可以为PC机、智能手机、平板电脑等电子设备，对此本发明并不限制。

如图1所示，信息处理***100包括终端设备110和服务器120。其中，终端设备110中驻留有信息处理装置111(图中未示出)，服务器120中驻留有信息处理装置121(图中未示出)。下面，以一个具体的应用场景来对上述信息处理***100进行说明。

在该场景下，首先通过扫描将纸质文书进行扫描，生成PDF(Portable DocumentFormat，可移植文档格式)电子文档，再将得到的PDF电子文档上传给与扫描仪通信连接的服务器120，服务器120通过转换工具，将PDF电子文档中的每一页相应转换为图像，比如，5页的PDF电子文档可转换得到5张图像。将得到的图像形成图像集合后，服务器120通过信息处理装置121，对图像集合中的各图像进行文字信息识别，以获取图像包含的一个或多个关键文字信息，以及关键文字信息的位置信息，并将图像的关键文字信息和对应的位置信息关联，生成相应的关键数据。此后，生成图像集合的集合标识，将集合标识与图像集合、以及图像集合中各图像对应的关键数据，进行关联存储，既可以存储到服务器120中，也可以存储至于服务器120相连的数据库服务器(图中未示出)。

而对于终端设备110来说，信息处理装置111可理解为部署于其中的一个客户端(如平台***)上的插件，该客户端通常为浏览器或具备Web应用或混合应用的模式，能够调用HTML(HyperText Markup Language，超级文本标记语言)页面进行信息展示。在用户登录这一客户端之后，信息处理装置111响应于用户的操作，根据操作获取待查找的集合标识，根据集合标识形成请求，向服务器120发送请求，以获取与待查找的集合标识关联的图像集合，以及图像集合中各图像对应的关键数据。

服务器120此时会响应客户端的请求，根据请求查找与待查找的集合标识关联的图像集合，将查找到的图像集合及图像集合中各图像对应的关键数据，下发至终端设备110的客户端，关键数据包括图像中包含的关键文字信息和关键文字信息的位置信息。

在终端设备110中，通过信息处理装置111接收服务器120下发的图像集合，以及图像集合中各图像对应的关键数据，而当前的显示界面包括第一区域和第二区域，则将图像显示于第一区域，将图像中包含的关键文字信息相应显示于第二区域中的预设区域。比如，在当前界面中，将图像集合中的第一张图像显示于第一区域，将该图像包含的关键文字信息相应在第二区域中的预设区域显示，这里的第一张图像即对应为前述PDF电子文档中第一页，而关键文字信息即为PDF电子文档中第一页中关键的文字内容。此后，检测显示界面中光标的当前位置，若当前位置为预设区域内，则可通过如canvas元素，将第一区域中对应于预设区域的显示内容进行标记，从而方便用户对关键文字信息进行编辑和校验。

根据本发明的一个实施例，上述信息处理***100中的终端设备110和服务器120，均可以通过如下所述的计算设备200来实现。图2示出了根据本发明一个实施例的计算设备200的结构框图。

如图2所示，在基本的配置202中，计算设备200典型地包括***存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和***存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，***存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。***存储器206可以包括操作***220、一个或者多个程序222以及程序数据224。在一些实施方式中，程序222可以布置为在操作***上由一个或多个处理器204利用程序数据224执行指令。

计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备200可以实现为服务器，例如文件服务器、数据库服务器、应用程序服务器和WEB服务器等，也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备200还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。

在一些实施例中，计算设备200被实现为终端设备110和/或服务器120，并被配置为执行根据本发明的信息处理方法300和/或信息处理方法500。其中，计算设备200的程序222中包含执行根据本发明的信息处理方法300和/或信息处理方法500的多条程序指令，而程序数据224还可以存储信息处理***100的配置信息等。

图3示出了根据本发明的一个实施例的信息处理方法300的流程图。如图3所示，方法300始于步骤S310。在步骤S310中，对图像集合中的各图像进行文字信息识别，以获取图像包含的一个或多个关键文字信息，以及关键文字信息的位置信息。考虑到上述图像集合需要预先获取，根据本发明的一个实施例，在步骤S310之前，可通过如下方式预先获取图像集合。

在该实施方式中，首先，对第一格式的文档进行转换处理，以生成文档对应的多张图像，若图像的边缘强度小于预设的强度阈值，则判定图像为空白图像，再基于空白图像对文档对应的多张图像进行划分，以形成一个或多个图像集合。其中，文档包括法律文书，第一格式包括PDF。

例如，对PDF文档A进行转换处理，由于文档A有50页内容，则生成的文档A对应的图像相应为50张，第1～50张图像依次对应于第1～50页文档的内容。此时，可通过如Canny边缘检测算法等图像边缘检测算法，来对得到的各图像进行边缘检测，若图像的边缘强度小于预设的强度阈值，则判定图像为空白图像。完成边缘检测后可确定，第27张图像为空白图像，表明第27页为空白页，则基于该空白图像对文档A对应的50张图像进行划分，从而形成了2个图像集合，第一个图像集合记为P1，其中包括第1～26张图像，第二个图像集合记为P2，其中包括第28～50张图像。

需要说明的是，强度阈值的具体数值，可根据采用的图像边缘检测算法、文档对应的文书类型、性能要求等进行调整，本发明对此不进行限制。此外，此处以空白图像作为划分界限，是基于业务上通常约定以空白页作为不同文件之间的间隔，比如对法律文书这一类文档而言，业务上约定案件以空白页隔开。

在获取到要处理的图像集合后，根据本发明的一个实施例，可通过如下方式对图像集合中的各图像进行文字信息识别。首先，对图像集合中的各图像进行光电字符识别，以获取图像中包括的文本信息，以及文本信息的位置信息。在该实施方式中，对图像集合P1中的各图像，通过光电字符识别获取图像中包括的文本信息，以及文本信息的位置信息。

图4示出了根据本发明的一个实施例的图像集合中图像的示意图。如图4所示，该图像为图像集合P1中的第一张图像，对其进行光电字符识别后，可提取到如“民事起诉状”、“原告：C1国际贸易有限公司”、“住所：香港九龙尖沙咀，科学馆道1234号”等文本信息，以及各文本信息的位置信息。

接下来，对获取到的各文本信息进行标题提取，以确定图像集合对应文本中的一个或多个标题。比如，对图4中获取到的文本信息进行标题提取后，得到的标题为“民事起诉状”，而图像集合P1中剩余的第2～26张图像中，只有第16张图像对应的文本信息中提取出了标题，该标题为“C7法院判决书”。

根据标题，对各文本信息进行分类，以获取标题对应的文本集合以及文本集合的类别，文本集合包括一个或多个与标题对应的文本信息。在该实施方式中，图像集合P1中的图像只关联有2个标题，分别是“民事起诉状”和“C7法院判决书”，对应于起诉状和判决书这两类标题类别。当然，标题类别并不限于起诉状和判决书，还包括如应诉书、法院传票、强制执行书等法律文书的类别。基于此，对图像集合P1对应的文本信息进行分类，将其中第1～15张图像包含的文本信息形成相应的文本集合，记为T1，其类别为起诉状，将其中第16～26张图像包含的文本信息形成相应的文本集合，记为T2，其类别为判决书。

最后，将文本集合输入到与其类别对应的命名实体识别模型中，以提取出文本集合中包含的一个或多个关键文字信息。根据本发明的一个实施例，将文本集合T1输入到与起诉状对应的命名实体识别模型中，将文本集合T2输入到与判决书对应的命名实体识别模型中，以提取出文本集合T1和T2中包含的一个或多个关键文字信息。

以文本集合T1为例，对起诉状类别的文本集合而言，应提取出的关键文字信息包括原告(可有多个)、被告(可有多个)、案由、诉讼请求、事实和理由等起诉状中应包含的基本信息。进而，与起诉状对应的命名实体识别模型，所能识别出的实体则应为包括原告、被告、案由、诉讼请求、事实和理由在内的关键文字信息，优选地，命名实体识别模型为序列标注模型。序列标注模型可采用如CRF(Conditional Random Field，条件随机场)模型、BiLSTM-CRF(Bi-directional Long Short-Term Memory-Conditional Random Field，双向长短期记忆网络-条件随机场)模型等模型，可根据实际应用场景、网络训练情况、***配置和性能要求等进行适当调整，这些对于了解本发明方案的技术人员来说是可以容易想到的，并且也在本发明的保护范围之内，此处不予以赘述。

当然，上述与起诉状对应的命名实体识别模型在应用前，需要进行预先训练，以便该命名实体识别模型的输出指示输入文本信息中存在的关键文字信息。根据本发明的一个实施例，实体训练数据集合包括多条实体训练数据，每条实体训练数据包括第一训练文本和第二训练文本，第二训练文本为对第一训练文本中的关键文字信息进行实体标记后形成的文本。具体地，在进行命名实体识别模型训练时，首先，对实体训练数据集合中的各条实体训练数据，将实体训练数据中的第一训练文本作为输入，输入到命名实体识别模型，以得到命名实体识别模型输出的、该第一训练文本信息对应的标记有关键文字信息的标记文本，再基于实体训练数据中第一训练文本对应的标记文本和第二训练文本，调整命名实体识别模型的网络参数。

在该实施方式中，可使用反向传播算法调整命名实体识别模型的网络参数。经过实体训练数据集合中大量的实体训练数据进行模型训练后，获得训练好的命名实体识别模型。需要说明的是，用于命名实体识别模型训练的实体训练数据集合，是从法律文书资源中提取大量涉及原告/被告/案由/诉讼请求/事实和理由等起诉状的文书，并基于提取到的文本信息进行实体标记处理后形成的实体训练数据构成的。

基于此，对图像集合P1中的各图像进行文字信息识别后，得到的关键文字信息如下：

原告：C1国际贸易有限公司

被告一：扬州C3有限公司

被告二：杭州C4广告有限公司

案由：注册商标专用权侵权纠纷

诉讼请求：

1.判令被告一立即停止侵犯原告注册商标专用权的行为，并在C4网站首页(域名为www.C4.com)刊登致歉声明；

2.判令被告一赔偿原告损失以及制止侵权行为所支出的合理开支共计人民币5万元；

3.判令被告二删除被告一在C4网站下的侵权链接。

事实与理由：

C5有限责任公司为“ZZZ”商标及著作权的拥有者，原告为上述注册商标在中国地区的独占总被许可方。经调查，原告发现两被告存在侵犯原告注册商标专用权的行为，特提起诉讼。事实理由如下：

一、原告享有在先的注册商标专用权

原告为第20类别第1928349797号商标的独占总被许可方，享有该注册商标的专用权，核定使用商品为软垫、枕头等。

(因篇幅问题省略后续内容)

进一步地，在确定了关键文字信息后，还需要获取各关键文字信息的位置信息。根据本发明的一个实施例，可根据关键文字信息所属文本集合中的各文本信息的位置信息，确定关键文字信息的位置信息。其中，关键文字信息的位置信息包括坐标信息，以及关键文字信息所来源图像的标识。需要说明的是，关键文字信息的位置信息所包括的坐标信息，是关键文字信息中每一个或每一行文字的坐标信息(矩形区域的4个顶点)所形成的坐标集合。

在该实施方式中，图像的标识可通过图像在图像集合中的序号来表示，如图像集合P1中各图像的标识依次为1～15。由此可确定，原告、被告一、被告二、案由和诉讼请求所来源图像的标识均为1，坐标信息分别以L1、L2、L3、L4和L5表示，而事实与理由所来源图像的标识为1～3，坐标信息以L6表示。

随后，执行步骤S320，将图像的关键文字信息和对应的位置信息关联，生成相应的关键数据。根据本发明的一个实施例，对图像集合P1中的各图像，比如图4所示的图像，将该图像的关键文字信息原告、被告一、被告二、案由和诉讼请求分别与对应的位置信息关联，即将原告与图像的标识1、坐标信息L1关联，将被告一与图像的标识1、坐标信息L2关联，将被告二与图像的标识1、坐标信息L3关联，将案由与图像的标识1、坐标信息L4关联，将诉讼请求与图像的标识1、坐标信息L5关联，将事实与理由与图像的标识1～3、坐标信息L6关联。

在此基础上，生成图像集合的集合标识，将集合标识与图像集合、以及图像集合中各图像对应的关键数据，进行关联存储。在该实施方式中，生成图像集合P1的集合标识为ID1，将集合标识ID1与图像集合P1、以及图像集合P1中各图像对应的关键数据，进行关联存储，存储于服务器120中的存储单元或服务器120相连的数据库服务器。

此后，服务器120可接收来自客户端的请求，并响应该请求进行关键数据的查找和下发。根据本发明的一个实施例，响应于与服务器120相连的终端设备110中所驻留客户端的请求，该请求包括待查找的集合标识，根据请求查找与待查找的集合标识关联的图像集合，将查找到的图像集合及图像集合中各图像对应的关键数据，下发至客户端，以便客户端在显示界面中进行显示。

图5示出了根据本发明的一个实施例的信息处理方法500的流程图。如图5所示，方法500始于步骤S510。在步骤S510中，检测显示界面中光标的当前位置，显示界面包括第一区域和第二区域，第二区域包括一个或多个预设区域。其中，第一区域中显示有如方法300所述图像集合中的图像，第二区域中显示有与该图像对应的关键文字信息。

考虑到第一区域和第二区域中显示的内容需要预先获取，根据本发明的一个实施例，在步骤S510之前，响应于用户的操作，根据操作获取待查找的集合标识，根据集合标识形成请求，向服务器120发送请求，以获取与待查找的集合标识关联的图像集合，以及图像集合中各图像对应的关键数据。在该实施方式中，用户登录了终端设备110中的客户端，并在客户端的显示界面中，通过如点击操作选定了一份法律文书的文书编号，此时，响应于用户的操作，根据该操作获取到待查找的集合标识为ID1，则根据集合标识ID1形成请求，向服务器120发送请求，以获取与集合标识ID1关联的图像集合，以及图像集合中各图像对应的关键数据。

服务器120响应于上述请求，根据该请求查找到与集合标识ID1关联的图像集合P1，将图像集合P1及图像集合P1中各图像对应的关键数据，下发至客户端。根据本发明的一个实施例，接收服务器120下发的图像集合P1，以及图像集合P1中各图像对应的关键数据，关键数据包括图像中包含的关键文字信息和关键文字信息的位置信息。其中，关键文字信息的位置信息包括坐标信息，以及关键文字信息所来源图像的标识。

在该实施方式中，图像集合P1中，第一张图像(图像的标识为1)对应的关键数据中，关键文字信息包括原告、被告一、被告二、案由、诉讼请求、事实和理由，关键文字信息“原告”的位置信息包括坐标信息L1、图像的标识1，关键文字信息“被告一”的位置信息包括坐标信息L2、图像的标识1，关键文字信息“被告二”的位置信息包括坐标信息L3、图像的标识1，关键文字信息“案由”的位置信息包括坐标信息L4、图像的标识1，关键文字信息“诉讼请求”的位置信息包括坐标信息L5、图像的标识1，关键文字信息“事实和理由”的位置信息包括坐标信息L6、图像的标识1～3。第二张图像(图像的标识为2)和第三张图像(图像的标识为3)对应的关键数据中，关键文字信息均只包括事实和理由，关键文字信息“事实和理由”的位置信息同上。

在接收到服务器120下发的图像集合及关键数据后，将图像集合中的各图像响应显示于第一区域，将图像中包含的关键文字信息显示于第二区域。优选地，可将图像中包含的关键文字信息相应显示于第二区域中的预设区域。图6A示出了根据本发明的一个实施例的第一区域和第二区域中信息显示的示意图。如图6A所示的显示界面中，左半部分为第一区域，右半部分为第二区域，第一区域中当前显示有图像集合P1中第一张图像，第二区域中分布有6个文本框样式的预设区域，在相应的预设区域内显示有第一区域中的关键文字信息。第二区域中从上往下的6个预设区域中，依次显示有原告一(为说明原告人数为1，图6A中以原告一表示原告)、被告一、被告二、案由、诉讼请求和事实与理由这6个关键文字信息的内容。应注意的是，考虑到展示效果和分辨率，说明书附图中的图6A(以及图6B、6C)是在原方位基础上，顺时针旋转90度后进行显示的，上述关于图6A(以及图6B、6C)的描述以原图中的方位为准。

在执行步骤S310时，检测到显示界面中光标的当前位置为“诉讼请求”这一关键文字信息对应的预设区域中。进而，进入步骤S320，若当前位置为预设区域内，则将第一区域中对应于预设区域的显示内容进行标记。根据本发明的一个实施例，可通过如下方式将第一区域中对应于预设区域的显示内容进行标记。首先，获取预设区域对应的关键文字信息的位置信息，然后，根据位置信息确定第一区域中对应于预设区域的显示内容，并标记显示内容。在标记显示内容时，优选地，通过在第一区域叠加canvas元素标记显示内容。

在该实施方式中，光标当前位于的预设区域对应的关键文字信息为诉讼请求，其位置信息包括坐标信息L5、图像的标识1。根据这一位置信息，在第一区域中通过叠加canvas元素标记对应于该预设区域的显示内容。图6B示出了根据本发明的一个实施例的标记后第一区域和第二区域中信息显示的示意图。如图6B所示，第一区域中诉讼请求部分的文字内容已被高亮标记，方便用户进一步编辑或校对。当然，上述标记处理并不限于高亮显示，如绘制三角形、圆形等标记进行提示亦可，本发明对此并不限制。

此外，考虑到如“事实与理由”这类关键文字信息，因内容或篇幅较多出现位置横跨多张图像的情况，根据本发明的又一个实施例，对光标位于的预设区域，若预设区域内关键文字信息所来源图像的标识数量大于1，则在第一区域生成相应的切换图标。在该实施方式中，当光标位于关键文字信息“事实与理由”对应的预设区域中时，由于“事实与理由”这一关键文字信息所来源图像的标识数量为3，大于1，则在第一区域生成相应的切换图标，以便用户对第一区域中显示的图像进行翻页操作。

图6C示出了根据本发明的又一个实施例的第一区域和第二区域中信息显示的示意图。如图6C所示，第一区域中事实与理由部分的文字内容已被高亮标记，且第一区域的右侧出现箭头符号的切换图标。用户可通过点击该切换图标的操作进行向后翻页，将第一区域显示的图像从图像集合P1中的第一张图像切换成第二张图像。当然，还可以在第一区域的左侧生成一个向前翻页的图像，以便用户从当前图像切换成上一张图像。

图7示出了根据本发明的一个实施例的信息处理装置700的示意图。如图7所示，装置700包括识别模块710和生成模块720。

识别模块710适于对图像集合中的各图像进行文字信息识别，以获取图像包含的一个或多个关键文字信息，以及关键文字信息的位置信息。

根据本发明的一个实施例，识别模块710进一步适于对图像集合中的各图像进行光电字符识别，以获取图像中包括的文本信息，以及文本信息的位置信息，再对获取到的各文本信息进行标题提取，以确定图像集合对应文本中的一个或多个标题，根据标题，对各文本信息进行分类，以获取标题对应的文本集合以及文本集合的类别，文本集合包括一个或多个与标题对应的文本信息，并将文本集合输入到与其类别对应的命名实体识别模型中，以提取出文本集合中包含的一个或多个关键文字信息。

在该实施方式中，识别模块710进一步适于根据关键文字信息所属文本集合中的各文本信息的位置信息，确定关键文字信息的位置信息。其中，关键文字信息的位置信息包括坐标信息，以及关键文字信息所来源图像的标识。

根据本发明的一个实施例，识别模块710还适于预先获取图像集合，进一步适于对第一格式的文档进行转换处理，以生成文档对应的多张图像，当图像的边缘强度小于预设的强度阈值时，判定图像为空白图像，基于空白图像对文档对应的多张图像进行划分，以形成一个或多个图像集合。其中，文档包括法律文书

生成模块720适于将图像的关键文字信息和对应的位置信息关联，生成相应的关键数据。

根据本发明的一个实施例，生成模块720还适于生成图像集合的集合标识，将集合标识与图像集合、以及图像集合中各图像对应的关键数据，进行关联存储。

在该实施方式中，生成模块720还适于响应客户端的请求，请求包括待查找的集合标识，根据请求查找与待查找的集合标识关联的图像集合，将查找到的图像集合及图像集合中各图像对应的关键数据，下发至客户端，以便客户端在显示界面中进行显示。

关于信息处理的具体步骤以及实施例，在基于图3～4的描述中已经详细公开，此处不再赘述。

图8示出了根据本发明的一个实施例的信息处理装置800的示意图。如图8所示，装置800包括检测模块810和标记模块820。

检测模块810适于检测显示界面中光标的当前位置，显示界面包括第一区域和第二区域，第二区域包括一个或多个预设区域。其中，第一区域中显示有如信息处理装置700所述图像集合中的图像，第二区域中显示有与该图像对应的关键文字信息。

根据本发明的一个实施例，检测模块810还适于响应于用户的操作，根据操作获取待查找的集合标识，根据集合标识形成请求，向服务器120发送请求，以获取与待查找的集合标识关联的图像集合，以及图像集合中各图像对应的关键数据。

在该实施方式中，检测模块810还适于接收服务器120下发的图像集合，以及图像集合中各图像对应的关键数据，关键数据包括图像中包含的关键文字信息和关键文字信息的位置信息，将图像显示于第一区域，将图像中包含的关键文字信息显示于第二区域。检测模块810进一步适于将图像中包含的关键文字信息相应显示于第二区域中的预设区域。

标记模块820适于当当前位置为预设区域内时，将第一区域中对应于预设区域的显示内容进行标记。

根据本发明的一个实施例，标记模块820进一步适于获取预设区域对应的关键文字信息的位置信息，根据位置信息确定第一区域中对应于预设区域的显示内容，并标记显示内容。

在该实施方式中，标记模块820进一步适于通过在第一区域叠加canvas元素标记显示内容。

根据本发明的一个实施例，关键文字信息的位置信息包括坐标信息，以及关键文字信息所来源图像的标识，标记模块820还适于对光标位于的预设区域，当预设区域内关键文字信息所来源图像的标识数量大于1时，在第一区域生成相应的切换图标。

关于信息处理的具体步骤以及实施例，在基于图5～6C的描述中已经详细公开，此处不再赘述。

目前的文书识别及相关处理方案，通常只是通过OCR技术实现了纸质图形文件向文本格式的转换，一旦需要应用到更多专业领域时，仍存在如不够智能、识别精度不高、人工操作繁琐和辅助手段不佳等一系列问题。根据本发明实施例的信息处理方案，通过光电字符识别技术对图像格式的文书进行文字识别，以获取该文书包含的一个或多个关键文字信息，以及关键文字信息的位置信息，将关键文字信息和对应的位置信息关联，生成了结构化的关键数据，更加智能化和自动化。在上述文字识别过程中，对转换成图像格式的每一页文书，基于与文书类型对应的特定识别算法进行识别处理，提升了识别的准确率。

进一步地，基于上述生成的结构化关键数据，提供用户在线编辑和校验的功能，根据每个关键文字信息的位置信息，在显示文书对应图像的第一区域中，绘制第二区域中用户当前操作关联位置处信息的高亮区域，用来辅助编辑和校验。其中，绘制高亮区域可利用canvas元素来实现，相较于DOM元素、第三方JS类库等方式，更加便利且适用于以上场景。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组间可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组间组合成一个模块或单元或组间，以及此外可以把它们分成多个子模块或子单元或子组间。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机***的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的信息处理方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (18)

1.一种信息处理方法，包括：

对图像集合中的各图像进行文字信息识别，以获取所述图像包含的一个或多个关键文字信息，以及所述关键文字信息的位置信息；

将所述图像的关键文字信息和对应的位置信息关联，生成相应的关键数据，其中，所述对图像集合中的各图像进行文字信息识别包括：

对图像集合中的各图像进行光电字符识别，以获取所述图像中包括的文本信息，以及所述文本信息的位置信息；

对获取到的各文本信息进行标题提取，以确定所述图像集合对应文本中的一个或多个标题；

根据所述标题，对各文本信息进行分类，以获取所述标题对应的文本集合以及所述文本集合的类别，所述文本集合包括一个或多个与所述标题对应的文本信息；

将所述文本集合输入到与其类别对应的命名实体识别模型中，以提取出所述文本集合中包含的一个或多个关键文字信息。

2.如权利要求1所述的方法，其中，所述对图像集合中的各图像进行文字信息识别包括：

根据所述关键文字信息所属文本集合中的各文本信息的位置信息，确定所述关键文字信息的位置信息。

3.如权利要求1所述的方法，其中，还包括预先获取图像集合，所述预先获取图像集合包括：

对第一格式的文档进行转换处理，以生成所述文档对应的多张图像；

若所述图像的边缘强度小于预设的强度阈值，则判定所述图像为空白图像；

基于所述空白图像对所述文档对应的多张图像进行划分，以形成一个或多个图像集合。

4.如权利要求3所述的方法，其中，所述文档包括法律文书。

5.如权利要求1所述的方法，其中，所述关键文字信息的位置信息包括坐标信息，以及所述关键文字信息所来源图像的标识。

6.如权利要求1所述的方法，其中，还包括：

生成所述图像集合的集合标识；

将所述集合标识与所述图像集合、以及所述图像集合中各图像对应的关键数据，进行关联存储。

7.如权利要求6所述的方法，其中，还包括：

响应客户端的请求，所述请求包括待查找的集合标识；

根据所述请求查找与所述待查找的集合标识关联的图像集合；

将查找到的图像集合及所述图像集合中各图像对应的关键数据，下发至所述客户端，以便所述客户端在显示界面中进行显示。

8.一种信息处理方法，包括：

检测显示界面中光标的当前位置，所述显示界面包括第一区域和第二区域，所述第二区域包括一个或多个预设区域；

若所述当前位置为所述预设区域内，则将所述第一区域中对应于所述预设区域的显示内容进行标记；

其中，所述第一区域中显示有如权利要求1-7中任一项所述的图像集合中的图像，所述第二区域中显示有与所述图像对应的关键文字信息。

9.如权利要求8所述的方法，其中，在检测显示界面中光标的当前位置之前，还包括：

响应于用户的操作，根据所述操作获取待查找的集合标识；

根据所述集合标识形成请求，向服务器发送所述请求，以获取与所述待查找的集合标识关联的图像集合，以及所述图像集合中各图像对应的关键数据。

10.如权利要求9所述的方法，其中，还包括：

接收所述服务器下发的图像集合，以及所述图像集合中各图像对应的关键数据，所述关键数据包括图像中包含的关键文字信息和所述关键文字信息的位置信息；

将所述图像显示于所述第一区域，将所述图像中包含的关键文字信息显示于所述第二区域。

11.如权利要求10所述的方法，其中，所述将所述图像中包含的关键文字信息显示于所述第二区域包括：

将所述图像中包含的关键文字信息相应显示于所述第二区域中的预设区域。

12.如权利要求11所述的方法，其中，所述将所述第一区域中对应于所述预设区域的显示内容进行标记包括：

获取所述预设区域对应的关键文字信息的位置信息；

根据所述位置信息确定所述第一区域中对应于所述预设区域的显示内容，并标记所述显示内容。

13.如权利要求12所述的方法，其中，所述标记所述显示内容包括：

通过在所述第一区域叠加canvas元素标记所述显示内容。

14.如权利要求12所述的方法，其中，所述关键文字信息的位置信息包括坐标信息，以及所述关键文字信息所来源图像的标识，所述方法还包括：

对所述光标位于的预设区域，若所述预设区域内关键文字信息所来源图像的标识数量大于1，则在所述第一区域生成相应的切换图标。

15.一种信息处理装置，包括：

识别模块，适于对图像集合中的各图像进行光电字符识别，以获取所述图像中包括的文本信息，以及所述文本信息的位置信息，对获取到的各文本信息进行标题提取，以确定所述图像集合对应文本中的一个或多个标题，根据所述标题，对各文本信息进行分类，以获取所述标题对应的文本集合以及所述文本集合的类别，所述文本集合包括一个或多个与所述标题对应的文本信息，将所述文本集合输入到与其类别对应的命名实体识别模型中，以提取出所述文本集合中包含的一个或多个关键文字信息；

生成模块，适于将所述图像的关键文字信息和对应的位置信息关联，生成相应的关键数据。

16.一种信息处理装置，包括：

检测模块，适于检测显示界面中光标的当前位置，所述显示界面包括第一区域和第二区域，所述第二区域包括一个或多个预设区域；

标记模块，适于当所述当前位置为所述预设区域内时，将所述第一区域中对应于所述预设区域的显示内容进行标记；

其中，所述第一区域中显示有如权利要求15所述的图像集合中的图像，所述第二区域中显示有与所述图像对应的关键文字信息。

17.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-14所述的方法中的任一方法的指令。

18.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-14所述的方法中的任一方法。

Images