CN113657347A - 书写文字识别方法、装置、终端设备和存储介质 - Google Patents

书写文字识别方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN113657347A
CN113657347A CN202111016714.8A CN202111016714A CN113657347A CN 113657347 A CN113657347 A CN 113657347A CN 202111016714 A CN202111016714 A CN 202111016714A CN 113657347 A CN113657347 A CN 113657347A
Authority
CN
China
Prior art keywords
writing
text
track data
line
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111016714.8A
Other languages
English (en)
Inventor
黄光伟
王红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202111016714.8A priority Critical patent/CN113657347A/zh
Publication of CN113657347A publication Critical patent/CN113657347A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)

Abstract

本申请公开了一种书写文字识别方法、书写文字识别装置、终端设备和可读存储介质。书写文字识别方法包括：获取书写轨迹数据，书写轨迹数据包括轨迹点坐标和对应的书写时间信息，并在书写轨迹数据不属于新文件的情况下，根据轨迹点坐标和书写时间信息进行文本行分割得到文本行，进而根据轨迹点坐标将文本行的书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据，再保存分行后的合并轨迹数据，最后利用文本识别模型对分别对每行合并轨迹数据进行识别得到识别结果。本申请通过在判断出书写轨迹数据为非新文件情况下分割成多行文本，从而对每行文本进行识别，如此，可以完成对整篇书写轨迹数据的识别，提升了用户体验。

Description

书写文字识别方法、装置、终端设备和存储介质
技术领域
本申请涉及图像识别技术，特别涉及一种书写文字识别方法、书写文字识别装置、终端设备和存储介质。
背景技术
用户在使用会议一体机时，可以在其对应的应用程序中通过手写的方式记录会议内容、纪要或培训等内容，这些书写内容可以以文件的形式被保存在本地的存储器上，从而便于用户后续查阅。当文件过多时，用户难以找到想要的文件，相关技术中，可通过书写文字识别技术实现快速定位到想要的文件。然而，目前的书写文字识别技术只能对单个字或单行内容进行识别，识别效果有限。
发明内容
本申请提供了一种书写文字识别方法，用于书写文字识别装置，所述书写文字识别方法包括：
获取书写轨迹数据，所述书写轨迹数据包括轨迹点坐标和对应的书写时间信息；
在所述书写轨迹数据不属于新文件的情况下，根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到文本行；
根据所述轨迹点坐标将所述文本行的所述书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据；
保存分行后的所述合并轨迹数据；和
利用文本识别模型对分别对每行所述合并轨迹数据进行识别得到识别结果。
在某些实施方式中，所述书写文字识别方法还包括：
在所述书写轨迹数据属于新文件的情况下，根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到新文本行；
保存分行后所述文本行的所述书写轨迹数据；
利用所述文本识别模型对分别对每行所述书写轨迹数据进行识别得到识别结果。
在某些实施方式中，所述根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到文本行，包括：
根据所述书写轨迹数据的落笔状态和抬笔状态划分书写笔划；
根据所述书写时间信息确定各个所述书写笔划之间的书写间隔时间；
根据所述书写间隔时间对所述书写笔划进行分块得到第一文本块；
根据第一距离阈值对所述第一文本块进行分块得到第二文本块，所述第一距离阈值根据所述第一文本块确定；
根据第二距离阈值对所述第二文本块进行分块得到第三文本块，所述第二距离阈值根据所述第二文本块确定；
根据所述轨迹点坐标在字体高度方向上的重叠率合并所述第三文本块得到所述文本行。
在某些实施方式中，所述根据所述轨迹点坐标将所述文本行的所述书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据，包括：
根据橡皮轨迹删除对应的历史书写轨迹数据后进行文本行分块得到历史书写文本块；
根据每行的中心点坐标和文本块顺序合并所述历史文本块和所述文本行得到所述合并轨迹数据。
在某些实施方式中，所述获取书写轨迹数据包括：
接收用户在终端调用手写识别服务上传的手写文件以获取所述书写轨迹数据。
在某些实施方式中，所述书写文字识别方法包括：
将所述识别结果返回至所述终端。
在某些实施方式中，所述书写文字识别方法还包括：
建立深度学习模型；
获取训练轨迹数据，所述训练轨迹数据为用户输入每行文本对应的所述书写轨迹数据；
利用所述训练轨迹数据对所述深度学习模型进行训练，得到所述文本识别模型。
在某些实施方式中，所述建立深度学习模型包括：
基于时间递归神经网络建立所述深度学习模型，所述深度学习模型包括多层长短期记忆神经网络。
本申请还提供了一种书写文字识别装置，包括：
获取模块，用于获取书写轨迹数据，所述书写轨迹数据包括轨迹点坐标和对应的书写时间信息；
分割模块，用于在所述书写轨迹数据不属于新文件的情况下，根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到文本行；
合并模块，用于根据所述轨迹点坐标将所述文本行的所述书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据；
保存模块，用于保存分行后的所述合并轨迹数据；和
识别模块，用于利用文本识别模型对分别对每行所述合并轨迹数据进行识别得到识别结果。
本申请还提供了一种终端设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述任意一项所述的书写文字识别方法。
本申请还提供了一种包含计算机程序非易失性计算机可读存储介质，当所述计算机程序被处理器执行时，使得所述处理器执行上述任意一项所述书写文字识别方法。
本申请实施方式的书写文字识别方法、书写文字识别装置、终端设备和计算机可读存储介质中，通过对上传的书写轨迹数据的书写时间信息进行判断，识别出书写轨迹数据是否为新文件，并在书写轨迹数据不属于新文件的情况下，根据书写轨迹数据中的轨迹点坐标和书写时间信息对书写轨迹数据进行行分割，分割成多行文本行，进而对每行文本行进行识别，如此，可以完成对整篇书写轨迹数据的识别，提升了用户体验。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的书写文字识别方法的流程示意图。
图2是本申请某些实施方式的书写文字识别装置的模块示意图。
图3-4是本申请某些实施方式的书写文字识别方法的流程示意图。
图5是本申请某些实施方式的书写文字识别方法的分行处理场景示意图。
图6本申请某些实施方式书写文字识别方法的流程示意图。
图7是相关技术中根据合并轨迹数据进行识别处理的场景示意图。
图8是本申请某些实施方式中根据合并轨迹数据进行识别的场景示意图。
图9本申请某些实施方式书写文字识别方法的流程示意图。
图10是本申请某些实施方式中LSMT的总体框架示意图。
图11是本申请某些实施方式的深度学习模型的模块示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
用户在使用会议一体机时，会在其app中书写会议内容、纪要或培训板书等等，这些内容会以文件的形式被保存在本地的存储器上，便于用户后续查阅这些内容。但是当文件过多时，如何快速找到用户想要的内容就成为亟待解决的问题。
相关技术中，可采用手写识别功能来实现快速找到用户想要的内容。当用户书写内容后，点击手写识别，就可以将识别的内容作为会议文件的标签一同保存在本地，用户可以回忆当时的会议内容通过关键词快速方便地检索到想要查阅的文件。
手写文字识别技术是指将在触屏手写设备上书写文字时产生的有序轨迹信息(包括两维坐标，也可能包含一维书写时间信息)转化为文字的过程。手写文字识别是人机交互最自然、最方便的手段之一，可用于办公自动化、机器翻译、电子商务等应用领域。目前，手写识别技术主要用在输入法的单字识别或单行识别中，针对整篇文本轨迹点的识别应用相对较少，使得首写识别技术的应用范围有限。
有鉴于此，请参阅图1，本申请实施方式提供一种书写文字识别方法，用于书写文字识别装置，书写文字识别方法包括步骤：
01，获取书写轨迹数据，书写轨迹数据包括轨迹点坐标和对应的书写时间信息；
02，在书写轨迹数据不属于新文件的情况下，根据轨迹点坐标和书写时间信息进行文本行分割得到文本行；
03，根据轨迹点坐标将文本行的书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据；
04，保存分行后的合并轨迹数据；和
05，利用文本识别模型对分别对每行合并轨迹数据进行识别得到识别结果。
请进一步参阅图2，本申请实施方式提供了一种书写文字识别装置10。书写文字识别装置10包括获取模块110、分割模块120、合并模块130、保存模块140和识别模块150。
步骤01可以由获取模块110实现，步骤02可以由分割模块120实现，步骤03可以由合并模块130实现，步骤04可以由保存模块140实现，步骤05可以由识别模块150实现。或者说，获取模块110可以用于获取书写轨迹数据，书写轨迹数据包括轨迹点坐标和对应的书写时间信息。分割模块120可以用于在轨迹数据不属于新文件的情况下，根据轨迹点坐标和书写时间信息进行文本行分割得到文本行。合并模块130可以用于根据轨迹点坐标将文本行的轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据。保存模块140可以用于保存分行后的合并轨迹数据，识别模块150可以用于利用文本识别模型对分别对每行合并轨迹数据进行识别得到识别结果。
本申请还提供了一种终端设备，包括处理器，处理器可以用于获取书写轨迹数据，书写轨迹数据包括轨迹点坐标和对应的书写时间信息，并在轨迹数据不属于新文件的情况下，根据轨迹点坐标和书写时间信息进行文本行分割得到文本行。处理器还可以用于根据轨迹点坐标将文本行的轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据，并保存分行后的合并轨迹数据，以及利用文本识别模型对分别对每行合并轨迹数据进行识别得到识别结果。
这些实施方式的书写文字识别方法、书写文字识别装置10和终端设备中，通过对上传的书写轨迹数据的书写时间信息进行判断，识别出书写轨迹数据是否为新文件，并在书写轨迹数据不属于新文件的情况下，根据书写轨迹数据中的轨迹点坐标和书写时间信息对书写轨迹数据进行行分割，分割成多行文本行，进而对每行文本行进行识别，如此，可以完成对整篇书写轨迹数据的识别，提升了用户体验。
在一些实施方式中，终端设备可以为手机、平板以及会议一体机等可通过手写的输入文本等电子设备。本实施方式以终端设备是会议一体机为例进行说明，也即是说，书写文字识别方法和书写文字识别装置100应用于但不限于会议一体机。书写文字识别装置100可以是预安装于会议一体机的硬件或软件，并在会议一体机上启动运行时可以执行该书写文字识别方法。例如，书写文字识别装置100可以是会议一体机的底层软件代码段或者说是操作***的一部分。
需要说明的是，会议一体机是针对大中型创新及高科技企业会议办公、培训及远程会议等场景使用的智能交互触摸一体机，它集电脑、投影仪、电视、电子白板、广告机、音响等多功能为一体，可满足多种用途的综合一体机。
在一些实施方式中，书写文字识别装置100可以是一定方式组装以具有前述功能的分立元件、或者是以集成电路形式存在具有前述功能的芯片、又或者是在计算机上运行时使得计算机具有前述功能的计算机软件代码段。
在一些实施方式中，作为硬件，书写文字识别装置100可以是独立或者作为额外增加的***元件加装到计算机或者计算机***。书写文字识别装置100也可以集成到计算机或者计算机***，例如，书写文字识别装置100是终端设备的一部分时，书写文字识别装置100可以集成到处理器上。
在本实施方式的终端设备中，包括触摸设备，用户可通过触摸设备输入手写的轨迹点，触摸设备接收到用户输入的轨迹点后，可保存每个轨迹点的x，y坐标值，每个轨迹点的时间戳，每个轨迹点的状态(落笔或抬笔)，从而得到书写轨迹数据。
处理器可以为云端服务器，并与触摸设备网络连接，从而向触摸设备获取到书写轨迹数据。也即是，本申请的书写文字识别方法可以由云端服务器实现，可以理解地，云端服务器是基于大规模分布式计算***，能够海量且快速的处理数据，如此，可以方便快捷地实现书写文字识别方法。
云端服务器可包括有数据库，数据库可存储有历史书写轨迹数据。历史书写轨迹以文本页的形式保存。新文件是指书写轨迹数据中不存在数据库中历史书写轨迹数据的内容，非新文件是指书写轨迹数据中至少存在部分内容与数据库中历史书写轨迹数据的内容相同。例如，当前书写轨迹数据为用户对历史书写轨迹数据进行部分修改(删去或增加了部分内容)，生成的书写轨迹数据，则说明，当前书写轨迹数据为非新文件。
书写轨迹数据可以包括书写轨迹和橡皮轨迹，其中，书写轨迹用于生成书写内容，橡皮轨迹用于去除书写内容，并且，书写轨迹数据都是按照时间顺序保存。
书写轨迹数据可以是用户在终端(触摸设备)调用手写识别服务上传的手写文件。也即是，处理器可以从终端获取到用户在终端调用手写识别服务上传的书写轨迹数据
文本识别模型是一种神经网络模型(Neural Networks，NN)，是由大量的、大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络***，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习***。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。
具体地，在处理器获取到在书写轨迹数据时，遍历根据数据库中保存的历史书写轨迹数据，从而对获取的书写轨迹数据进行判断，确定书写轨迹数据是否属于新文件，并书写轨迹数据中存在数据库中历史书写轨迹数据相同的内容时，确定书写轨迹数据不属于新文件，根据轨迹点坐标和书写时间信息对书写轨迹数据进行分割，得到多行文本行的书写轨迹数据。进而根据书写轨迹数据的轨迹点坐标将文本行的书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据，并将合并轨迹数据保存至原有的历史书写轨迹对应的位置中。
进一步地，处理器可以只获取书写轨迹数据中与历史书写轨迹数据不相同的内容(即修改的内容部分)，从而减少书写轨迹数据的网络传输时间，提高效率，并在根据书写轨迹数据的轨迹点坐标将文本行的书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据时，可以只将书写轨迹数据中与历史书写轨迹数据不相同的内容(即修改的内容部分)与历史书写轨迹数据合并，从而减少数据处理量。
更进一步地，在得到合并轨迹数据后，处理器可将每行合并轨迹数据输入至文本识别模型，使得文本识别模型分别对合并轨迹数据进行识别，输出识别结果，并将识别结果返回至终端进行显示，从而用户可以得到识别结果。
此外，在触摸设备接收到用户输入的书写轨迹数据时，可对每个书写轨迹数据有独立编号，并且每次可对当前书写轨迹数据做一次记录点，如此，下次识别时可以只上传上次记录点之后新加的书写轨迹数据。处理器在获取到书写轨迹数据时，可以首先对轨迹点进行处理，其次根据书写轨迹数据的编号将结果和数据库中的历史记录合并保存，最后再通过文本识别模型进行识别并返回结果。
如此，可以完成对整篇书写轨迹数据的识别，提升了用户体验，并且，通过在书写轨迹数据不属于新文件时，与历史书写轨迹数据合并，可以有效地减少数据存储量。
请参阅图3，在某些实施方式中，在步骤01后，书写文字识别方法还包括：
06，在书写轨迹数据属于新文件的情况下，根据轨迹点坐标和书写时间信息进行文本行分割得到新文本行；
07，保存分行后文本行的书写轨迹数据；
08，利用文本识别模型对分别对每行书写轨迹数据进行识别得到识别结果。
请进一步参阅图2，在某些实施方式中，步骤06可以由分割模块120实现，步骤07可以由保存模块140实现，步骤08可以由识别模块150实现。或者说，分割模块120可以用于在轨迹数据属于新文件的情况下，根据轨迹点坐标和书写时间信息进行文本行分割得到新文本行，保存模块140可以用于保存分行后文本行的轨迹数据，识别模块150可以用于利用文本识别模型对分别对每行轨迹数据进行识别得到识别结果。
在某些实施方式中，处理器可以用于在轨迹数据属于新文件的情况下，根据轨迹点坐标和书写时间信息进行文本行分割得到新文本行，并保存分行后文本行的轨迹数据，以及利用文本识别模型对分别对每行轨迹数据进行识别得到识别结果。
可以理解地，书写轨迹数据属于新文件的情况下，说明书写轨迹数据中不存在与数据库中历史书写轨迹数据相同的内容，则书写轨迹数据可以在数据库中开辟一块空间保存书写轨迹数据的内容。
具体地，遍历根据数据库中保存的历史书写轨迹数据，从而对获取的书写轨迹数据进行判断，并确认书写轨迹数据中不存在数据库中历史书写轨迹数据相同的内容时，直接根据轨迹点坐标和书写时间信息对书写轨迹数据进行文本行分割，得到分行后文本行的书写轨迹数据，再将文本行的书写轨迹数据保存在数据库中，并利用文本识别模型对分别对每行书写轨迹数据进行识别得到识别结果，再将识别结果返回至终端设备进行显示，使得用户能够方便地获取到识别结果。
请结合图4，在某些实施方式中，步骤02包括子步骤：
021，根据书写轨迹数据的落笔状态和抬笔状态划分书写笔划；
022，根据书写时间信息确定各个书写笔划之间的书写间隔时间；
023，根据书写间隔时间对书写笔划进行分块得到第一文本块；
024，根据第一距离阈值对第一文本块进行分块得到第二文本块，第一距离阈值根据第一文本块确定；
025，根据第二距离阈值对第二文本块进行分块得到第三文本块，第二距离阈值根据第二文本块确定；
026，根据轨迹点坐标在字体高度方向上的重叠率合并第三文本块得到文本行。
请进一步参阅图2，在某些实施方式中，子步骤021-026可以由分割模块120实现。或者说，分割模块120可以用于根据书写轨迹数据的落笔状态和抬笔状态划分书写笔划，并根据书写时间信息确定各个书写笔划之间的书写间隔时间，以及根据书写间隔时间对书写笔划进行分块得到第一文本块，分割模块120还可以用于根据第一距离阈值对第一文本块进行分块得到第二文本块，第一距离阈值根据第一文本块确定，以及根据第二距离阈值对第二文本块进行分块得到第三文本块，第二距离阈值根据第二文本块确定，再根据轨迹点坐标在字体高度方向上的重叠率合并第三文本块得到文本行。
在某些实施方式中，处理器用于根据书写轨迹数据的落笔状态和抬笔状态划分书写笔划，并根据书写时间信息确定各个书写笔划之间的书写间隔时间，以及根据书写间隔时间对书写笔划进行分块得到第一文本块，处理器还可以用于根据第一距离阈值对第一文本块进行分块得到第二文本块，第一距离阈值根据第一文本块确定，以及根据第二距离阈值对第二文本块进行分块得到第三文本块，第二距离阈值根据第二文本块确定，再根据轨迹点坐标在字体高度方向上的重叠率合并第三文本块得到文本行。
请结合图5，具体地，根据每个提笔点的落笔和抬笔状态将轨迹点划分为笔划(stroke)，统计所有笔划之间的时间差，并根据使用场景不同，依据经验预先设置一个较长时间的书写间隔时间thr1(例如10秒)，进而根据书写间隔时间thr1将所有笔划进行分块处理，从而得到第一文本块stroke_block1。也即是，当两个字之间的时间间隔超过10秒，即认为不同的文本行，从而进行分块处理得到第一文本块stroke_block1。
进一步地，每个笔划取三个点(起点，中点，终点)，计算距离三个点之间的距离并相加，作为每个笔划的估计长度，再统计出所有笔划的平均长度，将平均长度的2.5倍作为第一距离阈值thr2。对第一文本块stroke_block1中的每块stroke_block1_i算其中后一笔的起点和前一笔终点的距离dis 1，当距离dis 1大于第一距离阈值thr2时，则分块处理，最终得到第二文本块stroke_block2。
更进一步地，考虑到大字和小字笔划长度的不同，因此分别计算每个第二文本块stroke_block2中笔划的平均长度，将平均长度的1.5倍作为第二距离阈值thr3。对第二文本块stroke_block2中的每块第二文本块stroke_block2_i算其中后一笔的起点和前一笔终点笔划的x轴距离dis_2，当距离dis_2大于第二距离阈值thr3时，则分块处理，最终得到第三文本块stroke_block3。
由于第三文本块stroke_block3中有概率将本是同一行的文本分开(如第三文本块stroke_block3中的第二行)，因此最后需要再对第三文本块stroke_block3进行合并。具体地，计算当前第三文本块stroke_block3_i+1和上一第三文本块stroke_block3_i的y坐标的重叠率，当其重叠率大于0.5时，则将两部分合并，以此类推。最终得到文本行。
请结合图6，在某些实施方式中，步骤03包括：
031，根据橡皮轨迹删除对应的历史书写轨迹数据后进行文本行分块得到历史书写文本块；
032，根据每行的中心点坐标和文本块顺序合并历史文本块和文本行得到合并轨迹数据。
在某些实施方式中，子步骤031和子步骤032可以由合并模块130实现，或者说，合并模块130可以用于根据橡皮轨迹删除对应的历史书写轨迹数据后进行文本行分块得到历史书写文本块，并根据每行的中心点坐标和文本块顺序合并历史文本块和文本行得到合并轨迹数据。
在某些实施方式中，处理器可用于根据橡皮轨迹删除对应的历史书写轨迹数据后进行文本行分块得到历史书写文本块，并根据每行的中心点坐标和文本块顺序合并历史文本块和文本行得到合并轨迹数据。
请结合图7，可以理解地，当用户获取到历史书写轨迹数据后，进行修改，擦除前几行中的文本并补充手写文字后，由于手写轨迹是按照时间顺序记录的，因此，通常，调用手写识别算法得到的结果中，补充手写文字的识别结果会出现在整个文档的最后。
请结合图8，因此，本申请通过对橡皮轨迹删除对应的历史书写轨迹后进行文本行分块，得到历史书写文本块，再根据每一行的中心点纵坐标判断历史书写文本块与文本行是否在同一行，以及根据中心点横坐标判断同一行文本块的先后顺序，将文本行和历史文本块合并得到合并轨迹数据。如此，后续通过文本识别模型对可以得到准确的识别结果。
请结合图9，在某些实施方式中，在步骤01前，书写文字识别方法还包括步骤：
001，建立深度学习模型；
002，获取训练轨迹数据，训练轨迹数据为用户输入每行文本对应的书写轨迹数据；
003，利用训练轨迹数据对深度学习模型进行训练，得到文本识别模型。
请进一步地结合图2，在某些实施方式中，书写文字识别装置10还包括构建模块160和训练模块170。
步骤001可以由构建模块160实现，步骤002可以由获取模块110实现，步骤003可以由训练模块170实现。或者说，构建模块160可以用于建立深度学习模型；获取模块110还可以用于获取训练轨迹数据，训练轨迹数据为用户输入每行文本对应的书写轨迹数据，训练模块170可以用于利用训练轨迹数据对深度学习模型进行训练，得到文本识别模型。
在某些实施方式中，处理器还用于建立深度学习模型，并获取训练轨迹数据，训练轨迹数据为用户输入每行文本对应的书写轨迹数据，以及利用训练轨迹数据对深度学习模型进行训练，得到文本识别模型。
在本实施方式中，可基于时间递归神经网络(Recursive Neural Network,RNN)建立所述深度学习模型，深度学习模型包括多层长短期记忆神经网络(Long Short-TermMemory，LSTM)。
本领域技术人员可以理解地，时间递归神经网络是一种时间循环神经网络，是具有树状阶层结构且网络节点按其连接顺序对输入信息进行递归的人工神经网络(Artificial Neural Network,ANN)，是深度学习(deep learning)算法之一。
长短期记忆神经网络是一种时间循环神经网络，是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据。
请结合图10，LSTM是由t时刻的输入词Xt，细胞状态Ct，临时细胞状态
Figure BDA0003240429120000101
隐层状态ht，遗忘门ft，记忆门it，输出门ot组成，LSTM的计算过程可以概括为，通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态ht，其中遗忘、记忆与输出由通过上个时刻的隐层状态ht-1和当前输入Xt计算出来的遗忘门ft，记忆门it，输出门ot来控制。
LSTM可以是双向长短期记忆神经网络(Bi-directional Long Short-TermMemory，BiLSTM)，BiLSTM是由前向LSTM与后向LSTM组合而成。
请参阅图11，在本实施方式中，深度学习模型由三个连续的BiLSTM和两个全连接层组合而成。其中，两个全连接层位于BiLSTM之后，全连接层用于对Bi-LSTM处理后的数据进行分类。三个BiLSTM分别包含256、256和512个计算单元，两个全连接层分别包含512和3816个神经元(计算节点)，其中，3816是最终的分类类别，包含汉字一级字库3755、英文字母26、***数字10和常用标点符号25。并且，在每个LSTM后，还使用了概率为0.5的Dropout层，即随机删除部分连接，从而减少模型过拟合，加速模型收敛。
当获取到用户输入每行文本对应的书写轨迹数据时，可将书写轨迹数据输入至深度学习模型中，对深度学习模型进行不断训练，从而得到文本识别模型。
本申请实施方式的终端设备，还包括有存储器，存储器存储有计算机程序，当计算机程序被处理器处理时，实现如上述任意一实施方式所述的书写文字识别方法。
本申请提供了一种包含计算机程序的非易失性计算机可读存储介质计算机程序被处理器执行时，使得处理器执行上述书写文字识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个合并模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种书写文字识别方法，其特征在于，包括：
获取书写轨迹数据，所述书写轨迹数据包括轨迹点坐标和对应的书写时间信息；
在所述书写轨迹数据不属于新文件的情况下，根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到文本行；
根据所述轨迹点坐标将所述文本行的所述书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据；
保存分行后的所述合并轨迹数据；和
利用文本识别模型对分别对每行所述合并轨迹数据进行识别得到识别结果。
2.根据权利要求1所述的书写文字识别方法，其特征在于，所述书写文字识别方法还包括：
在所述书写轨迹数据属于新文件的情况下，根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到新文本行；
保存分行后所述文本行的所述书写轨迹数据；
利用所述文本识别模型对分别对每行所述书写轨迹数据进行识别得到识别结果。
3.根据权利要求1所述的书写文字识别方法，其特征在于，所述根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到文本行，包括：
根据所述书写轨迹数据的落笔状态和抬笔状态划分书写笔划；
根据所述书写时间信息确定各个所述书写笔划之间的书写间隔时间；
根据所述书写间隔时间对所述书写笔划进行分块得到第一文本块；
根据第一距离阈值对所述第一文本块进行分块得到第二文本块，所述第一距离阈值根据所述第一文本块确定；
根据第二距离阈值对所述第二文本块进行分块得到第三文本块，所述第二距离阈值根据所述第二文本块确定；
根据所述轨迹点坐标在字体高度方向上的重叠率合并所述第三文本块得到所述文本行。
4.根据权利要求3所述的书写文字识别方法，其特征在于，所述根据所述轨迹点坐标将所述文本行的所述书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据，包括：
根据橡皮轨迹删除对应的历史书写轨迹数据后进行文本行分块得到历史书写文本块；
根据每行的中心点坐标和文本块顺序合并所述历史文本块和所述文本行得到所述合并轨迹数据。
5.根据权利要求1所述的书写文字识别方法，其特征在于，所述获取书写轨迹数据包括：
接收用户在终端调用手写识别服务上传的手写文件以获取所述书写轨迹数据。
6.根据权利要求5所述的书写文字识别方法，其特征在于，所述书写文字识别方法包括：
将所述识别结果返回至所述终端。
7.根据权利要求1所述的书写文字识别方法，其特征在于，所述书写文字识别方法还包括：
建立深度学习模型；
获取训练轨迹数据，所述训练轨迹数据为用户输入每行文本对应的所述书写轨迹数据；
利用所述训练轨迹数据对所述深度学习模型进行训练，得到所述文本识别模型。
8.根据权利要求7所述的书写文字识别方法，其特征在于，所述建立深度学习模型包括：
基于时间递归神经网络建立所述深度学习模型，所述深度学习模型包括多层长短期记忆神经网络。
9.一种书写文字识别装置，其特征在于，包括：
获取模块，用于获取书写轨迹数据，所述书写轨迹数据包括轨迹点坐标和对应的书写时间信息；
分割模块，用于在所述书写轨迹数据不属于新文件的情况下，根据所述轨迹点坐标和所述书写时间信息进行文本行分割得到文本行；
合并模块，用于根据所述轨迹点坐标将所述文本行的所述书写轨迹数据和对应的历史书写轨迹数据合并得到合并轨迹数据；
保存模块，用于保存分行后的所述合并轨迹数据；
识别模块，用于利用文本识别模型对分别对每行所述合并轨迹数据进行识别得到识别结果。
10.一种终端设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1-8任一项所述的书写文字识别方法。
11.一种包含计算机程序的非易失性计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-8中任一项所述书写文字识别方法。
CN202111016714.8A 2021-08-31 2021-08-31 书写文字识别方法、装置、终端设备和存储介质 Pending CN113657347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016714.8A CN113657347A (zh) 2021-08-31 2021-08-31 书写文字识别方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016714.8A CN113657347A (zh) 2021-08-31 2021-08-31 书写文字识别方法、装置、终端设备和存储介质

Publications (1)

Publication Number Publication Date
CN113657347A true CN113657347A (zh) 2021-11-16

Family

ID=78493367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016714.8A Pending CN113657347A (zh) 2021-08-31 2021-08-31 书写文字识别方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN113657347A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546175A (zh) * 2022-02-28 2022-05-27 长沙朗源电子科技有限公司 电子白板的文字绘制方法、***、电子白板和存储介质
CN117633276A (zh) * 2024-01-25 2024-03-01 江苏欧帝电子科技有限公司 一种书写轨迹录播方法、***及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546175A (zh) * 2022-02-28 2022-05-27 长沙朗源电子科技有限公司 电子白板的文字绘制方法、***、电子白板和存储介质
CN117633276A (zh) * 2024-01-25 2024-03-01 江苏欧帝电子科技有限公司 一种书写轨迹录播方法、***及终端
CN117633276B (zh) * 2024-01-25 2024-06-07 江苏欧帝电子科技有限公司 一种书写轨迹录播方法、***及终端

Similar Documents

Publication Publication Date Title
US9904847B2 (en) System for recognizing multiple object input and method and product for same
CN109344793A (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
CN111507330B (zh) 习题识别方法、装置、电子设备及存储介质
CN107273032A (zh) 信息排版方法、装置、设备及计算机存储介质
US11681409B2 (en) Systems and methods for augmented or mixed reality writing
CN113657347A (zh) 书写文字识别方法、装置、终端设备和存储介质
CN109726712A (zh) 文字识别方法、装置及存储介质、服务器
CN109685065A (zh) 试卷内容自动分类的版面分析方法、***
CN109740135A (zh) 图表生成方法及装置、电子设备和存储介质
CN112486338B (zh) 医疗信息处理方法、装置及电子设备
CN111932418B (zh) 一种学生学习情况识别方法、***、教学终端及存储介质
CN112507090A (zh) 用于输出信息的方法、装置、设备和存储介质
CN113673432A (zh) 手写识别方法、触摸显示设备、计算机设备及存储介质
CN114730241A (zh) 触摸式用户界面输入中的手势笔画识别
US20150139547A1 (en) Feature calculation device and method and computer program product
CN110874570A (zh) 面部识别方法、装置、设备及计算机可读存储介质
CN113011132B (zh) 竖排文字识别方法、装置、计算机设备和存储介质
CN111783869B (zh) 训练数据筛选方法、装置、电子设备及存储介质
CN114707017A (zh) 视觉问答方法、装置、电子设备和存储介质
CN114677767A (zh) 公式生成方法、装置、计算设备及计算机存储介质
CN112836510A (zh) 一种产品图片文字识别方法和***
Munggaran et al. Handwritten pattern recognition using Kohonen neural network based on pixel character
CN111783781A (zh) 基于产品协议字符识别的恶意条款识别方法、装置、设备
Pagare et al. Associative memory model for distorted on-line Devanagari character recognition
KR101667910B1 (ko) 디지털 인공 필기 데이터를 생성하는 방법, 장치 및 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination