CN114120337B - 实时的纸张书写笔迹恢复方法、***、设备和存储介质 - Google Patents

实时的纸张书写笔迹恢复方法、***、设备和存储介质 Download PDF

Info

Publication number
CN114120337B
CN114120337B CN202111203793.3A CN202111203793A CN114120337B CN 114120337 B CN114120337 B CN 114120337B CN 202111203793 A CN202111203793 A CN 202111203793A CN 114120337 B CN114120337 B CN 114120337B
Authority
CN
China
Prior art keywords
optical flow
sequence
data
motion vector
flow vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111203793.3A
Other languages
English (en)
Other versions
CN114120337A (zh
Inventor
薛洋
王弘毅
金连文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111203793.3A priority Critical patent/CN114120337B/zh
Publication of CN114120337A publication Critical patent/CN114120337A/zh
Application granted granted Critical
Publication of CN114120337B publication Critical patent/CN114120337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种实时的纸张书写笔迹恢复方法、***、计算机设备和存储介质，所述方法包括：从书写装置同步采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；对图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；根据光流矢量图序列，得到初始笔迹运动矢量序列；根据惯性信号数据计算书写装置的姿态角数据，使用姿态角数据对初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；根据笔尖压力传感数据，对最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。通过本发明提供的方法，在普通纸张上书写的同时，能够在电子设备上恢复出书写的内容，且笔迹恢复所用数据的采集成本低。

Description

实时的纸张书写笔迹恢复方法、***、设备和存储介质
技术领域
本发明涉及计算机视觉和人工智能技术领域，具体涉及一种实时的纸张书写笔迹恢复方法、***、计算机设备和存储介质。
背景技术
目前，我们的生活正逐渐进入无纸化时代，人们的生活和学习已经离不开电子设备。但在很多领域和应用场景，比如教育、会议纪要等，传统纸上书写仍然占有很大的比重。尤其地，在一些应用场景，需要实时地将纸上书写的内容同步到电子设备上，最好还能保留原有的手写笔迹风格。
现有技术中，已经出现了通过电子笔在特殊纸上书写，并同步到电子设备上的方法，其中一种主流方法需要提前打印好带编码点阵的特殊纸张，笔迹同步时由高速摄像机拍摄纸面并解算笔尖的实时坐标，再同步到电子设备中。
以上方法虽然可以实现笔迹的实时同步，但需要提前打印带编码点阵的特殊纸张，该类纸张用户难以自制，泛用性远不如普通纸张，且该种方法所用高速摄像机的成本较高。为改善用户体验，需要一种更低成本，且能够在普通纸张上书写并在电子设备上同步手写笔迹的方法。
发明内容
鉴于此，本发明提供了一种实时的纸张书写笔迹恢复方法、***、计算机设备和存储介质。
本发明的第一个目的在于提供一种实时的纸张书写笔迹恢复方法。
本发明的第二个目的在于提供一种实时的纸张书写笔迹恢复***。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种实时的纸张书写笔迹恢复方法，所述方法包括：
从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
根据所述光流矢量图序列，得到初始笔迹运动矢量序列；
根据所述惯性信号数据计算出书写装置的姿态角数据，使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；
根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。
进一步的，所述根据所述光流矢量图序列，得到初始笔迹运动矢量序列，具体包括：
根据单张所述光流矢量图，得到初始笔迹运动矢量，包括：
对所述光流矢量图进行池化操作，得到低分辨率光流矢量图；
对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合；
对所述筛选后的光流矢量集合进行平均计算，得到初始笔迹运动矢量；
根据所述光流矢量图序列，得到所有光流矢量图对应的初始笔迹运动矢量；
对所有光流矢量图对应的初始笔迹运动矢量按时间顺序排列，得到初始笔迹运动矢量序列。
进一步的，所述对所述光流矢量图进行池化操作，得到低分辨率光流矢量图，具体为：
对所述光流矢量图先进行平均池化，再进行最大池化，以降低分辨率和去除噪声，从而得到低分辨率光流矢量图；
所述对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合，具体包括：
使用聚类算法对所述低分辨率光流矢量图中所有光流矢量进行聚类，取以各聚类中心为圆心、半径为α之内的光流矢量，以滤除光流矢量图中无意义的光流矢量，得到筛选后的光流矢量集合；
其中，各聚类中心的α不同，α的取值根据能够包括本聚类中大部分的光流矢量为标准确定。
进一步的，所述使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列，具体包括：
对书写装置旋转产生的偏差，使用所述姿态角数据中滚转角的变化对所述初始笔迹运动矢量序列进行修正，得到修正笔迹运动矢量序列；
对书写装置倾斜产生的误差，使用所述姿态角数据中航向角与俯仰角的变化对所述修正笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列。
进一步的，设所述图像数据中有n张图像；
对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列，具体包括：
根据图像序列中按时间顺序排列的第i张图像和第i+1张图像，计算得到光流矢量图i；其中，i＝1,2…n-1；
由n-1张光流矢量图i构成了光流矢量图序列。
进一步的，所述计算密集光流，采用非深度学习密集光流算法或深度学习密集光流算法。
进一步的，所述从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据，具体包括：
通过摄像头拍摄笔尖附近的图像序列，获得图像数据；
通过惯性传感器采集惯性信号序列，获得惯性信号数据；
通过压力传感器采集笔尖压力传感信号序列，获得笔尖压力传感数据。
本发明的第二个目的可以通过采取如下技术方案达到：
一种实时的纸张书写笔迹恢复***，所述***包括：
数据采集模块，用于采集笔迹恢复所需的数据，包括从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
数据传输模块，用于将采集的数据发送至后续模块；数据传输时，同一时刻传输数据采集模块采集到的所有种类的时间同步数据；
光流计算模块，用于对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
笔迹计算及修正模块，用于根据所述光流矢量图序列计算初始笔迹运动矢量序列；根据惯性信号数据修正所述初始笔迹运动矢量序列，得到最终笔迹运动矢量序列；再根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的纸张书写笔迹恢复方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的纸张书写笔迹恢复方法。
本发明相对于现有技术具有如下的有益效果：
本发明不需要使用特殊纸张，仅使用普通的传统纸张书写，就可以在电子设备上恢复出纸上书写的内容，且笔迹恢复所用数据的采集成本较低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的实时的纸张书写笔迹恢复方法的流程示意图。
图2为本发明实施例1的初始笔迹运动矢量的计算流程图。
图3为本发明实施例1的修正笔迹运动矢量的计算流程图。
图4为本发明实施例2的实时的纸张书写笔迹恢复***的结构框图。
图5为本发明实施例2的实时的纸张书写笔迹恢复***中一个用例的示意图。
图6为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1：
如图1所示，本实施例提供了一种实时的纸张书写笔迹恢复方法，包括以下步骤：
S101、从书写装置同步采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据。
通过摄像头拍摄笔尖附近的图像序列，获得图像数据；通过惯性传感器采集惯性信号序列，获得惯性信号数据；通过压力传感器采集笔尖压力传感信号序列，获得笔尖压力传感数据。三种数据的采集是同步进行的。
本实施例中，采集的图像为在笔尖附近的区域，其原因为光流法获取光流需要图像中有一定纹理信息，而笔尖周围图像信息较丰富。摄像范围不严格限定，应以实际需要且能得到清晰的笔尖附近图像为准。图像的采集速率为24帧/秒。
采集的惯性信号数据不限于三轴、六轴或九轴，实际使用时，应以能够计算出采集装置姿态角为准。
本实施例中，采集的惯性信号数据为九轴惯性信号。
S102、对图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列。
按时间顺序对图像序列两两计算光流矢量图，对得到的光流矢量图按时间排列，得到光流矢量图序列。例如对图像数据中的第一张图像和第二张图像计算得到光流矢量图1，对第二张图像和第三张图像计算得到光流矢量图2，…，对第i张图像和第i+1张图像计算得到光流矢量图i，由此，光流矢量图1、光流矢量图2…和光流矢量图i构成了光流矢量图序列。
光流计算采用密集光流算法，此处的算法可采用非深度学习密集光流算法或深度学习密集光流算法。
本实施例中，采用非深度学习密集光流算法中的密集反向搜索(DIS)光流算法进行计算，该种方法速度快，效果好，无需GPU加速，可节省计算量。
S103、根据所述光流矢量图序列，得到初始笔迹运动矢量序列。
(1)对单张光流矢量图进行如下操作，得到初始笔迹运动矢量。
进一步的，如图2所示，具体包括：
(1-1)对光流矢量图进行池化操作以降低分辨率和去噪，得到低分辨率光流矢量图。
池化操作的目的是为了在尽可能小地影响光流矢量图精度的情况下，降低光流矢量图的分辨率，降低后续步骤所需计算量，同时还有去噪的效果。
本实施例中，池化操作为对光流矢量图先进行核为4的平均池化，再进行核为2的最大池化。
(1-2)使用聚类算法对低分辨率光流矢量图中所有光流矢量进行聚类，仅取以各聚类中心为圆心，半径α之内的光流矢量，得到筛选后的光流矢量集合。
此操作目的是为了滤除光流矢量图中，因算法精度问题计算结果偏差较大的离群矢量，以及空白部分图像计算出的无意义光流矢量。
聚类算法中，聚类中心个数的选取没有严格限定，以能够反映光流矢量图中矢量分布情况为准。
各聚类中心的α不同，应根据能够包括本聚类中大部分的光流矢量为标准确定。
本实施例中，α的选定根据能够包括本聚类中90％的光流矢量为标准。
(1-3)对筛选后的光流矢量集合进行平均操作，得到初始笔迹运动矢量。
平均操作的目的是为了计算出一个确定的笔迹运动方向，该运动方向还不是笔迹的真实运动方向，其运动方向与笔迹真实运动方向完全相反且不精确，需要经过后续步骤的修正。
(2)对光流矢量图序列中的所有光流矢量图，进行上述操作，分别得到每张光流矢量图对应的初始笔迹运动矢量；将所有初始笔迹运动矢量按原时间顺序排列，得到初始笔迹运动矢量序列。
S104、根据惯性信号数据计算出书写装置的姿态角数据，使用姿态角数据对初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列。
因书写装置旋转和倾斜产生的误差，使用姿态角数据对初始笔迹运动矢量进行修正，得到修正笔迹运动矢量。
进一步的，如图3所示，步骤S104包括：
(1)对书写装置旋转产生的偏差，使用姿态角数据中滚转角的变化对初始笔迹运动矢量序列进行修正，得到修正笔迹运动矢量序列。
在用户书写过程中，常常会有将笔转动的过程，而步骤S102中光流的计算是无法将摄像机转动预估在内，只会根据前后帧图像的变动计算，若用户在书写时转动笔的幅度稍大，就会造成计算的光流不能真实反映出纸上书写的轨迹，此时就需要利用书写装置的姿态角变化对计算出的光流矢量进行修正，以得到正确的笔迹运动矢量。
本实施例中，采用滚转角变化对书写装置转动带来的偏差进行修正。
使用姿态角修正因书写装置旋转产生的误差可以由公式表示，设初始笔迹运动矢量可分解为x1、y1两个互相垂直的矢量，设滚转角变动为θ，那么修正笔迹运动矢量x2，y2可以由下列式子计算：
首先计算出原角度：
那么：
(2)对书写装置倾斜产生的误差，使用姿态角数据中的航向角与俯仰角的变化，对修正笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列。
书写装置除了因旋转会造成笔迹运动矢量方向误差，还会因其倾斜产生笔迹运动矢量的大小误差。
在修正笔迹运动矢量序列中，每个修正笔迹运动矢量是按最初的采样时间(即最开始的图像序列采样时间)顺序排列的，在每一个修正笔迹运动矢量的采样时间上，对应时刻的俯仰角和航向角可以描述笔的倾斜情况，根据笔的倾斜情况计算出一个针对修正笔迹运动矢量大小的修正系数，修正笔迹运动矢量乘以该系数，再取反就可以得到最终笔迹运动矢量。
S105、根据笔尖压力传感数据，对最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图4所示，本实施例提供了一种实时的纸张书写笔迹恢复***，包括数据采集模块401、数据传输模块402、光流计算模块403和笔迹计算及修正模块404，其中：
数据采集模块401，用于采集笔迹恢复所需的数据，包括摄像头拍摄的笔尖附近图像序列、惯性传感器采集的惯性信号序列和压力传感器采集的笔尖压力传感数据；其中，三种数据的采集应是同步的。
数据传输模块402，用于将采集的数据发送至后续模块。传输数据时数据传输模块可以以任何合适的方式将数据发送至后续模块。数据传输时，同一时刻应传输采集到的所有种类的时间同步数据。
对于该过程，专业技术人员可由已公开的技术实现，本方案不再详细描述。
光流计算模块403，用于对图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图。
本实施例采用DIS密集光流算法进行计算。
笔迹计算及修正模块404，用于根据光流矢量图序列计算初始笔迹运动矢量序列；结合惯性信号数据修正初始笔迹运动矢量序列，形成最终笔迹运动矢量序列；最后根据最终笔迹运动矢量序列结合笔尖压力传感数据，形成最终笔迹。
如图5所示，为本实施例所示***的一个现实用例，包括三个模块，分别为数据采集模块、数据传输模块和中央计算模块，其中：
数据采集模块包括惯性传感器3、压力传感器2和摄像头4；
数据传输模块为WIFI传输模块1；
中央计算模块5包括光流计算模块403和笔迹计算及修正模块404。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的***仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图6所示，其通过***总线601连接的处理器602、存储器、输入装置603、显示器604和网络接口605，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质606和内存储器607，该非易失性存储介质606存储有操作***、计算机程序和数据库，该内存储器607为非易失性存储介质中的操作***和计算机程序的运行提供环境，处理器602执行存储器存储的计算机程序时，实现上述实施例1的纸张书写笔迹恢复方法，如下：
从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
根据所述光流矢量图序列，得到初始笔迹运动矢量序列；
根据所述惯性信号数据计算出书写装置的姿态角数据，使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；
根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的纸张书写笔迹恢复方法，如下：
从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
根据所述光流矢量图序列，得到初始笔迹运动矢量序列；
根据所述惯性信号数据计算出书写装置的姿态角数据，使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；
根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明从书写装置同步采集得到笔尖附近的图像序列、惯性信号序列和笔尖压力传感序列；根据图像序列，得到初始笔迹运动矢量序列，其中：通过采用DIS密集光流算法进行计算可节省计算量，通过池化操作以降低分辨率和去除噪声，通过使用聚类算法以滤除无意义的光流矢量，通过平均操作计算出确定的笔迹运动方向；根据惯性信号数据对初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量，解决了因书写装置旋转和倾斜产生的误差；最后根据笔尖压力传感数据，对最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹。本发明仅使用普通的传统纸张书写，就可以在电子设备上恢复出纸上书写的内容，且笔迹恢复所用数据的采集成本较低。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种实时的纸张书写笔迹恢复方法，其特征在于，所述方法包括：
从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
根据所述光流矢量图序列，得到初始笔迹运动矢量序列；
根据所述惯性信号数据计算出书写装置的姿态角数据，使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列；
根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹；
其中，所述根据所述光流矢量图序列，得到初始笔迹运动矢量序列，具体包括：
根据单张所述光流矢量图，得到初始笔迹运动矢量；
根据所述光流矢量图序列，得到所有光流矢量图对应的初始笔迹运动矢量；
对所有光流矢量图对应的初始笔迹运动矢量按时间顺序排列，得到初始笔迹运动矢量序列；
其中，所述根据单张所述光流矢量图，得到初始笔迹运动矢量，包括：
对所述光流矢量图进行池化操作，得到低分辨率光流矢量图；
对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合；
对所述筛选后的光流矢量集合进行平均计算，得到初始笔迹运动矢量。
2.根据权利要求1所述的纸张书写笔迹恢复方法，其特征在于，所述对所述光流矢量图进行池化操作，得到低分辨率光流矢量图，具体为：
对所述光流矢量图先进行平均池化，再进行最大池化，以降低分辨率和去除噪声，从而得到低分辨率光流矢量图；
所述对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合，具体包括：
使用聚类算法对所述低分辨率光流矢量图中所有光流矢量进行聚类，取以各聚类中心为圆心、半径为α之内的光流矢量，以滤除光流矢量图中无意义的光流矢量，得到筛选后的光流矢量集合；
其中，各聚类中心的α不同，α的取值根据能够包括本聚类中大部分的光流矢量为标准确定。
3.根据权利要求1所述的纸张书写笔迹恢复方法，其特征在于，所述使用所述姿态角数据对所述初始笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列，具体包括：
对书写装置旋转产生的偏差，使用所述姿态角数据中滚转角的变化对所述初始笔迹运动矢量序列进行修正，得到修正笔迹运动矢量序列；
对书写装置倾斜产生的误差，使用所述姿态角数据中航向角与俯仰角的变化对所述修正笔迹运动矢量序列进行修正，得到最终笔迹运动矢量序列。
4.根据权利要求1所述的纸张书写笔迹恢复方法，其特征在于，设所述图像数据中有n张图像；
对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列，具体包括：
根据图像序列中按时间顺序排列的第i张图像和第i+1张图像，计算得到光流矢量图i；其中，i=1,2…n-1；
由n-1张光流矢量图i构成了光流矢量图序列。
5.根据权利要求1所述的纸张书写笔迹恢复方法，其特征在于，所述计算密集光流，采用非深度学习密集光流算法或深度学习密集光流算法。
6.根据权利要求1-5任一项所述的纸张书写笔迹恢复方法，其特征在于，所述从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据，具体包括：
通过摄像头拍摄笔尖附近的图像序列，获得图像数据；
通过惯性传感器采集惯性信号序列，获得惯性信号数据；
通过压力传感器采集笔尖压力传感信号序列，获得笔尖压力传感数据。
7.一种实时的纸张书写笔迹恢复***，其特征在于，所述***包括：
数据采集模块，用于采集笔迹恢复所需的数据，包括从书写装置采集得到笔尖附近的图像数据、惯性信号数据和笔尖压力传感数据；其中，所述图像数据、惯性信号数据和笔尖压力传感数据的采集同步进行；
数据传输模块，用于将采集的数据发送至后续模块；数据传输时，同一时刻传输数据采集模块采集到的所有种类的时间同步数据；
光流计算模块，用于对所述图像数据中的图像序列按时间顺序计算相邻两张图像的密集光流，得到光流矢量图序列；
笔迹计算及修正模块，用于根据所述光流矢量图序列计算初始笔迹运动矢量序列；根据惯性信号数据修正所述初始笔迹运动矢量序列，得到最终笔迹运动矢量序列；再根据所述笔尖压力传感数据，对所述最终笔迹运动矢量序列的笔画粗细进行调整，得到最终笔迹；
其中，所述根据所述光流矢量图序列计算初始笔迹运动矢量序列，包括：
根据单张所述光流矢量图，得到初始笔迹运动矢量；
根据所述光流矢量图序列，得到所有光流矢量图对应的初始笔迹运动矢量；
对所有光流矢量图对应的初始笔迹运动矢量按时间顺序排列，得到初始笔迹运动矢量序列；
其中，所述根据单张所述光流矢量图，得到初始笔迹运动矢量，包括：
对所述光流矢量图进行池化操作，得到低分辨率光流矢量图；
对所述低分辨率光流矢量图中所有光流矢量进行聚类，得到筛选后的光流矢量集合；
对所述筛选后的光流矢量集合进行平均计算，得到初始笔迹运动矢量。
8.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-6任一项所述的纸张书写笔迹恢复方法。
9.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-6任一项所述的纸张书写笔迹恢复方法。
CN202111203793.3A 2021-10-15 2021-10-15 实时的纸张书写笔迹恢复方法、***、设备和存储介质 Active CN114120337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111203793.3A CN114120337B (zh) 2021-10-15 2021-10-15 实时的纸张书写笔迹恢复方法、***、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111203793.3A CN114120337B (zh) 2021-10-15 2021-10-15 实时的纸张书写笔迹恢复方法、***、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114120337A CN114120337A (zh) 2022-03-01
CN114120337B true CN114120337B (zh) 2024-04-09

Family

ID=80375686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111203793.3A Active CN114120337B (zh) 2021-10-15 2021-10-15 实时的纸张书写笔迹恢复方法、***、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114120337B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909022A (zh) * 2017-11-10 2018-04-13 广州视睿电子科技有限公司 一种视频处理方法、装置、终端设备和存储介质
US10248652B1 (en) * 2016-12-09 2019-04-02 Google Llc Visual writing aid tool for a mobile writing device
CN110188669A (zh) * 2019-05-29 2019-08-30 华南理工大学 一种基于注意力机制的空中手写字符轨迹恢复方法
CN210052132U (zh) * 2019-07-03 2020-02-11 科大讯飞华南人工智能研究院（广州）有限公司 一种触控笔及屏幕书写***
CN112487871A (zh) * 2020-11-10 2021-03-12 深圳市鹰硕教育服务有限公司 笔迹数据处理方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248652B1 (en) * 2016-12-09 2019-04-02 Google Llc Visual writing aid tool for a mobile writing device
CN107909022A (zh) * 2017-11-10 2018-04-13 广州视睿电子科技有限公司 一种视频处理方法、装置、终端设备和存储介质
CN110188669A (zh) * 2019-05-29 2019-08-30 华南理工大学 一种基于注意力机制的空中手写字符轨迹恢复方法
CN210052132U (zh) * 2019-07-03 2020-02-11 科大讯飞华南人工智能研究院（广州）有限公司 一种触控笔及屏幕书写***
CN112487871A (zh) * 2020-11-10 2021-03-12 深圳市鹰硕教育服务有限公司 笔迹数据处理方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于生物启发特征的笑脸识别;何聪等;《第十五届全国图象图形学学术会议论文集》;20101210;第232页至第236页 *

Also Published As

Publication number Publication date
CN114120337A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN109214282B (zh) 一种基于神经网络的三维手势关键点检测方法和***
US20200302621A1 (en) Method for three-dimensional human pose estimation
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN109166149A (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与***
CN108921926A (zh) 一种基于单张图像的端到端三维人脸重建方法
CN112733797B (zh) 人脸图像的视线矫正方法、装置、设备及存储介质
CN112733795A (zh) 人脸图像的视线矫正方法、装置、设备及存储介质
CN111882602B (zh) 基于orb特征点和gms匹配过滤器的视觉里程计实现方法
CN108345821A (zh) 面部追踪方法及设备
CN108073909A (zh) 合成模糊人脸图像的方法和装置、计算机装置及存储介质
CN113177432A (zh) 基于多尺度轻量化网络的头部姿态估计方法、***、设备及介质
CN111507184B (zh) 基于并联空洞卷积和身体结构约束的人体姿态检测方法
CN113724326A (zh) 一种自主空中加油场景下锥套目标的单目视觉位姿解算方法
CN112101247A (zh) 一种人脸姿态估计方法、装置、设备及存储介质
CN111595332A (zh) 一种融合惯性技术与视觉建模的全环境定位方法
CN113350771B (zh) 一种运动员动态姿态识别方法、装置、***及存储介质
CN112907633B (zh) 动态特征点识别方法及其应用
CN114120337B (zh) 实时的纸张书写笔迹恢复方法、***、设备和存储介质
CN109785428A (zh) 一种基于多态约束卡尔曼滤波的手持式三维重建方法
CN108921896A (zh) 一种融合点线特征的下视视觉罗盘
CN117115200A (zh) 用于致密光学流的阶层式数据组织
CN110874569B (zh) 一种基于视觉惯性融合的无人机状态参数初始化方法
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
CN113673494B (zh) 人体姿态标准运动行为匹配方法及***
CN115018962A (zh) 一种基于虚拟人物模型的人体运动姿态数据集生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant