CN108492870B

CN108492870B - 基于数位笔的画钟测试检测方法及***

Info

Publication number: CN108492870B
Application number: CN201710100530.7A
Authority: CN
Inventors: 田丰; 黄进; 王宏安
Original assignee: Institute of Software of CAS
Current assignee: Institute of Software of CAS
Priority date: 2017-02-23
Filing date: 2017-02-23
Publication date: 2022-01-18
Anticipated expiration: 2037-02-23
Also published as: CN108492870A

Abstract

本发明提供一种基于数位笔的画钟测试检测方法，步骤包括：1)采集用户画钟测试的笔迹数据；2)识别笔迹数据的轮廓笔画、指针笔画及数字笔画，提取笔画特征；3)根据笔画特征，对轮廓笔画、指针笔画及数字笔画进行检测，实现画钟测试。本发明还提供一种基于数位笔的画钟测试检测***，包括：一数位笔，用以绘制图形；一信息采集设备，连接上述数位笔，包括一液晶数位屏、一数据采集应用和一数据分析应用，通过液晶显示屏输入并记录数位笔的笔迹数据，通过数据采集应用采集笔迹数据，并通过数据分析应用识别笔迹数据的笔画特征并进行打分。

Description

基于数位笔的画钟测试检测方法及***

技术领域

本发明属于数字医疗领域，具体涉及一种基于数位笔轨迹的画钟测试(CDT)的检测方法及***。

背景技术

科技的革新对远程医疗和护理领域的进步起着重要作用。尤其在家庭护理方面，已经有技术可以对一些慢性疾病进行监测和控制，这有效地降低了医疗监护的成本(参考文献：Kayyali,Basel,Zeb Kimmel,and Steve van Kuiken."Spurring the market forhigh-tech home health care."McKinsey Quarterly September(2011).)。家庭医疗护理技术可以使得人们更为主动地关心自身的健康状况(参考文献：Horwitz,C.M.,et al."Ishome health technology adequate for proactive self-care？."Methods InfMed 47.1(2008):58-62.)。比如人们可以在家自己使用电子血压计检测自身的血压情况以防止脑卒中的发生。患有糖尿病的人也可以在家做一个简单的手指点刺实验来检测自身的血糖水平。

随着老龄化人口的迅速增长，认知功能障碍如痴呆等正在成为一种常见的疾病(参考文献：Esther Landhuis"Prevalence ofDementia,AD,in China EclipsesPredictions"Alzforum,14Jun 2013,URL:http://www.alzforum.org/news/research-news/prevalence-dementia-ad-china-eclipses-pr edictions)，与其他一些生理上有明显特征的疾病不同，认知障碍的早期侦测是比较困难的。老人和他们的家人会将痴呆的一些早期信号如记忆力下降视作是年龄增大的正常影响(参考文献：R.E.Powers,J.W.Ashford and S.Peschin,Memory Matters,Alzheimer’s Foundation of America,2008.)。病人对疾病认知的偏差和匮乏是识别早期痴呆的主要障碍。并且保健医生大部分都不愿意在自己的办公室里面实施痴呆的检测手段(参考文献：P.Iracleous,J.X.Nie,C.S.Tracy,R.Moineddin,Z.Ismail,K.I.Shulman and R.E.Upshur,Primary carephysicians’attitudes towards cognitive screening:Findings from a nationalpostal survey,International Journal ofGeriatric Psychiatry 25(1)(2010),23–29.)。

医学上有多种检测认知功能的手段，其中绘图是一个神经心理学家用来了解他们的患者的基本信息来源(参考文献：SMITHAD.On the Use ofDrawing Tasks inNeuropsychological Assessment[J].American PsychologicalAssociation,2009,23)。莱扎克(Lexak.M.D.)认为，绘制任务在神经心理学中处于核心地位。认知功能与手功能的检查中都有绘图这一要求，所以两者结合可以节省检查时间。临床中认知功能和运动功能的评价(尤其手功能的评价)往往相互影响，单一分析任一功能不利于对临床总体症状的客观认识。

画钟测试是一项常用的、易操作的脑神经***检测工具，这个测试要求被测试的人在纸上独立画出一个钟，并且按照要求标出指定的时间。画钟测试实施简单，但是完成它需要诸多认知功能的参与。同时该测试与文化相关性较小，接受测试的人无须必要的文化水平，只需要能够听懂简单的指示语，就可以画出自己认为正确的钟完成测试。

然而神经***检查目前的做法仍然是以十年前的方式操作，患者被要求用笔在一个给定的纸张上进行画钟测试，需要人工监视并进行分析，耗费人力、精力，判断速度慢，而且判断具有很强的主观性，不同病例结果可能会有较大出入，误差较大。

信息技术的迅猛发展促进了神经***预防和诊断技术的进步。新型的交互技术帮助人们获取了传统方法所无法得到的信息，并且将模糊的定性数据转化为数字化的定量数据。数字化输入设备提供了一个无可替代的绘制输入方式，它可以自动收集在二维X-Y平面内的精确的笔迹数据，能有效量化认知与手部运动功能数据，提高疾病信息判断的综合性和客观性。本发明为此提供了一种解决方法。

发明内容

本发明的目的在于提供一种基于数位笔的画钟测试检测方法及***，在画钟测试时采集数位笔的笔迹数据，能有效量化认知与手部运动功能数据，提高疾病信息判断的综合性和客观性。

为解决上述技术问题，本发明的技术方案如下：

一种基于数位笔的画钟测试检测方法，步骤包括：

1)采集用户画钟测试的笔迹数据；

2)识别笔迹数据的轮廓笔画、指针笔画及数字笔画，提取笔画特征；

3)根据笔画特征，对轮廓笔画、指针笔画及数字笔画进行检测，实现画钟测试。

进一步地，采用RandomForest分类器进行笔画识别。

进一步地，在识别前对笔迹数据进行预处理，包括：

1)对笔迹数据进行重采样，使得采样点之间的距离均等于T；

2)对笔迹数据进行平滑处理，减少笔画抖动的程度。

进一步地，笔画识别的方法为：

1)在总笔画集合S1中识别轮廓笔画，得到轮廓笔画集合O，寻找轮廓笔画的冗余笔画集合RS1，在S1中去除掉笔画集合O及RS1，得到笔画集合S2，即S2＝S1-(O+RS1)；

2)在笔画集合S2中识别指针笔画，得到指针笔画集合H，寻找指针笔画的冗余笔画集合RS2，在S2中去除掉笔画集合H及RS2，得到笔画集合S3，即S3＝S2-(H+RS2)；

3)在笔画集合S3中识别数字笔画。

进一步地，采用北京协和医院的画钟打分机制对轮廓笔画、指针笔画及数字笔画进行检测，该打分机制总分3分，其中轮廓笔画、指针笔画、数字笔画各占1分。

进一步地，轮廓笔画的笔画特征包括：1)是否存在轮廓笔画；2)轮廓笔画是否闭合；3)笔画数量N1；4)轮廓笔画闭包的高度H与宽度W的比率R1；5)轮廓笔画长度L与轮廓笔画闭包的内切圆周长P的比率R2。

进一步地，指针笔画的笔画特征包括：1)时针笔画与分针笔画是否相交；2)时针笔画长度HL与分针笔画长度ML的比率R3；3)时针笔画所在的象限Quadrant1；4)分针笔画所在的象限Quadrant2。

进一步地，数字笔画的笔画特征包括：正确的数字数量N2。

进一步地，采用ShortStraw方法对指针笔画进行分割，获得时针笔画和分针笔画。

进一步地，通过K-means算法将数字笔画按照所属数字的不同进行聚合。

一种基于数位笔的画钟测试检测***，包括：

一数位笔，用以绘制图形；

一信息采集设备，连接上述数位笔，包括一液晶数位屏、一数据采集应用和一数据分析应用，通过液晶显示屏输入并记录数位笔的笔迹数据，通过数据采集应用采集笔迹数据，并通过数据分析应用识别笔迹数据的笔画特征并进行打分。

进一步地，信息采集设备还用以显示绘制任务，任务包括：绘制钟的轮廓、绘制时间数字、绘制指针。

进一步地，使用Microsoft Tablet PC Platform SDK 1.7作为数字的笔画识别引擎。

本发明的有益效果是：与现有技术相比，本发明使用数位笔及信息采集设备获得精确的笔迹数据，可提高画钟测试的数据检测精确度。通过数据分析应用及识别算法和打分机制，可实现画钟测试的笔迹数据分析和诊断的自动化，减少了传统画钟测试所需要的时间和人力。

附图说明

图1为本发明的画钟测试的笔迹数据采集方法示意图。

图2为本发明的画钟测试检测方法流程图。

图3为点集闭包示意图。

图4为用户画钟测试的笔迹图。

图5为ShortStraw算法的效果示意图。

图6为数字识别算法的效果示意图。

具体实施方式

为使本发明的目的、特征和优点能更明显易懂，下文通过具体实施例，并结合附图，做详细的说明。

本实施例提供一种基于数位笔的画钟测试检测方法及***，在画钟测试时采集数位笔的笔迹数据，能有效量化认知与手部运动功能数据，提高疾病信息判断的综合性和客观性。采集数位笔的笔迹数据，结合笔迹识别算法进行笔画特征提取，建立起基于内容理解的CDT数据模型，为认知-运动功能评价方法建立基础，如图1所示。

本实施例操作流程如图2所示，具体如下：

一、使用数位笔在液晶数位屏上画钟，采集笔迹的原始数据。

1.用户打开数据采集应用；

2.用户选择开始后，在信息采集设备上显示用户的绘制任务：具体为“绘制钟的轮廓”“在轮廓上标上表示时间的数字”“设置指针使钟的时间显示为11：10”；

3.用户在液晶数位屏上进行画钟，期间会记录用户笔迹数据，该笔迹数据为X-Y坐标系的二维向量(X，Y)，如图4所示。

在本实施例中，数位笔使用的是Wacom KP-701E；液晶数位屏使用的是Wacom13HD，其屏幕大小为13.0寸，分辨率为1280×800，操作***为Winodws 8，但是并不局限于该设备，可以使用能够采集同等信息的其他设备。

二、对原始数据进行预处理：

一)对原始数据进行重采样，算法如下：

1.首先找到原始采样点的闭包矩形，并计算该矩形的对角线长度BbDiagonal。

其中，令X_max为原始采样点集合Points中X的最大值，X_min为最小值，Y_max为原始采样点集合Points中Y的最大值，Y_min为最小值，则原始采样点的闭包矩形为由点(X_min,Y_min)和(X_max,Y_max)作为对角顶点构成的矩形，见附图3。

其中对角线长度BbDiagonal可以由以下公式得到：

2.初始化采样点距离D为0，将第一个原始采样点Point₀加入到重采样点集合RPoints中。

3.采用上述公式计算原始采样点集合Points中相邻两点Point_i，Point_i-1之间的欧几里得距离d，将d加到D中(即D＝D+d)。

4.如果D小于阈值T，则使i增加1，重新跳回步骤3，其中T为BbDiagonal的1/40。

5.否则就生成一个新的点Point_j，该Point_j与上一个重采样点之间的距离需近似等于T，将Point_j加入到重采样点集合RPoints中，并且***到点Point_i之前，重新跳回到步骤3。

二)对原始数据进行平滑处理：

从原始采样点集合Points中取出三个连续的点Point_i-1，Point_i，Point_i+1，计算出三个点X和Y的平均值，分别为x_j，y_j。生成一个新的点Point_j，将其X，Y本别设为x_j，y_j，将Point_j加入到平滑采样点集合SPoints。

三、笔迹识别：

对笔迹进行笔画识别，过程为：在总笔画集合S1中识别轮廓笔画，得到轮廓笔画集合O，在O前后各3个笔画内寻找关于O的轮廓笔画的冗余笔画集合RS1，在S1中去除掉笔画集合O及RS1，得到笔画集合S2，即S2＝S1-(O+RS1)；在笔画集合S2中识别指针笔画，得到指针笔画集合H，H包含时针集合H1和分针集合H2，分别在H1和H2前后各3个笔画内寻找关于H1和H2的冗余笔画并一起归入指针笔画冗余集合RS2，在S2中去除掉笔画集合H及RS2，得到笔画集合S3，即S3＝S2-(H+RS2)；在笔画集合S3中识别数字笔画。具体如下：

一)轮廓笔画识别：

经过对各个画钟文件的分析，发现一般最长的笔画均在轮廓笔画中。具体算法如下：

1.首先从笔画集合S1中寻找最长笔画Stroke_l，将其加入轮廓笔画集合O中。判断O是否闭合，如果不闭合，继续执行步骤2，否则跳到步骤6；

2.以Stroke_l为基准分别向前向后寻找N(N取经验值3)个笔画，作为候选笔画集合C；

3.从C中选择与Stroke_l的两端距离最近的笔画Stroke_i；

4.如果Stroke_i与Stroke_l之间的距离小于阈值T，则将Stroke_i加入O，从C中删除Stroke_i并继续执行步骤5，否则跳到步骤6；

5.判断O是否闭合，如果不闭合，执行步骤3，否则继续执行步骤6；

6.保存Outline并退出。

二)指针笔画识别：

指针笔画识别的主要问题在于用户可能使用一笔画出时针和分针，为了解决这种问题，需要首先对笔画进行分割。使用ShortStraw方法对笔画进行分割(参考文献：Wolin,Aaron,Brian Eoff,and Tracy Hammond."ShortStraw:A Simple and Effective CornerFinder for Polylines."SBM.2008.)。

在此对ShortStraw方法进行简要描述：首先对笔画Stroke进行重采样，方法如上文所示，得到重采样点集合RPoints。使用长度为W的滑动窗口从RPoints中取出点集合

如果点

与点

之间的距离D与点集合的长度L的比值R小于阈值T1，则认为点Point_i为笔画Stroke的一个分割点，图5为使用ShortStraw方法的效果图，其中(b)为分割后的效果图。

其中T1的取值为集合RPoints中所有相邻点间距离均值的0.85倍。

指针笔画识别的主要算法为：轮廓笔画闭包的中心点为Center，寻找与Center的距离小于阈值T2的笔画，构成指针笔画的候选笔画集合C1，对于C1中所有笔画使用ShortStraw方法进行分割得到新的笔画集合C2，从C2中寻找最长的笔画作为分针笔画，寻找到次长的笔画作为时针笔画，分针笔画与时针笔画组成指针笔画集合H。

其中T2的取值为点集合RPoints闭包矩形最小边长的1/10。

三)数字笔画识别：

数字笔画识别的第一个主要问题在于需要将笔画按照所属数字的不同进行聚合，参见图6，其中(a)图为原始数据，(b)为对笔画进行聚合后的结果。

聚合方法如下：使用笔画之间的空间距离D以及笔画时间上的顺序S作为两个度量变量，使用K-means算法得到笔画的聚合结果。其中使用D和S作为度量变量的原因在于：1)从数字的结构上看，同一个数字中的笔画紧密相连，不同数字之间的笔画有较大的空间距离；2)从人书写数字的习惯上来看，因为一个数字中的笔画数量有限(一般为1到2笔)，所以人们往往是绘制完一个笔画之后再绘制下一个笔画，所以在时间顺序上，同一个数字中的笔画也应是紧密相连的。

在对笔画进行聚合后我们可以得到一个笔画聚集的集合Clusters，下一步需要对Clusters中的每一个笔画聚集进行识别，此属于符号识别。目前关于符号识别的方法有很多(参考文献：Chhabra,Atul K."Graphic symbol recognition:An overview."GraphicsRecognition Algorithms andSystems.SpringerBerlin Heidelberg,1998.68-79.)。在本***中，从实现方便的角度出发，选取了TabletPC Platform SDK 1.7作为单个数字的识别引擎，但不以为限。

四)冗余笔画判别：

通过以下方法判断目标笔画Stroke_t是否是笔画集合U的冗余笔画：

首先将笔画集合U＝{Stroke₁,Stroke₂,...Stroke_n}内的笔画按照先后顺序链接成一个骨干画Stroke_u，既将U内除了最后一个笔画Stroke_n外的任意笔画Stroke_i的终止点与下一笔画Stroke_i+1的起始点链接。

对于Stroke_u，均匀分布地取其中10个采样点加入点集UPoints当中，计算UPoints中所有点与Stroke_t的距离的均值D_mean，如果D_mean小于阈值T3，则认为Stroke_t是笔画集合U的冗余笔画。

其中UPoints任意一点与Stroke_t的距离定义为，该点到Stroke_t中任意一点的距离的最小值。阈值T3的取值为Stroke_t长度的1/20。

从上述四步中提取轮廓笔画、指针笔画及数字笔画的各自笔画特征(见下述步骤)，根据这些笔画特征进行如下评估和打分。

四、对绘制情况进行打分

一)轮廓笔画打分：

使用上文中提到的特征进行判断，其中判断是否闭合的方法如下：对于轮廓笔画Outline，其包含的采样点集合为Points_outline，从第一个点Point₀向后取L3个点，组成采样点集合Points_start，从最后一个采样点Point_|points|-1向前取L3个点，组成采样点集合Points_end，计算两个采样点集合Points_start，Points_end之间的距离D1，距离计算公式如下：

其中Distance(Point1,Point2)函数表示点Point1与Point2之间的欧几里得距离。将计算出来的D1与T4作比较，如果D1不大于T4，则认为轮廓笔画闭合。

阈值T4的取值为BbDiagonal的1/20。

计算轮廓笔画长度L与轮廓笔画闭包的内切圆周长P的比率R2，方法如下：轮廓笔画Outline的长度L为其中采样点集合中相邻两点的欧几里得距离依次相加。内切圆周长P＝π×min(width,height)，其中width，height分别为轮廓笔画Outline闭包的宽度和高度，R2＝L/P。

当满足如下条件(笔画特征)：1)存在轮廓笔画；2)轮廓笔画闭合；3)N1<T5；4)轮廓笔画闭包的高度H与宽度W的比率R1，1/T6<＝R1<＝T6；5)轮廓笔画长度L与轮廓笔画闭包的内切圆周长P的比率R2，1/T7<＝R2<＝T7。其中根据实验数据取经验值T5＝5，T6＝T7＝1.5。此时给轮廓打1分，否则打0分。

二)指针笔画打分：

使用上文提到的特征进行判断，其中判断时针笔画HourHand与分针笔画MinuteHand是否相交的方法为：找出HourHand笔画的第一个采样点Point₀，最后一个采样点Point₁；MinuteHand的第一个采样点Point₂，最后一个采样点Point₃。

如果D2<T4则认为两个笔画相交。

时针所在象限的计算方法为：使用公式(3)得到

和

之间以顺时针方向旋转的旋转角度RotatedAngle1，HourHand所在象限

分针所在象限计算方法与时针计算方法相同，其所在的象限为Quadrant2。

当满足如下条件(笔画特征)：1)时针笔画与分针笔画相交；2)时针笔画长度HL与分针笔画长度ML比率R3小于1；3)时针笔画所在的象限Quadrant1，Quadrant1＝4；4)分针笔画所在的象限Quadrant2，Quadrant2＝1。满足以上条件时，给指针笔画打1分，否则打0分。

三)数字笔画打分：

使用上文提到的特征进行判断，其中判断正确数字数量的方法如下：数字笔画Digit正确主要由两个条件决定：1)数字笔画Digit的代表的数字值为i，1<＝i<＝12，且i有且只有一个；2)数字笔画Digit的位置要正确。

其中条件2)检测方法为：获取轮廓笔画闭包的中心点Center1，数字笔画Digit闭包的中心点Center2。将Center2-Center1得到向量

选取(0，-1)作为基准向量

选取(0，-1)作为基准，因为液晶数位板的坐标系是以向下作为Y轴的正方向。使用如下公式可以得到

与

之间以顺时针方向旋转的旋转角度：

得到旋转角度RotatedAngle后，当1<＝i<＝11时，如果

则数字笔画Digit位置正确。当i＝12时，如果0<＝RotatedAngle<＝L8或者2×π-L8<＝RotatedAngle<＝2×π，则数字笔画Digit位置正确。其中

当满足条件：正确数字的数量N2>＝T8时，则给数字打1分，否则为给数字打0分。T8取经验值6。

以上通过实施例对本发明的检测方法及***进行了详细说明，但本发明的具体实现形式并不局限于此，本领域的一般技术人员可以在不背离本发明的精神和原则的情况下对其进行各种显而易见的变化与修改。本发明的保护范围以权利要求书所述为准。

Claims

1.一种基于数位笔的画钟测试检测方法，步骤包括：

1)采集用户画钟测试的笔迹数据；

2)识别笔迹数据的轮廓笔画、指针笔画及数字笔画，提取笔画特征；笔画识别的方法为：在总笔画集合S1中识别轮廓笔画，得到轮廓笔画集合O，寻找轮廓笔画的冗余笔画集合RS1，在S1中去除掉笔画集合O及RS1，得到笔画集合S2，即S2＝S1-(O+RS1)；在笔画集合S2中识别指针笔画，得到指针笔画集合H，寻找指针笔画的冗余笔画集合RS2，在S2中去除掉笔画集合H及RS2，得到笔画集合S3，即S3＝S2-(H+RS2)；在笔画集合S3中识别数字笔画；寻找冗余笔画的方法为：要判断一目标笔画是否为冗余笔画，首先将笔画按照先后顺序链接成一个骨干画，在骨干画上均匀分布地取其中若干个采样点加入点集当中，计算点集中所有点与目标笔画的距离均值，如果距离均值小于一阈值，则认为该目标笔画是冗余笔画；

2.根据权利要求1所述的方法，其特征在于，采用RandomForest分类器进行笔画识别。

3.根据权利要求1所述的方法，其特征在于，在识别前对笔迹数据进行预处理，包括：

1)对笔迹数据进行重采样，使得采样点之间的距离均等于T；

2)对笔迹数据进行平滑处理，减少笔画抖动的程度。

4.根据权利要求1所述的方法，其特征在于，采用北京协和医院的画钟打分机制对轮廓笔画、指针笔画及数字笔画进行检测，该打分机制总分3分，其中轮廓笔画、指针笔画、数字笔画各占1分。

5.根据权利要求1所述的方法，其特征在于，

轮廓笔画的笔画特征包括：1)是否存在轮廓笔画；2)轮廓笔画是否闭合；3)笔画数量N1；4)轮廓笔画闭包的高度H与宽度W的比率R1；5)轮廓笔画长度L与轮廓笔画闭包的内切圆周长P的比率R2；

指针笔画的笔画特征包括：1)时针笔画与分针笔画是否相交；2)时针笔画长度HL与分针笔画长度ML的比率R3；3)时针笔画所在的象限Quadrant1；4)分针笔画所在的象限Quadrant2；

数字笔画的笔画特征包括：正确的数字数量N2。

6.根据权利要求1所述的方法，其特征在于，采用ShortStraw方法对指针笔画进行分割，获得时针笔画和分针笔画；通过K-means算法将数字笔画按照所属数字的不同进行聚合。

7.一种基于数位笔的画钟测试检测***，用于实现权利要求1-6任一项所述的方法，该***包括：

一数位笔，用以绘制图形；

8.根据权利要求7所述的***，其特征在于，信息采集设备还用以显示绘制任务，任务包括：

绘制钟的轮廓、绘制时间数字、绘制指针。

9.根据权利要求7所述的***，其特征在于，使用Microsoft Tablet PC Platform SDK1.7作为数字的笔画识别引擎。