CN110859599B - 脑血管病神经损伤病人认知功能自动化筛查*** - Google Patents

脑血管病神经损伤病人认知功能自动化筛查*** Download PDF

Info

Publication number
CN110859599B
CN110859599B CN201911176388.XA CN201911176388A CN110859599B CN 110859599 B CN110859599 B CN 110859599B CN 201911176388 A CN201911176388 A CN 201911176388A CN 110859599 B CN110859599 B CN 110859599B
Authority
CN
China
Prior art keywords
coordinates
central point
point coordinate
clock
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911176388.XA
Other languages
English (en)
Other versions
CN110859599A (zh
Inventor
冯新宇
邹乔莎
王艳红
史传进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201911176388.XA priority Critical patent/CN110859599B/zh
Publication of CN110859599A publication Critical patent/CN110859599A/zh
Application granted granted Critical
Publication of CN110859599B publication Critical patent/CN110859599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医疗自动化筛查技术领域,具体为一种脑血管病神经损伤病人认知功能自动化筛查***。本发明***包括:图像采集装置,智能分析***;智能分析***包括第一目标检测网络、裁剪模块、第二目标检测网络、评分模块、判别模块。***输入为受试者的基本信息、测试用的时钟图像信息;时钟图像信息是受试者画的一个圆形钟表,具有时针、分针,标上1‑12钟点阿拉巴数字;经过智能分析***的自动分析,最后输出对受试者认知的筛查结果报告;本发明可以有效减少专业医护人员的人力投入,并且保持筛查结果一致性。

Description

脑血管病神经损伤病人认知功能自动化筛查***
技术领域
本发明属于医疗自动化筛查技术领域,具体涉及一种脑血管病神经损伤病人认知功能自动化筛查***。
背景技术
随着医疗技术的发展,社会结构的老龄化提示亟需重视老年性疾病的诊治需求。传统的老年性脑部疾病,例如卒中、癫痫等,也有越来越年轻化的趋势。早期发现及筛查脑血管病神经损伤病人,予以及时的针对性干预,是提高脑血管病神经损伤病人的预后能力,减轻社会负担的关键策略。目前许多脑血管病神经损伤的表现较为隐匿,在脑部已经发生病理变化,但尚不严重时,缺少显著的临床症状以及有效的检测手段。对于脑血管病神经损伤的患者而言,由于存在潜在的脑神经损伤,患者表现出发作性行为异常及精神状态异常,极易被家属或者护理人员疏漏,如不及时发现及干预,脑功能将出现进一步损伤甚至危及生命。
目前临床上为了提高对上述患者的认知功能早期筛查能力,并随访病情变化,常采用各种认知量表进行行为或者认知功能评估。常用的筛查量表有简易精神状态评价量表(MMSE),蒙特利尔认知评估量表(McCA),日常生活活动能力量表(ADL)等。然而上述量表往往只偏重一个方面,并且需要经培训的医师或专业人员完成。由于此类量表需要通过他人的问询和观察完成,不同人员的评估不尽相同,难以满足评估一致性的要求。
为了解决以上的一致性问题以及减轻医护人员和患者的负担,本发明提供了一种基于计算机算法的脑血管病神经损伤病人的认知功能筛查的自动化***。所述***采用非接触式的方式,只需要患者画一个时钟,不会给患者带来较大负担。***操作简洁明确,不需要专业培训的医护人员进行操作,减轻医护人员的负担。由于***采用计算机算法进行信息分析,不会受到其他客观因素影响,具有较高的筛查一致性。
发明内容
本发明的目的在于提供一种筛查一致性好、操作简单方便的脑血管病神经损伤病人认知功能自动化筛查***。
本发明提供的脑血管病神经损伤病人认知功能自动化筛查***,只需要患者画一个测试用的时钟图像,通过建立一定算法,由计算机进行信息分析,即可了解脑血管病神经损伤病人认知功能状况。
本发明提供的自动化筛查***,输入为两部分信息:受试者的基本信息、测试用的画钟图像信息。基本信息包括年龄、性别、学历、既往病史等信息,用于辅助自动化筛查分析;画钟图像信息是受试者在纸上画的一个圆形钟表,具有时针、分针,标上1-12钟点阿拉巴数字,指针指向3点40分;受试者的基本信息作为辅助,结合画钟图像信息,输入到***后,经过智能***的自动分析,最后输出对受试者认知的筛查结果报告。
所述***包括:图像采集装置,智能分析***;智能分析***包括图像预处理模块、第一目标检测网络1、裁剪模块、第二目标检测网络2、评分模块、判别模块;其中:
图像采集装置,用于拍摄受试者画的钟表图像信息;并将图像输入智能分析***;
图像采集装置可以是手机摄像头、电脑摄像头、ipad或其他类型的可拍照装置。
图像预处理模块,用于对图像采集装置采集到的原始图片进行预处理,包括粗略裁减掉与面无关的背景图案;对画面进行局部补光,对比度调节。
第一目标检测网络1,用于检测画钟轮廓的左上角坐标(x1,y1),和右下角坐标(x2,y2),从而将画钟轮廓置于左上角坐标(x1,y1)和右下角坐标(x2,y2)围成的方框内,参见图3。
裁剪模块,用于对第一目标检测网络得到的时钟图像进行裁剪。考虑到原始画钟图像的来源可能较为复杂,背景可能较为杂乱,第一目标检测网络1框出的画钟轮廓与实际相比可能过小或过大。画钟轮廓过大对接下来的识别影响不大;但过小甚至不能将数字完全框住则会对接下来的识别造成很大影响。因此要进行裁剪,其坐标值根据以下坐标变换公式给出,其坐标系依照数字图像领域通用的坐标系规定方法:图片左上角定义为原点(0,0),图片横坐标为x轴,纵坐标为y轴,如图4所示。坐标变换公式为:
Figure BDA0002290057420000021
α、β为调节系数,变换后的左上角坐标(x1’,y1’)和右下角坐标(x2’,y2’)将作为图片裁剪的依据。
根据上步骤中给出的坐标将图片进行裁剪。
第二目标检测网络2,用于检测画钟图像中的钟点数字1-12以及时针和分针的位置。其输入为上一步裁剪模块处理后的图像,输出为标签及对应的钟点数字和指针坐标;检测过程为:若数字或指针重复识别,则分别进行识别并输出各自的坐标;如果数字或指针未出现,则对应输出左上角和右下角坐标都为(0,0);因此结果最少有14项:数字1-12对应标签1-12,位于钟表左半部分区域的指针对应标签13,认为是分针;位于钟表右半部分区域的指针对应标签14,认为是时针。
评分模块,用于对受试者的认知功能进行打分;其输入为经裁剪模块处理的画钟图像和目标检测网络2输出的标签及对应坐标,根据画钟七分法规则得到评分,最后得到0-7不等的评分值。
进行坐标预处理,根据以下中心点计算公式(2),由所有标签的左上角坐标和右下角坐标计算出中心点坐标cx,cy。每个标签都将对应三个坐标,分别是左上角坐标(x1,y1),右下角坐标(x2,y2),以及中心点坐标(cx,cy)。
cx=(x1+x2)/2
cy=(y1+y2)/2 (2)。
评分规则如下:
(一)要求1-12所有的数字都要出现,否则该项不得分。分别检查数字1-12标签对应的左上角和右下角坐标是否出现(0,0),如果出现,则说明该坐标对应的数字没有在当前图像中检测出,该项得分为0。如果12组坐标中都没有出现(0,0),说明数字1-12在该图片中都被检测出,该项得分为1。
(二)根据每个数字左上角和右下角的坐标分别计算出其中心点坐标cx,cy。根据钟表数字的排列顺序依次进行如下12次判断:
(1)数字1的中心点坐标cx、cy均大于数字12的中心点坐标cx、cy;
(2)数字2的中心点坐标cx、cy均大于数字1的中心点坐标cx、cy;
(3)数字3的中心点坐标cx、cy均大于数字2的中心点坐标cx、cy;
(4)数字4的中心点坐标cx小于数字3的中心点坐标cx,数字4的中心点坐标cy大于数字3的中心点坐标;
(5)数字5的中心点坐标cx小于数字4的中心点坐标cx,数字5的中心点坐标cy大于数字4的中心点坐标;
(6)数字6的中心点坐标cx小于数字5的中心点坐标cx,数字6的中心点坐标cy大于数字5的中心点坐标;
(7)数字7的中心点坐标cx小于数字6的中心点坐标cx,数字7的中心点坐标cy小于数字6的中心点坐标;
(8)数字8的中心点坐标cx小于数字7的中心点坐标cx,数字8的中心点坐标cy小于数字7的中心点坐标;
(9)数字9的中心点坐标cx小于数字8的中心点坐标cx,数字9的中心点坐标cy小于数字8的中心点坐标;
(10)数字10的中心点坐标cx大于数字9的中心点坐标cx,数字10的中心点坐标cy小于数字9的中心点坐标;
(11)数字11的中心点坐标cx大于数字10的中心点坐标cx,数字11的中心点坐标cy小于数字10的中心点坐标;
(12)数字12的中心点坐标cx大于数字11的中心点坐标cx,数字12的中心点坐标cy小于数字11的中心点坐标;
若12个判断全部满足,则该项得分为1,否则为0。
(三)之前采用的坐标系是直角坐标系,判断数字分布时全部转化为极坐标系。以画钟中心作为极坐标系的原点,数字1、2角度在0-90度,数字4、5角度在270-360度,数字7、8角度在180-270度,数字10、11角度在90-180度。
根据数字3和9的中心点坐标确定一条直线A,根据数字6和12的中心点坐标确定一条直线B,随后计算A、B两直线的中点坐标,记做(clock_x,clock_y)。该中点作为整个画钟图像的中点。首先进行坐标变换,之前的直角坐标系坐标以图片左上角为原点,现在改成以(clock_x,clock_y)作为原点。变换公式如下:
x′=x-clock_x (3)
y′=y-clock_y
随后,将变换完的直角坐标转为极坐标格式,变换公式如下:
Figure BDA0002290057420000041
θ=arctan(y/x) (4)
最后,由于图片采集装置在采集画钟图片时,可能因为拍摄角度的问题导致画钟旋转,即数字12没有位于正上方这种情况。为了纠正这种旋转,数字1-12的极坐标角度要减去数字3的极坐标角度。
随后对8个数字的极坐标角度(下称角度)进行判定:
(1)0<数字1角度<90;
(2)0<数字2角度<90;
(3)90<数字11角度<180;
(4)90<数字10角度<180;
(5)180<数字8角度<270;
(6)180<数字7角度<270;
(7)270<数字5角度<360;
(8)270<数字4角度<360;
若上六个判断全部满足,则该项得分为1,否则为0。
(四)该项要求出现两个指针,否则该项不得分。分别检查时针、分针标签对应的左上角和右下角坐标是否出现(0,0),如果出现,则说明该坐标对应的指针没有在当前图像中检测出,该项得分为0。如果2组坐标中都没有出现(0,0),说明两个指针在该图片中都被检测出,该项得分为1。
(五)该部分判定的指针标签为14,首先检查指针14以及数字4的左上角右下角坐标,如果发现有(0,0),则说明指针14或数字4未被检测出,该项得分为零,否则继续进行判定。
指针14的左上角和右下角坐标形成直线,分别计算数字3,4中心点到直线的距离d3,d4以及数字3,4中心点之间的距离d34,按照以下公式进行判定:
((d3-d4))/d34≥δ
其中,δ定为阈值。若满足该条件,该项得分为1,否则为0。
(六)该部分判定的指针标签为13,首先检查指针13以及数字8的左上角右下角坐标,如果发现有(0,0),则说明指针13或数字4未被检测出,该项得分为零,否则继续进行判定。指针13左上角和右下角坐标分别为(x1,y1),(x2,y2),则右上角坐标(x2,y1),左下角坐标为(x1,y2)。右上角和左下角坐标形成直线D,分别计算数字7,8,9到直线D的距离d7,d8,d9。若d8最小,则该项得分为1,否则为0。
(七)该部分判定的指针标签为13和14,首先检查指针13,14的左上角右下角坐标,如果发现有(0,0),则说明指针13或14未被检测出,该项得分为零,否则继续进行判定;分别计算指针13和指针14的长度d13、d14。然后按照如下公式进行判定:
(d13-d14)/d13≥ω
其中,ω为阈值。如果满足上述判定,则该项得分为1,否则为0。
判别模块,将评分模块得到的7项分值相加,根据受试者的学历信息,其学历在小学及以下的,5分及以上为认知正常,其余为认知异常;学历在初中及以上的,6分及以上为认知正常,其余为认知异常。
上述评分过程中,所述调节系数α、β的取值为:α=0.7~1.0,β=0.9~1.2。一般地,α取经验值0.8,β取经验值1.2。
所述阈值δ取为-0.1-0.3;阈值ω取为0.10~0.25。通常取δ为-0.2,取ω为0.15。
本发明***的自动化分析结合了医疗专家领域知识和机器学习的算法,通过提取医疗专家在筛查过程中的主要指标特征,训练计算机算法学习对行为和认知的正常异常进行判断。利用计算机算法进行的筛查除了可以利用专家知识保证一定的准确率,还能达到跨地域跨时间跨人员的筛查一致性。
相对于现有技术,本发明具有以下有益效果:
本发明所提供的脑血管病神经损伤病人的认知功能的自动化筛查***,是建立在医疗领域专家知识的基础上,通过机器学习算法进行自动化特征提取和判别,其用途主要是进行脑血管病患者的认知功能筛查,减少对专业医护人员的依赖,减轻患者检测过程中的负担,并且提高筛查结果一致性。
附图说明
图1是本发明的自动化方法的信息采集及自动化分析简化示意图。
图2是本发明采集的原始画钟图片示意图。
图3是本发明第一目标检测网络1所标识出的画钟轮廓。
图4是数字图像领域图片的常用直角坐标系说明。
图5是本发明在图3标识的画钟轮廓基础上扩大后裁剪出来的画钟主体。
图6是本发明第二目标检测网络2在画钟主体上所识别出来的数字、指针及其相应位置。
图7-图10为受试者画的测试时钟图像。
具体实施方式
在下文中结合图示在参考实施例中更完全地描述本发明,本发明提供优选实施例,但不应该被认为仅限于在此阐述的实施例。
首先使用图像采集装置采集画好的画钟图片并进行存放,采集装置可以是手机摄像头/电脑摄像头/ipad/或其他类型的可拍照装置。
画钟测试图片如图2所示,将画钟图片输入第一目标检测网络1,网络输出为检测到的画钟轮廓左上角坐标(x1,y1),和右下角坐标(x2,y2),考虑到原始图片的来源可能较为复杂,背景可能较为杂乱,目标检测网络1框出的画钟轮廓与实际相比可能过小或过大。画钟轮廓过大对接下来的识别影响不大;但过小甚至不能将数字完全框住则会对接下来的识别造成很大影响。因此裁剪步骤中依据的坐标值将根据以下坐标变换公式给出,其坐标系依照数字图像领域通用的坐标系规定方法:图片左上角定义为原点(0,0),图片横坐标为x轴,纵坐标为y轴,如图4所示。
x1′=α*x1
y1′=α*y1
x2′=β*x2
y2′=β*y2
α取经验值0.8,β取经验值1.2,变换后的左上角坐标(x1’,y1’)和右下角坐标(x2’,y2’)将作为图片裁剪的依据。
根据上步骤中给出的坐标将图片进行裁剪,如图5所示。
第二目标检测网络2负责检测数字1-12以及时针和分针的位置。网络输入为上一步裁剪后的图片2,输出为标签及对应的钟点数字和指针坐标。检测过程为:若数字或指针重复识别,则分别进行识别并输出各自的坐标;如果数字或指针未出现,则对应输出左上角和右下角坐标都为(0,0)。因此,其结果最少有14项。其中数字1-12对应标签1-12,位于钟表左半部分区域的指针对应标签13,认为是分针;位于钟表右半部分区域的指针对应标签14,认为是时针。
评分模块接收图片5和目标检测网络2输出的标签及对应坐标,输出0-7不等的分数。
进行坐标预处理,根据以下中心点计算公式,所有标签的左上角坐标和右下角坐标计算出中心点坐标cx,cy。每个标签都将对应三个坐标,分别是左上角坐标(x1,y1),右下角坐标(x2,y2),以及中心点坐标(cx,cy)。
cx=(x1+x2)/2
cy=(y1+y2)/2
该项要求1-12所有的数字都要出现,否则该项不得分。分别检查数字1-12标签对应的左上角和右下角坐标是否出现(0,0),如果出现,则说明该坐标对应的数字没有在当前图像中检测出,该项得分为0。如果12组坐标中都没有出现(0,0),说明数字1-12在该图片中都被检测出,该项得分为1。
根据每个数字左上角和右下角的坐标分别计算出其中心点坐标cx,cy。根据钟表数字的排列顺序依次进行如下12次判断:
1.数字1的中心点坐标cx、cy均大于数字12的中心点坐标cx、cy;
2.数字2的中心点坐标cx、cy均大于数字1的中心点坐标cx、cy;
3.数字3的中心点坐标cx、cy均大于数字2的中心点坐标cx、cy;
4.数字4的中心点坐标cx小于数字3的中心点坐标cx,数字4的中心点坐标cy大于数字3的中心点坐标;
5.数字5的中心点坐标cx小于数字4的中心点坐标cx,数字5的中心点坐标cy大于数字4的中心点坐标;
6.数字6的中心点坐标cx小于数字5的中心点坐标cx,数字6的中心点坐标cy大于数字5的中心点坐标;
7.数字7的中心点坐标cx小于数字6的中心点坐标cx,数字7的中心点坐标cy小于数字6的中心点坐标;
8.数字8的中心点坐标cx小于数字7的中心点坐标cx,数字8的中心点坐标cy小于数字7的中心点坐标;
9.数字9的中心点坐标cx小于数字8的中心点坐标cx,数字9的中心点坐标cy小于数字8的中心点坐标;
10.数字10的中心点坐标cx大于数字9的中心点坐标cx,数字10的中心点坐标cy小于数字9的中心点坐标;
11.数字11的中心点坐标cx大于数字10的中心点坐标cx,数字11的中心点坐标cy小于数字10的中心点坐标;
12.数字12的中心点坐标cx大于数字11的中心点坐标cx,数字12的中心点坐标cy小于数字11的中心点坐标;
若12个判断全部满足,则该项得分为1,否则为0。
之前采用的坐标系是直角坐标系,判断数字分布时全部转化为极坐标系。以画钟中心作为极坐标系的原点,数字12角度在0-90度,数字45角度在270-360度,数字78角度在180-270度,数字1011角度在90-180度。
首先根据数字3和9的中心点坐标确定一条直线A,根据数字6和12的中心点坐标确定一条直线B,随后计算AB两直线的中点坐标,记做(clock_x,clock_y)。该中点作为整个画钟图像的中点。首先进行坐标变换,之前的直角坐标系坐标以图片左上角为原点,现在改成以(clock_x,clock_y)作为原点。变换公式如下:
x′=x-clock_x
y′=y-clock_y
随后,将变换完的直角坐标转为极坐标格式,变换公式如下:
Figure BDA0002290057420000081
θ=arctan(y/x)
最后,由于图片采集装置在采集画钟图片时,可能因为拍摄角度的问题导致画钟旋转,即数字12没有位于正上方这种情况。为了纠正这种旋转,数字1-12的极坐标角度要减去数字3的极坐标角度。
随后对8个数字的极坐标角度(下称角度)进行判定:
1.0<数字1角度<90
2.0<数字2角度<90
3.90<数字11角度<180
4.90<数字10角度<180
5.180<数字8角度<270
6.180<数字7角度<270
7.270<数字5角度<360
8.270<数字4角度<360
若上六个判断全部满足,则该项得分为1,否则为0。
该项要求出现两个指针,否则该项不得分。分别检查时针、分针标签对应的左上角和右下角坐标是否出现(0,0),如果出现,则说明该坐标对应的指针没有在当前图像中检测出,该项得分为0。如果2组坐标中都没有出现(0,0),说明两个指针在该图片中都被检测出,该项得分为1。
该部分判定的指针标签为14,首先检查指针14以及数字4的左上角右下角坐标,如果发现有(0,0),则说明指针14或数字4未被检测出,该项得分为零,否则继续进行判定。
指针14的左上角和右下角坐标形成直线,分别计算数字3,4中心点到直线的距离d3,d4以及数字3,4中心点之间的距离d34,按照以下公式进行判定:
((d3-d4))/d34≥δ
其中δ取为经验值-0.2。若满足该条件,该项得分为1,否则为0。
该部分判定的指针标签为13,首先检查指针13以及数字8的左上角右下角坐标,如果发现有(0,0),则说明指针13或数字4未被检测出,该项得分为零,否则继续进行判定。指针13左上角和右下角坐标分别为(x1,y1),(x2,y2),则右上角坐标(x2,y1),左下角坐标为(x1,y2)。右上角和左下角坐标形成直线D,分别计算数字7,8,9到直线D的距离d7,d8,d9。若d8最小,则该项得分为1,否则为0。
该部分判定的指针标签为13和14,首先检查指针13,14的左上角右下角坐标,如果发现有(0,0),则说明指针13或14未被检测出,该项得分为零,否则继续进行判定。指针的长度由下公式给出,分别计算指针13和指针14的长度d13、d14。然后按照如下公式进行判定:
(d13-d14)/d13≥ω
其中ω取经验值0.15。如果满足上述判定,则该项得分为1,否则为0。
上述得分相加,根据受试者的学历信息,其学历在小学及以下的,5分及以上为认知正常,其余为认知异常;学历在初中及以上的,6分及以上为认知正常,其余为认知异常。
医生和机器给出的打分结果格式为“数字完备+数字顺序+数字分布+两个指针+一个指向4+一个指向八+指针一长一短”,因此若七项均正确,那么得分为“1、1、1、1、1、1、1”。
测试例1,受试者画的时钟图像如图7所示。
医生打分为“1、1、1、1、0、1、0”,按本发明方法,机器打分为“1、1、1、1、0、1、1”,从图中可以看出指向8的指针要长于指向4的指针,医生在该项打分有误,而机器做出正确判断。
测试例2,受试者画的时钟图像如图8所示。
医生打分为“1、1、1、1、0、1、1”,按本发明方法,机器打分为“1、1、1、1、0、1、0”,从图中可以看出两个指针长度近似一致,医生在该项打分有误,而机器做出正确判断。
测试例3,受试者画的时钟图像如图9所示。
医生打分为“1、1、1、1、1、0、1”,按本发明方法,机器打分为“1、1、1、1、0、1、1”,从图中可以看出左边指针指向3,右边指针指向8,因此正确打分为“1、1、1、1、0、1、1”,医生在该项打分有误,而机器做出正确判断。
测试例4,受试者画的时钟图像如图10所示。
医生打分为“1、1、1、1、1、0、1”,按本发明方法,机器打分为“1、1、1、1、0、1、0”,从图中可以看出左边指针指向3,右边指针指向8,并且指针长度近似一致,因此正确打分为“1、1、1、1、0、1、0”,医生在该项打分有误,而机器做出正确判断。
在打分标准中,两指针一长一短可以得一分,但实际操作中,两个指针长度差多少可以认为是一长一短,不同医生会给出不同答案。本发明中使用ω作为指针长度差的衡量标准,并做了归一化处理,因此该项打分具有一致性。
同上,指针指向4可得一分,但实际上由于要求受试者画的时间为三点四十,时针应处于数字3和4的中间并偏向4,但实际打分过程中,偏向4的程度并不好定义。本发明中使用δ来衡量指针偏向4的程度,因此该项打分也具有一致性。

Claims (4)

1.一种脑血管病神经损伤病人认知功能自动化筛查***,其特征在于,***输入为两部分信息:受试者的基本信息、测试用的时钟图像信息;基本信息包括年龄、性别、学历、既往病史,用于辅助自动化筛查分析;时钟图像信息是受试者在纸上画的一个圆形钟表,具有时针、分针,标上1-12钟点***数字,指针指向3点40分;输入到***后,经过智能***的自动分析,最后输出对受试者认知的筛查结果报告;
所述***包括:图像采集装置,智能分析***;智能分析***包括图像预处理模块、第一目标检测网络、裁剪模块、第二目标检测网络、评分模块、判别模块;其中:
所述图像采集装置,用于采集受试者画的时钟图像信息;并将图像输入智能分析***;
所述图像预处理模块,用于对图像采集装置采集到的原始图片进行预处理,包括粗略裁减掉与画面无关的背景图案;对画面进行局部补光,对比度调节;
所述第一目标检测网络,用于检测时钟轮廓的左上角坐标(x1,y1)和右下角坐标(x2,y2),从而将时钟轮廓置于左上角坐标(x1,y1)和右下角坐标(x2,y2)为起点的水平线和垂直线围成的方框内;
所述裁剪模块,用于对第一目标检测网络得到的时钟图像进行裁剪,裁剪实际为一坐标变换,设时钟图像左上角定义为原点(0,0),横坐标为x轴,纵坐标为y轴,坐标变换公式为:
Figure 163154DEST_PATH_IMAGE002
Figure 720037DEST_PATH_IMAGE004
(1)
Figure 659175DEST_PATH_IMAGE006
Figure 326916DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
Figure 903784DEST_PATH_IMAGE010
为调节系数,变换后的左上角坐标(x1’,y1’)和右下角坐标(x2’,y2’)将作为图片 裁剪的依据;
所述第二目标检测网络,用于检测画钟图像中的钟点数字1-12以及时针和分针的位置;其输入为上一步裁剪模块处理后的图像,输出为标签及对应的钟点数字和指针坐标;检测过程为:若数字或指针重复识别,则分别进行识别并输出各自的坐标;如果数字或指针未出现,则对应输出左上角和右下角坐标都为(0,0);结果最少有14项:数字1-12对应标签1-12,位于钟表左半部分区域的指针对应标签13,认为是分针;位于钟表右半部分区域的指针对应标签14,认为是时针;
所述评分模块,用于对受试者的认知功能进行打分;其输入为经裁剪模块处理的画钟图像和目标检测网络2输出的标签及对应坐标,根据时钟七分法规则得到评分,最后得到0-7不等的评分值;
所述判别模块,将评分模块得到的7项分值相加,根据受试者的学历信息,其学历在小学以下的,5分以上为认知正常,其余为认知异常;学历在初中以上的,6分以上为认知正常,其余为认知异常;
所述评分模块中对受试者的认知功能进行打分的过程如下;
进行坐标预处理,根据以下中心点计算公式(2),由所有标签的左上角坐标和右下角坐标计算出中心点坐标cx,cy;每个标签都将对应三个坐标:分别是左上角坐标(x1,y1),右下角坐标(x2,y2),以及中心点坐标(cx,cy);
Figure 631569DEST_PATH_IMAGE012
(2)
Figure 58002DEST_PATH_IMAGE014
评分规则如下:
(一)分别检查数字1-12标签对应的左上角和右下角坐标是否出现(0,0),如果出现,说明该坐标对应的数字没有在当前图像中检测出,得分为0;如果12组坐标中都没有出现(0,0),说明数字1-12在该图片中都被检测出,得分为1;
(二)根据每个数字左上角和右下角的坐标分别计算出其中心点坐标cx,cy,根据钟表数字的排列顺序依次进行如下12次判断:
(1)数字1的中心点坐标cx、cy均大于数字12的中心点坐标cx、cy;
(2)数字2的中心点坐标cx、cy均大于数字1的中心点坐标cx、cy;
(3)数字3的中心点坐标cx、cy均大于数字2的中心点坐标cx、cy;
(4)数字4的中心点坐标cx小于数字3的中心点坐标cx,数字4的中心点坐标cy大于数字3的中心点坐标;
(5)数字5的中心点坐标cx小于数字4的中心点坐标cx,数字5的中心点坐标cy大于数字4的中心点坐标;
(6)数字6的中心点坐标cx小于数字5的中心点坐标cx,数字6的中心点坐标cy大于数字5的中心点坐标;
(7)数字7的中心点坐标cx小于数字6的中心点坐标cx,数字7的中心点坐标cy小于数字6的中心点坐标;
(8)数字8的中心点坐标cx小于数字7的中心点坐标cx,数字8的中心点坐标cy小于数字7的中心点坐标;
(9)数字9的中心点坐标cx小于数字8的中心点坐标cx,数字9的中心点坐标cy小于数字8的中心点坐标;
(10)数字10的中心点坐标cx大于数字9的中心点坐标cx,数字10的中心点坐标cy小于数字9的中心点坐标;
(11)数字11的中心点坐标cx大于数字10的中心点坐标cx,数字11的中心点坐标cy小于数字10的中心点坐标;
(12)数字12的中心点坐标cx大于数字11的中心点坐标cx,数字12的中心点坐标cy小于数字11的中心点坐标;
若12个判断全部满足,则该项得分为1,否则为0;
(三)之前采用的坐标系是直角坐标系,判断数字分布时全部转化为极坐标系;以时钟中心作为极坐标系的原点,数字1、2角度在0-90度,数字4、5角度在270-360度,数字7、8角度在180-270度,数字10、11角度在90-180度;
根据数字3和9的中心点坐标确定一条直线A,根据数字6和12的中心点坐标确定一条直线B,随后计算A、B两直线的中点坐标,记做(clock_x,clock_y);该中点作为整个画钟图像的中点;首先进行坐标变换,之前的直角坐标系坐标以图片左上角为原点,现在改成以(clock_x,clock_y)作为原点;变换公式如下:
Figure 529435DEST_PATH_IMAGE016
(3)
Figure 521662DEST_PATH_IMAGE018
然后,将变换完的直角坐标转为极坐标格式,变换公式如下:
Figure 122145DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE021
(4)
为了纠正图片采集装置在采集时钟图片时可能导致的时钟旋转偏差,将数字1-12的极坐标角度减去数字3;
然后对8个数字的极坐标角度进行判定:
(1)0<数字1角度<90;
(2)0<数字2角度<90;
(3)90<数字11角度<180;
(4)90<数字10角度<180;
(5)180<数字8角度<270;
(6)180<数字7角度<270;
(7)270<数字5角度<360;
(8)270<数字4角度<360;
若上六个判断全部满足,则得分为1,否则为0;
(四)分别检查时针、分针标签对应的左上角和右下角坐标是否出现(0,0),如果出现,说明该坐标对应的指针没有在当前图像中检测出,得分为0;如果2组坐标中都没有出现(0,0),说明两个指针在该图片中都被检测出,得分为1;
(五)检查标签14对应的指针以及数字4的左上角右下角坐标,如果发现有(0,0),说明标签14对应的指针或数字4未被检测出,得分为零,否则继续进行判定;
标签14对应的指针的左上角和右下角坐标形成直线C,分别计算数字3、4中心点到直线C的距离d3、d4以及数字3、4中心点之间的距离d34,按照以下公式进行判定:
((d3-d4))/d34≥δ
其中,δ为阈值,若满足该条件,得分为1,否则为0;
(六)检查标签13对应的指针以及数字8的左上角右下角坐标,如果发现有(0,0),说明标签13对应的指针或数字4未被检测出,得分为零,否则继续进行判定;
标签13对应的指针左上角和右下角坐标分别为(x1,y1),(x2,y2),右上角坐标(x2,y1),左下角坐标为(x1,y2);右上角和左下角坐标形成直线D,分别计算数字7、8、9到直线D的距离d7、d8、d9;若d8最小,则得分为1,否则为0;
(七)检查标签13对应的指针、标签14对应的指针的左上角、右下角坐标,如果发现有(0,0),说明标签13对应的指针或标签14对应的指针未被检测出,得分为零,否则继续进行判定;
指针的长度由下公式给出,分别计算标签13对应的指针和标签14对应的指针的长度d13、d14;然后按照如下公式进行判定:
(d13-d14)/d13≥ω;
其中,ω为阈值,如果满足上述判定,则得分为1,否则为0。
2.根据权利要求1所述的脑血管病神经损伤病人认知功能自动化筛查***,其特征在于,所述图像采集装置为手机摄像头、电脑摄像头、ipad或其他类型的可拍照装置。
3.根据权利要求1所述的脑血管病神经损伤病人认知功能自动化筛查***,其特征在 于,所述调节系数
Figure 770295DEST_PATH_IMAGE009
Figure 779840DEST_PATH_IMAGE010
的取值为:
Figure 892152DEST_PATH_IMAGE009
=0.7~1.0 ,
Figure 418465DEST_PATH_IMAGE010
=0.9~1.2。
4.根据权利要求1所述的脑血管病神经损伤病人认知功能自动化筛查***,其特征在于,阈值δ取为-0.1-0.3;阈值ω取为0.10~0.25。
CN201911176388.XA 2019-11-26 2019-11-26 脑血管病神经损伤病人认知功能自动化筛查*** Active CN110859599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911176388.XA CN110859599B (zh) 2019-11-26 2019-11-26 脑血管病神经损伤病人认知功能自动化筛查***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911176388.XA CN110859599B (zh) 2019-11-26 2019-11-26 脑血管病神经损伤病人认知功能自动化筛查***

Publications (2)

Publication Number Publication Date
CN110859599A CN110859599A (zh) 2020-03-06
CN110859599B true CN110859599B (zh) 2022-05-20

Family

ID=69656614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911176388.XA Active CN110859599B (zh) 2019-11-26 2019-11-26 脑血管病神经损伤病人认知功能自动化筛查***

Country Status (1)

Country Link
CN (1) CN110859599B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091910B (zh) * 2019-12-17 2023-11-03 中国科学院自动化研究所 基于画钟测试的智能评估***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017191275A1 (de) * 2016-05-06 2017-11-09 Ai Mediq S.A. Vorrichtung und verfahren zur verbesserung der kognitiven und funktionsfähigkeiten mittels hypoxischer und hyperoxischer gasmischungen
CN108197564A (zh) * 2017-12-29 2018-06-22 复旦大学附属中山医院 一种画钟试验的评估***及方法
CN108492870A (zh) * 2017-02-23 2018-09-04 中国科学院软件研究所 基于数位笔的画钟测试检测方法及***
WO2018169098A1 (ko) * 2017-03-13 2018-09-20 중앙대학교 산학협력단 인지 및 기억 검사 장치 및 방법
CN110384484A (zh) * 2019-07-25 2019-10-29 科大讯飞股份有限公司 一种图形评估方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017191275A1 (de) * 2016-05-06 2017-11-09 Ai Mediq S.A. Vorrichtung und verfahren zur verbesserung der kognitiven und funktionsfähigkeiten mittels hypoxischer und hyperoxischer gasmischungen
CN108492870A (zh) * 2017-02-23 2018-09-04 中国科学院软件研究所 基于数位笔的画钟测试检测方法及***
WO2018169098A1 (ko) * 2017-03-13 2018-09-20 중앙대학교 산학협력단 인지 및 기억 검사 장치 및 방법
CN108197564A (zh) * 2017-12-29 2018-06-22 复旦大学附属中山医院 一种画钟试验的评估***及方法
CN110384484A (zh) * 2019-07-25 2019-10-29 科大讯飞股份有限公司 一种图形评估方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110859599A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
RU2648836C2 (ru) Системы, способы и компьютерочитаемые носители для выявления вероятного влияния медицинского состояния на пациента
CN103249358A (zh) 医用图像处理装置
CN111341437B (zh) 基于舌图像的消化道疾病判断辅助***
Sivasankar et al. Retracted: FCM based iris image analysis for tissue imbalance stage identification
CN115185936B (zh) 一种基于大数据的医疗临床数据质量分析***
CN110859599B (zh) 脑血管病神经损伤病人认知功能自动化筛查***
CN112862749A (zh) 一种骨龄图像数字化处理后自动识别方法
CN116705300A (zh) 基于体征数据分析的医疗决策辅助方法、***及存储介质
CN113298758A (zh) 阿尔兹海默症的辅助诊断***、其数据处理方法及终端
US11980491B2 (en) Automatic recognition method for measurement point in cephalo image
CN114343577B (zh) 认知功能评价方法、终端设备以及计算机可读存储介质
CN116504392A (zh) 一种基于数据分析的智能辅助诊断提示***
CN113539486A (zh) 一种基于中医面舌象动态变化的健康状态辨识***
CN113688942A (zh) 基于深度学习的头侧片腺样体图像自动评估方法和装置
CN113553991A (zh) 一种基于深度学习的舌象识别方法
CN117503056A (zh) 基于双模态特征学习的多尺度呼吸事件自动定位方法及装置
Haja et al. Advancing glaucoma detection with convolutional neural networks: a paradigm shift in ophthalmology
CN111048202A (zh) 一种智能化中医诊断***及其方法
CN115019972A (zh) 一种基于大数据分析的医疗影像数据共享***
CN111091910A (zh) 基于画钟测试的智能评估***
CN113033330A (zh) 一种基于轻型卷积神经网络的舌体姿态异常判别方法
CN110931129A (zh) 评估精神***症精神状态的涂色绘画计算机分析方法
CN117671774B (zh) 一种人脸情绪智能识别分析设备
Rai et al. Parkinson’s disease detection using a novel weighted ensemble of CNN models
CN117789987B (zh) 一种内分泌科康复评估模型的构建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant