CN110097970A - 一种基于深度学习的面瘫诊断***及其***建立方法 - Google Patents

一种基于深度学习的面瘫诊断***及其***建立方法 Download PDF

Info

Publication number
CN110097970A
CN110097970A CN201910391221.9A CN201910391221A CN110097970A CN 110097970 A CN110097970 A CN 110097970A CN 201910391221 A CN201910391221 A CN 201910391221A CN 110097970 A CN110097970 A CN 110097970A
Authority
CN
China
Prior art keywords
module
facial paralysis
answer
user
knowledge base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910391221.9A
Other languages
English (en)
Inventor
李宇欣
裘实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute Of Health Digital Health Management
Original Assignee
Beijing Institute Of Health Digital Health Management
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute Of Health Digital Health Management filed Critical Beijing Institute Of Health Digital Health Management
Priority to CN201910391221.9A priority Critical patent/CN110097970A/zh
Publication of CN110097970A publication Critical patent/CN110097970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的面瘫诊断***及其***建立方法，所述***包括图像拾取装置、图像识别模块、图像识别库、面瘫医学知识库、问答知识库、推理诊断答复模块和答复反馈模块；图像拾取装置用于将用户的脸部图像信息转换为电信号，输入图像识别模块；图像识别模块利用图像识别库的人脸图像识别信息，用于分析用户输入的人脸图像信息，分析出用户的脸部特征；推理诊断答复模块接收图像识别模块的脸部特征，根据脸部特征检索面瘫医学知识库和问答知识库，获取可信度最高的答案，发送给答复反馈模块；答复反馈模块将答复通过语言、文字或者照片反馈给用户。解决了现有通过搜索引擎获取医疗知识耗时长、信息准确性难判和无法“面诊”的问题。

Description

一种基于深度学习的面瘫诊断***及其***建立方法
技术领域
本发明涉及一种医疗诊断***，具体涉及一种基于深度学习的面瘫诊断***及其***建立方法。
背景技术
以往，通过搜索引擎获取知识的方式，一方面浪费用户大量的时间；另一方面在医疗疾病询问的领域，信息源鱼龙混杂，用户辨别能力有限，存在被误导的可能性。传统的问答社区需人工编辑答案，用户等待时间较长，伴随着NLP、知识图谱等人工智能技术的发展，以问答的形式为用户提供即时的健康信息服务成为可能，伴随人工智能的发展，图像识别技术的成熟，医疗诊断也从语言交流发展到可以实现“面诊”。
所以需要一个新型的智能诊断***，该***能够满足用户对特定面瘫医疗领域的诊断需求，能够识别出用户的面部变化并且可以快速正确的给出诊断。
发明内容
本发明的目的在于提供一种基于深度学习的面瘫诊断***及其***建立方法，用以解决现有通过搜索引擎获取医疗知识耗时长、信息准确性难判和无法“面诊”的问题。
为解决上述技术问题，本发明采用如下技术方案：
一种基于深度学习的面瘫诊断***，所述***包括图像拾取装置、图像识别模块、图像识别库、面瘫医学知识库、问答知识库、推理诊断答复模块和答复反馈模块；
所述图像拾取装置用于将用户的脸部图像信息转换为电信号，输入图像识别模块；
所述图像识别模块利用图像识别库的人脸图像识别信息，用于分析用户输入的人脸图像信息，分析出用户的脸部特征；
所述推理诊断答复模块接收图像识别模块的脸部特征，根据脸部特征检索面瘫医学知识库和问答知识库，当缺少相关诊断输入时，将缺失的诊断输入内容发送给答复反馈模块，反馈给用户补充信息，当获得完整的诊断输入后，推理诊断答复模块获取可信度最高的答案，发送给答复反馈模块；
所述答复反馈模块用于将答复通过语言、文字或者照片反馈给用户。
优选的，上述图像拾取装置包括智能设备的摄像头、手机的摄像头和电脑的摄像头，用于捕获一段用户的脸部活动图像。
优选的，上述图像识别模块分析出来的问题内容包括脸部表情变化、症状和动作。
优选的，上述答复反馈模块通过智能设备的话筒或者显示器、手机的扬声器或者屏幕、电脑的扬声器或者屏幕将语言、文字或者照片反馈给用户。
一种基于深度学习的面瘫诊断***建立方法，建立方法具体包括如下步骤：
Step1：建立***运行所需的图像拾取装置和答复反馈模块的硬件，实现***与用户之间信息的交互；
Step2：基于现有成熟的图像识别库构建图像识别模块，写入***软件；
Step3：录入现有与面瘫相关的医疗知识构建面瘫医学知识库，并在***运行过程中不断完善已构建的面瘫医学知识库；
Step4：基于现有网络与面瘫相关的问答，构建问答知识库；
Step5：在***运行过程中，组织医生对***答复结果进行审阅修改，***通过医生的审阅修改，不断完善更新面瘫知识库和问答知识库。
优选的，上述Step3中的现有与面瘫相关的医疗知识来源包括图书、 的期刊和高级会议论文。
优选的，上述Step4中的现有网络与面瘫相关的问答包括专业论坛、医院的问答网页和专业的医疗软件信息。
本发明具有如下优点：
采取本发明基于深度学习的面瘫诊断***的方案后，实现了对现有医疗知识和问答***的结合，实现了对用户进行“面诊”；整合现有医疗体系和问答***知识的基础上，结合医生的实时反馈同步刷新知识库，完成了对用户疾病给出正确诊断的***建设，使得用户可以通过该***获得及时可靠的医疗建议或者医疗诊断。
附图说明
图1为本发明一种基于深度学习的面瘫诊断***实施例的工作流程图；
图2为本发明一种基于深度学习的面瘫诊断***建立方法实施例的建设过程流程图；
图3为本发明一种基于深度学习的面瘫诊断***实施例的图像识别模块检测的脸部特征点位置图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例1
参见图1，一种基于深度学习的面瘫诊断***，所述***包括图像拾取装置、图像识别模块、图像识别库、面瘫医学知识库、问答知识库、推理诊断答复模块和答复反馈模块；
所述图像拾取装置用于将用户的脸部图像信息转换为电信号，输入图像识别模块；
所述图像识别模块利用图像识别库的人脸图像识别信息，用于分析用户输入的人脸图像信息，分析出用户的脸部特征，参见图3，图像识别模块针对人脸肌肉分布，对图中68个特征点进行识别，跟踪特征点的运动规律，分析出用户脸部肌肉运动情况，以进行疾病诊断；
所述推理诊断答复模块接收图像识别模块的脸部特征，根据脸部特征检索面瘫医学知识库和问答知识库，当缺少相关诊断输入时，将缺失的诊断输入内容发送给答复反馈模块，反馈给用户补充信息，当获得完整的诊断输入后，推理诊断答复模块获取可信度最高的答案，发送给答复反馈模块；
所述答复反馈模块用于将答复通过语言、文字或者照片反馈给用户。
实施例中，上述图像拾取装置包括智能设备的摄像头、手机的摄像头和电脑的摄像头，用于捕获一段用户的脸部活动图像。
实施例中，上述图像识别模块分析出来的问题内容包括脸部表情变化、症状和动作。
实施例中，上述答复反馈模块通过智能设备的话筒或者显示器、手机的扬声器或者屏幕、电脑的扬声器或者屏幕将语言、文字或者照片反馈给用户。
一种基于深度学习的面瘫诊断***建立方法，建立方法具体包括如下步骤：
Step1：建立***运行所需的图像拾取装置和答复反馈模块的硬件，实现***与用户之间信息的交互；
Step2：基于现有成熟的图像识别库构建图像识别模块，写入***软件；
Step3：录入现有与面瘫相关的医疗知识构建面瘫医学知识库，并在***运行过程中不断完善已构建的面瘫医学知识库；
Step4：基于现有网络与面瘫相关的问答，构建问答知识库；
Step5：在***运行过程中，组织医生对***答复结果进行审阅修改，***通过医生的审阅修改，不断完善更新面瘫知识库和问答知识库。
实施例中，上述Step3中的现有与面瘫相关的医疗知识来源包括图书、 的期刊和高级会议论文。
实施例中，上述Step4中的现有网络与面瘫相关的问答包括专业论坛、医院的问答网页和专业的医疗软件信息。
采取本发明基于深度学习的面瘫诊断***的方案后，实现了对现有医疗知识和问答***的结合，实现了对用户进行“面诊”；整合现有医疗体系和问答***知识的基础上，结合医生的实时反馈同步刷新知识库，完成了对用户疾病给出正确诊断的***建设，使得用户可以通过该***获得及时可靠的医疗建议或者医疗诊断。
在实际使用时，随着用户数量的增加，诊断次数的上升，伴随医生对结果的审阅，***通过自主学习，诊断准确性和可靠性逐渐上升，伴随医疗的逐步发展获得更加准确和可靠的诊断能力。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (7)

1.一种基于深度学习的面瘫诊断***，其特征在于：所述***包括图像拾取装置、图像识别模块、图像识别库、面瘫医学知识库、问答知识库、推理诊断答复模块和答复反馈模块；
所述图像拾取装置用于将用户的脸部图像信息转换为电信号，输入图像识别模块；
所述图像识别模块利用图像识别库的人脸图像识别信息，用于分析用户输入的人脸图像信息，分析出用户的脸部特征；
所述推理诊断答复模块接收图像识别模块的脸部特征，根据脸部特征检索面瘫医学知识库和问答知识库，当缺少相关诊断输入时，将缺失的诊断输入内容发送给答复反馈模块，反馈给用户补充信息，当获得完整的诊断输入后，推理诊断答复模块获取可信度最高的答案，发送给答复反馈模块；
所述答复反馈模块用于将答复通过语言、文字或者照片反馈给用户。
2.根据权利要求1所述的一种基于深度学习的面瘫诊断***，其特征在于：所述图像拾取装置包括智能设备的摄像头、手机的摄像头和电脑的摄像头，用于捕获一段用户的脸部活动图像。
3.根据权利要求1所述的一种基于深度学习的面瘫诊断***，其特征在于：所述图像识别模块分析出来的问题内容包括脸部表情变化、症状和动作。
4.根据权利要求1所述的一种基于深度学习的面瘫诊断***，其特征在于：所述答复反馈模块通过智能设备的话筒或者显示器、手机的扬声器或者屏幕、电脑的扬声器或者屏幕将语言、文字或者照片反馈给用户。
5.一种基于深度学习的面瘫诊断***建立方法，其特征在于，建立方法具体包括如下步骤：
Step1：建立***运行所需的图像拾取装置和答复反馈模块的硬件，实现***与用户之间信息的交互；
Step2：基于现有成熟的图像识别库构建图像识别模块，写入***软件；
Step3：录入现有与面瘫相关的医疗知识构建面瘫医学知识库，并在***运行过程中不断完善已构建的面瘫医学知识库；
Step4：基于现有网络与面瘫相关的问答，构建问答知识库；
Step5：在***运行过程中，组织医生对***答复结果进行审阅修改，***通过医生的审阅修改，不断完善更新面瘫知识库和问答知识库。
6.根据权利要求5所述一种基于深度学习的面瘫诊断***建立方法，其特征在于：所述Step3中的现有与面瘫相关的医疗知识来源包括图书、 的期刊和高级会议论文。
7.根据权利要求5所述一种基于深度学习的面瘫诊断***建立方法，其特征在于：所述Step4中的现有网络与面瘫相关的问答包括专业论坛、医院的问答网页和专业的医疗软件信息。
CN201910391221.9A 2019-06-26 2019-06-26 一种基于深度学习的面瘫诊断***及其***建立方法 Pending CN110097970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910391221.9A CN110097970A (zh) 2019-06-26 2019-06-26 一种基于深度学习的面瘫诊断***及其***建立方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910391221.9A CN110097970A (zh) 2019-06-26 2019-06-26 一种基于深度学习的面瘫诊断***及其***建立方法

Publications (1)

Publication Number Publication Date
CN110097970A true CN110097970A (zh) 2019-08-06

Family

ID=67447758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910391221.9A Pending CN110097970A (zh) 2019-06-26 2019-06-26 一种基于深度学习的面瘫诊断***及其***建立方法

Country Status (1)

Country Link
CN (1) CN110097970A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126180A (zh) * 2019-12-06 2020-05-08 四川大学 一种基于计算机视觉的面瘫严重程度自动检测***
CN111553250A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN111613306A (zh) * 2020-05-19 2020-09-01 南京审计大学 一种多特征融合的面瘫自动评估方法
CN111710439A (zh) * 2020-06-15 2020-09-25 广东徕康医疗科技有限公司 一种基层医疗查体及辅助智能上传***及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902672A (zh) * 2014-03-19 2014-07-02 微梦创科网络科技（中国）有限公司 问答***及其问答处理方法
CN105095272A (zh) * 2014-05-12 2015-11-25 阿里巴巴集团控股有限公司 基于图像识别的问答处理方法、装置及***
CN105589844A (zh) * 2015-12-18 2016-05-18 北京中科汇联科技股份有限公司 一种用于多轮问答***中缺失语义补充的方法
CN106682449A (zh) * 2017-03-01 2017-05-17 中国科学院苏州生物医学工程技术研究所 基于云数据库的皮肤病图谱辅助诊断***
CN106709254A (zh) * 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种医疗诊断机器人***
CN107015983A (zh) * 2016-01-27 2017-08-04 阿里巴巴集团控股有限公司 一种用于智能问答中提供知识信息的方法与设备
CN107278302A (zh) * 2017-03-02 2017-10-20 深圳前海达闼云端智能科技有限公司 一种机器人交互方法及交互机器人
CN108198620A (zh) * 2018-01-12 2018-06-22 洛阳飞来石软件开发有限公司 一种基于深度学习的皮肤疾病智能辅助诊断***
CN109284363A (zh) * 2018-12-03 2019-01-29 北京羽扇智信息科技有限公司 一种问答方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902672A (zh) * 2014-03-19 2014-07-02 微梦创科网络科技（中国）有限公司 问答***及其问答处理方法
CN105095272A (zh) * 2014-05-12 2015-11-25 阿里巴巴集团控股有限公司 基于图像识别的问答处理方法、装置及***
CN105589844A (zh) * 2015-12-18 2016-05-18 北京中科汇联科技股份有限公司 一种用于多轮问答***中缺失语义补充的方法
CN107015983A (zh) * 2016-01-27 2017-08-04 阿里巴巴集团控股有限公司 一种用于智能问答中提供知识信息的方法与设备
CN106709254A (zh) * 2016-12-29 2017-05-24 天津中科智能识别产业技术研究院有限公司 一种医疗诊断机器人***
CN106682449A (zh) * 2017-03-01 2017-05-17 中国科学院苏州生物医学工程技术研究所 基于云数据库的皮肤病图谱辅助诊断***
CN107278302A (zh) * 2017-03-02 2017-10-20 深圳前海达闼云端智能科技有限公司 一种机器人交互方法及交互机器人
CN108198620A (zh) * 2018-01-12 2018-06-22 洛阳飞来石软件开发有限公司 一种基于深度学习的皮肤疾病智能辅助诊断***
CN109284363A (zh) * 2018-12-03 2019-01-29 北京羽扇智信息科技有限公司 一种问答方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126180A (zh) * 2019-12-06 2020-05-08 四川大学 一种基于计算机视觉的面瘫严重程度自动检测***
CN111126180B (zh) * 2019-12-06 2022-08-05 四川大学 一种基于计算机视觉的面瘫严重程度自动检测***
CN111553250A (zh) * 2020-04-25 2020-08-18 深圳德技创新实业有限公司 一种基于人脸特征点的精准面瘫程度评测方法及装置
CN111613306A (zh) * 2020-05-19 2020-09-01 南京审计大学 一种多特征融合的面瘫自动评估方法
CN111710439A (zh) * 2020-06-15 2020-09-25 广东徕康医疗科技有限公司 一种基层医疗查体及辅助智能上传***及方法

Similar Documents

Publication Publication Date Title
CN110097970A (zh) 一种基于深度学习的面瘫诊断***及其***建立方法
Hassouneh et al. Development of a real-time emotion recognition system using facial expressions and EEG based on machine learning and deep neural network methods
Luo et al. ARBEE: Towards automated recognition of bodily expression of emotion in the wild
Di Nuovo et al. Deep learning systems for estimating visual attention in robot-assisted therapy of children with autism and intellectual disability
CN105528531A (zh) 一种远程医疗***
CN109512384A (zh) 头皮检测设备
Chen et al. A novel approach to wearable image recognition systems to aid visually impaired people
CN104965989B (zh) 一种移动医疗信息***
Jabnoun et al. Object recognition for blind people based on features extraction
CN112635052A (zh) 一种可调节的医疗健康信息管理咨询用服务***
CN103841175A (zh) 一种图像特征信息传输方法、装置及***
Hamoud et al. Neural network model combination for video-based blood pressure estimation: New approach and evaluation
Abdulghafor et al. An analysis of body language of patients using artificial intelligence
Nan et al. Predicting task-driven attention via integrating bottom-up stimulus and top-down guidance
Longin et al. Augmenting perception: How artificial intelligence transforms sensory substitution
CN104992392B (zh) 一种用于移动医疗的装置
CN109935320A (zh) 一种常见皮肤病网络辅助诊断***
CN108279778A (zh) 用户交互方法、装置以及***
CN109872806A (zh) 中医四诊信息采集整合***及方法
CN110838357A (zh) 基于人脸识别及动捕的注意力全息智能训练***
CN106997449A (zh) 具有人脸识别功能的机器人和人脸识别方法
US20190332899A1 (en) Analysis of image media corresponding to a communication session
Gutstein et al. Hand-eye coordination: automating the annotation of physician-patient interactions
Wu et al. Automatic mimicry detection in medical consultations
Gutstein et al. Optical flow, positioning, and eye coordination: automating the annotation of physician-patient interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190806

WD01 Invention patent application deemed withdrawn after publication