CN110809037B - 一种基于深度多元特征的物联网皮肤镜*** - Google Patents

一种基于深度多元特征的物联网皮肤镜*** Download PDF

Info

Publication number
CN110809037B
CN110809037B CN201911034898.3A CN201911034898A CN110809037B CN 110809037 B CN110809037 B CN 110809037B CN 201911034898 A CN201911034898 A CN 201911034898A CN 110809037 B CN110809037 B CN 110809037B
Authority
CN
China
Prior art keywords
skin
dermatoscope
skin disease
module
expert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911034898.3A
Other languages
English (en)
Other versions
CN110809037A (zh
Inventor
许耀钊
吴秋霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911034898.3A priority Critical patent/CN110809037B/zh
Publication of CN110809037A publication Critical patent/CN110809037A/zh
Application granted granted Critical
Publication of CN110809037B publication Critical patent/CN110809037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明公开了一种基于深度多元特征的物联网皮肤镜***,包括手持皮肤镜终端、皮肤镜服务器、在线专家***和用户应用模块,手持皮肤镜终端通过内置一张4G物联网卡实现无线通讯,使得设备使用不受区域地点限制,调用远程高性能服务器计算机辅助医疗诊断;皮肤镜服务器中的基于深度多元特征的皮肤病模型通过结合深度特征和手工选取的多元特征实现一种通用性更高的皮肤病检测方法。本发明可以解决皮肤病人不便前往医院检查和医院所在地区偏僻无法配置高性能皮肤镜设备的问题,提高了计算机辅助医疗诊断的有效性,整合了不同地区的医疗资源。

Description

一种基于深度多元特征的物联网皮肤镜***
技术领域
本发明涉及医学图像处理的技术领域,尤其是指一种基于深度多元特征的物联网皮肤镜***。
背景技术
随着深度学习在医学图像处理领域的发展,医院、科研机构逐渐开始使用计算机技术辅助医疗诊断。在皮肤病的诊断手段中,基于皮肤镜图像的智能识别已有大量的研究。受限于皮肤镜检查设备的原因,部分偏远的诊所无法配备皮肤镜设备进行皮肤镜检查,行动不便的病人难以前往医院进行检查,导致皮肤镜检查技术应用受限制。
针对皮肤镜设备的问题,现阶段主流设备有两类,一类是小型手持皮肤镜,体积较小方便携带,但仅对皮肤进行放大和采集数据,无法结合计算机技术辅助诊断,无法即时进行诊断;另一类是大型医用皮肤镜,包含计算机、主控台、手持采集器、显示器等模块,不便于进行大范围的移动,仅能在专业医院内使用。因此需要提出一种便携的皮肤镜***,并且可以通过远程高性能服务器进行计算机辅助诊断。
另外,面对皮损分类的问题,目前的分类主要基于两大类的特征:手工选取的多元特征和深度学习提取的深度特征。手工选取的多元特征基于专家的大量实验和研究总结提炼得到,在具有大量的先验知识的情况下,可以有针对性地选择合适的特征达到分类的效果;深度学习提取的深度特征则是通过深度网络和大量数据进行训练,经过大量的运算筛选出最适合的特征,因此适用于具有大量数据的场景。对于复杂的实际应用场景,单一一类特征无法应对众多情况,需要提出一种具有更高兼容性的方法进行识别和分类。
综上所述,可以利用物联网技术让手持皮肤镜设备访问和使用远程高性能服务器辅助诊断,同时在服务器中通过结合手工特征与深度特征提供更通用的皮肤镜检测技术。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于深度多元特征的物联网皮肤镜***,通过物联网技术连接手持皮肤镜终端与皮肤镜服务器,兼具便携与计算机辅助诊断优点,解决单一特征分类算法应用范围有限,无法适应大部分的生产环境的问题,使得计算机辅助诊断技术得到更广泛的应用。
为实现上述目的,本发明所提供的技术方案为:一种基于深度多元特征的物联网皮肤镜***,包括:
手持皮肤镜终端,用于给医务人员对皮肤病人进行皮肤镜图像采集,通过物联网通讯模块连接到皮肤镜服务器和在线专家***,能够为医务人员提供就诊确认、皮肤镜图像采集、皮肤镜数据上传、在线专家呼叫、诊断结果查看的操作;
皮肤镜服务器,由一台内存不少于32GB、显存不少于12GB、CPU核心数不少于8核的服务器搭建,用于存储和管理手持皮肤镜终端进行皮肤镜图像采集得到的皮肤镜图像数据,所述皮肤镜服务器能够将皮肤镜图像数据进行预处理,对预处理后的皮肤镜图像数据进行皮肤病检测,或对预处理后的皮肤镜图像数据进行皮肤病模型训练,并为手持皮肤镜终端提供调用的API接口;
在线专家***,用于管理皮肤病专家信息,响应手持皮肤镜终端发起的在线专家呼叫,提供web界面用于管理诊断流程、收集和管理本地皮肤镜数据库;
用户应用模块,用于病人管理个人病历、预约上门检查、查询医院信息和查看诊断结果。
进一步,所述手持皮肤镜终端包括皮肤镜图像采集单元、***应用模块、物联网通讯模块、触摸屏,其中:
所述皮肤镜图像采集单元用于进行皮肤镜图像采集,由光学放大元件、摄像头、数字图像采集卡组成,通过光学放大元件对皮肤表面进行放大并由摄像头和数字图像采集卡采集为数字图像,形成皮肤镜图像;
所述***应用模块由操作***和应用软件组成,操作***用于提供底层硬件的调用接口,包括皮肤镜图像采集单元、物联网通讯模块、触摸屏的调用接口;应用软件基于底层硬件提供高级的应用能力,有皮肤镜图像采集的流程控制、利用物联网通讯模块调用皮肤镜服务器的API接口模块及发起在线专家呼叫;
所述物联网通讯模块包含4G物联网卡及物联网通讯模组,4G物联网卡开通联网功能,通过物联网通讯模组连接到无线网络,利用无线专网技术连接到皮肤镜服务器和在线专家***,利用无线专网技术能够确保数据传输中不会被非法拦截和窃取,同时保证传输的稳定性;
所述触摸屏负责提供指令输入与显示,医务人员能够通过触摸屏根据提示信息进行就诊确认、皮肤镜图像采集、皮肤镜数据上传、在线专家呼叫、诊断结果查看的操作。
进一步,所述皮肤镜服务器包括基于深度多元特征的皮肤病模型、图像预处理模块、皮肤病检测模块、皮肤病模型训练模块、API接口模块、数据库管理模块,其中:
所述基于深度多元特征的皮肤病模型由python语言搭建,是一个基于深度神经网络并结合手工选取的多元特征的模型,该皮肤病模型包含模型结构和模型参数两部分,模型结构包含两个输入,第一个是固定大小的三通道图像,第二个是手工选取的多元特征,包含LBP图谱特征和灰度共生矩阵特征;基于深度神经网络,该皮肤病模型能够通过训练挖掘深度特征,结合手工选取的多元特征,使得模型参数快速收敛,在皮肤镜图像少时得到能够使用的预测结果,在皮肤镜图像多时得到准确的预测结果;该皮肤病模型对输入的固定大小的三通道图像进行四次卷积、激活、池化后得到深度特征,将深度特征与输入的手工选取的多元特征中的LBP图谱特征进行融合,再进行三次卷积、激活、池化后,与手工选取的多元特征中的灰度共生矩阵特征融合,得到深度多元特征,将深度多元特征通过SVM分类器进行分类,得到基于深度多元特征的皮肤病模型的输出;模型参数需要通过皮肤病模型训练模块进行皮肤病模型训练得到,用于皮肤病检测模块进行皮肤病检测;
所述图像预处理模块负责对手持皮肤镜终端采集到的皮肤镜图像进行预处理,由于手持皮肤镜终端采集到的皮肤镜图像不适合直接用于皮肤病检测,需要归一化为适合计算机处理的固定大小的三通道图像,并提取其LBP图谱特征和灰度共生矩阵特征组成手工选取的多元特征;
所述皮肤病检测模块负责将经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征输入到基于深度多元特征的皮肤病模型,执行皮肤病检测,得到基于深度多元特征的皮肤病模型的输出作为预测结果,将预测结果进行保存;
所述皮肤病模型训练模块负责将经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征输入到基于深度多元特征的皮肤病模型,执行皮肤病模型训练,得到基于深度多元特征的皮肤病模型的模型参数,并将模型参数进行保存;
所述API接口模块负责管理和提供API接口,以Web Service的形式向手持皮肤镜终端和在线专家***提供服务,手持皮肤镜终端和在线专家***能够通过API接口模块进行皮肤镜数据上传、启动皮肤病检测和启动皮肤病模型训练,API接口模块还能够记录每个用户调用各个API接口的次数和时间;
所述数据库管理模块用于存储和管理图像预处理模块的运行记录,存储和管理皮肤病检测模块的运行记录,存储和管理皮肤病模型训练模块的运行记录,存储和管理手持皮肤镜终端采集到的皮肤镜图像,存储和管理经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征。
进一步,所述在线专家***包括专家管理模块、诊断流程管理模块、皮肤病数据库,其中:
所述专家管理模块管理皮肤病专家信息数据库,实现皮肤病专家实名制,记录皮肤病专家的诊断结果,接收手持皮肤镜终端发起的在线专家呼叫,并将在线专家呼叫推送给皮肤病专家信息数据库中的皮肤病专家,由皮肤病专家以在线抢单的形式响应在线专家呼叫,记录每个皮肤病专家响应在线专家呼叫的次数,作为皮肤病专家的绩效参考依据;
所述诊断流程管理模块制定了皮肤病诊断的流程,先由皮肤病人在线预约或者到医院进行皮肤病检测时生成一个就诊编号,就诊时皮肤病人根据就诊编号进行皮肤病检测,通过手持皮肤镜终端采集皮肤镜图像后,发起在线专家呼叫,并连接到皮肤镜服务器进行皮肤镜数据上传,如果有皮肤病专家响应,结合皮肤镜服务器的皮肤病检测模块的预测结果在线确诊,得到诊断结果;如果规定时间内无皮肤病专家响应,则将皮肤病检测模块的预测结果作为初诊结果,等待皮肤病专家信息数据库的皮肤病专家对初诊结果进行确诊后,更新对应就诊编号的诊断结果,将诊断结果推送至用户应用模块;
所述皮肤病数据库用于记录就诊编号、皮肤镜图像及皮肤病专家和诊断结果的关联关系,定期将皮肤镜图像和诊断结果进行皮肤镜数据上传,上传至皮肤镜服务器,通过皮肤镜服务器的数据库管理模块更新皮肤镜图像,并使用皮肤镜服务器的API接口模块启动皮肤病模型训练。
进一步,所述用户应用模块为手机端应用程序,包括个人病历管理、预约上门检查、医院信息查询、诊断结果推送,其中:
所述个人病历管理用于给皮肤病人查看历史皮肤病检测的诊断结果,给皮肤病专家提供历史参考意见;
所述预约上门检查用于预约医务人员上门进行皮肤病检测,利于行动不便或不便亲自前往医院的皮肤病人联系医务人员及时就诊;
所述医院信息查询给皮肤病人提供附近医院指引,查看医院具有的相关设备,查看皮肤病专家信息的功能;
所述诊断结果推送负责给皮肤病人推送皮肤病检测的诊断结果及相关治疗意见。
本发明与现有技术相比,具有如下优点与有益效果:
1、利用物联网技术在使用高性能服务器进行运算的同时保证了终端设备的便携性,利用无线专网技术能够确保数据传输中不会被非法拦截和窃取,同时保证传输的稳定性。
2、利用专门的皮肤镜服务器进行皮肤病检测和皮肤病模型训练,通过WebService的形式向手持皮肤镜终端和在线专家***提供服务,可以在不影响用户体验的前提下快速完成训练和检测工作,及时给予反馈,可以有效降低终端设备的运算压力,提高手持皮肤镜终端的使用体验。
3、本发明采用的皮肤病模型是一个基于深度神经网络并结合手工选取的多元特征的模型,该皮肤病模型能够通过训练挖掘深度特征,结合手工选取的多元特征,使得模型参数快速收敛,在皮肤镜图像少时得到能够使用的预测结果,在皮肤镜图像多时得到准确预测结果,可以在不改变模型的前提下适用于大多数生产环境,方便***的快速部署,有效降低建设成本。
附图说明
图1为实施例中物联网皮肤镜***各个模块的关系示意图。
图2为实施例中物联网皮肤镜***各个模块的调用过程示意图。
图3为基于深度多元特征的皮肤病模型示意图。
图4为一次皮肤病诊断的流程图。
具体实施方式
下面结合具体实施例子对本发明作进一步说明。
如图1和图2所示,本实施例所提供的基于深度多元特征的物联网皮肤镜***,是包含硬件和软件的整体解决方案,医院总部部署一台内存不少于32GB,显存不少于12GB,CPU核心数不少于8核的高性能服务器,每个医院分部部署一台应用服务器,并根据所在医院规模配置若干手持皮肤镜终端,通过物联网卡实现手持皮肤镜终端连接到网络,以WebService的形式调用皮肤镜服务器和在线专家***的API接口,皮肤镜服务器通过调用Python程序进行皮肤病检测。
具体地,所述物联网皮肤镜***,包括有:
手持皮肤镜终端,用于给医务人员对皮肤病人进行皮肤镜图像采集,通过物联网通讯模块连接到皮肤镜服务器和在线专家***,能够为医务人员提供就诊确认、皮肤镜图像采集、皮肤镜数据上传、在线专家呼叫、诊断结果查看的操作;
皮肤镜服务器,在医院总部配置一台内存32GB,显存12GB,8核CPU,256GB***硬盘,2TB数据硬盘的服务器,用于存储和管理手持皮肤镜终端进行皮肤镜图像采集得到的皮肤镜图像数据,皮肤镜服务器能够将皮肤镜图像数据进行预处理,对预处理后的皮肤镜图像数据进行皮肤病检测,或对预处理后的皮肤镜图像数据进行皮肤病模型训练,并为手持皮肤镜终端提供调用的API接口;
在线专家***,在各医院分部配置一台内存32GB,4核CPU,256GB***硬盘,1TB数据硬盘的服务器,用于管理皮肤病专家信息,响应手持皮肤镜终端发起的在线专家呼叫,提供web界面用于管理诊断流程、收集和管理本地皮肤镜数据库;
用户应用模块,以Android应用程序的形式给皮肤病人提供服务,用于病人管理个人病历、预约上门检查、查询医院信息和查看诊断结果。
所述手持皮肤镜终端包括皮肤镜图像采集单元、***应用模块、物联网通讯模块、触摸屏,其中:
所述皮肤镜图像采集单元由光学放大元件,200万像素的CMOS摄像头,电子采集卡组成,通过光学放大元件对皮肤表面进行放大并由摄像头和数字图像采集卡采集为数字图像,形成皮肤镜图像;
所述***应用模块由操作***和应用软件组成,手持皮肤镜终端的操作***采用Linux内核,用于提供底层硬件的调用接口,包括皮肤镜图像采集单元、物联网通讯模块、触摸屏的调用接口;应用软件基于底层硬件提供高级的应用能力,有皮肤镜图像采集的流程控制、利用物联网通讯模块调用皮肤镜服务器的API接口模块及发起在线专家呼叫;
所述物联网通讯模块包含4G物联网卡及物联网通讯模组,物联网卡采用***物联网卡,开通6G流量月套餐,同一医院分部的物联卡流量共享,手持皮肤镜终端通过物联网通讯模组连接到无线网络,利用无线专网技术连接到皮肤镜服务器和在线专家***,利用无线专网技术能够确保数据传输中不会被非法拦截和窃取,同时保证传输的稳定性;
所述触摸屏负责提供指令输入与显示,医务人员能够通过触摸屏根据提示信息进行就诊确认、皮肤镜图像采集、皮肤镜数据上传、在线专家呼叫、诊断结果查看的操作。
所述皮肤镜检测服务器模块包括基于深度多元特征的皮肤病模型,图像预处理模块,皮肤病检测模块,皮肤病模型训练模块,API接口模块,数据库管理模块,其中:
所述基于深度多元特征的皮肤病模型由python语言搭建,是一个基于深度神经网络并结合手工选取的多元特征的模型,该皮肤病模型包含模型结构和模型参数两部分,模型结构如图3所示,包含两个输入,第一个是固定大小的三通道图像,第二个是手工选取的多元特征,包含LBP图谱特征和灰度共生矩阵特征;基于深度神经网络,该皮肤病模型能够通过训练挖掘深度特征,结合手工选取的多元特征,使得模型参数快速收敛,在皮肤镜图像少时得到能够使用的预测结果,在皮肤镜图像多时得到准确的预测结果;该皮肤病模型对输入的固定大小的三通道图像进行四次卷积、激活、池化后得到深度特征,将深度特征与输入的手工选取的多元特征中的LBP图谱特征进行融合,再进行三次卷积、激活、池化后,与手工选取的多元特征中的灰度共生矩阵特征融合,得到深度多元特征,将深度多元特征通过SVM分类器进行分类,得到基于深度多元特征的皮肤病模型的输出;模型参数需要通过皮肤病模型训练模块进行皮肤病模型训练得到,用于皮肤病检测模块进行皮肤病检测;
所述图像预处理模块负责对手持皮肤镜终端采集到的皮肤镜图像进行预处理,由于手持皮肤镜终端采集到的皮肤镜图像不适合直接用于皮肤病检测,需要归一化为长150像素、宽150像素的三通道图像,并提取其LBP图谱特征和灰度共生矩阵特征组成手工选取的多元特征;
所述皮肤病检测模块负责将经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征输入到基于深度多元特征的皮肤病模型,执行皮肤病检测,得到基于深度多元特征的皮肤病模型的输出作为预测结果,将预测结果进行保存;
所述皮肤病模型训练模块负责将经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征输入到基于深度多元特征的皮肤病模型,执行皮肤病模型训练,得到基于深度多元特征的皮肤病模型的模型参数,并将模型参数进行保存;
所述API接口模块负责管理和提供API接口,以Web Service的形式向手持皮肤镜终端和在线专家***提供服务,手持皮肤镜终端和在线专家***能够通过API接口模块进行皮肤镜数据上传、启动皮肤病检测和启动皮肤病模型训练,API接口模块还能够记录每个用户调用各个API接口的次数和时间;
所述数据库管理模块对图像预处理模块的运行记录、皮肤病检测模块的运行记录、皮肤病模型训练模块的运行记录使用Oracle数据库进行存储和维护;手持皮肤镜终端采集到的皮肤镜图像、经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征存储在数据硬盘,索引信息使用Oracle数据库进行存储和管理。
所述在线专家模块包括专家管理模块,诊断流程管理模块,皮肤病数据库,其中:
所述专家管理模块管理皮肤病专家信息数据库,实现皮肤病专家实名制,记录皮肤病专家的诊断结果,接收手持皮肤镜终端发起的在线专家呼叫,并将在线专家呼叫推送给皮肤病专家信息数据库中的皮肤病专家,由皮肤病专家以在线抢单的形式响应在线专家呼叫,记录每个皮肤病专家响应在线专家呼叫的次数,作为皮肤病专家的绩效参考依据;
所述诊断流程管理模块制定了皮肤病诊断的流程,如图4所示,先由皮肤病人通过用户应用模块在线预约或者到医院进行皮肤病检测时生成一个就诊编号,就诊时皮肤病人根据就诊编号进行皮肤病检测,医务人员通过手持皮肤镜终端采集皮肤镜图像后,向在线专家***发起在线专家呼叫,并连接到皮肤镜服务器进行皮肤镜数据上传,如果有皮肤病专家响应,结合皮肤镜服务器的皮肤病检测模块的预测结果在线确诊,得到诊断结果;如果短时间内无皮肤病专家响应,则将皮肤病检测模块的预测结果作为初诊结果,等待皮肤病专家信息数据库的皮肤病专家对初诊结果进行确诊后,更新对应就诊编号的诊断结果,将诊断结果推送至用户应用模块;
所述皮肤病数据库使用Oracle数据库记录就诊编号、皮肤镜图像及皮肤病专家和诊断结果的关联关系,***默认设置每月将皮肤镜图像和诊断结果进行皮肤镜数据上传至皮肤镜服务器,医院分部的管理员可在任意时间手动将皮肤镜数据上传至皮肤镜服务器,医院总部的皮肤病专家每个月通过皮肤镜服务器的数据库管理模块验证新上传的数据可靠性,并更新皮肤镜图像,使用皮肤镜服务器的API接口模块启动皮肤病模型训练。
所述用户应用模块是通过Java语言编写的Android应用程序,皮肤病人通过手机使用用户应用模块,包括个人病历管理、预约上门检查、医院信息查询、诊断结果推送,其中:
所述个人病历管理用于给皮肤病人查看历史皮肤病检测的诊断结果,皮肤病人进行皮肤病检查时,给皮肤病专家提供历史参考意见;
所述预约上门检查用于预约医务人员上门进行皮肤病检测,附近的医院会收到并安排医务人员,向皮肤病人反馈二次确认预约情况,利于行动不便或不便亲自前往医院的皮肤病人联系医务人员及时就诊;
所述医院信息查询给皮肤病人提供附近医院指引,查看医院具有的相关设备,查看皮肤病专家信息的功能;
所述诊断结果推送负责给皮肤病人推送皮肤病检测的诊断结果及相关治疗意见。
以上所述实施例只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。

Claims (4)

1.一种基于深度多元特征的物联网皮肤镜***,其特征在于,包括:
手持皮肤镜终端,用于给医务人员对皮肤病人进行皮肤镜图像采集,通过物联网通讯模块连接到皮肤镜服务器和在线专家***,能够为医务人员提供就诊确认、皮肤镜图像采集、皮肤镜数据上传、在线专家呼叫、诊断结果查看的操作;
皮肤镜服务器,由一台内存不少于32GB、显存不少于12GB、CPU核心数不少于8核的服务器搭建,用于存储和管理手持皮肤镜终端进行皮肤镜图像采集得到的皮肤镜图像数据,所述皮肤镜服务器能够将皮肤镜图像数据进行预处理,对预处理后的皮肤镜图像数据进行皮肤病检测,或对预处理后的皮肤镜图像数据进行皮肤病模型训练,并为手持皮肤镜终端提供调用的API接口;
在线专家***,用于管理皮肤病专家信息,响应手持皮肤镜终端发起的在线专家呼叫,提供web界面用于管理诊断流程、收集和管理本地皮肤镜数据库;
用户应用模块,用于病人管理个人病历、预约上门检查、查询医院信息和查看诊断结果;
所述皮肤镜服务器包括基于深度多元特征的皮肤病模型、图像预处理模块、皮肤病检测模块、皮肤病模型训练模块、API接口模块、数据库管理模块,其中:
所述基于深度多元特征的皮肤病模型由python语言搭建,是一个基于深度神经网络并结合手工选取的多元特征的模型,该皮肤病模型包含模型结构和模型参数两部分,模型结构包含两个输入,第一个是固定大小的三通道图像,第二个是手工选取的多元特征,包含LBP图谱特征和灰度共生矩阵特征;基于深度神经网络,该皮肤病模型能够通过训练挖掘深度特征,结合手工选取的多元特征,使得模型参数快速收敛,在皮肤镜图像少时得到能够使用的预测结果,在皮肤镜图像多时得到准确的预测结果;该皮肤病模型对输入的固定大小的三通道图像进行四次卷积、激活、池化后得到深度特征,将深度特征与输入的手工选取的多元特征中的LBP图谱特征进行融合,再进行三次卷积、激活、池化后,与手工选取的多元特征中的灰度共生矩阵特征融合,得到深度多元特征,将深度多元特征通过SVM分类器进行分类,得到基于深度多元特征的皮肤病模型的输出;模型参数需要通过皮肤病模型训练模块进行皮肤病模型训练得到,用于皮肤病检测模块进行皮肤病检测;
所述图像预处理模块负责对手持皮肤镜终端采集到的皮肤镜图像进行预处理,由于手持皮肤镜终端采集到的皮肤镜图像不适合直接用于皮肤病检测,需要归一化为适合计算机处理的固定大小的三通道图像,并提取其LBP图谱特征和灰度共生矩阵特征组成手工选取的多元特征;
所述皮肤病检测模块负责将经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征输入到基于深度多元特征的皮肤病模型,执行皮肤病检测,得到基于深度多元特征的皮肤病模型的输出作为预测结果,将预测结果进行保存;
所述皮肤病模型训练模块负责将经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征输入到基于深度多元特征的皮肤病模型,执行皮肤病模型训练,得到基于深度多元特征的皮肤病模型的模型参数,并将模型参数进行保存;
所述API接口模块负责管理和提供API接口,以Web Service的形式向手持皮肤镜终端和在线专家***提供服务,手持皮肤镜终端和在线专家***能够通过API接口模块进行皮肤镜数据上传、启动皮肤病检测和启动皮肤病模型训练,API接口模块还能够记录每个用户调用各个API接口的次数和时间;
所述数据库管理模块用于存储和管理图像预处理模块的运行记录,存储和管理皮肤病检测模块的运行记录,存储和管理皮肤病模型训练模块的运行记录,存储和管理手持皮肤镜终端采集到的皮肤镜图像,存储和管理经图像预处理模块预处理后得到的固定大小的三通道图像和手工选取的多元特征。
2.根据权利要求1所述的一种基于深度多元特征的物联网皮肤镜***,其特征在于:所述手持皮肤镜终端包括皮肤镜图像采集单元、***应用模块、物联网通讯模块、触摸屏,其中:
所述皮肤镜图像采集单元用于进行皮肤镜图像采集,由光学放大元件、摄像头、数字图像采集卡组成,通过光学放大元件对皮肤表面进行放大并由摄像头和数字图像采集卡采集为数字图像,形成皮肤镜图像;
所述***应用模块由操作***和应用软件组成,操作***用于提供底层硬件的调用接口,包括皮肤镜图像采集单元、物联网通讯模块、触摸屏的调用接口;应用软件基于底层硬件提供高级的应用能力,有皮肤镜图像采集的流程控制、利用物联网通讯模块调用皮肤镜服务器的API接口模块及发起在线专家呼叫;
所述物联网通讯模块包含4G物联网卡及物联网通讯模组,4G物联网卡开通联网功能,通过物联网通讯模组连接到无线网络,利用无线专网技术连接到皮肤镜服务器和在线专家***,利用无线专网技术能够确保数据传输中不会被非法拦截和窃取,同时保证传输的稳定性;
所述触摸屏负责提供指令输入与显示,医务人员能够通过触摸屏根据提示信息进行就诊确认、皮肤镜图像采集、皮肤镜数据上传、在线专家呼叫、诊断结果查看的操作。
3.根据权利要求1所述的一种基于深度多元特征的物联网皮肤镜***,其特征在于:所述在线专家***包括专家管理模块、诊断流程管理模块、皮肤病数据库,其中:
所述专家管理模块管理皮肤病专家信息数据库,实现皮肤病专家实名制,记录皮肤病专家的诊断结果,接收手持皮肤镜终端发起的在线专家呼叫,并将在线专家呼叫推送给皮肤病专家信息数据库中的皮肤病专家,由皮肤病专家以在线抢单的形式响应在线专家呼叫,记录每个皮肤病专家响应在线专家呼叫的次数,作为皮肤病专家的绩效参考依据;
所述诊断流程管理模块制定了皮肤病诊断的流程,先由皮肤病人在线预约或者到医院进行皮肤病检测时生成一个就诊编号,就诊时皮肤病人根据就诊编号进行皮肤病检测,通过手持皮肤镜终端采集皮肤镜图像后,发起在线专家呼叫,并连接到皮肤镜服务器进行皮肤镜数据上传,如果有皮肤病专家响应,结合皮肤镜服务器的皮肤病检测模块的预测结果在线确诊,得到诊断结果;如果规定时间内无皮肤病专家响应,则将皮肤病检测模块的预测结果作为初诊结果,等待皮肤病专家信息数据库的皮肤病专家对初诊结果进行确诊后,更新对应就诊编号的诊断结果,将诊断结果推送至用户应用模块;
所述皮肤病数据库用于记录就诊编号、皮肤镜图像及皮肤病专家和诊断结果的关联关系,定期将皮肤镜图像和诊断结果进行皮肤镜数据上传,上传至皮肤镜服务器,通过皮肤镜服务器的数据库管理模块更新皮肤镜图像,并使用皮肤镜服务器的API接口模块启动皮肤病模型训练。
4.根据权利要求1所述的一种基于深度多元特征的物联网皮肤镜***,其特征在于:所述用户应用模块为手机端应用程序,包括个人病历管理、预约上门检查、医院信息查询、诊断结果推送,其中:
所述个人病历管理用于给皮肤病人查看历史皮肤病检测的诊断结果,给皮肤病专家提供历史参考意见;
所述预约上门检查用于预约医务人员上门进行皮肤病检测,利于行动不便或不便亲自前往医院的皮肤病人联系医务人员及时就诊;
所述医院信息查询给皮肤病人提供附近医院指引,查看医院具有的相关设备,查看皮肤病专家信息的功能;
所述诊断结果推送负责给皮肤病人推送皮肤病检测的诊断结果及相关治疗意见。
CN201911034898.3A 2019-10-29 2019-10-29 一种基于深度多元特征的物联网皮肤镜*** Active CN110809037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911034898.3A CN110809037B (zh) 2019-10-29 2019-10-29 一种基于深度多元特征的物联网皮肤镜***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911034898.3A CN110809037B (zh) 2019-10-29 2019-10-29 一种基于深度多元特征的物联网皮肤镜***

Publications (2)

Publication Number Publication Date
CN110809037A CN110809037A (zh) 2020-02-18
CN110809037B true CN110809037B (zh) 2020-09-22

Family

ID=69489376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911034898.3A Active CN110809037B (zh) 2019-10-29 2019-10-29 一种基于深度多元特征的物联网皮肤镜***

Country Status (1)

Country Link
CN (1) CN110809037B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507414B (zh) * 2020-04-20 2022-02-08 安徽中科首脑智能医疗研究院有限公司 深度学习的皮肤病图片对比分类方法、存储介质和机器人
CN113362933A (zh) * 2021-07-02 2021-09-07 上海法路源医疗器械有限公司 皮肤光学成像及远程会诊***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938026A (zh) * 2012-11-28 2013-02-20 周纯栋 智慧医疗平台
CN108197320A (zh) * 2018-02-02 2018-06-22 北方工业大学 一种多视图图像自动标注方法
CN109272507A (zh) * 2018-07-11 2019-01-25 武汉科技大学 基于结构随机森林模型的相干光断层图像的层分割方法
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app
CN109887589A (zh) * 2019-02-21 2019-06-14 吉林禾熙科技开发有限公司 人工智能医疗大数据***
CN109993103A (zh) * 2019-03-29 2019-07-09 华南理工大学 一种基于点云数据的人体行为识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101903522B1 (ko) * 2015-11-25 2018-11-23 한국전자통신연구원 다차원 건강데이터에 대한 유사사례 검색 방법 및 그 장치
CN106682449A (zh) * 2017-03-01 2017-05-17 中国科学院苏州生物医学工程技术研究所 基于云数据库的皮肤病图谱辅助诊断***
TWI614624B (zh) * 2017-04-24 2018-02-11 太豪生醫股份有限公司 雲端醫療影像分析系統與方法
US10824938B2 (en) * 2017-04-24 2020-11-03 Intel Corporation Specialized fixed function hardware for efficient convolution
US10729907B2 (en) * 2017-10-20 2020-08-04 Neuropace, Inc. Systems and methods for clinical decision making for a patient receiving a neuromodulation therapy based on deep learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938026A (zh) * 2012-11-28 2013-02-20 周纯栋 智慧医疗平台
CN108197320A (zh) * 2018-02-02 2018-06-22 北方工业大学 一种多视图图像自动标注方法
CN109272507A (zh) * 2018-07-11 2019-01-25 武汉科技大学 基于结构随机森林模型的相干光断层图像的层分割方法
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app
CN109887589A (zh) * 2019-02-21 2019-06-14 吉林禾熙科技开发有限公司 人工智能医疗大数据***
CN109993103A (zh) * 2019-03-29 2019-07-09 华南理工大学 一种基于点云数据的人体行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Generative Adversarial Network (GAN) Based Data Augmentation for Palmprint Recognition》;Gengxing Wang等;《2018 Digital Image Computing: Techniques and Applications (DICTA)》;20181213;1-7 *
基于深度学习的皮肤镜图像黑色素瘤检测技术研究;柏朋成;《中国优秀硕士学位论文全文数据库 信息科技辑》;20181215;E072-609 *
深度学习在胎儿超声图像与皮肤镜图像分类中的研究与应用;余镇;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190715;A006-314 *

Also Published As

Publication number Publication date
CN110809037A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
Thomaz et al. Feasibility of identifying eating moments from first-person images leveraging human computation
CN103690240B (zh) 一种医疗***
CN103324831A (zh) 一种远程问诊***
CN103500270A (zh) 可视互动远程医疗咨询服务***
US9529968B2 (en) System and method of integrating mobile medical data into a database centric analytical process, and clinical workflow
CN208985713U (zh) 基于人脸识别的医疗信息***
CN110809037B (zh) 一种基于深度多元特征的物联网皮肤镜***
CN106650292A (zh) 一种具有过程决策支持功能的个人健康记录***
CN113707264A (zh) 基于机器学习的药物推荐方法、装置、设备及介质
Chakraborty et al. Identification of chronic wound status under tele-wound network through smartphone
CN110970137A (zh) 基于5g移动通信的智能云护理***及方法
Zuo et al. Mobile teledermatology: a promising future in clinical practice
CN108154907A (zh) 一种医疗信息录入***及其工作方法
US20230133330A1 (en) Systems and methods for medical resource intelligence
Gezimati et al. Internet of things enabled framework for terahertz and infrared cancer imaging
CN111863178A (zh) 发放医疗报告的方法、装置、介质及电子设备
CN205210954U (zh) 医疗信息管理***
CN102078186B (zh) 生理参数收集方法、手机及***
CN206788862U (zh) 基于云数据库的皮肤病图谱辅助诊断***
CN108550390A (zh) 智慧医疗管理***与管理方法
CN110074759B (zh) 语音数据辅助诊断方法、装置、计算机设备及存储介质
CN112309028A (zh) 一种新型的自助诊疗机及其自助诊疗方法
CN106951697A (zh) 一种基于云数据平台的疾病治疗方案推送***及使用方法
CN105512452A (zh) 一种具有知识库管理功能的远程诊疗***
CN106709224A (zh) 一种糖尿病视网膜病变的诊断***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant