CN114240936B - 耳朵分析检测装置及设备 - Google Patents
耳朵分析检测装置及设备 Download PDFInfo
- Publication number
- CN114240936B CN114240936B CN202210168530.1A CN202210168530A CN114240936B CN 114240936 B CN114240936 B CN 114240936B CN 202210168530 A CN202210168530 A CN 202210168530A CN 114240936 B CN114240936 B CN 114240936B
- Authority
- CN
- China
- Prior art keywords
- ear
- model
- integrity
- image data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 138
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000003862 health status Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 71
- 230000015654 memory Effects 0.000 claims description 48
- 238000012795 verification Methods 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 28
- 238000004891 communication Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 239000003814 drug Substances 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000002932 luster Substances 0.000 description 3
- 210000003734 kidney Anatomy 0.000 description 2
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000001467 acupuncture Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种耳朵分析检测装置及设备，所述耳朵分析检测装置包括：获取模块，用于获取目标用户的耳朵图像数据；分析模块，用于通过已训练好的耳朵光泽度模型和耳朵完整性模型，分别对所述耳朵图像数据进行分析，得到光泽度分析结果以及完整性分析结果，其中，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得；确定模块，用于基于所述光泽度分析结果以及所述完整性分析结果，确定所述目标用户的耳朵健康状态。本申请解决了耳朵分析检测效率较低的技术问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种耳朵分析检测装置及设备。
背景技术
随着人工智能技术的发展，智能化的设备能够大大降低人力劳动成本，但是，在医疗领域的耳朵检测中，往往还是依赖患者亲自前往诊室，通过专业医生观看患者的耳穴得到耳朵分析检测数据，导致耳朵分析检测效率较低。
发明内容
本申请的主要目的在于提供一种耳朵分析检测装置及设备，旨在解决现有技术中的耳朵分析检测效率较低的技术问题。
本申请还提供一种耳朵分析检测装置，所述耳朵分析检测装置为虚拟装置，所述耳朵分析检测装置包括：
获取模块，用于获取目标用户的耳朵图像数据；
分析模块，用于通过已训练好的耳朵光泽度模型和耳朵完整性模型，分别对所述耳朵图像数据进行分析，得到光泽度分析结果以及完整性分析结果，其中，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得；
确定模块，用于基于所述光泽度分析结果以及所述完整性分析结果，确定所述目标用户的耳朵健康状态。
本申请还提供一种耳朵分析检测设备，所述耳朵分析检测设备为实体设备，所述耳朵分析检测设备包括：存储器、处理器以及存储在所述存储器上的耳朵分析检测程序，所述耳朵分析检测程序被所述处理器执行实现如上述的耳朵分析检测装置的步骤。
本申请提供了一种耳朵分析检测装置及设备，相比于现有技术采用的患者亲自前往诊室，通过专业医生观看患者的耳穴得到耳朵分析检测数据的技术手段，本申请包括获取模块、分析模块和确定模块，其中，获取模块，用于获取目标用户的耳朵图像数据，分析模块，用于通过已训练好的耳朵光泽度模型和耳朵完整性模型，分别对所述耳朵图像数据进行分析，得到光泽度分析结果以及完整性分析结果，其中，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得，确定模块，用于基于所述光泽度分析结果以及所述完整性分析结果，确定所述目标用户的耳朵健康状态，实现了通过耳朵光泽度模型和耳朵完整性模型分析耳朵的光泽度和完整性，从而从耳朵光泽度和完整性两个维度来确定耳朵的健康程度，提高耳朵分析的准确性，进一步地，通过基于预先标注有光泽度标签的以及完整性标签的耳朵图像数据对模型训练，从而可通过耳朵光泽度模型和耳朵完整性模型自动进行耳朵分析检测，从而实现在线自动完成耳朵分析检测，无需用户前往医院待医生检查耳朵得到耳朵分析结果，大大减弱了患者的出行必要性，同时减轻了中医的负担，对中医资源进行了合理地配置，从而提高了耳朵分析检测的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域默认技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请耳朵分析检测装置第一实施例的流程示意图；
图2为本申请耳朵分析检测装置第二实施例的流程示意图；
图3为本申请耳朵分析检测装置第三实施例的流程示意图；
图4为本申请耳朵分析检测装置模型结构示意图；
图5为本申请耳朵分析检测装置第四实施例的流程示意图；
图6为本申请实施例方案涉及的硬件运行环境的耳朵分析检测设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种耳朵分析检测装置，在本申请耳朵分析检测装置的第一实施例中，参照图1，所述耳朵分析检测装置包括：
步骤S10，获取模块，用于获取目标用户的耳朵图像数据；
在本实施例中，需要说明的是，用户通过移动终端对耳朵进行拍摄，得到拍摄图像数据，进而将所述拍摄图像数据进行预处理，其中，所述预处理包括对图像数据进行尺寸调整以及对图像数据进行零均值化处理，以排除明度对模型分析预测的影响，从而将预处理后的图像数据作为所述目标用户的耳朵图像数据。
步骤S20，分析模块，用于通过已训练好的耳朵光泽度模型和耳朵完整性模型，分别对所述耳朵图像数据进行分析，得到光泽度分析结果以及完整性分析结果，其中，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得；
在本实施例中，需要说明得是，光泽度是指耳朵光明润泽，光明指的是明亮不晦暗，润泽指的是滋润不干枯，完整性是指耳朵表面光滑无突出、干湿适中无起皮、皮下脂肪及水分分布正常、颜色分布正常以及耳道无异常分泌物等。进一步需要说明的是，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得，其中，所述耳朵光泽度模型和耳朵完整性模型均由特征提取神经网络分别与全连接层连接，以及与长短时记忆网络和全连接层连接搭建获得，其中，所述特征提取神经网络包括ResNet50。
具体地，分别将所述耳朵图像数据输入所述耳朵光泽度模型和耳朵完整性模型，进而通过所述耳朵光泽度模型中的特征提取神经网络对所述耳朵图像数据进行特征提取，得到特征提取结果，进而将所述特征提取结果输入至全连接层，获得有无光泽度的第一概率结果，另外地，将所述特征提取结果输入至预设长短时记忆网络进行学习，并将所述预设长短时记忆网络输出的预测结果输入至全连接层，得到有无光泽度的第二概率结果，进一步地，基于预设权重比例系数，对所述第一概率结果和所述第二概率结果进行加权处理，得到最终的输出结果，并将所述最终的输出结果作为所述光泽度分析结果，另外地，通过所述耳朵完整性模型对耳朵图像数据的分析过程与耳朵光泽度模型的相同，在此不做赘述。
步骤S30，确定模块，用于基于所述光泽度分析结果以及所述完整性分析结果，确定所述目标用户的耳朵健康状态。
在本实施例中，需要说明的是，通常正常健康人的耳朵红润有光泽是先天肾精充足的表现，反之，干枯没有光泽则反映机体肾精不足；耳朵不完整，例如，局部有结节状或条索状***、点状凹陷，而且没有光泽的人，多提示有慢性器质性疾病，如肝硬化、肿瘤等。具体地，基于所述光泽度分析结果以及所述完整性分析结果，若所述光泽度分析结果表示耳朵有光泽度且耳朵完整，则证明所述目标用户的耳朵健康状态处于健康状态，进一步地，若所述光泽度分析结果表示耳朵没有光泽度或者耳朵不完整，则证明所述目标用户的耳朵健康状态处于不健康状态。
其中，所述耳朵分析检测装置还包括：
步骤A10，生成模块，用于基于所述耳朵健康状态，若判定所述目标用户的耳朵健康状态为不健康状态，则基于所述光泽度分析结果以及所述完整性分析结果，生成用户诊疗意见报告。
在本实施例中，需要说明的是，基于所述耳朵健康状态，判断所述目标用户的耳朵是否健康，若判定所述目标用户的耳朵健康状态为不健康状态，可根据无光泽度或者非完整性进行进一步的判断，也即，基于所述光泽度分析结果以及所述完整性分析结果，生成用户诊疗意见报告，从而为用户提供一定的诊疗意见。
本申请实施例提供了一种耳朵分析检测装置，相比于现有技术采用的患者亲自前往诊室，通过专业医生观看患者的耳穴得到耳朵分析检测数据的技术手段，本申请实施例本申请包括获取模块、分析模块和确定模块，其中，获取模块，用于获取目标用户的耳朵图像数据，分析模块，用于通过已训练好的耳朵光泽度模型和耳朵完整性模型，分别对所述耳朵图像数据进行分析，得到光泽度分析结果以及完整性分析结果，其中，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得，确定模块，用于基于所述光泽度分析结果以及所述完整性分析结果，确定所述目标用户的耳朵健康状态，实现了通过耳朵光泽度模型和耳朵完整性模型分析耳朵的光泽度和完整性，从而从耳朵光泽度和完整性两个维度来确定耳朵的健康程度，提高耳朵分析的准确性，进一步地，通过基于预先标注有光泽度标签的以及完整性标签的耳朵图像数据对模型训练，从而可通过耳朵光泽度模型和耳朵完整性模型自动进行耳朵分析检测，从而实现在线自动完成耳朵分析检测，无需用户前往医院待医生检查耳朵得到耳朵分析结果，大大减弱了患者的出行必要性，同时减轻了中医的负担，对中医资源进行了合理地配置，从而提高了耳朵分析检测的效率。
进一步地，参照图2，基于本申请中第一实施例，在本申请的另一实施例中，所述耳朵分析检测装置还包括：
步骤B10，收集模块，用于收集耳朵病例图像数据，并对所述耳朵病例图像数据进行光泽度以及完整性标注，获得具有光泽度标签和完整性标签的目标图像数据；
在本实施例中，具体地，在耳朵病例图像数据库中收集各个收集病例的耳朵病例图像数据，并通过专家人员对所述耳朵病例图像数据进行标注，获得具有光泽度标签和完整性标签的目标图像数据，例如，标注有无光泽度（有光泽度标注为0，无光泽度标注为1），是否完整（完整标注为0，不完整标注为1）。
步骤B20，预处理模块，用于对所述目标图像数据进行预处理，获得预处理图像数据，并将所述预处理图像数据进行划分，获得待训练图像数据和验证图像数据；
在本实施例中，需要说明的是，所述预处理包括尺寸调整、零均值化处理以及数据增强等处理装置，具体地，对所述目标图像数据进行尺寸调整，并且对调整后的图像数据进行零均值化处理，从而消除透明度对模型训练的影响，另外地，根据有光泽度和无光泽度，以及完整和不完整的耳朵图像数据数量，对少数的图像数据进行数据增强处理，得到预处理图像数据，进一步地，对所述预处理图像数据按照光泽度标签和完整性标签对应的比例进行划分，得到所述训练图像数据和所述验证图像数据。
其中，所述预处理模块包括尺寸调整单元和零均值化单元，
步骤B21，所述尺寸调整单元，用于对所述目标图像数据进行尺寸调整，获得调整图像数据；
步骤B22，所述零均值化单元，用于对所述调整图像数据进行零均值化处理以及数据增强处理，得到所述预处理图像数据。
在本实施例中，需要说明的是，为了消除图像尺寸不一致的影响，对所述目标图像数据进行尺寸调整，从而得到尺寸一致的调整图像数据，进而对所述调整图像数据进行零均值化处理，从而消除图像明度对模型训练的影响，进一步地，需要对少数类样本进行数据增强处理，例如，将图像数据进行随机裁剪、旋转等，从而减少样本不平衡带来的影响，提高模型的准确性以及鲁棒性。
步骤B30，模型训练模块，用于基于所述待训练图像数据，分别对所述待训练光泽度模型和所述待训练完整性模型进行迭代训练，获得所述耳朵光泽度模型以及所述耳朵完整性模型。
在本实施例中，需要说明的是，所述待训练光泽度模型和所述待训练完整性模型均是由已训练好的特征提取神经网络与全连接层连接，以及与长短时记忆网络模型和全连接层连接搭建获得。
具体地，将所述待训练图像数据输入至待训练光泽度模型中的已训练好的特征提取神经网络，提取所述待训练图像数据对应的特征提取结果，进而将所述特征提取结果输出至与特征提取神经网络直接连接的全连接层，得到第一输出结果，所述特征提取结果输出至与特征提取神经网络直接连接的长短时记忆网络模型进行迭代学习，并将所述长短时记忆网络模型的输出结果输入至与长短时记忆网络模型连接的全连接层，得到第二输出结果，进而将所述第一输出结果和所述第二输出结果按照各自对应的权重占比进行加权处理，得到最终的光泽度输出结果，进一步地，基于所述光泽度输出结果和所述待训练图像数据对应的光泽度标签，对所述待训练光泽度模型进行迭代训练，获得所述耳朵光泽度模型，耳朵光泽度模型的模型训练过程和耳朵光泽度模型的训练过程相同，在此不做赘述。
其中，所述耳朵分析检测装置还包括：
步骤C10，第三输出模块，分别将所述验证图像数据输入所述耳朵光泽度模型以及所述耳朵完整性模型，得到所述耳朵光泽度模型和所述耳朵完整性模型分别对应的验证结果；
步骤C20，模型评估指标确定模块，用于基于所述耳朵光泽度模型的验证结果和所述验证图像数据的光泽度标签，确定光泽度模型评估指标，并基于所述耳朵完整性模型的验证结果以及所述验证图像数据的完整性标签，确定完整性模型评估指标；
步骤C30，选取模块，用于选取所述光泽度模型评估指标最优的耳朵光泽度模型和选取所述完整性模型评估指标最优的耳朵完整性模型作为最终的耳朵光泽度模型和耳朵完整性模型。
在本实施例中，具体地，分别将所述验证图像数据输入所述耳朵光泽度模型以及所述耳朵完整性模型，得到耳朵光泽度模型对应的验证结果以及耳朵完整性模型对应的验证结果，进而基于所述耳朵光泽度模型的验证结果和所述验证图像数据的光泽度标签，计算光泽度模型评估指标，以及基于所述耳朵完整性模型的验证结果以及所述验证图像数据的完整性标签，计算完整性模型评估指标，其中，所述模型评估指标包括：ROC受试者工作特征曲线、logloss对数损失、AUC曲线下面积值和验证结果的准确率以及召回率中的一种或多种，进一步地，选取所述光泽度模型评估指标最优的耳朵光泽度模型和选取所述完整性模型评估指标最优的耳朵完整性模型作为最终的耳朵光泽度模型和耳朵完整性模型，例如，选取AUC最优的耳朵光泽度模型以及耳朵完整性模型。
本申请实施例提供了一种耳朵分析检测装置，包括收集模块、预处理模块和模型训练模块，其中，收集模块，用于收集耳朵病例图像数据，并对所述耳朵病例图像数据进行光泽度以及完整性标注，获得具有光泽度标签和完整性标签的目标图像数据，预处理模块，用于对所述目标图像数据进行预处理，获得预处理图像数据，并将所述预处理图像数据进行划分，获得待训练图像数据和验证图像数据，进一步地，模型训练模块，用于基于所述待训练图像数据，分别对所述待训练光泽度模型和所述待训练完整性模型进行迭代训练，获得所述耳朵光泽度模型以及所述耳朵完整性模型，实现了根据耳朵的光泽度以及完整性分别训练得到耳朵光泽度模型以及耳朵完整性模型，从而以耳朵光泽度模型以及耳朵完整性模型二维角度来分析用户的耳朵数据，提高模型分析的准确率，进一步地，耳朵光泽度模型以及耳朵完整性模型均由已训练好的特征提取神经网络分别与全连接层连接，以及与长短时记忆网络模型和全连接层连接搭建获得，可使得模型学习到更多的耳朵特征信息，提高模型分析的精确度，并且实现模型在线自动完成耳朵分析检测，无需用户前往医院待医生检查耳朵得到耳朵分析结果，大大减弱了患者的出行必要性，同时减轻了中医的负担，提高了耳朵分析检测的效率。
进一步地，参照图3，基于本申请中第二实施例，在本申请的另一实施例中，所述模型训练模块包括第一特征提取单元、第一输出单元、第一加权处理单元、第一计算单元和第一优化单元，
步骤D10，所述第一特征提取单元，用于基于已训练好的特征提取神经网络，对所述待训练图像数据进行特征提取，获得第一特征提取结果；
在本实施例中，需要说明的是，所述已训练好的特征提取神经网络包括ResNet50残差神经网络，残差神经网络一共50层，共有25000000个参数。残差神经网络设计了一个残差模块，可以使得网络在增加层数的同时而不至于出现退化的问题，同时保护图像数据的完整性，从而增强模型的鲁棒性。
具体地，将所述待训练图像数据输入至所述特征提取神经网络，以通过特征提取神经网络，对所述待训练图像数据进行特征提取，获得第一特征提取结果。
步骤D20，所述第一输出单元，用于将所述第一特征提取结果输入第一全连接层，获得第一光泽度输出结果，以及将所述第一特征提取结果输入预设长短时记忆网络模型进行迭代学习，获得第二光泽度输出结果；
在本实施例中，请参照图4，图4为本申请耳朵分析检测装置模型结构示意图，所述已训练好的特征提取神经网络与第一全连接层进行连接，以及与第一长短时记忆网络模型和全连接层进行连接，通过双层网络输出结果来分析耳穴光泽度，提高模型分析的准确性。
具体地，将所述第一特征提取结果输入第一全连接层，获得所述第一光泽度输出结果，进一步地，将所述第一特征提取结果输入第一长短时记忆网络模型进行迭代学习，得到第一长短时记忆网络模型的输出结果，并将所述输出结果输入与所述第一长短时记忆网络模型连接的全连接层，得到所述第二光泽度输出结果，从而提高模型的准确性。
步骤D30，所述第一加权处理单元，用于基于第一预设加权比例系数，对所述第一光泽度输出结果和所述第二光泽度输出结果进行加权处理，获得目标光泽度输出结果；
在本实施例中，所述第一预设加权比例系数为预先设置第一全连接层和预设长短时记忆网络模型的权重占比，具体地，对所述第一光泽度输出结果和所述第二光泽度输出结果按照所述第一预设加权比例系数进行加权处理，获得目标光泽度输出结果，例如，y*=αy1+βy2（α+β=1），y1表示第一光泽度输出结果，y2表示第二光泽度输出结果，α和β分别代表两种方式输出的权重占比。
步骤D40，所述第一计算单元，用于基于所述目标光泽度输出结果和所述待训练图像数据的光泽度标签，计算模型损失；
步骤D50，所述第一优化单元，用于基于所述模型损失，优化所述待训练光泽度模型的模型参数，得到所述耳朵光泽度模型。
在本实施例中，具体地，根据所述目标光泽度输出结果和所述待训练图像数据的光泽度标签的差异程度，计算所述待训练光泽度模型的模型损失，进而基于所述模型损失，通过梯度下降算法优化所述待训练光泽度模型的模型参数，以优化训练第一全连接层、第一长短时记忆网络模型以及与所述第一长短时记忆网络模型连接的全连接层对应的参数，并判断优化后的待训练光泽度模型是否满足预设训练结束条件，若满足，则获得所述耳朵光泽度模型，若不满足，则返回执行步骤：基于已训练好的特征提取神经网络，对所述待训练图像数据进行特征提取，获得第一特征提取结果。
进一步地，参照图5，基于本申请中第二实施例，在本申请的另一实施例中，所述模型训练模块还包括第二特征提取单元、第二输出单元、第二加权处理单元、第二计算单元和第二优化单元：
步骤E10，第二特征提取单元，用于基于已训练好的特征提取神经网络，对所述待训练图像数据进行特征提取，获得第二特征提取结果；
步骤E20，第二输出单元，用于将所述第二特征提取结果输入第二全连接层，获得第一完整性输出结果，以及将所述特征提取结果输入第二长短时记忆网络进行迭代学习，获得第二完整性输出结果；
步骤E30，第二加权处理单元，用于基于第二预设加权比例系数，对所述第一完整性输出结果和所述第二完整性输出结果进行加权处理，获得目标完整性输出结果；
步骤E40，第二计算单元，用于基于所述目标完整性输出结果和所述待训练图像数据的完整性标签，计算模型损失；
步骤E50，第二优化单元，用于基于所述模型损失，优化所述待训练完整性模型的模型参数，得到所述耳朵完整性模型。
在本实施例中，需要说明的是，所述待训练完整性模型中已训练好的特征提取神经网络和所述待训练光泽度模型中已训练好的特征提取神经网络的模型参数相同，所述待训练完整性模型的网络结构和所述待训练光泽度模型的网络结构相同，具体可参考图4，所述第二预设加权比例系数和所述第一预设加权比例系数可以相同，也可不同，所述待训练完整性模型的模型参数与所述待训练光泽度模型的模型参数不同，也即，待训练完整性模型的第一全连接层、第二长短时记忆网络与所述待训练光泽度模型的全第一连接层、第一长短时记忆网络对应的权重参数不同。
具体地，将所述待训练图像数据输入至所述特征提取神经网络，以通过特征提取神经网络，对所述待训练图像数据进行特征提取，获得第一特征提取结果，进而将所述第二特征提取结果输入第二全连接层，获得所述第一完整性输出结果，进一步地，将所述第二特征提取结果输入第二长短时记忆网络模型进行迭代学习，得到第二长短时记忆网络模型的输出结果，并将所述输出结果输入与所述第二长短时记忆网络模型连接的全连接层，得到所述第二完整性输出结果，从而提高模型的准确性，对所述第一完整性输出结果和所述第二完整性输出结果按照所述第二预设加权比例系数进行加权处理，获得目标完整性输出结果，基于所述目标完整性输出结果和所述待训练图像数据的完整性标签，对所述待训练完整性模型进行迭代训练，以优化训练第二全连接层、第二长短时记忆网络模型以及与所述第二长短时记忆网络模型连接的全连接层对应的参数，得到所述耳朵完整性模型。从而实现了基于待训练图像数据对模型进行训练，而耳朵完整性模型由已训练好的特征提取神经网络与全连接层连接，以及与长短时记忆网络模型和全连接层连接搭建获得，使得模型能够学习到更多的耳朵特征信息，提高模型检测分析的准确率。
参照图6，图6是本申请实施例方案涉及的硬件运行环境的耳朵分析检测设备结构示意图。
如图6所示，该耳朵分析检测设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该耳朵分析检测设备还可以包括矩形用户接口、网络接口、相机、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏（Display）、输入子模块比如键盘（Keyboard），可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口（如WIFI接口）。
本领域技术人员可以理解，图6中示出的耳朵分析检测设备结构并不构成对耳朵分析检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块以及耳朵分析检测程序。操作装置是管理和控制耳朵分析检测设备硬件和软件资源的程序，支持耳朵分析检测程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与耳朵分析检测装置中其它硬件和软件之间通信。
在图6所示的耳朵分析检测设备中，处理器1001用于执行存储器1005中存储的耳朵分析检测程序，实现上述任一项所述的耳朵分析检测装置的步骤。
本申请还提供一种耳朵分析检测装置，所述耳朵分析检测装置包括：
获取模块，用于获取目标用户的耳朵图像数据；
分析模块，用于通过已训练好的耳朵光泽度模型和耳朵完整性模型，分别对所述耳朵图像数据进行分析，得到光泽度分析结果以及完整性分析结果，其中，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得；
确定模块，用于基于所述光泽度分析结果以及所述完整性分析结果，确定所述目标用户的耳朵健康状态。
可选地，所述耳朵分析检测装置还用于：
收集模块，用于收集耳朵病例图像数据，并对所述耳朵病例图像数据进行光泽度以及完整性标注，获得具有光泽度标签和完整性标签的目标图像数据；
预处理模块，用于对所述目标图像数据进行预处理，获得预处理图像数据，并将所述预处理图像数据进行划分，获得待训练图像数据和验证图像数据；
模型训练模块，用于基于所述待训练图像数据，分别对所述待训练光泽度模型和所述待训练完整性模型进行迭代训练，获得所述耳朵光泽度模型以及所述耳朵完整性模型。
可选地，所述模型训练模块还用于：
所述第一特征提取单元，用于基于已训练好的特征提取神经网络，对所述待训练图像数据进行特征提取，获得第一特征提取结果；
所述第一输出单元，用于将所述第一特征提取结果输入第一全连接层，获得第一光泽度输出结果，以及将所述第一特征提取结果输入第一长短时记忆网络模型进行迭代学习，获得第二光泽度输出结果；
所述第一加权处理单元，用于基于第一预设加权比例系数，对所述第一光泽度输出结果和所述第二光泽度输出结果进行加权处理，获得目标光泽度输出结果；
所述第一计算单元，用于基于所述目标光泽度输出结果和所述待训练图像数据的光泽度标签，计算模型损失；
所述第一优化单元，用于基于所述模型损失，优化所述待训练光泽度模型的模型参数，得到所述耳朵光泽度模型。
可选地，所述模型训练模块还用于：
第二特征提取单元，用于基于已训练好的特征提取神经网络，对所述待训练图像数据进行特征提取，获得第二特征提取结果；
第二输出单元，用于将所述第二特征提取结果输入第二全连接层，获得第一完整性输出结果，以及将所述特征提取结果输入第二长短时记忆网络进行迭代学习，获得第二完整性输出结果；
第二加权处理单元，用于基于第二预设加权比例系数，对所述第一完整性输出结果和所述第二完整性输出结果进行加权处理，获得目标完整性输出结果；
第二计算单元，用于基于所述目标完整性输出结果和所述待训练图像数据的完整性标签，计算模型损失；
第二优化单元，用于基于所述模型损失，优化所述待训练完整性模型的模型参数，得到所述耳朵完整性模型。
可选地，所述预处理模块还用于：
所述尺寸调整单元，用于对所述目标图像数据进行尺寸调整，获得调整图像数据；
所述零均值化单元，用于对所述调整图像数据进行零均值化处理以及数据增强处理，得到所述预处理图像数据。
可选地，所述耳朵分析检测装置还用于：
第三输出模块，用于分别将所述验证图像数据输入所述耳朵光泽度模型以及所述耳朵完整性模型，输出所述耳朵光泽度模型和所述耳朵完整性模型分别对应的验证结果；
模型评估指标确定模块，用于基于所述耳朵光泽度模型的验证结果和所述验证图像数据的光泽度标签，确定光泽度模型评估指标，并基于所述耳朵完整性模型的验证结果以及所述验证图像数据的完整性标签，确定完整性模型评估指标；
选取模块，用于选取所述光泽度模型评估指标最优的耳朵光泽度模型和选取所述完整性模型评估指标最优的耳朵完整性模型作为最终的耳朵光泽度模型和耳朵完整性模型。
可选地，所述耳朵分析检测装置还用于：
生成模块，用于基于所述耳朵健康状态，若判定所述目标用户的耳朵健康状态为不健康状态，则基于所述光泽度分析结果以及所述完整性分析结果，生成用户诊疗意见报告。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。
Claims (8)
1.一种耳朵分析检测装置，其特征在于，所述耳朵分析检测装置包括：
获取模块，用于获取目标用户的耳朵图像数据；
分析模块，用于通过已训练好的耳朵光泽度模型和耳朵完整性模型，分别对所述耳朵图像数据进行分析，得到光泽度分析结果以及完整性分析结果，其中，所述耳朵光泽度模型基于预先标注有光泽度标签的耳朵图像数据对待训练光泽度模型进行迭代训练获得，所述耳朵完整性模型为基于预先标注有完整性标签的耳朵图像数据对待训练完整性模型进行迭代训练获得，所述耳朵光泽度模型和耳朵完整性模型均由特征提取神经网络分别与全连接层连接，以及与长短时记忆网络和全连接层连接搭建获得；
确定模块，用于基于所述光泽度分析结果以及所述完整性分析结果，确定所述目标用户的耳朵健康状态；其中，所述分析模块还用于：
通过所述耳朵光泽度模型中的特征提取神经网络对所述耳朵图像数据进行特征提取，得到特征提取结果；
将所述特征提取结果输入至全连接层，获得有无光泽度的第一概率结果，以及将所述特征提取结果输入至预设长短时记忆网络进行学习，并将所述预设长短时记忆网络输出的预测结果输入至全连接层，得到有无光泽度的第二概率结果；
基于预设权重比例系数，对所述第一概率结果和所述第二概率结果进行加权处理，得到所述光泽度分析结果；
其中，所述分析模块还用于：
通过所述耳朵完整性模型中的特征提取神经网络对所述耳朵图像数据进行特征提取，得到特征提取结果；
将所述特征提取结果输入至全连接层，获得有无完整性的第一概率结果，以及将所述特征提取结果输入至预设长短时记忆网络进行学习，并将所述预设长短时记忆网络输出的预测结果输入至全连接层，得到有无完整性的第二概率结果；
基于预设权重比例系数，对所述有无完整性的第一概率结果和所述有无完整性的第二概率结果进行加权处理，得到所述完整性分析结果。
2.如权利要求1所述的耳朵分析检测装置，其特征在于，所述耳朵分析检测装置还包括：
收集模块，用于收集耳朵病例图像数据，并对所述耳朵病例图像数据进行光泽度以及完整性标注，获得具有光泽度标签和完整性标签的目标图像数据；
预处理模块，用于对所述目标图像数据进行预处理，获得预处理图像数据，并将所述预处理图像数据进行划分，获得待训练图像数据和验证图像数据；
模型训练模块，用于基于所述待训练图像数据，分别对所述待训练光泽度模型和所述待训练完整性模型进行迭代训练，获得所述耳朵光泽度模型以及所述耳朵完整性模型。
3.如权利要求2所述的耳朵分析检测装置，其特征在于，所述模型训练模块包括第一特征提取单元、第一输出单元、第一加权处理单元、第一计算单元和第一优化单元，
所述第一特征提取单元，用于基于已训练好的特征提取神经网络，对所述待训练图像数据进行特征提取，获得第一特征提取结果；
所述第一输出单元，用于将所述第一特征提取结果输入第一全连接层，获得第一光泽度输出结果，以及将所述第一特征提取结果输入第一长短时记忆网络模型进行迭代学习，获得第二光泽度输出结果；
所述第一加权处理单元，用于基于第一预设加权比例系数，对所述第一光泽度输出结果和所述第二光泽度输出结果进行加权处理，获得目标光泽度输出结果；
所述第一计算单元，用于基于所述目标光泽度输出结果和所述待训练图像数据的光泽度标签，计算模型损失；
所述第一优化单元，用于基于所述模型损失，优化所述待训练光泽度模型的模型参数，得到所述耳朵光泽度模型。
4.如权利要求2所述的耳朵分析检测装置，其特征在于，所述模型训练模块还包括第二特征提取单元、第二输出单元、第二加权处理单元、第二计算单元和第二优化单元：
第二特征提取单元，用于基于已训练好的特征提取神经网络，对所述待训练图像数据进行特征提取，获得第二特征提取结果；
第二输出单元，用于将所述第二特征提取结果输入第二全连接层，获得第一完整性输出结果，以及将所述特征提取结果输入第二长短时记忆网络进行迭代学习，获得第二完整性输出结果；
第二加权处理单元，用于基于第二预设加权比例系数，对所述第一完整性输出结果和所述第二完整性输出结果进行加权处理，获得目标完整性输出结果；
第二计算单元，用于基于所述目标完整性输出结果和所述待训练图像数据的完整性标签，计算模型损失；
第二优化单元，用于基于所述模型损失，优化所述待训练完整性模型的模型参数，得到所述耳朵完整性模型。
5.如权利要求2所述的耳朵分析检测装置，其特征在于，所述预处理模块包括尺寸调整单元和零均值化单元，
所述尺寸调整单元，用于对所述目标图像数据进行尺寸调整，获得调整图像数据；
所述零均值化单元，用于对所述调整图像数据进行零均值化处理以及数据增强处理，得到所述预处理图像数据。
6.如权利要求2所述的耳朵分析检测装置，其特征在于，所述耳朵分析检测装置还包括：
第三输出模块，用于分别将所述验证图像数据输入所述耳朵光泽度模型以及所述耳朵完整性模型，输出所述耳朵光泽度模型和所述耳朵完整性模型分别对应的验证结果；
模型评估指标确定模块，用于基于所述耳朵光泽度模型的验证结果和所述验证图像数据的光泽度标签，确定光泽度模型评估指标，并基于所述耳朵完整性模型的验证结果以及所述验证图像数据的完整性标签，确定完整性模型评估指标；
选取模块，用于选取所述光泽度模型评估指标最优的耳朵光泽度模型和选取所述完整性模型评估指标最优的耳朵完整性模型作为最终的耳朵光泽度模型和耳朵完整性模型。
7.如权利要求1所述的耳朵分析检测装置，其特征在于，所述耳朵分析检测装置还包括：
生成模块，用于基于所述耳朵健康状态，若判定所述目标用户的耳朵健康状态为不健康状态，则基于所述光泽度分析结果以及所述完整性分析结果，生成用户诊疗意见报告。
8.一种耳朵分析检测设备，其特征在于，所述耳朵分析检测设备包括：存储器、处理器以及存储在存储器上的耳朵分析检测程序，
所述耳朵分析检测程序被所述处理器执行实现如权利要求1至7中任一项所述耳朵分析检测装置的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210168530.1A CN114240936B (zh) | 2022-02-23 | 2022-02-23 | 耳朵分析检测装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210168530.1A CN114240936B (zh) | 2022-02-23 | 2022-02-23 | 耳朵分析检测装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114240936A CN114240936A (zh) | 2022-03-25 |
| CN114240936B true CN114240936B (zh) | 2022-06-14 |
Family
ID=80747994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210168530.1A Active CN114240936B (zh) | 2022-02-23 | 2022-02-23 | 耳朵分析检测装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240936B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109300121A (zh) * | 2018-09-13 | 2019-02-01 | 华南理工大学 | 一种心血管疾病诊断模型的构建方法、***及该诊断模型 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349140B (zh) * | 2019-07-04 | 2023-04-07 | 五邑大学 | 一种中医耳诊图像处理方法及装置 |
| CN112233795A (zh) * | 2020-11-19 | 2021-01-15 | 吾征智能技术(北京)有限公司 | 一种基于耳朵纹理特征的疾病预测*** |
-
2022
- 2022-02-23 CN CN202210168530.1A patent/CN114240936B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109300121A (zh) * | 2018-09-13 | 2019-02-01 | 华南理工大学 | 一种心血管疾病诊断模型的构建方法、***及该诊断模型 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114240936A (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615237B (zh) | 一种肺部图像处理方法及图像处理设备 | |
| Fujisawa et al. | The possibility of deep learning-based, computer-aided skin tumor classifiers | |
| CN110473192A (zh) | 消化道内镜图像识别模型训练及识别方法、装置及*** | |
| CN110473186B (zh) | 一种基于医学图像的检测方法、模型训练的方法及装置 | |
| JP4860749B2 (ja) | 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法 | |
| JP2004174254A5 (zh) | ||
| CN115345819A (zh) | 一种胃癌图像识别***、装置及其应用 | |
| CN111325745A (zh) | 骨折区域分析方法和装置、电子设备及可读存储介质 | |
| CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
| WO2020211255A1 (zh) | 人体形体及体质数据采集方法、装置及存储介质 | |
| WO2019184851A1 (zh) | 图像处理方法和装置及神经网络模型的训练方法 | |
| CN110717894A (zh) | 癌症靶向治疗疗效评估方法及装置、设备、存储介质 | |
| CN110458829A (zh) | 基于人工智能的图像质控方法、装置、设备及存储介质 | |
| CN111612756B (zh) | 冠状动脉特异性钙化检测方法及装置 | |
| US20240112329A1 (en) | Distinguishing a Disease State from a Non-Disease State in an Image | |
| CN117152507B (zh) | 一种牙齿健康状态检测方法、装置、设备及存储介质 | |
| Tolentino et al. | Detection of circulatory diseases through fingernails using artificial neural network | |
| CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及*** | |
| CN117274185B (zh) | 检测方法、检测模型产品、电子设备及计算机存储介质 | |
| CN114240936B (zh) | 耳朵分析检测装置及设备 | |
| CN109003274A (zh) | 一种区分肺结核与肿瘤的诊断方法、装置及可读存储介质 | |
| CN108875501A (zh) | 人体属性识别方法、装置、***及存储介质 | |
| CN116052225A (zh) | 掌纹识别方法、电子设备、存储介质及计算机程序产品 | |
| Vidhyalakshmi et al. | A study on supervised learning in medical image grading using IoT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |