CN117094966A - 基于图像扩增的舌图像识别方法、装置和计算机设备 - Google Patents

基于图像扩增的舌图像识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN117094966A
CN117094966A CN202311051530.4A CN202311051530A CN117094966A CN 117094966 A CN117094966 A CN 117094966A CN 202311051530 A CN202311051530 A CN 202311051530A CN 117094966 A CN117094966 A CN 117094966A
Authority
CN
China
Prior art keywords
tongue
image
model
images
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311051530.4A
Other languages
English (en)
Other versions
CN117094966B (zh
Inventor
冯健
陈栋栋
赖永航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN202311051530.4A priority Critical patent/CN117094966B/zh
Publication of CN117094966A publication Critical patent/CN117094966A/zh
Application granted granted Critical
Publication of CN117094966B publication Critical patent/CN117094966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，提供了一种基于图像扩增的舌图像识别方法、装置和计算机设备，所述方法包括：对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像；基于预设的图像扩散模型生成与第一舌轮廓掩码图像对应的N张第一生成式舌图像，N大于等于1；基于N张第一生成式舌图像分别对第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像；将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对目标图像数据进行识别，以获得初始舌图像的识别结果。本发明提高了舌图像识别的准确性。

Description

基于图像扩增的舌图像识别方法、装置和计算机设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于图像扩增的舌图像识别方法、装置和计算机设备。
背景技术
舌是人体消化道中的重要组成器官之一，由许多纵横交错的横纹肌组成，外覆有特殊的黏膜结构。在中医学上，舌通过经络与脏腑之间发生联系，尤其与脾、胃联系密切，故中医学上常常以舌象推断消化道的疾患。
在消化道疾病发生时，舌的质、苔、齿痕等特征往往呈现规律性改变，而这些改变均可以通过肉眼或图像的方式加以捕捉和分析。现代医学中，也通过判断舌图像对应的消化道疾病的类别，辅助医生进行消化道疾病的识别。但是，在远程会诊中，由于手机拍摄的舌苔图像容易受到手机成像算法、光线、背景干扰等因素的影响，会造成影像不能反应出真实的图像信息，比如舌苔发白，但手机拍摄的舌苔偏红等，摄影带来的偏差会造成舌图像识别的误差。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题的一种基于图像扩增的舌图像识别方法、装置和计算机设备。
本发明的一个方面，提供了一种基于图像扩增的舌图像识别方法，所述方法包括：
对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像；
基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，N大于等于1；
基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像；
将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果。
进一步地，所述基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像包括：
依次从所述第一生成式舌图像中选取一张图像作为目标生成式舌图像，对所述第一舌图像和所述目标生成式舌图像进行特征点匹配获得特征点对；
根据所述特征点的颜色对应关系生成第一舌图像与所述目标生成式舌图像之间的颜色校正矩阵；
基于所述颜色校正矩阵对所述第一舌图像进行颜色校正，以获得与所述目标生成式舌图像对应的第二舌图像。
进一步地，所述图像识别模型为级联网络模型，所述级联网络模型的第一网络模型为文本描述预测模型，所述级联网络模型的第二网络模型为舌图像分类预测模型；
所述调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，包括：
将各个目标图像数据输入所述文本描述预测模型进行识别，以获得各个目标图像数据对应的文本描述，所述文本描述用于描述目标图像数据中的舌纹理特征；
将各个目标图像数据对应的文本描述输入所述舌图像分类预测模型进行识别，以获得与所述初始舌图像对应的识别结果。
进一步地，在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述文本描述预测模型；
所述预先训练所述文本描述预测模型，具体包括：
对第一初始舌图像样本进行有效区域分割处理获得第一舌图像样本；
获取用于描述所述第一舌图像样本的舌纹理特征的文本描述；
将所述第一舌图像样本和第一舌图像样本的文本描述作为训练数据输入预设的多模态训练模型的输入层，经训练获得文本描述预测模型。
进一步地，在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述舌图像分类预测模型；
所述预先训练所述舌图像分类预测模型，具体包括：
对第二初始舌图像样本进行有效区域分割处理获得第二舌图像样本和第一舌轮廓掩码图像样本，并对所述第二初始舌图像样本进行舌图像分类标注；
基于预设的图像扩散模型生成与所述第二舌轮廓掩码图像对应的N张第一生成式舌图像样本；
基于N张第一生成式舌图像样本分别对所述第二舌图像样本进行颜色校正，分别生成与N张第一生成式舌图像样本一一对应的N张第三舌图像样本；
将N张第三舌图像样本或N张第三舌图像样本与第二舌图像样本的集合作为目标图像数据样本，并调用预设的文本描述预测模型对所述目标图像数据样本进行识别，以获得各个目标图像数据样本对应的文本描述；
将第二初始舌图像样本的舌图像分类结果和各个目标图像数据样本对应的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类。
进一步地，在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述舌图像分类预测模型；
所述预先训练所述舌图像分类预测模型，具体包括：
获取与不同舌图像分类结果对应的多项舌纹理特征的文本描述；
将任一目标舌图像分类结果和与当前目标舌图像分类结果对应的多项舌纹理特征的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类预测模型。
进一步地，所述图像识别模型为预先训练获得的图像识别模型，所述调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，包括：
将各个目标图像数据输入所述图像识别模型进行识别，以获得各个目标图像数据对应的舌图像分类结果；
对各个目标图像数据对应的舌图像分类结果进行统计计算，以最终获得初始舌图像的识别结果。
进一步地，在对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像之前，所述方法还包括：预先训练舌分割模型；
所述预先训练舌分割模型包括：
获取包含舌有效区域的第三初始舌图像样本；
对各个所述第三初始舌图像样本中的舌有效区域进行标注获得语义分割训练样本；
将所述语义分割训练样本输入预设的语义分割模型的输入层，经过训练获得舌分割模型。
进一步地，在对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像之前，所述方法还包括；
判断所述初始舌图像中是否包含舌有效区域，若不包含则发出错误提示。
本发明的另一个方面，提供了一种基于图像扩增的舌图像识别装置，所述装置包括：
有效区域分割模块，用于对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像；
图像扩散模块，用于基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，N大于等于1；
颜色校正模块，用于基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像；
图像识别模块，用于将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果。
本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如上任一项所述的基于图像扩增的舌图像识别方法的步骤。
本申请实施例提供的一种基于图像扩增的舌图像识别方法、装置和计算机设备，在获得初始舌图像之后，对初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像，本发明通过对舌图像进行有效区域处理保留舌的有效特征信息，减小了舌有效区域以外的图像在图像识别时的噪声干扰；基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像，本发明通过获取到N张颜色校正后的第二舌图像提高图像识别时的泛化能力和鲁棒性；最后将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，本发明通过图像识别模型对目标图像数据进行识别，获得初始舌图像的识别结果，最终提高了舌图像识别的准确性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1为本发明实施例的一种基于图像扩增的舌图像识别方法的流程图；
图2为本发明实施例的舌图像的舌有效区域图像和舌轮廓掩码的示意图；
图3为本发明实施例的一种基于图像扩增的舌图像识别装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
实施例一
本发明实施例提供了一种基于图像扩增的舌图像识别方法，如图1所示，该基于图像扩增的舌图像识别方法，包括以下步骤：
S1、对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像；
具体的，可以以舌区域外轮廓作为图像边界进行有效区域分割，轮廓内区域即为得到有效的舌图像，轮廓外区域填充为黑色像素生成新图像，新图像裁掉了无效区域，得到舌轮廓掩码图像，舌轮廓掩码图像中依然保留了舌的部分有效特征信息。
S2、基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，N大于等于1；
其中，图像扩散技术是通过训练大量的图像数据集，使得模型能够学习到图像的特征和样式，然后生成新的生成式图像，生成式图像便具有了所学习的图像的特征和样式。本发明预设的的图像扩散模型学习了大量能够真实反应舌苔纹理特征的舌图像，因而能够根据第一舌轮廓掩码图像生成与第一舌轮廓掩码图像对应的第一生成式舌图像。该第一生成式舌图像能够真实反应舌苔的纹理特征，且与第一舌图像具有相同的结构特征，因而可以作为第一舌图像进行颜色校正的依据。
S3、基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像；
S4、将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果。
本发明通过对初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像减小了舌有效区域以外的图像在图像识别时的噪声干扰，通过图像扩散模型和第一舌轮廓掩码图像生成多张能够真实反应舌纹理特征的第一生成式舌图像，由于第一生成式舌图像与第一舌图像由相同的位置关系，通过第一生成式舌图像对第一舌图像进行颜色校正，便可以获得多张颜色校正后的第二舌图像，且第二舌图像能够真实反应舌的纹理特征。最后基于预设图像识别模型进行学习识别，最终获得舌苔影像图片的识别结果，提高了图像识别的准确率，避免了因手机摄影的偏差造成的误诊。
在本发明实施例中，在获得识别结果之后，所述方法还包括：将所述识别结果与预先保存的初始结果进行对比，并根据对比结果判断治疗效果是否有效果；若没有效果则将所述初始舌图像和/或所述识别结果推送给预设的医生***。本发明实施例基于图像扩增的舌图像识别方法能够辅助医生完成消化疾病的病情随访跟踪。
具体的，通过对用户用手机上传的初始舌图像进行图像扩散和颜色校正获得多张颜色校正后的舌图像，并对颜色校正后的多张舌图片和原始获得的初始舌图像一同输入图像识别模型，提高了模型预测的鲁棒性和泛化能力，更能够准确对患者的舌图像进行识别，医生通过对患者的治疗效果进行定时检查，便于根据治疗效果调整治疗方案。
此外，本发明实施例中患者可以通过手机端的患者病情随访APP进行舌图像的拍摄和上传，该APP还可以在患者用药期间，定时提醒用药打卡，并定时提醒用户使用手机拍摄舌影像上传***。
在步骤S1中，通过预先训练获得的舌分割模型对初始舌图像进行有效区域分割处理，利用舌分割模型以舌区域外轮廓作为图像边界，轮廓外区域填充为黑色像素生成新图像，新图像裁掉了无效区域，保留了舌的有效特征信息，从而可以减少在后续图像识别中的噪声干扰，提高识别的准确率。
进一步地，本发明实施例在对初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像之前，所述方法还包括：预先训练舌分割模型；所述预先训练舌分割模型包括：获取包含舌有效区域的第三初始舌图像样本；对各个所述第三初始舌图像样本中的舌有效区域进行标注获得语义分割训练样本；将所述语义分割训练样本输入预设的语义分割模型的输入层，经过训练获得舌分割模型。
此外，本发明实施例的舌分割模型还可以用于判断初始舌图像中是否存在舌有效区域，具体地在对初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像之前，所述方法还包括；判断所述初始舌图像中是否包含舌有效区域，若不包含则发出错误提示。
在步骤S2中，图像扩散模型可以为Controlnet图像扩散模型，该模型是基于大量的能够真实反应舌苔纹理特征的舌图像训练而成，因此可以认定为基于该图像扩散模型生成的第一生成式舌图像具有能够真实反应舌苔纹理特征的舌图像。
进一步地，本发明实施例还包括对图像扩散模型的训练方法，在基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的至少一张第一生成式舌图像之前，所述方法还包括：获取能真实反应舌纹理特征的第四初始舌图像样本；对所述第四初始舌图像样本进行有效区域分割处理获得第四舌图像样本和第二舌轮廓掩码图像样本；将所述第四舌图像样本和所述第二舌轮廓掩码图像样本作为训练数据输入预设的图像扩散训练模型的输入层，经训练获得图像扩散模型。
图2示意性的示出了本发明实施例的第四初始舌图像样本和第二舌轮廓掩码图像的训练对示意图，由于第四初始舌图像样本中的舌图像能够真实反正舌的纹理特征，因此本发明实施例中经过训练的图像扩散模型生成的生成式舌图像均是能够真实反应舌纹理特征的舌有效区域图片。可以推断本发明实施例的第一生成式舌图像均为能够真实反映舌纹理特征的舌有效区域图像，可以以第一生成式舌图像作为第一舌图像进行颜色校正的参照。以通过借鉴第一生成式舌图像颜色信息对第一舌图像进行颜色校正。其中舌纹理特征具体可以为舌质、舌苔的纹理特征。
在步骤S3中，基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像包括：依次从所述第一生成式舌图像中选取一张图像作为目标生成式舌图像，对所述第一舌图像和所述目标生成式舌图像进行特征点匹配获得特征点对；根据所述特征点的颜色对应关系生成第一舌图像与所述目标生成式舌图像之间的颜色校正矩阵；基于所述颜色校正矩阵对所述第一舌图像进行颜色校正，以获得与所述目标生成式舌图像对应的第二舌图像。即本发明实施例中第二舌图像的数量与生成式舌图像的数量相同。
其中颜色校正矩阵是一种用于校正数字图像颜色偏差的技术，通过对图像颜色进行调整，使其更加真实和准确。基本原理是通过测量一系列标准颜色的RGB值和相机拍摄同一系列标准颜色的RGB值，建立一个矩阵，该矩阵可以将相机拍摄的图像的颜色偏差进行校正。这个矩阵包含了相机拍摄图像的颜色偏差信息，并且可以通过矩阵运算的方式将图像的每个像素点的颜色进行校正，使其更加真实和准确。
进一步地，本发明实施例中的第一生成式舌图像具有能够真实反正舌纹理特征的RGB值，可以选择使用SIFT匹配算法对目标生成式舌图像和第一舌图像进行特征点匹配，确定特征点对作为提取关键匹配点，由于目标生成式舌图像中具有能够真实反映舌纹理特征的RGB值，且基于同一物体在不同图像中的RGB值具有一定的一致性，通过对同一物体在不同图像中的RGB值进行匹配，可以推算出颜色校正矩阵，使用颜色校正矩阵对第一有效区域图像进行处理，即可完成颜色校正。
本发明实施例基于特征点匹配的颜色校正方法，可实现差异较大的两幅图像之间的特征匹配，大大提高了颜色校正的鲁棒性、精准度，校正后的图像能显现出舌苔的真实颜色。
在本发明的一个实施例中，步骤S4中的图像识别模型可以为级联网络模型，所述级联网络模型的第一网络模型为文本描述预测模型，所述级联网络模型的第二网络模型为舌图像分类模型；所述调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，包括：将各个目标图像数据输入所述文本描述预测模型进行识别，以获得各个目标图像数据对应的文本描述，所述文本描述用于描述目标图像数据中的舌纹理特征；将各个目标图像数据对应的文本描述输入所述舌图像分类模型进行识别，以获得与所述初始舌图像对应的识别结果。
本发明实施例将所有第二舌图像作为目标图像数据，其中第二舌图像全部为颜色校正后的舌图像。或者将第二舌图像和第一舌图像作为目标图像数据，以将手机拍摄的原始舌图像同样作为待学习的舌图像，若原始图像没有色差，能真实体现出舌质、舌苔的纹理特征，将该图像加入模型能进一步提高模型的泛化能力。本发明实施例中的舌图像分类可以为针对舌图像表征的不同等级的肠道疾病进行分类，也即基于对舌图像的识别结果，可以辅助医生了解患者的病情。可以理解地，本发明实施例中也可以根据其他分类标准对舌图像进行分类，以完成不同类别的舌图像识别。
进一步地，本发明实施例还包括文本描述预测模型和舌图像分类模型的训练方法。因此在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述文本描述预测模型；所述预先训练所述文本描述预测模型，具体包括：对第一初始舌图像样本进行有效区域分割处理获得第一舌图像样本；获取用于描述所述第一舌图像样本的舌纹理特征的文本描述；将所述第一舌图像样本和第一舌图像样本的文本描述作为训练数据输入预设的多模态训练模型的输入层，经训练获得文本描述预测模型。本发明实施例舌纹理特征的文本描述可以表述为：舌色淡白色，舌形老嫩，苔质厚、燥润，苔色白苔，苔型局部聚集型等，该舌纹理特征的文本描述仅作为本发明的一个可选实施例，不作为限定本发明保护范围的依据。
进一步地，本发明一个实施例在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述舌图像分类模型；所述预先训练所述舌图像分类模型，具体包括：对第二初始舌图像样本进行有效区域分割处理获得第二舌图像样本和第一舌轮廓掩码图像样本，并对所述第二初始舌图像样本进行舌图像分类标注；基于预设的图像扩散模型生成与所述第二舌轮廓掩码图像对应的N张第一生成式舌图像样本；基于N张第一生成式舌图像样本分别对所述第二舌图像样本进行颜色校正，分别生成与N张第一生成式舌图像样本一一对应的N张第三舌图像样本；将N张第三舌图像样本或N张第三舌图像样本与第二舌图像样本的集合作为目标图像数据样本，并调用预设的文本描述预测模型对所述目标图像数据样本进行识别，以获得各个目标图像数据样本对应的文本描述；将第二初始舌图像样本的舌图像分类结果和各个目标图像数据样本对应的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类模型。本发明实施例的舌图像分类结果具体可以为，归属为慢性萎缩性胃炎C1级类别的舌图像，归属为慢性萎缩性胃炎C2级类别的舌图像等。
进一步地，本发明另一个实施例调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述舌图像分类模型；所述预先训练所述舌图像分类模型，具体包括：获取与不同舌图像分类结果对应的多项舌纹理特征的文本描述；将任一目标舌图像分类结果和与当前目标舌图像分类结果对应的多项舌纹理特征的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类模型。
在本发明的一个实施例中，步骤S4中的图像识别模型可以为图像识别模型，所述图像识别模型为预先训练获得的图像识别模型，所述调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，包括：将各个目标图像数据输入所述图像识别模型进行识别，以获得各个目标图像数据对应的舌图像分类结果；对各个目标图像数据对应的舌图像分类结果进行统计计算，以最终获得初始舌图像的识别结果。该实施例基于图像识别模型直接对目标图像数据进行学习识别，获得每一目标图像数据对应的舌图像分类结果之后，对各个结果进行统计选取出现次数最多的舌图像分类结果作为最终识别的舌苔影像图片的识别结果。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
图3示意性的示出了本发明实施例提供一种基于图像扩增的舌图像识别装置的结构示意图，参照图3，本发明实施例的一种基于图像扩增的舌图像识别装置具体包括有效区域分割模块301、图像扩散模块302、颜色校正模块303和图像识别模块304，其中：
有效区域分割模块301，用于对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像；
图像扩散模块302，用于基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，N大于等于1；
颜色校正模块303，用于基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像；
图像识别模块304，用于将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果。
进一步地，所述颜色校正模块303具体包括：
特征点匹配子模块，用于依次从所述第一生成式舌图像中选取一张图像作为目标生成式舌图像，对所述第一舌图像和所述目标生成式舌图像进行特征点匹配获得特征点对；
矩阵生成子模块，用于根据所述特征点的颜色对应关系生成第一舌图像与所述目标生成式舌图像之间的颜色校正矩阵；
校正计算子模块，用于基于所述颜色校正矩阵对所述第一舌图像进行颜色校正，以获得与所述目标生成式舌图像对应的第二舌图像。
本发明的一个实施例的图像识别模块304包括：
文本描述预测子模块，用于将各个目标图像数据输入所述文本描述预测模型进行识别，以获得各个目标图像数据对应的文本描述，所述文本描述用于描述目标图像数据中的舌纹理特征；
舌图像分类预测子模块，用于将各个目标图像数据对应的文本描述输入所述舌图像分类模型进行识别，以获得与所述初始舌图像对应的识别结果。
进一步地，本发明实施例的基于图像扩增的舌图像识别装置还包括文本描述预测模型训练模块，用于预先训练所述文本描述预测模型。
所述文本描述预测模型训练模块具体包括：
第一采集子模块，用于对第一初始舌图像样本进行有效区域分割处理获得第一舌图像样本；
第一获取子模块，用于获取用于描述所述第一舌图像样本的舌纹理特征的文本描述；
文本描述训练子模块，用于将所述第一舌图像样本和第一舌图像样本的文本描述作为训练数据输入预设的多模态训练模型的输入层，经训练获得文本描述预测模型。
进一步地，本发明实施例的基于图像扩增的舌图像识别装置还包括舌图像分类模型训练模块，用于预先训练所述舌图像分类模型。
本发明一个实施例的舌图像分类模型训练模块具体包括：
第二采集子模块，用于对第二初始舌图像样本进行有效区域分割处理获得第二舌图像样本和第一舌轮廓掩码图像样本，并对所述第二初始舌图像样本进行舌图像分类标注；
图像扩散子模块，用于基于预设的图像扩散模型生成与所述第二舌轮廓掩码图像对应的N张第一生成式舌图像样本；
颜色校正子模块，用于基于N张第一生成式舌图像样本分别对所述第二舌图像样本进行颜色校正，分别生成与N张第一生成式舌图像样本一一对应的N张第三舌图像样本；
文本描述获取子模块，用于将各个第三舌图像样本或各个第三舌图像样本与第一舌图像样本的集合作为目标图像数据样本，并调用预设的文本描述预测模型对所述目标图像数据样本进行学习识别，以获得各个目标图像数据样本对应的文本描述；
第一舌图像分类训练子模块，用于将第二初始舌图像样本的舌图像分类结果和各个目标图像数据样本对应的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类模型。
本发明另一个实施例的舌图像分类模型训练模块具体包括：
第三采集子模块，用于获取与不同舌图像分类结果对应的多项舌纹理特征的文本描述；
第二舌图像分类训练子模块，用于将任一目标舌图像分类结果和与当前目标舌图像分类结果对应的多项舌纹理特征的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类模型。
本发明的另一个实施例的图像识别模块304包括：
图像识别子模块，用于将各个目标图像数据输入所述图像识别模型进行识别，以获得各个目标图像数据对应的舌图像分类结果；
统计计算子模块，用于对各个目标图像数据对应的舌图像分类结果进行统计计算，以最终获得初始舌图像的识别结果。
进一步地，本发明实施例的基于图像扩增的舌图像识别装置还包括舌分割模型训练模块，用于预先训练舌分割模型。
所述舌分割模型训练模块具体包括：
第四采集子模块，用于获取包含舌有效区域的第三初始舌图像样本；
标注子模块，用于对各个所述第三初始舌图像样本中的舌有效区域进行标注获得语义分割训练样本；
语义分割训练子模块，用于将所述语义分割训练样本输入预设的语义分割模型的输入层，经过训练获得舌分割模型。
进一步地，本发明实施例的有效区域分割模块301还用于判断所述初始舌图像中是否包含舌有效区域，若不包含则发出错误提示。
进一步地，本发明实施例的基于图像扩增的舌图像识别装置还包括图像扩散模型训练模块，用于预先训练图像扩散模型。
所述图像扩散模型训练模块具体包括：
第五采集子模块，用于获取能真实反应舌纹理特征的第四初始舌图像样本；
有效区域分割子模块，用于对所述第四初始舌图像样本进行有效区域分割处理获得第四舌图像样本和第二舌轮廓掩码图像样本；
图像扩散训练子模块，用于将所述第四舌图像样本和所述第二舌轮廓掩码图像样本作为训练数据输入预设的图像扩散训练模型的输入层，经训练获得图像扩散模型。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本申请实施例提供的一种基于图像扩增的舌图像识别方法、装置，在获得初始舌图像之后，对初始舌图像进行有效区域分割处理过的第一舌图像和第一舌轮廓掩码图像，本发明通过对舌图像进行有效区域处理保留舌的有效特征信息，减小了舌有效区域以外的图像在图像识别时的噪声干扰；基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像，本发明通过获取到N张颜色校正后的第二舌图像提高图像识别时的泛化能力和鲁棒性；最后将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，本发明通过图像识别模型对目标图像数据进行识别，获得初始舌图像的识别结果，最终提高了基于图像扩增的舌图像识别的准确性。
实施例三
本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述各个基于图像扩增的舌图像识别方法实施例中的步骤，例如图1所示的步骤S1-S4。或者，所述处理器执行所述计算机程序时实现上述各基于图像扩增的舌图像识别装置或网关***实施例中各模块/单元的功能，例如图3所示的有效区域分割模块301、图像扩散模块302、颜色校正模块303和图像识别模块304。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种基于图像扩增的舌图像识别方法，其特征在于，所述方法包括：
对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像；
基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，N大于等于1；
基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像；
将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像包括：
依次从所述第一生成式舌图像中选取一张图像作为目标生成式舌图像，对所述第一舌图像和所述目标生成式舌图像进行特征点匹配获得特征点对；
根据所述特征点的颜色对应关系生成第一舌图像与所述目标生成式舌图像之间的颜色校正矩阵；
基于所述颜色校正矩阵对所述第一舌图像进行颜色校正，以获得与所述目标生成式舌图像对应的第二舌图像。
3.根据权利要求1所述的方法，其特征在于，所述图像识别模型为级联网络模型，所述级联网络模型的第一网络模型为文本描述预测模型，所述级联网络模型的第二网络模型为舌图像分类预测模型；
所述调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，包括：
将各个目标图像数据输入所述文本描述预测模型进行识别，以获得各个目标图像数据对应的文本描述，所述文本描述用于描述目标图像数据中的舌纹理特征；
将各个目标图像数据对应的文本描述输入所述舌图像分类预测模型进行识别，以获得与所述初始舌图像对应的识别结果。
4.根据权利要求3所述的方法，其特征在于，在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述文本描述预测模型；
所述预先训练所述文本描述预测模型，具体包括：
对第一初始舌图像样本进行有效区域分割处理获得第一舌图像样本；
获取用于描述所述第一舌图像样本的舌纹理特征的文本描述；
将所述第一舌图像样本和第一舌图像样本的文本描述作为训练数据输入预设的多模态训练模型的输入层，经训练获得文本描述预测模型。
5.根据权利要求4所述的方法，其特征在于，在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述舌图像分类预测模型；
所述预先训练所述舌图像分类预测模型，具体包括：
对第二初始舌图像样本进行有效区域分割处理获得第二舌图像样本和第一舌轮廓掩码图像样本，并对所述第二初始舌图像样本进行舌图像分类标注；
基于预设的图像扩散模型生成与所述第二舌轮廓掩码图像对应的N张第一生成式舌图像样本；
基于N张第一生成式舌图像样本分别对所述第二舌图像样本进行颜色校正，分别生成与N张第一生成式舌图像样本一一对应的N张第三舌图像样本；
将N张第三舌图像样本或N张第三舌图像样本与第二舌图像样本的集合作为目标图像数据样本，并调用预设的文本描述预测模型对所述目标图像数据样本进行识别，以获得各个目标图像数据样本对应的文本描述；
将第二初始舌图像样本的舌图像分类结果和各个目标图像数据样本对应的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类预测模型。
6.根据权利要求3所述的方法，其特征在于，在调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果之前，所述方法还包括：预先训练所述舌图像分类预测模型；
所述预先训练所述舌图像分类预测模型，具体包括：
获取与不同舌图像分类结果对应的多项舌纹理特征的文本描述；
将任一目标舌图像分类结果和与当前目标舌图像分类对应的多项舌纹理特征的文本描述作为训练数据输入预设的舌图像分类预测训练模型的输入层，经训练获得舌图像分类预测模型。
7.根据权利要求1所述的方法，其特征在于，所述调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果，包括：
将各个目标图像数据输入所述图像识别模型进行识别，以获得各个目标图像数据对应的舌图像分类结果；
对各个目标图像数据对应的舌图像分类结果进行统计计算，以最终获得初始舌图像的识别结果。
8.根据权利要求1-7任一项所述的方法，其特征在于，在对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像之前，所述方法还包括：预先训练舌分割模型；
所述预先训练舌分割模型包括：
获取包含舌有效区域的第三初始舌图像样本；
对各个所述第三初始舌图像样本中的舌有效区域进行标注获得语义分割训练样本；
将所述语义分割训练样本输入预设的语义分割模型的输入层，经过训练获得舌分割模型。
9.根据权利要求1-7任一项所述的方法，其特征在于，在对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像之前，所述方法还包括；
判断所述初始舌图像中是否包含舌有效区域，若不包含则发出错误提示。
10.一种基于图像扩增的舌图像识别装置，其特征在于，所述装置包括：
有效区域分割模块，用于对待处理的初始舌图像进行有效区域分割处理获得第一舌图像和第一舌轮廓掩码图像；
图像扩散模块，用于基于预设的图像扩散模型生成与所述第一舌轮廓掩码图像对应的N张第一生成式舌图像，N大于等于1；
颜色校正模块，用于基于N张第一生成式舌图像分别对所述第一舌图像进行颜色校正，分别生成与N张第一生成式舌图像一一对应的N张第二舌图像；
图像识别模块，用于将N张第二舌图像或N张第二舌图像与第一舌图像的集合作为目标图像数据，并调用预设的图像识别模型对所述目标图像数据进行识别，以获得所述初始舌图像的识别结果。
11.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时，实现如权利要求1-9中任一项所述的基于图像扩增的舌图像识别方法。
CN202311051530.4A 2023-08-21 2023-08-21 基于图像扩增的舌图像识别方法、装置和计算机设备 Active CN117094966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311051530.4A CN117094966B (zh) 2023-08-21 2023-08-21 基于图像扩增的舌图像识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311051530.4A CN117094966B (zh) 2023-08-21 2023-08-21 基于图像扩增的舌图像识别方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN117094966A true CN117094966A (zh) 2023-11-21
CN117094966B CN117094966B (zh) 2024-04-05

Family

ID=88781442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311051530.4A Active CN117094966B (zh) 2023-08-21 2023-08-21 基于图像扩增的舌图像识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN117094966B (zh)

Citations (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186365A (ja) * 1999-12-27 2001-07-06 Canon Inc 画像処理方法、装置および記録媒体
KR20040059312A (ko) * 2002-12-28 2004-07-05 삼성전자주식회사 혀영상으로부터 관심영역 추출방법 및 혀영상을 이용한건강 모니터링방법 및 장치
WO2010002070A1 (en) * 2008-06-30 2010-01-07 Korea Institute Of Oriental Medicine Method for grouping 3d models to classify constitution
CN102509312A (zh) * 2011-09-20 2012-06-20 哈尔滨工业大学 人体数字舌图像颜色色域空间及其提取方法
KR20130083613A (ko) * 2012-01-13 2013-07-23 상지대학교산학협력단 3파장 영상을 이용한 설진 영상 처리 방법
KR101373471B1 (ko) * 2012-10-15 2014-03-13 세종대학교산학협력단 스테레오 영상 보정 장치 및 그 방법
JP2016103759A (ja) * 2014-11-28 2016-06-02 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
US20170118407A1 (en) * 2015-10-22 2017-04-27 Samsung Electronics Co., Ltd. Method and device for generating images
KR101731243B1 (ko) * 2015-12-15 2017-04-28 군산대학교 산학협력단 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
KR20170099066A (ko) * 2016-02-23 2017-08-31 정종율 혀 이미지를 기반으로 한 설진 방법 및 시스템
US20180095533A1 (en) * 2016-09-30 2018-04-05 Samsung Electronics Co., Ltd. Method for displaying an image and an electronic device thereof
CN109461128A (zh) * 2018-10-24 2019-03-12 福州大学 一种基于梯度保持的结构一致立体图像颜色校正方法
WO2019084919A1 (en) * 2017-11-03 2019-05-09 SZ DJI Technology Co., Ltd. Methods and system for infrared tracking
CN109978873A (zh) * 2019-03-31 2019-07-05 山西慧虎健康科技有限公司 一种基于中医影像大数据的智能体检***及其方法
WO2019137131A1 (zh) * 2018-01-10 2019-07-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110598533A (zh) * 2019-07-31 2019-12-20 平安科技（深圳）有限公司 舌象匹配方法、电子装置、计算机设备及存储介质
JP2020009162A (ja) * 2018-07-09 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR20200092492A (ko) * 2019-01-11 2020-08-04 연세대학교 산학협력단 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치
CN111639647A (zh) * 2020-05-22 2020-09-08 深圳市赛为智能股份有限公司 指示灯状态识别方法、装置、计算机设备及存储介质
WO2020188794A1 (ja) * 2019-03-20 2020-09-24 株式会社日立国際電気 映像システム、撮像装置、および映像処理装置
CN112839216A (zh) * 2021-01-13 2021-05-25 合肥埃科光电科技有限公司 一种图像色彩校正方法及装置
CN112884682A (zh) * 2021-01-08 2021-06-01 福州大学 一种基于匹配与融合的立体图像颜色校正方法及***
WO2021139258A1 (zh) * 2020-06-19 2021-07-15 平安科技（深圳）有限公司 基于图像识别的细胞识别计数方法、装置和计算机设备
WO2021169325A1 (zh) * 2020-02-25 2021-09-02 苏州科达科技股份有限公司 眼神调节方法、装置及存储介质
CN113724228A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 舌色苔色识别方法、装置、计算机设备及存储介质
CN113780444A (zh) * 2021-09-16 2021-12-10 平安科技（深圳）有限公司 基于渐进式学习的舌苔图像分类模型的训练方法
CN113781468A (zh) * 2021-09-23 2021-12-10 河南科技大学 一种基于轻量级卷积神经网络的舌图像分割方法
CN113781488A (zh) * 2021-08-02 2021-12-10 横琴鲸准智慧医疗科技有限公司 舌象图像的分割方法、装置及介质
CN113837986A (zh) * 2020-12-15 2021-12-24 京东科技控股股份有限公司 用于识别舌象的方法、装置、电子设备和介质
WO2022033150A1 (zh) * 2020-08-11 2022-02-17 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
WO2022047662A1 (en) * 2020-09-02 2022-03-10 Intel Corporation Method and system of neural network object recognition for warpable jerseys with multiple attributes
WO2022055037A1 (ko) * 2020-09-14 2022-03-17 안치영 컬러보정 및 타액검사를 위한 설진 키트 및 이를 이용한 비대면 설진 시스템
CN114372926A (zh) * 2021-12-21 2022-04-19 华东理工大学 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
CN114708493A (zh) * 2022-02-26 2022-07-05 上海大学 一种中医裂纹舌诊便携设备及使用方法
CN114820603A (zh) * 2022-06-27 2022-07-29 深圳中易健康科技有限公司 基于ai舌诊图像处理的智能健康管理方法及相关装置
WO2022247005A1 (zh) * 2021-05-27 2022-12-01 平安科技（深圳）有限公司 图像中目标物识别方法、装置、电子设备及存储介质
CN115965607A (zh) * 2022-12-31 2023-04-14 华东理工大学 一种智能中医舌诊辅助分析***
KR20230061757A (ko) * 2021-10-29 2023-05-09 한국 한의학 연구원 접촉식 설유두 및 설태 측정 장치
CN116187470A (zh) * 2023-01-18 2023-05-30 智慧眼科技股份有限公司 舌诊图像的颜色校正模型训练方法、颜色校正方法及设备
WO2023143129A1 (zh) * 2022-01-30 2023-08-03 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186365A (ja) * 1999-12-27 2001-07-06 Canon Inc 画像処理方法、装置および記録媒体
KR20040059312A (ko) * 2002-12-28 2004-07-05 삼성전자주식회사 혀영상으로부터 관심영역 추출방법 및 혀영상을 이용한건강 모니터링방법 및 장치
WO2010002070A1 (en) * 2008-06-30 2010-01-07 Korea Institute Of Oriental Medicine Method for grouping 3d models to classify constitution
CN102509312A (zh) * 2011-09-20 2012-06-20 哈尔滨工业大学 人体数字舌图像颜色色域空间及其提取方法
KR20130083613A (ko) * 2012-01-13 2013-07-23 상지대학교산학협력단 3파장 영상을 이용한 설진 영상 처리 방법
KR101373471B1 (ko) * 2012-10-15 2014-03-13 세종대학교산학협력단 스테레오 영상 보정 장치 및 그 방법
JP2016103759A (ja) * 2014-11-28 2016-06-02 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
US20170118407A1 (en) * 2015-10-22 2017-04-27 Samsung Electronics Co., Ltd. Method and device for generating images
KR101731243B1 (ko) * 2015-12-15 2017-04-28 군산대학교 산학협력단 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
KR20170099066A (ko) * 2016-02-23 2017-08-31 정종율 혀 이미지를 기반으로 한 설진 방법 및 시스템
US20180095533A1 (en) * 2016-09-30 2018-04-05 Samsung Electronics Co., Ltd. Method for displaying an image and an electronic device thereof
WO2019084919A1 (en) * 2017-11-03 2019-05-09 SZ DJI Technology Co., Ltd. Methods and system for infrared tracking
WO2019137131A1 (zh) * 2018-01-10 2019-07-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2019218826A1 (zh) * 2018-05-17 2019-11-21 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
JP2020009162A (ja) * 2018-07-09 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN109461128A (zh) * 2018-10-24 2019-03-12 福州大学 一种基于梯度保持的结构一致立体图像颜色校正方法
KR20200092492A (ko) * 2019-01-11 2020-08-04 연세대학교 산학협력단 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치
WO2020188794A1 (ja) * 2019-03-20 2020-09-24 株式会社日立国際電気 映像システム、撮像装置、および映像処理装置
CN109978873A (zh) * 2019-03-31 2019-07-05 山西慧虎健康科技有限公司 一种基于中医影像大数据的智能体检***及其方法
CN110598533A (zh) * 2019-07-31 2019-12-20 平安科技（深圳）有限公司 舌象匹配方法、电子装置、计算机设备及存储介质
WO2021017308A1 (zh) * 2019-07-31 2021-02-04 平安科技（深圳）有限公司 舌象匹配方法、电子装置、计算机设备及存储介质
WO2021169325A1 (zh) * 2020-02-25 2021-09-02 苏州科达科技股份有限公司 眼神调节方法、装置及存储介质
CN111639647A (zh) * 2020-05-22 2020-09-08 深圳市赛为智能股份有限公司 指示灯状态识别方法、装置、计算机设备及存储介质
WO2021139258A1 (zh) * 2020-06-19 2021-07-15 平安科技（深圳）有限公司 基于图像识别的细胞识别计数方法、装置和计算机设备
WO2022033150A1 (zh) * 2020-08-11 2022-02-17 Oppo广东移动通信有限公司 图像识别方法、装置、电子设备及存储介质
WO2022047662A1 (en) * 2020-09-02 2022-03-10 Intel Corporation Method and system of neural network object recognition for warpable jerseys with multiple attributes
WO2022055037A1 (ko) * 2020-09-14 2022-03-17 안치영 컬러보정 및 타액검사를 위한 설진 키트 및 이를 이용한 비대면 설진 시스템
CN113837986A (zh) * 2020-12-15 2021-12-24 京东科技控股股份有限公司 用于识别舌象的方法、装置、电子设备和介质
CN112884682A (zh) * 2021-01-08 2021-06-01 福州大学 一种基于匹配与融合的立体图像颜色校正方法及***
CN112839216A (zh) * 2021-01-13 2021-05-25 合肥埃科光电科技有限公司 一种图像色彩校正方法及装置
WO2022247005A1 (zh) * 2021-05-27 2022-12-01 平安科技（深圳）有限公司 图像中目标物识别方法、装置、电子设备及存储介质
CN113781488A (zh) * 2021-08-02 2021-12-10 横琴鲸准智慧医疗科技有限公司 舌象图像的分割方法、装置及介质
CN113724228A (zh) * 2021-08-31 2021-11-30 平安科技（深圳）有限公司 舌色苔色识别方法、装置、计算机设备及存储介质
CN113780444A (zh) * 2021-09-16 2021-12-10 平安科技（深圳）有限公司 基于渐进式学习的舌苔图像分类模型的训练方法
CN113781468A (zh) * 2021-09-23 2021-12-10 河南科技大学 一种基于轻量级卷积神经网络的舌图像分割方法
KR20230061757A (ko) * 2021-10-29 2023-05-09 한국 한의학 연구원 접촉식 설유두 및 설태 측정 장치
CN114372926A (zh) * 2021-12-21 2022-04-19 华东理工大学 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
WO2023143129A1 (zh) * 2022-01-30 2023-08-03 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114708493A (zh) * 2022-02-26 2022-07-05 上海大学 一种中医裂纹舌诊便携设备及使用方法
CN114820603A (zh) * 2022-06-27 2022-07-29 深圳中易健康科技有限公司 基于ai舌诊图像处理的智能健康管理方法及相关装置
CN115965607A (zh) * 2022-12-31 2023-04-14 华东理工大学 一种智能中医舌诊辅助分析***
CN116187470A (zh) * 2023-01-18 2023-05-30 智慧眼科技股份有限公司 舌诊图像的颜色校正模型训练方法、颜色校正方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHUANG Q等: "Human-computer interaction based health diagnostics using ResNet34 for tongue image classification", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, vol. 226, pages 1 - 16 *
李家炜: "基于深度学习的中医舌象特征分类方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 1, pages 056 - 25 *

Also Published As

Publication number Publication date
CN117094966B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN110505459B (zh) 适用于内窥镜的图像颜色校正方法、装置和存储介质
CN108960232A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
CN110502986A (zh) 识别图像中人物位置方法、装置、计算机设备和存储介质
WO2021218119A1 (zh) 图像调色增强方法和图像调色增强神经网络训练方法
CN108921161A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
CN108510560B (zh) 图像处理方法、装置、存储介质和计算机设备
CN109767467A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113743384B (zh) 一种胃部图片识别方法及装置
CN109360254A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110047059B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN110956080A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113052768B (zh) 一种处理图像的方法、终端及计算机可读存储介质
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN107920205A (zh) 图像处理方法、装置、存储介质和电子设备
CN117094966B (zh) 基于图像扩增的舌图像识别方法、装置和计算机设备
CN112926508A (zh) 活体检测模型的训练方法和装置
CN110110750B (zh) 一种原始图片的分类方法及装置
CN112381073A (zh) 基于ai人脸检测的iq调整方法及调整模块
CN110097080B (zh) 一种分类标签的构建方法及装置
CN114972065A (zh) 色差校正模型的训练方法、***、电子设备和移动设备
CN112529002B (zh) 舌体图片分类方法、装置、计算机设备及存储介质
CN108881740A (zh) 图像方法和装置、电子设备、计算机可读存储介质
CN111767829B (zh) 一种活体检测方法、装置、***及存储介质
CN113920556A (zh) 一种人脸防伪方法、装置、存储介质及电子设备
CN112329497A (zh) 一种目标识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant