CN112806964A - 舌象分析方法和*** - Google Patents
舌象分析方法和*** Download PDFInfo
- Publication number
- CN112806964A CN112806964A CN202110115247.8A CN202110115247A CN112806964A CN 112806964 A CN112806964 A CN 112806964A CN 202110115247 A CN202110115247 A CN 202110115247A CN 112806964 A CN112806964 A CN 112806964A
- Authority
- CN
- China
- Prior art keywords
- tongue
- dimensional
- picture
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 73
- 238000012937 correction Methods 0.000 claims abstract description 38
- 206010014080 Ecchymosis Diseases 0.000 claims abstract description 27
- 238000000926 separation method Methods 0.000 claims abstract description 14
- 206010034754 petechiae Diseases 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 22
- 238000013473 artificial intelligence Methods 0.000 claims description 12
- 210000003462 vein Anatomy 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 6
- 206010043945 Tongue coated Diseases 0.000 claims description 2
- 238000003703 image analysis method Methods 0.000 claims description 2
- 239000011248 coating agent Substances 0.000 abstract description 30
- 238000000576 coating method Methods 0.000 abstract description 30
- 238000003745 diagnosis Methods 0.000 abstract description 17
- 238000005286 illumination Methods 0.000 abstract description 15
- 238000003062 neural network model Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 239000003814 drug Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 206010037549 Purpura Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 206010011409 Cross infection Diseases 0.000 description 1
- 206010029803 Nosocomial infection Diseases 0.000 description 1
- 208000010798 Tongue disease Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4542—Evaluating the mouth, e.g. the jaw
- A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/90—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to alternative medicines, e.g. homeopathy or oriental medicines
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Alternative & Traditional Medicine (AREA)
- Physiology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Fuzzy Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pharmacology & Pharmacy (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Physical Education & Sports Medicine (AREA)
- Evolutionary Computation (AREA)
- Rheumatology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
Abstract
本发明公开了一种舌象分析方法和***,包括:在开放环境下,采集包含舌头部分的二维图像和三维图像;从二维图像中提取出二维舌象;对二维舌象进行颜色校正,以将二维舌象矫正到处于预设标准环境中的颜色;对经过颜色校正后的二维舌象进行瘀斑瘀点识别、苔质分离、舌质颜色标定、舌苔特征标定,以获得舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息;从三维图像中提取出三维舌象;从三维舌象中提取出关于舌体的物理尺寸信息。本发明满足了多种光照环境下的舌象采集的需求和医务人员对舌象分析的需求。同时,本发明实现了舌象的二维数据和三维数据的同时采集,给舌象的对比、诊断提供了便利。
Description
技术领域
本发明涉及舌诊技术领域,特别涉及一种舌象分析方法和舌象分析***。
背景技术
舌诊,属于中医“望闻问切”四诊中的望诊,它是中医中最常用、最有临床应用价值的诊法之一。中医认为从舌体和舌苔的颜色、形态、大小等特征可以反映出人体的健康状态,更有可能定位出病症所在的部位和程度,因此具有极高的研究价值。
然而,传统的舌诊依赖医生的主观判断。由于经验知识和外部观察环境的不同,不同医生对同一舌象往往不能给出一致的判断。现有的舌诊仪虽然能够在一定程度上辅助医生进行诊断,但其往往只能给出定性的分析判断,并且需要在封闭的环境下采用固定光源进行舌象的采集,进而造成了舌诊仪的局限性大、推广性差,并且容易交叉感染的问题。同时,现有的舌诊仪也无法给出厚度、体积等依赖于三维数据的信息。
因此,如何实现在各种光照环境下采集舌象并进行分析,并在不同光照环境下采集的舌象均能得到一致的诊断结果,以利于医生对舌象诊断的准确分析,便成为亟待解决的问题。
发明内容
有鉴于此,本发明提供一种舌象分析方法和***,以满足多种光照环境的舌象采集需求,并且针对各种光照环境下得到的不同舌象均能得到一致的诊断结果,满足医务人员对舌象分析的需求。
本发明的技术方案是这样实现的:
一种舌象分析方法,包括:
在开放环境下,采集包含舌头部分的二维图像和三维图像;
从所述二维图像中提取出二维舌象,所述二维舌象中仅包含所述舌头部分的图像信息,不包含除所述舌头部分以外的其它信息;
对所述二维舌象进行颜色校正,以将所述二维舌象矫正到处于预设标准环境中的颜色;
对经过所述颜色校正后的二维舌象进行瘀斑瘀点识别、苔质分离、舌质颜色标定、舌苔特征标定,以获得所述舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息;
从所述三维图像中提取出三维舌象,所述三维舌象中仅包含所述舌头部分的舌体信息,不包含除所述舌头部分以外的其它信息;
从所述三维舌象中提取出关于所述舌体的物理尺寸信息。
进一步,对所述二维舌象进行颜色校正采用基于人工智能的颜色矫正算法实现。
进一步,所述瘀斑瘀点识别、所述苔质分离、所述舌苔特征标定采用基于人工智能的算法实现。
进一步,所述舌质颜色标定包括:
获得经过所述颜色校正后的二维舌象中舌质红度的最大值和平均值;
根据所述舌质红度的最大值和平均值,对所述舌质的颜色进行分类。
进一步,所述的从所述三维舌象中提取出关于所述舌体的物理尺寸信息,包括:
从所述三维舌象中提取出关于所述舌体的长度、宽度、厚度、面积、体积,以及舌下部分的静脉长度、静脉宽度、静脉面积信息。
进一步,在提取出所述三维舌象后,并在提取出关于所述舌体的物理尺寸信息之前,所述方法还包括:
对所述三维舌象进行颜色校正,以将所述三维舌象矫正到处于所述预设标准环境中的颜色。
一种舌象分析***,包括:
二维图像采集装置,用于在开放环境下,采集包含舌头部分的二维图像;
三维图像采集装置,用于在所述开放环境下,采集包含所述舌头部分的三维图像;
舌象分析装置,所述舌象分析装置与所述二维图像采集装置和所述三维图像采集装置通讯连接,用于:从所述二维图像采集装置接收所述二维图像;从所述二维图像中提取出二维舌象;对所述二维舌象进行颜色校正,以将所述二维舌象矫正到处于预设标准环境中的颜色;对经过所述颜色校正后的二维舌象进行瘀斑瘀点识别、苔质分离、舌质颜色标定、舌苔特征标定,以获得所述舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息;从所述三维图像采集装置接收所述三维图像;从所述三维图像中提取出三维舌象;从所述三维舌象中提取出关于所述舌体的物理尺寸信息;
其中,所述二维舌象中仅包含所述舌头部分的图像信息,不包含除所述舌头部分以外的其它信息;所述三维舌象中仅包含所述舌头部分的舌体信息,不包含除所述舌头部分以外的其它信息。
进一步,所述舌象分析装置还用于:在提取出所述三维舌象后,并在提取出关于所述舌体的物理尺寸信息之前,对所述三维舌象进行颜色校正,以将所述三维舌象矫正到处于所述预设标准环境中的颜色。
进一步,所述舌象分析***还包括:
数据显示装置,所述数据显示装置用于接收并显示所获得的信息;其中,
所述舌象分析装置与所述数据显示装置通讯连接,所述舌象分析装置还用于:
将所述瘀斑瘀点信息、所述舌质颜色信息、所述舌苔特征信息和关于所述舌体的物理尺寸信息发送给所述数据显示装置。
进一步,所述舌象分析装置和所述二维图像采集装置之间通过网络通讯连接;
所述舌象分析装置和所述三维图像采集装置之间通过所述网络通讯连接;
所述舌象分析装置和所述数据显示装置之间通过所述网络通讯连接。
从上述方案可以看出,本发明的舌象分析方法和***,利用人工智能方法将采集到的二维舌象的颜色矫正到处于预设标准环境中的颜色,进而基于处于预设标准环境中的舌象颜色进行各种舌象特征信息的提取,满足了多种光照环境下的舌象采集的需求,并且针对各种光照环境下的不同舌象均能够得到一致的诊断结果,满足医务人员对舌象分析的需求。同时,本发明中,二维舌象和三维舌象的采集以及舌象分析数据的显示可以利用医务人员随身携带的智能手机实现,满足了医务人员对诊断用终端设备的小型化、便携化的需求。同时,本发明的舌象分析方法和***,还实现了舌象的二维数据和三维数据的同时采集,给舌象的对比、诊断提供了便利。
附图说明
图1为本发明实施例的舌象分析方法流程图;
图2为本发明实施例的舌象分析***结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下参照附图并举实施例,对本发明作进一步详细说明。
如图1所示,本发明实施例的舌象分析方法,主要包括以下步骤:
步骤1、在开放环境下,采集包含舌头部分的二维图像和三维图像;
步骤2、从二维图像中提取出二维舌象,该二维舌象中仅包含舌头部分的图像信息,不包含除舌头部分以外的其它信息;
步骤3、对二维舌象进行颜色校正,以将二维舌象矫正到处于预设标准环境中的颜色;
步骤4、对经过颜色校正后的二维舌象进行瘀斑瘀点识别、苔质分离、舌质颜色标定、舌苔特征标定,以获得舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息;
步骤5、从三维图像中提取出三维舌象,该三维舌象中仅包含舌头部分的舌体信息,不包含除舌头部分以外的其它信息;
步骤6、从三维舌象中提取出关于舌体的物理尺寸信息。
在可选实施例中,步骤1中,除了在开放环境下以外,,也可以在封闭环境下进行采集,进一步地,步骤1可以在各种环境光照条件下进行。
在可选实施例中,步骤1的采集包含舌头部分的二维图像可以利用相机、具有拍照功能的手机、专用的舌象采集装置实现。优选地,步骤1可采用具备上网功能的智能手机实现。
在可选实施例中,步骤2的从二维图像中提取出二维舌象,可利用拍摄该二维图像的智能手机本身实现,也可采用专用处理装置实现。优选地,步骤2可采用与智能手机通讯连接的专用服务器实现,在可选实施例中,该专用服务器配备于网络(互联网或局域网)侧,例如该专用服务器配置于云端或者配置于专用的局域网中,智能手机与该专用服务器通过网络(例如互联网、局域网)通讯连接,智能手机通过网络将二维图像发送给该专用服务器,该专用服务器接收到二维图像后,从二维图像中提取出二维舌象。
在可选实施例中,二维舌象的提取可采用现有的图像分割算法实现,此处不再赘述。
由于步骤1的实施例是开放环境下、在各种环境光照条件下进行,进而在各种复杂光照环境下,会因为灯光、天气、拍摄角度等原因导致二维舌象的颜色存在偏差,从而影响分析结果。因此,在步骤3中,使用颜色校正算法,实现将不同环境下所获得的二维舌象校正到预设标准环境中的颜色,进而实现减小或消除由于环境因素导致的色差问题。其中,预设标准环境包括预先定义的光照颜色、光照角度、光照强度等。在一个具体实施例中,预设标准环境可以为舌诊仪所采用的封闭环境。
在可选实施例中,步骤3中的对二维舌象进行颜色校正采用基于人工智能的颜色矫正算法实现。例如,该基于人工智能的颜色矫正算法可以为基于人工智能的模型训练,利用已有的色卡数据集(如通用的标准色卡数据组成的数据集)进行颜色校正模型训练得到关于二维舌象的颜色校正模型,之后利用该颜色校正模型对步骤2所得到的二维舌象进行匹配,以获得处于预设标准环境中的二维舌象的颜色。
在前述实施例的基础上,步骤3的颜色校正,可以利用拍摄该二维图像的智能手机本身实现,也可采用专用处理装置实现。考虑到执行模型训练所消耗的算力资源较大的问题,在可选实施例中,采用专用处理装置实现。优选地,步骤3可采用专用服务器实现。在可选实施例中,该专用服务器配备于网络(互联网或局域网)侧,该专用服务器执行步骤2之后执行步骤3的内容。在可选实施例中,该专用服务器可以与执行步骤2的专用服务器不同,执行步骤2的专用服务器将提取出的二维舌象发送给执行步骤3的专用服务器,执行步骤3的专用服务器用于执行颜色校正模型训练,以及对二维舌象进行颜色校正。
在可选实施例中,步骤4中的瘀斑瘀点识别、苔质分离、舌苔特征标定采用基于人工智能的算法实现。
例如,瘀斑瘀点识别利用已有的瘀斑瘀点数据集进行模型训练得到瘀斑瘀点模型,之后利用该瘀斑瘀点模型对步骤3所得到的颜色校正后的二维舌象进行识别,以在颜色校正后的二维舌象中得到舌头部分的瘀斑瘀点信息。
在可选实施例中,如果仅针对瘀点检测,则可采用圆点检测等方法直接在二维舌象中检测出瘀点所在位置。
在可选实施例中,步骤3中的颜色校正和步骤4中的同样适用于面部分析。进而采用本发明实施例的舌象分析方法,利用其中步骤1、步骤2、步骤3和步骤4中的技术方案同样可以实现针对面部的分析。
苔质分离是指将舌苔与舌质进行分离。舌质和舌苔在颜色上有所不同,舌质大多为红色,而舌苔多为黄色或白色。在可选实施例中,采用基于人工智能的算法实现。例如,苔质分离利用已有的舌苔特征数据集进行模型训练得到舌苔特征模型,之后利用该舌苔特征模型对步骤3所得到的颜色校正后的二维舌象进行识别,以在颜色校正后的二维舌象中得到舌苔部分区域,之后,将舌苔部分区域从二维舌象中分离,便得到了分离后的舌苔部分和余下的舌质部分。
舌苔特征包括颜色、形态、厚薄、润燥、腐腻和胖瘦等。舌苔特征标定是将颜色、形态、厚薄、润燥、腐腻和胖瘦等信息标定出来。在可选实施例中,舌苔特征标定基于人工智能的算法实现。例如,针对颜色、形态、厚薄、润燥、腐腻和胖瘦等不同的舌苔特征属性,对已有的舌象图片数据进行标定,建立相应的特征数据集,例如舌苔颜色特征数据集、舌苔形状特征数据集、舌苔厚薄特征数据集、舌苔润燥特征数据集、舌苔腐腻特征数据集、舌苔胖瘦特征数据集等,利用这些特征数据集通过训练,得到相应的模型,例如舌苔颜色特征神经网络模型、舌苔形状特征神经网络模型、舌苔厚薄特征神经网络模型、舌苔润燥特征神经网络模型、舌苔腐腻特征神经网络模型、舌苔胖瘦特征神经网络模型等,进而利用这些神经网络模型对分离后的舌苔部分进行识别得到舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息等。
在可选实施例中,舌质颜色标定包括以下步骤:
步骤a、获得经过颜色校正后的二维舌象中舌质红度的最大值和平均值;
步骤b、根据舌质红度的最大值和平均值,对舌质的颜色进行分类。
其中,对舌质的颜色的分类,例如包括淡红、红、深红等,其中,淡红、红、深红可根据舌质的红色梯度结合事先设定的红色梯度阈值而获得,例如,当舌质的颜色落入标定为淡红的红色梯度阈值范围内时,将舌质的颜色归类为淡红。红色梯度阈值,优选地依据中医学标准,根据舌质的相关指标与舌质的颜色之间的关系,进行设定,从而能够根据分类后的舌质颜色而得到关于该舌质颜色所代表的舌质指标。
在可选实施例中,步骤1中,三维图像和二维图像是在同一光照环境下进行采集的。
在可选实施例中,包含舌头部分的三维图像与包含舌头部分的二维图像是在同一时刻采集的,或者包含舌头部分的三维图像与包含舌头部分的二维图像的采集时间间隔较短,例如在1分钟之内先后采集二维图像和三维图像,可以先采集二维图像再采集三维图像,也可以先采集三维图像再采集二维图像。
由于在本发明实施例中,三维舌象中提取的信息与二维舌象不同,进而,在可选实施例中,步骤1中,三维图像与二维图像可以在不同光照环境下进行采集。
在可选实施例中,步骤1中的采集包含舌头部分的三维图像可以利用三维相机、具有三维拍照功能的手机、专用的能够采集三维图像的舌象采集装置实现。
如图1所示实施例中,步骤5和步骤2均是在步骤1后执行,步骤5和步骤2之间是并行关系,步骤2和步骤5之间没有必然的先后顺序关系。
在可选实施例中,在完成步骤5之后并在执行步骤6之前还可以进一步采用以下步骤:
对三维舌象进行颜色校正,以将三维舌象矫正到处于预设标准环境中的颜色。
在可选实施例中,步骤5的从三维图像中提取出三维舌象,可利用拍摄该三维图像的装置,也可采用专用处理装置实现。优选地,步骤5可采用与拍摄该三维图像的装置进行通讯连接的专用服务器实现,在可选实施例中,该专用服务器配备于网络(互联网或局域网)侧,例如该专用服务器配置于云端或者配置于专用的局域网中,拍摄该三维图像的装置与该专用服务器通过网络(例如互联网、局域网)通讯连接,拍摄该三维图像的装置通过网络将三维图像发送给该专用服务器,该专用服务器接收到三维图像后,从三维图像中提取出三维舌象。
在可选实施例中,从三维图像中提取三维舌象与从二维图像中提取二维舌象利用同一个处理装置实现。
在可选实施例中,三维舌象的提取可采用现有的图像分割算法实现,此处不再赘述。
在可选实施例中,步骤6中的从三维舌象中提取出关于舌体的物理尺寸信息,包括:
从三维舌象中提取出关于舌体的长度、宽度、厚度、面积、体积,以及舌下部分的静脉长度、静脉宽度、静脉面积信息。
其中,关于舌体的长度、宽度、厚度、面积、体积,以及舌下部分的静脉长度、静脉宽度、静脉面积信息的提取可通过现有技术实现,此处不再赘述。
在可选实施例中,舌象分析数据可以结合二维舌象、三维舌象的图像以标注的形式进行显示,也可以采用例如表格、段落描述等方式进行显示。
本发明实施例还提供了一种舌象分析***,如图2所示,主要包括二维图像采集装置1、三维图像采集装置2和舌象分析装置3。其中,二维图像采集装置1,用于在开放环境下,采集包含舌头部分的二维图像。三维图像采集装置2,用于在开放环境下,采集包含舌头部分的三维图像。舌象分析装置3与二维图像采集装置1和三维图像采集装置2通讯连接,用于:从二维图像采集装置1接收二维图像;从二维图像中提取出二维舌象;对二维舌象进行颜色校正,以将二维舌象矫正到处于预设标准环境中的颜色;对经过颜色校正后的二维舌象进行瘀斑瘀点识别、苔质分离、舌质颜色标定、舌苔特征标定,以获得舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息;从三维图像采集装置2接收三维图像;从三维图像中提取出三维舌象;从三维舌象中提取出关于舌体的物理尺寸信息。其中,二维舌象中仅包含舌头部分的图像信息,不包含除舌头部分以外的其它信息;三维舌象中仅包含舌头部分的舌体信息,不包含除舌头部分以外的其它信息。
其中,二维图像采集装置1例如相机、具有拍照功能的手机、专用的舌象采集装置等,可实现在多种光照环境下对包含舌头部分的二维图像的采集。
其中,三维图像采集装置2可以为三维相机、具有三维拍照功能的手机、专用的能够采集三维图像的舌象采集装置。
舌象分析装置3可以为与二维图像采集装置1和三维图像采集装置2通讯连接的运行有相应的舌象分析程序的计算机。舌象分析装置3也可以为专门用于舌象分析的服务器,其具有人工智能程序,能够基于各种数据集进行神经网络训练而得到相关神经网络模型。优选地,舌象分析装置3由云端服务器或者云端服务器集群实现,二维图像采集装置1、三维图像采集装置2与舌象分析装置3之间通过网络通讯连接,二维图像采集装置1通过网络接入舌象分析装置3并上传包含舌头部分的二维图像,三维图像采集装置2通过网络接入舌象分析装置3并上传包含舌头部分的三维图像。优选地,二维图像采集装置1通过Wi-Fi、4G和/或5G等无线网络上传包含舌头部分的二维图像,进而二维图像采集装置1可以实现小型化、便携化的目的,进而医务人员可以直接利用随身携带的智能手机(如基于iOS***、基于安卓***、基于鸿蒙***等)实现包含舌头部分的二维图像的拍摄和上传,给现场问诊检测带来极大的便利。三维图像采集装置2可通过有线网络、Wi-Fi、4G和/或5G等无线网络上传包含舌头部分的三维图像。
继续参见图2所示,在本发明实施例的舌象分析***还包括数据显示装置4。其中,数据显示装置4用于接收并显示所获得的信息。其中,舌象分析装置3与数据显示装置4通讯连接,舌象分析装置3还用于:将瘀斑瘀点信息、舌质颜色信息、舌苔特征信息和关于舌体的物理尺寸信息发送给数据显示装置。
在可选实施例中,数据显示装置4可以为显示器,当舌象分析装置3为计算机时,显示器与舌象分析装置3直接连接以接收显示信号,实现对舌象分析数据的显示。在可选实施例中,数据显示装置4可以为带有显示器的计算机,当舌象分析装置3为云端服务器或者云端服务器集群时,舌象分析装置3和数据显示装置4之间通过网络通讯连接,带有显示器的计算机接入网络(如互联网)以与云端服务器或者云端服务器集群建立通讯连接,实现从云端服务器或者云端服务器集群下载舌象分析数据并进行显示的目的。
在可选实施例中,数据显示装置4可以为智能手机,舌象分析装置3和数据显示装置4之间通过网络通讯连接,智能手机通过Wi-Fi、4G和/或5G等无线方式接入网络以与云端服务器或者云端服务器集群建立通讯连接,实现从云端服务器或者云端服务器集群下载舌象分析数据并进行显示的目的。在该可选实施例中,智能手机可同时实现二维图像采集装置1和数据显示装置4的功能,即二维图像采集装置1和数据显示装置4集成于智能手机中,进而医务人员通过随身携带的智能手机便可以完成包含舌头部分的二维图像的拍摄和舌象分析数据显示的功能。
本发明实施例的舌象分析方法和***中,除舌苔部分的相关的方案(包括苔质分离、舌苔特征标定)外,其他部分技术方案均可用于面部的分析。即本发明实施例的舌象分析方法和***可作为面部分析方法和***使用,进行面部分析时,只需将舌苔部分的步骤和相应模块功能禁用即可。
本发明实施例的舌象分析方法和***,利用人工智能方法将采集到的二维舌象的颜色矫正到处于预设标准环境中的颜色,进而基于处于预设标准环境中的舌象颜色进行各种舌象特征信息的提取,满足了多种光照环境下的舌象采集的需求,并且针对各种光照环境下的不同舌象均能够得到一致的诊断结果,满足医务人员对舌象分析的需求。同时,本发明实施例中,二维舌象和三维舌象的采集以及舌象分析数据的显示可以利用医务人员随身携带的智能手机实现,满足了医务人员对诊断用终端设备的小型化、便携化的需求。同时,本发明实施例的舌象分析方法和***,还实现了舌象的二维数据和三维数据的同时采集,给舌象的对比、诊断提供了便利。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (10)
1.一种舌象分析方法,包括:
在开放环境下,采集包含舌头部分的二维图像和三维图像;
从所述二维图像中提取出二维舌象,所述二维舌象中仅包含所述舌头部分的图像信息,不包含除所述舌头部分以外的其它信息;
对所述二维舌象进行颜色校正,以将所述二维舌象矫正到处于预设标准环境中的颜色;
对经过所述颜色校正后的二维舌象进行瘀斑瘀点识别、苔质分离、舌质颜色标定、舌苔特征标定,以获得所述舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息;
从所述三维图像中提取出三维舌象,所述三维舌象中仅包含所述舌头部分的舌体信息,不包含除所述舌头部分以外的其它信息;
从所述三维舌象中提取出关于所述舌体的物理尺寸信息。
2.根据权利要求1所述的舌象分析方法,其特征在于:
对所述二维舌象进行颜色校正采用基于人工智能的颜色矫正算法实现。
3.根据权利要求1所述的舌象分析方法,其特征在于:
所述瘀斑瘀点识别、所述苔质分离、所述舌苔特征标定采用基于人工智能的算法实现。
4.根据权利要求1所述的舌象分析方法,其特征在于,所述舌质颜色标定包括:
获得经过所述颜色校正后的二维舌象中舌质红度的最大值和平均值;
根据所述舌质红度的最大值和平均值,对所述舌质的颜色进行分类。
5.根据权利要求1所述的舌象分析方法,其特征在于,所述的从所述三维舌象中提取出关于所述舌体的物理尺寸信息,包括:
从所述三维舌象中提取出关于所述舌体的长度、宽度、厚度、面积、体积,以及舌下部分的静脉长度、静脉宽度、静脉面积信息。
6.根据权利要求1所述的舌象分析方法,其特征在于,在提取出所述三维舌象后,并在提取出关于所述舌体的物理尺寸信息之前,所述方法还包括:
对所述三维舌象进行颜色校正,以将所述三维舌象矫正到处于所述预设标准环境中的颜色。
7.一种舌象分析***,其特征在于,包括:
二维图像采集装置,用于在开放环境下,采集包含舌头部分的二维图像;
三维图像采集装置,用于在所述开放环境下,采集包含所述舌头部分的三维图像;
舌象分析装置,所述舌象分析装置与所述二维图像采集装置和所述三维图像采集装置通讯连接,用于:从所述二维图像采集装置接收所述二维图像;从所述二维图像中提取出二维舌象;对所述二维舌象进行颜色校正,以将所述二维舌象矫正到处于预设标准环境中的颜色;对经过所述颜色校正后的二维舌象进行瘀斑瘀点识别、苔质分离、舌质颜色标定、舌苔特征标定,以获得所述舌头部分的瘀斑瘀点信息、舌质颜色信息和舌苔特征信息;从所述三维图像采集装置接收所述三维图像;从所述三维图像中提取出三维舌象;从所述三维舌象中提取出关于所述舌体的物理尺寸信息;
其中,所述二维舌象中仅包含所述舌头部分的图像信息,不包含除所述舌头部分以外的其它信息;所述三维舌象中仅包含所述舌头部分的舌体信息,不包含除所述舌头部分以外的其它信息。
8.根据权利要求7所述的舌象分析***,其特征在于:
所述舌象分析装置还用于:在提取出所述三维舌象后,并在提取出关于所述舌体的物理尺寸信息之前,对所述三维舌象进行颜色校正,以将所述三维舌象矫正到处于所述预设标准环境中的颜色。
9.根据权利要求7或8所述的舌象分析***,其特征在于,所述舌象分析***还包括:
数据显示装置,所述数据显示装置用于接收并显示所获得的信息;其中,
所述舌象分析装置与所述数据显示装置通讯连接,所述舌象分析装置还用于:
将所述瘀斑瘀点信息、所述舌质颜色信息、所述舌苔特征信息和关于所述舌体的物理尺寸信息发送给所述数据显示装置。
10.根据权利要求7或8所述的舌象分析***,其特征在于:
所述舌象分析装置和所述二维图像采集装置之间通过网络通讯连接;
所述舌象分析装置和所述三维图像采集装置之间通过所述网络通讯连接;
所述舌象分析装置和所述数据显示装置之间通过所述网络通讯连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110115247.8A CN112806964A (zh) | 2021-01-28 | 2021-01-28 | 舌象分析方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110115247.8A CN112806964A (zh) | 2021-01-28 | 2021-01-28 | 舌象分析方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112806964A true CN112806964A (zh) | 2021-05-18 |
Family
ID=75859768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110115247.8A Pending CN112806964A (zh) | 2021-01-28 | 2021-01-28 | 舌象分析方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112806964A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102551673A (zh) * | 2012-01-10 | 2012-07-11 | 天津大学 | 三维全息舌象获取方法及舌象仪 |
CN104586397A (zh) * | 2015-01-26 | 2015-05-06 | 北京工业大学 | 感觉等距法与聚类分析结合的中医舌色分类感知量化方法 |
CN105286768A (zh) * | 2015-09-23 | 2016-02-03 | 江苏大学 | 基于手机平台下的人体健康状态的舌苔诊断装置 |
CN106725310A (zh) * | 2016-11-29 | 2017-05-31 | 深圳市易特科信息技术有限公司 | 中医舌诊图像处理***及方法 |
CN109147935A (zh) * | 2018-07-19 | 2019-01-04 | 山东和合信息科技有限公司 | 基于人体特征采集识别技术的健康数据平台 |
CN109815860A (zh) * | 2019-01-10 | 2019-05-28 | 中国科学院苏州生物医学工程技术研究所 | 中医舌诊图像颜色校正方法、电子设备、存储介质 |
CN110060250A (zh) * | 2019-04-24 | 2019-07-26 | 北京峰云视觉技术有限公司 | 一种舌体图像处理方法、装置及电子设备 |
CN110298829A (zh) * | 2019-06-19 | 2019-10-01 | 上海国民集团健康科技有限公司 | 一种舌诊方法、装置、***、计算机设备和存储介质 |
-
2021
- 2021-01-28 CN CN202110115247.8A patent/CN112806964A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102551673A (zh) * | 2012-01-10 | 2012-07-11 | 天津大学 | 三维全息舌象获取方法及舌象仪 |
CN104586397A (zh) * | 2015-01-26 | 2015-05-06 | 北京工业大学 | 感觉等距法与聚类分析结合的中医舌色分类感知量化方法 |
CN105286768A (zh) * | 2015-09-23 | 2016-02-03 | 江苏大学 | 基于手机平台下的人体健康状态的舌苔诊断装置 |
CN106725310A (zh) * | 2016-11-29 | 2017-05-31 | 深圳市易特科信息技术有限公司 | 中医舌诊图像处理***及方法 |
CN109147935A (zh) * | 2018-07-19 | 2019-01-04 | 山东和合信息科技有限公司 | 基于人体特征采集识别技术的健康数据平台 |
CN109815860A (zh) * | 2019-01-10 | 2019-05-28 | 中国科学院苏州生物医学工程技术研究所 | 中医舌诊图像颜色校正方法、电子设备、存储介质 |
CN110060250A (zh) * | 2019-04-24 | 2019-07-26 | 北京峰云视觉技术有限公司 | 一种舌体图像处理方法、装置及电子设备 |
CN110298829A (zh) * | 2019-06-19 | 2019-10-01 | 上海国民集团健康科技有限公司 | 一种舌诊方法、装置、***、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
郭振球: "《实用中医诊断学》", 31 January 2013, 上海科学技术出版社 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108553081B (zh) | 一种基于舌苔图像的诊断*** | |
CN106546581B (zh) | 试纸检测卡智能检测***以及试纸检测卡智能分析方法 | |
US10685215B2 (en) | Method and apparatus for recognizing face | |
CN111474701B (zh) | 一种病理显微图像实时采集分析***、方法、装置及介质 | |
US20210174505A1 (en) | Method and system for imaging and analysis of anatomical features | |
WO2018155898A1 (en) | Method and apparatus for processing histological image captured by medical imaging device | |
CN111225611B (zh) | 用于帮助分析目标对象中的伤口的***和方法 | |
CN109961426B (zh) | 一种人脸皮肤肤质的检测方法 | |
WO2021147429A1 (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
KR102162683B1 (ko) | 비정형 피부질환 영상데이터를 활용한 판독보조장치 | |
CN110495888B (zh) | 一种基于中医舌、面图像的标准色卡及其应用 | |
CN111489833A (zh) | 一种肺部细胞病理快速现场评估***、方法及计算机可读存储介质 | |
CN116897012A (zh) | 中医体质识别方法、装置、电子设备、存储介质及程序 | |
CN111627555B (zh) | 一种基于深度学习的智能检查诊断*** | |
CN116849612B (zh) | 一种多光谱舌象图像采集分析*** | |
CN111582276B (zh) | 一种基于多特征融合的寄生虫虫卵的识别方法及*** | |
CN108197563B (zh) | 用于获取信息的方法及装置 | |
CN112907571A (zh) | 基于多光谱图像融合识别的目标判定方法 | |
CN112806964A (zh) | 舌象分析方法和*** | |
CN113807320B (zh) | 一种基于多光谱成像技术的人体肤色识别方法及*** | |
CN110960194B (zh) | 一种耳相采集装置及采集方法 | |
Burge et al. | Multispectral iris fusion and cross-spectrum matching | |
CN112750123A (zh) | 一种水稻病虫害监测方法及*** | |
CN113780222A (zh) | 一种人脸活体检测方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210518 |
|
RJ01 | Rejection of invention patent application after publication |