CN113256637B - 一种基于深度学习、上下文相关的尿液有形成分检测方法 - Google Patents
一种基于深度学习、上下文相关的尿液有形成分检测方法 Download PDFInfo
- Publication number
- CN113256637B CN113256637B CN202110802795.8A CN202110802795A CN113256637B CN 113256637 B CN113256637 B CN 113256637B CN 202110802795 A CN202110802795 A CN 202110802795A CN 113256637 B CN113256637 B CN 113256637B
- Authority
- CN
- China
- Prior art keywords
- frame
- detection
- urine
- target
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 132
- 210000002700 urine Anatomy 0.000 title claims abstract description 106
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 230000008859 change Effects 0.000 claims abstract description 26
- 238000013145 classification model Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 62
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 239000013078 crystal Substances 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 239000004615 ingredient Substances 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 21
- 230000001419 dependent effect Effects 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 239000004480 active ingredient Substances 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- JMANVNJQNLATNU-UHFFFAOYSA-N oxalonitrile Chemical compound N#CC#N JMANVNJQNLATNU-UHFFFAOYSA-N 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- RDOWQLZANAYVLL-UHFFFAOYSA-N phenanthridine Chemical compound C1=CC=C2C3=CC=CC=C3C=NC2=C1 RDOWQLZANAYVLL-UHFFFAOYSA-N 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 230000021523 carboxylation Effects 0.000 description 1
- 238000006473 carboxylation reaction Methods 0.000 description 1
- 238000009614 chemical analysis method Methods 0.000 description 1
- 238000002425 crystallisation Methods 0.000 description 1
- 230000008025 crystallization Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 238000004299 exfoliation Methods 0.000 description 1
- 238000000684 flow cytometry Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 244000045947 parasite Species 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 208000014001 urinary system disease Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于深度学习、上下文相关的尿液有形成分检测方法,在显微成像设备的视野下对尿液样本进行视频采集,从尿液视频中抽取图像,得到带有时间序列的单帧图像数据,标注出单帧图像数据的有形成分位置和类别,并分为训练集和测试集;构建具有检测、跟踪、预测、上下文关联匹配、定位和比对识别功能的尿液有形成分检测分类模型,使用训练集和测试集进行模型训练;然后对待检测尿液样本进行检测。本发明解决尿液在显微镜视野下有形成分位置易变化而产生漏检、重复检测的问题,基于Transformer技术,将基于卡尔曼滤波目标跟踪技术应用于尿液细胞计数,充分考虑长尾分布,光照等干扰因素,解决上述问题的同时达到速度和精度的权衡,具有临床应用价值。
Description
技术领域
本发明涉及计算、推算、计数技术领域,具体涉及一种基于深度学习、上下文相关的尿液有形成分检测方法。
背景技术
尿液有形成分是指来自泌尿***,并以可见形式渗出、排出、脱落和浓缩结晶所形成的物质的总称。尿液有形成分分析是指用显微镜或专用设备对尿液有形成分进行检查,识别尿液中细胞、管型、结晶、细菌、寄生虫等各种病理成分,辅助泌尿***疾病的诊断、定位、鉴别诊断及判断预后。
尿液有形成分检测属于流动液体检测,在相同显微成像视野下每一帧中有形成分的位置都可能会有变化,因此易漏检。
现有的尿液有形成分检测方法主要有以下几种:
(1)、干化学分析法。由含干化学试剂的模块附着在坚固的塑料条或纸条上构成的。尿液中各种常规化学检查内容与干化学试剂发生反应,使模块颜色发生变化,其颜色的深浅与尿液中相应化学成分的浓度成正比。
(2)、仪器检查法以流式细胞术进行成分分析为代表。流式分析仪利用尿液中有形成分经荧光色素(如菲啶与羧化氰等)染料染色后,在鞘流液的作用下,形成单列、快速通过氩激光检测区,仪器检测荧光、散射光和电阻抗的变化。
(3)、人工镜检法,尿液有形成分检测的金标准。医生通常需要在显微镜40x物镜下观察整个尿液玻片,一般需要数分钟到数十分钟不等。
但现有的检测方法都存在一些不足,干化学分析法不能替代病理性尿标本的显微镜检查,并且对白细胞、管型和结晶的检测属于间接检测,很难判断尿红细胞形态特征;仪器检查法,存在一定误差,仍需要人工显微镜复检;人工镜检法耗费时间人力,且易造成人为误差。
另外,现有尿液有形成分检测的算法中,图像分割方法只能得到单个有形成分,泛化性极差,受光照,对比度,颜色等因素干扰严重,泛化能力弱,速度慢,并且未考虑细胞的类别不均衡问题,导致严重的识别偏移,使得尾部类别的细胞无法被正确识别,无较大实际应用价值。
因此,亟需一种快速、高精度的尿液有形成分检测方法。
发明内容
本发明是为了解决尿液在显微镜视野下有形成分位置易变化而产生漏检和重检的问题,提供一种基于深度学习、上下文相关的尿液有形成分检测方法,基于Transformer技术,将基于卡尔曼滤波目标跟踪技术应用于尿液细胞计数,充分考虑长尾分布,光照等干扰因素,在一定程度上解决上述问题时达到速度和精度的权衡,具有较强的临床应用价值。
本发明提供一种基于深度学习、上下文相关的尿液有形成分检测方法,包括如下步骤:
S1、建立有形成分数据集:在显微成像设备的视野下对标注用尿液样本进行视频采集,得到标注用尿液视频;从标注用尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;在单帧图像数据上标注出有形成分位置和类别,得到有形成分数据集,并将有形成分数据集分为训练集和测试集;
S2、建立尿液有形成分检测分类模型:构建具有检测、跟踪、预测、上下文关联匹配、定位和比对识别功能的尿液有形成分检测分类模型,使用训练集和测试集进行模型训练;
S3、待测尿液检测:在显微成像设备的视野下对待检测尿液样本进行视频采集,得到待测尿液视频;从待测尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;尿液有形成分检测分类模型通过检测、跟踪、预测和上下文关联匹配后定位单帧图像数据中全部有形成分并进行编号,将有形成分与有形成分数据集比对后识别有形成分的种类和数量后输出最终结果,检测完成。
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S2包括:
S21、构建模型:构建Transformer检测模型、跟踪模型和识别模型,并使用训练集和测试集进行模型训练;
S22、第一帧图像检测:Transformer检测模型对时间序列为1的单帧图像数据进行检测,得到目标的检测框坐标()及相应的坐标框变化率(),()为时间序列1单帧图像的中心点坐标,为时间序列1单帧图像检测框宽度,为时间序列为1单帧图像检测框高度;
S24、抽取图像:抽取时间序列为n单帧图像数据,n初始为2,图像检测进入步骤S25,状态预测进入步骤S26;
S25、图像检测:Transformer检测模型对单帧图像数据进行检测,得到目标的检测框坐标()及相应的坐标框变化率(),进入步骤S27,其中,()为时间序列n单帧图像中心点坐标,为时间序列n单帧图像检测框宽度,为时间序列n单帧图像检测框高度;
S28、跟踪模型更新:将匹配目标、可能丢失目标和丢失目标输入跟踪模型进行跟踪模型更新后,判断是否全部单帧图像数据检测、跟踪完成,若否,则n=n+1,返回步骤S24,若是,获得全部匹配目标;
S29、匹配目标识别:识别模型对全部匹配目标进行识别,获得有形成分的种类和数量并输出,模型训练完成。
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S21中,Transformer检测模型包括依次设置的编码器、解码器和多层神经网络映射层;
编码器包括顺序连接的至少两个多头自注意力模块,编码器用于将单帧图像数据分割成k个图像块,通过第一个多头自注意力模块的查询矩阵Qi、值矩阵Vi和关键字矩阵Ki将图像块线性变换得到图像块的特征表达,将特征表达叠加多头自注意力模块的特征后输入下一个多头自注意力模块,直至最后一个多头自注意力模块得到图像块最终特征表达,图像块最终特征表达与位置编码叠加后得到解码器输入特征;
解码器包括顺序连接的至少一个多头自注意力模块,解码器用于将解码器输入特征经至少两个多头自注意力模块解码后得到解码后特征向量;
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,单帧图像数据像素为608*608,k为16,图像块像素为38*38;
编码器包括顺序连接的四个多头自注意力模块,解码器包括顺序连接的四个多头自注意力模块,多层神经网络为三层全连接层神经网络;
Transformer检测模型的检测结果为:
检测结果作为跟踪模型的待匹配对象,输入跟踪模型。
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S21中,跟踪模型为基于卡尔曼滤波预测的跟踪模型或者跟踪模型使用以下任意一种算法:SSD算法、FPN算法、Fast R-CNN算法 、faster R-CNN算法、mask R-CNN算法、efficentNet算法、YOLO /v2/v3/v4/v5算法和RetianNet算法。
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S21中,跟踪模型中卡尔曼滤波的状态包括:中心点坐标()、检测框的宽高(),中心点坐标的变化率()和检测框宽高的变化率()。
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S21中,跟踪模型采用如下公式:
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S22中,目标包括细胞和晶体。
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S27中,可能丢失目标为小于等于5次未匹配的目标,丢失目标为5次以上未匹配的目标,丢失目标包括移动过快目标和虚焦目标;
匹配的方法包括:曼哈顿距离计算法、表征相似度计算法和匈牙利算法。
本发明所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,作为优选方式,步骤S21中,识别模型的识别方法为:
A、分组:将所有匹配目标分为四组,并为每个组分别设置一个other类别;
B、推断:当样本真实类别在其他分组时,此分组的类别即为other类别,选取所有组内概率最大的类别。
本发明构建模型的具体方法如下:
1、构建单帧尿液图像检测分类模型。
首先,输入608*608的图像,将其按照38*38的像素大小等分成16份。将该16个图像块作为需要计算注意力系数的图像块,送入编码器的‘多头自注意力(M-SELF-ATTENTION)’模块,分别计算该图像块同其他图像块之间的相关度。其中对于每个图像块,都有查询矩阵Qi,值矩阵Vi,关键字矩阵Ki。‘多头自注意力’模块运算规则如下:
对于当前图像块,设置其查询矩阵Qi,并将38*38图像块向量化后作为值矩阵Vi,将Qi和Vi进行矩阵运算,得到线性变换后的查询矩阵Qi*。
对于其他的图像块,分别设置关键字矩阵Ki,利用当前值矩阵Vi,将Ki和Vi进行矩阵运算,得到线性变换后的关键字矩阵Ki*。
基于(1)所计算得到的Qi*,基于(2)所计算的16个矩阵组合维一个大矩阵K*,将Q*和K*进行矩阵相乘运算即得到相关度矩阵W,对W进行归一化操作得到该图像块同其他图像块之间的相关度(0-1)。
将该相关度矩阵同其他图像块的值矩阵Vi做矩阵乘法,得到基于不同图像块的加权特征。将该特征经过全连接层进行映射,得到最终的该图像块的特征表达。其中全连接层用来控制最终表述的特征维度。
将最后得到的特征同输入‘多头自注意力’的特征(或图像)进行‘叠加’操作,得到新特征,作为下一级‘多头自注意力’的输入。将上述新特征送入第二级‘多头自注意力’模块。
重复上述操作,在编码器内得到最终的特征。整个编码流程共进行了四级‘多头自注意力’计算。然后进行解码,将编码器得到的特征的位置信息进行编码。将该位置编码同编码器得到的特征进行‘叠加’操作,得到最终解码器的输入特征。将该特征送入解码器,该解码器共包含四级‘多头注意力’操作,同编码器‘多头注意力’操作计算流程相似,最终解码器输出解码后的特征向量。该特征向量送入检测框对应的三层全连接层,得到该任务的特征向量,将该特征向量分别进行线性映射,得到检测框坐标,置信度。将检测结果作为跟踪模型的待匹配对象,输入追踪模型。
2、跟踪模型
在输入视频的每一帧中,基于步骤1所得到的目标目标的有效信息,建立基于卡尔曼滤波预测的跟踪模型。
除本实施例提出的模型之外,还包括SSD、FPN、Fast R-CNN 、faster R-CNN、maskR-CNN、efficentNet、YOLO /v2/v3/v4/v5、RetianNet等检测算法均可完成。
2.1 跟踪模型初始化
构建以卡尔曼滤波为原理的跟踪模型,将步骤1所得到的第一帧的细胞检测结果得到初始的跟踪目标。检测到的位置信息(w,y,w,h)作为初始化状态,对跟踪模型进行初始化。其中,所选取模型的状态有中心点坐标(x,y)检测框的宽高(w,h),以及中心电坐标的变化率(dx,dy),坐标框宽高的变化率(dw,dh)等八个状态变量。初始化参数时采用常规经验进行状态转移矩阵等的初始化。
2.2 状态预测
首先,有2.1已对模型进行初始化,跟踪模型对跟踪到的目标进行状态预测,得到该模型预测的目标状态,即新的(w,y,w,h,dx,dy,dw,dh)。
2.3 目标匹配(上下文相关)
在输入的每一帧中,利用步骤1得到该帧所检测到的待匹配的目标,将检测到的目标同预测的目标进行匹配,得到两两配对的结果。对于上一帧中跟踪到的目标在这一帧终无匹配对象的目标,记为‘可能丢失目标’,将这一帧中检测到但未同上一帧跟踪到的目标所匹配的目标,记为新的跟踪目标,并对卡尔曼滤波模型其状态进行初始化。若某个目标被标记为‘可能丢失目标’超过5帧,则记该目标为‘丢失目标’,不再跟踪。
目标匹配方法:
曼哈顿距离
曼哈顿距离——两点在南北方向上的距离加上在东西方向上的距离,屏幕是由像素构成,是整数,点的坐标也是整数,欧式距离为浮点运算,速度慢且有累积误差,曼哈顿距离只要计算加减法即可,提高效率且降低了误差。
表征相似度
由于卡尔曼滤波预测的随机性,我们引入了基于相似度计算的匹配方法。我们利用孪生网络对前帧中检测到的目标同上一帧中跟踪到的目标进行相似度计算,得到不同目标间的相似度。
匈牙利算法(二分匹配)
利用曼哈顿距离得到当前帧中检测到的目标上一帧中跟踪到的目标进行距离计算,得到不同目标间的两两距离,将该距离同表征相似度进行加权得到匈牙利算法的权值矩阵,并且进行最佳目标的两两匹配,得到匹配后的结果。
2.4 跟踪模型参数更新
对于该帧中所有跟踪到的目标,对其状态及模型参数进行更新。得到新的跟踪到的目标的跟踪模型的参数和状态,重复2.2至2.4至结束。
3 识别模型
识别模型基于步骤1的检测框架,
由于异常细胞相对于目标中的所有细胞数量较少,且不同异常细胞所采集到的样本的数量不同,所以在前景和背景以及不同类别的细胞数量服从长尾分布,严重影响了模型的识别性能,我们采取对分类器进行分组的方法来缓解此种情况。
我们将细胞按照不同数量一共分为四组(包括背景类)。
在不同组上加入一个other类别,即当样本真实类别在其他分组时,此分组的类别即为other类别。
在推断时选取所有组内概率最大的类别。
采用此方法,使得分类器在不同类别上的权重差异较小,有力的缓解了长尾分布对识别模型所带来的严重影响。
4.有效成分定位
依据上述检测,识别,跟踪模型,我们为每一个跟踪到的对象赋予唯一的id(id从零开始,随着跟踪到的目标数依次增加)且识别出该目标的类别,最终可以得到有效的尿液中的细胞数量,类别。
本发明具有以下优点:
(1)本专利基于Transformer技术,将基于卡尔曼滤波目标跟踪技术应用于尿液细胞计数,充分考虑长尾分布,光照等干扰因素,在一定程度上解决上述问题时达到速度和精度的权衡,具有较强的临床应用价值;
(2)本方法针对尿液具有流动性,且具有分层现象(不同细胞位于不同高度,需逐层对焦),单纯的逐帧目标检测会造成重复检测,分层会导致逐帧目标检测漏检的问题,采用基于目标追踪的方法,可以较好的解决上述问题,单个成分精准定位与追踪,速度快,实时可出结果,不仅能降低人工成本,还能降低地区医疗差异,同时可有效的缓解尿液细胞类别不均衡带来的长尾识别问题,符合临床应用的需求。
附图说明
图1为一种基于深度学习、上下文相关的尿液有形成分检测方法实施例1-2流程图;
图2为一种基于深度学习、上下文相关的尿液有形成分检测方法模型构建示意图;
图3为一种基于深度学习、上下文相关的尿液有形成分检测方法流程图;
图4为一种基于深度学习、上下文相关的尿液有形成分检测方法实施例2步骤S2流程图;
图5为一种基于深度学习、上下文相关的尿液有形成分检测方法Transformer检测模型架构图;
图6为一种基于深度学习、上下文相关的尿液有形成分检测方法跟踪模型流程图;
图7为一种基于深度学习、上下文相关的尿液有形成分检测方法识别模型流程图;
图8为一种基于深度学习、上下文相关的尿液有形成分检测方法曼哈顿距离目标匹配方法示意图;
图9为一种基于深度学习、上下文相关的尿液有形成分检测方法匈牙利算法目标匹配示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1
如图1所示,一种基于深度学习、上下文相关的尿液有形成分检测方法,包括如下步骤:
S1、建立有形成分数据集:在显微成像设备的视野下对标注用尿液样本进行视频采集,得到标注用尿液视频;从标注用尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;在单帧图像数据上标注出有形成分位置和类别,得到有形成分数据集,并将有形成分数据集分为训练集和测试集;
S2、建立尿液有形成分检测分类模型:构建具有检测、跟踪、预测、上下文关联匹配、定位和比对识别功能的尿液有形成分检测分类模型,使用训练集和测试集进行模型训练;
S3、待测尿液检测:在显微成像设备的视野下对待检测尿液样本进行视频采集,得到待测尿液视频;从待测尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;尿液有形成分检测分类模型通过检测、跟踪、预测和上下文关联匹配后定位单帧图像数据中全部有形成分并进行编号,将有形成分与有形成分数据集比对后识别有形成分的种类和数量后输出最终结果,检测完成。
实施例2
如图1、2、3所示,一种基于深度学习、上下文相关的尿液有形成分检测方法,包括如下步骤:
S1、建立有形成分数据集:在显微成像设备的视野下对标注用尿液样本进行视频采集,得到标注用尿液视频;从标注用尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;在单帧图像数据上标注出有形成分位置和类别,得到有形成分数据集,并将有形成分数据集分为训练集和测试集;
S2、建立尿液有形成分检测分类模型:构建具有检测、跟踪、预测、上下文关联匹配、定位和比对识别功能的尿液有形成分检测分类模型,使用训练集和测试集进行模型训练;
如图4所示,步骤S2包括以下步骤:
S21、构建模型:构建Transformer检测模型、跟踪模型和识别模型,并使用训练集和测试集进行模型训练;
如图5所示,Transformer检测模型包括依次设置的编码器、解码器和多层神经网络映射层;
编码器包括顺序连接的至少两个多头自注意力模块,编码器用于将单帧图像数据分割成k个图像块,通过第一个多头自注意力模块的查询矩阵Qi、值矩阵Vi和关键字矩阵Ki将图像块线性变换得到图像块的特征表达,将特征表达叠加多头自注意力模块的特征后输入下一个多头自注意力模块,直至最后一个多头自注意力模块得到图像块最终特征表达,图像块最终特征表达与位置编码叠加后得到解码器输入特征;
解码器包括顺序连接的至少一个多头自注意力模块,解码器用于将解码器输入特征经至少两个多头自注意力模块解码后得到解码后特征向量;
单帧图像数据像素为608*608,k为16,图像块像素为38*38;
编码器包括顺序连接的四个多头自注意力模块,解码器包括顺序连接的四个多头自注意力模块,多层神经网络为三层全连接层神经网络;
Transformer检测模型的检测结果为:
检测结果作为跟踪模型的待匹配对象,输入跟踪模型;
如图6所示,跟踪模型为基于卡尔曼滤波预测的跟踪模型或者跟踪模型使用以下任意一种算法:SSD算法、FPN算法、Fast R-CNN算法 、faster R-CNN算法、mask R-CNN算法、efficentNet算法、YOLO /v2/v3/v4/v5算法和RetianNet算法;
跟踪模型采用如下公式:
如图7所示,识别模型的识别方法为:
A、分组:将所有匹配目标分为四组,并为每个组分别设置一个other类别;
B、推断:当样本真实类别在其他分组时,此分组的类别即为other类别,选取所有组内概率最大的类别;
S22、第一帧图像检测:Transformer检测模型对时间序列为1的单帧图像数据进行检测,得到目标的检测框坐标()及相应的坐标框变化率(),()为时间序列1单帧图像的中心点坐标,为时间序列1单帧图像检测框宽度,为时间序列为1单帧图像检测框高度;目标包括细胞和晶体;
S24、抽取图像:抽取时间序列为n单帧图像数据,n初始为2,图像检测进入步骤S25,状态预测进入步骤S26;
S25、图像检测:Transformer检测模型对单帧图像数据进行检测,得到目标的检测框坐标()及相应的坐标框变化率(),进入步骤S27,其中,()为时间序列n单帧图像中心点坐标,为时间序列n单帧图像检测框宽度,为时间序列n单帧图像检测框高度;
可能丢失目标为小于等于5次未匹配的目标,丢失目标为5次以上未匹配的目标,丢失目标包括移动过快目标和虚焦目标;
如图8-9所示,匹配的方法包括:曼哈顿距离计算法、表征相似度计算法和匈牙利算法;
S28、跟踪模型更新:将匹配目标、可能丢失目标和丢失目标输入跟踪模型进行跟踪模型更新后,判断是否全部单帧图像数据检测、跟踪完成,若否,则n=n+1,返回步骤S24,若是,获得全部匹配目标;
S29、匹配目标识别:识别模型对全部匹配目标进行识别,获得有形成分的种类和数量,模型训练完成;
S3、待测尿液检测:在显微成像设备的视野下对待检测尿液样本进行视频采集,得到待测尿液视频;从待测尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;尿液有形成分检测分类模型通过检测、跟踪、预测和上下文关联匹配后定位单帧图像数据中全部有形成分并进行编号,将有形成分与有形成分数据集比对后识别有形成分的种类和数量后输出最终结果,检测完成。
实施例3
如图2-3所示,一种基于深度学习、上下文相关的尿液有形成分检测方法,包括如下步骤:
1、显微镜下尿液动态视频实时采集
首先在显微成像设备下对每个视野拍照采集,生成时间序列的单视野图像。
2、尿液有形成分数据标注
由专业医生在单上用特定标注工具标注出有形成分位置及类别信息,标注量达到一定规模后,将标注数据按照一定比例分为训练集和测试集,为构建神经网络模型准备数据。
3、基于Transformer的尿液有形成分检测,跟踪,识别模型构建
构建一个上下文相关的尿液有形成分检测,跟踪,识别算法。
3.1检测模型
如图5所示,构建单帧尿液图像检测分类模型。
首先,输入608*608的图像,将其按照38*38的像素大小等分成16份。将该16个图像块作为需要计算注意力系数的图像块,送入编码器的‘多头自注意力(M-SELF-ATTENTION)’模块,分别计算该图像块同其他图像块之间的相关度。其中对于每个图像块,都有查询矩阵Qi,值矩阵Vi,关键字矩阵Ki。‘多头自注意力’模块运算规则如下:
对于当前图像块,设置其查询矩阵Qi,并将38*38图像块向量化后作为值矩阵Vi,将Qi和Vi进行矩阵运算,得到线性变换后的查询矩阵Qi*。
对于其他的图像块,分别设置关键字矩阵Ki,利用当前值矩阵Vi,将Ki和Vi进行矩阵运算,得到线性变换后的关键字矩阵Ki*。
基于(1)所计算得到的Qi*,基于(2)所计算的16个矩阵组合维一个大矩阵K*,将Q*和K*进行矩阵相乘运算即得到相关度矩阵W,对W进行归一化操作得到该图像块同其他图像块之间的相关度(0-1)。
将该相关度矩阵同其他图像块的值矩阵Vi做矩阵乘法,得到基于不同图像块的加权特征。将该特征经过全连接层进行映射,得到最终的该图像块的特征表达。其中全连接层用来控制最终表述的特征维度。
将最后得到的特征同输入‘多头自注意力’的特征(或图像)进行‘叠加’操作,得到新特征,作为下一级‘多头自注意力’的输入。将上述新特征送入第二级‘多头自注意力’模块。
重复上述操作,在编码器内得到最终的特征。整个编码流程共进行了四级‘多头自注意力’计算。然后进行解码,将编码器得到的特征的位置信息进行编码。将该位置编码同编码器得到的特征进行‘叠加’操作,得到最终解码器的输入特征。将该特征送入解码器,该解码器共包含四级‘多头注意力’操作,同编码器‘多头注意力’操作计算流程相似,最终解码器输出解码后的特征向量。该特征向量送入检测框对应的三层全连接层,得到该任务的特征向量,将该特征向量分别进行线性映射,得到检测框坐标,置信度。将检测结果作为跟踪模型的待匹配对象,输入追踪模型。
3.2 跟踪模型
在输入视频的每一帧中,基于3.1所得到的目标目标的有效信息,建立基于卡尔曼滤波预测的跟踪模型,过程如图6所示。
除本实施例提出的模型之外,还包括SSD、FPN、Fast R-CNN 、faster R-CNN、maskR-CNN、efficentNet、YOLO /v2/v3/v4/v5、RetianNet等检测算法均可完成。
3.2.1 跟踪模型初始化
构建以卡尔曼滤波为原理的跟踪模型,将3.1所得到的第一帧的细胞检测结果得到初始的跟踪目标。检测到的位置信息(w,y,w,h)作为初始化状态,对跟踪模型进行初始化。其中,所选取模型的状态有中心点坐标(x,y)检测框的宽高(w,h),以及中心电坐标的变化率(dx,dy),坐标框宽高的变化率(dw,dh)等八个状态变量。初始化参数时采用常规经验进行状态转移矩阵等的初始化。
3.2.2 状态预测
首先,有3.2.1已对模型进行初始化,跟踪模型对跟踪到的目标进行状态预测,得到该模型预测的目标状态,即新的(w,y,w,h,dx,dy,dw,dh)。
3.2.3 目标匹配(上下文相关)
在输入的每一帧中,利用3.1得到该帧所检测到的待匹配的目标,将检测到的目标同预测的目标进行匹配,得到两两配对的结果。对于上一帧中跟踪到的目标在这一帧终无匹配对象的目标,记为‘可能丢失目标’,将这一帧中检测到但未同上一帧跟踪到的目标所匹配的目标,记为新的跟踪目标,并对卡尔曼滤波模型其状态进行初始化。若某个目标被标记为‘可能丢失目标’超过5帧,则记该目标为‘丢失目标’,不再跟踪。
目标匹配方法:
曼哈顿距离
如图8所示,曼哈顿距离——两点在南北方向上的距离加上在东西方向上的距离,屏幕是由像素构成,是整数,点的坐标也是整数,欧式距离为浮点运算,速度慢且有累积误差,曼哈顿距离只要计算加减法即可,提高效率且降低了误差。
表征相似度
由于卡尔曼滤波预测的随机性,我们引入了基于相似度计算的匹配方法。我们利用孪生网络对前帧中检测到的目标同上一帧中跟踪到的目标进行相似度计算,得到不同目标间的相似度。
匈牙利算法(二分匹配)
如图9所示,利用曼哈顿距离得到当前帧中检测到的目标上一帧中跟踪到的目标进行距离计算,得到不同目标间的两两距离,将该距离同表征相似度进行加权得到匈牙利算法的权值矩阵,并且进行最佳目标的两两匹配,得到匹配后的结果。
3.2.4 跟踪模型参数更新
对于该帧中所有跟踪到的目标,对其状态及模型参数进行更新。得到新的跟踪到的目标的跟踪模型的参数和状态,重复3.2.2至3.2.4至结束。
3.3 识别模型
识别模型基于3.1的检测框架,如图7所示,
由于异常细胞相对于目标中的所有细胞数量较少,且不同异常细胞所采集到的样本的数量不同,所以在前景和背景以及不同类别的细胞数量服从长尾分布,严重影响了模型的识别性能,我们采取对分类器进行分组的方法来缓解此种情况。
我们将细胞按照不同数量一共分为四组(包括背景类)。
在不同组上加入一个other类别,即当样本真实类别在其他分组时,此分组的类别即为other类别。
在推断时选取所有组内概率最大的类别。
采用此方法,使得分类器在不同类别上的权重差异较小,有力的缓解了长尾分布对识别模型所带来的严重影响。
4.有效成分定位
依据上述检测,识别,跟踪模型,我们为每一个跟踪到的对象赋予唯一的id(id从零开始,随着跟踪到的目标数依次增加)且识别出该目标的类别,最终可以得到有效的尿液中的细胞数量,类别。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习、上下文相关的尿液有形成分检测方法,其特征在于:包括如下步骤:
S1、建立有形成分数据集:在显微成像设备的视野下对标注用尿液样本进行视频采集,得到标注用尿液视频;从所述标注用尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;在所述单帧图像数据上标注出有形成分位置和类别,得到有形成分数据集,并将所述有形成分数据集分为训练集和测试集;
S2、建立尿液有形成分检测分类模型:构建具有检测、跟踪、预测、上下文关联匹配、定位和比对识别功能的尿液有形成分检测分类模型,使用所述训练集和所述测试集进行模型训练;
S21、构建模型:构建Transformer检测模型、跟踪模型和识别模型,并使用所述训练集和所述测试集进行模型训练;
所述跟踪模型为基于卡尔曼滤波预测的跟踪模型或者所述跟踪模型使用以下任意一种算法:SSD算法、FPN算法、Fast R-CNN算法、faster R-CNN算法、mask R-CNN算法、efficentNet算法、YOLO /v2/v3/v4/v5算法和RetianNet算法;
S22、第一帧图像检测:所述Transformer检测模型对时间序列为1的单帧图像数据进行检测,得到目标的检测框坐标()及相应的坐标框变化率(),()为时间序列为1的单帧图像的中心点坐标,为所述时间序列为1的单帧图像检测框宽度,为时间序列为1的单帧图像检测框高度;
S24、抽取图像:抽取时间序列为n的单帧图像数据,n初始为2,图像检测进入步骤S25,状态预测进入步骤S26;
S25、图像检测:所述Transformer检测模型对所述单帧图像数据进行检测,得到目标的检测框坐标()及相应的坐标框变化率(),进入步骤S27,其中,()为时间序列为n的单帧图像中心点坐标,为所述时间序列为n的单帧图像检测框宽度,为所述时间序列为n的单帧图像检测框高度;
所述匹配的方法包括:曼哈顿距离计算法、表征相似度计算法和匈牙利算法,利用孪生网络对当前帧中检测到的目标同上一帧中跟踪到的目标进行相似度计算,得到不同目标间的相似度,利用曼哈顿距离对当前帧中检测到的目标与上一帧中跟踪到的目标进行距离计算,得到不同目标间的两两距离,将所述两两距离同所述相似度进行加权得到匈牙利算法的权值矩阵,并且进行最佳目标的两两匹配,得到匹配后的结果;
S28、跟踪模型更新:将所述匹配目标、所述可能丢失目标和所述丢失目标输入所述跟踪模型进行跟踪模型更新后,判断是否全部所述单帧图像数据检测、跟踪完成,若否,则n=n+1,返回步骤S24,若是,获得全部匹配目标;
S29、匹配目标识别:所述识别模型对全部所述匹配目标进行识别,获得所述有形成分的种类和数量并输出,模型训练完成;
所述识别模型的识别方法为:
A、分组:将所有所述匹配目标分为四组,并为每个组分别设置一个other类别;
B、推断:当样本真实类别在其他分组时,此分组的类别即为other类别,选取所有组内概率最大的类别;
S3、待测尿液检测:在显微成像设备的视野下对待检测尿液样本进行视频采集,得到待测尿液视频;从所述待测尿液视频中抽取图像,得到带有时间序列n的单帧图像数据;所述尿液有形成分检测分类模型通过检测、跟踪、预测和上下文关联匹配后定位所述单帧图像数据中全部所述有形成分并进行编号,将所述有形成分与所述有形成分数据集比对后识别所述有形成分的种类和数量,然后输出最终结果,检测完成。
2.根据权利要求1所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,其特征在于:步骤S21中,所述Transformer检测模型包括依次设置的编码器、解码器和多层神经网络映射层;
所述编码器包括顺序连接的至少两个多头自注意力模块,所述编码器用于将所述单帧图像数据分割成k个图像块,通过第一个多头自注意力模块的查询矩阵Qi、值矩阵Vi和关键字矩阵Ki将所述图像块线性变换得到图像块的特征表达,将所述特征表达叠加所述多头自注意力模块的特征后输入下一个所述多头自注意力模块,直至最后一个所述多头自注意力模块得到图像块最终特征表达,所述图像块最终特征表达与位置编码叠加后得到解码器输入特征;
所述解码器包括顺序连接的至少一个多头自注意力模块,所述解码器用于将所述解码器输入特征经至少两个所述多头自注意力模块解码后得到解码后特征向量;
6.根据权利要求1所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,其特征在于:步骤S22中,所述目标包括细胞和晶体。
7.根据权利要求1所述的一种基于深度学习、上下文相关的尿液有形成分检测方法,其特征在于:
步骤S27中,所述可能丢失目标为小于等于5次未匹配的目标,所述丢失目标为5次以上未匹配的目标,所述丢失目标包括移动过快目标和虚焦目标。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802795.8A CN113256637B (zh) | 2021-07-15 | 2021-07-15 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
EP22840985.0A EP4361946A1 (en) | 2021-07-15 | 2022-04-14 | Deep learning-based context-sensitive detection method for urine formed element |
PCT/CN2022/086766 WO2023284341A1 (zh) | 2021-07-15 | 2022-04-14 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
US18/413,937 US20240153272A1 (en) | 2021-07-15 | 2024-01-16 | Method for detecting urine formed elements based on deep learning and context relation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110802795.8A CN113256637B (zh) | 2021-07-15 | 2021-07-15 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113256637A CN113256637A (zh) | 2021-08-13 |
CN113256637B true CN113256637B (zh) | 2021-11-05 |
Family
ID=77180407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110802795.8A Active CN113256637B (zh) | 2021-07-15 | 2021-07-15 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240153272A1 (zh) |
EP (1) | EP4361946A1 (zh) |
CN (1) | CN113256637B (zh) |
WO (1) | WO2023284341A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256637B (zh) * | 2021-07-15 | 2021-11-05 | 北京小蝇科技有限责任公司 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
CN114419401B (zh) * | 2022-03-29 | 2022-07-22 | 北京小蝇科技有限责任公司 | 白细胞检测识别方法、装置、计算机存储介质及电子设备 |
CN114897941B (zh) * | 2022-07-13 | 2022-09-30 | 长沙超创电子科技有限公司 | 基于Transformer和CNN的目标跟踪方法 |
CN116452967B (zh) * | 2023-06-16 | 2023-08-22 | 青岛励图高科信息技术有限公司 | 基于机器视觉的鱼游动速度识别方法 |
CN116542290B (zh) * | 2023-06-25 | 2023-09-08 | 城云科技(中国)有限公司 | 基于多源多维数据的信息预测模型构建方法、装置及应用 |
CN116630867B (zh) * | 2023-07-25 | 2023-11-17 | 深圳市美侨医疗科技有限公司 | 一种基于Mask R-CNN的白带滴虫检测与跟踪方法 |
CN116665134A (zh) * | 2023-07-28 | 2023-08-29 | 南京兴沧环保科技有限公司 | 一种用于射频滤波器的生产监测设备及其监测方法 |
CN117147544B (zh) * | 2023-08-30 | 2024-07-12 | 深圳市国邦生物技术有限公司 | 一种智能马桶的尿液检测分析*** |
CN117132577B (zh) * | 2023-09-07 | 2024-02-23 | 湖北大学 | 非侵入式检测心肌组织张力和振动的方法 |
CN117191821B (zh) * | 2023-11-03 | 2024-02-06 | 山东宇影光学仪器有限公司 | 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法 |
CN117392180B (zh) * | 2023-12-12 | 2024-03-26 | 山东建筑大学 | 基于自监督光流学习的交互式视频人物跟踪方法及*** |
CN117576103B (zh) * | 2024-01-17 | 2024-04-05 | 浙江大学滨江研究院 | 集成电控显微镜和深度学习算法的尿沉渣镜检分析*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101713776A (zh) * | 2009-11-13 | 2010-05-26 | 长春迪瑞实业有限公司 | 一种基于神经网络的尿液中有形成分识别分类方法 |
CN110852283A (zh) * | 2019-11-14 | 2020-02-28 | 南京工程学院 | 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法 |
CN111508006A (zh) * | 2020-04-23 | 2020-08-07 | 南开大学 | 一种基于深度学习的运动目标同步检测、识别与跟踪方法 |
CN112036334A (zh) * | 2020-09-03 | 2020-12-04 | 深圳迈瑞生物医疗电子股份有限公司 | 待测样本中的有形成分分类方法、***及终端 |
CN113033657A (zh) * | 2021-03-24 | 2021-06-25 | 武汉理工大学 | 一种基于Transformer网络的多人行为识别方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107106095B (zh) * | 2014-12-22 | 2021-02-05 | 雷纳尔森瑟公司 | 用于尿液分析的设备、***及方法 |
US20190147136A1 (en) * | 2017-11-13 | 2019-05-16 | Chang Gung Memorial Hospital, Linkou | Method of Using Machine Learning Algorithms in Analyzing Laboratory Test Results of Body Fluid to Detect Microbes in the Body Fluid |
CN110473166A (zh) * | 2019-07-09 | 2019-11-19 | 哈尔滨工程大学 | 一种基于改进Alexnet模型的尿液有形成分识别方法 |
CN112598620B (zh) * | 2020-11-25 | 2022-11-15 | 哈尔滨工程大学 | 尿沉渣中透明管型、病理管型以及粘液丝的识别方法 |
CN113256637B (zh) * | 2021-07-15 | 2021-11-05 | 北京小蝇科技有限责任公司 | 一种基于深度学习、上下文相关的尿液有形成分检测方法 |
-
2021
- 2021-07-15 CN CN202110802795.8A patent/CN113256637B/zh active Active
-
2022
- 2022-04-14 WO PCT/CN2022/086766 patent/WO2023284341A1/zh active Application Filing
- 2022-04-14 EP EP22840985.0A patent/EP4361946A1/en active Pending
-
2024
- 2024-01-16 US US18/413,937 patent/US20240153272A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101713776A (zh) * | 2009-11-13 | 2010-05-26 | 长春迪瑞实业有限公司 | 一种基于神经网络的尿液中有形成分识别分类方法 |
CN110852283A (zh) * | 2019-11-14 | 2020-02-28 | 南京工程学院 | 一种基于改进YOLOv3的安全帽佩戴检测与跟踪方法 |
CN111508006A (zh) * | 2020-04-23 | 2020-08-07 | 南开大学 | 一种基于深度学习的运动目标同步检测、识别与跟踪方法 |
CN112036334A (zh) * | 2020-09-03 | 2020-12-04 | 深圳迈瑞生物医疗电子股份有限公司 | 待测样本中的有形成分分类方法、***及终端 |
CN113033657A (zh) * | 2021-03-24 | 2021-06-25 | 武汉理工大学 | 一种基于Transformer网络的多人行为识别方法 |
Also Published As
Publication number | Publication date |
---|---|
US20240153272A1 (en) | 2024-05-09 |
WO2023284341A1 (zh) | 2023-01-19 |
EP4361946A1 (en) | 2024-05-01 |
CN113256637A (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113256637B (zh) | 一种基于深度学习、上下文相关的尿液有形成分检测方法 | |
CN112070772B (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
Jiang et al. | Deep learning for computational cytology: A survey | |
Ongun et al. | An automated differential blood count system | |
CN113256636B (zh) | 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法 | |
CN111160135A (zh) | 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和*** | |
CN111860406A (zh) | 基于区域混淆机制神经网络的血细胞显微图像分类方法 | |
CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
CN114299324B (zh) | 一种基于多尺度域对抗网络的病理图像分类方法及*** | |
CN114399465B (zh) | 良恶性溃疡识别方法及*** | |
CN112784767A (zh) | 基于白细胞显微图像的细胞实例分割算法 | |
CN112750132A (zh) | 基于双路径网络和通道注意的白细胞图像分割方法 | |
CN115526834A (zh) | 免疫荧光图像检测方法及装置、设备、存储介质 | |
Li et al. | Inspection of visible components in urine based on deep learning | |
CN114972202A (zh) | 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法 | |
Magpantay et al. | A transfer learning-based deep CNN approach for classification and diagnosis of acute lymphocytic leukemia cells | |
Heni et al. | Blood Cells Classification Using Deep Learning with customized data augmentation and EK-means segmentation | |
CN114419401B (zh) | 白细胞检测识别方法、装置、计算机存储介质及电子设备 | |
Lu et al. | Leukocyte segmentation via end-to-end learning of deep convolutional neural networks | |
CN115880277A (zh) | 基于Swin Transformer和弱监督的胃癌病理全切片T分期类别预测方法 | |
Li et al. | A recognition method of urine cast based on deep learning | |
CN113160261B (zh) | 一种用于oct图像角膜层分割的边界增强卷积神经网络 | |
Aglibot et al. | Urine crystal classification using convolutional neural networks | |
CN114067156A (zh) | 一种基于高分辨率医学影像的卒中分类***和分类方法 | |
CN113033330A (zh) | 一种基于轻型卷积神经网络的舌体姿态异常判别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |