CN110136195B - 输液报警方法、报警设备、存储介质及装置 - Google Patents
输液报警方法、报警设备、存储介质及装置 Download PDFInfo
- Publication number
- CN110136195B CN110136195B CN201910573072.8A CN201910573072A CN110136195B CN 110136195 B CN110136195 B CN 110136195B CN 201910573072 A CN201910573072 A CN 201910573072A CN 110136195 B CN110136195 B CN 110136195B
- Authority
- CN
- China
- Prior art keywords
- image
- hose
- liquid column
- color model
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001802 infusion Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000007788 liquid Substances 0.000 claims abstract description 147
- 238000003709 image segmentation Methods 0.000 claims abstract description 34
- 238000004891 communication Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 5
- 239000007924 injection Substances 0.000 abstract description 15
- 238000002347 injection Methods 0.000 abstract description 15
- 239000008280 blood Substances 0.000 abstract description 9
- 210000004369 blood Anatomy 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 239000011324 bead Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- 239000012530 fluid Substances 0.000 description 2
- 239000003978 infusion fluid Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
- A61M5/14—Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
- A61M5/168—Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body
- A61M5/16831—Monitoring, detecting, signalling or eliminating infusion flow anomalies
- A61M5/1684—Monitoring, detecting, signalling or eliminating infusion flow anomalies by detecting the amount of infusate remaining, e.g. signalling end of infusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/18—General characteristics of the apparatus with alarm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Anesthesiology (AREA)
- Vascular Medicine (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Hematology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Infusion, Injection, And Reservoir Apparatuses (AREA)
Abstract
本发明涉及图像处理技术领域,公开了一种输液报警方法、报警设备、存储介质及装置。本发明中获取输液软管的软管图像;通过软管图像的颜色模型进行图像分割,以提取软管图像中的液柱图像;根据液柱图像的图像面积确定对应的液柱区域占比;在液柱区域占比处于预设占比范围内时,进行输液报警操作。明显地,本发明引入了图像处理技术来进行拔针提醒,具体而言,将通过图像分割的方式来提取出液柱图像,并根据液柱图像的面积大小进行点滴报警,当注射液的容积处于设定的警戒范围内时进行报警,可以避免回血危险,大大地提高了拔针提醒的效率,从而解决了拔针提醒方式不够高效的技术问题。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及输液报警方法、报警设备、存储介质及装置。
背景技术
当病人在医院输液时,输液的器械往往包括存储有注射液的输液瓶以及输液软管,输液软管主要用于将注射液连通至病人的静脉侧。在病人输液快要结束时,往往需要呼叫护士拔针,这个行为通常要花费一些等待时间,尤其是在病人较多且护士人手不够的情况下更为明显。
而且,如果输液结束而护士还来不及拔针,病人将会处于回血的危险情况。
可见,仅通过病人呼叫进行拔针提醒,不够有效。
故而,在输液过程中存在着拔针提醒方式不够高效的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供输液报警方法、报警设备、存储介质及装置,旨在解决拔针提醒方式不够高效的技术问题。
为实现上述目的,本发明提供一种输液报警方法,所述输液报警方法包括以下步骤:
获取输液软管的软管图像;
通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像;
根据所述液柱图像的图像面积确定对应的液柱区域占比;
在所述液柱区域占比处于预设占比范围内时,进行输液报警操作。
优选地,所述通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像,具体包括:
遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果;
将所述判断结果对应的预设二值变量与所述像素点相乘,并将相乘后的像素点构成的图像作为液柱图像。
优选地,所述遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果之前,所述输液报警方法还包括:
在所述软管图像的颜色模型为红绿蓝RGB颜色模型时,将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型;
从所述HSV颜色模型中选取第一参数类型;
从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数;
相应地,所述遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果,具体包括:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内,以获得判断结果。
优选地,所述从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数之后,所述输液报警方法还包括:
将所述软管图像的RGB颜色模型转换为YCbCr颜色模型;
从所述YCbCr颜色模型中选取第二参数类型;
从所述软管图像的YCbCr颜色模型中提取与所述第二参数类型对应的第二颜色参数;
相应地,所述遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内,以获得判断结果,具体包括:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内以及所述像素点对应的第二颜色参数是否处于第二预设参数范围内,以获得判断结果。
优选地,所述通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像之后,所述输液报警方法还包括:
将所述液柱图像转化为二值图像;
从所述二值图像中提取目标连通区域;
相应地,所述根据所述液柱图像的图像面积确定对应的液柱区域占比,具体包括:
根据所述目标连通区域的图像面积确定对应的液柱区域占比。
优选地,所述从所述二值图像中提取目标连通区域,具体包括:
确定所述二值图像中的各待选取连通区域;
通过预设图像属性函数统计所述待选取连通区域内包含的像素点的像素点数量;
基于所述像素点数量从所述待选取连通区域中选取目标连通区域。
优选地,所述根据所述目标连通区域的图像面积确定对应的液柱区域占比,具体包括:
获取所述二值图像对应的二值图像面积;
计算所述目标连通区域的图像面积在所述二值图像面积中的面积占比,将所述面积占比作为液柱区域占比。
此外,为实现上述目的,本发明还提出一种报警设备,所述报警设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的输液报警程序,所述输液报警程序配置为实现如上文所述的输液报警方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有输液报警程序,所述输液报警程序被处理器执行时实现如上文所述的输液报警方法的步骤。
此外,为实现上述目的,本发明还提出一种输液报警装置,所述输液报警装置包括:
图像获取模块,用于获取输液软管的软管图像;
图像分割模块,用于通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像;
占比确定模块,用于根据所述液柱图像的图像面积确定对应的液柱区域占比;
输液报警模块,用于在所述液柱区域占比处于预设占比范围内时,进行输液报警操作。
本发明中获取输液软管的软管图像;通过软管图像的颜色模型进行图像分割,以提取软管图像中的液柱图像;根据液柱图像的图像面积确定对应的液柱区域占比;在液柱区域占比处于预设占比范围内时,进行输液报警操作。明显地,本发明引入了图像处理技术来进行拔针提醒,具体而言,将通过图像分割的方式来提取出液柱图像,并根据液柱图像的面积大小进行点滴报警,当注射液的容积处于设定的警戒范围内时进行报警,可以避免回血危险,大大地提高了拔针提醒的效率,从而解决了拔针提醒方式不够高效的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的报警设备结构示意图;
图2为本发明输液报警方法第一实施例的流程示意图;
图3为本发明输液报警方法第一实施例的软管图像示意图;
图4为本发明输液报警方法第二实施例的流程示意图;
图5为本发明输液报警方法第三实施例的流程示意图;
图6为本发明输液报警方法第三实施例的目标连通区域示意图;
图7为本发明输液报警装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的报警设备结构示意图。
如图1所示,该报警设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口以及无线接口,而用户接口1003的有线接口在本发明中可为通用串行总线(Universal Serial Bus,USB)接口。网络接口1004可选的可以包括标准的有线接口以及无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory,RAM);也可以是稳定的存储器,比如,非易失存储器(Non-volatile Memory),具体可为,磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对报警设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及输液报警程序。
在图1所示的报警设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接外设;所述报警设备通过处理器1001调用存储器1005中存储的输液报警程序,并执行以下操作:
获取输液软管的软管图像;
通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像;
根据所述液柱图像的图像面积确定对应的液柱区域占比;
在所述液柱区域占比处于预设占比范围内时,进行输液报警操作。
进一步地,处理器1001可以调用存储器1005中存储的输液报警程序,还执行以下操作:
遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果;
将所述判断结果对应的预设二值变量与所述像素点相乘,并将相乘后的像素点构成的图像作为液柱图像。
进一步地,处理器1001可以调用存储器1005中存储的输液报警程序,还执行以下操作:
在所述软管图像的颜色模型为红绿蓝RGB颜色模型时,将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型;
从所述HSV颜色模型中选取第一参数类型;
从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数;
相应地,还执行以下操作:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内,以获得判断结果。
进一步地,处理器1001可以调用存储器1005中存储的输液报警程序,还执行以下操作:
将所述软管图像的RGB颜色模型转换为YCbCr颜色模型;
从所述YCbCr颜色模型中选取第二参数类型;
从所述软管图像的YCbCr颜色模型中提取与所述第二参数类型对应的第二颜色参数;
相应地,还执行以下操作:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内以及所述像素点对应的第二颜色参数是否处于第二预设参数范围内,以获得判断结果。
进一步地,处理器1001可以调用存储器1005中存储的输液报警程序,还执行以下操作:
将所述液柱图像转化为二值图像;
从所述二值图像中提取目标连通区域;
相应地,还执行以下操作:
根据所述目标连通区域的图像面积确定对应的液柱区域占比。
进一步地,处理器1001可以调用存储器1005中存储的输液报警程序,还执行以下操作:
确定所述二值图像中的各待选取连通区域;
通过预设图像属性函数统计所述待选取连通区域内包含的像素点的像素点数量;
基于所述像素点数量从所述待选取连通区域中选取目标连通区域。
进一步地,处理器1001可以调用存储器1005中存储的输液报警程序,还执行以下操作:
获取所述二值图像对应的二值图像面积;
计算所述目标连通区域的图像面积在所述二值图像面积中的面积占比,将所述面积占比作为液柱区域占比。
本实施例中获取输液软管的软管图像;通过软管图像的颜色模型进行图像分割,以提取软管图像中的液柱图像;根据液柱图像的图像面积确定对应的液柱区域占比;在液柱区域占比处于预设占比范围内时,进行输液报警操作。明显地,本实施例引入了图像处理技术来进行拔针提醒,具体而言,将通过图像分割的方式来提取出液柱图像,并根据液柱图像的面积大小进行点滴报警,当注射液的容积处于设定的警戒范围内时进行报警,可以避免回血危险,大大地提高了拔针提醒的效率,从而解决了拔针提醒方式不够高效的技术问题。
基于上述硬件结构,提出本发明输液报警方法的实施例。
参照图2,图2为本发明输液报警方法第一实施例的流程示意图。
在第一实施例中,所述输液报警方法包括以下步骤:
步骤S10:获取输液软管的软管图像。
可以理解的是,本实施例的执行主体为报警设备,该报警设备可包括有***头,可将该***头安装于输液室内靠近输液吊瓶的墙壁上,或者,也可将该***头安装在悬挂输液吊瓶的固定支架上,来拍摄输液软管的图像。
应当理解的是,可通过摄像头对输液软管进行拍摄,以获得软管图像。其中,输液软管的软管图像可参见图3,软管图像中包括有滴斗图像。
步骤S20:通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像。
可以理解的是,软管图像自身的颜色模型可为红绿蓝(red green blue,RGB)颜色模型,鉴于输液软管中的注射液可能存在着一定的颜色可与周围环境区分开,故而,可基于输液软管中的注射液的颜色进行图像分割以提取出液柱图像。液柱图像为未使用的注射液在输液软管中所占的区域对应的图像。
步骤S30:根据所述液柱图像的图像面积确定对应的液柱区域占比。
应当理解的是,在找出未使用的注射液在输液软管中所占的区域后,可将该区域记为液柱区域。并得出液柱区域在软管图像中所占的面积比,可记为液柱区域占比。
步骤S40:在所述液柱区域占比处于预设占比范围内时,进行输液报警操作。
在具体实现中,在液柱区域占比的数值处于预设占比范围的数值范围内,预设占比范围可为0≤x≤0.01,则可认为病人即将处于回血的危险境地中,即注射液将尽,可进行输液报警操作。比如,该报警设备可还包括有发光二极管(Light Emitting Diode,LED)灯珠,LED灯珠可通过闪烁进行输液报警操作;或者,该报警设备可还包括有发声器,该发声器可通过发出“哔”声进行输液报警操作。通过输液报警操作可以及时地提醒病人以及护士快速拔针。
当然,在所述液柱区域占比不处于预设占比范围内时,可继续周期性判定液柱区域占比是否处于预设占比范围内,直至在液柱区域占比处于预设占比范围内时进行输液报警操作。
本实施例中获取输液软管的软管图像;通过软管图像的颜色模型进行图像分割,以提取软管图像中的液柱图像;根据液柱图像的图像面积确定对应的液柱区域占比;在液柱区域占比处于预设占比范围内时,进行输液报警操作。明显地,本实施例引入了图像处理技术来进行拔针提醒,具体而言,将通过图像分割的方式来提取出液柱图像,并根据液柱图像的面积大小进行点滴报警,当注射液的容积处于设定的警戒范围内时进行报警,可以避免回血危险,大大地提高了拔针提醒的效率,从而解决了拔针提醒方式不够高效的技术问题。
参照图4,图4为本发明输液报警方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明输液报警方法的第二实施例。
第二实施例中,所述步骤S20,具体包括:
步骤S201:遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果。
可以理解的是,图像分割的分割方式具体为,可先判断软管图像中的某个像素点在颜色模型下的颜色参数是否落入预设参数范围内。若落入预设参数范围内的数值范围内,则可设置对应的预设二值变量为1;若不落入预设参数范围内的数值范围内,则可设置对应的预设二值变量为0。
步骤S202:将所述判断结果对应的预设二值变量与所述像素点相乘,并将相乘后的像素点构成的图像作为液柱图像。
应当理解的是,将某个像素点对应的预设二值变量与这个像素点相乘,该相乘操作意味着,将保留预设二值变量为1的像素点,筛除预设二值变量为0的像素点。通过该相乘操作将把软管图像中部分像素点筛除掉,仅保留符合预设参数范围的像素点来构成液柱图像。
进一步地,所述遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果之前,所述输液报警方法还包括:
在所述软管图像的颜色模型为红绿蓝RGB颜色模型时,将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型;
从所述HSV颜色模型中选取第一参数类型;
从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数;
相应地,所述遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果,具体包括:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内,以获得判断结果。
在具体实现中,为了更加准确地筛选像素点,若获得到的软管图像本身的颜色模型为RGB颜色模型,可先进行颜色模型的转换,比如,可先转换成色调饱和度明度(HueSaturation Value,HSV)颜色模型。如此,软管图像中的各个像素点至少具备三类颜色参数,比如,色调参数、饱和度参数以及明度参数。其中,HSV颜色模型也可称六角椎体模型。
此外,可通过预设rgb2hsv转换函数将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型。
可以理解的是,可将第一参数类型设定为色调参数,各个像素点的第一颜色参数即为色调参数的参数数值。
应当理解的是,在进行像素点筛选时,可设定与色调参数类型对应的第一预设参数范围。然后,若某个像素点的色调参数不处于第一预设参数范围内,对应的预设二值变量将为0,则筛除该像素点。
进一步地,所述从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数之后,所述输液报警方法还包括:
将所述软管图像的RGB颜色模型转换为YCbCr颜色模型;
从所述YCbCr颜色模型中选取第二参数类型;
从所述软管图像的YCbCr颜色模型中提取与所述第二参数类型对应的第二颜色参数;
相应地,所述遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内,以获得判断结果,具体包括:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内以及所述像素点对应的第二颜色参数是否处于第二预设参数范围内,以获得判断结果。
可以理解的是,为了准确地筛除像素点,除了可参考HSV颜色模型,还可同时引入YCbCr颜色模型。其中,YCbCr颜色模型属于一种颜色模型。YCbCr颜色模型对应的颜色参数包括亮度分量,记为Y;包括蓝色色度分量,记为Cb;包括红色色度分量,记为Cr。
此外,比之HSV颜色模型,YCbCr颜色模型在进行人脸肤色分割方面有着明显优点,这是由于肤色范围紧密而不易受光照其他物体干扰,基于此特性可以采用YCbCr颜色模型来对软管部分颜色较深的液柱的液柱区域进行分割操作。所以,可先将RGB颜色模型转换为YCbCr颜色模型。转换方式可采用下列的预设转换公式,
Y=(0.257*R)+(0.504*G)+(0.098*B)+16,
Cr=(0.439*R)-(0.368*G)-(0.071*B)+128,
Cb=-(0.148*R)-(0.291*G)+(0.439*B)+128,
其中,Y表示亮度分量、R表示RGB颜色模型中的红色分量、G表示RGB颜色模型中的绿色分量、B表示RGB颜色模型中的蓝色分量、Cr表示红色色度分量以及Cb表示蓝色色度分量。
应当理解的是,可将第二参数类型设定为Cb以及Cr,各个像素点的第二颜色参数即为Cb以及Cr的参数数值。在进行像素点筛选时,可设定与Cb以及Cr对应的第二预设参数范围,第二预设参数范围内规定了Cb的数值范围也规定了Cr的数值范围。
在具体实现中,可结合HSV颜色模型与YCbCr颜色模型来筛选像素点,以获得区域更加准确的液柱图像。可设定,若某个像素点的色调参数(Hue)落入第一预设参数范围内、Cb以及Cr的参数数值落入第二预设参数范围内,则可设置对应的预设二值变量为1;反之,则可设置对应的预设二值变量为0。如此,就可筛除掉不满足颜色要求的像素点,以提高后续预警操作的准确性。
可见,此时的预设参数范围同时采纳了第一预设参数范围以及第二预设参数范围。
此外,为了提高像素点筛选的准确性,在启用YCbCr颜色模型时,若液柱区域的颜色接近橙色,可依据橙色适应性调整各预设参数范围。当然,若欲识别其他颜色的液柱区域,仅更改为合适的预设参数范围即可。
本实施例鉴于软管图像中记录有注射液的液柱,通过颜色模型间的变换操作得出的颜色参数可以成功地识别出该液柱区域,并对软管图像中除液柱区域以外的像素点进行筛除。同时,由于同时引入了HSV颜色模型与YCbCr颜色模型,还大大地提高了像素点筛除的准确性。
参照图5,图5为本发明输液报警方法第三实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明输液报警方法的第三实施例。
第三实施例中,所述步骤S20之后,所述输液报警方法还包括:
步骤S203:将所述液柱图像转化为二值图像。
可以理解的是,在确定液柱区域后,可先将液柱区域对应的区域图像即液柱图像转化为灰度图像,再将灰度图像转化为二值图像。
应当理解的是,灰度图像转化为二值图像的转化操作具体为,可先通过矩阵实验室(MATLAB)软件中的graythresh函数生成一个转化二值图像的转化阈值,然后,基于该转化阈值将灰度图像转化为二值图像。
步骤S204:从所述二值图像中提取目标连通区域。
可以理解的是,连通区域是指某个图像中具有相同像素值且位置相邻的前景像素点组成的图像区域。毕竟,像素点之间邻接,那么,这些像素点是彼此连通的,在视觉上形成了一个整块的图像区域。
相应地,所述步骤S30,具体包括:
步骤S301:根据所述目标连通区域的图像面积确定对应的液柱区域占比。
在具体实现中,可从二值图像中找出连通区域,并根据该连通区域的图像面积来获得液柱区域占比。比之直接通过液柱图像的图像面积获得到的液柱区域占比,本实施例计算得出的液柱区域占比能够更有效地且更准确地控制报警。
进一步地,所述从所述二值图像中提取目标连通区域,具体包括:
确定所述二值图像中的各待选取连通区域;
通过预设图像属性函数统计所述待选取连通区域内包含的像素点的像素点数量;
基于所述像素点数量从所述待选取连通区域中选取目标连通区域。
可以理解的是,从二值图像中提取目标连通区域的提取方式具体为,可先找出二值图像中的全部待选取连通区域,然后,通过regionprops函数统计待选取连通区域内包含的像素点的像素点数量。
应当理解的是,regionprops函数将获得两个数组,一个为Area数组,用于记录每个待选取连通区域内的像素点数量,另一个为BoundingBox数组,BoundingBox数组内的元素表示能够框出每个待选取连通区域的最小矩形。
可以理解的是,接着,从Area数组中选出像素点数量的最大值,像素点数量的最大值对应的连通区域也就为最大连通区域。故而,可基于像素点数量中的最大值从待选取连通区域中选取与最大值对应的目标连通区域,选取的目标连通区域为最大连通区域。可参见图6,图6中的白色区域即为最大连通区域。
此外,为了获得该最大连通区域,可应用BoundingBox数组,具体而言,可先获取Area数组中像素点数量的最大值的下标,然后,将该下标应用到BoundingBox数组中,该下标对应的元素即为能够框出最大连通区域的最小矩形,则可应用该最小矩形框处此时需要的最大连通区域。
此外,可通过rectangle函数画出框出该最大连通区域的最小矩形。
进一步地,所述根据所述目标连通区域的图像面积确定对应的液柱区域占比,具体包括:
获取所述二值图像对应的二值图像面积;
计算所述目标连通区域的图像面积在所述二值图像面积中的面积占比,将所述面积占比作为液柱区域占比。
可以理解的是,为了更加精准地计算该液柱区域占比,就MATLAB软件而言,可先通过size函数统计出二值图像对应的二值图像面积,通过bwarea函数统计出最大连通区域的图像面积,将最大连通区域的图像面积除以二值图像面积,将获得的商记为液柱区域占比。
本实施例中通过找出像素点数量最多的最大连通区域来进行报警与否的判定,可以提高报警时刻的准确性。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有输液报警程序,所述输液报警程序被处理器执行时实现如下操作:
获取输液软管的软管图像;
通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像;
根据所述液柱图像的图像面积确定对应的液柱区域占比;
在所述液柱区域占比处于预设占比范围内时,进行输液报警操作。
进一步地,所述输液报警程序被处理器执行时还实现如下操作:
遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果;
将所述判断结果对应的预设二值变量与所述像素点相乘,并将相乘后的像素点构成的图像作为液柱图像。
进一步地,所述输液报警程序被处理器执行时还实现如下操作:
在所述软管图像的颜色模型为红绿蓝RGB颜色模型时,将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型;
从所述HSV颜色模型中选取第一参数类型;
从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数;
相应地,还实现如下操作:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内,以获得判断结果。
进一步地,所述输液报警程序被处理器执行时还实现如下操作:
将所述软管图像的RGB颜色模型转换为YCbCr颜色模型;
从所述YCbCr颜色模型中选取第二参数类型;
从所述软管图像的YCbCr颜色模型中提取与所述第二参数类型对应的第二颜色参数;
相应地,还实现如下操作:
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内以及所述像素点对应的第二颜色参数是否处于第二预设参数范围内,以获得判断结果。
进一步地,所述输液报警程序被处理器执行时还实现如下操作:
将所述液柱图像转化为二值图像;
从所述二值图像中提取目标连通区域;
相应地,还实现如下操作:
根据所述目标连通区域的图像面积确定对应的液柱区域占比。
进一步地,所述输液报警程序被处理器执行时还实现如下操作:
确定所述二值图像中的各待选取连通区域;
通过预设图像属性函数统计所述待选取连通区域内包含的像素点的像素点数量;
基于所述像素点数量从所述待选取连通区域中选取目标连通区域。
进一步地,所述输液报警程序被处理器执行时还实现如下操作:
获取所述二值图像对应的二值图像面积;
计算所述目标连通区域的图像面积在所述二值图像面积中的面积占比,将所述面积占比作为液柱区域占比。
本实施例中获取输液软管的软管图像;通过软管图像的颜色模型进行图像分割,以提取软管图像中的液柱图像;根据液柱图像的图像面积确定对应的液柱区域占比;在液柱区域占比处于预设占比范围内时,进行输液报警操作。明显地,本实施例引入了图像处理技术来进行拔针提醒,具体而言,将通过图像分割的方式来提取出液柱图像,并根据液柱图像的面积大小进行点滴报警,当注射液的容积处于设定的警戒范围内时进行报警,可以避免回血危险,大大地提高了拔针提醒的效率,从而解决了拔针提醒方式不够高效的技术问题。
此外,参照图7,本发明实施例还提出一种输液报警装置,所述输液报警装置包括:
图像获取模块10,用于获取输液软管的软管图像。
应当理解的是,可通过摄像头对输液软管进行拍摄,以获得软管图像。其中,输液软管的软管图像可参见图3,软管图像中包括有滴斗图像。
图像分割模块20,用于通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像。
可以理解的是,软管图像自身的颜色模型可为红绿蓝(red green blue,RGB)颜色模型,鉴于输液软管中的注射液可能存在着一定的颜色可与周围环境区分开,故而,可基于输液软管中的注射液的颜色进行图像分割以提取出液柱图像。液柱图像为未使用的注射液在输液软管中所占的区域对应的图像。
占比确定模块30,用于根据所述液柱图像的图像面积确定对应的液柱区域占比。
应当理解的是,在找出未使用的注射液在输液软管中所占的区域后,可将该区域记为液柱区域。并得出液柱区域在软管图像中所占的面积比,可记为液柱区域占比。
输液报警模块40,用于在所述液柱区域占比处于预设占比范围内时,进行输液报警操作。
在具体实现中,在液柱区域占比的数值处于预设占比范围的数值范围内,预设占比范围可为0≤x≤0.01,则可认为病人即将处于回血的危险境地中,即注射液将尽,可进行输液报警操作。比如,可设有发光二极管(Light Emitting Diode,LED)灯珠,LED灯珠可通过闪烁进行输液报警操作;或者,可设有发声器,该发声器可通过发出“哔”声进行输液报警操作。通过输液报警操作可以及时地提醒病人以及护士快速拔针。
当然,在所述液柱区域占比不处于预设占比范围内时,可继续周期性判定液柱区域占比是否处于预设占比范围内,直至在液柱区域占比处于预设占比范围内时进行输液报警操作。
本实施例中获取输液软管的软管图像;通过软管图像的颜色模型进行图像分割,以提取软管图像中的液柱图像;根据液柱图像的图像面积确定对应的液柱区域占比;在液柱区域占比处于预设占比范围内时,进行输液报警操作。明显地,本实施例引入了图像处理技术来进行拔针提醒,具体而言,将通过图像分割的方式来提取出液柱图像,并根据液柱图像的面积大小进行点滴报警,当注射液的容积处于设定的警戒范围内时进行报警,可以避免回血危险,大大地提高了拔针提醒的效率,从而解决了拔针提醒方式不够高效的技术问题。
在一实施例中,所述图像分割模块20,还用于遍历所述软管图像中的各像素点,判断所述像素点对应的颜色模型的颜色参数是否处于预设参数范围内,以获得判断结果;将所述判断结果对应的预设二值变量与所述像素点相乘,并将相乘后的像素点构成的图像作为液柱图像。
在一实施例中,所述输液报警装置还包括:
第一参数提取模块,用于在所述软管图像的颜色模型为红绿蓝RGB颜色模型时,将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型;从所述HSV颜色模型中选取第一参数类型;从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数;
所述图像分割模块20,还用于遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内,以获得判断结果。
在一实施例中,所述输液报警装置还包括:
第二参数提取模块,用于将所述软管图像的RGB颜色模型转换为YCbCr颜色模型;从所述YCbCr颜色模型中选取第二参数类型;从所述软管图像的YCbCr颜色模型中提取与所述第二参数类型对应的第二颜色参数;
所述图像分割模块20,还用于遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内以及所述像素点对应的第二颜色参数是否处于第二预设参数范围内,以获得判断结果。
在一实施例中,所述输液报警装置还包括:
连通区域提取模块,用于将所述液柱图像转化为二值图像;从所述二值图像中提取目标连通区域;
所述占比确定模块30,还用于根据所述目标连通区域的图像面积确定对应的液柱区域占比。
在一实施例中,所述连通区域提取模块,还用于确定所述二值图像中的各待选取连通区域;通过预设图像属性函数统计所述待选取连通区域内包含的像素点的像素点数量;基于所述像素点数量从所述待选取连通区域中选取目标连通区域。
在一实施例中,所述占比确定模块30,还用于获取所述二值图像对应的二值图像面积;计算所述目标连通区域的图像面积在所述二值图像面积中的面积占比,将所述面积占比作为液柱区域占比。
本发明所述输液报警装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器、RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种输液报警方法,其特征在于,所述输液报警方法包括以下步骤:
获取输液软管的软管图像;
通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像;
根据所述液柱图像的图像面积确定对应的液柱区域占比;
在所述液柱区域占比处于预设占比范围内时,进行输液报警操作;
所述通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像之后,所述输液报警方法还包括:
将所述液柱图像转化为二值图像;
从所述二值图像中提取目标连通区域;
相应地,所述根据所述液柱图像的图像面积确定对应的液柱区域占比,具体包括:
根据所述目标连通区域的图像面积确定对应的液柱区域占比;
所述通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像,包括:
在所述软管图像的颜色模型为红绿蓝RGB颜色模型时,将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型;
从所述HSV颜色模型中选取第一参数类型;
从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数;
将所述软管图像的RGB颜色模型转换为YCbCr颜色模型;
从所述YCbCr颜色模型中选取第二参数类型;
从所述软管图像的YCbCr颜色模型中提取与所述第二参数类型对应的第二颜色参数;
遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内以及所述像素点对应的第二颜色参数是否处于第二预设参数范围内,以获得判断结果;
将所述判断结果对应的预设二值变量与所述像素点相乘,并将相乘后的像素点构成的图像作为液柱图像。
2.如权利要求1所述的输液报警方法,其特征在于,所述从所述二值图像中提取目标连通区域,具体包括:
确定所述二值图像中的各待选取连通区域;
通过预设图像属性函数统计所述待选取连通区域内包含的像素点的像素点数量;
基于所述像素点数量从所述待选取连通区域中选取目标连通区域。
3.如权利要求1所述的输液报警方法,其特征在于,所述根据所述目标连通区域的图像面积确定对应的液柱区域占比,具体包括:
获取所述二值图像对应的二值图像面积;
计算所述目标连通区域的图像面积在所述二值图像面积中的面积占比,将所述面积占比作为液柱区域占比。
4.一种报警设备,其特征在于,所述报警设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行输液报警程序,所述输液报警程序被所述处理器执行时实现如权利要求1至3中任一项所述的输液报警方法的步骤。
5.一种存储介质,其特征在于,所述存储介质上存储有输液报警程序,所述输液报警程序被处理器执行时实现如权利要求1至3中任一项所述的输液报警方法的步骤。
6.一种输液报警装置,其特征在于,所述输液报警装置包括:
图像获取模块,用于获取输液软管的软管图像;
图像分割模块,用于通过所述软管图像的颜色模型进行图像分割,以提取所述软管图像中的液柱图像;
占比确定模块,用于根据所述液柱图像的图像面积确定对应的液柱区域占比;
输液报警模块,用于在所述液柱区域占比处于预设占比范围内时,进行输液报警操作;
连通区域提取模块,用于将所述液柱图像转化为二值图像;从所述二值图像中提取目标连通区域;
所述占比确定模块,还用于根据所述目标连通区域的图像面积确定对应的液柱区域占比;
所述图像分割模块,还用于在所述软管图像的颜色模型为红绿蓝RGB颜色模型时,将所述软管图像的RGB颜色模型转换为色调饱和度明度HSV颜色模型;从所述HSV颜色模型中选取第一参数类型;从所述软管图像的HSV颜色模型中提取与所述第一参数类型对应的第一颜色参数;将所述软管图像的RGB颜色模型转换为YCbCr颜色模型;从所述YCbCr颜色模型中选取第二参数类型;从所述软管图像的YCbCr颜色模型中提取与所述第二参数类型对应的第二颜色参数;遍历所述软管图像中的各像素点,判断所述像素点对应的第一颜色参数是否处于第一预设参数范围内以及所述像素点对应的第二颜色参数是否处于第二预设参数范围内,以获得判断结果;将所述判断结果对应的预设二值变量与所述像素点相乘,并将相乘后的像素点构成的图像作为液柱图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910573072.8A CN110136195B (zh) | 2019-06-27 | 2019-06-27 | 输液报警方法、报警设备、存储介质及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910573072.8A CN110136195B (zh) | 2019-06-27 | 2019-06-27 | 输液报警方法、报警设备、存储介质及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110136195A CN110136195A (zh) | 2019-08-16 |
CN110136195B true CN110136195B (zh) | 2021-09-03 |
Family
ID=67566686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910573072.8A Expired - Fee Related CN110136195B (zh) | 2019-06-27 | 2019-06-27 | 输液报警方法、报警设备、存储介质及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110136195B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111543922A (zh) * | 2020-06-12 | 2020-08-18 | 深圳市丰盛生物科技有限公司 | 具有喉部余液检测功能的便携式喉镜及余液检测方法 |
US11583629B2 (en) * | 2020-08-17 | 2023-02-21 | International Business Machines Corporation | Alarm for blood backflow during intravenous infusion |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102074017B (zh) * | 2009-11-23 | 2012-11-28 | 北京工业大学 | 一种杠铃中心点检测及跟踪的方法和装置 |
CN201969115U (zh) * | 2011-02-28 | 2011-09-14 | 南京信息工程大学 | 一种医务室输液报警*** |
US8861847B2 (en) * | 2012-12-21 | 2014-10-14 | Intel Corporation | System and method for adaptive skin tone detection |
CN103127583A (zh) * | 2013-03-19 | 2013-06-05 | 南京理工大学 | 一种基于视频图像的输液监控装置 |
CN104050668A (zh) * | 2014-06-17 | 2014-09-17 | 安徽农业大学 | 一种基于双目视觉技术的绿茶嫩芽的目标识别方法 |
CN106291278B (zh) * | 2016-08-03 | 2019-01-15 | 国网山东省电力公司电力科学研究院 | 一种基于多视觉***的开关柜局部放电自动检测方法 |
CN107349487B (zh) * | 2017-07-14 | 2023-05-26 | 华中科技大学同济医学院附属协和医院 | 一种静脉输液监控设备和报警*** |
-
2019
- 2019-06-27 CN CN201910573072.8A patent/CN110136195B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN110136195A (zh) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6356773B2 (ja) | 流体キャニスタ中の血液成分量を測定するシステム及び方法 | |
US9076198B2 (en) | Information processing apparatus, information processing system, information processing method, program and recording medium | |
CN110136195B (zh) | 输液报警方法、报警设备、存储介质及装置 | |
JP6799301B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN107832677A (zh) | 基于活体检测的人脸识别方法及*** | |
US9672612B2 (en) | Image processing device, image processing method, and image processing program for classification of region of interest from intraluminal images based on initial region feature and expansion region feature | |
JP2012243313A (ja) | 画像処理方法および画像処理装置 | |
US9666161B2 (en) | Method and system for replacing theme of a mobile terminal on the basis of a user's clothes color | |
CN110866932A (zh) | 多通道舌体边缘检测装置、方法及存储介质 | |
CN106210522A (zh) | 一种图像处理方法、装置及移动终端 | |
CN107066779A (zh) | 基于生物样本颜色的自助身体参数检查方法及*** | |
CN111369529B (zh) | 一种物品丢失、遗留检测方法及其*** | |
CN110648336B (zh) | 一种舌质和舌苔的分割方法及装置 | |
CN111368698B (zh) | 主体识别方法、装置、电子设备及介质 | |
CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
CN111462221A (zh) | 待侦测物体阴影面积提取方法、装置、设备及存储介质 | |
CN112651962A (zh) | 一种ai智能诊断***平台 | |
CN111241934A (zh) | 一种获取人脸图像中油光区域的方法和装置 | |
CN115115755B (zh) | 基于数据处理的荧光三维成像方法及装置 | |
CN111743524A (zh) | 一种信息处理方法、终端和计算机可读存储介质 | |
WO2019192205A1 (zh) | 图像中肢体表示信息的识别方法、装置、设备以及计算机可读存储介质 | |
CN111414877A (zh) | 去除颜色边框的表格裁切方法、图像处理设备和存储介质 | |
CN111568217A (zh) | 饮水机控制方法、饮水机及计算机可读存储介质 | |
CN111179222A (zh) | 脑出血点智能检测方法、装置及计算机可读存储介质 | |
CN113539368B (zh) | 荧光图像信号数据存储与颜色分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210903 |