CN116473692A - 基于人工智能图像识别的手术室器械敷料点数方法及*** - Google Patents
基于人工智能图像识别的手术室器械敷料点数方法及*** Download PDFInfo
- Publication number
- CN116473692A CN116473692A CN202310411451.3A CN202310411451A CN116473692A CN 116473692 A CN116473692 A CN 116473692A CN 202310411451 A CN202310411451 A CN 202310411451A CN 116473692 A CN116473692 A CN 116473692A
- Authority
- CN
- China
- Prior art keywords
- dressing
- instrument
- information
- target
- information acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 141
- 238000012795 verification Methods 0.000 claims abstract description 73
- 238000001356 surgical procedure Methods 0.000 claims description 141
- 238000013473 artificial intelligence Methods 0.000 claims description 20
- 238000002360 preparation method Methods 0.000 claims description 16
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000002980 postoperative effect Effects 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000007812 deficiency Effects 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 18
- 230000002349 favourable effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002439 hemostatic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于人工智能图像识别的手术室器械敷料点数方法及***,包括:根据当前手术进程,确定待进行器械敷料点数的识别区域,并基于与识别区域对应的信息采集装置对识别区域进行信息采集操作,得到信息采集结果集合;基于器械敷料点数模型对所有信息采集结果集合进行分析识别,得到器械敷料识别结果;基于器械敷料校验参考信息对器械敷料识别结果进行验证,得到验证结果;基于器械敷料识别结果以及验证结果,生成器械敷料点数结果。可见,本发明能够实现手术用的器械敷料的智能化点数,有利于提高器械敷料的点数效率及点数准确率,此外,还能够有利于提高最终生成的器械敷料点数结果的准确性及可靠性。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于人工智能图像识别的手术室器械敷料点数方法及***。
背景技术
在手术时,通常需要用到相应的器械敷料,比如手术刀、缝合刀、止血纱布、手术用针、缝合线等等,且无论是在手术前,还是在手术中,亦或者是在手术后,均需要对手术所使用的器械敷料进行清点,比如在手术之前,对手术所需的器械敷料进行清点,以保证手术所需的器械敷料准备齐全,又比如在手术过程中,对器械敷料进行清点以追踪器械敷料的使用情况,以保证手术的正常进行,再比如在手术之后,同样需要对器械敷料进行清点,以避免出现器械敷料遗留在手术者体内的情况发生进而提高手术安全性。
实践发现,在对器械敷料进行清点时,通常是由相关人员(如护士人员)对器械敷料进行清点,这种通过相关人员清点器械敷料的方式不仅存在效率低的问题,而且还存在准确性低的问题。
可见,如何提高手术用的器械敷料的清点效率及清点准确性显得尤为重要。
发明内容
本发明所要解决的技术问题在于,提供一种基于人工智能图像识别的手术室器械敷料点数方法及***,能够提高手术用的器械敷料的清点效率及清点准确性。
为了解决上述技术问题,本发明实施例第一方面公开了一种基于人工智能图像识别的手术室器械敷料点数方法,所述方法应用于手术室器械敷料的点数***中,所述方法包括:
确定当前手术进程,所述当前手术进程包括手术前准备进程、手术中进程或手术后进程;
根据所述当前手术进程,确定待进行器械敷料点数的识别区域,并基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合;
基于预先训练至收敛的器械敷料点数模型对所有所述信息采集结果集合进行分析识别,得到与所述当前手术进程对应的器械敷料识别结果;
获取与所述当前手术进程对应的器械敷料校验参考信息,并基于所述器械敷料校验参考信息对所述器械敷料识别结果进行验证,得到针对所述器械敷料识别结果的验证结果;
基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果。
作为一种可选的实施方式,在本发明实施例第一方面中,当所述当前手术进程为所述手术中进程时,所述识别区域至少包括第一子识别区域以及第二子识别区域;
所述第一子识别区域为器械敷料使用前的第一放置区域,所述第二子识别区域为器械敷料使用中的手术操作区域;
其中,所述基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合,包括:
基于预设的采集时间间隔,基于所述第一放置区域的第一信息采集装置对所述第一放置区域执行多次信息采集操作,得到多个第一信息采集结果;
基于多个所述第一信息采集结果集合,判断所述第一放置区域的器械敷料放置情况是否发生变化,当判断出所述第一放置区域的器械敷料放置情况变化且所述器械敷料放置情况表示所述第一放置区域放置的器械敷料减少时,基于所述第一放置区域的器械敷料放置情况变化确定所述第一放置区域所减少的目标器械敷料,以及将所述目标器械敷料对应的使用区域作为第二子区域;
在所述第一放置区域放置的器械敷料减少的时刻,向所述第二子区域对应的第二摄像头发送第一提示信息,以提示所述第二摄像头对所述第二子区域中出现的所述目标器械敷料执行图像采集操作;
获取在向所述第二摄像头发送所述第一提示信息之后的预设时间段内所述第二摄像头针对所述第二子区域采集到的图像采集结果;
根据所有所述第一信息采集结果中所述第一放置区域放置的器械敷料减少前的多个所述第一信息采集结果、所述第一放置区域放置的器械敷料减少后的多个所述第一信息采集结果以及所述第二摄像头针对所述第二子区域采集到的图像采集结果,生成信息采集结果集合,所述信息采集结果集合包括所有所述第一信息采集结果中所述第一放置区域放置的器械敷料减少前的多个所述第一信息采集结果、所述第一放置区域放置的器械敷料减少后的多个所述第一信息采集结果以及所述第二摄像头针对所述第二子区域采集到的图像采集结果;
其中,所述第一放置区域的器械敷料放置情况变化是根据在两个相邻采集时刻分别采集到的所述第一信息采集结果之间的差异值确定出的,所述差异值包括图像差异值和/或重量差异值。
作为一种可选的实施方式,在本发明实施例第一方面中,当所述当前手术进程为所述手术中进程时,所述识别区域还包括第三子识别区域,所述第三子识别区域用于放置使用后的所述目标器械敷料;
以及,所述基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合,还包括:
基于所述第二摄像头采集到的图像采集结果追踪所述目标器材敷料在所述第二子识别区域的使用情况;
当所述使用情况表示所述目标器材敷料在所述第三子识别区域内使用完毕时,向所述第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示所述第二信息采集装置对所述第三子识别区域中出现的所述目标器械敷料执行信息采集操作;
获取所述第二信息采集装置在接收到所述第二提示信息之后的预设时间段内多次对所述第三子识别区域执行多次信息采集操作得到的多次第二信息采集结果;
其中,所述信息采集结果集合还包括多次所述第二信息采集结果。
作为一种可选的实施方式,在本发明实施例第一方面中,所述第一信息采集装置包括第一重量信息采集装置和/或第一摄像头,和/或,所述第二信息采集装置包括第二重量信息采集装置和/或第三摄像头;
以及,当所述当前手术进程为所述手术前准备进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种;
当所述当前手术进程为所述手术中进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种,以及,还包括所述目标手术的已进行子手术进程的进程信息、所述目标手术的进行中子手术进程的进程信息、所述目标手术的待进行子手术进程的进程信息、已进行子手术进程的突发情况信息、所述手术中进程的器械敷料补充信息中的至少一种;
当所述当前手术进程为所述手术后进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种,以及,还包括所述目标手术从开始到结束的相关手术信息;
其中,所述目标器械敷料清单为经过多层级审批确认之后的目标器械敷料清单。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
当所述当前手术进程为所述手术中进程以及当所述使用情况表示所述目标器材敷料在所述第三子识别区域内使用完毕时,根据所述目标器械敷料的类型判断所述目标器械敷料是否为需要附着在患者身体上直至所述目标手术进行完毕的器械敷料,当判断结果为否时,执行所述的向所述第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示所述第二信息采集装置对所述第三子识别区域中出现的所述目标器械敷料执行信息采集操作的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
当所述当前手术进程为所述手术中进程时,在所述当前手术进程对应的目标手术执行完毕时,对于所述目标手术所使用的每个器材敷料,从得到的所有所述信息采集结果集合中识别出所述器材敷料所对应的目标信息采集结果集合,并从所述目标信息采集结果集合中分析出所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息以及所述器材敷料的使用后器材敷料信息,基于所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息、所述器材敷料的使用后器材敷料信息以及所述器材敷料对应的使用行为分析模型,分析所述器材敷料在使用前、使用中及所述使用后是否存在违规使用信息,得到违规使用信息使用结果,基于与所述目标手术对应的操作存证区块链存证所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息、所述器材敷料的使用后器材敷料信息、所述违规使用信息使用结果,所述操作存证区块链用于对所述目标手术中所使用的所有器材敷料的使用情况进行溯源。
作为一种可选的实施方式,在本发明实施例第一方面中,所述基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果之后,所述方法还包括:
判断基于所述第二摄像头采集到的图像采集结果追踪到的所述目标器材敷料在所述第二子识别区域的使用情况是否满足所述目标器材敷料对应的预设使用规范;其中,所述目标器材敷料在所述第二子识别区域的使用情况包括使用时长、具体使用位置、使用朝向、使用者的使用手势;
当判断出所述使用情况不满足所述预设使用规范时,通过预先确定出的提醒装置发出针对所述目标器材敷料的异常使用预警信息;
以及,所述基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果之后,所述方法还包括:
获取所述当前手术进程对应目标手术所涉及的所有器材敷料的器械敷料点数结果,得到器械敷料点数结果集合;
基于所述目标手术开始前的原始器械敷料点数结果集合、所述目标手术过程中新增器械敷料点数结果集合、所述目标手术中突发情况所额外消耗的器械敷料点数结果集合,判断所述器械敷料点数结果集合是否表示存在器材敷料缺失的情况,当判断结果为是时,确定所缺失的器械敷料,并判断所缺失的器械敷料是否为人体依附型器械敷料,当判断结果为否时,输出器械敷料缺失预警。
本发明实施例第二方面公开了一种基于人工智能图像识别的手术室器械敷料点数***,所述***包括:
第一确定模块,用于确定当前手术进程,所述当前手术进程包括手术前准备进程、手术中进程或手术后进程;
第二确定模块,用于根据所述当前手术进程,确定待进行器械敷料点数的识别区域;
信息采集模块,用于基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合;
点数控制模块,用于基于预先训练至收敛的器械敷料点数模型对所有所述信息采集结果集合进行分析识别,得到与所述当前手术进程对应的器械敷料识别结果;
验证模块,用于获取与所述当前手术进程对应的器械敷料校验参考信息,并基于所述器械敷料校验参考信息对所述器械敷料识别结果进行验证,得到针对所述器械敷料识别结果的验证结果;
点数结果生成模块,用于基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果。
作为一种可选的实施方式,在本发明实施例第二方面中,当所述当前手术进程为所述手术中进程时,所述识别区域至少包括第一子识别区域以及第二子识别区域;
所述第一子识别区域为器械敷料使用前的第一放置区域,所述第二子识别区域为器械敷料使用中的手术操作区域;
其中,所述信息采集模块基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合的具体方式包括:
基于预设的采集时间间隔,基于所述第一放置区域的第一信息采集装置对所述第一放置区域执行多次信息采集操作,得到多个第一信息采集结果;
基于多个所述第一信息采集结果集合,判断所述第一放置区域的器械敷料放置情况是否发生变化,当判断出所述第一放置区域的器械敷料放置情况变化且所述器械敷料放置情况表示所述第一放置区域放置的器械敷料减少时,基于所述第一放置区域的器械敷料放置情况变化确定所述第一放置区域所减少的目标器械敷料,以及将所述目标器械敷料对应的使用区域作为第二子区域;
在所述第一放置区域放置的器械敷料减少的时刻,向所述第二子区域对应的第二摄像头发送第一提示信息,以提示所述第二摄像头对所述第二子区域中出现的所述目标器械敷料执行图像采集操作;
获取在向所述第二摄像头发送所述第一提示信息之后的预设时间段内所述第二摄像头针对所述第二子区域采集到的图像采集结果;
根据所有所述第一信息采集结果中所述第一放置区域放置的器械敷料减少前的多个所述第一信息采集结果、所述第一放置区域放置的器械敷料减少后的多个所述第一信息采集结果以及所述第二摄像头针对所述第二子区域采集到的图像采集结果,生成信息采集结果集合,所述信息采集结果集合包括所有所述第一信息采集结果中所述第一放置区域放置的器械敷料减少前的多个所述第一信息采集结果、所述第一放置区域放置的器械敷料减少后的多个所述第一信息采集结果以及所述第二摄像头针对所述第二子区域采集到的图像采集结果;
其中,所述第一放置区域的器械敷料放置情况变化是根据在两个相邻采集时刻分别采集到的所述第一信息采集结果之间的差异值确定出的,所述差异值包括图像差异值和/或重量差异值。
作为一种可选的实施方式,在本发明实施例第二方面中,当所述当前手术进程为所述手术中进程时,所述识别区域还包括第三子识别区域,所述第三子识别区域用于放置使用后的所述目标器械敷料;
以及,所述信息采集模块基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合的具体方式还包括:
基于所述第二摄像头采集到的图像采集结果追踪所述目标器材敷料在所述第二子识别区域的使用情况;
当所述使用情况表示所述目标器材敷料在所述第三子识别区域内使用完毕时,向所述第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示所述第二信息采集装置对所述第三子识别区域中出现的所述目标器械敷料执行信息采集操作;
获取所述第二信息采集装置在接收到所述第二提示信息之后的预设时间段内多次对所述第三子识别区域执行多次信息采集操作得到的多次第二信息采集结果;
其中,所述信息采集结果集合还包括多次所述第二信息采集结果。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一信息采集装置包括第一重量信息采集装置和/或第一摄像头,和/或,所述第二信息采集装置包括第二重量信息采集装置和/或第三摄像头;
以及,当所述当前手术进程为所述手术前准备进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种;
当所述当前手术进程为所述手术中进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种,以及,还包括所述目标手术的已进行子手术进程的进程信息、所述目标手术的进行中子手术进程的进程信息、所述目标手术的待进行子手术进程的进程信息、已进行子手术进程的突发情况信息、所述手术中进程的器械敷料补充信息中的至少一种;
当所述当前手术进程为所述手术后进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种,以及,还包括所述目标手术从开始到结束的相关手术信息;
其中,所述目标器械敷料清单为经过多层级审批确认之后的目标器械敷料清单。
作为一种可选的实施方式,在本发明实施例第二方面中,所述信息采集模块,还用于当所述当前手术进程为所述手术中进程以及当所述使用情况表示所述目标器材敷料在所述第三子识别区域内使用完毕时,根据所述目标器械敷料的类型判断所述目标器械敷料是否为需要附着在患者身体上直至所述目标手术进行完毕的器械敷料,当判断结果为否时,执行所述的向所述第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示所述第二信息采集装置对所述第三子识别区域中出现的所述目标器械敷料执行信息采集操作。
作为一种可选的实施方式,在本发明实施例第二方面中,所述***还包括:
手术存证模块,用于当所述当前手术进程为所述手术中进程时,在所述当前手术进程对应的目标手术执行完毕时,对于所述目标手术所使用的每个器材敷料,从得到的所有所述信息采集结果集合中识别出所述器材敷料所对应的目标信息采集结果集合,并从所述目标信息采集结果集合中分析出所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息以及所述器材敷料的使用后器材敷料信息,基于所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息、所述器材敷料的使用后器材敷料信息以及所述器材敷料对应的使用行为分析模型,分析所述器材敷料在使用前、使用中及所述使用后是否存在违规使用信息,得到违规使用信息使用结果,基于与所述目标手术对应的操作存证区块链存证所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息、所述器材敷料的使用后器材敷料信息、所述违规使用信息使用结果,所述操作存证区块链用于对所述目标手术中所使用的所有器材敷料的使用情况进行溯源。
作为一种可选的实施方式,在本发明实施例第二方面中,所述***还包括:
异常预警模块,用于在所述点数结果生成模块基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果之后,判断基于所述第二摄像头采集到的图像采集结果追踪到的所述目标器材敷料在所述第二子识别区域的使用情况是否满足所述目标器材敷料对应的预设使用规范;其中,所述目标器材敷料在所述第二子识别区域的使用情况包括使用时长、具体使用位置、使用朝向、使用者的使用手势;当判断出所述使用情况不满足所述预设使用规范时,通过预先确定出的提醒装置发出针对所述目标器材敷料的异常使用预警信息;
以及,所述异常预警模块,还用于获取所述当前手术进程对应目标手术所涉及的所有器材敷料的器械敷料点数结果,得到器械敷料点数结果集合;
基于所述目标手术开始前的原始器械敷料点数结果集合、所述目标手术过程中新增器械敷料点数结果集合、所述目标手术中突发情况所额外消耗的器械敷料点数结果集合,判断所述器械敷料点数结果集合是否表示存在器材敷料缺失的情况,当判断结果为是时,确定所缺失的器械敷料,并判断所缺失的器械敷料是否为人体依附型器械敷料,当判断结果为否时,输出器械敷料缺失预警。
本发明第三方面公开了另一种基于人工智能图像识别的手术室器械敷料点数***,所述***包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的基于人工智能图像识别的手术室器械敷料点数方法。
本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的基于人工智能图像识别的手术室器械敷料点数方法。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,确定当前手术进程;根据当前手术进程,确定待进行器械敷料点数的识别区域,并基于与识别区域对应的信息采集装置对识别区域进行信息采集操作,得到识别区域的信息采集结果集合;基于预先训练至收敛的器械敷料点数模型对所有信息采集结果集合进行分析识别,得到与当前手术进程对应的器械敷料识别结果;获取与当前手术进程对应的器械敷料校验参考信息,并基于器械敷料校验参考信息对器械敷料识别结果进行验证,得到针对器械敷料识别结果的验证结果;基于器械敷料识别结果以及验证结果,生成器械敷料点数结果。可见,本发明能够实现手术用的器械敷料的智能化点数,有利于提高器械敷料的点数效率及点数准确率,此外,在基于器械敷料点数模型获取到器械敷料识别结果之后还能够进一步结合器械敷料校验参考信息对器械敷料识别结果进行验证,有利于提高最终生成的器械敷料点数结果的准确性及可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于人工智能图像识别的手术室器械敷料点数方法的流程示意图;
图2是本发明实施例公开的一种基于人工智能图像识别的手术室器械敷料点数***的结构示意图;
图3是本发明实施例公开的另一种基于人工智能图像识别的手术室器械敷料点数***的结构示意图;
图4是本发明实施例公开的又一种基于人工智能图像识别的手术室器械敷料点数***的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于人工智能图像识别的手术室器械敷料点数方法及***,能够实现手术用的器械敷料的智能化点数,有利于提高器械敷料的点数效率及点数准确率,此外,在基于器械敷料点数模型获取到器械敷料识别结果之后还能够进一步结合器械敷料校验参考信息对器械敷料识别结果进行验证,有利于提高最终生成的器械敷料点数结果的准确性及可靠性。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种基于人工智能图像识别的手术室器械敷料点数方法的流程示意图。其中,图1所描述的方法可以应用于手术室器械敷料的点数***中,该点数***可以是服务器,也可以是智能点数机器人,该服务器可以是本地服务器,也可以是云服务器,本发明实施例不做限定。
如图1所示,该方法可以包括如下步骤:
101、确定当前手术进程,该当前手术进程包括手术前准备进程、手术中进程或手术后进程。
本发明实施例中,点数***既能够实现手术前器械敷料点数,也可以实现手术中器械敷料点数,还可以实现手术后器械敷料点数。进一步的,手术前准备进程既可以是手术前在手术室外的准备进程,还可以是手术前在手术室内的准备进程,其中,手术室内的准备进程表示已经将手术所需的器械敷料移动至手术室内,做好了手术前的最终准备。
102、根据当前手术进程,确定待进行器械敷料点数的识别区域,并基于与识别区域对应的信息采集装置对识别区域进行信息采集操作,得到识别区域的信息采集结果集合。
本发明实施例中,不同的手术进程对应不同的识别区域,有利于实现器械敷料相关信息的精准采集,且不同的识别区域可以对应不同的信息采集装置,且信息采集结果集合中的信息采集结果与信息采集装置的类型对应。优选的,若当前手术进程是手术中进程,则识别区域可以包括使用器械敷料的手术操作区域,这样可以实现器械敷料使用过程的识别,进而有利于提高器械敷料的点数准确性。
103、基于预先训练至收敛的器械敷料点数模型对所有信息采集结果集合进行分析识别,得到与当前手术进程对应的器械敷料识别结果。
需要说明的是,在当前手术进程中,可以对每个单一类型的器械敷料分别进行信息采集,也可以对组合类型的器械敷料所包括的子器械敷料分别进行信息采集,当对组合类型的器械敷料所包括的所有子器械敷料进行采集之后,再进行器械敷料的识别,有利于提高对组合类型的器械敷料的识别准确性,减少组合类型的器械敷料中子器械敷料遗漏的情况发生,进而有利于提高器械敷料的点数准确性。其中,组合类型的器械敷料表示该器械敷料是由多个子器械敷料组合而成,且子器械敷料可从组合类型的器械敷料上拆卸下来。
本发明实施例中,器械敷料点数模型是基于大量数据样本训练得到的,该大量数据样本涵盖不同类型、不同大小、不同形状、不同材质、不同颜色的手术用器械辅助的样本信息采集结果,基于该大量数据样本涵盖的样本信息采集结果对初始器械敷料点数模型训练至收敛后得到本发明实施例所使用的器械敷料点数模型。且该器械敷料点数模型可以随着数据样本的更新而更新,有利于提高器械敷料点数模型的精准取,进而有利于提高器械敷料的点数精准性及点数效率。
104、获取与当前手术进程对应的器械敷料校验参考信息,并基于器械敷料校验参考信息对器械敷料识别结果进行验证,得到针对器械敷料识别结果的验证结果。
其中,器械敷料校验参考信息可以是预先确定出的标准器械敷料信息,比如具体可以涉及器械敷料的重量、颜色、大小、尺寸、材质等等。
105、基于器械敷料识别结果以及验证结果,生成器械敷料点数结果。
进一步的,验证结果表示器械敷料识别结果是否准确,且当其表示不准确时,还可基于器械敷料校验参考信息对器械敷料识别结果进行溯源及校准。
可见,实施本发明实施例所描述的方法能够实现手术用的器械敷料的智能化点数,有利于提高器械敷料的点数效率及点数准确率,此外,在基于器械敷料点数模型获取到器械敷料识别结果之后还能够进一步结合器械敷料校验参考信息对器械敷料识别结果进行验证,有利于提高最终生成的器械敷料点数结果的准确性及可靠性。
在一个可选的实施例中,当上述当前手术进程为手术中进程时,识别区域至少包括第一子识别区域以及第二子识别区域,且第一子识别区域为器械敷料使用前的第一放置区域,第二子识别区域为器械敷料使用中的手术操作区域。
在该可选的实施例中,上述的基于预先训练至收敛的器械敷料点数模型对所有信息采集结果集合进行分析识别,得到与当前手术进程对应的器械敷料识别结果,可以包括:
基于预设的采集时间间隔,基于第一放置区域的第一信息采集装置对第一放置区域执行多次信息采集操作,得到多个第一信息采集结果;
基于多个第一信息采集结果集合,判断第一放置区域的器械敷料放置情况是否发生变化,当判断出第一放置区域的器械敷料放置情况变化且器械敷料放置情况表示第一放置区域放置的器械敷料减少时,基于第一放置区域的器械敷料放置情况变化确定第一放置区域所减少的目标器械敷料,以及将目标器械敷料对应的使用区域作为第二子区域;
在第一放置区域放置的器械敷料减少的时刻,向第二子区域对应的第二摄像头发送第一提示信息,以提示第二摄像头对第二子区域中出现的目标器械敷料执行图像采集操作;
获取在向第二摄像头发送第一提示信息之后的预设时间段内第二摄像头针对第二子区域采集到的图像采集结果;
根据所有第一信息采集结果中第一放置区域放置的器械敷料减少前的多个第一信息采集结果、第一放置区域放置的器械敷料减少后的多个第一信息采集结果以及第二摄像头针对第二子区域采集到的图像采集结果,生成信息采集结果集合,
其中,信息采集结果集合包括所有第一信息采集结果中第一放置区域放置的器械敷料减少前的多个第一信息采集结果、第一放置区域放置的器械敷料减少后的多个第一信息采集结果以及第二摄像头针对第二子区域采集到的图像采集结果。可选的,第二摄像头针对第二子区域采集到的图像采集结果还可以实现对第一放置区域减少的器械敷料进行校验,有利于识别从第一放置区域取走的器械敷料的使用情况,识别其是否被用于实际的手术过程,
可选的,第一放置区域的器械敷料放置情况变化是根据在两个相邻采集时刻分别采集到的第一信息采集结果之间的差异值确定出的,差异值包括图像差异值和/或重量差异值,且该差异值还可以用于具体确定第一放置区域所减少的目标器械敷料。
可见,该可选的实施例还能够在手术中实现对器械敷料使用前放置区域的采集,还能够实现对器械敷料使用中操作区域的采集,提高了信息采集结果的全面性及准确性,且还能够基于对器械敷料使用中操作区域的采集得到的信息采集结果对器械敷料使用前放置区域的器械敷料变化情况进行验证、校准,有利于识别从第一放置区域取走的器械敷料的使用情况(识别其是否被用于实际的手术过程)。此外,还能够基于使用前放置区域的器械敷料变化情况实现第一信息采集装置与第二摄像头的联动控制,进而实现对相应器械敷料进行信息采集的准确性。
在该可选的实施例中,进一步可选的,当上述当前手术进程为手术中进程时,上述识别区域还包括第三子识别区域,第三子识别区域用于放置使用后的目标器械敷料。以及,上述的基于预先训练至收敛的器械敷料点数模型对所有信息采集结果集合进行分析识别,得到与当前手术进程对应的器械敷料识别结果,还包括:
基于第二摄像头采集到的图像采集结果追踪目标器材敷料在第二子识别区域的使用情况;
当使用情况表示目标器材敷料在第三子识别区域内使用完毕时,向第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示第二信息采集装置对第三子识别区域中出现的目标器械敷料执行信息采集操作;
获取第二信息采集装置在接收到第二提示信息之后的预设时间段内多次对第三子识别区域执行多次信息采集操作得到的多次第二信息采集结果。
其中,上述信息采集结果集合还包括多次第二信息采集结果。
可见,该可选的实施例还可以对手术使用后的器械敷料进行信息的采集,有利于提高信息采集结果的全面性与准确性,且在对手术使用后的器械敷料进行信息采集时,还能够实现第二摄像头与第二信息采集装置的联动控制,有利于提高第二信息采集装置执行信息采集操作的可靠性及准确性。
进一步可选的,上述第一信息采集装置包括第一重量信息采集装置和/或第一摄像头,和/或,上述第二信息采集装置包括第二重量信息采集装置和/或第三摄像头。
进一步可选的,当上述当前手术进程为手术前准备进程时,器械敷料校验参考信息至少包括与当前手术进程所对应的目标手术相关的目标器械敷料清单、与目标手术对应的手术操作手册以及目标手术对应患者的患者信息中的至少一种;当上述当前手术进程为手术中进程时,器械敷料校验参考信息至少包括与当前手术进程所对应的目标手术相关的目标器械敷料清单、与目标手术对应的手术操作手册以及目标手术对应患者的患者信息中的至少一种,以及,还包括目标手术的已进行子手术进程的进程信息(子手术进程的起止时间、所消耗的器械敷料等)、目标手术的进行中子手术进程的进程信息、目标手术的待进行子手术进程的进程信息、已进行子手术进程的突发情况信息、手术中进程的器械敷料补充信息中的至少一种;当上述当前手术进程为手术后进程时,器械敷料校验参考信息至少包括与当前手术进程所对应的目标手术相关的目标器械敷料清单、与目标手术对应的手术操作手册以及目标手术对应患者的患者信息中的至少一种,以及,还包括目标手术从开始到结束的相关手术信息。
其中,目标器械敷料清单为经过多层级审批确认之后的目标器械敷料清单,进一步的,目标器械敷料清单是经过多层级审批签字之后扫描并上传至点数***的,在点数***获取到目标器械敷料清单之后,还需对目标器械敷料清单与目标手术的匹配度、目标器械敷料清单的确认签字情况进行验证,验证通过之后,才将其作为器械敷料校验参考信息,有利于提高器械敷料校验参考信息的准确性及可靠性。
在另一个可选的实施例中,该方法还可以包括:
当上述当前手术进程为手术中进程以及当使用情况表示目标器材敷料在第三子识别区域内使用完毕时,根据目标器械敷料的类型判断目标器械敷料是否为需要附着在患者身体上直至目标手术进行完毕的器械敷料,当判断结果为否时,执行上述的向第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示第二信息采集装置对第三子识别区域中出现的目标器械敷料执行信息采集操作的步骤。
其中,若目标器械敷料为需要附着在患者身体上直至目标手术进行完毕的器械敷料,则无需通过第二信息采集装置对器械敷料进行信息采集。
可见,该可选的实施例还能够在基于第二信息采集装置对手术所使用的器械敷料进行信息采集之前,还能够对器械敷料类型进行判断,有利于减少第二信息采集装置不必要的信息采集操作,提高了第二信息采集装置执行信息采集操作的准确性及可靠性。
在又一个可选的实施例中,该方法还可以包括:
当上述当前手术进程为手术中进程时,在当前手术进程对应的目标手术执行完毕时,对于目标手术所使用的每个器材敷料,从得到的所有信息采集结果集合中识别出器材敷料所对应的目标信息采集结果集合,并从目标信息采集结果集合中分析出器材敷料的使用前器材敷料信息、器材敷料的使用中器材敷料信息以及器材敷料的使用后器材敷料信息,基于器材敷料的使用前器材敷料信息、器材敷料的使用中器材敷料信息、器材敷料的使用后器材敷料信息以及器材敷料对应的使用行为分析模型,分析器材敷料在使用前、使用中及使用后是否存在违规使用信息,得到违规使用信息使用结果,基于与目标手术对应的操作存证区块链存证器材敷料的使用前器材敷料信息、器材敷料的使用中器材敷料信息、器材敷料的使用后器材敷料信息、违规使用信息使用结果,操作存证区块链用于对目标手术中所使用的所有器材敷料的使用情况进行溯源。
可见,该可选的实施例还能够对器械敷料的使用信息进行分析、归集、存证,有利于实现对手术所使用的器械敷料的使用情况进行溯源,且通过操作存证区块链存储器械敷料的具体使用情况,能够防止器械敷料的具体使用情况被篡改的情况发生。
在又一个可选的实施例中,基于器械敷料识别结果以及验证结果,生成器械敷料点数结果之后,该方法还包括:
判断基于第二摄像头采集到的图像采集结果追踪到的目标器材敷料在第二子识别区域的使用情况是否满足目标器材敷料对应的预设使用规范;其中,目标器材敷料在第二子识别区域的使用情况包括使用时长、具体使用位置、使用朝向、使用者的使用手势;
当判断出使用情况不满足预设使用规范时,通过预先确定出的提醒装置发出针对目标器材敷料的异常使用预警信息。
可见,该可选的实施例还能够基于第二摄像头采集到的图像信息实现对器械敷料手术中使用情况的追踪与智能化判断,当判断出使用情况不满足预设使用规范时,及时输出预警信息,有利于提高器械敷料的使用规范性与使用安全性。
在又一个可选的实施例中,上述的基于器械敷料识别结果以及验证结果,生成器械敷料点数结果之后,该方法还包括:
获取当前手术进程对应目标手术所涉及的所有器材敷料的器械敷料点数结果,得到器械敷料点数结果集合;
基于目标手术开始前的原始器械敷料点数结果集合、目标手术过程中新增器械敷料点数结果集合、目标手术中突发情况所额外消耗的器械敷料点数结果集合,判断器械敷料点数结果集合是否表示存在器材敷料缺失的情况,当判断结果为是时,确定所缺失的器械敷料,并判断所缺失的器械敷料是否为人体依附型器械敷料,当判断结果为否时,输出器械敷料缺失预警。
可见,该可选的实施例还可以基于多维度信息实现对器械敷料缺失判断与预警,有利于相关人员及时发现所缺失的器械敷料,若相关人员无法发现所缺失的器械敷料时,可以通过上述操作存证区块链进行相关器械敷料使用情况的溯源,进而有利于明确相关器械敷料的缺少原因及所在位置。
实施例二
请参阅图2,图2是本发明实施例公开的一种基于人工智能图像识别的手术室器械敷料点数***的结构示意图。其中,该点数***可以是服务器,也可以是智能点数机器人,该服务器可以是本地服务器,也可以是云服务器,本发明实施例不做限定。如图2所示,该点数***可以包括:
第一确定模块201,用于确定当前手术进程,该当前手术进程包括手术前准备进程、手术中进程或手术后进程;
第二确定模块202,用于根据当前手术进程,确定待进行器械敷料点数的识别区域;
信息采集模块203,用于基于与识别区域对应的信息采集装置对识别区域进行信息采集操作,得到识别区域的信息采集结果集合;
点数控制模块204,用于基于预先训练至收敛的器械敷料点数模型对所有信息采集结果集合进行分析识别,得到与当前手术进程对应的器械敷料识别结果;
验证模块205,用于获取与当前手术进程对应的器械敷料校验参考信息,并基于器械敷料校验参考信息对器械敷料识别结果进行验证,得到针对器械敷料识别结果的验证结果;
点数结果生成模块206,用于基于器械敷料识别结果以及验证结果,生成器械敷料点数结果。
进一步的,验证结果表示器械敷料识别结果是否准确,且当其表示不准确时,还可基于器械敷料校验参考信息对器械敷料识别结果进行溯源及校准。
可见,实施本发明实施例所描述的点数***能够实现手术用的器械敷料的智能化点数,有利于提高器械敷料的点数效率及点数准确率,此外,在基于器械敷料点数模型获取到器械敷料识别结果之后还能够进一步结合器械敷料校验参考信息对器械敷料识别结果进行验证,有利于提高最终生成的器械敷料点数结果的准确性及可靠性。
在一个可选的实施例中,当上述当前手术进程为手术中进程时,识别区域至少包括第一子识别区域以及第二子识别区域,且第一子识别区域为器械敷料使用前的第一放置区域,第二子识别区域为器械敷料使用中的手术操作区域。
其中,信息采集模块203基于预先训练至收敛的器械敷料点数模型对所有信息采集结果集合进行分析识别,得到与当前手术进程对应的器械敷料识别结果的具体方式包括:
基于预设的采集时间间隔,基于第一放置区域的第一信息采集装置对第一放置区域执行多次信息采集操作,得到多个第一信息采集结果;
基于多个第一信息采集结果集合,判断第一放置区域的器械敷料放置情况是否发生变化,当判断出第一放置区域的器械敷料放置情况变化且器械敷料放置情况表示第一放置区域放置的器械敷料减少时,基于第一放置区域的器械敷料放置情况变化确定第一放置区域所减少的目标器械敷料,以及将目标器械敷料对应的使用区域作为第二子区域;
在第一放置区域放置的器械敷料减少的时刻,向第二子区域对应的第二摄像头发送第一提示信息,以提示第二摄像头对第二子区域中出现的目标器械敷料执行图像采集操作;
获取在向第二摄像头发送第一提示信息之后的预设时间段内第二摄像头针对第二子区域采集到的图像采集结果;
根据所有第一信息采集结果中第一放置区域放置的器械敷料减少前的多个第一信息采集结果、第一放置区域放置的器械敷料减少后的多个第一信息采集结果以及第二摄像头针对第二子区域采集到的图像采集结果,生成信息采集结果集合,
其中,信息采集结果集合包括所有第一信息采集结果中第一放置区域放置的器械敷料减少前的多个第一信息采集结果、第一放置区域放置的器械敷料减少后的多个第一信息采集结果以及第二摄像头针对第二子区域采集到的图像采集结果。可选的,第二摄像头针对第二子区域采集到的图像采集结果还可以实现对第一放置区域减少的器械敷料进行校验,有利于识别从第一放置区域取走的器械敷料的使用情况,识别其是否被用于实际的手术过程,
可选的,第一放置区域的器械敷料放置情况变化是根据在两个相邻采集时刻分别采集到的第一信息采集结果之间的差异值确定出的,差异值包括图像差异值和/或重量差异值,且该差异值还可以用于具体确定第一放置区域所减少的目标器械敷料。
可见,该可选的实施例还能够在手术中实现对器械敷料使用前放置区域的采集,还能够实现对器械敷料使用中操作区域的采集,提高了信息采集结果的全面性及准确性,且还能够基于对器械敷料使用中操作区域的采集得到的信息采集结果对器械敷料使用前放置区域的器械敷料变化情况进行验证、校准,有利于识别从第一放置区域取走的器械敷料的使用情况(识别其是否被用于实际的手术过程)。此外,还能够基于使用前放置区域的器械敷料变化情况实现第一信息采集装置与第二摄像头的联动控制,进而实现对相应器械敷料进行信息采集的准确性。
在该可选的实施例中,进一步可选的,当上述当前手术进程为手术中进程时,上述识别区域还包括第三子识别区域,第三子识别区域用于放置使用后的目标器械敷料。以及,信息采集模块203基于预先训练至收敛的器械敷料点数模型对所有信息采集结果集合进行分析识别,得到与当前手术进程对应的器械敷料识别结果的具体方式还包括:
基于第二摄像头采集到的图像采集结果追踪目标器材敷料在第二子识别区域的使用情况;
当使用情况表示目标器材敷料在第三子识别区域内使用完毕时,向第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示第二信息采集装置对第三子识别区域中出现的目标器械敷料执行信息采集操作;
获取第二信息采集装置在接收到第二提示信息之后的预设时间段内多次对第三子识别区域执行多次信息采集操作得到的多次第二信息采集结果。
其中,上述信息采集结果集合还包括多次第二信息采集结果。
可见,该可选的实施例还可以对手术使用后的器械敷料进行信息的采集,有利于提高信息采集结果的全面性与准确性,且在对手术使用后的器械敷料进行信息采集时,还能够实现第二摄像头与第二信息采集装置的联动控制,有利于提高第二信息采集装置执行信息采集操作的可靠性及准确性。
进一步可选的,上述第一信息采集装置包括第一重量信息采集装置和/或第一摄像头,和/或,上述第二信息采集装置包括第二重量信息采集装置和/或第三摄像头。
进一步可选的,当上述当前手术进程为手术前准备进程时,器械敷料校验参考信息至少包括与当前手术进程所对应的目标手术相关的目标器械敷料清单、与目标手术对应的手术操作手册以及目标手术对应患者的患者信息中的至少一种;当上述当前手术进程为手术中进程时,器械敷料校验参考信息至少包括与当前手术进程所对应的目标手术相关的目标器械敷料清单、与目标手术对应的手术操作手册以及目标手术对应患者的患者信息中的至少一种,以及,还包括目标手术的已进行子手术进程的进程信息(子手术进程的起止时间、所消耗的器械敷料等)、目标手术的进行中子手术进程的进程信息、目标手术的待进行子手术进程的进程信息、已进行子手术进程的突发情况信息、手术中进程的器械敷料补充信息中的至少一种;当上述当前手术进程为手术后进程时,器械敷料校验参考信息至少包括与当前手术进程所对应的目标手术相关的目标器械敷料清单、与目标手术对应的手术操作手册以及目标手术对应患者的患者信息中的至少一种,以及,还包括目标手术从开始到结束的相关手术信息。
其中,目标器械敷料清单为经过多层级审批确认之后的目标器械敷料清单,进一步的,目标器械敷料清单是经过多层级审批签字之后扫描并上传至点数***的,在点数***获取到目标器械敷料清单之后,还需对目标器械敷料清单与目标手术的匹配度、目标器械敷料清单的确认签字情况进行验证,验证通过之后,才将其作为器械敷料校验参考信息,有利于提高器械敷料校验参考信息的准确性及可靠性。
在另一个可选的实施例中,信息采集模块203,还用于当上述当前手术进程为手术中进程以及当使用情况表示目标器材敷料在第三子识别区域内使用完毕时,根据目标器械敷料的类型判断目标器械敷料是否为需要附着在患者身体上直至目标手术进行完毕的器械敷料,当判断结果为否时,执行上述的向第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示第二信息采集装置对第三子识别区域中出现的目标器械敷料执行信息采集操作。
其中,若目标器械敷料为需要附着在患者身体上直至目标手术进行完毕的器械敷料,则无需通过第二信息采集装置对器械敷料进行信息采集。
可见,该可选的实施例还能够在基于第二信息采集装置对手术所使用的器械敷料进行信息采集之前,还能够对器械敷料类型进行判断,有利于减少第二信息采集装置不必要的信息采集操作,提高了第二信息采集装置执行信息采集操作的准确性及可靠性。
在又一个可选的实施例中,如图3所示,该点数***还包括:
手术存证模块207,用于当上述当前手术进程为手术中进程时,在当前手术进程对应的目标手术执行完毕时,对于目标手术所使用的每个器材敷料,从得到的所有信息采集结果集合中识别出器材敷料所对应的目标信息采集结果集合,并从目标信息采集结果集合中分析出器材敷料的使用前器材敷料信息、器材敷料的使用中器材敷料信息以及器材敷料的使用后器材敷料信息,基于器材敷料的使用前器材敷料信息、器材敷料的使用中器材敷料信息、器材敷料的使用后器材敷料信息以及器材敷料对应的使用行为分析模型,分析器材敷料在使用前、使用中及使用后是否存在违规使用信息,得到违规使用信息使用结果,基于与目标手术对应的操作存证区块链存证器材敷料的使用前器材敷料信息、器材敷料的使用中器材敷料信息、器材敷料的使用后器材敷料信息、违规使用信息使用结果,操作存证区块链用于对目标手术中所使用的所有器材敷料的使用情况进行溯源。
可见,该可选的实施例还能够对器械敷料的使用信息进行分析、归集、存证,有利于实现对手术所使用的器械敷料的使用情况进行溯源,且通过操作存证区块链存储器械敷料的具体使用情况,能够防止器械敷料的具体使用情况被篡改的情况发生。
在又一个可选的实施例中,如图3所示,该点数***还包括:
异常预警模块208,用于在点数结果生成模块206基于器械敷料识别结果以及验证结果,生成器械敷料点数结果之后,判断基于第二摄像头采集到的图像采集结果追踪到的目标器材敷料在第二子识别区域的使用情况是否满足目标器材敷料对应的预设使用规范;其中,目标器材敷料在第二子识别区域的使用情况包括使用时长、具体使用位置、使用朝向、使用者的使用手势;当判断出使用情况不满足预设使用规范时,通过预先确定出的提醒装置发出针对目标器材敷料的异常使用预警信息。
可见,该可选的实施例还能够基于第二摄像头采集到的图像信息实现对器械敷料手术中使用情况的追踪与智能化判断,当判断出使用情况不满足预设使用规范时,及时输出预警信息,有利于提高器械敷料的使用规范性与使用安全性。
在又一个可选的实施例中,异常预警模块208,还用于在点数结果生成模块206基于器械敷料识别结果以及验证结果,生成器械敷料点数结果之后,获取当前手术进程对应目标手术所涉及的所有器材敷料的器械敷料点数结果,得到器械敷料点数结果集合;
基于目标手术开始前的原始器械敷料点数结果集合、目标手术过程中新增器械敷料点数结果集合、目标手术中突发情况所额外消耗的器械敷料点数结果集合,判断器械敷料点数结果集合是否表示存在器材敷料缺失的情况,当判断结果为是时,确定所缺失的器械敷料,并判断所缺失的器械敷料是否为人体依附型器械敷料,当判断结果为否时,输出器械敷料缺失预警。
可见,该可选的实施例还可以基于多维度信息实现对器械敷料缺失判断与预警,有利于相关人员及时发现所缺失的器械敷料,若相关人员无法发现所缺失的器械敷料时,可以通过上述操作存证区块链进行相关器械敷料使用情况的溯源,进而有利于明确相关器械敷料的缺少原因及所在位置
实施例三
请参阅图4,图4是本发明实施例公开的又一种基于人工智能图像识别的手术室器械敷料点数***的结构示意图。其中,该点数***可以是服务器,也可以是智能点数机器人,该服务器可以是本地服务器,也可以是云服务器,本发明实施例不做限定。如图4所示,该点数***可以包括:
存储有可执行程序代码的存储器301;
与存储器301耦合的处理器302;
处理器302调用存储器中存储的可执行程序代码,执行实施例一中任一所描述的基于人工智能图像识别的手术室器械敷料点数方法的部分或全部步骤。
实施例四
本发明实施例公开了一种计算机存储介质,计算机存储介质存储有计算机指令,计算机指令被调用时,用于执行实施例一中任一所描述的基于人工智能图像识别的手术室器械敷料点数方法的部分或全部步骤。
实施例五
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一中任一所描述的基于人工智能图像识别的手术室器械敷料点数方法的部分或全部步骤。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种基于人工智能图像识别的手术室器械敷料点数方法及***所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种基于人工智能图像识别的手术室器械敷料点数方法,其特征在于,所述方法应用于手术室器械敷料的点数***中,所述方法包括:
确定当前手术进程,所述当前手术进程包括手术前准备进程、手术中进程或手术后进程;
根据所述当前手术进程,确定待进行器械敷料点数的识别区域,并基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合;
基于预先训练至收敛的器械敷料点数模型对所有所述信息采集结果集合进行分析识别,得到与所述当前手术进程对应的器械敷料识别结果;
获取与所述当前手术进程对应的器械敷料校验参考信息,并基于所述器械敷料校验参考信息对所述器械敷料识别结果进行验证,得到针对所述器械敷料识别结果的验证结果;
基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果。
2.根据权利要求1所述的基于人工智能图像识别的手术室器械敷料点数方法,当所述当前手术进程为所述手术中进程时,所述识别区域至少包括第一子识别区域以及第二子识别区域;
所述第一子识别区域为器械敷料使用前的第一放置区域,所述第二子识别区域为器械敷料使用中的手术操作区域;
其中,所述基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合,包括:
基于预设的采集时间间隔,基于所述第一放置区域的第一信息采集装置对所述第一放置区域执行多次信息采集操作,得到多个第一信息采集结果;
基于多个所述第一信息采集结果集合,判断所述第一放置区域的器械敷料放置情况是否发生变化,当判断出所述第一放置区域的器械敷料放置情况变化且所述器械敷料放置情况表示所述第一放置区域放置的器械敷料减少时,基于所述第一放置区域的器械敷料放置情况变化确定所述第一放置区域所减少的目标器械敷料,以及将所述目标器械敷料对应的使用区域作为第二子区域;
在所述第一放置区域放置的器械敷料减少的时刻,向所述第二子区域对应的第二摄像头发送第一提示信息,以提示所述第二摄像头对所述第二子区域中出现的所述目标器械敷料执行图像采集操作;
获取在向所述第二摄像头发送所述第一提示信息之后的预设时间段内所述第二摄像头针对所述第二子区域采集到的图像采集结果;
根据所有所述第一信息采集结果中所述第一放置区域放置的器械敷料减少前的多个所述第一信息采集结果、所述第一放置区域放置的器械敷料减少后的多个所述第一信息采集结果以及所述第二摄像头针对所述第二子区域采集到的图像采集结果,生成信息采集结果集合,所述信息采集结果集合包括所有所述第一信息采集结果中所述第一放置区域放置的器械敷料减少前的多个所述第一信息采集结果、所述第一放置区域放置的器械敷料减少后的多个所述第一信息采集结果以及所述第二摄像头针对所述第二子区域采集到的图像采集结果;
其中,所述第一放置区域的器械敷料放置情况变化是根据在两个相邻采集时刻分别采集到的所述第一信息采集结果之间的差异值确定出的,所述差异值包括图像差异值和/或重量差异值。
3.根据权利要求2所述的基于人工智能图像识别的手术室器械敷料点数方法,当所述当前手术进程为所述手术中进程时,所述识别区域还包括第三子识别区域,所述第三子识别区域用于放置使用后的所述目标器械敷料;
以及,所述基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合,还包括:
基于所述第二摄像头采集到的图像采集结果追踪所述目标器材敷料在所述第二子识别区域的使用情况;
当所述使用情况表示所述目标器材敷料在所述第三子识别区域内使用完毕时,向所述第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示所述第二信息采集装置对所述第三子识别区域中出现的所述目标器械敷料执行信息采集操作;
获取所述第二信息采集装置在接收到所述第二提示信息之后的预设时间段内多次对所述第三子识别区域执行多次信息采集操作得到的多次第二信息采集结果;
其中,所述信息采集结果集合还包括多次所述第二信息采集结果。
4.根据权利要求3所述的基于人工智能图像识别的手术室器械敷料点数方法,其特征在于,所述第一信息采集装置包括第一重量信息采集装置和/或第一摄像头,和/或,所述第二信息采集装置包括第二重量信息采集装置和/或第三摄像头;
以及,当所述当前手术进程为所述手术前准备进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种;
当所述当前手术进程为所述手术中进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种,以及,还包括所述目标手术的已进行子手术进程的进程信息、所述目标手术的进行中子手术进程的进程信息、所述目标手术的待进行子手术进程的进程信息、已进行子手术进程的突发情况信息、所述手术中进程的器械敷料补充信息中的至少一种;
当所述当前手术进程为所述手术后进程时,所述器械敷料校验参考信息至少包括与所述当前手术进程所对应的目标手术相关的目标器械敷料清单、与所述目标手术对应的手术操作手册以及所述目标手术对应患者的患者信息中的至少一种,以及,还包括所述目标手术从开始到结束的相关手术信息;
其中,所述目标器械敷料清单为经过多层级审批确认之后的目标器械敷料清单。
5.根据权利要求3或4所述的基于人工智能图像识别的手术室器械敷料点数方法,其特征在于,所述方法还包括:
当所述当前手术进程为所述手术中进程以及当所述使用情况表示所述目标器材敷料在所述第三子识别区域内使用完毕时,根据所述目标器械敷料的类型判断所述目标器械敷料是否为需要附着在患者身体上直至所述目标手术进行完毕的器械敷料,当判断结果为否时,执行所述的向所述第三子识别区域对应的第二信息采集装置发送第二提示信息,以提示所述第二信息采集装置对所述第三子识别区域中出现的所述目标器械敷料执行信息采集操作的步骤。
6.根据权利要求1-4任一项所述的基于人工智能图像识别的手术室器械敷料点数方法,其特征在于,所述方法还包括:
当所述当前手术进程为所述手术中进程时,在所述当前手术进程对应的目标手术执行完毕时,对于所述目标手术所使用的每个器材敷料,从得到的所有所述信息采集结果集合中识别出所述器材敷料所对应的目标信息采集结果集合,并从所述目标信息采集结果集合中分析出所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息以及所述器材敷料的使用后器材敷料信息,基于所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息、所述器材敷料的使用后器材敷料信息以及所述器材敷料对应的使用行为分析模型,分析所述器材敷料在使用前、使用中及所述使用后是否存在违规使用信息,得到违规使用信息使用结果,基于与所述目标手术对应的操作存证区块链存证所述器材敷料的使用前器材敷料信息、所述器材敷料的使用中器材敷料信息、所述器材敷料的使用后器材敷料信息、所述违规使用信息使用结果,所述操作存证区块链用于对所述目标手术中所使用的所有器材敷料的使用情况进行溯源。
7.根据权利要求3所述的基于人工智能图像识别的手术室器械敷料点数方法,其特征在于,所述基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果之后,所述方法还包括:
判断基于所述第二摄像头采集到的图像采集结果追踪到的所述目标器材敷料在所述第二子识别区域的使用情况是否满足所述目标器材敷料对应的预设使用规范;其中,所述目标器材敷料在所述第二子识别区域的使用情况包括使用时长、具体使用位置、使用朝向、使用者的使用手势;
当判断出所述使用情况不满足所述预设使用规范时,通过预先确定出的提醒装置发出针对所述目标器材敷料的异常使用预警信息;
以及,所述基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果之后,所述方法还包括:
获取所述当前手术进程对应目标手术所涉及的所有器材敷料的器械敷料点数结果,得到器械敷料点数结果集合;
基于所述目标手术开始前的原始器械敷料点数结果集合、所述目标手术过程中新增器械敷料点数结果集合、所述目标手术中突发情况所额外消耗的器械敷料点数结果集合,判断所述器械敷料点数结果集合是否表示存在器材敷料缺失的情况,当判断结果为是时,确定所缺失的器械敷料,并判断所缺失的器械敷料是否为人体依附型器械敷料,当判断结果为否时,输出器械敷料缺失预警。
8.一种基于人工智能图像识别的手术室器械敷料点数***,其特征在于,所述***包括:
第一确定模块,用于确定当前手术进程,所述当前手术进程包括手术前准备进程、手术中进程或手术后进程;
第二确定模块,用于根据所述当前手术进程,确定待进行器械敷料点数的识别区域;
信息采集模块,用于基于与所述识别区域对应的信息采集装置对所述识别区域进行信息采集操作,得到所述识别区域的信息采集结果集合;
点数控制模块,用于基于预先训练至收敛的器械敷料点数模型对所有所述信息采集结果集合进行分析识别,得到与所述当前手术进程对应的器械敷料识别结果;
验证模块,用于获取与所述当前手术进程对应的器械敷料校验参考信息,并基于所述器械敷料校验参考信息对所述器械敷料识别结果进行验证,得到针对所述器械敷料识别结果的验证结果;
点数结果生成模块,用于基于所述器械敷料识别结果以及所述验证结果,生成器械敷料点数结果。
9.一种基于人工智能图像识别的手术室器械敷料点数***,其特征在于,所述***包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-7任一项所述的基于人工智能图像识别的手术室器械敷料点数方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-7任一项所述的基于人工智能图像识别的手术室器械敷料点数方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310411451.3A CN116473692B (zh) | 2023-04-17 | 2023-04-17 | 基于人工智能图像识别的手术室器械敷料点数方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310411451.3A CN116473692B (zh) | 2023-04-17 | 2023-04-17 | 基于人工智能图像识别的手术室器械敷料点数方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116473692A true CN116473692A (zh) | 2023-07-25 |
CN116473692B CN116473692B (zh) | 2024-06-14 |
Family
ID=87211356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310411451.3A Active CN116473692B (zh) | 2023-04-17 | 2023-04-17 | 基于人工智能图像识别的手术室器械敷料点数方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116473692B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120143049A1 (en) * | 2009-08-20 | 2012-06-07 | Timo Neubauer | Integrated surgical device combining instrument, tracking system and navigation system |
CN110301981A (zh) * | 2019-06-28 | 2019-10-08 | 华中科技大学同济医学院附属协和医院 | 一种智能清点手术器械的扫描仪及控制方法 |
CN111860711A (zh) * | 2020-06-28 | 2020-10-30 | 维怡医疗科技有限公司 | 一种手术器械管理方法、***及装置 |
CN111899859A (zh) * | 2020-08-03 | 2020-11-06 | 苏州思必驰信息科技有限公司 | 手术器械清点方法及装置 |
CN111985485A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于金字塔形注意力循环网络的手术介入器械追踪方法 |
US20210000564A1 (en) * | 2018-08-06 | 2021-01-07 | The Board Of Trustees Of The Leland Stanford Junior University | Method for monitoring object flow within a surgical space during a surgery |
CN112598087A (zh) * | 2021-03-04 | 2021-04-02 | 白杨智慧医疗信息科技(北京)有限公司 | 器械清点方法、装置及电子设备 |
US20210236227A1 (en) * | 2020-01-31 | 2021-08-05 | Gauss Surgical, Inc. | Instrument tracking machine |
CN113643797A (zh) * | 2021-07-14 | 2021-11-12 | 战宇 | 一种智能手术室器材、敷料管理*** |
CN113673350A (zh) * | 2021-07-21 | 2021-11-19 | 苏州爱医斯坦智能科技有限公司 | 一种手术器械的识别方法、装置、设备及存储介质 |
CN114549640A (zh) * | 2022-01-26 | 2022-05-27 | 中山大学 | 一种医疗器械自主识别定位方法、***及介质 |
CN115601675A (zh) * | 2022-10-08 | 2023-01-13 | 上海可明科技有限公司(Cn) | 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法 |
CN115909035A (zh) * | 2022-11-29 | 2023-04-04 | 武汉联影智融医疗科技有限公司 | 手术器械的清点方法、***、设备及介质 |
-
2023
- 2023-04-17 CN CN202310411451.3A patent/CN116473692B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120143049A1 (en) * | 2009-08-20 | 2012-06-07 | Timo Neubauer | Integrated surgical device combining instrument, tracking system and navigation system |
US20210000564A1 (en) * | 2018-08-06 | 2021-01-07 | The Board Of Trustees Of The Leland Stanford Junior University | Method for monitoring object flow within a surgical space during a surgery |
CN110301981A (zh) * | 2019-06-28 | 2019-10-08 | 华中科技大学同济医学院附属协和医院 | 一种智能清点手术器械的扫描仪及控制方法 |
US20210236227A1 (en) * | 2020-01-31 | 2021-08-05 | Gauss Surgical, Inc. | Instrument tracking machine |
CN111860711A (zh) * | 2020-06-28 | 2020-10-30 | 维怡医疗科技有限公司 | 一种手术器械管理方法、***及装置 |
CN111899859A (zh) * | 2020-08-03 | 2020-11-06 | 苏州思必驰信息科技有限公司 | 手术器械清点方法及装置 |
CN111985485A (zh) * | 2020-08-24 | 2020-11-24 | 中国科学院自动化研究所 | 基于金字塔形注意力循环网络的手术介入器械追踪方法 |
CN112598087A (zh) * | 2021-03-04 | 2021-04-02 | 白杨智慧医疗信息科技(北京)有限公司 | 器械清点方法、装置及电子设备 |
CN113643797A (zh) * | 2021-07-14 | 2021-11-12 | 战宇 | 一种智能手术室器材、敷料管理*** |
CN113673350A (zh) * | 2021-07-21 | 2021-11-19 | 苏州爱医斯坦智能科技有限公司 | 一种手术器械的识别方法、装置、设备及存储介质 |
CN114549640A (zh) * | 2022-01-26 | 2022-05-27 | 中山大学 | 一种医疗器械自主识别定位方法、***及介质 |
CN115601675A (zh) * | 2022-10-08 | 2023-01-13 | 上海可明科技有限公司(Cn) | 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法 |
CN115909035A (zh) * | 2022-11-29 | 2023-04-04 | 武汉联影智融医疗科技有限公司 | 手术器械的清点方法、***、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116473692B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12059217B2 (en) | Systems and methods for providing guidance for a robotic medical procedure | |
KR101864380B1 (ko) | 수술영상데이터 학습시스템 | |
US9792682B2 (en) | Training system for detection and classification of artificial objects in X-ray images | |
CN113616350B (zh) | 标记点选取位置的验证方法、装置、终端设备和存储介质 | |
WO2021114638A1 (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN113673350B (zh) | 一种手术器械的识别方法、装置、设备及存储介质 | |
CN111860711A (zh) | 一种手术器械管理方法、***及装置 | |
CN110393508B (zh) | 皮瓣图像获取方法、装置、存储介质及电子设备 | |
CN116473692B (zh) | 基于人工智能图像识别的手术室器械敷料点数方法及*** | |
CN116328214A (zh) | 放疗计划的执行状况的检测装置、电子设备及存储介质 | |
CN117376391B (zh) | 应用于水质监测仪的传感器自动识别方法及装置 | |
CN117524441A (zh) | 一种手术质量的检测方法、装置 | |
CN112053346A (zh) | 一种操作引导信息的确定方法和*** | |
CN114305690B (zh) | 一种手术导航定位方法及装置 | |
CN115458132A (zh) | 一种数据处理方法和装置 | |
CN213372362U (zh) | 穿刺装置和拟合穿刺设备 | |
CN114694355B (zh) | 远程预警方法及*** | |
CN114202530A (zh) | 分析损伤程度的方法、装置、设备及存储介质 | |
CN105286784B (zh) | 一种颜颚手术影像校正设计***及方法 | |
CN111446005A (zh) | 疫情感染的检测方法及其检测***和服务器 | |
CN110706778B (zh) | 一种辅助医疗穿刺的智能点位管理*** | |
CN109903850A (zh) | 使用信息技术对围术期手术安全管理的方法 | |
CN116229791A (zh) | 手术过程的智能化模拟方法及*** | |
CN117017486B (zh) | 一种基于医学影像的肺结节穿刺路径规划方法 | |
CN110974326B (zh) | 一种减小瘢痕形成的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |