CN112614568A - 检查图像的处理方法、装置、存储介质和电子设备 - Google Patents
检查图像的处理方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN112614568A CN112614568A CN202011582755.9A CN202011582755A CN112614568A CN 112614568 A CN112614568 A CN 112614568A CN 202011582755 A CN202011582755 A CN 202011582755A CN 112614568 A CN112614568 A CN 112614568A
- Authority
- CN
- China
- Prior art keywords
- sample
- inspection
- image
- information
- inspection image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 349
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 28
- 238000003058 natural language processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 210000000038 chest Anatomy 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000002600 positron emission tomography Methods 0.000 description 8
- 210000001015 abdomen Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 210000003141 lower extremity Anatomy 0.000 description 5
- 210000003739 neck Anatomy 0.000 description 5
- 210000001364 upper extremity Anatomy 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002583 angiography Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种检查图像的处理方法、装置、存储介质和电子设备,涉及图像处理技术领域,该方法包括:获取检查图像和指示信息,指示信息用于表征期望拍摄检查图像的方式,根据预先训练的识别模型,识别检查图像对应的检查信息,检查信息用于表征实际拍摄检查图像的方式,若检查信息与指示信息匹配,将检查图像上传至管理***,若检查信息与指示信息不匹配,输出提示信息。本公开通过识别模型识别出实际拍摄检查图像的方式,并和期望拍摄检查图像的方式进行比较,从而根据比较结果对检查图像做不同的处理,能够快速、准确地识别出拍摄错误或者质量过低的检查图像。
Description
技术领域
本公开涉及图像处理技术领域,具体地,涉及一种检查图像的处理方法、装置、存储介质和电子设备。
背景技术
随着电子信息技术的不断发展,利用CT(英文:Computed Tomography,中文:计算机断层扫描)、PET(英文:Positron Emission Tomography,中文:正电子发射计算机断层显像)、MRI(英文:Magnetic Resonance Imaging,中文:核磁共振成像)等检查设备生成的检查图像,辅助医生进行判断,已得到了广泛的应用。由于开出检查单的医生和使用检查设备的技师往往不是同一个人,可能存在对检查单理解错误或者理解不到位的问题,导致检查图像拍摄错误,或者拍摄质量过低,而技师通常很难发现,浪费了用户的时间。
发明内容
为了解决相关技术中存在的问题,本公开的目的是提供一种检查图像的处理方法、装置、存储介质和电子设备。
为了实现上述目的,根据本公开实施例的第一方面,提供一种检查图像的处理方法,所述方法包括:
获取检查图像和指示信息,所述指示信息用于表征期望拍摄所述检查图像的方式;
根据预先训练的识别模型,识别所述检查图像对应的检查信息,所述检查信息用于表征实际拍摄所述检查图像的方式;
若所述检查信息与所述指示信息匹配,将所述检查图像上传至管理***;
若所述检查信息与所述指示信息不匹配,输出提示信息。
可选地,所述获取检查图像和指示信息包括:
获取所述检查图像和指示文件;
若所述指示文件为文本,按照自然语言处理算法识别所述指示文件中包括的所述指示信息;
若所述指示文件为图像,按照预设的图像识别算法识别所述指示文件中包括的所述指示信息。
可选地,所述根据预先训练的识别模型,识别所述检查图像对应的检查信息,包括:
将所述检查图像转换为指定格式的第一图像,并将所述第一图像调整为指定大小的第二图像;
将所述第二图像输入所述识别模型,以得到所述识别模型输出的所述检查信息。
可选地,所述指示信息包括:目标设备类型、目标***位和目标检查项目,所述检查信息包括:拍摄所述检查图像的实际设备类型、所述检查图像中包括的实际***位,和所述检查图像中包括的实际检查项目;
所述根据预先训练的识别模型,识别所述检查图像对应的检查信息,包括:
将所述检查图像输入所述识别模型包括的设备识别子模型,以得到所述设备识别子模型输出的所述实际设备类型;
在所述识别模型包括的第一数量个部位识别子模型中,确定与所述实际设备类型对应的目标部位识别子模型,并将所述检查图像输入所述目标部位识别子模型,以得到所述目标部位识别子模型输出的所述实际***位;
在所述识别模型包括的第二数量个项目识别子模型中,确定与所述实际设备类型、所述实际***位对应的目标项目识别子模型,并将所述检查图像输入所述目标项目识别子模型,以得到所述目标项目识别子模型输出的所述实际检查项目。
可选地,所述识别模型是通过如下方式训练得到的:
获取样本输入集和样本输出集,所述样本输入集中的每个样本输入包括一个样本检查图像,所述样本输出集中包括与每个所述样本输入对应的样本输出,每个所述样本输出包括对应的所述样本检查图像的样本检查信息,所述样本检查信息用于表征实际拍摄对应的所述样本检查图像的方式;
将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型。
可选地,所述样本检查信息包括:拍摄对应的所述样本检查图像的样本设备类型、对应的所述样本检查图像中包括的样本***位,和对应的所述样本检查图像中包括的样本检查项目;所述识别模型包括:设备识别子模型、第一数量个部位识别子模型和第二数量个项目识别子模型;每个所述部位识别子模型对应一种样本设备类型,每个所述项目识别子模型对应一种样本设备类型和一种样本***位;
所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型,包括:
将所述样本输入集作为所述设备识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本设备类型作为所述设备识别子模型的输出,以训练所述设备识别子模型;
将所述样本输入集作为第一数量个所述部位识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本***位作为第一数量个所述部位识别子模型的输出,以训练第一数量个所述部位识别子模型;
将所述样本输入集作为第二数量个所述项目识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本检查项目作为第二数量个所述项目识别子模型的输出,以训练第二数量个所述项目识别子模型。
可选地,在所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型之前,所述识别模型还通过如下方式训练:
按照预设规则调整所述样本输入集中的每个所述样本检查图像中的像素,生成该样本检查图像对应的多个扩充图像,以对所述样本输入集进行扩充;
将每个所述样本检查图像的所述样本检查信息,作为该样本检查图像对应的多个所述扩充图像的所述样本检查信息,以对所述样本输出集进行扩充;
所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型,包括:
将扩充后的所述样本输入集作为所述识别模型的输入,将扩充后的所述样本输出集作为所述识别模型的输出,以训练所述识别模型。
根据本公开实施例的第二方面,提供一种检查图像的处理装置,所述装置包括:
获取模块,用于获取检查图像和指示信息,所述指示信息用于表征期望拍摄所述检查图像的方式;
识别模块,用于根据预先训练的识别模型,识别所述检查图像对应的检查信息,所述检查信息用于表征实际拍摄所述检查图像的方式;
处理模块,用于若所述检查信息与所述指示信息匹配,将所述检查图像上传至管理***;若所述检查信息与所述指示信息不匹配,输出提示信息。
可选地,所述获取模块包括:
获取子模块,用于获取所述检查图像和指示文件;
处理子模块,用于若所述指示文件为文本,按照自然语言处理算法识别所述指示文件中包括的所述指示信息;若所述指示文件为图像,按照预设的图像识别算法识别所述指示文件中包括的所述指示信息。
可选地,所述识别模块包括:
预处理子模块,用于将所述检查图像转换为指定格式的第一图像,并将所述第一图像调整为指定大小的第二图像;
识别子模块,用于将所述第二图像输入所述识别模型,以得到所述识别模型输出的所述检查信息。
可选地,所述指示信息包括:目标设备类型、目标***位和目标检查项目,所述检查信息包括:拍摄所述检查图像的实际设备类型、所述检查图像中包括的实际***位,和所述检查图像中包括的实际检查项目;
所述识别模块包括:
第一识别子模块,用于将所述检查图像输入所述识别模型包括的设备识别子模型,以得到所述设备识别子模型输出的所述实际设备类型;
第二识别子模块,用于在所述识别模型包括的第一数量个部位识别子模型中,确定与所述实际设备类型对应的目标部位识别子模型,并将所述检查图像输入所述目标部位识别子模型,以得到所述目标部位识别子模型输出的所述实际***位;
第三识别子模块,用于在所述识别模型包括的第二数量个项目识别子模型中,确定与所述实际设备类型、所述实际***位对应的目标项目识别子模型,并将所述检查图像输入所述目标项目识别子模型,以得到所述目标项目识别子模型输出的所述实际检查项目。
可选地,所述识别模型是通过如下方式训练得到的:
获取样本输入集和样本输出集,所述样本输入集中的每个样本输入包括一个样本检查图像,所述样本输出集中包括与每个所述样本输入对应的样本输出,每个所述样本输出包括对应的所述样本检查图像的样本检查信息,所述样本检查信息用于表征实际拍摄对应的所述样本检查图像的方式;
将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型。
可选地,所述样本检查信息包括:拍摄对应的所述样本检查图像的样本设备类型、对应的所述样本检查图像中包括的样本***位,和对应的所述样本检查图像中包括的样本检查项目;所述识别模型包括:设备识别子模型、第一数量个部位识别子模型和第二数量个项目识别子模型;每个所述部位识别子模型对应一种样本设备类型,每个所述项目识别子模型对应一种样本设备类型和一种样本***位;
所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型,包括:
将所述样本输入集作为所述设备识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本设备类型作为所述设备识别子模型的输出,以训练所述设备识别子模型;
将所述样本输入集作为第一数量个所述部位识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本***位作为第一数量个所述部位识别子模型的输出,以训练第一数量个所述部位识别子模型;
将所述样本输入集作为第二数量个所述项目识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本检查项目作为第二数量个所述项目识别子模型的输出,以训练第二数量个所述项目识别子模型。
可选地,在所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型之前,所述识别模型还通过如下方式训练:
按照预设规则调整所述样本输入集中的每个所述样本检查图像中的像素,生成该样本检查图像对应的多个扩充图像,以对所述样本输入集进行扩充;
将每个所述样本检查图像的所述样本检查信息,作为该样本检查图像对应的多个所述扩充图像的所述样本检查信息,以对所述样本输出集进行扩充;
所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型,包括:
将扩充后的所述样本输入集作为所述识别模型的输入,将扩充后的所述样本输出集作为所述识别模型的输出,以训练所述识别模型。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开实施例的第一方面所述方法的步骤。
根据本公开实施例的第四方面,提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开实施例的第一方面所述方法的步骤。
通过上述技术方案,本公开中首先获取检查图像,和用于表征期望拍摄检查图像的方式的指示信息,之后根据预先训练的识别模型,识别检查图像对应的检查信息,其中,检查信息用于表征实际拍摄检查图像的方式,在检查信息与指示信息匹配的情况下,将检查图像上传至管理***,在检查信息与指示信息不匹配的情况下,输出提示信息。本公开通过识别模型识别出实际拍摄检查图像的方式,并和期望拍摄检查图像的方式进行比较,从而根据比较结果对检查图像做不同的处理,能够快速、准确地识别出拍摄错误或者质量过低的检查图像。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种检查图像的处理方法的流程图;
图2是根据一示例性实施例示出的另一种检查图像的处理方法的流程图;
图3是根据一示例性实施例示出的另一种检查图像的处理方法的流程图;
图4是根据一示例性实施例示出的另一种检查图像的处理方法的流程图;
图5是根据一示例性实施例示出的一种训练识别模型的流程图;
图6是根据一示例性实施例示出的另一种训练识别模型的流程图;
图7是根据一示例性实施例示出的一种检查图像的处理装置的框图;
图8是根据一示例性实施例示出的另一种检查图像的处理装置的框图;
图9是根据一示例性实施例示出的另一种检查图像的处理装置的框图;
图10是根据一示例性实施例示出的另一种检查图像的处理装置的框图;
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种检查图像的处理方法的流程图,如图1所示,该方法可以包括以下步骤:
步骤101,获取检查图像和指示信息,指示信息用于表征期望拍摄检查图像的方式。
举例来说,医生为待检查用户开具检查单,检查单中可以包括检查号、待检查用户的个人信息(例如:姓名、性别、年龄等)、检查时间、检查地点和指示信息。其中,指示信息用于表征期望拍摄检查图像的方式,可以包括:目标设备类型、目标***位和目标检查项目等。目标设备类型用于表征期望通过哪种设备拍摄检查图像,例如可以为:CT、PET、MRI、DR(英文:Digital Radiography,中文:数字化X射线摄影)、DSA(英文:Digital subtractionangiography,中文:数字减影血管造影)等。目标***位用于表征期望拍摄待检查用户的哪个部位,例如可以为:头部、颈部、胸部、腹部、上肢、下肢等。目标检查项目用于表征期望拍摄待检查用户的目标***位的哪个区域范围,以目标检查设备类型为DR,目标***位为胸部为例,相应的目标检查项目可以是后前正位、左前斜位、右前斜位、左侧位等。
技师在收到检查单后,可以根据指示信息为待检查用户拍摄检查图像。拍摄时,可能出现技师看错指示信息,或者对指示信息理解错误、不到位的问题,因此可以在得到检查图像后,按照指示信息对检查图像进行核查。首先,可以通过终端设备实时获取检查图像和指示信息,可以理解为,任一种检查设备在拍摄出检查图像后,会将检查图像发送至终端设备,同时,终端设备还可以从医院信息***(英文:Hospital Information System,缩写:HIS)获取相应的指示信息。其中,终端设备可以是智能手机、平板电脑、智能电视、智能手表、PDA(英文:Personal Digital Assistant,中文:个人数字助理)、便携计算机等带有显示界面的移动终端,也可以是台式计算机等固定终端。
步骤102,根据预先训练的识别模型,识别检查图像对应的检查信息,检查信息用于表征实际拍摄检查图像的方式。
示例的,可以预先训练一个识别模型,用于识别检查图像对应的检查信息。终端设备可以将检查图像作为训练好的识别模型的输入,从而得到识别模型输出的检查信息。检查信息表征的是实际拍摄检查图像的方式,可以包括:实际设备类型,实际***位和实际检查项目,其中实际设备类型用于表征实际拍摄检查图像的设备,实际***位用于表征检查图像中实际拍摄的部位,实际检查项目用于表征检查图像中实际拍摄的项目。识别模型可以是根据大量的样本数据训练的CNN(英文:Convolutional Neural Networks,中文:卷积神经网络),例如可以是:ResNet(英文:Deep residual Network,中文:深度残差网络)、DenseNet(英文:Dense Convolutional Network,中文:密集卷积网络)、VGGNet(英文:Visual Graphics Generator Network,中文:图像生成器网络)等,本公开对此不作具体限定。
步骤103,若检查信息与指示信息匹配,将检查图像上传至管理***。
步骤104,若检查信息与指示信息不匹配,输出提示信息。
示例的,在识别出检查图像对应的检查信息后,终端设备可以将检查信息和指示信息进行比较,并根据比较结果对检查图像做出不同的处理。具体的,在检查信息与指示信息匹配的情况下,表示检查图像拍摄无误,那么可以将检查图像上传至管理***,以便管理***对检查图像进行保存或者其他处理。其中,管理***例如可以是指定的数据库,也可以是PACS(英文:Picture archiving and communication systems,中文:医学影像存档与通讯***)。在检查信息与指示信息不匹配的情况下,表示检查图像可能拍摄错误,或者质量过低,那么可以输出提示信息,以提示技师检查图像与指示信息不符。进一步的,在检查信息与指示信息不匹配的情况下,可以对待检查用户进行重新拍摄,以得到满足指示信息的新的检查图像,从而避免浪费待检查用户的时间。
综上所述,本公开中首先获取检查图像,和用于表征期望拍摄检查图像的方式的指示信息,之后根据预先训练的识别模型,识别检查图像对应的检查信息,其中,检查信息用于表征实际拍摄检查图像的方式,在检查信息与指示信息匹配的情况下,将检查图像上传至管理***,在检查信息与指示信息不匹配的情况下,输出提示信息。本公开通过识别模型识别出实际拍摄检查图像的方式,并和期望拍摄检查图像的方式进行比较,从而根据比较结果对检查图像做不同的处理,能够快速、准确地识别出拍摄错误或者质量过低的检查图像。
图2是根据一示例性实施例示出的另一种检查图像的处理方法的流程图,如图2所示,步骤101的实现方式可以包括:
步骤1011,获取检查图像和指示文件。
步骤1012,若指示文件为文本,按照自然语言处理算法识别指示文件中包括的指示信息。
步骤1013,若指示文件为图像,按照预设的图像识别算法识别指示文件中包括的指示信息。
示例的,指示信息通常都存储在指示文件中,指示文件可以理解为医生为待检查用户开具的检查单。如果指示文件是结构化的文件,其中的信息是按照预设的结构存储的,那么可以直接从指示文件中提取指示信息。例如,可以预先为检查单中的每个项目设置不同的标识,姓名为D1,性别为D2,年龄为:D3,设备类型为:D4,***位为:D5,检查项目为:D6,指示文件中记载了:{D1:张三;D2:男;D3:45;D4:DR;D5:胸部;D6:右前斜位},那么可以直接从指示文件中确定目标设备类型为DR,目标***位为胸部,目标检查项目为右前斜位。
如果指示文件是文本,那么可以按照NLP(英文:Natural Language Processing,中文:自然语言处理)算法识别指示文件中包括的指示信息。例如,文本中记载了:姓名:张三;性别:男;年龄:45;设备类型:DR;***位:胸部;检查项目:右前斜位,那么可以按照NLP算法从文本中提取出目标设备类型为DR,目标***位为胸部,目标检查项目为右前斜位。如果指示文件是图像,例如可以是检查单的扫描图像,那么可以按照预设的图像识别算法识别指示文件中包括的指示信息。图像识别算法例如可以是OCR(英文:OpticalCharacter Recognition,中文:光学字符识别)算法等。
图3是根据一示例性实施例示出的另一种检查图像的处理方法的流程图,如图3所示,步骤102可以包括:
步骤1021,将检查图像转换为指定格式的第一图像,并将第一图像调整为指定大小的第二图像。
步骤1022,将第二图像输入识别模型,以得到识别模型输出的检查信息。
举例来说,为了使识别模型具有通用性,可以将识别模型的输入限制为指定大小、指定格式的图像,其中,指定大小例如可以是224*224,指定格式例如可以是JPEG(英文:Joint Photographic Experts Group)格式。在利用识别模型对检查图像进行识别的过程中,可以先对检查图像的格式进行转换,以得到指定格式的第一图像。通常情况下,检查图像是符合DICOM(英文:Digital Imaging and Communications in Medicine,中文:医学数字成像和通信)标准的格式,那么可以按照DICOM定义的窗宽窗位信息将检查图像转换为JPEG格式的第一图像,需要说明的是,在将DICOM格式的图像转换为JPEG格式的图像时,会包括三通道的图像。进一步的,可以再调整第一图像的大小,以得到224*224*3的第二图像(可以理解为每个通道都包括224*224个像素点)。之后,可以将第二图像作为识别模型的输入,以得到识别模型输出的检查信息。
以识别模型为CNN网络来举例,其中可以包括:输入层、卷积层、池化层、全连接层和输出层。首先将图像组输入输入层,通过卷积层,从图像组中提取卷积层特征,再通过池化层对卷积层特征进行降采样,之后通过全连接层,对经过降采样处理的卷积层特征进行抽象处理,以生成检查信息,最后通过输出层输出检查信息。
图4是根据一示例性实施例示出的另一种检查图像的处理方法的流程图,如图4所示,步骤102的实现方式可以包括:
步骤1023,将检查图像输入识别模型包括的设备识别子模型,以得到设备识别子模型输出的实际设备类型。
步骤1024,在识别模型包括的第一数量个部位识别子模型中,确定与实际设备类型对应的目标部位识别子模型,并将检查图像输入目标部位识别子模型,以得到目标部位识别子模型输出的实际***位。
步骤1025,在识别模型包括的第二数量个项目识别子模型中,确定与实际设备类型、实际***位对应的目标项目识别子模型,并将检查图像输入目标项目识别子模型,以得到目标项目识别子模型输出的实际检查项目。
举例来说,指示信息可以包括:目标设备类型、目标***位和目标检查项目,相应的,检查信息包括:拍摄检查图像的实际设备类型、检查图像中包括的实际***位,和检查图像中包括的实际检查项目。识别模型中可以包括多个识别子模型,例如可以包括:一个设备识别子模型、第一数量个部位识别子模型和第二数量个项目识别子模型。
其中,设备识别子模型用于识别检查图像对应的实际设备类型。每个部位识别子模型对应一种实际设备类型,用于识别使用该种实际设备类型的设备拍摄的检查图像,对应的实际***位。由于不同实际设备类型拍摄出的检查图像可能具有不同的特征,因此可以针对每种实际设备类型,预先训练不同的部位识别子模型,也就是说存在第一数量种实际设备类型。
同样的,每个项目识别子模型对应一种实际设备类型和一种实际***位,用于识别使用该种实际设备类型的设备拍摄的、拍摄了该种实际***位的检查图像,对应的实际检查项目。由于不同实际设备类型、不同实际***位在检查图像上反映出的特征也不相同,因此可以针对每种实际设备类型、每种实际***位,预先训练不同的项目识别子模型。
例如,以实际设备类型包括:CT、PET、MRI、DR、DSA共5种(即第一数量),实际***位包括头部、颈部、胸部、腹部、上肢、下肢共6种来举例。识别模型中可以包括:一个设备识别子模型、5个部位识别子模型和5*6=30(即第二数量)个项目识别子模型,其中,5个部位识别子模型分别用于识别5种实际设备类型拍摄出的检查图像,对应的实际***位,30个项目识别子模型分别用于识别5种实际设备类型拍摄6种实际***位的检查图像,对应的实际检查项目。首先可以将步骤101获取的检查图像输入识别模型包括的设备识别子模型,以得到设备识别子模型输出的实际设备类型。若实际设备类型为DR,那么在5个部位识别子模型中,确定与DR对应的目标部位识别子模型,目标部位识别子模型用于识别DR拍摄出的检查图像,对应的实际***位。之后,再将检查图像输入目标部位识别子模型,以得到目标部位识别子模型输出的实际***位。若实际***位为胸部,那么在30个项目识别子模型中,确定与DR+胸部对应的目标项目识别子模型,目标项目识别子模型用于识别DR拍摄胸部的检查图像,对应的实际检查项目。最后,将检查图像输入目标项目识别子模型,以得到目标项目识别子模型输出的实际检查项目(即后前正位、左前斜位、右前斜位或者左侧位中的一种),从而得到检查信息。
图5是根据一示例性实施例示出的一种训练识别模型的流程图,如图5所示,识别模型是通过如下方式训练得到的:
步骤A,获取样本输入集和样本输出集,样本输入集中的每个样本输入包括一个样本检查图像,样本输出集中包括与每个样本输入对应的样本输出,每个样本输出包括对应的样本检查图像的样本检查信息,样本检查信息用于表征实际拍摄对应的样本检查图像的方式。
步骤B,将样本输入集作为识别模型的输入,将样本输出集作为识别模型的输出,以训练识别模型。
举例来说,识别模型的训练过程,可以先获取样本输入集和样本输出集。其中,样本输入集中包括多个样本输入,每个样本输入可以是一个样本检查图像。样本输出集中包括与样本输入集中每个样本输入一一对应的样本输出,每个样本输出为对应的样本检查图像的样本检查信息,样本检查信息能够表征实际拍摄对应的样本检查图像的方式。
对识别模型训练时,可以将样本输入集作为识别模型的输入,将样本输出集作为识别模型的输出来训练,使得识别模型在输入样本输入集时,输出的信息,能够和样本输出集匹配。例如,可以根据识别模型的输出,与样本输出集的差(或者均方差)作为识别模型的损失函数,以降低损失函数为目标,利用反向传播算法来修正识别模型中的神经元的参数,神经元的参数例如可以是神经元的权重(英文:Weight)和偏置量(英文:Bias)。重复上述步骤,直至损失函数满足预设条件,例如损失函数小于预设的损失阈值。
针对识别模型中包括一个设备识别子模型、第一数量个部位识别子模型和第二数量个项目识别子模型的应用场景,可以分别对每个设备识别子模型、部位识别子模型、项目识别子模型进行训练。其中,样本检查信息可以包括:拍摄对应的样本检查图像的样本设备类型、对应的样本检查图像中包括的样本***位,和对应的样本检查图像中包括的样本检查项目。上述每个部位识别子模型对应一种样本设备类型,每个项目识别子模型对应一种样本设备类型和一种样本***位。需要说明的是,上述每个样本检查信息均是经过编码处理的向量,可以理解为,样本检查信息是一个包括3个维度的向量,3个维度分别对应样本设备类型、样本***位、样本检查项目。例如,可以将CT、PET、MRI、DR、DSA,表示为1、2、3、4、5,将头部、颈部、胸部、腹部、上肢、下肢,表示为10、20、30、40、50、60,将后前正位、左前斜位、右前斜位、左侧位,表示为:301、302、303、304。一个样本检查信息为(4,30,303),那么表示对应的样本设备类型为:DR,样本***位为:胸部,样本检查项目为:右前斜位。
以下对每个设备识别子模型、部位识别子模型、项目识别子模型的训练步骤进行具体说明,上述步骤B的实现方式可以为:
步骤1)将样本输入集作为设备识别子模型的输入,将样本输出集中每个样本输出包括的样本设备类型作为设备识别子模型的输出,以训练设备识别子模型。
示例的,在对设备识别子模型进行训练时,可以将样本输入集中的每个样本输入作为设备识别子模型的输入,也就是说,在训练设备识别子模型时,可以利用样本输入集中的每个样本输入。之后,根据设备识别子模型的输出与该样本输入对应的样本输出包括的样本设备类型确定损失函数,以降低损失函数为目标,利用反向传播算法来修正设备识别子模型,从而达到训练设备识别子模型的目的。
步骤2)将样本输入集作为第一数量个部位识别子模型的输入,将样本输出集中每个样本输出包括的样本***位作为第一数量个部位识别子模型的输出,以训练第一数量个部位识别子模型。
示例的,在对每个部位识别子模型进行训练时,可以先将样本输入集,按照对应的样本输出包括的样本设备类型进行分组,得到多个第一样本输入子集,每个第一样本输入子集中包括的样本输入,对应的样本输出包括的样本设备类型均相同,即每个第一样本输入子集对应一种样本设备类型。之后,可以将任一个第一样本输入子集中的每个样本输入,作为该第一样本输入子集对应的样本设备类型对应的部位识别子模型的输入,根据该部位识别子模型的输出与该样本输入对应的样本输出包括的样本***位确定损失函数,以降低损失函数为目标,利用反向传播算法来修正该部位识别子模型,从而达到训练该部位识别子模型的目的。
例如,样本输入集中包括300个样本检查图像,样本设备类型包括:CT、PET、MRI、DR、DSA共5种(即第一数量),可以先将300个样本检查图像按照对应的样本设备类型分为5个第一样本输入子集。若DR对应的第一样本输入子集包括50个样本检查图像,那么这50个样本检查图像的样本检查信息中包括的样本设备类型均为DR。针对DR对应的部位识别子模型的训练方式,可以将这50个样本检查图像中的任一样本检查图像,作为该部位识别子模型的输入,将该部位识别子模型的输出,与该样本检查图像的样本检查信息中包括的样本***位进行比较,确定损失函数,以训练该部位识别子模型。
步骤3)将样本输入集作为第二数量个项目识别子模型的输入,将样本输出集中每个样本输出包括的样本检查项目作为第二数量个项目识别子模型的输出,以训练第二数量个项目识别子模型。
示例的,在对每个项目识别子模型进行训练时,同样的,可以先将样本输入集,按照对应的样本输出包括的样本设备类型和样本***位进行分组,得到多个第二样本输入子集,每个第二样本输入子集中包括的样本输入,对应的样本输出包括的样本设备类型相同,且样本***位也相同,即每个第二样本输入子集对应一种样本设备类型和一种样本***位。之后,可以将任一个第二样本输入子集中的每个样本输入,作为该第二样本输入子集对应的样本设备类型和样本***位,对应的项目识别子模型的输入,根据该项目识别子模型的输出与该样本输入对应的样本输出包括的样本检查项目确定损失函数,以降低损失函数为目标,利用反向传播算法来修正该项目识别子模型,从而达到训练该项目识别子模型的目的。
例如,样本输入集中包括300个样本检查图像,样本设备类型包括:CT、PET、MRI、DR、DSA共5种(即第一数量),样本***位包括头部、颈部、胸部、腹部、上肢、下肢共6种。可以先将300个样本检查图像按照对应的样本设备类型、样本***位分为5*6=30个第二样本输入子集。若DR+胸部对应的第二样本输入子集包括12个样本检查图像,那么这12个样本检查图像的样本检查信息中包括的样本设备类型均为DR,样本***位均为胸部。针对DR+胸部对应的项目识别子模型的训练方式,可以将这12个样本检查图像中的任一样本检查图像,作为该项目识别子模型的输入,将该项目识别子模型的输出,与该样本检查图像的样本检查信息中包括的样本检查项目进行比较,确定损失函数,以训练该项目识别子模型。
需要说明地是,上述设备识别子模型、部位识别子模型、项目识别子模型均可以是CNN,例如可以是结构相同的ResNet18(包括17个卷积层和1个全连接层),也可以是结构各不相同的VGGNet,不公开对此不作具体限定。进一步的,在对设备识别子模型、部位识别子模型、项目识别子模型进行训练时,可以采用ImageNet的预训练模型进行迁移学习,同时可以根据样本训练集的特征,设置预训练模型的参数和超参数:卷积核的大小、卷积步长、每一层的尺寸、池化尺寸、批大小、激活函数、损失函数、学习率、优化器等。例如,优化器可以为SGD(英文:Stochastic Gradient Descent,中文:随机梯度下降)优化器,学习率可以设置为10-3,采用Relu激活函数和交叉熵损失函数。
进一步的,根据样本训练集中,包括的样本设备类型、样本***位和样本检查项目的类型,可以分别设置设备识别子模型、部位识别子模型、项目识别子模型的softmax层的尺寸。以样本设备类型包括:CT、PET、MRI、DR、DSA共5种(即第一数量),样本***位包括头部、颈部、胸部、腹部、上肢、下肢共6种,每种***位对应的样本检查项目分别为:5种、2种、4种、3种、4种、2种来举例。可以将设备识别子模型的softmax层的尺寸可以设置为5,可以理解为,设备识别子模型能够输出样本检查图像属于5种样本设备类型的概率值,并将概率值最高的样本设备类型作为输出。同样的,每个部位识别子模型的softmax层的尺寸可以设置为6,可以理解为,该部位识别子模型能够输出样本检查图像属于6种样本***位的概率值,并将概率值最高的样本***位作为输出。再比如,样本***位为胸部对应的样本检查项目有后前正位、左前斜位、右前斜位或者左侧位共4种,那么每种样本设备类型和样本***位为胸部对应的项目识别子模型的softmax层的尺寸可以设置为4,可以理解为,该项目识别子模型能够输出样本检查图像属于后前正位、左前斜位、右前斜位或者左侧位4种样本检查项目的概率值,并将概率值最高的样本检查项目作为输出。
图6是根据一示例性实施例示出的另一种训练识别模型的流程图,如图6所示,在步骤B之前,识别模型还可以通过如下方式训练:
步骤C,按照预设规则调整样本输入集中的每个样本检查图像中的像素,生成该样本检查图像对应的多个扩充图像,以对样本输入集进行扩充。
步骤D,将每个样本检查图像的样本检查信息,作为该样本检查图像对应的多个扩充图像的样本检查信息,以对样本输出集进行扩充。
相应的,步骤B的实现方式可以为:
将扩充后的样本输入集作为识别模型的输入,将扩充后的样本输出集作为识别模型的输出,以训练识别模型。
举例来说,在对识别模型进行训练之前,还可以按照预设规则对样本输入集、样本输出集进行扩充。针对每个样本检查图像,可以按照预设规则调整该样本检查图像中的像素,得到该样本检查图像对应的多个扩充图像,并将多个扩充图像放入样本输入集。相应的,该样本检查图像对应的多个扩充图像的样本检查信息,均为该样本检查图像的样本检查信息,从而达到扩充样本输入集、样本输出集的目的。最后,可以将扩充后的样本输入集作为识别模型的输入,将扩充后的样本输出集作为识别模型的输出,以训练识别模型。
具体的,预设规则可以是以下规则中的一种或多种:
规则一、在样本检查图像中的全部或部分像素上增加预设的噪声(例如:高斯噪声、椒盐噪声等)。
规则二、在预设的亮度范围内,调节样本检查图像中的全部或部分像素的亮度。
规则三、在预设的角度范围内(例如:-10度到10度),旋转样本检查图像中的全部或部分像素的位置。
例如,针对任一个样本检查图像,可以在该样本检查图像上,分别叠加高斯噪声和椒盐噪声,以得到两个扩充图像,再分别按照亮度范围内的最大亮度和最小亮度调节该样本检查图像的亮度,得到两个扩充图像,最后分别按照-10度、-5度、5度、10度旋转该样本检查图像,得到四个扩充图像,一共可以得到该样本检查图像对应的八个扩充图像。
综上所述,本公开中首先获取检查图像,和用于表征期望拍摄检查图像的方式的指示信息,之后根据预先训练的识别模型,识别检查图像对应的检查信息,其中,检查信息用于表征实际拍摄检查图像的方式,在检查信息与指示信息匹配的情况下,将检查图像上传至管理***,在检查信息与指示信息不匹配的情况下,输出提示信息。本公开通过识别模型识别出实际拍摄检查图像的方式,并和期望拍摄检查图像的方式进行比较,从而根据比较结果对检查图像做不同的处理,能够快速、准确地识别出拍摄错误或者质量过低的检查图像。
图7是根据一示例性实施例示出的一种检查图像的处理装置的框图,如图7所示,该装置200包括:
获取模块201,用于获取检查图像和指示信息,指示信息用于表征期望拍摄检查图像的方式。
识别模块202,用于根据预先训练的识别模型,识别检查图像对应的检查信息,检查信息用于表征实际拍摄检查图像的方式。
处理模块203,用于若检查信息与指示信息匹配,将检查图像上传至管理***。若检查信息与指示信息不匹配,输出提示信息。
图8是根据一示例性实施例示出的另一种检查图像的处理装置的框图,如图8所示,获取模块201可以包括:
获取子模块2011,用于获取检查图像和指示文件。
处理子模块2012,用于若指示文件为文本,按照自然语言处理算法识别指示文件中包括的指示信息。若指示文件为图像,按照预设的图像识别算法识别指示文件中包括的指示信息。
图9是根据一示例性实施例示出的另一种检查图像的处理装置的框图,如图9所示,识别模块202可以包括:
预处理子模块2021,用于将检查图像转换为指定格式的第一图像,并将第一图像调整为指定大小的第二图像。
识别子模块2022,用于将第二图像输入识别模型,以得到识别模型输出的检查信息。
图10是根据一示例性实施例示出的另一种检查图像的处理装置的框图,如图10所示,指示信息包括:目标设备类型、目标***位和目标检查项目,检查信息包括:拍摄检查图像的实际设备类型、检查图像中包括的实际***位,和检查图像中包括的实际检查项目。相应的,识别模块202可以包括:
第一识别子模块2023,用于将检查图像输入识别模型包括的设备识别子模型,以得到设备识别子模型输出的实际设备类型。
第二识别子模块2024,用于在识别模型包括的第一数量个部位识别子模型中,确定与实际设备类型对应的目标部位识别子模型,并将检查图像输入目标部位识别子模型,以得到目标部位识别子模型输出的实际***位。
第三识别子模块2025,用于在识别模型包括的第二数量个项目识别子模型中,确定与实际设备类型、实际***位对应的目标项目识别子模型,并将检查图像输入目标项目识别子模型,以得到目标项目识别子模型输出的实际检查项目。
在一种应用场景中,识别模型是通过如下方式训练得到的:
步骤A,获取样本输入集和样本输出集,样本输入集中的每个样本输入包括一个样本检查图像,样本输出集中包括与每个样本输入对应的样本输出,每个样本输出包括对应的样本检查图像的样本检查信息,样本检查信息用于表征实际拍摄对应的样本检查图像的方式。
步骤B,将样本输入集作为识别模型的输入,将样本输出集作为识别模型的输出,以训练识别模型。
在另一种应用场景中,样本检查信息包括:拍摄对应的样本检查图像的样本设备类型、对应的样本检查图像中包括的样本***位,和对应的样本检查图像中包括的样本检查项目。识别模型包括:设备识别子模型、第一数量个部位识别子模型和第二数量个项目识别子模型。每个部位识别子模型对应一种样本设备类型,每个项目识别子模型对应一种样本设备类型和一种样本***位。
步骤B的实现方式可以为:
步骤1)将样本输入集作为设备识别子模型的输入,将样本输出集中每个样本输出包括的样本设备类型作为设备识别子模型的输出,以训练设备识别子模型。
步骤2)将样本输入集作为第一数量个部位识别子模型的输入,将样本输出集中每个样本输出包括的样本***位作为第一数量个部位识别子模型的输出,以训练第一数量个部位识别子模型。
步骤3)将样本输入集作为第二数量个项目识别子模型的输入,将样本输出集中每个样本输出包括的样本检查项目作为第二数量个项目识别子模型的输出,以训练第二数量个项目识别子模型。
在又一种应用场景中,在步骤B之前,识别模型还可以通过如下方式训练:
步骤C,按照预设规则调整样本输入集中的每个样本检查图像中的像素,生成该样本检查图像对应的多个扩充图像,以对样本输入集进行扩充。
步骤D,将每个样本检查图像的样本检查信息,作为该样本检查图像对应的多个扩充图像的样本检查信息,以对样本输出集进行扩充。
相应的,步骤B的实现方式可以为:
将扩充后的样本输入集作为识别模型的输入,将扩充后的样本输出集作为识别模型的输出,以训练识别模型。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
综上所述,本公开中首先获取检查图像,和用于表征期望拍摄检查图像的方式的指示信息,之后根据预先训练的识别模型,识别检查图像对应的检查信息,其中,检查信息用于表征实际拍摄检查图像的方式,在检查信息与指示信息匹配的情况下,将检查图像上传至管理***,在检查信息与指示信息不匹配的情况下,输出提示信息。本公开通过识别模型识别出实际拍摄检查图像的方式,并和期望拍摄检查图像的方式进行比较,从而根据比较结果对检查图像做不同的处理,能够快速、准确地识别出拍摄错误或者质量过低的检查图像。
图11是根据一示例性实施例示出的一种电子设备300的框图。如图11所示,该电子设备300可以包括:处理器301,存储器302。该电子设备300还可以包括多媒体组件303,输入/输出(I/O)接口304,以及通信组件305中的一者或多者。
其中,处理器301用于控制该电子设备300的整体操作,以完成上述的检查图像的处理方法中的全部或部分步骤。存储器302用于存储各种类型的数据以支持在该电子设备300的操作,这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该电子设备300与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件305可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的检查图像的处理方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的检查图像的处理方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器302,上述程序指令可由电子设备300的处理器301执行以完成上述的检查图像的处理方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (10)
1.一种检查图像的处理方法,其特征在于,所述方法包括:
获取检查图像和指示信息,所述指示信息用于表征期望拍摄所述检查图像的方式;
根据预先训练的识别模型,识别所述检查图像对应的检查信息,所述检查信息用于表征实际拍摄所述检查图像的方式;
若所述检查信息与所述指示信息匹配,将所述检查图像上传至管理***;
若所述检查信息与所述指示信息不匹配,输出提示信息。
2.根据权利要求1所述的方法,其特征在于,所述获取检查图像和指示信息包括:
获取所述检查图像和指示文件;
若所述指示文件为文本,按照自然语言处理算法识别所述指示文件中包括的所述指示信息;
若所述指示文件为图像,按照预设的图像识别算法识别所述指示文件中包括的所述指示信息。
3.根据权利要求1所述的方法,其特征在于,所述根据预先训练的识别模型,识别所述检查图像对应的检查信息,包括:
将所述检查图像转换为指定格式的第一图像,并将所述第一图像调整为指定大小的第二图像;
将所述第二图像输入所述识别模型,以得到所述识别模型输出的所述检查信息。
4.根据权利要求1所述的方法,其特征在于,所述指示信息包括:目标设备类型、目标***位和目标检查项目,所述检查信息包括:拍摄所述检查图像的实际设备类型、所述检查图像中包括的实际***位,和所述检查图像中包括的实际检查项目;
所述根据预先训练的识别模型,识别所述检查图像对应的检查信息,包括:
将所述检查图像输入所述识别模型包括的设备识别子模型,以得到所述设备识别子模型输出的所述实际设备类型;
在所述识别模型包括的第一数量个部位识别子模型中,确定与所述实际设备类型对应的目标部位识别子模型,并将所述检查图像输入所述目标部位识别子模型,以得到所述目标部位识别子模型输出的所述实际***位;
在所述识别模型包括的第二数量个项目识别子模型中,确定与所述实际设备类型、所述实际***位对应的目标项目识别子模型,并将所述检查图像输入所述目标项目识别子模型,以得到所述目标项目识别子模型输出的所述实际检查项目。
5.根据权利要求1所述的方法,其特征在于,所述识别模型是通过如下方式训练得到的:
获取样本输入集和样本输出集,所述样本输入集中的每个样本输入包括一个样本检查图像,所述样本输出集中包括与每个所述样本输入对应的样本输出,每个所述样本输出包括对应的所述样本检查图像的样本检查信息,所述样本检查信息用于表征实际拍摄对应的所述样本检查图像的方式;
将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型。
6.根据权利要求5所述的方法,其特征在于,所述样本检查信息包括:拍摄对应的所述样本检查图像的样本设备类型、对应的所述样本检查图像中包括的样本***位,和对应的所述样本检查图像中包括的样本检查项目;所述识别模型包括:设备识别子模型、第一数量个部位识别子模型和第二数量个项目识别子模型;每个所述部位识别子模型对应一种样本设备类型,每个所述项目识别子模型对应一种样本设备类型和一种样本***位;
所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型,包括:
将所述样本输入集作为所述设备识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本设备类型作为所述设备识别子模型的输出,以训练所述设备识别子模型;
将所述样本输入集作为第一数量个所述部位识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本***位作为第一数量个所述部位识别子模型的输出,以训练第一数量个所述部位识别子模型;
将所述样本输入集作为第二数量个所述项目识别子模型的输入,将所述样本输出集中每个所述样本输出包括的样本检查项目作为第二数量个所述项目识别子模型的输出,以训练第二数量个所述项目识别子模型。
7.根据权利要求5所述的方法,其特征在于,在所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型之前,所述识别模型还通过如下方式训练:
按照预设规则调整所述样本输入集中的每个所述样本检查图像中的像素,生成该样本检查图像对应的多个扩充图像,以对所述样本输入集进行扩充;
将每个所述样本检查图像的所述样本检查信息,作为该样本检查图像对应的多个所述扩充图像的所述样本检查信息,以对所述样本输出集进行扩充;
所述将所述样本输入集作为所述识别模型的输入,将所述样本输出集作为所述识别模型的输出,以训练所述识别模型,包括:
将扩充后的所述样本输入集作为所述识别模型的输入,将扩充后的所述样本输出集作为所述识别模型的输出,以训练所述识别模型。
8.一种检查图像的处理装置,其特征在于,所述装置包括:
获取模块,用于获取检查图像和指示信息,所述指示信息用于表征期望拍摄所述检查图像的方式;
识别模块,用于根据预先训练的识别模型,识别所述检查图像对应的检查信息,所述检查信息用于表征实际拍摄所述检查图像的方式;
处理模块,用于若所述检查信息与所述指示信息匹配,将所述检查图像上传至管理***;若所述检查信息与所述指示信息不匹配,输出提示信息。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011582755.9A CN112614568B (zh) | 2020-12-28 | 2020-12-28 | 检查图像的处理方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011582755.9A CN112614568B (zh) | 2020-12-28 | 2020-12-28 | 检查图像的处理方法、装置、存储介质和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112614568A true CN112614568A (zh) | 2021-04-06 |
CN112614568B CN112614568B (zh) | 2024-05-28 |
Family
ID=75248559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011582755.9A Active CN112614568B (zh) | 2020-12-28 | 2020-12-28 | 检查图像的处理方法、装置、存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112614568B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332844A (zh) * | 2022-03-16 | 2022-04-12 | 武汉楚精灵医疗科技有限公司 | 医学图像的智能分类应用方法、装置、设备和存储介质 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000148894A (ja) * | 1998-11-17 | 2000-05-30 | Toshiba Corp | 医用画像情報管理機構 |
CN101869483A (zh) * | 2009-04-24 | 2010-10-27 | 佳能株式会社 | 摄影信息处理设备和摄影信息处理方法 |
US20160103810A1 (en) * | 2014-10-08 | 2016-04-14 | Steven Michael HANNING | Intra-surgical documentation system |
CN105635313A (zh) * | 2016-01-26 | 2016-06-01 | 北京惠泽智信科技有限公司 | 医疗设备状态监控***及方法 |
CN109472209A (zh) * | 2018-10-12 | 2019-03-15 | 咪咕文化科技有限公司 | 一种图像识别方法、装置和存储介质 |
CN109686424A (zh) * | 2018-12-27 | 2019-04-26 | 管伟 | 一种医学影像信息的存储及交换智慧医疗*** |
WO2019120032A1 (zh) * | 2017-12-21 | 2019-06-27 | Oppo广东移动通信有限公司 | 模型构建方法、拍照方法、装置、存储介质及终端 |
CN110232383A (zh) * | 2019-06-18 | 2019-09-13 | 湖南省华芯医疗器械有限公司 | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** |
WO2020036182A1 (ja) * | 2018-08-14 | 2020-02-20 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
CN110909708A (zh) * | 2019-12-02 | 2020-03-24 | 上海秒针网络科技有限公司 | 检查提醒方法和装置、可穿戴硬件设备及存储介质 |
CN110909188A (zh) * | 2019-11-26 | 2020-03-24 | 上海秒针网络科技有限公司 | 检查图片确定方法及装置 |
US20200126655A1 (en) * | 2017-06-19 | 2020-04-23 | Olympus Corporation | Medical information processing system |
CN111161359A (zh) * | 2019-12-12 | 2020-05-15 | 东软集团股份有限公司 | 一种图像处理方法及设备 |
WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
CN111461018A (zh) * | 2020-04-01 | 2020-07-28 | 北京金和网络股份有限公司 | 特种设备监测方法及装置 |
CN111584043A (zh) * | 2019-02-15 | 2020-08-25 | 北京新网医讯技术有限公司 | 影像学扫描方案智能提示***及其方法 |
CN112001700A (zh) * | 2020-08-21 | 2020-11-27 | 金钱猫科技股份有限公司 | 一种基于大数据自动比对的工程检查方法及服务端 |
CN112102235A (zh) * | 2020-08-07 | 2020-12-18 | 上海联影智能医疗科技有限公司 | 人体部位识别方法、计算机设备和存储介质 |
CN112101162A (zh) * | 2020-09-04 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 图像识别模型的生成方法、装置、存储介质和电子设备 |
-
2020
- 2020-12-28 CN CN202011582755.9A patent/CN112614568B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000148894A (ja) * | 1998-11-17 | 2000-05-30 | Toshiba Corp | 医用画像情報管理機構 |
CN101869483A (zh) * | 2009-04-24 | 2010-10-27 | 佳能株式会社 | 摄影信息处理设备和摄影信息处理方法 |
US20160103810A1 (en) * | 2014-10-08 | 2016-04-14 | Steven Michael HANNING | Intra-surgical documentation system |
CN105635313A (zh) * | 2016-01-26 | 2016-06-01 | 北京惠泽智信科技有限公司 | 医疗设备状态监控***及方法 |
US20200126655A1 (en) * | 2017-06-19 | 2020-04-23 | Olympus Corporation | Medical information processing system |
WO2019120032A1 (zh) * | 2017-12-21 | 2019-06-27 | Oppo广东移动通信有限公司 | 模型构建方法、拍照方法、装置、存储介质及终端 |
WO2020036182A1 (ja) * | 2018-08-14 | 2020-02-20 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法及びプログラム |
CN109472209A (zh) * | 2018-10-12 | 2019-03-15 | 咪咕文化科技有限公司 | 一种图像识别方法、装置和存储介质 |
CN109686424A (zh) * | 2018-12-27 | 2019-04-26 | 管伟 | 一种医学影像信息的存储及交换智慧医疗*** |
WO2020134010A1 (zh) * | 2018-12-27 | 2020-07-02 | 北京字节跳动网络技术有限公司 | 对图像关键点提取模型的训练及图像关键点提取 |
CN111584043A (zh) * | 2019-02-15 | 2020-08-25 | 北京新网医讯技术有限公司 | 影像学扫描方案智能提示***及其方法 |
CN110232383A (zh) * | 2019-06-18 | 2019-09-13 | 湖南省华芯医疗器械有限公司 | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别*** |
CN110909188A (zh) * | 2019-11-26 | 2020-03-24 | 上海秒针网络科技有限公司 | 检查图片确定方法及装置 |
CN110909708A (zh) * | 2019-12-02 | 2020-03-24 | 上海秒针网络科技有限公司 | 检查提醒方法和装置、可穿戴硬件设备及存储介质 |
CN111161359A (zh) * | 2019-12-12 | 2020-05-15 | 东软集团股份有限公司 | 一种图像处理方法及设备 |
CN111461018A (zh) * | 2020-04-01 | 2020-07-28 | 北京金和网络股份有限公司 | 特种设备监测方法及装置 |
CN112102235A (zh) * | 2020-08-07 | 2020-12-18 | 上海联影智能医疗科技有限公司 | 人体部位识别方法、计算机设备和存储介质 |
CN112001700A (zh) * | 2020-08-21 | 2020-11-27 | 金钱猫科技股份有限公司 | 一种基于大数据自动比对的工程检查方法及服务端 |
CN112101162A (zh) * | 2020-09-04 | 2020-12-18 | 沈阳东软智能医疗科技研究院有限公司 | 图像识别模型的生成方法、装置、存储介质和电子设备 |
Non-Patent Citations (1)
Title |
---|
俞益洲等: "深度学习在医学影像分析中的应用综述", 《数据与计算发展前沿》, vol. 1, no. 2, pages 37 - 52 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332844A (zh) * | 2022-03-16 | 2022-04-12 | 武汉楚精灵医疗科技有限公司 | 医学图像的智能分类应用方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112614568B (zh) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919928B (zh) | 医学影像的检测方法、装置和存储介质 | |
US10810735B2 (en) | Method and apparatus for analyzing medical image | |
CN108205655B (zh) | 一种关键点预测方法、装置、电子设备及存储介质 | |
CN110033019B (zh) | 人体部位的异常检测方法、装置和存储介质 | |
CN111414946B (zh) | 基于人工智能的医疗影像的噪声数据识别方法和相关装置 | |
US20230085605A1 (en) | Face image processing method, apparatus, device, and storage medium | |
CN110458829B (zh) | 基于人工智能的图像质控方法、装置、设备及存储介质 | |
CN109934300B (zh) | 模型压缩方法、装置、计算机设备及存储介质 | |
CN112101162B (zh) | 图像识别模型的生成方法、装置、存储介质和电子设备 | |
CN113688912B (zh) | 基于人工智能的对抗样本生成方法、装置、设备及介质 | |
US20200019823A1 (en) | Medical image analysis method applying machine learning and system thereof | |
CN110599421A (zh) | 模型训练方法、视频模糊帧转换方法、设备及存储介质 | |
CN111179252B (zh) | 基于云平台的消化道病灶辅助识别与正反馈*** | |
CN110059579B (zh) | 用于活体检验的方法和装置,电子设备和存储介质 | |
CN112200057A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
CN108399401B (zh) | 用于检测人脸图像的方法和装置 | |
CN115410717A (zh) | 模型训练方法、数据检索方法、影像数据检索方法和装置 | |
CN112614568B (zh) | 检查图像的处理方法、装置、存储介质和电子设备 | |
CN117115220B (zh) | 图像处理方法、服务提供方法、装置、设备和存储介质 | |
CN113033526A (zh) | 基于计算机实现的方法、电子设备和计算机程序产品 | |
CN110288668B (zh) | 图像生成方法、装置、计算机设备及存储介质 | |
CN111209946B (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
CN112818946A (zh) | 年龄识别模型的训练、年龄识别方法、装置及电子设备 | |
CN116704401A (zh) | 操作类考试的评分校验方法、装置、电子设备及存储介质 | |
CN111402987A (zh) | 基于可见光视频的用药提醒方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |