WO2019218835A1 - 图像识别方法、存储介质及计算机设备 - Google Patents
图像识别方法、存储介质及计算机设备 Download PDFInfo
- Publication number
- WO2019218835A1 WO2019218835A1 PCT/CN2019/083151 CN2019083151W WO2019218835A1 WO 2019218835 A1 WO2019218835 A1 WO 2019218835A1 CN 2019083151 W CN2019083151 W CN 2019083151W WO 2019218835 A1 WO2019218835 A1 WO 2019218835A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- model
- machine learning
- feature
- learning model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000010801 machine learning Methods 0.000 claims abstract description 236
- 238000007781 pre-processing Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims description 117
- 238000001514 detection method Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 57
- 238000004590 computer program Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000009966 trimming Methods 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 17
- 238000000605 extraction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 210000005252 bulbus oculi Anatomy 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 230000005012 migration Effects 0.000 description 5
- 206010012689 Diabetic retinopathy Diseases 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000004072 lung Anatomy 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 208000009857 Microaneurysm Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010003210 Arteriosclerosis Diseases 0.000 description 1
- 241000287227 Fringillidae Species 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000011775 arteriosclerosis disease Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Definitions
- the present application relates to the field of computer technology, and in particular, to an image recognition method, a storage medium, and a computer device.
- the computer device performs pre-processing on the image to be identified to obtain a pre-processed image
- FIG. 1 is an application environment diagram of an image recognition method in an embodiment
- FIG. 6 is a schematic structural diagram of a machine learning model in an embodiment
- the image to be identified is an image to be image-recognized.
- Image recognition is to classify an image into one or more of a plurality of candidate classification categories, that is, to determine the classification category to which the image belongs.
- the candidate classification categories can be set in advance according to actual application requirements.
- the image to be recognized is an unprocessed original image. It will be appreciated that the image to be identified may relate to various types of images, such as person images, animal images, landscape images, and the like.
- the computer device obtains a first image feature corresponding to the image to be identified by using a first sub-model in the machine learning model, and obtains a second image feature corresponding to the pre-processed image by using a second sub-model in the machine learning model.
- the computer device determines, according to the first image feature and the second image feature, a first probability that the image to be identified belongs to a classification category corresponding to the machine learning model.
- the machine learning model includes an output layer in addition to the first sub-model and the second sub-model.
- the output layer of the machine learning model is configured to determine, according to the first image feature and the second image feature, a first probability that the image to be identified belongs to a classification category corresponding to the machine learning model, and output the same.
- the feature detection sub-model is configured to perform image feature extraction processing on the input image to obtain an intermediate image feature corresponding to the input image.
- the obtained intermediate image features can be determined according to the model parameters of the feature detection sub-model.
- the first feature detection sub-model is configured to perform image feature extraction processing on the image to be recognized, and obtain an intermediate image feature corresponding to the image to be recognized.
- the second feature detection sub-model is configured to perform image feature extraction processing on the pre-processed image to obtain an intermediate image feature corresponding to the pre-processed image.
- the second fully connected layer can be used for the first
- the intermediate image feature outputted by the second feature detecting submodel and the model parameter corresponding to the second fully connected layer are subjected to matrix multiplication processing, thereby obtaining a second image feature corresponding to the preprocessed image.
- the first fully connected layer and the second fully connected layer are also connected to the output layer. It can be understood that the output of the first fully connected layer and the output of the second fully connected layer are both output layers. Input.
- the output layer may be used to jointly determine that the image to be identified belongs to a classification category corresponding to the machine learning model according to the first image feature outputted by the first fully connected layer and the second image feature output by the second fully connected layer. The first probability is output and the determined probability is output.
- the task of performing operations according to the second probability and the third probability may also be completed by a manual or other computer device. It can be understood that the first probability is used to finally reflect the probability size that the image to be identified belongs to the corresponding classification category.
- the first classification sub-model may be used to perform image feature extraction processing on the image to be recognized, obtain a first image feature corresponding to the image to be identified, and determine, according to the first image feature, that the image to be identified belongs to a classification category corresponding to the machine learning model.
- the second probability may be used to perform image feature extraction processing on the pre-processed image, obtain a second image feature corresponding to the pre-processed image, and determine, according to the second image feature, that the pre-processed image belongs to a machine learning model.
- the third probability of the classification category may be used to perform image feature extraction processing on the image to be recognized, obtain a first image feature corresponding to the image to be identified, and determine, according to the first image feature, that the image to be identified belongs to a classification category corresponding to the machine learning model.
- the computer device adjusts the image to be identified to a reference image size
- the manner of preprocessing the image to be recognized in the foregoing may include the following steps: the computer device adjusts the target object in the image to be identified to the reference object size to obtain the first adjusted image; and the computer device crops the first adjustment An invalid area in the image obtains a second adjusted image, and the second adjusted image does not include an invalid area; the computer device adjusts the second adjusted image to the reference image size to obtain a third adjusted image; and the preprocessed image is obtained according to the third adjusted image .
- the machine learning model includes a first feature detection sub-model MT1 for obtaining a first image feature F1 corresponding to the image to be identified PO, for obtaining a corresponding image of the pre-processed image Pd1.
- the output layer S is based on the output result of the first fully connected layer FC1, the output result of the second fully connected layer FC2-1, the output result of the second fully connected layer FC2-2, and the second fully connected layer FC2-3.
- the output results collectively determine the first probability G11 that the image to be identified PO belongs to the classification category corresponding to the machine learning model.
- model parameters of the first feature detection submodel and the model parameters of the second feature detection submodel remain unchanged, according to the first training image, the second training image, the first feature detection submodel, and the second
- the feature detection sub-model performs model training to jointly determine the model parameters of the two fully connected layers and the model parameters of the output layer. It can be understood that the model parameters of the two fully connected layers and the model parameters of the output layer are determined, that is, the first fully connected layer, the second fully connected layer, and the output layer are determined, thereby determining the entire machine learning model.
- the machine learning model is supervised and trained according to the sample and the classification label added to the sample. Compared with the unsupervised training mode, the classification accuracy of the machine learning model is improved. In addition, compared with the traditional supervised training mode, the input characteristics of the machine learning model are manually defined, and the training efficiency and accuracy of the machine learning model are improved.
- the method for performing data enhancement processing on the image may include the following steps: acquiring a first transform parameter corresponding to the geometric transform manner; and according to the first transform parameter and the geometric transform manner corresponding to the first transform parameter, Perform geometric transformation on the image.
- the step of performing geometric transformation processing on the image may include at least one of: flipping the image in the direction according to the flipping probability; cropping the border of the image according to the random clipping parameter; according to the random image size Adjust the value to adjust the image size of the image; rotate the image based on the random rotation angle value.
- the step of performing image attribute adjustment processing on the image may include at least one of: adjusting brightness of each pixel in the image according to the random brightness adjustment value; and adjusting each of the images according to the contrast adjustment value The contrast of the pixel.
- the pre-processed image acquisition module 1004 may include a first adjustment image obtaining unit configured to adjust a target object in the image to be recognized to a reference object size to obtain a first adjusted image; a obtaining unit, configured to trim an invalid area in the first adjusted image to obtain a second adjusted image, where the invalid area is not included in the second adjusted image; and a third adjusted image obtaining unit configured to adjust the second adjusted image to the reference The image size is obtained to obtain a third adjusted image; wherein the preprocessed image is obtained according to the third adjusted image.
- a computer readable storage medium having stored thereon a computer program that, when executed by a processor, implements the steps in the image recognition method provided by any of the embodiments of the present application.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本申请涉及一种图像识别方法、存储介质及计算机设备,方法包括:获取待识别图像;对待识别图像进行预处理,获得预处理图像;通过机器学习模型中的第一子模型获得待识别图像对应的第一图像特征,并通过所述机器学习模型中的第二子模型获得预处理图像对应的第二图像特征;根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率。可见,本申请提供的方案能够提升识别的效率和准确性。
Description
本申请要求于2018年5月16日提交的申请号为2018104677832、发明名称为“图像识别方法、装置、存储介质及计算机设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及计算机技术领域,特别是涉及一种图像识别方法、存储介质及计算机设备。
众所周知,通过识别图像承载的信息,可以对图像进行分类,即在若干个分类类别中,确定图像所属的分类类别。以眼底图像为例,其可以用于反映糖尿病视网膜病变的病情,据此,对于任一眼底图像,可以在正常、温和非增值性病变、中度非增值性病变、重度非增值性病变、以及增值性病变这五个分类类别中,确定该眼底图像所属的分类类别。
传统方式中,主要是由人工对图像进行判别,进而确定图像所属的分类类别。例如,医生通过其肉眼观察眼底图像,并根据经验确定该眼底图像属于正常、温和非增值性病变(Mild NPDR)、中度非增值性病变(Moderate NPDR)、重度非增值性病变(Severe NPDR)、以及增值性病变(PDR)中的哪一类。
发明内容
基于此,提供一种图像识别方法、存储介质及计算机设备,能够解决传统方式中识别效率及准确率低下的技术问题。
一种图像识别方法,包括:
计算机设备获取待识别图像;
计算机设备对所述待识别图像进行预处理,获得预处理图像;
计算机设备通过机器学习模型中的第一子模型获得所述待识别图像对应的第一图像特征,并通过所述机器学习模型中的第二子模型获得所述预处理图像对应的第二图像特征;
计算机设备根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
一种图像识别装置,包括:
待识别图像获取模块,用于获取待识别图像;
预处理图像获取模块,用于对所述待识别图像进行预处理,获得预处理图像;
图像特征获取模块,用于通过机器学习模型中的第一子模型获得所述待识别图像对应的第一图像特征,并通过所述机器学习模型中的第二子模型获得所述预处理图像对应的第二图像特征;
预测概率确定模块,用于根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取待识别图像;
对所述待识别图像进行预处理,获得预处理图像;
通过机器学习模型中的第一子模型获得所述待识别图像对应的第一图像特征,并通过所述机器学习模型中的第二子模型获得所述预处理图像对应的第二图像特征;
根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
获取待识别图像;
对所述待识别图像进行预处理,获得预处理图像;
通过机器学习模型中的第一子模型获得所述待识别图像对应的第一图像特征,并通过所述机器学习模型中的第二子模型获得所述预处理图像对应的第二图像特征;
根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
图1为一个实施例中图像识别方法的应用环境图;
图2为一个实施例中图像识别方法的流程示意图;
图3为一个实施例中机器学习模型的结构示意图;
图4为一个实施例中机器学习模型的结构示意图;
图5为一个实施例中机器学习模型的结构示意图;
图6为一个实施例中机器学习模型的结构示意图;
图7为一个实施例中确定机器学习模型的步骤的流程示意图;
图8为一个实施例中确定机器学习模型的步骤的流程示意图;
图9为一个实施例中图像识别方法的流程示意图;
图10为一个实施例中图像识别装置的结构示意图;
图11为一个实施例中计算机设备的结构示意图。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,本申请所使用的术语“第一”、“第二”等是用于对类似的对象作出命名上的区分,但这些对象本身不受这些术语限制。应当理解,在不脱离本申请的范围的情况下,这些术语在适当的情况下可以互换。例如,可将“第一全连接层”描述为“第二全连接层”,且类似地,将“第二全连接层”描述为“第一全连接层”。
可以理解,术语“包括”、“包含”、“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于已清楚地列出的步骤或单元,而是还可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“和/或”包括一个或多个相关的所列项目的任意 的及所有的组合。
本申请各实施例提供的图像识别方法,可以应用于如图1所示的应用环境中。该应用环境涉及终端110和服务器120,终端110和服务器120通过网络连接。具体地,终端110可以获取待识别图像,并将该待识别图像传递至服务器120。服务器120获得该待识别图像后,对该待识别图像进行预处理,再将该待识别图像和经过预处理后的待识别图像一并输入机器学习模型,继而,通过该机器学习模型输出该待识别图像属于机器学习模型对应的分类类别的概率。
可以理解,在其他实施例中,终端110获取待识别图像后,也可以直接由终端110对待识别图像进行预处理,再将该待识别图像和经过预处理后的待识别图像一并输入机器学习模型,继而,通过该机器学习模型输出该待识别图像属于机器学习模型对应的分类类别的概率。此外,机器学习模型可以由服务器120训练获得,也可以由终端110训练获得。
其中,终端110可以是台式终端或移动终端,移动终端可以包括手机、平板电脑、笔记本电脑、个人数字助理、穿戴式设备、医学影像设备等中的至少一种。服务器120可以用独立的物理服务器,或者多个物理服务器构成的服务器集群来实现。
在一些实施例中,如图2所示,提供了一种图像识别方法。以该方法应用于计算机设备(如上述图1中的终端110或服务器120)为例进行说明。该方法可以包括如下步骤S202至S208。
S202,计算机设备获取待识别图像。
其中,待识别图像是待进行图像识别的图像。图像识别是将图像划归为若干个候选的分类类别中的某一个或多个分类类别,即确定图像所属的分类类别。在实际应用中,候选的分类类别可以根据实际应用需求事先设定。并且,待识别图像是未经处理的原始图像。可以理解,待识别图像可以涉及各种类型的图像,例如人物图像、动物图像、以及风景图像等。
例如,计算机设备可以获取其他计算机设备传递的图像,将该图像作为待识别图像,例如上述图1中的服务器120获取终端110传递的图像,将该图像作为待识别图像。计算机设备也可以获取在本机上生成的图像,将该图像作为待识别图像。计算机设备还可从网络上爬取图像,将该图像作为待识别图像。
在一些实施例中,待识别图像可以包括医学图像。其中,医学图像是指为进行医疗或医疗研究,对生物体或生物体某部分,取得的内部组织图像,例如,以非侵入式方式取得的内部组织图像。例如,医学图像可以包括眼底图像,眼底是能够直接在活体上观察到血管的部位,可以通过眼底拍摄装置(如眼底照相机)获得眼底图像,眼底图像可以用于反映糖尿病视网膜病变、高血压、青光眼、以及动脉硬化等疾病的病情。医学图像也可以包括肺部病灶区域图像,例如对肺部病灶区域进行电子计算机断层扫描(Computed Tomography,CT)得到的CT图像,或者通过磁共振(Magnetic Resonance,MR)成像得到的MR图像,肺部病灶区域图像可以用于反映肺癌等疾病的病情。
在一些实施例中,待识别图像可以是具有视觉形态的图像文件,例如JPEG格式的图像文件。待识别图像也可以是不具有视觉形态的图像数据,例如用数值表示的各像素(pixel)的像素值的集合。
S204,计算机设备对待识别图像进行预处理,获得预处理图像。
其中,预处理图像是经过预处理后的待识别图像,即对待识别图像进行预处理后获得的图像。对图像进行预处理,其目的是突出图像中的目标细节对象。基于此,相较于原始的待识别图像,经过预处理后的待识别图像能够更加突出地显示图像中的目标细节对象,也即是, 能够突出待识别图像中的细节。
可以理解,目标细节对象可以基于实际应用需求进行确定,相应地,在对待识别图像进行预处理时,具体的预处理方式可以根据该待识别图像中需要突显的目标细节对象进行确定。以眼底图像为例,为了提高判断相应疾病病情的准确性,可以将眼底图像中的血管部分和微动脉瘤部分作为目标细节对象,即对眼底图像进行预处理,从而突显眼底图像中的血管和微动脉瘤。
S206,计算机设备通过机器学习模型中的第一子模型获得待识别图像对应的第一图像特征,并通过机器学习模型中的第二子模型获得预处理图像对应的第二图像特征。
其中,机器学习英文全称为Machine Learning,简称ML。机器学习模型可通过样本进行学习,从而具备特定的能力。在本实施例中的机器学习模型是事先训练得到的具备图像分类能力的模型。
进一步细分,机器学习可以包括深度学习(英文全称为deep learning,简称DL)。在本实施例中,可以采用深度学习的方式,从而省略人工定义模型的输入特征的步骤,在此情况下,打破了传统机器学习中需要人为参与的局限,并且充分地挖掘了模型的输入图像(待识别图像和预处理图像)中的信息,提升了图像分类的准确性及稳定性。此外,采用深度学习时,还可以通过增加样本数量,进一步提升模型的输出结果的准确性。
需要说明的是,机器学习模型可采用神经网络模型,例如卷积神经网络(convolution neural network,CNN)模型。相应地,进行深度学习时,机器学习模型可以是深度学习模型。
在一些实施例中,计算机设备可事先设置机器学习模型的模型结构,得到初始机器学习模型,再通过属于各分类类别的图像样本,训练得到机器学习模型的模型参数。据此,在需要对待识别图像进行图像识别时,计算机设备可以获取事先训练得到的模型参数,再将该模型参数导入初始机器学习模型,得到机器学习模型。
在本实施例中,该机器学习模型包括第一子模型和第二子模型。第一子模型可以用于获得与待识别图像对应的第一图像特征,第二子模型可以用于获得与预处理图像对应的第二图像特征。由此可见,在机器学习模型内部,可以由两个彼此独立的子模型分别获得第一图像特征和第二图像特征。
此外,在其他实施例中,机器学习模型包括的子模型可以多于两个,例如,除第一子模型和第二子模型之外,机器学习模型还可以包括第三子模型和第四子模型等。其中,不同的子模型可以用于获得与不同版本的待识别图像对应的图像特征。不同版本的待识别图像可以包括:原始版本待识别图像(未经任何处理的待识别图像)和预处理版本待识别图像(经过预处理后的待识别图像)。并且,不同的预处理方式可以对应不同的预处理版本待识别图像。
其中,图像特征可以用于反映图像的特性。根据图像的特性可以对图像进行图像分类,即可以提取图像的图像特征,并根据图像特征对该图像进行图像分类,在此过程中,图像特征是进行图像分类的依据。在本实施例中,第一图像特征是待识别图像对应的图像特征,第二图像特征是预处理图像对应的图像特征。
具体地,第一图像特征和第二图像特征均可以是通过机器学习模型获得的高维特征。在一些实施例中,就数据结构而言,第一图像特征和第二图像特征均可以是一维向量,例如包含1024个浮点数的数组。
在本实施例中,对任一待识别图像进行图像识别时,均可以将该待识别图像和对该待识别图像进行预处理后获得的预处理图像一并输入机器学习模型中。继而,机器学习模型中的 第一子模型对该待识别图像进行特征提取,获得该待识别图像对应的第一图像特征,机器学习模型中的第二子模型对该预处理图像进行特征提取处理,获得该预处理图像对应的第二图像特征。而后,根据该第一图像特征和该第二图像特征进行后续处理。
具体地,机器学习模型可以包括两条输入通道。据此,可以通过机器学习模型的其中一条输入通道,将待识别图像输入该机器学习模型的第一子模型中,并通过另一条输入通道将预处理图像输入该机器学习模型的第二子模型中。
S208,计算机设备根据第一图像特征和第二图像特征,确定待识别图像属于该机器学习模型对应的分类类别的第一概率。
可以理解,图像可以用于反映与之相关的事物的属性,例如人物图像可以反映图像中的人物的性别(以下简称示例E-1),又例如,眼底图像可以反映糖尿病视网膜病变的性质及程度(以下简称示例E-2)。基于此,分类类别是与图像所反映的事物的属性相关的若干个分类类别,对于示例E-1,可以设置两个分类类别,分别为男性和女性,对于示例E-2,可以设置五个分类类别,分别为正常、温和非增值性病变、中度非增值性病变、重度非增值性病变、以及增值性病变。
在本实施例中,通过第一图像特征和第二图像特征,共同反映相应待识别图像所属的机器学习模型对应的分类类别。待识别图像的分类可以是二分类,也可以是多分类。待识别图像的二分类,是对于待识别图像而言,其候选的分类类别的总数目等于2,如上述示例E-1。待识别图像的多分类,是对于待识别图像而言,其候选的分类类别的总数目大于2,如上述示例E-2为待识别图像的五分类。
在本实施例中,根据第一图像特征和第二图像特征,确定待识别图像分别属于各分类类别的第一概率,例如各分类类别分别为A类别、B类别、以及C类别,则根据第一图像特征和第二图像特征,确定待识别图像属于A类别的第一概率、属于B类别的第一概率、以及属于C类别的第一概率。
其中,第一概率可以用于反映待识别图像属于相应分类类别的可能性大小,例如待识别图像属于A类别的第一概率用于反映待识别图像属于A类别的可能性大小。具体地,待识别图像属于某一分类类别的第一概率越大,可以表明该待识别图像属于该分类类别的可能性越大,反之,待识别图像属于某一分类类别的第一概率越小,可以表明该待识别图像属于该分类类别的可能性越小。基于此,可以根据待识别图像分别属于各分类类别的第一概率,进一步确定该待识别图像所属的分类类别。
在实际应用中,还可以根据待识别图像分别属于各分类类别的第一概率,预测该待识别图像所能反映的事物的属性。以待识别图像为眼底图像为例,可以根据待识别的眼底图像分别属于正常、温和非增值性病变、中度非增值性病变、重度非增值性病变、以及增值性病变的各第一概率,预测该眼底图像的主人的糖尿病视网膜病变的病情。
上述图像识别方法,获得待识别图像后,对待识别图像进行预处理,再通过机器学习模型中的第一子模型和第二子模型,分别获得待识别图像对应的第一图像特征、以及经过预处理后的待识别图像对应的第二图像特征,进而根据第一图像特征和第二图像特征,共同确定待识别图像属于机器学习模型对应的分类类别的概率。一方面,通过机器学习模型自动地对待识别图像进行分类,相较于人为判读的方式更加准确;另一方面,经过预处理后的待识别图像能够突显图像中的细节,结合第一图像特征和第二图像特征,既利用了原始的待识别图像中的基础信息,又利用了经过预处理后的待识别图像所突显的细节信息,可见,基于待识 别图像进行了充分的信息利用(即充分地挖掘了待识别图像中的信息),进一步提高了识别的准确性。
在一些实施例中,根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率的步骤,即步骤S208,可以包括如下步骤:将第一图像特征和第二图像特征,输入机器学习模型的输出层;通过机器学习模型的输出层,根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率。
在本实施例中,机器学习模型除包括第一子模型和第二子模型外,还包括输出层。机器学习模型的输出层用于根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率,并将其输出。
在一些实施例中,输出层可以是归一化指数(softmax)层。softmax层具备获得图像分类的最终分类结果的能力。具体地,softmax层可以以第一图像特征和第二图像特征为输入,并根据第一图像特征和第二图像特征依次进行矩阵乘法处理、向量加法处理以及归一化处理,从而得到待识别图像的最终分类结果,即待识别图像属于机器学习模型对应的分类类别的第一概率。
在本实施例中,通过机器学习模型,获得待识别图像对应的第一图像特征、以及预处理图像对应的第二图像特征后,继续通过机器学习模型,完成根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率的任务。即,用户可以直接将待识别图像和预处理图像一并输入机器学习模型,继而,机器学习模型可以自行完成各项任务,进而输出待识别图像属于机器学习模型对应的分类类别的第一概率。在图像识别过程中,无需人工定义机器学习模型的输入特征,实现了端到端的学习(end-to-end learning),简化了工作流程。
在一些实施例中,如图3所示,前文中的第一子模型包括第一特征检测子模型,第二子模型包括第二特征检测子模型,且机器学习模型还包括:与第一特征检测子模型连接的第一全连接层、与第二特征检测子模型连接的第二全连接层,且第一全连接层和第二全连接层均与输出层连接。在此情况下,可以通过第一特征检测子模型和第一全连接层,实现获得待识别图像对应的第一图像特征的步骤,并且可以通过第二特征检测子模型和第二全连接层,实现获得预处理图像对应的第二图像特征的步骤。
其中,特征检测子模型用于对其输入图像进行图像特征提取处理,获得该输入图像对应的中间图像特征。对于特征检测子模型而言,其获得的中间图像特征可以根据特征检测子模型的模型参数确定。具体地,第一特征检测子模型用于对待识别图像进行图像特征提取处理,获得该待识别图像对应的中间图像特征。类似地,第二特征检测子模型用于对预处理图像进行图像特征提取处理,获得该预处理图像对应的中间图像特征。
在一些实施例中,第一特征检测子模型和第二特征检测子模型的模型结构可以保持一致,两者可以仅是模型参数不同。并且,两者的模型结构均可以基于任何适用的卷积神经网络模型进行调整获得,例如两者的模型结构均可以是剔除inceptionV3模型最末端的输出层后所剩下的结构。此外,除inceptionV3模型以外,还可以对其他卷积神经网络模型进行调整,以获得第一特征检测子模型和第二特征检测子模型的模型结构,其他卷积神经网络模型如RestNet模型(或ResNet模型)、VGG(Visual Geometry Group)模型、DenseNet模型等。在其他实施例中,基于实际应用需求,第一特征检测子模型和第二特征检测子模型的模型结构也可以有所不同。
全连接层,可以用于对其输入特征和该全连接层对应的模型参数进行矩阵相乘处理,从而得到对应的目标图像特征。具体地,第一全连接层与第一特征检测子模型连接,可以理解,第一特征检测子模型的输出即为第一全连接层的输入,在此情况下,第一全连接层可以用于对第一特征检测子模型输出的中间图像特征和该第一全连接层对应的模型参数进行矩阵相乘处理,从而得到与待识别图像对应的第一图像特征。类似地,第二全连接层与第二特征检测子模型连接,第二特征检测子模型的输出即为第二全连接层的输入,在此情况下,第二全连接层可以用于对第二特征检测子模型输出的中间图像特征和该第二全连接层对应的模型参数进行矩阵相乘处理,从而得到与预处理图像对应的第二图像特征。
并且,在机器学习模型内部,第一全连接层和第二全连接层还均与输出层连接,可以理解,第一全连接层的输出和第二全连接层的输出,均是输出层的输入。在此情况下,输出层可以用于根据第一全连接层输出的第一图像特征、以及第二全连接层输出的第二图像特征,共同确定待识别图像属于机器学习模型对应的分类类别的第一概率,并将所确定的概率输出。
在本实施例中,计算机设备获得待识别图像和预处理图像后,将待识别图像输入机器学习模型的第一特征检测子模型中,并且,将预处理图像输入该机器学习模型的第二特征检测子模型中。而后,在该机器学习模型内部,一方面,第一特征检测子模型对待识别图像进行图像特征提取处理,并将提取获得的中间图像特征输出至第一全连接层,继而,第一全连接层根据该中间图像特征,获得待识别图像对应的第一图像特征,并将其输出至输出层。另一方面,第二特征检测子模型对预处理图像进行图像特征提取处理,并将提取获得的中间图像特征输出至第二全连接层,继而,第二全连接层根据该中间图像特征,获得待识别图像对应的第二图像特征,并将其输出至输出层。继而,输出层根据接收到的第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率,并将其输出。
此外,如前文所述,机器学习模型可以包括两条输入通道,此时,可以通过其中一条输入通道将待识别图像输入该机器学习模型的第一特征检测子模型中,并通过另一条输入通道将预处理图像输入该机器学习模型的第二特征检测子模型中。
在一些实施例中,根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率的步骤,即步骤S208,可以包括如下步骤:通过机器学习模型,根据第一图像特征获得待识别图像属于机器学习模型对应的分类类别的第二概率;通过机器学习模型,根据第二图像特征获得预处理图像属于机器学习模型对应的分类类别的第三概率;根据第二概率和第三概率进行运算,确定待识别图像属于机器学习模型对应的分类类别的第一概率。
其中,第二概率可以用于初步反映待识别图像属于相应分类类别的可能性大小。第三概率可以用于反映预处理图像属于相应分类类别的可能性大小。
在本实施例中,通过机器学习模型,获得待识别图像对应的第一图像特征、以及预处理图像对应的第二图像特征后,可以继续通过机器学习模型获得待识别图像属于机器学习模型对应的分类类别的第二概率,以及预处理图像属于机器学习模型对应的分类类别的第三概率。至此,机器学习模型完成了其工作任务。后续,可以由计算机设备上运行的、非机器学习模型的其他功能模块,实现根据第二概率和第三概率进行运算,从而获得待识别图像属于机器学习模型对应的分类类别的第一概率。或者,获得第二概率和第三概率后,也可以由人工或者其他计算机设备完成根据第二概率和第三概率进行运算的任务。可以理解,第一概率用于最终反映待识别图像属于相应分类类别的可能性大小。
在本实施例中,根据第一图像特征获得待识别图像分别属于各分类类别的第二概率,例如各分类类别分别为A类别、B类别、以及C类别,则根据第一图像特征,确定待识别图像属于A类别的第二概率、属于B类别的第二概率、以及属于C类别的第二概率。类似地,根据第二图像特征获得待识别图像分别属于各分类类别的第三概率,例如分类类别包括A类别、B类别、以及C类别,则根据第二图像特征,确定预处理图像属于A类别的第三概率、属于B类别的第三概率、以及属于C类别的第三概率。
在本实施例中,运算可以包括平均运算。在一些实施例中,平均运算具体可以是加权平均运算,例如根据待识别图像属于A类别的第二概率、第二概率对应的权重值,预处理图像属于A类别的第三概率、以及第三概率对应的权重值进行加权平均运算,获得待识别图像属于A类别的第一概率。
在一些实施例中,如图4所示,前文中的第一子模型包括第一分类子模型,第二子模型包括第二分类子模型。在此情况下,可以通过第一分类子模型,实现前文中获得待识别图像对应的第一图像特征、以及根据第一图像特征获得待识别图像属于机器学习模型对应的分类类别的第二概率的步骤,并通过第二分类子模型,实现前文中获得预处理图像对应的第二图像特征、以及根据第二图像特征获得预处理图像属于机器学习模型对应的分类类别的第三概率的步骤。
其中,第一分类子模型可以用于对待识别图像进行图像特征提取处理,获得该待识别图像对应的第一图像特征,并根据该第一图像特征确定待识别图像属于机器学习模型对应的分类类别的第二概率。类似地,第二分类子模型可以用于对预处理图像进行图像特征提取处理,获得该预处理图像对应的第二图像特征,并根据该第二图像特征确定预处理图像属于机器学习模型对应的分类类别的第三概率。
在一些实施例中,第一分类子模型和第二分类子模型的模型结构可以保持一致,两者可以仅是模型参数不同。并且,两者的模型结构均可以采用任何适用的卷积神经网络模型,卷积神经网络模型如inceptionV3模型、RestNet模型(或ResNet模型)、VGG(Visual Geometry Group)模型、或者DenseNet模型。在其他实施例中,第一分类子模型和第二分类子模型的模型结构也可以有所不同。
在本实施例中,计算机设备获得待识别图像和预处理图像后,将待识别图像输入机器学习模型的第一分类子模型中,并且,将预处理图像输入该机器学习模型的第二分类子模型中。而后,在该机器学习模型内部,一方面,第一分类子模型对待识别图像进行图像特征提取处理,获得该待识别图像对应的第一图像特征,再根据该第一图像特征确定该待识别图像属于机器学习模型对应的分类类别的第二概率,并将其输出;另一方面,第二分类子模型对预处理图像进行图像特征提取处理,获得该预处理图像对应的第二图像特征,再根据该第二图像特征确定该预处理图像属于机器学习模型对应的分类类别的第三概率,并将其输出。继而,由计算机设备运行的、非机器学习模型的其他功能模块(图4中命名为运算模块),根据第一分类子模型输出的各第二概率、以及第二分类子模型输出的各第三概率进行运算,获得待识别图像分别属于机器学习模型对应的各分类类别的第一概率。
此外,如前文所述,机器学习模型可以包括两条输入通道,此时,可以通过其中一条输入通道将待识别图像输入该机器学习模型的第一分类子模型中,并通过另一条输入通道将预处理图像输入该机器学习模型的第二分类子模型中。
在一些实施例中,前文中对待识别图像进行预处理的方式,包括下述至少一项或两项以 上的组合步骤:
计算机设备将所述待识别图像中的目标对象调整至参考对象尺寸;
计算机设备剪裁所述待识别图像中的无效区域,得到未包含所述无效区域的图像;
计算机设备将所述待识别图像调整至参考图像尺寸;
计算机设备对所述待识别图像的图像属性进行调整,所述图像属性包括对比度和灰度中的至少一项。
计算机设备对于待识别图像来说,可以通过上述任一步骤或至少两项步骤的组合来进行预处理,以突出待识别图像中的细节。
在一些实施例中,前文中对待识别图像进行预处理的方式,可以包括如下步骤:计算机设备将待识别图像中的目标对象调整至参考对象尺寸,获得第一调整图像;计算机设备裁剪第一调整图像中的无效区域,获得第二调整图像,第二调整图像中未包含无效区域;计算机设备将第二调整图像调整至参考图像尺寸,获得第三调整图像;预处理图像根据第三调整图像获得。
在本实施例中,计算机设备可以将目标对象调整至参考对象尺寸,获得第一调整图像。具体地,可以通过对待识别图像中包含的目标对象进行缩放处理实现。其中,目标对象是待识别图像内包含的图像内容,且是需要突显的对象。可以理解,目标对象可以根据实际应用需求进行设定,例如对于人物图像,可以事先将图像内的人物的嘴巴设定为目标对象,并将固定宽度值作为参考对象尺寸,在此情况下,达·芬奇的《蒙娜丽莎》这幅图像作为待识别图像时,可以将该图像内蒙娜丽莎这一人物的嘴巴部分进行缩放处理,从而将其嘴巴部分的尺寸调整至该固定宽度值。又例如,对于眼底图像,可以事先将图像内的眼球设定为目标对象,并将固定半径值作为参考对象尺寸,在此情况下,对于作为待识别图像的任一眼底图像,可以对该眼底图像中的眼球进行缩放处理,从而将该眼底图像内眼球的半径调整至该固定半径值。在一些实施例中,参考对象尺寸可以为一预设对象的尺寸,也可以为待识别图像中除目标对象以外的其他对象的尺寸,例如,对于眼底图像来说,可以将其中一个眼球设定为目标对象,而另一眼球设定为参考对象,则可以将眼底图像中的一个眼球调整至另一眼球的尺寸。
然后,计算机设备裁剪第一调整图像(即将待识别图像的目标对象调整至参考对象尺寸后获得的图像)中的无效区域,获得第二调整图像,第二调整图像中未包含无效区域。亦即是说,计算机设备裁剪掉第一调整图像中的无效区域,裁剪后剩余的不包含该无效区域的图像即为第二调整图像。其中,无效区域是对确定待识别图像属于机器学习模型对应的分类类别的第一概率这一任务起不到任何正面作用的图像区域。在一些实施例中,无效区域可以包括不具备有效的内容信息的区域,例如空白区域。
继而,将第二调整图像(即将第一调整图像裁剪掉无效区域后获得的图像)调整至参考图像尺寸,获得第三调整图像。在一些实施例中,第三调整图像即为预处理图像。需要说明的是,计算机设备在训练机器学习模型时,可以设置输入机器学习模型的训练图像的图像尺寸。据此,根据统一图像尺寸的训练图像(固定大小的输入)来训练机器学习模型,可以大大简化机器学习模型的复杂度。基于此,在对待识别图像进行图像识别时,计算机设备可以查询机器学习模型关联的参考图像尺寸,而后,在对待识别图像进行预处理的过程中,可以将第二调整图像的当前图像尺寸与参考图像尺寸进行比较,在该当前图像尺寸与参考图像尺寸不一致时,计算机设备可以将当前图像尺寸调整为参考图像尺寸。例如,参考图像尺寸可 以为512*512的分辨率。
需要说明的是,对于此处统一训练机器学习模型所用的训练图像的图像尺寸的设置,并不是对训练图像的图像尺寸的限定。训练机器学习模型的训练图像的图像尺寸也可以不是统一的图像尺寸。
在一些实施例中,前文中对待识别图像进行预处理的方式,还可以包括如下步骤:对目标调整图像的图像属性进行调整,目标调整图像包括第一调整图像、第二调整图像、第三调整图像中的任意一个,图像属性包括对比度和灰度中的至少一项。
具体地,在对待识别图像进行预处理的过程中,除前文中的将图像中包含的目标对象调整至参考对象尺寸、去除图像中的无效区域、将图像调整至参考图像尺寸这三个处理步骤之外,还可以调整图像的对比度。或者,除这三个处理步骤之外,还可以调整图像的灰度。再或者,除这三个步骤之外,还可以既调整图像的对比度,也调整图像的灰度。此外,图像属性也不局限于对比度和灰度,在其他实施例中,还可以包括亮度等,此时,图像属性便包括对比度、灰度、以及亮度中的至少一项。
其中,调整图像的对比度时,具体可以是对图像中的各像素的各像素值(R、G、B)进行如下处理:减去该像素所在的像素范围内的平均值,并将每个像素值乘以数值,从而增加各像素之间的区别度。可以理解,数值可以根据实际应用需求进行设定,例如可以设定为4。此外,调整图像的灰度时,可以使图像增加50%的灰度。需要说明的是,对目标调整图像的图像属性进行调整,可以突出目标调整图像的特征。以眼底图像为例,对眼底图像的对比度和灰度作出如上所述调整后,能够使得眼底图像中的血管部分和纹理特征等更为突出。
需要说明的是,调整图像属性的步骤,可以排列在将目标对象调整至参考对象尺寸这一步骤之前,即先调整待识别图像的图像属性,再对调整后的待识别图像中的目标对象调整至参考对象尺寸,获得第一调整图像,进而根据该第一调整图像进行后续处理。或者,调整图像属性的步骤,也可以紧跟在将目标对象调整至参考对象尺寸、裁剪图像中的无效区域、将图像调整至参考图像尺寸的处理这三个步骤中任意一个步骤之后,例如紧跟在裁剪图像中的无效区域之后,即调整第二调整图像的图像属性,再将调整过图像属性后的第二调整图像调整至参考图像尺寸,获得第三调整图像。
在一些实施例中,预处理图像的数目大于一,且各预处理图像是根据不同的预处理方式获得。
可以理解,在对任一待识别图像进行图像识别的过程中,若仅采用单一的预处理方式对该待识别图像进行预处理,得到的预处理图像的数目则等于一。
在本实施例中,在对任一待识别图像进行图像识别的过程中,可以分别采用两种以上的不同预处理方式,对待识别图像进行预处理。在此情况下,每一种预处理方式,均可以获得一幅与之对应的预处理图像,据此,分别采用各种不同的预处理方式对待识别图像进行预处理后,获得的与各种预处理方式分别对应(一一对应)的各预处理图像的总数目也相应为两幅以上。例如,分别采用预处理方式W1、预处理方式W2、预处理方式W3这三种不同的预处理方式,对待识别图像PO进行预处理,可以获得与预处理方式W1唯一对应的预处理图像Pd1、与预处理方式W2唯一对应的预处理图像Pd2、以及与预处理方式W3唯一对应的预处理图像Pd3(以下简称示例E-3)。
继而,计算机设备可以将待识别图像和各预处理图像一并输入机器学习模型中,通过该机器学习模型,分别获得待识别图像对应的第一图像特征、以及与各预处理图像分别对应的 各第二图像特征。而后,计算机设备再根据待识别图像对应的第一图像特征、与各预处理图像分别对应的各第二图像特征,共同确定该待识别图像属于机器学习模型对应的分类类别的第一概率。
需要说明的是,通过不同的预处理方式,能够进一步挖掘待识别图像中包含的信息,从而进一步提升模型的输出结果的准确性。
需要说明的是,在机器学习模型包括前文描述的第一特征检测子模型、第二特征检测子模型、第一全连接层、第二全连接层以及输出层的情况下,第二特征检测子模型的数目以及第二全连接层的数目均与预处理图像的数目匹配。具体地,当预处理图像的数目等于一时,第二特征检测子模型的数目以及第二全连接层的数目均等于一;当预处理图像的数目大于一时,第二特征检测子模型的数目以及第二全连接层的数目均大于一,且均可以与预处理图像的数目一致。
举例说明,对于示例E-3,如图5所示,机器学习模型包括用于获得待识别图像PO对应的第一图像特征F1的第一特征检测子模型MT1、用于获得预处理图像Pd1对应的第二图像特征F21-1的第二特征检测子模型MT2-1、用于获得预处理图像Pd2对应的第二图像特征F21-2的第二特征检测子模型MT2-2、用于获得预处理图像Pd3对应的第二图像特征F21-3的第二特征检测子模型MT2-3、第一全连接层FC1、第二全连接层FC2-1、第二全连接层FC2-2、第二全连接层FC2-3、以及输出层S。其中,第一特征检测子模型MT1连接第一全连接层FC1、第二特征检测子模型MT2-1连接第二全连接层FC2-1、第二特征检测子模型MT2-2连接第二全连接层FC2-2、第二特征检测子模型MT2-3连接第二全连接层FC2-3。并且,第一全连接层FC1、第二全连接层FC2-1、第二全连接层FC2-2、第二全连接层FC2-3均连接输出层S。基于此,输出层S根据第一全连接层FC1的输出结果、第二全连接层FC2-1的输出结果、第二全连接层FC2-2的输出结果、第二全连接层FC2-3的输出结果,共同确定待识别图像PO属于机器学习模型对应的分类类别的第一概率G11。
需要说明的是,在机器学习模型包括前文描述的第一分类子模型和第二分类子模型的情况下,第二分类子模型的数目与预处理图像的数目匹配。具体地,当预处理图像的数目大于一时,第二分类子模型数目大于一,且均与预处理图像的数目一致。基于此,计算机设备可以对第一分类子模型输出的第二概率,以及各第二分类子模型输出的第三概率进行运算,获得待识别图像属于机器学习模型对应的分类类别的第一概率。
举例说明,对于示例E-3,如图6所示,机器学习模型包括第一分类子模型MC1、第二分类子模型MC2-1、第二分类子模型MC2-2、以及第二分类子模型MC2-3。其中,第一分类子模型MC1用于对待识别图像PO进行图像特征提取处理,获得该待识别图像PO对应的第一图像特征F1,并根据该第一图像特征F1确定待识别图像PO属于机器学习模型对应的分类类别的第二概率G2;第二分类子模型MC2-1用于对预处理图像Pd1进行图像特征提取处理,获得该预处理图像Pd1对应的第二图像特征F21-1,并根据该第二图像特征F21-1确定该预处理图像Pd1属于机器学习模型对应的分类类别的第三概率G3-1;第二分类子模型MC2-2用于对预处理图像Pd2进行图像特征提取处理,获得该预处理图像Pd2对应的第二图像特征F21-2,并根据该第二图像特征F21-2确定该预处理图像Pd2属于机器学习模型对应的分类类别的第三概率G3-2;第二分类子模型MC2-3用于对预处理图像Pd3进行图像特征提取处理,获得该预处理图像Pd3对应的第二图像特征F21-3,并根据该第二图像特征F21-3确定该预处理图像Pd3属于机器学习模型对应的分类类别的第三概率G3-3。基于此,计算机设备可以对第一 分类子模型MC1输出的第二概率G2、第二分类子模型MC2-1输出的第三概率G3-1、第二分类子模型MC2-2输出的第三概率G3-2、第二分类子模型MC2-3输出的第三概率G3-3进行运算,确定待识别图像PO属于机器学习模型对应的分类类别的第一概率G12。
还需要说明的是,机器学习模型可以包括三条以上的输入通道。据此,可以通过机器学习模型的其中一条输入通道将待识别图像输入该机器学习模型中,并且,可以通过该机器学习模型中除该条输入通道以外的各条输入通道,分别将与各预处理方式对应的各预处理图像输入机器学习模型中。
在一些实施例中,可以通过机器学习模型中的一条输入通道将待识别图像输入该机器学习模型的第一特征检测子模型中,并通过除该条输入通道以外的其他各条输入通道,分别将与各预处理方式一一对应的各预处理图像输入其各自对应的第二特征检测子模型中。
在一些实施例中,可以通过机器学习模型中的一条输入通道将待识别图像输入该机器学习模型的第一分类子模型中,并通过除该条输入通道以外的其他各条输入通道,分别将与各预处理方式一一对应的各预处理图像输入其各自对应的第二分类子模型中。
在一些实施例中,如图7所示,确定机器学习模型的方式,可以包括如下步骤S702至步骤S712。S702,获取属于机器学习模型对应的分类类别的第一图像样本。S704,对第一图像样本进行数据增强处理,获得第一训练图像。S706,对第一图像样本进行预处理,并对经过预处理后的第一图像样本进行数据增强处理,获得第二训练图像。S708,根据第一训练图像进行模型训练,获得第一特征检测子模型。S710,根据第二训练图像进行模型训练,获得第二特征检测子模型。S712,根据第一训练图像、第二训练图像、第一特征检测子模型、以及第二特征检测子模型共同进行模型训练,确定第一全连接层、第二全连接层、以及输出层。
其中,第一图像样本是未经处理的图像样本。第一图像样本是真实分类结果已知的图像。计算机设备可以获取各第一图像样本的分类标签。其中,分类标签用于表示其对应的图像样本的已知的真实分类结果,即对于任一第一图像样本而言,其分类标签可以用于确定该第一图像样本真实所属的分类类别。在一些实施例中,分类标签所表示的真实分类结果,可以由人工分析确定,例如相关技术领域的专家分析确定。
第一训练图像,是经过数据增强处理后的第一图像样本,即对第一图像样本进行数据增强处理后获得的图像。可以理解,第一训练图像的分类标签与其对应的第一图像样本的分类标签一致。
第二训练图像,是先经过预处理再经过数据增强处理后的第一图像样本,即先对第一图像样本进行预处理,再对经过预处理后的第一图像样本进行数据增强处理后获得的图像。可以理解,第二训练图像的分类标签与其对应的第一图像样本的分类标签一致。
需要说明的是,对第一图像样本和经过预处理后的第一图像样本均进行数据增强处理,其中一个目的是扩充训练数据的数量,另一个目的是提升训练获得的机器学习模型的泛化能力。
在本实施例中,计算机设备可以根据第一训练图像进行模型训练,获得第一特征检测子模型,并且,根据第二训练图像进行模型训练,获得第二特征检测子模型。然后,计算机设备进行模型集成处理,使第一特征检测子模型的最末端连接一个全连接层,使第二特征检测子模型的最末端连接另一个全连接层,并使这两个全连接层连接一个输出层,并初始化这两个全连接层和一个输出层。继而,在第一特征检测子模型的模型参数和第二特征检测子模型的模型参数保持不变的情况下,根据第一训练图像、第二训练图像、第一特征检测子模型、 以及第二特征检测子模型进行模型训练,共同确定这两个全连接层的模型参数和输出层的模型参数。可以理解,这两个全连接层的模型参数和输出层的模型参数确定了,也就是确定了第一全连接层、第二全连接层、以及输出层,从而确定了整个机器学习模型。
具体地,计算机设备可以采用各第一训练图像和各第二训练图像有监督地进行模型训练。并且,在训练过程中,根据分类标签与机器学习模型自行确定的分类结果之间的差异,调整机器学习模型的模型参数并继续训练,直至满足训练停止条件时结束训练,结束训练时的模型参数即可以为机器学习模型的模型参数。具体地,可以通过机器学习模型的softmax层对该机器学习模型自行确定的分类结果与相应样本的分类标签进行比对,进而计算损失函数,再根据损失函数进行梯度反向传播,以此来调整该机器学习模型的模型参数。其中,损失函数可以为任何适用的损失函数,例如交叉熵损失函数。
其中,训练停止条件是结束模型训练的条件。训练停止条件可以是达到预设的迭代次数,或者是调整模型参数后的机器学习模型的分类性能指标达到预设指标。
此外,根据第一训练图像进行模型训练,获得第一特征检测子模型,这一训练过程可以采用迁移学习方式。采用迁移学习进行模型训练时,具体训练方式可以采用任何适用的迁移学习方式实现,例如可以采用transfer learning方式,即进行迁移训练时,将底层的网络当做一个特征提取器来使用。又例如,可以采用fine tune方式,即进行迁移训练时,所有的或大部分的层都会经过训练。
在一些实施例中,计算机设备可训练出机器学习模型并存储,在需要使用机器学习模型时即可直接获取并使用。计算机设备也可仅存储机器学习模型的模型参数,在需要使用机器学习模型时,获取模型参数并将其导入初始的机器学习模型后,得到机器学习模型并使用。
需要说明的是,根据样本和对样本添加的分类标签,有监督地训练得到机器学习模型,相较于无监督训练模式,提高了机器学习模型的分类准确性。此外,相较于传统的有监督训练模式,避免了人工定义机器学习模型的输入特征,提高了机器学习模型的训练效率及准确性。
在一些实施例中,如图8所示,确定机器学习模型的方式,可以包括如下步骤S802至步骤S808。S802,获取属于机器学习模型对应的分类类别的第二图像样本。S804,对第二图像样本进行数据增强处理,获得第三训练图像。S806,对第二图像样本进行预处理,并对经过预处理后的第二图像样本进行数据增强处理,获得第四训练图像。S808,根据第三训练图像进行模型训练,获得第一分类子模型,并根据第四训练图像进行模型训练,获得第二分类子模型。
本实施例与图7所示实施例的主要区别在于,需要训练的机器学习模型的模型结构不同。在本实施例中,训练获得的机器学习模型包括第一分类子模型和第二分类子模型,基于此,在模型训练过程中,根据第三训练图像进行模型训练,获得第一分类子模型,并根据第四训练图像进行模型训练,获得第二分类子模型后,便确定了整个机器学习模型。
其中,本实施例中对第二图像样本的限定,可以与前文中对第一图像样本的具体限定相同,术语“第一”和“第二”仅是在不同实施例中进行命名上的区分。此外,第三训练图像与前文中的第一训练图像情况类似,第四训练图像与前文中的第二训练图像情况也类似。并且,本实施例中,除涉及机器学习模型的模型结构的内容之外的其他内容,均可以参照前文中对图7所示实施例的限定。
在一些实施例中,对图像进行数据增强处理的方式,可以包括如下步骤:获取对应于几 何变换方式的第一变换参数;根据第一变换参数以及与该第一变换参数对应的几何变换方式,对图像进行几何变换处理。
其中,几何变换方式是不改变图像的像素值的图像变换方式。几何变换方式可以包括图像翻转、图像裁剪、图像缩放、图像旋转等中的至少一项。第一变换参数是几何变换处理中涉及的操作参数,例如图像旋转角度值、图像缩放比例值等。其中,第一变换参数可以是随机的,当然也可以是事先设定好的。
具体地,对图像进行几何变换处理的步骤,可以包括以下各项中的至少一项:根据翻转概率,使图像沿方向进行翻转;根据随机的裁剪参数,裁剪图像的边框;根据随机的图像尺寸调整值,调整图像的图像尺寸;根据随机的旋转角度值,使图像进行旋转。
并且,根据翻转概率,使图像沿方向进行翻转,例如根据50%的概率使图像进行左右翻转或者上下翻转。根据随机的裁剪参数,裁剪图像的边框,例如对图像的高和宽进行0%到20%的边框裁剪。根据图像尺寸调整值,调整图像的图像尺寸,例如将图像的图像尺寸缩放至原图的90%至110%;根据随机的旋转角度值,使图像进行旋转,例如将图像随机旋转-180°至180°。
在一些实施例中,对图像进行数据增强处理的方式,可以包括如下步骤:获取对应于图像属性调整方式的第二变换参数;根据第二变换参数以及与该第二变换参数对应的图像属性调整方式,对图像进行图像属性调整处理。
图像属性调整方式,是改变图像的像素值的图像变换方式。图像属性调整方式可以包括调整图像亮度、调整图像对比度等中的至少一项。第二变换参数是图像属性调整处理中涉及的操作参数,例如图像亮度值、图像对比度值等。其中,第二变换参数可以是随机的,当然也可以是事先设定好的。
具体地,对图像进行图像属性调整处理的步骤,可以包括以下各项中的至少一项:根据随机的亮度调整值,调整图像中的各像素的亮度;根据对比度调整值,调整图像中的各像素的对比度。
并且,根据随机的亮度调整值,调整图像中的各像素的亮度,例如对图像中的各像素随机增加-20至20的亮度值。根据对比度调整值,调整图像中的各像素的对比度,例如对图像中的各像素乘以0.8至1.2之间的一个随机数值。
在一些实施例中,如图9所示,提供了一种图像识别方法。以该方法涉及的待识别图像是眼底图像为例进行说明。该方法具体可以包括如下步骤S902至步骤S920。
S902,获取属于机器学习模型对应的分类类别的第一图像样本;对第一图像样本进行数据增强处理,获得第一训练图像;对第一图像样本进行预处理,并对经过预处理后的第一图像样本进行数据增强处理,获得第二训练图像;根据第一训练图像进行模型训练,获得第一特征检测子模型;根据第二训练图像进行模型训练,获得第二特征检测子模型;根据第一训练图像、第二训练图像、第一特征检测子模型、以及第二特征检测子模型共同进行模型训练,确定第一全连接层、第二全连接层、以及输出层,以确定机器学习模型。
S904,获取待识别眼底图像。
S906,对待识别眼底图像进行预处理,获得预处理眼底图像。
S908,将待识别眼底图像输入机器学习模型的第一特征检测子模型中。
S910,通过第一特征检测子模型,获得待识别眼底图像对应的中间图像特征,并将该中间图像特征输出至机器学习模型的第一全连接层。
S912,通过第一全连接层,根据来自第一特征检测子模型的中间图像特征,获得待识别眼底图像对应的第一图像特征,并将该第一图像特征输出至机器学习模型的输出层。
S914,将预处理眼底图像输入机器学习模型的第二特征检测子模型中。
S916,通过第二特征检测子模型,获得预处理眼底图像对应的中间图像特征,并将该中间图像特征输出至机器学习模型的第二全连接层。
S918,通过第二全连接层,根据来自第二特征检测子模型的中间图像特征,获得预处理眼底图像对应的第二图像特征,并将该第二图像特征输出至机器学习模型的输出层。
S920,通过机器学习模型的输出层,根据来自第一全连接层的第一图像特征和来自第二全连接层的第二图像特征,共同确定待识别眼底图像分别属于正常、温和非增值性病变、中度非增值性病变、重度非增值性病变、以及增值性病变这五个分类类别的各第一概率。
需要说明的是,对本实施例中的各技术特征的限定,可与前文各实施例中对相应技术特征的限定相同,此处不加赘述。
上述图像识别方法,获得待识别眼底图像后,对待识别眼底图像进行预处理,再通过机器学习模型,分别获得待识别眼底图像对应的第一图像特征、以及经过预处理后的待识别眼底图像对应的第二图像特征,进而根据第一图像特征和第二图像特征,共同确定待识别眼底图像属于机器学习模型对应的分类类别的概率。一方面,通过机器学习模型自动地对待识别眼底图像进行分类,相较于人为判读的方式更加准确;另一方面,经过预处理后的待识别眼底图像能够突显图像中的细节,结合第一图像特征和第二图像特征,既利用了原始的待识别眼底图像中的基础信息,又利用了经过预处理后的待识别眼底图像所突显的细节信息,可见,充分地挖掘了待识别眼底图像中的信息,进一步提高了识别的准确性。
应该理解的是,虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中,如图10所示,提供了一种图像识别装置1000。该装置可以包括如下模块1002至1008。待识别图像获取模块1002,用于获取待识别图像;预处理图像获取模块1004,用于对待识别图像进行预处理,获得预处理图像;图像特征获取模块1006,用于通过机器学习模型中的第一子模型获得待识别图像对应的第一图像特征,并通过机器学习模型中的第二子模型获得预处理图像对应的第二图像特征;预测概率确定模块1008,用于根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率。
上述图像识别装置1000,获得待识别图像后,对待识别图像进行预处理,再通过机器学习模型中的第一子模型和第二子模型,分别获得待识别图像对应的第一图像特征、以及经过预处理后的待识别图像对应的第二图像特征,进而根据第一图像特征和第二图像特征,共同确定待识别图像属于机器学习模型对应的分类类别的概率。一方面,通过机器学习模型自动地对待识别图像进行分类,相较于人为判读的方式更加准确;另一方面,经过预处理后的待识别图像能够突显图像中的细节,结合第一图像特征和第二图像特征,既利用了原始的待识别图像中的基础信息,又利用了经过预处理后的待识别图像所突显的细节信息,可见,充分 地挖掘了待识别图像中的信息,进一步提高了识别的准确性。
在一些实施例中,预测概率确定模块1008,可以包括如下单元:图像特征输出单元,用于将第一图像特征和第二图像特征,输入机器学习模型的输出层;第一预测概率确定单元,用于通过机器学习模型的输出层,根据第一图像特征和第二图像特征,确定待识别图像属于机器学习模型对应的分类类别的第一概率。
在一些实施例中,第一子模型包括第一特征检测子模型,第二子模型包括第二特征检测子模型;机器学习模型还包括:与第一特征检测子模型连接的第一全连接层、与第二特征检测子模型连接的第二全连接层,且第一全连接层和第二全连接层均与输出层连接。在此情况下,图像特征获取模块1006可以用于通过第一特征检测子模型和第一全连接层,获得待识别图像对应的第一图像特征,并通过第二特征检测子模型和第二全连接层,获得预处理图像对应的第二图像特征。
在一些实施例中,预测概率确定模块1008,可以包括如下单元:第二预测概率确定单元,用于通过机器学习模型,根据第一图像特征获得待识别图像属于机器学习模型对应的分类类别的第二概率;第三预测概率确定单元,用于通过机器学习模型,根据第二图像特征获得预处理图像属于机器学习模型对应的分类类别的第三概率;第四预测概率确定单元,用于根据第二概率和第三概率进行运算,确定待识别图像属于机器学习模型对应的分类类别的第一概率。
在一些实施例中,第一子模型包括第一分类子模型,第二子模型包括第二分类子模型。在此情况下,第二预测概率确定单元可以用于通过第一分类子模型,获得待识别图像对应的第一图像特征、以及根据第一图像特征获得待识别图像属于机器学习模型对应的分类类别的第二概率;第三预测概率确定单元可以用于通过第二分类子模型,获得预处理图像对应的第二图像特征、以及根据第二图像特征获得预处理图像属于机器学习模型对应的分类类别的第三概率。
在一些实施例中,预处理图像获取模块1004可以包括如下单元:第一调整图像获得单元,用于将待识别图像中的目标对象调整至参考对象尺寸,获得第一调整图像;第二调整图像获得单元,用于裁剪第一调整图像中的无效区域,获得第二调整图像,第二调整图像中未包含所述无效区域;第三调整图像获得单元,用于将第二调整图像调整至参考图像尺寸,获得第三调整图像;其中,预处理图像根据所述第三调整图像获得。
在一些实施例中,预处理图像获取模块1004还可以包括图像属性调整单元,其用于对目标调整图像的图像属性进行调整,目标调整图像包括第一调整图像、第二调整图像、第三调整图像中的任意一个,图像属性包括对比度和灰度中的至少一项。
在一些实施例中,预处理图像的数目大于一,且各预处理图像是根据不同的预处理方式获得。
在一些实施例中,图像识别装置1000还可以包括第一模型训练模块,该第一模型训练模型可以包括如下单元:第一样本获取单元,用于获取属于机器学习模型对应的分类类别的第一图像样本;第一训练图像获取单元,用于对第一图像样本进行数据增强处理,获得第一训练图像;第二训练图像获取单元,用于对第一图像样本进行预处理,并对经过预处理后的第一图像样本进行数据增强处理,获得第二训练图像;第一子模型训练单元,用于根据第一训练图像进行模型训练,获得第一特征检测子模型;第二子模型训练单元,根据第二训练图像进行模型训练,获得第二特征检测子模型;第一模型确定单元,用于根据第一训练图像、 第二训练图像、第一特征检测子模型、以及第二特征检测子模型共同进行模型训练,确定第一全连接层、第二全连接层、以及输出层。
在一些实施例中,图像识别装置1000还可以包括第二模型训练模块,该第二模型训练模型可以包括如下单元:第二样本获取单元,用于获取属于机器学习模型对应的分类类别的第二图像样本;第三训练图像获取单元,用于对第二图像样本进行数据增强处理,获得第三训练图像;第四训练图像获取单元,用于对第二图像样本进行预处理,并对经过预处理后的第二图像样本进行数据增强处理,获得第四训练图像;第二模型确定单元,用于根据第三训练图像进行模型训练,获得第一分类子模型,并根据第四训练图像进行模型训练,获得第二分类子模型。
在一些实施例中,第一训练图像获取单元或第三训练图像获取单元对图像进行数据增强处理的方式,均可以包括以下各项中的至少一项:根据翻转概率,使图像沿方向进行翻转;根据随机的裁剪参数,裁剪图像的边框;根据随机的亮度调整值,调整图像中的各像素的亮度;根据随机的对比度调整值,调整图像中的各像素的对比度;根据随机的图像尺寸调整值,调整图像的图像尺寸;根据随机的旋转角度值,使图像进行旋转。
在一些实施例中,待识别图像包括医学图像;机器学习模型包括卷积神经网络模型。
需要说明的是,关于上述图像识别装置1000涉及的技术特征的具体限定,可以参见前文中对于图像识别方法中涉及的对应技术特征的限定,在此不再赘述。此外,上述图像识别装置1000中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现本申请任一实施例提供的图像识别方法中的步骤。
在一个具体示例中,该计算机设备可以是图1中示出的服务器120,其内部结构图可以如图11所示。该计算机设备包括通过***总线连接的处理器、存储器以及网络接口。其中,该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质和内存储器,该非易失性存储介质存储有操作***、计算机程序和数据库,该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本申请任一实施例提供的图像识别方法中的步骤。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,本申请提供的图像识别装置1000可以实现为一种计算机程序的形式,计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像识别装置1000的各个程序模块,比如,图10所示的待识别图像获取模块1002、预处理图像获取模块1004、图像特征获取模块1006、以及预测概率确定模块1008。各个程序模块构成的计算机程序使得处理器执行本文中描述的本申请各实施例的图像识别方法中的步骤。例如,图11所示的计算机设备可以通过如图10所示的图像识别装置1000中的待识别图像获取模块1002执行步骤S202、通过预处理图像获取模块1004执行步骤S204、通过图像特征获取模块1006执行步骤S206、通过预测概率确定模块1008执行步骤S208等等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计 算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此,在一些实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本申请任一实施例提供的图像识别方法中的步骤。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (20)
- 一种图像识别方法,其特征在于,包括:计算机设备获取待识别图像;所述计算机设备对所述待识别图像进行预处理,获得预处理图像,以突出所述待识别图像中的细节;所述计算机设备通过机器学习模型中的第一子模型获得所述待识别图像对应的第一图像特征,通过所述机器学习模型中的第二子模型获得所述预处理图像对应的第二图像特征;所述计算机设备根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
- 根据权利要求1所述的方法,其特征在于,所述计算机设备根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率,包括:所述计算机设备将所述第一图像特征和所述第二图像特征,输入所述机器学习模型的输出层;所述计算机设备通过所述机器学习模型的输出层,根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
- 根据权利要求2所述的方法,其特征在于,所述第一子模型包括第一特征检测子模型,所述第二子模型包括第二特征检测子模型;所述机器学习模型还包括:与所述第一特征检测子模型连接的第一全连接层、与所述第二特征检测子模型连接的第二全连接层,且所述第一全连接层和所述第二全连接层均与所述输出层连接;所述计算机设备通过所述第一特征检测子模型和所述第一全连接层,实现获得所述待识别图像对应的第一图像特征的步骤;所述计算机设备通过所述第二特征检测子模型和所述第二全连接层,实现获得所述预处理图像对应的第二图像特征的步骤。
- 根据权利要求1所述的方法,其特征在于,所述计算机设备根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率,包括:所述计算机设备通过所述机器学习模型,根据所述第一图像特征获得所述待识别图像属于所述机器学习模型对应的分类类别的第二概率;所述计算机设备通过所述机器学习模型,根据所述第二图像特征获得所述预处理图像属于所述机器学习模型对应的分类类别的第三概率;所述计算机设备根据所述第二概率和所述第三概率进行运算,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
- 根据权利要求4所述的方法,其特征在于,所述第一子模型包括第一分类子模型,所述第二子模型包括第二分类子模型;所述计算机设备通过所述第一分类子模型,实现获得所述待识别图像对应的第一图像特征、以及根据所述第一图像特征获得所述待识别图像属于所述机器学习模型对应的分类类别的第二概率的步骤;所述计算机设备通过所述第二分类子模型,实现获得所述预处理图像对应的第二图像特征、以及根据所述第二图像特征获得所述预处理图像属于所述机器学习模型对应的分类类别的第三概率的步骤。
- 根据权利要求1所述的方法,其特征在于,所述计算机设备对所述待识别图像进行预处理的方式,包括下述至少一项或两项以上的组合步骤:所述计算机设备将所述待识别图像中的目标对象调整至参考对象尺寸;所述计算机设备剪裁所述待识别图像中的无效区域,得到未包含所述无效区域的图像;所述计算机设备将所述待识别图像调整至参考图像尺寸;所述计算机设备对所述待识别图像的图像属性进行调整,所述图像属性包括对比度和灰度中的至少一项。
- 根据权利要求1所述的方法,其特征在于,所述计算机设备对所述待识别图像进行预处理的方式,包括:所述计算机设备将所述待识别图像中的目标对象调整至参考对象尺寸,获得第一调整图像;所述计算机设备裁剪所述第一调整图像中的无效区域,获得第二调整图像,所述第二调整图像中未包含所述无效区域;所述计算机设备将所述第二调整图像调整至参考图像尺寸,获得第三调整图像;所述预处理图像根据所述第三调整图像获得。
- 根据权利要求7所述的方法,其特征在于,所述计算机设备对所述待识别图像进行预处理的方式,还包括:所述计算机设备对目标调整图像的图像属性进行调整,所述目标调整图像包括第一调整图像、所述第二调整图像、以及所述第三调整图像中的任意一个,所述图像属性包括对比度和灰度中的至少一项。
- 根据权利要求1所述的方法,其特征在于,所述预处理图像的数目大于一,且各所述预处理图像是根据不同的预处理方式获得。
- 根据权利要求3所述的方法,其特征在于,所述计算机设备确定所述机器学习模型的方式,包括:所述计算机设备获取属于所述机器学习模型对应的分类类别的第一图像样本;所述计算机设备对所述第一图像样本进行数据增强处理,获得第一训练图像;所述计算机设备对所述第一图像样本进行所述预处理,并对经过所述预处理后的所述第一图像样本进行所述数据增强处理,获得第二训练图像;所述计算机设备根据所述第一训练图像进行模型训练,获得所述第一特征检测子模型;所述计算机设备根据所述第二训练图像进行模型训练,获得所述第二特征检测子模型;所述计算机设备根据所述第一训练图像、所述第二训练图像、所述第一特征检测子模型、以及所述第二特征检测子模型共同进行模型训练,确定所述第一全连接层、所述第二全连接层、以及所述输出层。
- 根据权利要求5所述的方法,其特征在于,所述计算机设备确定所述机器学习模型的方式,包括:所述计算机设备获取属于所述机器学习模型对应的分类类别的第二图像样本;所述计算机设备对所述第二图像样本进行数据增强处理,获得第三训练图像;所述计算机设备对所述第二图像样本进行所述预处理,并对经过所述预处理后的所述第二图像样本进行所述数据增强处理,获得第四训练图像;所述计算机设备根据所述第三训练图像进行模型训练,获得所述第一分类子模型,并根据所述第四训练图像进行模型训练,获得所述第二分类子模型。
- 根据权利要求10或11所述的方法,其特征在于,所述数据增强处理的方式,包括:所述计算机设备获取对应于几何变换方式的第一变换参数;所述计算机设备根据所述第一变换参数以及与该第一变换参数对应的几何变换方式,对图像进行几何变换处理。
- 根据权利要求10或11所述的方法,其特征在于,所述数据增强处理的方式,包括:所述计算机设备获取对应于图像属性调整方式的第二变换参数;所述计算机设备根据所述第二变换参数以及与该第二变换参数对应的图像属性调整方式,对图像进行图像属性调整处理。
- 根据权利要求1所述的方法,其特征在于,所述待识别图像包括医学图像;所述机器学习模型包括卷积神经网络模型。
- 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现下述步骤:获取待识别图像;对所述待识别图像进行预处理,获得预处理图像,以突出所述待识别图像中的细节信息;通过机器学习模型中的第一子模型获得所述待识别图像对应的第一图像特征,通过所述机器学习模型中的第二子模型获得所述预处理图像对应的第二图像特征;根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
- 根据权利要求15所述的计算机设备,其特征在于,将所述第一图像特征和所述第二图像特征,输入所述机器学习模型的输出层;通过所述机器学习模型的输出层,根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
- 根据权利要求16所述的计算机设备,其特征在于,所述第一子模型包括第一特征检测子模型,所述第二子模型包括第二特征检测子模型;所述机器学习模型还包括:与所述第一特征检测子模型连接的第一全连接层、与所述第二特征检测子模型连接的第二全连接层,且所述第一全连接层和所述第二全连接层均与所述输出层连接;通过所述第一特征检测子模型和所述第一全连接层,实现获得所述待识别图像对应的第一图像特征的步骤;通过所述第二特征检测子模型和所述第二全连接层,实现获得所述预处理图像对应的第二图像特征的步骤。
- 根据权利要求15所述的计算机设备,其特征在于,所述根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率,包括:通过所述机器学习模型,根据所述第一图像特征获得所述待识别图像属于所述机器学习 模型对应的分类类别的第二概率;通过所述机器学习模型,根据所述第二图像特征获得所述预处理图像属于所述机器学习模型对应的分类类别的第三概率;根据所述第二概率和所述第三概率进行运算,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
- 根据权利要求15所述的计算机设备,其特征在于,对所述待识别图像进行预处理的方式,包括下述一项或两项的组合步骤:将所述待识别图像中的目标对象调整至参考对象尺寸;剪裁所述待识别图像中的无效区域,得到未包含所述无效区域的图像;将所述待识别图像调整至参考图像尺寸;对所述待识别图像的图像属性进行调整,所述图像属性包括对比度和灰度中的至少一项。
- 一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现下述步骤:获取待识别图像;对所述待识别图像进行预处理,获得预处理图像,以突出所述待识别图像中的细节信息;通过机器学习模型中的第一子模型获得所述待识别图像对应的第一图像特征,通过所述机器学习模型中的第二子模型获得所述预处理图像对应的第二图像特征;根据所述第一图像特征和所述第二图像特征,确定所述待识别图像属于所述机器学习模型对应的分类类别的第一概率。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020543014A JP7085007B2 (ja) | 2018-05-16 | 2019-04-18 | 画像認識方法、コンピュータ装置及びプログラム |
EP19803023.1A EP3757937A4 (en) | 2018-05-16 | 2019-04-18 | IMAGE RECOGNITION METHOD, STORAGE MEDIUM AND COMPUTER DEVICE |
US16/942,383 US11270169B2 (en) | 2018-05-16 | 2020-07-29 | Image recognition method, storage medium and computer device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810467783.2 | 2018-05-16 | ||
CN201810467783.2A CN108665457B (zh) | 2018-05-16 | 2018-05-16 | 图像识别方法、装置、存储介质及计算机设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/942,383 Continuation US11270169B2 (en) | 2018-05-16 | 2020-07-29 | Image recognition method, storage medium and computer device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019218835A1 true WO2019218835A1 (zh) | 2019-11-21 |
Family
ID=63779724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2019/083151 WO2019218835A1 (zh) | 2018-05-16 | 2019-04-18 | 图像识别方法、存储介质及计算机设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11270169B2 (zh) |
EP (1) | EP3757937A4 (zh) |
JP (1) | JP7085007B2 (zh) |
CN (2) | CN110335269A (zh) |
WO (1) | WO2019218835A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340137A (zh) * | 2020-03-26 | 2020-06-26 | 上海眼控科技股份有限公司 | 图像识别方法、装置及存储介质 |
CN112926462A (zh) * | 2021-03-01 | 2021-06-08 | 创新奇智(西安)科技有限公司 | 训练方法、装置、动作识别方法、装置及电子设备 |
CN113469295A (zh) * | 2021-09-02 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
CN113516003A (zh) * | 2021-03-10 | 2021-10-19 | 武汉特斯联智能工程有限公司 | 一种应用于智慧安防的基于识别模型的识别方法及装置 |
CN113537037A (zh) * | 2021-07-12 | 2021-10-22 | 北京洞微科技发展有限公司 | 路面病害识别方法、***、电子设备及存储介质 |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335269A (zh) | 2018-05-16 | 2019-10-15 | 腾讯医疗健康(深圳)有限公司 | 眼底图像的类别识别方法和装置 |
US11615208B2 (en) * | 2018-07-06 | 2023-03-28 | Capital One Services, Llc | Systems and methods for synthetic data generation |
JP6984020B2 (ja) * | 2018-07-31 | 2021-12-17 | オリンパス株式会社 | 画像解析装置および画像解析方法 |
WO2020062262A1 (en) | 2018-09-30 | 2020-04-02 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for generating a neural network model for image processing |
CN109427060A (zh) | 2018-10-30 | 2019-03-05 | 腾讯科技(深圳)有限公司 | 一种影像识别的方法、装置、终端设备和医疗*** |
CN109464120A (zh) * | 2018-10-31 | 2019-03-15 | 深圳市第二人民医院 | 一种糖尿病视网膜病变筛查方法、装置及存储介质 |
CN109724984B (zh) * | 2018-12-07 | 2021-11-02 | 上海交通大学 | 一种基于深度学习算法的缺陷检测识别装置和方法 |
CN111368601B (zh) * | 2018-12-26 | 2021-11-16 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、电子设备和计算机可读存储介质 |
CN109886415A (zh) * | 2019-01-07 | 2019-06-14 | 鲁班嫡系机器人(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
CN109859836B (zh) * | 2019-01-15 | 2022-03-22 | 上海鹰瞳医疗科技有限公司 | 医疗图像识别方法和设备 |
CN111611828A (zh) * | 2019-02-26 | 2020-09-01 | 北京嘀嘀无限科技发展有限公司 | 一种非正常图像识别方法、装置、电子设备及存储介质 |
EP3948773A1 (en) * | 2019-03-29 | 2022-02-09 | Ai Technologies Inc. | Image-based detection of ophthalmic and systemic diseases |
CN110009052B (zh) * | 2019-04-11 | 2022-11-18 | 腾讯科技(深圳)有限公司 | 一种图像识别的方法、图像识别模型训练的方法及装置 |
CN110188613A (zh) * | 2019-04-28 | 2019-08-30 | 上海鹰瞳医疗科技有限公司 | 图像分类方法及设备 |
CN110245662B (zh) * | 2019-06-18 | 2021-08-10 | 腾讯科技(深圳)有限公司 | 检测模型训练方法、装置、计算机设备和存储介质 |
CN110414572B (zh) * | 2019-07-08 | 2021-09-07 | 北京三快在线科技有限公司 | 一种图像识别的方法及装置 |
CN110717395A (zh) * | 2019-09-06 | 2020-01-21 | 平安城市建设科技(深圳)有限公司 | 图片物体处理方法、装置及存储介质 |
JP7410619B2 (ja) * | 2019-10-31 | 2024-01-10 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN110927167A (zh) * | 2019-10-31 | 2020-03-27 | 北京海益同展信息科技有限公司 | 一种禽蛋检测方法、装置、电子设备及存储介质 |
CN110866908B (zh) * | 2019-11-12 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器及存储介质 |
CN110929807B (zh) * | 2019-12-06 | 2021-04-06 | 腾讯科技(深圳)有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
CN110974415B (zh) * | 2019-12-19 | 2020-10-30 | 向欣 | 一种动脉瘤容积的三维造影动脉瘤形态数据库建立方法 |
CN111209947A (zh) * | 2019-12-31 | 2020-05-29 | 歌尔股份有限公司 | 图像识别方法、设备、存储介质及装置 |
US11531571B2 (en) * | 2020-01-29 | 2022-12-20 | Walmart Apollo, Llc | Systems and methods for processing of catalog items with a plurality of models |
CN111325117B (zh) * | 2020-02-05 | 2024-01-26 | 北京字节跳动网络技术有限公司 | 目标对象识别模型的训练方法、装置和电子设备 |
FR3108176B1 (fr) * | 2020-03-10 | 2022-09-02 | Data Pixel | Dispositif de détection de défauts de surface sur au moins une face terminale d’au moins une fibre optique. |
CN111292839B (zh) * | 2020-05-13 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
JP7486349B2 (ja) * | 2020-05-28 | 2024-05-17 | キヤノン株式会社 | ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置 |
CN111753729B (zh) * | 2020-06-24 | 2022-06-24 | 西安深信科创信息技术有限公司 | 一种假脸检测方法、装置、电子设备及存储介质 |
CN111783700B (zh) * | 2020-07-06 | 2023-11-24 | 中国交通通信信息中心 | 一种路面异物自动识别预警方法和*** |
CN111951933B (zh) * | 2020-08-07 | 2023-01-17 | 平安科技(深圳)有限公司 | 眼底彩照图像分级方法、装置、计算机设备及存储介质 |
CA3194441A1 (en) | 2020-09-30 | 2022-04-07 | Marcus Emilio DEAYALA | Retinal imaging system |
CN112529040A (zh) * | 2020-11-16 | 2021-03-19 | 深圳壹账通智能科技有限公司 | 模型生成的方法、装置、电子设备及介质 |
CN112308034A (zh) * | 2020-11-25 | 2021-02-02 | 中国科学院深圳先进技术研究院 | 一种性别分类的方法、设备、终端及计算机存储介质 |
JP2022104239A (ja) * | 2020-12-28 | 2022-07-08 | 株式会社トプコン | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム |
CN112836661A (zh) * | 2021-02-07 | 2021-05-25 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN113033659A (zh) * | 2021-03-24 | 2021-06-25 | 北京百度网讯科技有限公司 | 图像识别模型的训练与图像识别的方法、装置 |
CN113076993B (zh) * | 2021-03-31 | 2023-04-18 | 零氪智慧医疗科技(天津)有限公司 | 用于胸部x光片识别的信息处理方法、模型训练方法 |
CN113140012B (zh) * | 2021-05-14 | 2024-05-31 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、介质及电子设备 |
CN113420797B (zh) * | 2021-06-08 | 2023-05-30 | 杭州知衣科技有限公司 | 一种可在线学习的图像属性识别方法及*** |
CN113409290B (zh) * | 2021-06-29 | 2023-12-15 | 北京兆维电子(集团)有限责任公司 | 一种液晶屏外观缺陷检测方法、装置及存储介质 |
CN113536553B (zh) * | 2021-06-30 | 2024-05-17 | 广东利元亨智能装备股份有限公司 | 一种模型简化处理方法、装置、设备及计算机存储介质 |
CN113486947A (zh) * | 2021-07-01 | 2021-10-08 | 有米科技股份有限公司 | 基于尺寸数据的服装商品性别分类方法及装置 |
CN113688893A (zh) * | 2021-08-19 | 2021-11-23 | 西交利物浦大学 | 一种图片分类的方法、装置、电子设备及存储介质 |
CN114550240A (zh) * | 2022-01-28 | 2022-05-27 | 北京百度网讯科技有限公司 | 图像识别的方法、装置、电子设备及存储介质 |
WO2023184359A1 (en) * | 2022-03-31 | 2023-10-05 | Qualcomm Incorporated | System and method for image processing using mixed inference precision |
US20240112329A1 (en) * | 2022-10-04 | 2024-04-04 | HeHealth PTE Ltd. | Distinguishing a Disease State from a Non-Disease State in an Image |
CN115424084B (zh) * | 2022-11-07 | 2023-03-24 | 浙江省人民医院 | 基于类别加权网络的眼底照片分类方法与装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097335A (zh) * | 2016-06-08 | 2016-11-09 | 安翰光电技术(武汉)有限公司 | 消化道病灶图像识别***及识别方法 |
CN107045720A (zh) * | 2017-05-04 | 2017-08-15 | 深圳硅基智能科技有限公司 | 用于识别眼底图像病变的人工神经网络及*** |
CN107220598A (zh) * | 2017-05-12 | 2017-09-29 | 中国科学院自动化研究所 | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 |
CN107423571A (zh) * | 2017-05-04 | 2017-12-01 | 深圳硅基仿生科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别*** |
CN108665457A (zh) * | 2018-05-16 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质及计算机设备 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06231258A (ja) * | 1993-01-29 | 1994-08-19 | Video Res:Kk | ニューラルネットワークを用いた画像認識装置 |
JP2008009728A (ja) | 2006-06-29 | 2008-01-17 | Ritsumeikan | 表情認識方法及び表情認識装置 |
US10424678B2 (en) | 2011-01-10 | 2019-09-24 | Toyota Motor Engineering & Manufacturing North America, Inc. | Solar cell with double groove diffraction grating |
AU2014218444B2 (en) * | 2014-08-29 | 2017-06-15 | Canon Kabushiki Kaisha | Dynamic feature selection for joint probabilistic recognition |
JP6528608B2 (ja) | 2015-08-28 | 2019-06-12 | カシオ計算機株式会社 | 診断装置、及び診断装置における学習処理方法、並びにプログラム |
CN107545271B (zh) * | 2016-06-29 | 2021-04-09 | 阿里巴巴集团控股有限公司 | 图像识别方法、装置和*** |
KR102483642B1 (ko) | 2016-08-23 | 2023-01-02 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
CN106530295A (zh) * | 2016-11-07 | 2017-03-22 | 首都医科大学 | 一种视网膜病变的眼底图像分类方法和装置 |
CN106650806B (zh) * | 2016-12-16 | 2019-07-26 | 北京大学深圳研究生院 | 一种用于行人检测的协同式深度网络模型方法 |
CN108460649A (zh) * | 2017-02-22 | 2018-08-28 | 阿里巴巴集团控股有限公司 | 一种图像识别方法及装置 |
CN107180426B (zh) * | 2017-06-06 | 2020-12-08 | 西北工业大学 | 基于可迁移的多模型集成的计算机辅助肺结节分类装置 |
CN107341506A (zh) * | 2017-06-12 | 2017-11-10 | 华南理工大学 | 一种基于多方面深度学习表达的图像情感分类方法 |
CN107680684B (zh) * | 2017-10-12 | 2021-05-07 | 百度在线网络技术(北京)有限公司 | 用于获取信息的方法及装置 |
CN107909095A (zh) * | 2017-11-07 | 2018-04-13 | 江苏大学 | 一种基于深度学习的图像识别方法 |
CN107818313B (zh) * | 2017-11-20 | 2019-05-14 | 腾讯科技(深圳)有限公司 | 活体识别方法、装置和存储介质 |
CN108009592A (zh) * | 2017-12-15 | 2018-05-08 | 云南大学 | 一种糖尿病性视网膜图像自动分类方法 |
CN108781831A (zh) | 2018-07-11 | 2018-11-13 | 巫溪县渝川农业开发有限公司 | 苗木嫁接捆绑机 |
-
2018
- 2018-05-16 CN CN201910611035.1A patent/CN110335269A/zh active Pending
- 2018-05-16 CN CN201810467783.2A patent/CN108665457B/zh active Active
-
2019
- 2019-04-18 EP EP19803023.1A patent/EP3757937A4/en active Pending
- 2019-04-18 JP JP2020543014A patent/JP7085007B2/ja active Active
- 2019-04-18 WO PCT/CN2019/083151 patent/WO2019218835A1/zh unknown
-
2020
- 2020-07-29 US US16/942,383 patent/US11270169B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106097335A (zh) * | 2016-06-08 | 2016-11-09 | 安翰光电技术(武汉)有限公司 | 消化道病灶图像识别***及识别方法 |
CN107045720A (zh) * | 2017-05-04 | 2017-08-15 | 深圳硅基智能科技有限公司 | 用于识别眼底图像病变的人工神经网络及*** |
CN107423571A (zh) * | 2017-05-04 | 2017-12-01 | 深圳硅基仿生科技有限公司 | 基于眼底图像的糖尿病视网膜病变识别*** |
CN107220598A (zh) * | 2017-05-12 | 2017-09-29 | 中国科学院自动化研究所 | 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法 |
CN108665457A (zh) * | 2018-05-16 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质及计算机设备 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3757937A4 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111340137A (zh) * | 2020-03-26 | 2020-06-26 | 上海眼控科技股份有限公司 | 图像识别方法、装置及存储介质 |
CN112926462A (zh) * | 2021-03-01 | 2021-06-08 | 创新奇智(西安)科技有限公司 | 训练方法、装置、动作识别方法、装置及电子设备 |
CN112926462B (zh) * | 2021-03-01 | 2023-02-07 | 创新奇智(西安)科技有限公司 | 训练方法、装置、动作识别方法、装置及电子设备 |
CN113516003A (zh) * | 2021-03-10 | 2021-10-19 | 武汉特斯联智能工程有限公司 | 一种应用于智慧安防的基于识别模型的识别方法及装置 |
CN113537037A (zh) * | 2021-07-12 | 2021-10-22 | 北京洞微科技发展有限公司 | 路面病害识别方法、***、电子设备及存储介质 |
CN113469295A (zh) * | 2021-09-02 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
CN113469295B (zh) * | 2021-09-02 | 2021-12-03 | 北京字节跳动网络技术有限公司 | 生成模型的训练方法、息肉识别方法、装置、介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
EP3757937A1 (en) | 2020-12-30 |
EP3757937A4 (en) | 2021-09-22 |
CN110335269A (zh) | 2019-10-15 |
US11270169B2 (en) | 2022-03-08 |
JP7085007B2 (ja) | 2022-06-15 |
US20200356805A1 (en) | 2020-11-12 |
JP2021513167A (ja) | 2021-05-20 |
CN108665457B (zh) | 2023-12-19 |
CN108665457A (zh) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019218835A1 (zh) | 图像识别方法、存储介质及计算机设备 | |
US11961233B2 (en) | Method and apparatus for training image segmentation model, computer device, and storage medium | |
CN109523526B (zh) | 组织结节检测及其模型训练方法、装置、设备和*** | |
CN110930416B (zh) | 一种基于u型网络的mri图像***分割方法 | |
WO2018120942A1 (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
KR101849072B1 (ko) | 콘텐츠 기반 의료 영상 검색 방법 및 시스템 | |
CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
WO2022089221A1 (zh) | 医学图像分割方法、装置、设备、***及计算机存储介质 | |
CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及*** | |
CN111488912B (zh) | 一种基于深度学习神经网络的喉部疾病诊断*** | |
CN117058676B (zh) | 一种基于眼底检查影像的血管分割方法、装置和*** | |
CN114862868B (zh) | 基于ct灌注源数据的脑卒中最终梗死区分割方法 | |
CN116092667A (zh) | 基于多模态影像的疾病检测方法、***、装置及存储介质 | |
CN114820483A (zh) | 图像检测方法、装置及计算机设备 | |
KR101928302B1 (ko) | 콘텐츠 기반 의료 영상 검색 방법 및 시스템 | |
CN114359308A (zh) | 一种基于边缘响应与非线性损失的主动脉夹层分割方法 | |
Tawfeeq et al. | Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap. | |
CN112862089A (zh) | 一种具有可解释性的医学图像深度学习方法 | |
CN112766332A (zh) | 医学影像检测模型训练方法、医学影像检测方法及装置 | |
Jin et al. | Effusion area segmentation for knee joint ultrasound image based on atrous-fcn with snake model algorithm | |
Shah et al. | Non-invasive Primary Screening of Oral Lesions into Binary and Multi Class using Convolutional Neural Network, Stratified K-fold Validation and Transfer Learning | |
Obukhova et al. | Two-stage method for polyps segmentation in endoscopic images | |
CN114821645B (zh) | 融合残差Inception与双向ConvGRU的皮肤病变分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19803023 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020543014 Country of ref document: JP Kind code of ref document: A |
|
ENP | Entry into the national phase |
Ref document number: 2019803023 Country of ref document: EP Effective date: 20200924 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |