WO2021051519A1 - 识别模型训练、眼底特征的识别方法、装置、设备及介质 - Google Patents

识别模型训练、眼底特征的识别方法、装置、设备及介质 Download PDF

Info

Publication number
WO2021051519A1
WO2021051519A1 PCT/CN2019/116940 CN2019116940W WO2021051519A1 WO 2021051519 A1 WO2021051519 A1 WO 2021051519A1 CN 2019116940 W CN2019116940 W CN 2019116940W WO 2021051519 A1 WO2021051519 A1 WO 2021051519A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fundus
preset
recognition model
neural network
Prior art date
Application number
PCT/CN2019/116940
Other languages
English (en)
French (fr)
Inventor
王瑞
赵君寰
王立龙
袁源智
吕传峰
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Priority to US17/620,780 priority Critical patent/US11967071B2/en
Publication of WO2021051519A1 publication Critical patent/WO2021051519A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • This application relates to the field of image processing, and in particular to a method, device, computer equipment, and storage medium for recognizing model training and fundus feature recognition.
  • the pigment of the retinal pigment epithelium layer is less, the choroidal capillary space is blocked and the pigment increases.
  • the transparency of the choroidal blood vessel decreases, and the capillaries become thinner and thinner.
  • the large and medium blood vessel structure of the choroid and the pigmented area of the blood vessel space can be seen through the retina , Forming a texture similar to leopard skin, so it is called a leopard eye fundus, or a textured eye fundus.
  • Leopard-shaped fundus is common in young adults with high myopia.
  • This application provides a recognition model training, fundus feature recognition method, device, computer equipment, and storage medium to extract the red channel image of the fundus color photo image, and combine the feature map output by the first convolutional neural network with the original image Combine the input to the second convolutional neural network, and train the recognition model according to the total loss value output by the total loss function, so as to realize the automatic recognition of the leopard-shaped fundus features of the fundus color photo image, improve the accuracy of the recognition model, and improve Identify the efficiency and reliability of the model.
  • a method for training a recognition model includes:
  • the preset recognition model includes sequentially connected input units, a first convolutional neural network, and a first convolutional neural network. Two convolutional neural network;
  • the label value, the first recognition result, and the second recognition result are input into a preset loss function to obtain a total loss value; wherein the loss function includes the first convolutional neural network Loss weight and the second loss weight of the second convolutional neural network;
  • a method for recognizing fundus features including:
  • the color fundus photo image to be detected is input into a preset recognition model, and the recognition result of the leopard-shaped fundus feature of the color fundus photo image to be detected, which is output by the preset recognition model, is obtained;
  • the preset recognition model is The above-mentioned preset recognition model that has been trained.
  • a recognition model training device including:
  • the acquiring module is used to acquire a color fundus photo image sample associated with the label value, and input the color fundus photo image sample into a preset recognition model containing initial parameters;
  • the preset recognition model includes sequentially connected input units and the first volume Product neural network and second convolutional neural network;
  • An extraction module configured to extract, in the input unit, the red channel image in the red channel in the fundus color photo image sample
  • the first convolution module is configured to input the red channel image into the first convolutional neural network to obtain a first recognition result and a feature map of the red channel image;
  • a second convolution module configured to combine the fundus color photo image sample with the feature map to generate a combined image, and input the combined image into the second convolutional neural network to obtain a second recognition result
  • a calculation module configured to input the label value, the first recognition result, and the second recognition result into a preset loss function to obtain a total loss value; wherein the loss function includes the first convolution The first loss weight of the neural network and the second loss weight of the second convolutional neural network;
  • the completion module is configured to complete the training of the preset recognition model when the total loss value is less than or equal to the preset loss threshold.
  • a recognition device for fundus features including:
  • the receiving module is used to receive the fundus color photo image to be detected
  • a recognition module configured to input the color fundus photo image to be detected into a preset recognition model, and obtain the recognition result of the leopard-shaped fundus feature of the color fundus photo image to be detected that is output by the preset recognition model;
  • the preset recognition model is the preset recognition model that has been trained as described above.
  • a computer device comprising a memory, a processor, and computer readable instructions stored in the memory and running on the processor, and the processor implements the steps of the above recognition model training method when the processor executes the computer program Or, when the processor executes the computer-readable instructions, the steps of the above-mentioned fundus feature recognition method are realized.
  • a non-volatile computer-readable storage medium on which computer instructions are stored, which implement the above recognition model training method when the computer instructions are executed by a processor, or implement the above fundus features when the computer instructions are executed by a processor Method of identification.
  • Fig. 1 is a schematic diagram of an application environment of a recognition model training method in an embodiment of the present application
  • Fig. 2 is a flowchart of a recognition model training method in an embodiment of the present application
  • FIG. 3 is a flowchart of step S20 of the recognition model training method in an embodiment of the present application.
  • step S40 of the recognition model training method in an embodiment of the present application is a flowchart of step S40 of the recognition model training method in an embodiment of the present application
  • FIG. 5 is a flowchart of step S40 of the recognition model training method in another embodiment of the present application.
  • Fig. 6 is a flowchart of a method for recognizing fundus features in an embodiment of the present application.
  • Fig. 7 is a functional block diagram of a recognition model training device in an embodiment of the present application.
  • FIG. 8 is a functional block diagram of a device for recognizing fundus features in an embodiment of the present application.
  • Fig. 9 is a schematic diagram of a computer device in an embodiment of the present application.
  • the recognition model training method provided in this application can be applied in an application environment as shown in Fig. 1, in which a client (computer equipment) communicates with a server through a network.
  • the client includes, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, cameras, and portable wearable devices.
  • the server can be implemented as an independent server or a server cluster composed of multiple servers.
  • a method for training a recognition model is provided, and the technical solution mainly includes the following steps S10-S60:
  • the color fundus photo image samples will be associated with the corresponding label value.
  • the size of the color fundus photo image sample is set according to requirements. Preferably, the size of the color fundus photo image sample is 512 ⁇ 512 (a square of 512 pixels).
  • the preset recognition model includes initial parameters, and includes the input unit, the first convolutional neural network, and the second convolutional neural network, and the input unit is connected to the first volume A product neural network, the first convolutional neural network is connected to the second convolutional neural network.
  • the fundus color photo image sample includes an RGB (Red Green Blue, red, green, and blue) three-channel image, and the red channel image in the fundus color photo image sample is extracted and determined as the red channel image.
  • RGB Red Green Blue, red, green, and blue
  • step S20 extracting, in the input unit, the red channel image in the red channel in the fundus color photo image sample includes:
  • S201 Separate the fundus color photo image sample into three types of images corresponding to a red channel, a green channel, and a blue channel in the input unit.
  • the color fundus photo image sample is separated into a red channel image, a green channel image, and a blue channel image through the input unit.
  • the separated image of the red channel is determined as the red channel image of the fundus color photograph image sample. Since the leopard-like fundus is the texture of red leopard skin formed by the blood vessel structure, the characteristics of the leopard-like fundus are obvious in the red channel of the image.
  • the leopard-like fundus features are mainly expressed in the red channel of the fundus color photo image
  • the red channel image of the fundus color photo image sample is extracted for recognition, which reduces the interference of the non-red channel image on the recognition of the leopard-like fundus feature. Improve the accuracy of the recognition model.
  • the size of the red channel image is the same as the size of the fundus color photo image sample.
  • the size of the red channel image is 512 ⁇ 512
  • the red channel image is input to the first convolution A neural network, wherein the first convolutional neural network extracts the leopard-shaped fundus features of the fundus color photo image sample to obtain the first recognition result, and obtains the feature map of the red channel image.
  • the first convolutional neural network includes a merged convolution, the merged convolution is a convolution of a 1 ⁇ 1 convolution kernel, and the merged convolution passes the input feature maps of multiple channels through the 1 ⁇ 1 convolution
  • the convolution conversion of the product kernel outputs a feature map with only one channel, and the feature map of the one channel is marked as the feature map of the red channel image, wherein the size of the feature map input by the multiple channels is the same as that of the red channel image.
  • the size of the feature map of the channel image is the same.
  • the network structure of the first convolutional neural network can be adjusted according to different data sets or different tasks, and the combined convolution will be added, that is, the network structure of the first convolutional neural network is not limited to including Several layers include the network structure of the convolutional neural network with multiple 1 ⁇ 1 convolution kernels, the Resnet50 network structure, the DenseNet121 network structure, the VGGnet network structure, etc., and the combined convolution is added to obtain the red channel image Feature map.
  • the network structure of the first convolutional neural network includes a Resnet50 network structure, and after the last layer of convolution of the Resnet50 network structure, an additional connection of the combined convolution is added, that is, , Input the red channel image (size 512 ⁇ 512) into the first convolutional neural network, and obtain 2048 after five layers of deep convolution in the first convolutional neural network including the Resnet50 network structure
  • the feature maps of each channel (the size is 16 ⁇ 16), and then the feature maps of the 512 channels are input into the composite convolution to obtain the feature map of the red channel image (the size is 16 ⁇ 16), and include
  • the first convolutional neural network of the Resnet50 network structure extracts the leopard-shaped fundus features of the fundus color photo image sample, and marks the recognition result obtained by the first convolutional neural network as the first Recognition results.
  • the network structure of the first convolutional neural network includes five layers and each layer has a network structure of a convolutional neural network with 64 1 ⁇ 1 convolution kernels. After the layer convolution, one of the merged convolutions is added and connected, that is, the red channel image (size 512 ⁇ 512) is input to the first convolutional neural network, after including the five layers and each layer has The five-layer deep convolution in the first convolutional neural network in the network structure of the convolutional neural network with 64 1 ⁇ 1 convolution kernels obtains the feature map of 64 channels (the size is 512 ⁇ 512), Then input the feature maps of the 64 channels into the synthetic convolution to obtain the feature map of the red channel image (size is 512 ⁇ 512), and include the five layers and each layer has 64 1 ⁇ 1 The network structure of the convolutional neural network of the convolution kernel. The first convolutional neural network extracts the leopard-shaped fundus features of the fundus color photo image sample, and the recognition obtained by the first convolutional neural network The result is marked
  • the multi-channel feature map can be converted into a channel feature map through the merged convolution, and the extracted leopard-shaped fundus features are summarized, the leopard-shaped fundus features are enhanced, and the red channel image is provided Characteristic map.
  • the fundus color photo image sample including the RGB three channels is combined with the feature map (one channel) of the red channel image to generate the combined image of four channels, and the combined image is input to The second convolutional neural network, the second convolutional neural network extracts the leopard-shaped fundus features of the combined image, to obtain the second recognition result, wherein the second convolutional neural network
  • the network structure can be adjusted according to different data sets or different tasks, that is, the network structure of the second convolutional neural network is not limited to include the Resnet50 network structure, the DenseNet121 network structure, the VGGnet network structure, and the like.
  • the mode of combining the color fundus photo image sample and the feature map includes two methods of stitching and superimposing. In this embodiment, preferably, the mode of combining the color fundus photo image sample and the feature map It is a superposition combination method.
  • the combining the fundus color photograph image sample with the feature map to generate a combined image includes:
  • S401 Acquire the original image size of the fundus color photograph image sample and the feature image size of the feature image.
  • the original image size of the fundus color photo image sample is acquired, for example, the original image size of the fundus color photo image sample is 512 ⁇ 512, and the feature image size of the feature image is acquired, for example, the red channel image
  • the feature map size is 16 ⁇ 16.
  • S402 When the size of the feature image is smaller than the size of the original image, the feature image is interpolated and filled by the nearest neighbor interpolation method until the feature image is equal in size to the original image.
  • the feature maps with the same size are marked as feature filled maps.
  • the feature image size of the red channel image is 16 ⁇ 16 smaller than the original image size 512 ⁇ 512 of the fundus color photo image sample
  • the feature map is interpolated and filled by the nearest neighbor interpolation method until the size of the original image is equal, that is, the feature map is interpolated and filled to a size of 512 ⁇ 512, and it is marked as a feature filled map.
  • the value of each pixel is used as the value of the pixel adjacent to the pixel after the rapid filling and expansion, wherein the value of the pixel adjacent to the corresponding pixel after the filling and expansion of each pixel will not overlap and interfere with each other .
  • S403 Combine the fundus color photo image sample and the feature filling map to generate a combined image.
  • the combined image includes the fundus color photo image sample and the feature filling map, that is, the combined image includes the image in the red channel in the fundus color photo image sample, and the fundus color photo image sample
  • the red channel image in the green channel in the green channel, the red channel image in the blue channel in the fundus color photo image sample, and the feature filling map, and the combined image size is the same as the size of the fundus color photo image sample.
  • step S401 that is, after acquiring the original image size of the fundus color photo image sample and the feature image size of the feature image, the method further includes:
  • the original image size of the fundus color photo image sample is acquired, for example, the original image size of the fundus color photo image sample is 512 ⁇ 512, and the feature image size of the feature image is acquired, for example, the red
  • the feature map size of the channel image is 512 ⁇ 512.
  • the fundus color photograph image sample and the feature map are directly superimposed and combined to generate the combination
  • the image that is, the combined image includes the image in the red channel in the fundus color photo image sample, the red channel image in the green channel in the fundus color photo image sample, and the blue channel in the fundus color photo image sample
  • the red channel image and the feature map in, and the combined image size is the same as the size of the fundus color photo image sample.
  • the preset loss function is:
  • p is the label value of the fundus color photo image
  • q 1 is the first recognition result
  • w 1 is the weight of the loss function of the first convolutional neural network
  • w 2 is the weight of the loss function of the second convolutional neural network.
  • the weight of the loss function of the first convolutional neural network and the weight of the loss function of the second convolutional neural network are in the range of 0 to 1, and the weight of the loss function of the first convolutional neural network is the same as the weight of the loss function of the first convolutional neural network.
  • the sum of the weight of the loss function of the second convolutional neural network is 1.
  • the weight of the loss function of the second convolutional neural network can be set to 0.6, then the weight of the loss function of the first convolutional neural network is set It is 0.4, which means that the recognition result of the second convolutional neural network accounts for the main weight, and the recognition result of the first convolutional neural network accounts for the secondary weight.
  • the total loss value calculated by the preset loss function is less than or equal to the preset loss threshold, for example, if the preset loss threshold is set to 0.001, then the total loss value When it is less than or equal to 0.001, it indicates that the training of the preset recognition model is completed, and the initial parameters of the preset recognition model do not need to be updated iteratively.
  • the preset recognition model includes sequentially connected input layer units, a first convolutional neural network, and a second convolutional neural network; The unit extracts the red channel image in the red channel in the fundus color photo image sample; inputs the red channel image to the first convolutional neural network to obtain the first recognition result and the feature map of the red channel image; compares the fundus color photo image sample and feature Combine the images to generate a combined image, input the combined image into the second convolutional neural network to obtain the second recognition result; input the label value, the first recognition result, and the second recognition result into the preset loss function to obtain the total loss Value; when the total loss value is less than or equal to the preset loss threshold, the preset recognition model training is completed.
  • the method further includes :
  • the iteratively updating the initial parameters of the preset recognition model refers to matching different total loss function optimization algorithms to calculate parameter values according to different ranges of the total loss value to update the initial parameters of the preset recognition model, In this way, the initial parameters of the preset recognition model are iteratively updated through the total loss function optimization algorithm, which improves the efficiency of the recognition model.
  • the method for recognizing fundus features provided by this application can be applied in the application environment as shown in Fig. 1, in which the client (computer equipment) communicates with the server through the network.
  • the client includes, but is not limited to, various personal computers, notebook computers, smart phones, tablet computers, cameras, and portable wearable devices.
  • the server can be implemented as an independent server or a server cluster composed of multiple servers.
  • a method for recognizing ocular fundus features is provided, as shown in FIG. 6, including the following steps:
  • the size of the color fundus photo image to be detected is preferably 512 ⁇ 512, and the color fundus photo image to be detected includes RGB three-channel images.
  • S200 Input the color fundus photo image to be detected into a preset recognition model, and obtain a recognition result of the leopard-shaped fundus feature of the color fundus photo image to be detected that is output by the preset recognition model; the preset recognition The model is the preset recognition model that has been trained as described above.
  • the recognition result of the leopard-shaped fundus feature of the image can be output, and the recognition result can be set according to requirements, such as The expression mode of the recognition result can be displayed as both text and probability.
  • the expression mode of the recognition result can be displayed as both text and probability.
  • the probability that the recognition result is output as a leopard pattern fundus feature is 95.5%.
  • a recognition model training device is provided, and the recognition model training device corresponds to the recognition model training method in the above-mentioned embodiment in a one-to-one correspondence.
  • the recognition model training device includes an acquisition module 11, an extraction module 12, a first convolution module 13, a second convolution module 14, a calculation module 15 and a completion module 16.
  • the detailed description of each functional module is as follows:
  • the obtaining module 11 is configured to obtain a color fundus photo image sample associated with a label value, and input the color fundus photo image sample into a preset recognition model containing initial parameters; the preset recognition model includes sequentially connected input units, first Convolutional neural network and second convolutional neural network;
  • the extraction module 12 is configured to extract the red channel image in the red channel in the fundus color photo image sample in the input unit;
  • the first convolution module 13 is configured to input the red channel image into the first convolutional neural network to obtain a first recognition result and a feature map of the red channel image;
  • the second convolution module 14 is configured to combine the fundus color photograph image sample with the feature map to generate a combined image, and input the combined image into the second convolutional neural network to obtain a second recognition result;
  • the calculation module 15 is configured to input the label value, the first recognition result, and the second recognition result into a preset loss function to obtain a total loss value; wherein the loss function includes the first volume The first loss weight of the product neural network and the second loss weight of the second convolutional neural network;
  • the completion module 16 is configured to complete the training of the preset recognition model when the total loss value is less than or equal to a preset loss threshold.
  • Each module in the aforementioned recognition model training device can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the form of hardware or independent of the processor in the computer equipment, or may be stored in the memory of the computer equipment in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
  • a fundus feature recognition device is provided, and the fundus feature recognition device corresponds to the fundus feature recognition device method in the above-mentioned embodiment in a one-to-one correspondence.
  • the device for identifying fundus features includes a receiving module 21 and an identifying module 22. The detailed description of each functional module is as follows:
  • the receiving module 21 is used to receive a color fundus photograph image to be detected
  • the recognition module 22 is configured to input the color fundus photo image to be detected into a preset recognition model, and obtain the recognition result of the leopard-shaped fundus feature of the color fundus photo image to be detected that is output by the preset recognition model;
  • the preset recognition model is the preset recognition model that has been trained.
  • Each module in the above-mentioned fundus feature recognition device can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the form of hardware or independent of the processor in the computer equipment, or may be stored in the memory of the computer equipment in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 9.
  • the computer equipment includes a processor, a memory, a network interface, and a database connected through a system bus.
  • the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a readable storage medium and an internal memory.
  • the readable storage medium stores an operating system, computer readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer readable instructions in the readable storage medium.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instruction is executed by the processor to implement a method for training a recognition model, or the computer-readable instruction is executed by the processor to implement a method for recognizing fundus features.
  • a computer device including a memory, a processor, and computer-readable instructions stored in the memory and running on the processor.
  • the processor executes the computer-readable instructions to implement the identification in the above-mentioned embodiments.
  • a non-volatile computer-readable storage medium is provided, and computer instructions are stored thereon.
  • the computer instructions implement the above-mentioned recognition model training method when executed by a processor, or the computer instructions are When the processor is executed, the above-mentioned fundus feature recognition method is realized.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种识别模型训练、眼底特征的识别方法、装置、计算机设备及存储介质，所述方法包括：获取与标签值关联的眼底彩照图像样本，并输入预设识别模型，预设识别模型包括输入层单元、第一卷积神经网络和第二卷积神经网络；提取眼底彩照图像样本中的红色通道图像并输入第一卷积神经网络，获取第一识别结果以及红色通道图像的特征图；将眼底彩照图像样本与特征图进行组合，生成组合图像并输入第二卷积神经网络，获取第二识别结果；通过预设损失函数获取总损失值；在总损失值小于或等于预设损失阈值时，训练完成。实现了自动识别眼底彩照图像的豹纹状眼底特征，提高了识别模型的准确率，并提升了识别模型的效率和可靠性。

Description

识别模型训练、眼底特征的识别方法、装置、设备及介质
本申请以2019年9月18日提交的申请号为201910882247.3，名称为“识别模型训练、眼底特征的识别方法、装置、设备及介质”的中国发明申请为基础，并要求其优先权。
技术领域
本申请涉及图像处理领域，尤其涉及一种识别模型训练、眼底特征的识别方法、装置、计算机设备及存储介质。
背景技术
一般由于视网膜色素上皮层的色素较少，脉络膜毛细血管间隙阻止和色素增加，加以脉络膜血管透明度降低，毛细血管越来越稀疏，可以透过视网膜见到脉络膜大中血管结构及血管间隙的色素区域，形成类似豹皮的纹理，故称之为豹纹状眼底，或纹理状眼底。豹纹状眼底常见于青壮年者中的高度近视者。由于近视眼等相关眼睛疾病越来越常见，而现有技术中，并未出现对与高度近视关系密切的豹纹状眼底特征的识别方法，因此，急需一种快速准确的豹纹状眼底特征识别方法。
发明内容
本申请提供一种识别模型训练、眼底特征的识别方法、装置、计算机设备及存储介质，实现通过提取眼底彩照图像的红色通道的图像，并将第一卷积神经网络输出的特征图与原图组合输入至第二卷积神经网络，以及根据总损失函数输出的总损失值训练识别模型，从而实现了自动识别眼底彩照图像的豹纹状眼底特征，提高了识别模型的准确率，并提升了识别模型的效率和可靠性。
一种识别模型训练方法，包括：
获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络；
在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像；
将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图；
将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果；
将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重；
在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
一种眼底特征的识别方法，包括：
接收待检测眼底彩照图像；
将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为上述已训练完成的预设识别模型。
一种识别模型训练装置，包括：
获取模块，用于获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输 入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络；
提取模块，用于在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像；
第一卷积模块，用于将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图；
第二卷积模块，用于将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果；
计算模块，用于将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重；
完成模块，用于在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
一种眼底特征的识别装置，包括：
接收模块，用于接收待检测眼底彩照图像；
识别模块，用于将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为上述已训练完成的预设识别模型。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机程序时实现上述识别模型训练方法的步骤，或者所述处理器执行所述计算机可读指令时实现上述眼底特征的识别方法的步骤。
一种非易失性的计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述识别模型训练方法，或者所述计算机指令被处理器执行时实现上述眼底特征的识别方法。
本申请的一个或多个实施例的细节在下面的附图及描述中提出。本申请的其他特征和优点将从说明书、附图以及权利要求书变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中识别模型训练方法的应用环境示意图；
图2是本申请一实施例中识别模型训练方法的流程图；
图3是本申请一实施例中识别模型训练方法的步骤S20的流程图；
图4是本申请一实施例中识别模型训练方法的步骤S40的流程图；
图5是本申请另一实施例中识别模型训练方法的步骤S40的流程图；
图6是本申请一实施例中眼底特征的识别方法的流程图；
图7是本申请一实施例中识别模型训练装置的原理框图；
图8是本申请一实施例中眼底特征的识别装置的原理框图；
图9是本申请一实施例中计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请 中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的识别模型训练方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种识别模型训练方法，其技术方案主要包括以下步骤S10-S60：
S10，获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络。
其中，所述眼底彩照图像样本都会与之相应的标签值关联，例如：一张具有豹纹状眼底特征的眼底彩照图像样本与具有豹纹状眼底特征的标签值(p＝10000)关联，一张不具有豹纹状眼底特征的眼底彩照图像样本与不具有豹纹状眼底特征的标签值(p＝20000)关联。所述眼底彩照图像样本的尺寸根据需求设定，优选地，所述眼底彩照图像样本的尺寸为512×512(512个像素点的正方形)。
可理解地，所述预设识别模型包含初始参数，并且包括所述输入单元、所述第一卷积神经网络和所述第二卷积神经网络，所述输入单元连接至所述第一卷积神经网络，所述第一卷积神经网络连接至所述第二卷积神经网络。
S20，在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像。
可理解地，所述眼底彩照图像样本包括RGB(Red Green Blue，红色、绿色、蓝色)三通道图像，并提取所述眼底彩照图像样本中的红色通道的图像确定为红色通道图像。
在一实施例中，如图3所示，所述步骤S20中，所述在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像，包括：
S201，在所述输入单元中将所述眼底彩照图像样本分离为对应于红色通道、绿色通道和蓝色通道的三种图像。
可理解地，通过所述输入单元将所述眼底彩照图像样本分离出红色通道的图像、绿色通道的图像和蓝色通道的图像。
S202，将分离后的对应于所述红色通道的图像确定为所述眼底彩照图像样本的红色通道图像。
可理解地，将分离出的所述红色通道的图像确定为所述眼底彩照图像样本的红色通道图像。由于豹纹状眼底是由血管结构形成的红色豹皮的纹理，所以豹纹状眼底特征在图像的红色通道上表现明显。
如此，由于豹纹状眼底特征主要集中表现在眼底彩照图像的红色通道上，因此通过提取眼底彩照图像样本的红色通道图像进行识别，减少了非红色通道图像对豹纹状眼底特征识别的干扰，提高了识别模型的准确率。
S30，将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图。
可理解地，所述红色通道图像的尺寸跟所述眼底彩照图像样本的尺寸一样，优选地，所述红色通道图像的尺寸为512×512，将所述红色通道图像输入所述第一卷积神经网络，所述第一卷积神经网络对所述眼底彩照图像样本的豹纹状眼底特征的提取，得到所述第一识别结果，并且获取所述红色通道图像的特征图。所述第一卷积神经网络包括一个合并卷积，所述合并卷积为一个1×1卷积核的卷积，所述合并卷积将输入的多个通道的特征图通过1×1卷积核的卷积转换输出一个只有一个通道的特征图，将所述一个通道的特征图标记为所述红色通道图像的特征图，其中所述多个通道输入的特征图的尺寸跟所述红色通 道图像的特征图的尺寸一样。
其中，所述第一卷积神经网络的网络结构可以根据不同数据集或者不同任务进行调整，且都会增加所述合并卷积，也即，所述第一卷积神经网络的网络结构不限于包括若干层包括多个1×1卷积核的卷积神经网络的网络结构、Resnet50网络结构、DenseNet121网络结构、VGGnet网络结构等，且都会增加所述合并卷积，以获取所述红色通道图像的特征图。
在一实施例中，优选地，所述第一卷积神经网络的网络结构包括Resnet50网络结构，并在所述Resnet50网络结构的最后一层卷积之后增加连接一个所述合并卷积，也即，将所述红色通道图像(尺寸为512×512)输入所述第一卷积神经网络，经过包含所述Resnet50网络结构的所述第一卷积神经网络中的五层深度卷积后得到2048个通道的特征图(尺寸都为16×16)，再将所述512个通道的特征图输入所述合成卷积并得到所述红色通道图像的特征图(尺寸为16×16)，而且包含所述Resnet50网络结构的所述第一卷积神经网络对所述眼底彩照图像样本的豹纹状眼底特征的提取，并将所述第一卷积神经网络得到的识别结果标记为所述第一识别结果。
在另一实施例中，优选地，所述第一卷积神经网络的网络结构包括五层且每层都有64个1×1卷积核的卷积神经网络的网络结构，并在最后一层卷积之后增加连接一个所述合并卷积，也即，将所述红色通道图像(尺寸为512×512)输入所述第一卷积神经网络，经过包含所述包括五层且每层都有64个1×1卷积核的卷积神经网络的网络结构的所述第一卷积神经网络中的五层深度卷积后得到64个通道的特征图(尺寸都为512×512)，再将所述64个通道的特征图输入所述合成卷积并得到所述红色通道图像的特征图(尺寸为512×512)，而且包含所述包括五层且每层都有64个1×1卷积核的卷积神经网络的网络结构的所述第一卷积神经网络对所述眼底彩照图像样本的豹纹状眼底特征的提取，并将所述第一卷积神经网络得到的识别结果标记为所述第一识别结果。
如此，通过所述合并卷积可以将多通道的特征图转变成一个通道的特征图，将对提取的豹纹状眼底特征进行汇总，强化了豹纹状眼底特征，并提供所述红色通道图像的特征图。
S40，将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果。
可理解地，将所述包括RGB三通道的眼底彩照图像样本与所述红色通道图像的特征图(一个通道)进行组合，生成四个通道的所述组合图像，并将所述组合图像输入至所述第二卷积神经网络，所述第二卷积神经网络对所述组合图像的豹纹状眼底特征的提取，得到所述第二识别结果，其中，所述第二卷积神经网络的网络结构可以根据不同数据集或者不同任务进行调整，也即，所述第二卷积神经网络的网络结构不限于包括Resnet50网络结构、DenseNet121网络结构、VGGnet网络结构等。其中，所述眼底彩照图像样本与所述特征图进行组合的方式包括拼接和叠加两种方式，在本实施例中，优选地，将所述眼底彩照图像样本与所述特征图进行组合的方式为叠加组合方式。
如此，将所述红色通道图像的特征图与所述眼底彩照图像样本进行叠加组合能够强化和突显豹纹状眼底特征，提升了识别模型的效率和可靠性，并提高了识别模型的准确率。
在一实施例中，如图4所示，所述步骤S40中，所述将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，包括：
S401，获取所述眼底彩照图像样本的原图尺寸和所述特征图的特征图尺寸。
可理解地，获取所述眼底彩照图像样本的原图尺寸，比如，所述眼底彩照图像样本的原图尺寸为512×512，获取所述特征图的特征图尺寸，比如，所述红色通道图像的特征图尺寸为16×16。
S402，在所述特征图尺寸小于所述原图尺寸时，将所述特征图通过最邻近插值法进行插值填充，直到所述特征图与所述原图尺寸相等之后，将与所述原图尺寸相等的所述特征图标记为特征填充图。
可理解地，在所述特征图尺寸小于所述原图尺寸时，比如，所述红色通道图像的特征图尺寸为16×16小于所述眼底彩照图像样本的原图尺寸512×512，则将所述特征图通过最邻近插值法进行插值填充直至与所述原图尺寸相等，即插值填充至成尺寸为512×512的特征图，并将其标记为特征填充图，如此，无需计算就可以通过每个像素点的值作为快速填充扩大后该像素点邻近的像素点的值，其中，所述每个像素点填充扩大后相应像素点邻近的像素点的值之间相互不会重合并干扰。
S403，将所述眼底彩照图像样本与所述特征填充图进行组合，生成组合图像。
可理解地，所述组合图像包括所述眼底彩照图像样本和所述特征填充图，也即，所述组合图像包括所述眼底彩照图像样本中的红色通道中的图像、所述眼底彩照图像样本中的绿色通道中的红色通道图像、所述眼底彩照图像样本中的蓝色通道中的红色通道图像和所述特征填充图，且所述组合图像尺寸与所述眼底彩照图像样本尺寸一样。
在另一实施例中，如图5所示，所述步骤S401之后，即所述获取所述眼底彩照图像样本的原图尺寸和所述特征图的特征图尺寸之后，还包括：
S404，在所述原图尺寸等于所述特征图尺寸时，将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像。
在该实施例中，获取所述眼底彩照图像样本的原图尺寸，比如，所述眼底彩照图像样本的原图尺寸为512×512，获取所述特征图的特征图尺寸，比如，所述红色通道图像的特征图尺寸为512×512，在所述原图尺寸与所述特征图尺寸相等时，则直接将所述眼底彩照图像样本与所述特征图进行叠加组合方式进行组合生成所述组合图像，也即所述组合图像包括所述眼底彩照图像样本中的红色通道中的图像、所述眼底彩照图像样本中的绿色通道中的红色通道图像、所述眼底彩照图像样本中的蓝色通道中的红色通道图像和所述特征图，且所述组合图像尺寸与所述眼底彩照图像样本尺寸一样。
S50，将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重。
可理解地，通过设置所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重，并通过将所述标签值、所述第一识别结果、所述第二识别结果输入所述预设损失函数中得到所述预设识别模型的总损失值。
在一实施例中，所述步骤S50中，所述预设损失函数为：
L＝w 1×∑plogq 1+w 2×∑plogq 2
其中：
p为眼底彩照图像的标签值；
q 1为第一识别结果；
q 2为第二识别结果；
w 1为第一卷积神经网络的损失函数权重；
w 2为第二卷积神经网络的损失函数权重。
可理解地，所述第一卷积神经网络的损失函数权重和第二卷积神经网络的损失函数权重为0至1的范围，且所述第一卷积神经网络的损失函数权重与所述第二卷积神经网络的损失函数权重之和为1，优选地，可以将所述第二卷积神经网络的损失函数权重设置为0.6，则所述第一卷积神经网络的损失函数权重设置为0.4，即表明第二卷积神经网络的识别结果占主要权重，第一卷积神经网络的识别结果占次要权重。
S60，在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
也即，通过所述预设损失函数计算后得出的所述总损失值小于或者等于所述预设损失阈值时，比如，设置所述预设损失阈值为0.001，则在所述总损失值小于或者等于0.001时，则说明所述预设识别模型训练完成，此时所述预设识别模型的初始参数无需迭代更新。
本申请通过获取与标签值关联的眼底彩照图像样本，并输入预设识别模型，预设识别模型包括顺次连接的输入层单元、第一卷积神经网络和第二卷积神经网络；通过输入单元提取眼底彩照图像样本中的红色通道中的红色通道图像；将红色通道图像输入至第一卷积神经网络中，获取第一识别结果以及红色通道图像的特征图；将眼底彩照图像样本与特征图进行组合，生成组合图像，将组合图像输入至第二卷积神经网络中，获取第二识别结果；将标签值、第一识别结果、第二识别结果输入预设损失函数，以获取总损失值；在总损失值小于或等于预设损失阈值时，预设识别模型训练完成。如此，通过提取眼底彩照图像的红色通道的图像，并将第一卷积神经网络输出的特征图与原图组合输入至第二卷积神经网络，以及根据总损失函数输出的总损失值训练识别模型，从而提高了识别模型的准确率，并提升了识别模型的效率和可靠性。
在另一实施例中，所述步骤S50之后，即所述将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值之后，还包括：
S70，在所述总损失值大于所述预设损失阈值时，迭代更新所述预设识别模型的初始参数，直至所述总损失值小于或等于所述预设损失阈值时，所述预设识别模型训练完成。
其中，所述迭代更新所述预设识别模型的初始参数是指根据所述总损失值的不同范围匹配不同的总损失函数优化算法计算出参数值进行更新所述预设识别模型的初始参数，如此，通过总损失函数优化算法进行迭代更新预设识别模型的初始参数，提升了识别模型的效率。
本申请还提供的眼底特征的识别方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，提供一种眼底特征的识别方法，如图6所示，包括以下步骤：
S100，接收待检测眼底彩照图像。
比如，若所述眼底彩照图像样本的原图尺寸为512×512，则所述待检测眼底彩照图像的尺寸优选为512×512，且待检测眼底彩照图像中包括RGB三通道的图像。
S200，将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为上述已训练完成的预设识别模型。
可理解地，通过将所述待检测眼底彩照图像输入至已训练完成的预设识别模型，可以输出该图像的豹纹状眼底特征的识别结果，所述识别结果根据需求进行设定，比如所述识别结果的表现方式可以为文字和概率同时显示，例如，识别结果输出为豹纹状眼底特征概率为95.5％。如此，实现了自动识别眼底彩照图像的豹纹状眼底特征，并能快速地和准确地识别眼底彩照图像的豹纹状眼底特征。
在一实施例中，提供一种识别模型训练装置，该识别模型训练装置与上述实施例中识别模型训练方法一一对应。如图7所示，该识别模型训练装置包括获取模块11、提取模块12、第一卷积模块13、第二卷积模块14、计算模块15和完成模块16。各功能模块详细说明如下：
获取模块11，用于获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络；
提取模块12，用于在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像；
第一卷积模块13，用于将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图；
第二卷积模块14，用于将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果；
计算模块15，用于将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重；
完成模块16，用于在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
关于识别模型训练装置的具体限定可以参见上文中对于识别模型训练方法的限定，在此不再赘述。上述识别模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一实施例中，提供一种眼底特征的识别装置，该眼底特征的识别装置与上述实施例中眼底特征的识别装置方法一一对应。如图8所示，该眼底特征的识别装置包括接收模块21和识别模块22。各功能模块详细说明如下：
接收模块21，用于接收待检测眼底彩照图像；
识别模块22，用于将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为上述已训练完成的预设识别模型。
关于眼底特征的识别装置的具体限定可以参见上文中对于眼底特征的识别方法的限定，在此不再赘述。上述眼底特征的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作***、计算机可读指令和数据库。该内存储器为可读存储介质中的操作***和计算机可读指令的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种识别模型训练方法，或者该计算机可读指令被处理器执行时以实现一种眼底特征的识别方法。在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述实施例中识别模型训练方法，或者处理器执行计算机可读指令时实现上述实施例中眼底特征的识别方法。
在一个实施例中，提供了一种非易失性的计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述识别模型训练方法，或者所述计算机指令被处理器执行时实现上述眼底特征的识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、 同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种识别模型训练方法，其特征在于，包括：
    获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络；
    在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像；
    将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图；
    将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果；
    将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重；
    在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
  2. 如权利要求1所述的识别模型训练方法，其特征在于，所述将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值之后，包括：
    在所述总损失值大于所述预设损失阈值时，迭代更新所述预设识别模型的初始参数，直至所述总损失值小于或等于所述预设损失阈值时，所述预设识别模型训练完成。
  3. 如权利要求1所述的识别模型训练方法，其特征在于，所述在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像，包括：
    在输入单元中将所述眼底彩照图像样本分离为对应于红色通道、绿色通道和蓝色通道的三种图像；
    将分离后的对应于所述红色通道的图像确定为所述眼底彩照图像样本的红色通道图像。
  4. 如权利要求1所述的识别模型训练方法，其特征在于，所述将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，包括：
    获取所述眼底彩照图像样本的原图尺寸和所述特征图的特征图尺寸；
    在所述特征图尺寸小于所述原图尺寸时，将所述特征图通过最邻近插值法进行插值填充，直到所述特征图与所述原图尺寸相等之后，将与所述原图尺寸相等的所述特征图标记为特征填充图；
    将所述眼底彩照图像样本与所述特征填充图进行组合，生成组合图像；
    在所述原图尺寸等于所述特征图尺寸时，将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像。
  5. 如权利要求1所述的识别模型训练方法，其特征在于，所述预设损失函数为：
    L＝w 1×∑plogq 1+w 2×∑plogq 2
    其中：
    p为眼底彩照图像的标签值；
    q 1为第一识别结果；
    q 2为第二识别结果；
    w 1为第一卷积神经网络的损失函数权重；
    w 2为第二卷积神经网络的损失函数权重。
  6. 一种眼底特征的识别方法，其特征在于，包括：
    接收待检测眼底彩照图像；
    将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对 所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为如权利要求1至5任一项所述识别模型训练方法中已训练完成的所述预设识别模型。
  7. 一种识别模型训练装置，其特征在于，包括：
    获取模块，用于获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络；
    提取模块，用于在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像；
    第一卷积模块，用于将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图；
    第二卷积模块，用于将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果；
    计算模块，用于将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重；
    完成模块，用于在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
  8. 一种眼底特征的识别装置，其特征在于，包括：
    接收模块，用于接收待检测眼底彩照图像；
    识别模块，用于将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为如权利要求1至5任一项所述识别模型训练方法中已训练完成的预设识别模型。
  9. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络；
    在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像；
    将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图；
    将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果；
    将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重；
    在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
  10. 如权利要求9所述的计算机设备，其特征在于，所述将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    在所述总损失值大于所述预设损失阈值时，迭代更新所述预设识别模型的初始参数，直至所述总损失值小于或等于所述预设损失阈值时，所述预设识别模型训练完成。
  11. 如权利要求9所述的计算机设备，其特征在于，所述在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像，包括：
    在输入单元中将所述眼底彩照图像样本分离为对应于红色通道、绿色通道和蓝色通道 的三种图像；
    将分离后的对应于所述红色通道的图像确定为所述眼底彩照图像样本的红色通道图像。
  12. 如权利要求9所述的计算机设备，其特征在于，所述将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，包括：
    获取所述眼底彩照图像样本的原图尺寸和所述特征图的特征图尺寸；
    在所述特征图尺寸小于所述原图尺寸时，将所述特征图通过最邻近插值法进行插值填充，直到所述特征图与所述原图尺寸相等之后，将与所述原图尺寸相等的所述特征图标记为特征填充图；
    将所述眼底彩照图像样本与所述特征填充图进行组合，生成组合图像；
    在所述原图尺寸等于所述特征图尺寸时，将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像。
  13. 如权利要求9所述的计算机设备，其特征在于，所述预设损失函数为：
    L＝w 1×∑plogq 1+w 2×∑plogq 2
    其中：
    p为眼底彩照图像的标签值；
    q 1为第一识别结果；
    q 2为第二识别结果；
    w 1为第一卷积神经网络的损失函数权重；
    w 2为第二卷积神经网络的损失函数权重。
  14. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    接收待检测眼底彩照图像；
    将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为如权利要求1至5任一项所述识别模型训练方法中已训练完成的所述预设识别模型。
  15. 一种非易失性的计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现识别模型训练方法，所述识别模型训练方法，包括：
    获取与标签值关联的眼底彩照图像样本，将所述眼底彩照图像样本输入包含初始参数的预设识别模型；所述预设识别模型包括顺次连接的输入单元、第一卷积神经网络和第二卷积神经网络；
    在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像；
    将所述红色通道图像输入至所述第一卷积神经网络中，获取第一识别结果以及所述红色通道图像的特征图；
    将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，将所述组合图像输入所述第二卷积神经网络中，获取第二识别结果；
    将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值；其中，所述损失函数中包含所述第一卷积神经网络的第一损失权重和所述第二卷积神经网络的第二损失权重；
    在所述总损失值小于或等于预设损失阈值时，所述预设识别模型训练完成。
  16. 如权利要求15所述的非易失性的计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现识别模型训练方法，所述将所述标签值、所述第一识别结果、所述第二识别结果输入预设损失函数，以获取总损失值之后，包括：
    在所述总损失值大于所述预设损失阈值时，迭代更新所述预设识别模型的初始参数， 直至所述总损失值小于或等于所述预设损失阈值时，所述预设识别模型训练完成。
  17. 如权利要求15所述的非易失性的计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现识别模型训练方法，所述在所述输入单元中提取所述眼底彩照图像样本中的红色通道中的红色通道图像，包括：
    在输入单元中将所述眼底彩照图像样本分离为对应于红色通道、绿色通道和蓝色通道的三种图像；
    将分离后的对应于所述红色通道的图像确定为所述眼底彩照图像样本的红色通道图像。
  18. 如权利要求15所述的非易失性的计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现识别模型训练方法，所述将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像，包括：
    获取所述眼底彩照图像样本的原图尺寸和所述特征图的特征图尺寸；
    在所述特征图尺寸小于所述原图尺寸时，将所述特征图通过最邻近插值法进行插值填充，直到所述特征图与所述原图尺寸相等之后，将与所述原图尺寸相等的所述特征图标记为特征填充图；
    将所述眼底彩照图像样本与所述特征填充图进行组合，生成组合图像；
    在所述原图尺寸等于所述特征图尺寸时，将所述眼底彩照图像样本与所述特征图进行组合，生成组合图像。
  19. 如权利要求15所述的非易失性的计算机可读存储介质，其上存储有计算机指令，其特征在于，
    所述预设损失函数为：
    L＝w 1×∑plogq 1+w 2×∑plogq 2
    其中：
    p为眼底彩照图像的标签值；
    q 1为第一识别结果；
    q 2为第二识别结果；
    w 1为第一卷积神经网络的损失函数权重；
    w 2为第二卷积神经网络的损失函数权重。
  20. 非易失性的计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现眼底特征的识别方法，所述眼底特征的识别方法，包括：
    接收待检测眼底彩照图像；
    将所述待检测眼底彩照图像本输入预设识别模型中，获取所述预设识别模型输出的对所述待检测眼底彩照图像的豹纹状眼底特征的识别结果；所述预设识别模型为如权利要求1至5任一项所述识别模型训练方法中已训练完成的所述预设识别模型。
PCT/CN2019/116940 2019-09-18 2019-11-11 识别模型训练、眼底特征的识别方法、装置、设备及介质 WO2021051519A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/620,780 US11967071B2 (en) 2019-09-18 2019-11-11 Method, device, apparatus, and medium for training recognition model and recognizing fundus features

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910882247.3A CN110796161A (zh) 2019-09-18 2019-09-18 识别模型训练、眼底特征的识别方法、装置、设备及介质
CN201910882247.3 2019-09-18

Publications (1)

Publication Number Publication Date
WO2021051519A1 true WO2021051519A1 (zh) 2021-03-25

Family

ID=69427367

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/116940 WO2021051519A1 (zh) 2019-09-18 2019-11-11 识别模型训练、眼底特征的识别方法、装置、设备及介质

Country Status (3)

Country Link
US (1) US11967071B2 (zh)
CN (1) CN110796161A (zh)
WO (1) WO2021051519A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240655A (zh) * 2021-05-21 2021-08-10 深圳大学 一种自动检测眼底图像类型的方法、存储介质及装置
CN113344894A (zh) * 2021-06-23 2021-09-03 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置
CN113657576A (zh) * 2021-07-21 2021-11-16 浙江大华技术股份有限公司 卷积神经网络模型轻量化方法及设备、图像识别方法
CN114760447A (zh) * 2022-06-14 2022-07-15 智联信通科技股份有限公司 一体式机房环境检测装置
CN116935363A (zh) * 2023-07-04 2023-10-24 东莞市微振科技有限公司 刀具识别方法、装置、电子设备及可读存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210304056A1 (en) * 2020-03-25 2021-09-30 International Business Machines Corporation Learning Parameter Sampling Configuration for Automated Machine Learning
CN111951933B (zh) * 2020-08-07 2023-01-17 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN114154490A (zh) * 2020-08-18 2022-03-08 阿里巴巴集团控股有限公司 模型训练、标题抽取方法、装置、电子设备和计算机可读介质
CN112580632A (zh) * 2020-12-24 2021-03-30 南方电网深圳数字电网研究院有限公司 铭牌识别方法、***、电子设备及计算机可读存储介质
CN112820313B (zh) * 2020-12-31 2022-11-01 北京声智科技有限公司 模型训练方法、语音分离方法、装置及电子设备
CN113313129B (zh) * 2021-06-22 2024-04-05 中国平安财产保险股份有限公司 灾损识别模型的训练方法、装置、设备以及存储介质
CN113537124B (zh) * 2021-07-28 2024-06-18 平安科技（深圳）有限公司 模型训练方法、装置与存储介质
CN114463559B (zh) * 2022-01-29 2024-05-10 芯算一体(深圳)科技有限公司 图像识别模型的训练方法、装置、网络和图像识别方法
CN116071625B (zh) * 2023-03-07 2023-06-02 北京百度网讯科技有限公司 深度学习模型的训练方法、目标检测方法及装置
CN116912203B (zh) * 2023-07-13 2024-04-05 桂林电子科技大学 基于多智能模型结合的异常眼底图像低耗检测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109390053A (zh) * 2017-08-02 2019-02-26 上海市第六人民医院 眼底图像处理方法、装置、计算机设备和存储介质
CN109919915A (zh) * 2019-02-18 2019-06-21 广州视源电子科技股份有限公司 基于深度学习的视网膜眼底图像异常区域检测方法及设备
CN110163839A (zh) * 2019-04-02 2019-08-23 上海鹰瞳医疗科技有限公司 豹纹状眼底图像识别方法、模型训练方法及设备
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250419A (ja) * 2009-04-13 2010-11-04 Seiko Epson Corp 目の様態を検出する画像処理装置
JP7001672B2 (ja) * 2016-07-14 2022-01-19 マジック リープ， インコーポレイテッド 虹彩識別のためのディープニューラルネットワーク
CN107045720B (zh) * 2017-05-04 2018-11-30 深圳硅基仿生科技有限公司 基于人工神经网络的识别眼底图像病变的处理***
CN108038466B (zh) * 2017-12-26 2021-11-16 河海大学 基于卷积神经网络的多通道人眼闭合识别方法
WO2019213297A1 (en) * 2018-05-02 2019-11-07 Stable Auto Corporation Method and system for automated vehicle charging
US10970816B2 (en) * 2018-08-13 2021-04-06 Nvidia Corporation Motion blur and depth of field reconstruction through temporally stable neural networks
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN109816666B (zh) * 2019-01-04 2023-06-02 三峡大学 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN109859172A (zh) * 2019-01-08 2019-06-07 浙江大学 基于眼底造影图像深度学习的糖网病变无灌注区识别方法
CN110021052B (zh) * 2019-04-11 2023-05-30 北京百度网讯科技有限公司 用于生成眼底图像生成模型的方法和装置
CN110210286B (zh) * 2019-04-17 2024-05-31 平安科技（深圳）有限公司 基于眼底图像的异常识别方法、装置、设备及存储介质
CN110084811A (zh) * 2019-05-08 2019-08-02 上海交通大学 眼底照片识别方法、装置、设备及存储介质
CN110348541B (zh) * 2019-05-10 2021-12-10 腾讯医疗健康(深圳)有限公司 眼底血管图像分类方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
CN109390053A (zh) * 2017-08-02 2019-02-26 上海市第六人民医院 眼底图像处理方法、装置、计算机设备和存储介质
CN109919915A (zh) * 2019-02-18 2019-06-21 广州视源电子科技股份有限公司 基于深度学习的视网膜眼底图像异常区域检测方法及设备
CN110163839A (zh) * 2019-04-02 2019-08-23 上海鹰瞳医疗科技有限公司 豹纹状眼底图像识别方法、模型训练方法及设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240655A (zh) * 2021-05-21 2021-08-10 深圳大学 一种自动检测眼底图像类型的方法、存储介质及装置
CN113240655B (zh) * 2021-05-21 2023-04-07 深圳大学 一种自动检测眼底图像类型的方法、存储介质及装置
CN113344894A (zh) * 2021-06-23 2021-09-03 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置
CN113344894B (zh) * 2021-06-23 2024-05-14 依未科技(北京)有限公司 眼底豹纹斑特征提取及特征指数确定的方法和装置
CN113657576A (zh) * 2021-07-21 2021-11-16 浙江大华技术股份有限公司 卷积神经网络模型轻量化方法及设备、图像识别方法
CN114760447A (zh) * 2022-06-14 2022-07-15 智联信通科技股份有限公司 一体式机房环境检测装置
CN114760447B (zh) * 2022-06-14 2022-08-12 智联信通科技股份有限公司 一体式机房环境检测装置
CN116935363A (zh) * 2023-07-04 2023-10-24 东莞市微振科技有限公司 刀具识别方法、装置、电子设备及可读存储介质
CN116935363B (zh) * 2023-07-04 2024-02-23 东莞市微振科技有限公司 刀具识别方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
US20220414868A1 (en) 2022-12-29
US11967071B2 (en) 2024-04-23
CN110796161A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
WO2021051519A1 (zh) 识别模型训练、眼底特征的识别方法、装置、设备及介质
JP7282810B2 (ja) 視線追跡方法およびシステム
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
US11256905B2 (en) Face detection method and apparatus, service processing method, terminal device, and storage medium
CN110135406B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN111310624B (zh) 遮挡识别方法、装置、计算机设备及存储介质
WO2020103647A1 (zh) 物体关键点的定位方法、图像处理方法、装置及存储介质
WO2020215557A1 (zh) 医学影像解释方法、装置、计算机设备及存储介质
WO2018036462A1 (zh) 图像分割的方法、计算机设备及存储介质
CN110941986A (zh) 活体检测模型的训练方法、装置、计算机设备和存储介质
US20190266387A1 (en) Method, device, and computer readable storage medium for detecting feature points in an image
CN109919030B (zh) 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN111968134B (zh) 目标分割方法、装置、计算机可读存储介质及计算机设备
WO2021056974A1 (zh) 一种静脉识别的方法、装置、设备及存储介质
WO2022057309A1 (zh) 肺部特征识别方法、装置、计算机设备及存储介质
WO2021114623A1 (zh) 脊柱变形人群识别方法、装置、计算机设备及存储介质
CN112085745A (zh) 基于均衡采样拼接的多通道u型全卷积神经网络的视网膜血管图像分割方法
US11532090B2 (en) Electronic device and method for estimating optical flow
WO2021159811A1 (zh) 青光眼辅助诊断装置、方法及存储介质
CN111899247A (zh) 脉络膜血管的管腔区域识别方法、装置、设备及介质
WO2022206729A1 (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN112257728A (zh) 图像处理方法、装置、计算机设备以及存储介质
CN111144285A (zh) 胖瘦程度识别方法、装置、设备及介质
US11270152B2 (en) Method and apparatus for image detection, patterning control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945540

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19945540

Country of ref document: EP

Kind code of ref document: A1