WO2019153908A1 - 基于注意力模型的图像识别方法和*** - Google Patents

基于注意力模型的图像识别方法和*** Download PDF

Info

Publication number
WO2019153908A1
WO2019153908A1 PCT/CN2018/122684 CN2018122684W WO2019153908A1 WO 2019153908 A1 WO2019153908 A1 WO 2019153908A1 CN 2018122684 W CN2018122684 W CN 2018122684W WO 2019153908 A1 WO2019153908 A1 WO 2019153908A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
image
spatial
feature map
attention
Prior art date
Application number
PCT/CN2018/122684
Other languages
English (en)
French (fr)
Inventor
张志伟
杨帆
Original Assignee
北京达佳互联信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京达佳互联信息技术有限公司 filed Critical 北京达佳互联信息技术有限公司
Publication of WO2019153908A1 publication Critical patent/WO2019153908A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present application relates to the field of image processing technologies, and in particular, to an image recognition method and system based on an attention model.
  • the purpose of the present application is to at least solve one of the above technical drawbacks, and in particular, to easily overlook the technical defects of data local information.
  • the application provides an image recognition method based on an attention model, comprising the following steps:
  • Step S10 Acquire an input feature map whose image matrix shape is [W, H, C], where W is a width, H is a height, and C is a channel number;
  • Step S20 spatially mapping the input feature map by using a preset spatial mapping weight matrix, and obtaining a spatial weight matrix after activation by the activation function, multiplying the spatial weight matrix and the image matrix of the input feature image by bit to obtain an output feature.
  • the preset spatial mapping weight matrix is a spatial attention matrix [C, 1] whose attention is in image width and height
  • the shape of the spatial weight matrix is [W, H, 1]
  • the preset spatial mapping weight matrix is a channel attention matrix [C, C] whose attention is in the number of image channels
  • the shape of the spatial weight matrix is [1, 1, C].
  • step S20 when the preset spatial mapping weight matrix is the spatial attention matrix [C, 1], the following formula is used in step S20:
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o :,:, c the output feature map
  • i :, :, c the input feature map
  • sigmoid the activation function
  • w s the spatial map weight
  • b s deviation.
  • step S20 when the preset spatial mapping weight matrix is the channel attention matrix [C, C], the following formula is used in step S20:
  • o w,h,: i w,h,: ⁇ sigmoid(mean(i w,h,: ) ⁇ w c +b c )
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o w,h is the output feature map
  • i w,h is the input feature map
  • sigmoid is the activation function
  • mean is the averaging function
  • w c is The spatial mapping weights
  • b c is the deviation.
  • step S20 includes:
  • the shallow network on the convolutional neural network spatially maps the input feature map using the spatial attention matrix [C, 1], and is activated by the activation function to obtain a first spatial weight matrix, and the first spatial weight matrix Multiplying the image matrix of the input feature map by bit to obtain a first output feature map;
  • the first output feature map is spatially mapped using the channel attention matrix [C, 1] in the deep network of the convolutional neural network, and the second spatial weight matrix is obtained after activation by the activation function, and the second The spatial weight matrix is multiplied by the image matrix of the first output feature map to obtain a second output feature map.
  • the method further includes step S30:
  • An image classification is performed by applying a classifier according to the output feature map.
  • the application also provides an image recognition system based on attention model, comprising:
  • An image acquisition module configured to acquire an input feature image of an image matrix shape of [W, H, C], where W is a width, H is a height, and C is a channel number;
  • An image processing module is configured to spatially map the input feature map by using a preset spatial mapping weight matrix, and obtain a spatial weight matrix after being activated by the activation function, and multiply the spatial weight matrix by the image matrix of the input feature image by bitwise Obtaining an output feature map, wherein the preset spatial mapping weight matrix is a spatial attention matrix [C, 1] with attention to image width and height, and the shape of the spatial weight matrix is [W, H, 1] Or the preset spatial mapping weight matrix is a channel attention matrix [C, C] whose attention is in the number of image channels, and the shape of the spatial weight matrix is [1, 1, C].
  • the image processing module obtains an output feature map by using the following formula:
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o :,:, c the output feature map
  • i :, :, c the input feature map
  • sigmoid the activation function
  • w s the spatial map weight
  • b s deviation.
  • the image processing module obtains an output feature map by using the following formula:
  • o w,h,: i w,h,: ⁇ sigmoid(mean(i w,h,: ) ⁇ w c +b c )
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o w,h is the output feature map
  • i w,h is the input feature map
  • sigmoid is the activation function
  • mean is the averaging function
  • w c is The spatial mapping weights
  • b c is the deviation.
  • the image processing module includes a low-level semantic feature extraction module and an advanced semantic feature extraction module;
  • the low-level semantic feature extraction module is configured to: spatially map an input feature map by using the spatial attention matrix [C, 1] in a shallow network of a convolutional neural network, and obtain a first spatial weight after activation by an activation function. a matrix, the first spatial weight matrix is multiplied by an image matrix of the input feature map to obtain a first output feature map;
  • the advanced semantic feature extraction module is configured to: spatially map the first output feature map by using the channel attention matrix [C, 1] in a deep network of a convolutional neural network, and obtain an activation after activation by an activation function And a second spatial weight matrix, wherein the second spatial weight matrix is multiplied by the image matrix of the first output feature map to obtain a second output feature map.
  • a classification module is further included for applying the classifier to perform image classification according to the output feature map.
  • the embodiment of the present application further provides an electronic device, including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete communication with each other through the communication bus;
  • a memory for storing a computer program
  • the image recognition method based on the attention model provided by the embodiment of the present application is implemented when the processor is configured to execute the program stored in the memory.
  • the embodiment of the present application further provides a storage medium, where the processing program is stored by the processor, and the image recognition method based on the attention model provided by the embodiment of the present application is implemented.
  • the embodiment of the present application further provides an application program for performing the attention-based model-based image recognition method provided by the embodiment of the present application at runtime.
  • the image recognition method and system based on the attention model described above first acquire an input feature map whose image matrix shape is [W, H, C], where W is the width, H is the height, and C is the number of channels; then the preset is used.
  • the spatial mapping weight matrix spatially maps the input feature map, and after the activation function is activated, the spatial weight matrix is obtained, and the spatial weight matrix is multiplied by the image matrix of the input feature image to obtain an output feature map, wherein
  • the preset spatial mapping weight matrix is a spatial attention matrix [C, 1] with attention to image width and height, where the shape of the spatial weight matrix is [W, H, 1], or the preset spatial mapping
  • the weight matrix is the channel attention matrix [C, C] whose attention is on the number of image channels.
  • the shape of the spatial weight matrix is [1, 1, C].
  • FIG. 1 is a schematic flow chart of an image recognition method based on an attention model according to an embodiment
  • FIG. 2 is a schematic diagram of a feature extraction process based on a spatial attention model according to an embodiment
  • FIG. 3 is a schematic diagram of a feature extraction process based on a channel attention model according to an embodiment
  • FIG. 4 is a schematic flow chart of an image recognition method based on an attention model according to another embodiment
  • FIG. 5 is a schematic structural diagram of an electronic device according to an embodiment.
  • FIG. 1 is a schematic flowchart of an image recognition method based on an attention model according to an embodiment, and an image recognition method based on an attention model, which may include the following steps:
  • Step S10 Acquire an input feature map whose image matrix shape is [W, H, C], where W is a width (the width of the image, the unit is a pixel), H is a height (the height of the image, the unit is a pixel), and C is Number of channels (number of color channels of the image).
  • the image matrix here is a three-dimensional matrix, and the format of [W, H, C] can also be written in the format of W*H*C, that is, width*height*channel number.
  • the input feature map is a feature map as an input content, and the feature map may include: a color feature of the image, a texture feature of the image, a shape feature of the image, a spatial relationship feature of the image, and the like.
  • the features of the image included in the feature map are not specifically limited in the embodiment of the present invention.
  • Step S20 spatially mapping the input feature map by using a preset spatial mapping weight matrix, and obtaining a spatial weight matrix after activation by the activation function, and multiplying the spatial weight matrix by the image matrix of the input feature image to obtain an output feature map.
  • the preset spatial mapping weight matrix is a spatial attention matrix [C, 1] whose attention is in image width and height
  • the shape of the spatial weight matrix is [W, H, 1]
  • the shape of the spatial weight matrix is [1, 1, C].
  • the output feature map is a feature map as an output result.
  • the activation function may be set according to actual conditions, wherein the activation function may be various, for example, a Sigmoid function, a Tanh function, or a ReLU function.
  • the output feature map is obtained by using the following formula in step S20:
  • ⁇ is bitwise multiplication
  • ⁇ is matrix multiplication
  • o :,:, c is the output feature map (image matrix)
  • i :, :, c is the input feature map (image matrix)
  • sigmoid is the activation function
  • w s For spatial mapping weights
  • b s is the deviation.
  • ⁇ is to represent that the data of the same position in two matrices of the same size are multiplied to generate a matrix of the same size.
  • a and B are two 2*2 two-dimensional matrices
  • a ⁇ B generates a two-dimensional matrix K of 2*2.
  • FIG. 2 is a schematic diagram of a feature extraction process based on a spatial attention model according to an embodiment, where i is an input feature map, w is a spatial weight matrix, and o is an output feature map.
  • the output feature map is obtained in step S20 using the following formula:
  • o w,h,: i w,h,: ⁇ sigmoid(mean(i w,h,: ) ⁇ w c +b c )
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o w, h : is the output feature map (image matrix)
  • i w, h is the input feature map (image matrix)
  • sigmoid is the activation function
  • mean is The average function is obtained
  • w c is the spatial mapping weight
  • b c is the deviation.
  • FIG. 3 is a schematic diagram of a feature extraction process based on a channel attention model according to an embodiment, wherein “characteristic map 1, feature map 2, ... feature map m” on the left side represents an input feature map of m channels, and “features on the right side” Fig. 1, feature map 2, ... feature map m” shows the output characteristic map of m channels.
  • step S30 may be further included: applying the classifier according to the output feature map to perform image classification.
  • the output feature map application classifier can classify the image according to the color feature of the image, the texture feature of the image, the shape feature of the image, or the spatial relationship feature of the image.
  • FIG. 4 is a schematic flow chart of an image recognition method based on an attention model according to another embodiment, and an image recognition method based on an attention model, comprising the following steps:
  • Step S21 Acquire an input feature map whose image matrix shape is [W, H, C], where W is a width (the width of the image, the unit is a pixel), H is a height (the height of the image, the unit is a pixel), and C is Number of channels (number of color channels of the image).
  • the image matrix here is a three-dimensional matrix, and the format of [W, H, C] can also be written in the format of W*H*C, that is, width*height*channel number.
  • Step S22 spatially mapping the input feature map by using the spatial attention matrix [C, 1] in the shallow network of the convolutional neural network, and obtaining the first spatial weight matrix after activation by the activation function, and the first spatial weight matrix and The image matrix of the input feature map is multiplied by bits to obtain a first output feature map.
  • the shallow network is used to extract the underlying features of the image, so it is sensitive in space. It is more appropriate to use the spatial attention matrix [C, 1] to extract the feature attention pattern.
  • the convolutional neural network may include an input layer, an intermediate layer, and an output layer, wherein the shallow network of the convolutional neural network may refer to an input layer of a convolutional neural network through which an underlying feature of the image may be obtained, the bottom layer Features may include: color features of the image, texture features of the image, and shape features of the image.
  • the first output characteristic map can be obtained using the following formula:
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o :,:, c is the output feature map (ie the first output feature map)
  • i :, :, c is the input feature map (ie input feature map)
  • sigmoid To activate the function, w s is the spatial mapping weight (ie, the spatial attention matrix [C, 1]), b s is the deviation, and sigmoid(i :, :, c ⁇ w s +b s ) is the first spatial weight matrix.
  • FIG. 2 is a schematic diagram of a feature extraction process based on a spatial attention model according to an embodiment, where i is an input feature map, w is a spatial weight matrix, and o is an output feature map.
  • Step S23 spatially mapping the first output feature map by using the channel attention matrix [C, 1] in the deep network of the convolutional neural network, and obtaining the second spatial weight matrix after the activation function is activated, and the second spatial weight matrix Multiplying the image matrix of the first output feature map by bits to obtain a second output feature map.
  • Deep networks are used to extract features of the high-level semantic hierarchy, so they are sensitive to channel information.
  • the convolutional neural network may include an input layer, an intermediate layer, and an output layer, wherein the deep network of the convolutional neural network may refer to an output layer of the convolutional neural network through which deep features of the image may be acquired, and the deep features may Is the spatial relationship feature of the image.
  • the second output characteristic map is obtained using the following formula:
  • o w,h,: i w,h,: ⁇ sigmoid(mean(i w,h,: ) ⁇ w c +b c )
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o w, h is the output feature map (ie, the second output feature map)
  • i w, h is the input feature map (ie, the first output feature map)
  • sigmoid is the activation function
  • mean is the averaging function
  • w c is the spatial mapping weight
  • b c is the deviation, which is the second spatial weight matrix.
  • FIG. 3 is a schematic diagram of a feature extraction process based on a channel attention model according to an embodiment, wherein “characteristic map 1, feature map 2, ... feature map m” on the left side represents an input feature map of m channels, and “features on the right side” Fig. 1, feature map 2, ... feature map m” shows the output characteristic map of m channels.
  • step S24 may be further included: applying a classifier according to the second output feature map to perform image classification.
  • the application also provides an image recognition system based on attention model, comprising:
  • the image obtaining module is configured to obtain an input feature image whose image matrix shape is [W, H, C], wherein W is a width, H is a height, and C is a channel number.
  • the image processing module is configured to spatially map the input feature map by using a preset spatial mapping weight matrix, and obtain a spatial weight matrix after activation by the activation function, and multiply the spatial weight matrix and the image matrix of the input feature image by bit to obtain an output.
  • a feature map in which when the preset spatial mapping weight matrix is a spatial attention matrix [C, 1] whose attention is in image width and height, the shape of the spatial weight matrix is [W, H, 1], or when The preset spatial mapping weight matrix is a channel attention matrix [C, C] with attention to the number of image channels, and the shape of the spatial weight matrix is [1, 1, C].
  • the image processing module obtains the output feature map by using the following formula:
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o :,:, c the output feature map
  • i :, :, c the input feature map
  • sigmoid the activation function
  • w s the spatial map weight
  • b s deviation.
  • the image processing module obtains the output feature map by using the following formula:
  • o w,h,: i w,h,: ⁇ sigmoid(mean(i w,h,: ) ⁇ w c +b c )
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o w,h is the output feature map
  • i w,h is the input feature map
  • sigmoid is the activation function
  • mean is the averaging function
  • w c is The spatial mapping weights
  • b c is the deviation.
  • the classification module may further be configured to apply the classifier to perform image classification according to the output feature map.
  • the present application also provides an image recognition system based on an attention model, comprising: an image acquisition module and an image processing module.
  • the image acquisition module is configured to obtain an input feature map whose image matrix shape is [W, H, C], where W is a width, H is a height, and C is a channel number.
  • the image processing module includes a low-level semantic feature extraction module and an advanced semantic feature extraction module.
  • the low-level semantic feature extraction module is used to: spatially map the input feature map using the spatial attention matrix [C, 1] in the shallow network of the convolutional neural network, and obtain the first spatial weight matrix after activation by the activation function.
  • a spatial weight matrix is multiplied by the image matrix of the input feature map to obtain a first output feature map.
  • the shallow network is used to extract the underlying features of the image, so it is sensitive in space. It is more appropriate to use the spatial attention matrix [C, 1] to extract the feature attention pattern.
  • the first output characteristic map can be obtained using the following formula:
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o :,:, c is the output feature map (ie the first output feature map)
  • i :, :, c is the input feature map (ie input feature map)
  • sigmoid To activate the function, w s is the spatial mapping weight (ie, the spatial attention matrix [C, 1]), b s is the deviation, and sigmoid(i :, :, c ⁇ w s +b s ) is the first spatial weight matrix.
  • the advanced semantic feature extraction module is configured to: spatially map the first output feature map by using the channel attention matrix [C, 1] in the deep network of the convolutional neural network, and obtain the second spatial weight matrix after activation by the activation function, The second spatial weight matrix is multiplied by the image matrix of the first output feature map to obtain a second output feature map.
  • Deep networks are used to extract features of the high-level semantic hierarchy, so they are sensitive to channel information.
  • the second output feature map can be obtained using the following formula:
  • o w,h,: i w,h,: ⁇ sigmoid(mean(i w,h,: ) ⁇ w c +b c )
  • ⁇ bitwise multiplication
  • ⁇ matrix multiplication
  • o w, h,: is the output feature map (ie, the second output feature map)
  • i w, h, : is the input feature map (ie, the first output feature map)
  • sigmoid is the activation function
  • mean is the averaging function
  • w c is the spatial mapping weight
  • b c is the deviation
  • sigmoid(mean(i w,h,: ) ⁇ w c +b c ) is the second spatial weight matrix.
  • a classification module is further included, configured to apply the classifier according to the second output feature map to perform image classification.
  • the image recognition method and system based on the attention model described above first acquire an input feature map whose image matrix shape is [W, H, C], where W is the width, H is the height, and C is the number of channels; then the preset is used.
  • the spatial mapping weight matrix spatially maps the input feature map, and after the activation function is activated, the spatial weight matrix is obtained, and the spatial weight matrix is multiplied by the image matrix of the input feature image to obtain an output feature map, wherein, when the preset When the spatial mapping weight matrix is the spatial attention matrix [C, 1] whose attention is on the image width and height, the shape of the spatial weight matrix is [W, H, 1], or when the preset spatial mapping weight matrix is the attention When the channel attention matrix [C, C] of the number of image channels is used, the shape of the spatial weight matrix is [1, 1, C].
  • the embodiment of the present application further provides an electronic device, as shown in FIG. 5, including a processor 501, a communication interface 502, a memory 503, and a communication bus 504, wherein the processor 501, the communication interface 502, and the memory 503 pass through the communication bus 504.
  • an electronic device including a processor 501, a communication interface 502, a memory 503, and a communication bus 504, wherein the processor 501, the communication interface 502, and the memory 503 pass through the communication bus 504.
  • the processor 501 is configured to implement the image recognition method based on the attention model provided by the embodiment of the present application when the program stored in the memory 503 is executed.
  • the embodiment of the present application further provides a storage medium, where the processing program is stored by the processor, and the image recognition method based on the attention model provided by the embodiment of the present application is implemented.
  • the embodiment of the present application further provides an application program for performing the attention-based model-based image recognition method provided by the embodiment of the present application at runtime.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于注意力模型的图像识别方法和***，首先获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数；然后使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将所述空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，当所述预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]时，空间权重矩阵的形状为[W，H，1]，或者当所述预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]时，空间权重矩阵的形状为[1，1，C]，可有效提高特征提取的针对性，从而强化对于图像局部特征的提取能力。

Description

基于注意力模型的图像识别方法和***
本申请要求于2018年2月11日提交中国专利局、申请号为201810139775.5、申请名称为“基于注意力模型的图像识别方法和***”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种基于注意力模型的图像识别方法和***。
背景技术
近年来，深度学习模型在视频图像处理、语音识别、自然语言处理等相关领域得到了广泛应用。但是在处理具体的图像分类任务或者语音识别任务时，会由于输入数据的多样性，使得深度学习模型只能捕捉到数据的全局信息，而忽视了数据的局部信息。
为了解决此问题，相关技术中提供了一些解决办法。以图像分类为例，一些传统的解决办法是将图像人为划定成多个分割区域，采用空间金字塔的形式捕捉数据的局部信息，虽然该解决方法可以一定程度上解决上述问题，但是由于是人为预先划定分割区域，所以其对不同数据的泛化能力较差。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特别是容易忽略数据局部信息的技术缺陷。
本申请提供一种基于注意力模型的图像识别方法，包括如下步骤：
步骤S10：获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数；
步骤S20：使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将所述空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，当所述预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]时，空间权重矩阵的形状为[W，H，1]，或者当所述预设的空间映射权重矩阵为注意力在于图像通 道数的通道注意力矩阵[C，C]时，空间权重矩阵的形状为[1，1，C]。
在其中一个实施例中，当所述预设的空间映射权重矩阵为空间注意力矩阵[C，1]时，在步骤S20中使用以下公式：
o :,:,c＝i :,:,c⊙sigmoid(i :,:,c·w s+b s)
其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图，i :,:,c为输入特征图，sigmoid为激活函数，w s为空间映射权重，b s为偏差。
在其中一个实施例中，所述预设的空间映射权重矩阵为通道注意力矩阵[C，C]时，在步骤S20中使用以下公式：
o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图，i w,h,:为输入特征图，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差。
在其中一个实施例中，步骤S20包括：
在卷积神经网络的浅层网络使用所述空间注意力矩阵[C，1]对输入特征图进行空间映射，并经过激活函数激活后得到第一空间权重矩阵，将所述第一空间权重矩阵与输入特征图的图像矩阵按位相乘得到第一输出特征图；
在卷积神经网络的深层网络使用所述通道注意力矩阵[C，1]对所述第一输出特征图进行空间映射，并经过激活函数激活后得到第二空间权重矩阵，将所述第二空间权重矩阵与所述第一输出特征图的图像矩阵按位相乘得到第二输出特征图。
在其中一个实施例中，还包括步骤S30：
根据所述输出特征图应用分类器进行图像分类。
本申请还提供一种基于注意力模型的图像识别***，包括：
图像获取模块，用于获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数；
图像处理模块，用于使用预设的空间映射权重矩阵对输入特征图进行空 间映射，并经过激活函数激活后得到空间权重矩阵，将所述空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，所述预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]，此时空间权重矩阵的形状为[W，H，1]，或者所述预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]，此时空间权重矩阵的形状为[1，1，C]。
在其中一个实施例中，所述预设的空间映射权重矩阵为空间注意力矩阵[C，1]时，所述图像处理模块使用以下公式得到输出特征图：
o :,:,c＝ :,:,c⊙sigmoid(i :,:,c·w s+b s)
其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图，i :,:,c为输入特征图，sigmoid为激活函数，w s为空间映射权重，b s为偏差。
在其中一个实施例中，所述预设的空间映射权重矩阵为通道注意力矩阵[C，C]时，所述图像处理模块使用以下公式得到输出特征图：
o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图，i w,h,:为输入特征图，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差。
在其中一个实施例中，所述图像处理模块包括低级语义特征提取模块和高级语义特征提取模块；
所述低级语义特征提取模块用于：在卷积神经网络的浅层网络使用所述空间注意力矩阵[C，1]对输入特征图进行空间映射，并经过激活函数激活后得到第一空间权重矩阵，将所述第一空间权重矩阵与输入特征图的图像矩阵按位相乘得到第一输出特征图；
所述高级语义特征提取模块用于：在卷积神经网络的深层网络使用所述通道注意力矩阵[C，1]对所述第一输出特征图进行空间映射，并经过激活函数激活后得到第二空间权重矩阵，将所述第二空间权重矩阵与所述第一输出特征图的图像矩阵按位相乘得到第二输出特征图。
在其中一个实施例中，还包括分类模块，用于根据所述输出特征图应用分类器进行图像分类。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本申请实施例所提供的基于注意力模型的图像识别方法。
本申请实施例还提供了一种存储介质，所述存储介质内存储有处理程序，所述处理程序被处理器执行时实现本申请实施例所提供的基于注意力模型的图像识别方法。
本申请实施例还提供了一种应用程序，所述应用程序用于在运行时执行本申请实施例所提供的基于注意力模型的图像识别方法。
上述的基于注意力模型的图像识别方法和***，首先获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数；然后使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将所述空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，所述预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]，此时空间权重矩阵的形状为[W，H，1]，或者所述预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]，此时空间权重矩阵的形状为[1，1，C]。通过上述的的空间注意力矩阵[C，1]或通道注意力矩阵[C，C]，可以使得在特征提取过程中注意力在于空间或通道，有效提高特征提取的针对性，从而强化对于图像局部特征的提取能力。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为一个实施例的基于注意力模型的图像识别方法流程示意图；
图2为一个实施例的基于空间注意力模型的特征提取过程示意图；
图3为一个实施例的基于通道注意力模型的特征提取过程示意图；
图4为另一个实施例的基于注意力模型的图像识别方法流程示意图；
图5为一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
实施例一
图1为一个实施例的基于注意力模型的图像识别方法的流程示意图，一种基于注意力模型的图像识别方法，可以包括如下步骤：
步骤S10：获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度(图像的宽度，单位为像素)，H为高度(图像的高度，单位为像素)，C为通道数(图像的颜色通道数量)。这里的图像矩阵为三维矩阵，[W，H，C]的格式还可以写成W*H*C的格式，即宽度*高度*通道数。其中，输入特征图为 作为输入内容的特征图，特征图可以包括：图像的颜色特征、图像的纹理特征、图像的形状特征、图像的空间关系特征等。本发明实施例对特征图所包含的图像的特征不做具体限定。
步骤S20：使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，当预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]，此时空间权重矩阵的形状为[W，H，1]；或者当预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]，此时空间权重矩阵的形状为[1，1，C]。
其中，输出特征图为作为输出结果的特征图。
需要说明的是，在实际应用中，可以根据实际情况设置激活函数，其中，激活函数可以有多种，例如，Sigmoid函数、Tanh函数或者ReLU函数。
在一种实现方式中，在本实施例中，预设的空间映射权重矩阵为空间注意力矩阵[C，1]时，在步骤S20中使用以下公式得到输出特征图：
o :,:,c＝i :,:,c⊙sigmoid(i :,:,c·w s+b s)
其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图(图像矩阵)，i :,:,c为输入特征图(图像矩阵)，sigmoid为激活函数，w s为空间映射权重，b s为偏差。⊙是表示两个相同尺寸矩阵中相同位置的数据相乘以生成一个同一尺寸的矩阵。例如，A和B为两个2*2的二维矩阵，A⊙B生成2*2的二维矩阵K。其中，A矩阵中的数据为Amn(A11，A12，A21，A22)，m为行数，n为列数；B矩阵中的数据为Bmn(B11，B12，B21，B22)，m为行数，n为列数；K矩阵中的数据为Kmn(K11，K12，K21，K22)，m为行数，n为列数；则Amn×Bmn＝Kmn，即A11×B11＝K11，A12×B12＝K12，A21×B21＝K21，A22×B22＝K22。
图2为一个实施例的基于空间注意力模型的特征提取过程示意图，i为输入特征图，w为空间权重矩阵，o为输出特征图。
在本实施例中，预设的空间映射权重矩阵为通道注意力矩阵[C，C]时，在步骤S20中使用以下公式得到输出特征图：
o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图(图像矩阵)，i w,h,:为输入特征图(图像矩阵)，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差。
图3为一个实施例的基于通道注意力模型的特征提取过程示意图，左侧的“特征图1、特征图2、……特征图m”表示m个通道的输入特征图，右侧的“特征图1、特征图2、……特征图m”表示m个通道的输出特征图。
在上述本实施例中，还可以包括步骤S30：根据输出特征图应用分类器进行图像分类。
在该步骤中，输出特征图应用分类器可以根据图像的颜色特征、图像的纹理特征、图像的形状特征或图像的空间关系特征实现对图像的分类。
实施例二
图4为另一个实施例的基于注意力模型的图像识别方法流程示意图，一种基于注意力模型的图像识别方法，包括如下步骤：
步骤S21：获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度(图像的宽度，单位为像素)，H为高度(图像的高度，单位为像素)，C为通道数(图像的颜色通道数量)。这里的图像矩阵为三维矩阵，[W，H，C]的格式还可以写成W*H*C的格式，即宽度*高度*通道数。
步骤S22：在卷积神经网络的浅层网络使用空间注意力矩阵[C，1]对输入特征图进行空间映射，并经过激活函数激活后得到第一空间权重矩阵，将第一空间权重矩阵与输入特征图的图像矩阵按位相乘得到第一输出特征图。浅层网络用于提取图像的底层特征，所以在空间上较为敏感，使用空间注意力矩阵[C，1]提取特征的注意力模式比较合适。
卷积神经网络可以包括输入层、中间层和输出层，其中，卷积神经网络的浅层网络可以指卷积神经网络的输入层，通过该浅层网络可以获取到图像的底层特征，该底层特征可以包括：图像的颜色特征、图像的纹理特征及图像的形状特征。
在本实施例中，可以使用以下公式得到第一输出特征图：
o :,:,c＝i :,:,c⊙sigmoid(i :,:,c·w s+b s)
其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图(即第一输出特征图)，i :,:,c为输入特征图(即输入特征图)，sigmoid为激活函数，w s为空间映射权重(即空间注意力矩阵[C，1])，b s为偏差，sigmoid(i :,:,c·w s+b s)为第一空间权重矩阵。
图2为一个实施例的基于空间注意力模型的特征提取过程示意图，i为输入特征图，w为空间权重矩阵，o为输出特征图。
步骤S23：在卷积神经网络的深层网络使用通道注意力矩阵[C，1]对第一输出特征图进行空间映射，并经过激活函数激活后得到第二空间权重矩阵，将第二空间权重矩阵与第一输出特征图的图像矩阵按位相乘得到第二输出特征图。深层网络用于提取高级语义层级的特征，所以对通道的信息较为敏感。
卷积神经网络可以包括输入层、中间层和输出层，其中，卷积神经网络的深层网络可以指卷积神经网络的输出层，通过该深层网络可以获取到图像的深层特征，该深层特征可以是图像的空间关系特征。
在本实施例中，使用以下公式得到第二输出特征图：
o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图(即第二输出特征图)，i w,h,:为输入特征图(即第一输出特征图)，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差，为第二空间权重矩阵。
图3为一个实施例的基于通道注意力模型的特征提取过程示意图，左侧的“特征图1、特征图2、……特征图m”表示m个通道的输入特征图，右侧的“特征图1、特征图2、……特征图m”表示m个通道的输出特征图。
在上述本实施例中，还可以包括步骤S24：根据第二输出特征图应用分类器进行图像分类。
实施例三
本申请还提供一种基于注意力模型的图像识别***，包括：
图像获取模块，用于获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数。
图像处理模块，用于使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，当预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]，此时空间权重矩阵的形状为[W，H，1]，或者当预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]，此时空间权重矩阵的形状为[1，1，C]。
在本实施例中，当预设的空间映射权重矩阵为空间注意力矩阵[C，1]时，图像处理模块使用以下公式得到输出特征图：
o :,:,c＝i :,:,c⊙sigmoid(i :,:,c·w s+b s)
其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图，i :,:,c为输入特征图，sigmoid为激活函数，w s为空间映射权重，b s为偏差。
在本实施例中，当预设的空间映射权重矩阵为通道注意力矩阵[C，C]时，图像处理模块使用以下公式得到输出特征图：
o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图，i w,h,:为输入特征图，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差。
在上述本实施例中，还可以包括分类模块，用于根据输出特征图应用分类器进行图像分类。
实施例四
本申请还提供一种基于注意力模型的图像识别***，包括：图像获取模 块和图像处理模块。
图像获取模块用于获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数。
图像处理模块包括低级语义特征提取模块和高级语义特征提取模块。
低级语义特征提取模块用于：在卷积神经网络的浅层网络使用空间注意力矩阵[C，1]对输入特征图进行空间映射，并经过激活函数激活后得到第一空间权重矩阵，将第一空间权重矩阵与输入特征图的图像矩阵按位相乘得到第一输出特征图。浅层网络用于提取图像的底层特征，所以在空间上较为敏感，使用空间注意力矩阵[C，1]提取特征的注意力模式比较合适。
在本实施例中，可以使用以下公式得到第一输出特征图：
o :,:,c＝i :,:,c⊙sigmoid(i :,:,c·w s+b s)
其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图(即第一输出特征图)，i :,:,c为输入特征图(即输入特征图)，sigmoid为激活函数，w s为空间映射权重(即空间注意力矩阵[C，1])，b s为偏差，sigmoid(i :,:,c·w s+b s)为第一空间权重矩阵。
高级语义特征提取模块用于：在卷积神经网络的深层网络使用通道注意力矩阵[C，1]对第一输出特征图进行空间映射，并经过激活函数激活后得到第二空间权重矩阵，将第二空间权重矩阵与第一输出特征图的图像矩阵按位相乘得到第二输出特征图。深层网络用于提取高级语义层级的特征，所以对通道的信息较为敏感。
在本实施例中，可以使用以下公式得到第二输出特征图：
o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图(即第二输出特征图)，i w,h,:为输入特征图(即第一输出特征图)，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差，sigmoid(mean(i w,h,:)·w c+b c)为第二空间权重矩阵。
在本实施例中，还包括分类模块，用于根据第二输出特征图应用分类器进行图像分类。
上述的基于注意力模型的图像识别方法和***，首先获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数；然后使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，当预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]时，空间权重矩阵的形状为[W，H，1]，或者当预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]时，空间权重矩阵的形状为[1，1，C]。通过上述的的空间注意力矩阵[C，1]或通道注意力矩阵[C，C]，可以使得在特征提取过程中注意力在于空间或通道，有效提高特征提取的针对性，从而强化对于图像局部特征的提取能力。
本申请实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信；
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现本申请实施例所提供的基于注意力模型的图像识别方法。
本申请实施例还提供了一种存储介质，所述存储介质内存储有处理程序，所述处理程序被处理器执行时实现本申请实施例所提供的基于注意力模型的图像识别方法。
本申请实施例还提供了一种应用程序，所述应用程序用于在运行时执行本申请实施例所提供的基于注意力模型的图像识别方法。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或 者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (13)

  1. 一种基于注意力模型的图像识别方法，其特征在于，包括如下步骤：
    步骤S10：获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数；
    步骤S20：使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将所述空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，当所述预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]时，空间权重矩阵的形状为[W，H，1]，或者当所述预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]时，空间权重矩阵的形状为[1，1，C]。
  2. 根据权利要求1所述的基于注意力模型的图像识别方法，其特征在于，当所述预设的空间映射权重矩阵为空间注意力矩阵[C，1]时，在步骤S20中使用以下公式得到输出特征图：
    o :,:,c＝i :,:,c⊙sigmoid(i :,:,c·w s+b s)
    其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图，i :,:,c为输入特征图，sigmoid为激活函数，w s为空间映射权重，b s为偏差。
  3. 根据权利要求1所述的基于注意力模型的图像识别方法，其特征在于，当所述预设的空间映射权重矩阵为通道注意力矩阵[C，C]时，在步骤S20中使用以下公式得到输出特征图：
    o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
    其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图，i w,h,:为输入特征图，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差。
  4. 根据权利要求1所述的基于注意力模型的图像识别方法，其特征在于，步骤S20包括：
    在卷积神经网络的浅层网络使用所述空间注意力矩阵[C，1]对输入特征图进行空间映射，并经过激活函数激活后得到第一空间权重矩阵，将所述第一空间权重矩阵与输入特征图的图像矩阵按位相乘得到第一输出特征图；
    在卷积神经网络的深层网络使用所述通道注意力矩阵[C，1]对所述第一 输出特征图进行空间映射，并经过激活函数激活后得到第二空间权重矩阵，将所述第二空间权重矩阵与所述第一输出特征图的图像矩阵按位相乘得到第二输出特征图。
  5. 根据权利要求1所述的基于注意力模型的图像识别方法，其特征在于，还包括步骤S30：
    根据所述输出特征图应用分类器进行图像分类。
  6. 一种基于注意力模型的图像识别***，其特征在于，包括：
    图像获取模块，用于获取图像矩阵形状为[W，H，C]的输入特征图，其中，W为宽度，H为高度，C为通道数；
    图像处理模块，用于使用预设的空间映射权重矩阵对输入特征图进行空间映射，并经过激活函数激活后得到空间权重矩阵，将所述空间权重矩阵与输入特征图的图像矩阵按位相乘得到输出特征图，其中，当所述预设的空间映射权重矩阵为注意力在于图像宽度和高度的空间注意力矩阵[C，1]时，空间权重矩阵的形状为[W，H，1]，或者当所述预设的空间映射权重矩阵为注意力在于图像通道数的通道注意力矩阵[C，C]时，空间权重矩阵的形状为[1，1，C]。
  7. 根据权利要求6所述的基于注意力模型的图像识别***，其特征在于，当所述预设的空间映射权重矩阵为空间注意力矩阵[C，1]时，所述图像处理模块使用以下公式得到输出特征图：
    o :,:,c＝i :,:,c⊙sigmoid(i :,:,c·w s+b s)
    其中，⊙为按位乘，·为矩阵乘法，o :,:,c为输出特征图，i :,:,c为输入特征图，sigmoid为激活函数，w s为空间映射权重，b s为偏差。
  8. 根据权利要求6所述的基于注意力模型的图像识别***，其特征在于，当所述预设的空间映射权重矩阵为通道注意力矩阵[C，C]时，所述图像处理模块使用以下公式得到输出特征图：
    o w,h,:＝i w,h,:⊙sigmoid(mean(i w,h,:)·w c+b c)
    其中，⊙为按位乘，·为矩阵乘法，o w,h,:为输出特征图，i w,h,:为输入特征图，sigmoid为激活函数，mean为求平均值函数，w c为空间映射权重，b c为偏差。
  9. 根据权利要求6所述的基于注意力模型的图像识别***，其特征在于，所述图像处理模块包括低级语义特征提取模块和高级语义特征提取模块；
    所述低级语义特征提取模块用于：在卷积神经网络的浅层网络使用所述空间注意力矩阵[C，1]对输入特征图进行空间映射，并经过激活函数激活后得到第一空间权重矩阵，将所述第一空间权重矩阵与输入特征图的图像矩阵按位相乘得到第一输出特征图；
    所述高级语义特征提取模块用于：在卷积神经网络的深层网络使用所述通道注意力矩阵[C，1]对所述第一输出特征图进行空间映射，并经过激活函数激活后得到第二空间权重矩阵，将所述第二空间权重矩阵与所述第一输出特征图的图像矩阵按位相乘得到第二输出特征图。
  10. 根据权利要求6所述的基于注意力模型的图像识别***，其特征在于，还包括分类模块，用于根据所述输出特征图应用分类器进行图像分类。
  11. 一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
    存储器，用于存放计算机程序；
    处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
  12. 一种存储介质，其特征在于，所述存储介质内存储有处理程序，所述处理程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
  13. 一种应用程序，其特征在于，所述应用程序用于在运行时执行权利要求1-5任一项所述的方法步骤。
PCT/CN2018/122684 2018-02-11 2018-12-21 基于注意力模型的图像识别方法和*** WO2019153908A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810139775.5 2018-02-11
CN201810139775.5A CN108364023A (zh) 2018-02-11 2018-02-11 基于注意力模型的图像识别方法和***

Publications (1)

Publication Number Publication Date
WO2019153908A1 true WO2019153908A1 (zh) 2019-08-15

Family

ID=63005720

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/122684 WO2019153908A1 (zh) 2018-02-11 2018-12-21 基于注意力模型的图像识别方法和***

Country Status (2)

Country Link
CN (1) CN108364023A (zh)
WO (1) WO2019153908A1 (zh)

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028253A (zh) * 2019-11-25 2020-04-17 北京科技大学 一种铁精粉分割方法及分割装置
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111369433A (zh) * 2019-11-12 2020-07-03 天津大学 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN111414962A (zh) * 2020-03-19 2020-07-14 创新奇智(重庆)科技有限公司 一种引入物体关系的图像分类方法
CN111539884A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于多注意力机制融合的神经网络视频去模糊方法
CN111639654A (zh) * 2020-05-12 2020-09-08 博泰车联网(南京)有限公司 一种图像处理方法、装置及计算机存储介质
CN111950586A (zh) * 2020-07-01 2020-11-17 银江股份有限公司 一种引入双向注意力的目标检测方法
CN112035645A (zh) * 2020-09-01 2020-12-04 平安科技（深圳）有限公司 数据查询方法以及***
CN112464787A (zh) * 2020-11-25 2021-03-09 北京航空航天大学 基于空间融合注意力的遥感图像舰船目标细粒度分类方法
CN112489033A (zh) * 2020-12-13 2021-03-12 南通云达信息技术有限公司 基于分类权重的混凝土养护箱的清洁效果的检测方法
CN112560907A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于混合域注意力的有限像素红外无人机目标检测方法
CN112613356A (zh) * 2020-12-07 2021-04-06 北京理工大学 一种基于深度注意力融合网络的动作检测方法及装置
CN112653899A (zh) * 2020-12-18 2021-04-13 北京工业大学 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN112733578A (zh) * 2019-10-28 2021-04-30 普天信息技术有限公司 车辆重识别方法及***
CN112801945A (zh) * 2021-01-11 2021-05-14 西北大学 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN113255821A (zh) * 2021-06-15 2021-08-13 中国人民解放军国防科技大学 基于注意力的图像识别方法、***、电子设备及存储介质
CN113283278A (zh) * 2021-01-08 2021-08-20 浙江大学 一种抗干扰的激光水下目标识别仪
CN113408577A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于注意力机制的图像分类方法
CN113450366A (zh) * 2021-07-16 2021-09-28 桂林电子科技大学 基于AdaptGAN的低照度语义分割方法
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN113539297A (zh) * 2021-07-08 2021-10-22 中国海洋大学 一种用于声音分类的联合注意力机制模型、方法及应用
CN113569735A (zh) * 2021-07-28 2021-10-29 中国人民解放军空军预警学院 复数坐标注意力模块及复输入特征图处理方法及***
CN113658114A (zh) * 2021-07-29 2021-11-16 南京理工大学 基于多尺度交叉注意力的接触网开口销缺陷目标检测方法
CN113674334A (zh) * 2021-07-06 2021-11-19 复旦大学 基于深度自注意力网络和局部特征编码的纹理识别方法
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、***及相关设备
CN113744284A (zh) * 2021-09-06 2021-12-03 浙大城市学院 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN113744844A (zh) * 2021-09-17 2021-12-03 天津市肿瘤医院（天津医科大学肿瘤医院） 基于深度卷积神经网络的甲状腺超声影像处理方法
CN113793345A (zh) * 2021-09-07 2021-12-14 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
CN114549962A (zh) * 2022-03-07 2022-05-27 重庆锐云科技有限公司 一种园林植物叶病分类方法
CN114612979A (zh) * 2022-03-09 2022-06-10 平安科技（深圳）有限公司 一种活体检测方法及装置、电子设备、存储介质
CN114758206A (zh) * 2022-06-13 2022-07-15 武汉珈鹰智能科技有限公司 一种钢网架结构异常检测方法及装置
CN115578615A (zh) * 2022-10-31 2023-01-06 成都信息工程大学 基于深度学习的夜间交通标志图像检测模型建立方法
CN115937792A (zh) * 2023-01-10 2023-04-07 浙江非线数联科技股份有限公司 基于区块链的智慧社区运营管理***
CN116030014A (zh) * 2023-01-06 2023-04-28 浙江伟众科技有限公司 空调软硬管的智能化加工方法及其***
US11694319B2 (en) 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN116503398A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN117218720A (zh) * 2023-08-25 2023-12-12 中南民族大学 一种复合注意力机制的足迹识别方法、***及相关装置
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位***及方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***
CN109344840B (zh) * 2018-08-07 2022-04-01 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN109325911B (zh) * 2018-08-27 2020-04-14 北京航空航天大学 一种基于注意力增强机制的空基铁轨检测方法
CN109584161A (zh) * 2018-11-29 2019-04-05 四川大学 基于通道注意力的卷积神经网络的遥感图像超分辨率重建方法
CN109376804B (zh) * 2018-12-19 2020-10-30 中国地质大学（武汉） 基于注意力机制和卷积神经网络高光谱遥感图像分类方法
CN109871532B (zh) * 2019-01-04 2022-07-08 平安科技（深圳）有限公司 文本主题提取方法、装置及存储介质
CN109871777B (zh) * 2019-01-23 2021-10-01 广州智慧城市发展研究院 一种基于注意力机制的行为识别***
CN109960726B (zh) * 2019-02-13 2024-01-23 平安科技（深圳）有限公司 文本分类模型构建方法、装置、终端及存储介质
CN111598117B (zh) * 2019-02-21 2023-06-30 成都通甲优博科技有限责任公司 图像识别方法及装置
CN109919925A (zh) * 2019-03-04 2019-06-21 联觉(深圳)科技有限公司 印刷电路板智能检测方法、***、电子装置及存储介质
CN109919249B (zh) * 2019-03-19 2020-07-31 北京字节跳动网络技术有限公司 用于生成特征图的方法和装置
CN109871909B (zh) 2019-04-16 2021-10-01 京东方科技集团股份有限公司 图像识别方法及装置
CN110084794B (zh) * 2019-04-22 2020-12-22 华南理工大学 一种基于注意力卷积神经网络的皮肤癌图片识别方法
CN110046598B (zh) * 2019-04-23 2023-01-06 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN110135325B (zh) * 2019-05-10 2020-12-08 山东大学 基于尺度自适应网络的人群人数计数方法及***
CN110334749B (zh) * 2019-06-20 2021-08-03 浙江工业大学 基于注意力机制的对抗攻击防御模型、构建方法及应用
CN110334716B (zh) * 2019-07-04 2022-01-11 北京迈格威科技有限公司 特征图处理方法、图像处理方法及装置
CN110689093B (zh) * 2019-12-10 2020-04-21 北京同方软件有限公司 一种复杂场景下的图像目标精细分类方法
CN111191737B (zh) * 2020-01-05 2023-07-25 天津大学 基于多尺度反复注意力机制的细粒度图像分类方法
CN111461973A (zh) * 2020-01-17 2020-07-28 华中科技大学 一种图像的超分辨率重建方法及***
CN110991568B (zh) * 2020-03-02 2020-07-31 佳都新太科技股份有限公司 目标识别方法、装置、设备和存储介质
CN112287989B (zh) * 2020-10-20 2022-06-07 武汉大学 一种基于自注意力机制的航空影像地物分类方法
CN112329702B (zh) * 2020-11-19 2021-05-07 上海点泽智能科技有限公司 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN114529963A (zh) * 2020-11-23 2022-05-24 中兴通讯股份有限公司 图像处理方法、装置、电子设备和可读存储介质
CN112633158A (zh) * 2020-12-22 2021-04-09 广东电网有限责任公司电力科学研究院 一种输电线路走廊车辆识别方法、装置、设备和存储介质
CN112766597B (zh) * 2021-01-29 2023-06-27 中国科学院自动化研究所 公交客流预测方法及***
CN113076878B (zh) * 2021-04-02 2023-06-09 郑州大学 基于注意力机制卷积网络结构的体质辨识方法
CN113139444A (zh) * 2021-04-06 2021-07-20 上海工程技术大学 基于MobileNetV2的时空注意力口罩佩戴实时检测方法
CN113361441B (zh) * 2021-06-18 2022-09-06 山东大学 基于头部姿态和空间注意力的视线区域估计方法及***
CN114005078B (zh) * 2021-12-31 2022-03-29 山东交通学院 一种基于双关系注意力机制的车辆重识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106127749A (zh) * 2016-06-16 2016-11-16 华南理工大学 基于视觉注意机制的目标零件识别方法
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN107609638A (zh) * 2017-10-12 2018-01-19 湖北工业大学 一种基于线性解码器和插值采样优化卷积神经网络的方法
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934397B (zh) * 2017-03-13 2020-09-01 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN107291945B (zh) * 2017-07-12 2020-03-31 上海媒智科技有限公司 基于视觉注意力模型的高精度服装图像检索方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104517122A (zh) * 2014-12-12 2015-04-15 浙江大学 一种基于优化卷积架构的图像目标识别方法
CN106127749A (zh) * 2016-06-16 2016-11-16 华南理工大学 基于视觉注意机制的目标零件识别方法
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN107609638A (zh) * 2017-10-12 2018-01-19 湖北工业大学 一种基于线性解码器和插值采样优化卷积神经网络的方法
CN108364023A (zh) * 2018-02-11 2018-08-03 北京达佳互联信息技术有限公司 基于注意力模型的图像识别方法和***

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733578B (zh) * 2019-10-28 2024-05-24 普天信息技术有限公司 车辆重识别方法及***
CN112733578A (zh) * 2019-10-28 2021-04-30 普天信息技术有限公司 车辆重识别方法及***
CN111369433A (zh) * 2019-11-12 2020-07-03 天津大学 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN111369433B (zh) * 2019-11-12 2024-02-13 天津大学 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN111028253A (zh) * 2019-11-25 2020-04-17 北京科技大学 一种铁精粉分割方法及分割装置
CN111028253B (zh) * 2019-11-25 2023-05-30 北京科技大学 一种铁精粉分割方法及分割装置
CN111126258B (zh) * 2019-12-23 2023-06-23 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111126258A (zh) * 2019-12-23 2020-05-08 深圳市华尊科技股份有限公司 图像识别方法及相关装置
CN111414962A (zh) * 2020-03-19 2020-07-14 创新奇智(重庆)科技有限公司 一种引入物体关系的图像分类方法
US11694319B2 (en) 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN111539884A (zh) * 2020-04-21 2020-08-14 温州大学 一种基于多注意力机制融合的神经网络视频去模糊方法
CN111539884B (zh) * 2020-04-21 2023-08-15 温州大学 一种基于多注意力机制融合的神经网络视频去模糊方法
CN111639654B (zh) * 2020-05-12 2023-12-26 博泰车联网(南京)有限公司 一种图像处理方法、装置及计算机存储介质
CN111639654A (zh) * 2020-05-12 2020-09-08 博泰车联网(南京)有限公司 一种图像处理方法、装置及计算机存储介质
CN111950586A (zh) * 2020-07-01 2020-11-17 银江股份有限公司 一种引入双向注意力的目标检测方法
CN111950586B (zh) * 2020-07-01 2024-01-19 银江技术股份有限公司 一种引入双向注意力的目标检测方法
CN112035645A (zh) * 2020-09-01 2020-12-04 平安科技（深圳）有限公司 数据查询方法以及***
CN112035645B (zh) * 2020-09-01 2024-06-11 平安科技（深圳）有限公司 数据查询方法以及***
CN112464787A (zh) * 2020-11-25 2021-03-09 北京航空航天大学 基于空间融合注意力的遥感图像舰船目标细粒度分类方法
CN112560907B (zh) * 2020-12-02 2024-05-28 西安电子科技大学 基于混合域注意力的有限像素红外无人机目标检测方法
CN112560907A (zh) * 2020-12-02 2021-03-26 西安电子科技大学 基于混合域注意力的有限像素红外无人机目标检测方法
CN112613356A (zh) * 2020-12-07 2021-04-06 北京理工大学 一种基于深度注意力融合网络的动作检测方法及装置
CN112489033A (zh) * 2020-12-13 2021-03-12 南通云达信息技术有限公司 基于分类权重的混凝土养护箱的清洁效果的检测方法
CN112653899B (zh) * 2020-12-18 2022-07-12 北京工业大学 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN112653899A (zh) * 2020-12-18 2021-04-13 北京工业大学 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN113283278B (zh) * 2021-01-08 2023-03-24 浙江大学 一种抗干扰的激光水下目标识别仪
CN113283278A (zh) * 2021-01-08 2021-08-20 浙江大学 一种抗干扰的激光水下目标识别仪
CN112801945A (zh) * 2021-01-11 2021-05-14 西北大学 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN113408577A (zh) * 2021-05-12 2021-09-17 桂林电子科技大学 一种基于注意力机制的图像分类方法
CN113468967B (zh) * 2021-06-02 2023-08-18 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN113468967A (zh) * 2021-06-02 2021-10-01 北京邮电大学 基于注意力机制的车道线检测方法、装置、设备及介质
CN113255821A (zh) * 2021-06-15 2021-08-13 中国人民解放军国防科技大学 基于注意力的图像识别方法、***、电子设备及存储介质
CN113674334A (zh) * 2021-07-06 2021-11-19 复旦大学 基于深度自注意力网络和局部特征编码的纹理识别方法
CN113674334B (zh) * 2021-07-06 2023-04-18 复旦大学 基于深度自注意力网络和局部特征编码的纹理识别方法
CN113539297A (zh) * 2021-07-08 2021-10-22 中国海洋大学 一种用于声音分类的联合注意力机制模型、方法及应用
CN113450366B (zh) * 2021-07-16 2022-08-30 桂林电子科技大学 基于AdaptGAN的低照度语义分割方法
CN113450366A (zh) * 2021-07-16 2021-09-28 桂林电子科技大学 基于AdaptGAN的低照度语义分割方法
CN113569735B (zh) * 2021-07-28 2023-04-07 中国人民解放军空军预警学院 基于复数坐标注意力模块的复输入特征图处理方法及***
CN113569735A (zh) * 2021-07-28 2021-10-29 中国人民解放军空军预警学院 复数坐标注意力模块及复输入特征图处理方法及***
CN113658114A (zh) * 2021-07-29 2021-11-16 南京理工大学 基于多尺度交叉注意力的接触网开口销缺陷目标检测方法
CN113744284A (zh) * 2021-09-06 2021-12-03 浙大城市学院 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN113744284B (zh) * 2021-09-06 2023-08-29 浙大城市学院 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
CN113793345B (zh) * 2021-09-07 2023-10-31 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
CN113793345A (zh) * 2021-09-07 2021-12-14 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
CN113744844B (zh) * 2021-09-17 2024-01-26 天津市肿瘤医院（天津医科大学肿瘤医院） 基于深度卷积神经网络的甲状腺超声影像处理方法
CN113744844A (zh) * 2021-09-17 2021-12-03 天津市肿瘤医院（天津医科大学肿瘤医院） 基于深度卷积神经网络的甲状腺超声影像处理方法
CN113744164A (zh) * 2021-11-05 2021-12-03 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、***及相关设备
CN113744164B (zh) * 2021-11-05 2022-03-15 深圳市安软慧视科技有限公司 一种快速夜间低照度图像增强方法、***及相关设备
CN114549962A (zh) * 2022-03-07 2022-05-27 重庆锐云科技有限公司 一种园林植物叶病分类方法
CN114612979B (zh) * 2022-03-09 2024-05-31 平安科技（深圳）有限公司 一种活体检测方法及装置、电子设备、存储介质
CN114612979A (zh) * 2022-03-09 2022-06-10 平安科技（深圳）有限公司 一种活体检测方法及装置、电子设备、存储介质
CN114758206A (zh) * 2022-06-13 2022-07-15 武汉珈鹰智能科技有限公司 一种钢网架结构异常检测方法及装置
CN114758206B (zh) * 2022-06-13 2022-10-28 武汉珈鹰智能科技有限公司 一种钢网架结构异常检测方法及装置
CN115578615A (zh) * 2022-10-31 2023-01-06 成都信息工程大学 基于深度学习的夜间交通标志图像检测模型建立方法
CN116030014A (zh) * 2023-01-06 2023-04-28 浙江伟众科技有限公司 空调软硬管的智能化加工方法及其***
CN116030014B (zh) * 2023-01-06 2024-04-09 浙江伟众科技有限公司 空调软硬管的智能化加工方法及其***
CN115937792B (zh) * 2023-01-10 2023-09-12 浙江非线数联科技股份有限公司 基于区块链的智慧社区运营管理***
CN115937792A (zh) * 2023-01-10 2023-04-07 浙江非线数联科技股份有限公司 基于区块链的智慧社区运营管理***
CN116503398A (zh) * 2023-06-26 2023-07-28 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN116503398B (zh) * 2023-06-26 2023-09-26 广东电网有限责任公司湛江供电局 绝缘子污闪检测方法、装置、电子设备及存储介质
CN117218720B (zh) * 2023-08-25 2024-04-16 中南民族大学 一种复合注意力机制的足迹识别方法、***及相关装置
CN117218720A (zh) * 2023-08-25 2023-12-12 中南民族大学 一种复合注意力机制的足迹识别方法、***及相关装置
CN117789153B (zh) * 2024-02-26 2024-05-03 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位***及方法
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位***及方法

Also Published As

Publication number Publication date
CN108364023A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
WO2019153908A1 (zh) 基于注意力模型的图像识别方法和***
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
WO2017124646A1 (zh) 一种用于稀疏连接的人工神经网络计算装置和方法
CN106778928B (zh) 图像处理方法及装置
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
KR100924689B1 (ko) 모바일 기기의 이미지 변환 장치 및 방법
CN106855952B (zh) 基于神经网络的计算方法及装置
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
CN107590811B (zh) 基于场景分割的风景图像处理方法、装置及计算设备
WO2020253304A1 (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN111833360B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN111383232A (zh) 抠图方法、装置、终端设备及计算机可读存储介质
US11481994B2 (en) Method and apparatus for extracting image data in parallel from multiple convolution windows, device, and computer-readable storage medium
JP2015036939A (ja) 特徴抽出プログラム及び情報処理装置
CN112799599A (zh) 一种数据存储方法、计算核、芯片和电子设备
WO2021042544A1 (zh) 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质
WO2022179075A1 (zh) 一种数据处理方法、装置、计算机设备及存储介质
US20210357647A1 (en) Method and System for Video Action Classification by Mixing 2D and 3D Features
WO2021081854A1 (zh) 一种卷积运算电路和卷积运算方法
Lin et al. Coupled space learning of image style transformation
KR20200129957A (ko) 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템
CN106469437B (zh) 图像处理方法和图像处理装置
US20210224947A1 (en) Computer Vision Systems and Methods for Diverse Image-to-Image Translation Via Disentangled Representations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18905182

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 26.11.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18905182

Country of ref document: EP

Kind code of ref document: A1