CN117036832B - 一种基于随机多尺度分块的图像分类方法、装置及介质 - Google Patents
一种基于随机多尺度分块的图像分类方法、装置及介质 Download PDFInfo
- Publication number
- CN117036832B CN117036832B CN202311294085.4A CN202311294085A CN117036832B CN 117036832 B CN117036832 B CN 117036832B CN 202311294085 A CN202311294085 A CN 202311294085A CN 117036832 B CN117036832 B CN 117036832B
- Authority
- CN
- China
- Prior art keywords
- image
- size
- image block
- blocks
- image blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000903 blocking effect Effects 0.000 title claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 31
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 230000009466 transformation Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 241000269350 Anura Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- JHIVVAPYMSGYDF-UHFFFAOYSA-N cyclohexanone Chemical compound O=C1CCCCC1 JHIVVAPYMSGYDF-UHFFFAOYSA-N 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于随机多尺度分块的图像分类方法、装置及介质,包括:根据随机数对图像进行可变大小的切割,得到不同大小的图像块并记录其在图像中的位置坐标以及图像块的大小信息,从而获取图像块在图像中的位置编码以及对每个图像块大小进行编码;从图像中提取不同大小的图像块并进行像素编码;将相同大小图像块的编码向量分别组合成序列;将不同大小的序列添加图像块大小编码后分别先后输入第一Transformer编码器模块和第二Transformer编码器模块获得全局特征,再进行层归一化之后进行线性变换,得到最终的图像预测类别。本发明具有多尺度特征提取能力和数据的多样性,提高图像分类的准确性和泛化能力,减轻过拟合问题,更好地学习到数据的统计特性。
Description
技术领域
本发明涉及图像处理和人工智能技术领域,特别涉及一种基于随机多尺度分块的图像分类方法、装置及介质。
背景技术
Transformer是一种基于自注意力机制的神经网络模型,最初被提出用于自然语言处理任务,如机器翻译和文本生成。然而,随后发现 Transformer 也适用于其他领域,包括图像处理,它的注意力机制能够捕捉到图像中的上下文信息,有助于解决图像分类等问题。
ViT-Transformer架构是一种基于Transformer模型的图像分类方法,它将图像作为输入,并利用自注意力机制在图像特征提取和分类任务中取得了显著的成果。其中,图像分块编码技术在ViT-Transformer架构中扮演了重要的角色。图像分块编码技术在传统的Transformer模型中,输入是文本序列。而在ViT-Transformer架构中,为了处理图像数据,需要将图像分块编码为序列形式。这一过程主要包括将输入图像分成多个块,通常,这些块按照规则的网格划分;提取每个图像块的特征表示并转化为嵌入向量;为了保留图像中的位置信息,需要为每个图像块添加位置编码,这些位置编码可以是固定的、可学习的或通过其他方式生成。基于ViT-Transformer架构的图像分块编码技术通过将图像分块并序列化,利用Transformer模型的全局上下文理解能力和高效的并行计算特性,在图像分类任务中取得了卓越的表现。该技术的应用为图像处理领域带来了新的机遇,值得进一步深入研究和探索。
固定大小图像分块在Transformer模型中存在一些缺点。在固定图像块大小的情况下,较大的物体或细节可能被拆分成多个图像块进行处理,导致某些关键信息丢失。在实际图像中,物体的尺寸和比例可能会有很大的变化。固定大小不能很好地适应这种变化,可能导致对不同尺寸物体的表示不准确。使用随机多尺度图像分块可以更好地适应不同尺寸的物体和图像。这样可以保留更多的细节信息,并减少信息损失,还能引入更多的多样性,从而让模型见识到不同尺度的物体和图像。这有助于提高模型对不同尺度物体的泛化能力。使用随机多尺度图像分块可以增加数据的多样性,有助于减轻过拟合问题,模型可以更好地学习到数据的统计特性。
发明内容
鉴于现有技术的不足,本发明的目的在于提供一种基于随机多尺度分块的图像分类方法、装置及介质,用于增强模型的适应性和泛化能力,以更好地提高图像分类任务的性能。
本发明的目的是通过以下技术方案来实现的:一种基于随机多尺度分块的图像分类方法,包括以下步骤:
(1)设置随机种子并生成随机数,根据生成的随机数对图像进行可变大小的切割,得到不同大小的图像块,并记录其在图像中的位置坐标以及图像块的大小信息;
(2)根据图像块在图像中的位置坐标以及图像块的大小信息,获取图像块在图像中的位置编码以及对每个图像块大小进行编码;从图像中提取不同大小的图像块并进行像素编码;将相同大小图像块的编码向量分别组合成序列,得到不同大小的编码序列;
(3)将不同大小的序列添加图像块大小编码后分别输入第一Transformer编码器模块,将输出的不同大小的特征编码通过插值操作调整到相同的特征维度,通过拼接并排序将它们组合成一个序列,再添加位置编码并进行层归一化后,再用第二Transformer编码器模块进行处理获得全局特征;
(4)全局特征进行层归一化之后进行线性变换,得到最终的图像预测类别。
进一步地,所述步骤(1)包括以下子步骤:
(1.1)获取图像,其中图像的大小为N × N,设定最小图像块的宽度n和高度n,计算按滑动窗口n ×n进行切割切出图像块的总数量;用一个宽高均为N/n的二维张量seq_2d来表示切割顺序;用一个与seq_2d形状相同且元素值全为0的张量seq_2d_flag,用于表示图像块是否已经被选择,元素值为1表示已经被选择,为0表示还未被选择;
(1.2)获取张量seq_2d_flag中所有非0元素的索引,设置随机种子并生成随机数,根据生成的随机数选择一个索引作为当前图像块的左上角位置,图像块大小为2n × 2n,4n × 4n,…,an ×an中的一个,其中a不大于64,计算图像块右下角的位置,判断右下角的位置是否超出图像区域,并且判断从左上角到右下角形成的图像块是否全部未被选择,也就是seq_2d_flag中相应位置的值是否全部为0;若右下角的位置未超出图像区域并且图像块全部未被选择,则更新seq_2d_flag相应位置的值为1,并将图像块的位置和大小信息记录下来;否则重新执行步骤(1.2);
(1.3)重复步骤(1.2),直至从图像中切有P种不同大小的图像块,每种图像块数量分别为N1、N2、……N p ,P种图像块的数量与大小的乘积之和等于图像大小。
进一步地,重复步骤(1.2)和步骤(1.3),获得M种随机分块方式。
进一步地,所述从图像中提取不同大小的图像块并进行像素编码具体为:
根据步骤(1)中得到不同大小的图像块及其位置坐标和大小信息,从图像中逐个提取图像块,将图像块的所有像素展平成一维向量;将每个图像块对应的向量通过线性变换映射到指定维度大小的向量,对每个图像块进行编码表示;将相同大小图像块的编码向量分别组合成序列,得到不同大小的图像块编码序列。
进一步地,所述获取图像块在图像中的位置编码具体为:
根据每个图像块的位置坐标,计算图像块在图像中对应的行列坐标信息,调整位置嵌入的范围并使用sin和cos函数生成嵌入部分,再将它们拼接在一起,得到图像块的位置编码。
进一步地,所述对每个图像块大小进行编码具体为:
根据每个图像块的大小信息,调整图像块大小嵌入的范围并使用sin和cos函数生成嵌入部分,再将它们拼接在一起,得到图像块大小编码。
进一步地,所述将图像块的所有像素展平成一维向量具体为:所述图像有RGB三个通道,an ×an的图像块展平得到维度为1×3(an)2的向量;
所述将每个图像块对应的向量通过线性变换映射到指定维度大小的向量具体为:将维度为1 × 3(an)2的向量映射到256×a。
一种基于随机多尺度分块的图像分类装置,包括:
随机多尺度分块模块,用于设置随机种子并生成随机数,根据生成的随机数对图像进行可变大小的切割,得到不同大小的图像块,并记录其在图像中的位置坐标以及图像块的大小信息;
编码模块,用于根据图像块在图像中的位置坐标以及图像块的大小信息,获取图像块在图像中的位置编码以及对每个图像块大小进行编码;从图像中提取不同大小的图像块并进行像素编码;将相同大小图像块的编码向量分别组合成序列,得到不同大小的编码序列;
Transformer编码器模块,用于将不同大小的序列添加图像块大小编码后分别输入第一Transformer编码器模块,将输出的不同大小的特征编码通过插值操作调整到相同的特征维度,通过拼接并排序将它们组合成一个序列,再添加位置编码并进行层归一化后,再用第二Transformer编码器模块进行处理获得全局特征;
全连接层模块,用于将全局特征进行层归一化之后进行线性变换,得到最终的图像预测类别。
一种基于随机多尺度分块的图像分类装置,包括一个或多个处理器,用于实现上述的一种基于随机多尺度分块的图像分类方法。
一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,用于实现上述的一种基于随机多尺度分块的图像分类方法。
本发明的有益效果是:本发明采用不同尺度的图像块进行编码和处理,通过使用多尺度的图像块,可以捕捉到不同层次的特征信息,从而更好地理解图像的内容和结构。此外通过引入随机数,使得每次切割图像都会得到不同位置的图像块,可以增加数据的多样性和随机性。这种随机多尺度分块的Transformer模型图像分类方法,在处理不同尺寸和复杂度的图像时具有优势,并且可以提高分类的准确性和泛化能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中一种随机多尺度图像分块的切分示意图;
图2为本发明的一种基于随机多尺度分块的图像分类方法的流程图;
图3为本发明的一种基于随机多尺度分块的图像分类方法的结构示意图;
图4为本发明的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面结合附图,对本发明进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
本实施例以自然图像分类为例,图像大小均为256 × 256,该数据为已经由专业标注工程师标注过的60000张自然图像,其中有50000张训练数据和10000张测试数据,分为10个类别包括飞机、汽车、鸟类、猫、鹿、狗、蛙类、马、船和卡车,每类6000张。利用本发明的一种基于随机多尺度分块的图像分类方法进行图像分类,如图2和图3所示,具体包括以下步骤:
步骤S1:如图1所示,对所有图像进行处理,设定要切割的最小图像块的大小为8× 8,计算按滑动窗口8 × 8进行切割,每张图像可以切出图像块的总数量为1024,用一个大小为32 × 32的二维张量seq_2d来表示切割顺序。用一个大小为32 × 32全0张量seq_2d_flag表示图像块是否已经被选择。获取张量seq_2d_flag中所有非0元素的索引,设置随机种子,根据生成的随机数选择一个索引作为当前图像块的左上角位置,图像块大小为16× 16和32× 32中的一种,计算图像块右下角的位置,判断右下角的位置是否超出图像区域,并且判断从左上角到右下角对应到seq_2d_flag中的区域是否全为0。若满足上述判断条件,则更新seq_2d_flag相应位置的值为1,并记录图像块的位置和大小。当记录下来的3种不同大小的图像块达到设定数量为止。重新创建seq_2d_flag张量,持续上述分块操作直至获得1000种这样的随机分块方式。
步骤S2:根据步骤S1中记录下的图像块位置和大小信息,选择其中一种随机分块方式,从图像中逐个提取图像块,其中获得8 × 8图像块344个,16× 16图像块86个,32× 32图像块21个。将对应的图像块的所有像素展平成一维向量,8× 8的图像块变成了维度为1 × 192的向量,其他同理。将每个图像块对应的向量通过线性变换映射到指定维度大小的向量(维度192映射到256,768映射到512,3072映射到1024),每个图像块都有一个唯一的编码表示。将相同大小图像块的编码向量组合成序列,得到不同大小的序列(344×256、86×512和21×1024)。确定每个图像块的位置信息,通过计算图像块在原图中对应的行列坐标和大小信息,分别调整位置和大小嵌入的范围并使用sin和cos函数生成嵌入部分,再将它们拼接在一起,实现了图像块的位置和大小的编码。
步骤S3:将S2步骤中得到的不同大小的图像块编码序列添加图像块大小编码后,分别输入第一Transformer编码器模块(本实施例中第一Transformer编码器模块层数为4层),该编码器模块可以是多层自注意力机制和前馈神经网络的组合。每层编码器模块会对序列进行处理,并输出一个新的序列作为下一层编码器模块的输入。对获得的不同大小的特征编码进行插值操作,将它们调整到相同的特征维度(两个序列中256和512插值到1024),确保它们可以进行拼接操作,按照它们在原图中的顺序进行排序并添加位置编码,形成一个新的编码序列大小为451×1024,对新的编码序列进行层归一化操作,层归一化后的序列输入第二Transformer编码器模块(本实施例中第二Transformer编码器模块层数为8层)进行处理,以此来增加模型的深度和表达能力,最后获得全局特征表示451×1024的特征向量。
其中,第一Transformer编码器模块主要负责对不同大小的图像块编码序列进行处理,并逐渐提取出更具表达能力的特征编码。而第二Transformer编码器模块则对经过插值和排序后的特征编码序列进行进一步的处理,以获得全局特征表示。第一Transformer编码器模块层数一般小于等于6层,第二Transformer编码器模块层数一般为6层至12层中的一种。第二Transformer编码器模块比第一Transformer编码器模块具有更深层次,可以通过增加模型的深度和表达能力来提高整体性能。
步骤S4:全局特征451×1024的特征向量进行层归一化之后求均值得到大小为1×1024特征向量,然后进行线性变换,将其映射到最终的分类结果的维度空间1×10,向量1×10为最终的分类预测结果。
与前述的一种基于随机多尺度分块的图像分类方法的实施例相对应,本发明还提供了一种基于随机多尺度分块的图像分类装置的实施例。
参见图4,本发明实施例提供的一种基于随机多尺度分块的图像分类装置,包括一个或多个处理器,用于实现上述实施例中的一种基于随机多尺度分块的图像分类方法。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明的一种基于随机多尺度分块的图像分类装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本发明的一种基于随机多尺度分块的图像分类装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的一种基于随机多尺度分块的图像分类方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
Claims (9)
1.一种基于随机多尺度分块的图像分类方法,其特征在于,包括以下步骤:
(1)设置随机种子并生成随机数,根据生成的随机数对图像进行可变大小的切割,得到不同大小的图像块,并记录其在图像中的位置坐标以及图像块的大小信息;所述步骤(1)包括以下子步骤:
(1.1)获取图像,其中图像的大小为N×N,设定最小图像块的宽度n和高度n,计算按滑动窗口n×n进行切割切出图像块的总数量;用一个宽高均为N/n的二维张量seq_2d来表示切割顺序;用一个与seq_2d形状相同且元素值全为0的张量seq_2d_flag,用于表示图像块是否已经被选择,元素值为1表示已经被选择,为0表示还未被选择;
(1.2)获取张量seq_2d_flag中所有非0元素的索引,设置随机种子并生成随机数,根据生成的随机数选择一个索引作为当前图像块的左上角位置,图像块大小为2n×2n,4n×4n,…,an×an中的一个,其中a不大于64,计算图像块右下角的位置,判断右下角的位置是否超出图像区域,并且判断从左上角到右下角形成的图像块是否全部未被选择,也就是seq_2d_flag中相应位置的值是否全部为0;若右下角的位置未超出图像区域并且图像块全部未被选择,则更新seq_2d_flag相应位置的值为1,并将图像块的位置和大小信息记录下来;否则重新执行步骤(1.2);
(1.3)重复步骤(1.2),直至从图像中切有P种不同大小的图像块,每种图像块数量分别为N1、N2、……Np,P种图像块的数量与大小的乘积之和等于图像大小;
(2)根据图像块在图像中的位置坐标以及图像块的大小信息,获取图像块在图像中的位置编码以及对每个图像块大小进行编码;从图像中提取不同大小的图像块并进行像素编码;将相同大小图像块的编码向量分别组合成序列,得到不同大小的编码序列;
(3)将不同大小的序列添加图像块大小编码后分别输入第一Transformer编码器模块,将输出的不同大小的特征编码通过插值操作调整到相同的特征维度,通过拼接并排序将它们组合成一个序列,再添加位置编码并进行层归一化后,再用第二Transformer编码器模块进行处理获得全局特征;
(4)全局特征进行层归一化之后进行线性变换,得到最终的图像预测类别。
2.根据权利要求1所述的一种基于随机多尺度分块的图像分类方法,其特征在于,重复步骤(1.2)和步骤(1.3),获得M种随机分块方式。
3.根据权利要求1所述的一种基于随机多尺度分块的图像分类方法,其特征在于,所述从图像中提取不同大小的图像块并进行像素编码具体为:
根据步骤(1)中得到不同大小的图像块及其位置坐标和大小信息,从图像中逐个提取图像块,将图像块的所有像素展平成一维向量;将每个图像块对应的向量通过线性变换映射到指定维度大小的向量,对每个图像块进行编码表示;将相同大小图像块的编码向量分别组合成序列,得到不同大小的图像块编码序列。
4.根据权利要求1所述的一种基于随机多尺度分块的图像分类方法,其特征在于,所述获取图像块在图像中的位置编码具体为:
根据每个图像块的位置坐标,计算图像块在图像中对应的行列坐标信息,调整位置嵌入的范围并使用sin和cos函数生成嵌入部分,再将它们拼接在一起,得到图像块的位置编码。
5.根据权利要求1所述的一种基于随机多尺度分块的图像分类方法,其特征在于,所述对每个图像块大小进行编码具体为:
根据每个图像块的大小信息,调整图像块大小嵌入的范围并使用sin和cos函数生成嵌入部分,再将它们拼接在一起,得到图像块大小编码。
6.根据权利要求4所述的一种基于随机多尺度分块的图像分类方法,其特征在于,所述将图像块的所有像素展平成一维向量具体为:所述图像有RGB三个通道,an×a n的图像块展平得到维度为1×3(an)2的向量;
所述将每个图像块对应的向量通过线性变换映射到指定维度大小的向量具体为:将维度为1×3(an)2的向量映射到256×a。
7.一种基于随机多尺度分块的图像分类装置,其特征在于,包括:
随机多尺度分块模块,用于设置随机种子并生成随机数,根据生成的随机数对图像进行可变大小的切割,得到不同大小的图像块,并记录其在图像中的位置坐标以及图像块的大小信息;包括:
获取图像,其中图像的大小为N×N,设定最小图像块的宽度n和高度n,计算按滑动窗口n×n进行切割切出图像块的总数量;用一个宽高均为N/n的二维张量seq_2d来表示切割顺序;用一个与seq_2d形状相同且元素值全为0的张量seq_2d_flag,用于表示图像块是否已经被选择,元素值为1表示已经被选择,为0表示还未被选择;
获取张量seq_2d_flag中所有非0元素的索引,设置随机种子并生成随机数,根据生成的随机数选择一个索引作为当前图像块的左上角位置,图像块大小为2n×2n,4n×4n,…,an×an中的一个,其中a不大于64,计算图像块右下角的位置,判断右下角的位置是否超出图像区域,并且判断从左上角到右下角形成的图像块是否全部未被选择,也就是seq_2d_flag中相应位置的值是否全部为0;若右下角的位置未超出图像区域并且图像块全部未被选择,则更新seq_2d_flag相应位置的值为1,并将图像块的位置和大小信息记录下来;直至从图像中切有P种不同大小的图像块,每种图像块数量分别为N1、N2、……Np,P种图像块的数量与大小的乘积之和等于图像大小;
编码模块,用于根据图像块在图像中的位置坐标以及图像块的大小信息,获取图像块在图像中的位置编码以及对每个图像块大小进行编码;从图像中提取不同大小的图像块并进行像素编码;将相同大小图像块的编码向量分别组合成序列,得到不同大小的编码序列;
Transformer编码器模块,用于将不同大小的序列添加图像块大小编码后分别输入第一Transformer编码器模块,将输出的不同大小的特征编码通过插值操作调整到相同的特征维度,通过拼接并排序将它们组合成一个序列,再添加位置编码并进行层归一化后,再用第二Transformer编码器模块进行处理获得全局特征;
全连接层模块,用于将全局特征进行层归一化之后进行线性变换,得到最终的图像预测类别。
8.一种基于随机多尺度分块的图像分类装置,其特征在于,包括一个或多个处理器,用于实现权利要求1-6中任一项所述的一种基于随机多尺度分块的图像分类方法。
9.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,用于实现权利要求1-6中任一项所述的一种基于随机多尺度分块的图像分类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311294085.4A CN117036832B (zh) | 2023-10-09 | 2023-10-09 | 一种基于随机多尺度分块的图像分类方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311294085.4A CN117036832B (zh) | 2023-10-09 | 2023-10-09 | 一种基于随机多尺度分块的图像分类方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117036832A CN117036832A (zh) | 2023-11-10 |
CN117036832B true CN117036832B (zh) | 2024-01-05 |
Family
ID=88645265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311294085.4A Active CN117036832B (zh) | 2023-10-09 | 2023-10-09 | 一种基于随机多尺度分块的图像分类方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117036832B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117636064B (zh) * | 2023-12-21 | 2024-05-28 | 浙江大学 | 一种基于儿童病理切片的神经母细胞瘤智能分类*** |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867593A (en) * | 1993-10-20 | 1999-02-02 | Olympus Optical Co., Ltd. | Image region dividing apparatus |
CN105574540A (zh) * | 2015-12-10 | 2016-05-11 | 中国科学院合肥物质科学研究院 | 一种基于非监督学习技术的害虫图像特征学习与自动分类方法 |
CN111860207A (zh) * | 2020-06-29 | 2020-10-30 | 中山大学 | 基于多尺度的遥感影像地物分类方法、***、装置及介质 |
CN113180633A (zh) * | 2021-04-28 | 2021-07-30 | 济南大学 | 基于深度学习的mr影像肝癌术后复发风险预测方法及*** |
CN113239993A (zh) * | 2021-04-29 | 2021-08-10 | 中国人民解放军海军军医大学第三附属医院 | 一种病理图像的分类方法、病理图像的分类***、终端及计算机可读存储介质 |
CN115131607A (zh) * | 2022-06-15 | 2022-09-30 | 北京工业大学 | 图像分类方法及装置 |
CN115482387A (zh) * | 2022-09-28 | 2022-12-16 | 山东聚祥机械股份有限公司 | 基于多尺度类别原型的弱监督图像语义分割方法及*** |
CN115661144A (zh) * | 2022-12-15 | 2023-01-31 | 湖南工商大学 | 基于可变形U-Net的自适应医学图像分割方法 |
WO2023050720A1 (zh) * | 2021-09-28 | 2023-04-06 | 深圳市中兴微电子技术有限公司 | 图像处理方法、图像处理装置、模型训练方法 |
CN115984574A (zh) * | 2023-03-20 | 2023-04-18 | 北京航空航天大学 | 一种基于循环Transformer的图像信息提取模型、方法及其应用 |
CN116030259A (zh) * | 2023-03-24 | 2023-04-28 | 长春理工大学 | 一种腹部ct图像多器官分割方法、装置及终端设备 |
WO2023071680A1 (zh) * | 2021-10-26 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 内窥镜图像特征学习模型、分类模型的训练方法和装置 |
CN116229178A (zh) * | 2023-03-14 | 2023-06-06 | 安徽大学 | 一种基于Transformer针对少量训练样本的图像分类方法 |
CN116363465A (zh) * | 2023-04-06 | 2023-06-30 | 中南大学 | 一种基于非对称掩码的对比学习方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7428338B2 (en) * | 2002-01-10 | 2008-09-23 | Ricoh Co., Ltd. | Header-based processing of images compressed using multi-scale transforms |
KR101151107B1 (ko) * | 2008-08-12 | 2012-06-01 | 에스케이플래닛 주식회사 | 영상 암호화 시스템 및 방법 |
KR20100095992A (ko) * | 2009-02-23 | 2010-09-01 | 한국과학기술원 | 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체 |
CN113239782B (zh) * | 2021-05-11 | 2023-04-28 | 广西科学院 | 一种融合多尺度gan和标签学习的行人重识别***及方法 |
US11887270B2 (en) * | 2021-07-01 | 2024-01-30 | Google Llc | Multi-scale transformer for image analysis |
-
2023
- 2023-10-09 CN CN202311294085.4A patent/CN117036832B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5867593A (en) * | 1993-10-20 | 1999-02-02 | Olympus Optical Co., Ltd. | Image region dividing apparatus |
CN105574540A (zh) * | 2015-12-10 | 2016-05-11 | 中国科学院合肥物质科学研究院 | 一种基于非监督学习技术的害虫图像特征学习与自动分类方法 |
CN111860207A (zh) * | 2020-06-29 | 2020-10-30 | 中山大学 | 基于多尺度的遥感影像地物分类方法、***、装置及介质 |
CN113180633A (zh) * | 2021-04-28 | 2021-07-30 | 济南大学 | 基于深度学习的mr影像肝癌术后复发风险预测方法及*** |
CN113239993A (zh) * | 2021-04-29 | 2021-08-10 | 中国人民解放军海军军医大学第三附属医院 | 一种病理图像的分类方法、病理图像的分类***、终端及计算机可读存储介质 |
WO2023050720A1 (zh) * | 2021-09-28 | 2023-04-06 | 深圳市中兴微电子技术有限公司 | 图像处理方法、图像处理装置、模型训练方法 |
WO2023071680A1 (zh) * | 2021-10-26 | 2023-05-04 | 北京字节跳动网络技术有限公司 | 内窥镜图像特征学习模型、分类模型的训练方法和装置 |
CN115131607A (zh) * | 2022-06-15 | 2022-09-30 | 北京工业大学 | 图像分类方法及装置 |
CN115482387A (zh) * | 2022-09-28 | 2022-12-16 | 山东聚祥机械股份有限公司 | 基于多尺度类别原型的弱监督图像语义分割方法及*** |
CN115661144A (zh) * | 2022-12-15 | 2023-01-31 | 湖南工商大学 | 基于可变形U-Net的自适应医学图像分割方法 |
CN116229178A (zh) * | 2023-03-14 | 2023-06-06 | 安徽大学 | 一种基于Transformer针对少量训练样本的图像分类方法 |
CN115984574A (zh) * | 2023-03-20 | 2023-04-18 | 北京航空航天大学 | 一种基于循环Transformer的图像信息提取模型、方法及其应用 |
CN116030259A (zh) * | 2023-03-24 | 2023-04-28 | 长春理工大学 | 一种腹部ct图像多器官分割方法、装置及终端设备 |
CN116363465A (zh) * | 2023-04-06 | 2023-06-30 | 中南大学 | 一种基于非对称掩码的对比学习方法 |
Non-Patent Citations (4)
Title |
---|
基于灰度纹理信息的图像压缩感知编码与重构;张晓咏;熊承义;胡开云;时翔;;计算机技术与发展(第01期);全文 * |
自适应融合局部和全局稀疏表示的图像显著性检测;王鑫;周韵;宁晨;石爱业;;计算机应用(第03期);全文 * |
融合多尺度码本的全局编码图像分类;董振宇;赵杰煜;祝军;;中国图象图形学报(02);全文 * |
通过细粒度的语义特征与Transformer丰富图像描述;王俊豪;罗轶凤;;华东师范大学学报(自然科学版)(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117036832A (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11875268B2 (en) | Object recognition with reduced neural network weight precision | |
Chollet | Building autoencoders in keras | |
CN111429460B (zh) | 图像分割方法、图像分割模型训练方法、装置和存储介质 | |
CN107111782B (zh) | 神经网络结构及其方法 | |
CN117036832B (zh) | 一种基于随机多尺度分块的图像分类方法、装置及介质 | |
KR20200144398A (ko) | 클래스 증가 학습을 수행하는 장치 및 그의 동작 방법 | |
CN111340785B (zh) | 模型训练方法、产品表面缺陷检测方法和存储介质 | |
CN113159056A (zh) | 图像分割方法、装置、设备及存储介质 | |
CN111950692B (zh) | 用于改进的通用化的基于汉明距离的稳健输出编码 | |
CN111325766B (zh) | 三维边缘检测方法、装置、存储介质和计算机设备 | |
CN117529755A (zh) | 图像识别***中的迁移学习 | |
Gallant et al. | Positional binding with distributed representations | |
CN115100185A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
US12045961B2 (en) | Image denoising method and apparatus based on wavelet high-frequency channel synthesis | |
US20230419551A1 (en) | Generating novel images using sketch image representations | |
CN117437494A (zh) | 一种图像分类方法、***、电子设备及存储介质 | |
CN116823850A (zh) | 基于U-Net和Transformer融合改进的心脏MRI分割方法及*** | |
Bi et al. | Critical direction projection networks for few-shot learning | |
CN112967251B (zh) | 图片检测方法、图片检测模型的训练方法及装置 | |
CN116051984B (zh) | 一种基于Transformer的弱小目标检测方法 | |
CN116977714A (zh) | 图像分类方法、装置、设备、存储介质和程序产品 | |
CN116778470A (zh) | 对象识别及对象识别模型训练方法、装置、设备及介质 | |
CN114120245B (zh) | 基于深度神经网络的人群图像分析方法、装置以及设备 | |
CN116095183A (zh) | 一种数据压缩方法以及相关设备 | |
Pagola et al. | Use of owa operators for feature aggregation in image classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |