CN110674873A - 图像分类方法、装置、移动终端及存储介质 - Google Patents
图像分类方法、装置、移动终端及存储介质 Download PDFInfo
- Publication number
- CN110674873A CN110674873A CN201910906770.5A CN201910906770A CN110674873A CN 110674873 A CN110674873 A CN 110674873A CN 201910906770 A CN201910906770 A CN 201910906770A CN 110674873 A CN110674873 A CN 110674873A
- Authority
- CN
- China
- Prior art keywords
- target
- classification
- aspect ratio
- target detection
- detection frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 433
- 238000004590 computer program Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像分类方法、装置、移动终端及存储介质,该方法应用于移动终端,该方法包括:获取待分类图像中包含的第一目标检测框,计算第一目标检测框的第一长宽比;确定第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与目标长宽比区间对应的目标分类检测模型;将第一目标检测框输入目标分类检测模型进行分类,得到第一目标检测框的分类结果。本申请实施例可以提高图像分类识别的准确率。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像分类方法、装置、移动终端及存储介质。
背景技术
目前,图像识别算法一般采用深度学习算法。但是目前的深度学习算法要求输入图片的都是统一的形状。例如,要求输入图片的长宽比均为固定比例。
对于长宽比远大于固定比例或远小于固定比例的图片,采用目前的深度学习算法进行图像分类时,这会导致原始图像产生较大的形变,图像识别分类效果较差,误识别较多,从而影响图像分类识别的准确率。
发明内容
本申请实施例提供一种图像分类方法、装置、移动终端及存储介质,可以提高图像分类识别的准确率。
本申请实施例的第一方面提供了一种图像分类方法,包括:
获取待分类图像中包含的第一目标检测框,计算所述第一目标检测框的第一长宽比;
确定所述第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型;
将所述第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
本申请实施例的第二方面提供了一种图像分类装置,包括:
获取单元,用于获取待分类图像中包含的第一目标检测框;
计算单元,用于计算所述第一目标检测框的第一长宽比;
确定单元,用于确定所述第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型;
分类单元,用于将所述第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
本申请实施例的第三方面提供了一种移动终端,包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例中,在对待分类图像进行分类时,获取待分类图像中包含的第一目标检测框,计算第一目标检测框的第一长宽比;确定第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与目标长宽比区间对应的目标分类检测模型;将第一目标检测框输入目标分类检测模型进行分类,得到第一目标检测框的分类结果。本申请实施例根据待分类图像中包含的第一目标检测框的长宽比确定与之对应的目标分类检测模型,可以针对不同的长宽比确定不同的分类检测模型,对检测得到的不同长宽比例的目标检测框分别送入不同的分类网络进行识别,从而提高目标检测框的识别分类的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像分类方法的流程示意图;
图2a是本申请实施提供的一种从待分类图像中检测多个目标检测框的示意图;
图2b是本申请实施例提供的一种目标检测框的长宽比示意图;
图3是本申请实施例提供的另一种图像分类方法的流程示意图;
图4是本申请实施例提供的另一种图像分类方法的流程示意图;
图5a是本申请实施例提供的一种长宽比处于0.75~1.5区间内的目标检测框进行分类处理时的分类检测模型选择示意图;
图5b是本申请实施例提供的一种长宽比处于大于1.5区间内的目标检测框进行分类处理时的分类检测模型选择示意图;
图5c是本申请实施例提供的一种长宽比处于小于0.75区间内的目标检测框进行分类处理时的分类检测模型选择示意图;
图6为本申请实施例提供的一种图像分类装置的结构示意图;
图7是本申请实施例提供的一种移动终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为移动终端。
请参阅图1,图1是本申请实施例提供的一种图像分类方法的流程示意图。如图1所示,该图像分类方法应用于移动终端,该图像分类方法可以包括如下步骤。
101,移动终端获取待分类图像中包含的第一目标检测框,计算第一目标检测框的第一长宽比。
本申请实施例的图像分类方法可以用于对待分类图像中包含的目标检测框进行分类。待分类图像中可以包括一个或多个目标检测框,当待分类图像中包括多个目标检测框时,第一目标检测框可以为待分类图像中检测到的多个目标检测框中的一个。
第一目标检测框可以是待分类图像中包含待检测目标的矩形框。待检测目标可以包括人物、动物、汽车、水果等需要进行检测并分类的目标。
需要说明的是,第一目标检测框并非单纯的矩形框,而是包含矩形框内的图像的矩形框。第一目标检测框是待分类图像中包含待检测目标的一个矩形区域。
具体的,请参阅图2a,图2a是本申请实施提供的一种从待分类图像中检测多个目标检测框的示意图。如图2a所示,左边的待分类图像未进行目标检测,右边的待分类图像是进行目标检测后得到的4个目标检测框。从图2a可以看出,待分类图像中可以检测到目标检测框1、目标检测框2、目标检测框3和目标检测框4,总计4个目标检测框,每个检测框均为矩形框,每个检测框中可以包括待检测目标。比如,目标检测框1中包含的目标为一个人脸,目标检测框2中包含的目标为一张全身照,目标检测框3中包含的目标为一个苹果,目标检测框4中包含的目标为一辆汽车。
本申请实施例中,第一长宽比指的就是第一目标检测框的长宽比。目标检测框的长宽比,即目标检测框的长度和宽度的比值。具体的,请参阅图2b,图2b是本申请实施例提供的一种目标检测框的长宽比示意图。图2b中的第一目标检测框以图2a中的目标检测框3为例进行说明,如图2b所示,第一目标检测框的长度以w表示,宽度以h表示,则第一目标检测框的长宽比为w/h。
102,移动终端确定第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与目标长宽比区间对应的目标分类检测模型。
本申请实施例中,长宽比区间与分类检测模型的对应关系可以预先进行设定并存储在移动终端的存储器(比如,非易失性存储器)中。长宽比区间与分类检测模型的对应关系可以包括至少两个可选长宽比区间和至少两个可选分类检测模型。其中,可选长宽比区间与可选分类检测模型一一对应,一个可选长宽比区间只能与一个可选分类检测模型相对应。举例来说,请参阅表1,表1是本申请实施例提供的一种长宽比区间与分类检测模型的对应关系表。
表1
长宽比区间 | 对应的分类检测模型 |
0.75~1.5 | 分类检测模型1 |
大于1.5 | 分类检测模型2 |
小于0.75 | 分类检测模型3 |
其中,分类检测模型1用于对长宽比处于0.75~1.5区间内的目标检测框进行分类处理,分类检测模型2用于对长宽比处于大于1.5区间内的目标检测框进行分类处理,分类检测模型3用于对长宽比处于小于0.75区间内的目标检测框进行分类处理。对于长宽比处于0.75~1.5区间内的目标检测框,分类检测模型1的检测结果的准确度较好,对于长宽比处于大于1.5区间内的目标检测框,分类检测模型2的检测结果的准确度较好,对于长宽比处于小于0.75区间内的目标检测框,分类检测模型3的检测结果的准确度较好。比如,可以设计分类检测模型1对长宽比等于1的目标检测框的检测结果的准确度最好,设计分类检测模型2对长宽比等于2的目标检测框的检测结果的准确度最好,设计分类检测模型3对长宽比等于0.5的目标检测框的检测结果的准确度最好。
其中,目标分类检测模型可以是基于残差神经网络(residual neural network,resnet)设计的长宽比为w/h=0.5、w/h=1和w/h=0.2的网络模型,也可以基于移动神经网络(mobile neural network,mobilenet)、xception、视觉几何组网络(Visual GeometryGroup Network,VGG)、inception、黑暗网络(darknet)等其他网络作为主干网络设计出相应的长宽比为w/h=0.5、w/h=1和w/h=0.2的网络模型。
103,移动终端将第一目标检测框输入目标分类检测模型进行分类,得到第一目标检测框的分类结果。
本申请实施例中,移动终端将第一目标检测框输入目标分类检测模型后,通过目标分类检测模型对第一目标检测框进行分类,从而可以得到第一目标检测框的分类结果。
本申请实施例根据待分类图像中包含的第一目标检测框的长宽比确定与之对应的目标分类检测模型,可以针对不同的长宽比确定不同的分类检测模型,对检测得到的不同长宽比例的目标检测框分别送入不同的分类网络进行识别,从而提高目标检测框的识别分类的准确率。
请参阅图3,图3是本申请提供的另一种图像分类方法的流程示意图。如图3所示,该图像分类方法应用于移动终端,该图像分类方法可以包括如下步骤。
301,移动终端获取待分类图像中包含的第一目标检测框,计算第一目标检测框的第一长宽比。
302,移动终端确定第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与目标长宽比区间对应的目标分类检测模型。
本申请实施例中的步骤301至步骤302的具体实施可以参加图1所示的步骤101至步骤102,此处不再赘述。
303,移动终端检测第一长宽比是否等于目标长宽比区间对应的目标参考长宽比。若是,则执行步骤304,若否,则执行步骤305至步骤306。
本申请实施例中,目标参考长宽比是目标长宽比区间中的一个值。比如,目标长宽比区间为0.75~1.5,则对应的目标参考长宽比可以等于1。目标分类检测模型可以对于长宽比等于目标参考长宽比的目标检测框直接进行分类检测。
304,移动终端将第一目标检测框输入目标分类检测模型进行分类,得到第一目标检测框的分类结果。
本申请实施例中的步骤304的具体实施可以参加图1所示的步骤103,此处不再赘述。
305,移动终端对第一目标检测框进行缩放处理,得到缩放处理后的第一目标检测框,缩放处理后的第一目标检测框的长宽比为目标参考长宽比。
306,移动终端将缩放处理后的第一目标检测框输入目标分类检测模型进行分类,得到第一目标检测框的分类结果。
本申请实施例中,目标分类检测模型被设计成要求输入的图像的长宽比等于目标参考长宽比。如果输入的图像的长宽比等于目标参考长宽比,则无需对输入的图像进行处理,即可通过目标分类检测模型进行分类。如果输入的图像的长宽比不等于目标参考长宽比,则需要对输入的图像的长宽比进行调整,将输入的图像的长宽比调整为目标参考长宽比,将长宽比调整后的图像输入目标分类检测模型进行分类。
如果第一目标检测框的长宽比不等于目标参考长宽比,则需要对第一目标检测框进行缩放处理,得到缩放处理后的第一目标检测框,以使缩放处理后的第一目标检测框的长宽比为目标参考长宽比。
其中,缩放处理可以包括对目标检测框进行缩小处理或者放大处理。
具体的,目标长宽比区间包括上限值、下限值和目标参考长宽比。
可选的,如果第一目标检测框的长宽比处于目标参考长宽比与上限值之间,移动终端对第一目标检测框进行缩放处理,得到缩放处理后的第一目标检测框,具体为:
移动终端将第一目标检测框的宽度保持不变,将第一目标检测框从长度方向进行压缩,以使第一目标检测框的长宽比等于目标参考长宽比;或者,
移动终端将第一目标检测框的长度保持不变,将第一目标检测框从宽度方向进行拉伸,以使第一目标检测框的长宽比等于目标参考长宽比。
举例来说,如果目标长宽比区间为0.75~1.5,上限值为1.5、下限值为0.75,目标参考长宽比为1。如果第一目标检测框的长宽比处于1~1.5之间,与目标参考长宽比相比,第一目标检测框的长宽比偏大,即第一目标检测框的长度偏大或者宽度偏小。则移动终端可以将第一目标检测框的长度压缩,或者将第一目标检测框的宽度拉伸,或者同时将第一标检测框的长度压缩并且将第一目标检测框的宽度拉伸,以使第一目标检测框的长宽比等于目标参考长宽比。
可选的,如果第一目标检测框的长宽比处于下限值与目标参考长宽比之间,移动终端对第一目标检测框进行缩放处理,得到缩放处理后的第一目标检测框,具体为:
移动终端将第一目标检测框的宽度保持不变,将第一目标检测框从长度方向进行拉伸,以使第一目标检测框的长宽比等于目标参考长宽比;或者,
移动终端将第一目标检测框的长度保持不变,将第一目标检测框从宽度方向进行压缩,以使第一目标检测框的长宽比等于目标参考长宽比。
举例来说,如果目标长宽比区间为0.75~1.5,上限值为1.5、下限值为0.75,目标参考长宽比为1。如果第一目标检测框的长宽比处于0.75~1之间,与目标参考长宽比相比,第一目标检测框的长宽比偏小,即第一目标检测框的长度偏小或者宽度偏大。则移动终端可以将第一目标检测框的长度拉伸,或者将第一目标检测框的宽度压缩,或者同时将第一标检测框的长度拉伸并且将第一目标检测框的宽度压缩,以使第一目标检测框的长宽比等于目标参考长宽比。
本申请实施例中,由于目标长宽比区间的上限值和下限值之间不会相差太大,在对第一目标检测框进行压缩或者拉伸处理时,不会导致第一目标检测框发生较大的形变,从而不会对第一目标检测框的识别分类造成较大影响。
可选的,步骤306具体可以包括如下步骤:
移动终端将缩放处理后的第一目标检测框输入训练好的目标分类检测模型进行卷积运算、池化运算和分类运算,得到第一目标检测框的分类结果。
其中,池化运算可以包括最大池化(max-pooling)和平均池化(mean-pooling)。移动终端可以先进行最大池化,然后再进行平均池化。可以通过softmax函数进行分类运算。
请参阅图4,图4是本申请提供的另一种图像分类方法的流程示意图。如图4所示,该图像分类方法应用于移动终端,该图像分类方法可以包括如下步骤。
401,移动终端获取待分类图像。
402,移动终端将待分类图像输入目标检测网络模型,通过目标检测网络模型识别待分类图像中包含的至少一个目标检测框,第一目标检测框为待分类图像包含的至少一个目标检测框中的任一个。
本申请实施例中,第一目标检测框是待分类图像包含的至少一个目标检测框中的任一个。移动终端可以对至少一个目标检测框中的每个目标检测框都进行分类。
目标检测网络模型可以是区域卷积神经网络(Region Convolutional NeuralNetworks,RCNN)模型、只看一次(You Only Look Once,YOLO)模型或者单目标检测(SingleShot MultiBox Detector,SSD)模型中的任一种。
本申请的目标检测网络模型可以对各种目标进行检测,比如,目标检测网络模型可以对人物、动物、汽车、水果等需要进行检测并分类的目标进行检测。由于不同的目标的长宽比差别较大,如果都采用相同的长宽比的目标分类检测模型(长宽比为1:1的目标分类检测模型)进行分类,则会影响分类识别的准确率。
举例来说,请参见表1,分类检测模型1用于对长宽比处于0.75~1.5区间内的目标检测框进行分类处理,分类检测模型1要求输入的目标检测框的长宽比等于1;分类检测模型2用于对长宽比处于大于1.5区间内的目标检测框进行分类处理,分类检测模型2要求输入的目标检测框的长宽比等于2;分类检测模型3用于对长宽比处于小于0.75区间内的目标检测框进行分类处理,分类检测模型3要求输入的目标检测框的长宽比等于0.5。请参见图5a、图5b和图5c,图5a是本申请实施例提供的一种长宽比处于0.75~1.5区间内的目标检测框进行分类处理时的分类检测模型选择示意图;图5b是本申请实施例提供的一种长宽比处于大于1.5区间内的目标检测框进行分类处理时的分类检测模型选择示意图;图5c是本申请实施例提供的一种长宽比处于小于0.75区间内的目标检测框进行分类处理时的分类检测模型选择示意图。
如图5a所示,第一目标检测框的长宽比处于0.75~1.5区间时,如果将第一目标检测框输入分类检测模型1,则需要将第一目标检测框转换为分类检测模型1要求的长宽比(w/h=1)后,输入分类检测模型1进行分类检测;如果将第一目标检测框输入分类检测模型2,则需要将第一目标检测框转换为分类检测模型2要求的长宽比(w/h=2)后,输入分类检测模型2进行分类检测;如果将第一目标检测框输入分类检测模型3,则需要将第一目标检测框转换为分类检测模型3要求的长宽比(w/h=0.5)后,输入分类检测模型3进行分类检测。从图5a可以看出,将第一目标检测框转换成分类检测模型1要求的长宽比之后,第一目标检测框的变形最小,因此,采用分类检测模型1对第一目标检测框进行分类检测得到的分类检测结果的准确率会更高。
如图5b所示,第一目标检测框的长宽比处于大于1.5区间时,如果将第一目标检测框输入分类检测模型1,则需要将第一目标检测框转换为分类检测模型1要求的长宽比(w/h=1)后,输入分类检测模型1进行分类检测;如果将第一目标检测框输入分类检测模型2,则需要将第一目标检测框转换为分类检测模型2要求的长宽比(w/h=2)后,输入分类检测模型2进行分类检测;如果将第一目标检测框输入分类检测模型3,则需要将第一目标检测框转换为分类检测模型3要求的长宽比(w/h=0.5)后,输入分类检测模型3进行分类检测。从图5a可以看出,将第一目标检测框转换成分类检测模型2要求的长宽比之后,第一目标检测框的变形最小,因此,采用分类检测模型2对第一目标检测框进行分类检测得到的分类检测结果的准确率会更高。
如图5c所示,第一目标检测框的长宽比处于小于0.75区间时,如果将第一目标检测框输入分类检测模型1,则需要将第一目标检测框转换为分类检测模型1要求的长宽比(w/h=1)后,输入分类检测模型1进行分类检测;如果将第一目标检测框输入分类检测模型2,则需要将第一目标检测框转换为分类检测模型2要求的长宽比(w/h=2)后,输入分类检测模型2进行分类检测;如果将第一目标检测框输入分类检测模型3,则需要将第一目标检测框转换为分类检测模型3要求的长宽比(w/h=0.5)后,输入分类检测模型3进行分类检测。从图5c可以看出,将第一目标检测框转换成分类检测模型3要求的长宽比之后,第一目标检测框的变形最小,因此,采用分类检测模型3对第一目标检测框进行分类检测得到的分类检测结果的准确率会更高。
403,移动终端计算第一目标检测框的第一长宽比。
404,移动终端确定第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与目标长宽比区间对应的目标分类检测模型。
405,移动终端检测第一长宽比是否等于目标长宽比区间对应的目标参考长宽比。若是,则执行步骤406,若否,则执行步骤407至步骤408。
406,移动终端将第一目标检测框输入目标分类检测模型进行分类,得到第一目标检测框的分类结果。
407,移动终端对第一目标检测框进行缩放处理,得到缩放处理后的第一目标检测框,缩放处理后的第一目标检测框的长宽比为目标参考长宽比。
408,移动终端将缩放处理后的第一目标检测框输入目标分类检测模型进行分类,得到第一目标检测框的分类结果。
可选的,在执行步骤403之后,还可以执行如下步骤:
(11),移动终端确定第一长宽比是否落入特定目标检测网络模型对应的特定长宽比区间,特定长宽比区间属于目标长宽比区间;
(12),在第一长宽比落入特定长宽比区间的情况下,执行上述根据长宽比区间与分类检测模型的对应关系确定与目标长宽比区间对应的目标分类检测模型的步骤。
可选的,在第一长宽比没有落入特定长宽比区间的情况下,确定第一目标检测框不包含特定目标。
本申请实施例中,如果分类图像中包含的待检测目标是某一类特定目标,则可以采用特定目标检测网络模型,专门用于检测某一特定目标。比如,某一特定目标为人脸时,可以采用特定的人脸检测网络模型。由于特定目标的长宽比一般固定在一个范围,第一目标检测框如果包含某一类特定目标,则第一目标检测框处于特定长宽比区间,针对特定目标的分类,则可以采用特定的目标分类检测模型进行分类。如果第一目标检测框的第一长宽比没有落入特定长宽比区间的情况下,则确定第一目标检测框不包含特定目标,则不进行后续的分类处理。
本申请实施例可以对某一特定目标进行识别与分类,提高对特定目标进行识别分类的准确率。
可选的,如果待分类图像中不包含目标检测框,则继续获取下一张待分类图像进行检测并分类。
本申请实施例根据待分类图像中包含的第一目标检测框的长宽比确定与之对应的目标分类检测模型,可以针对不同的长宽比确定不同的分类检测模型,对检测得到的不同长宽比例的目标检测框进行缩放处理后分别送入不同的分类网络进行识别,从而提高目标检测框的识别分类的准确率。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,移动终端为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对移动终端进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
与上述一致的,请参阅图6,图6为本申请实施例提供的一种图像分类装置的结构示意图,应用于移动终端,该图像分类装置600可以包括获取单元601、计算单元602、确定单元603和分类单元604,其中:
获取单元601,用于获取待分类图像中包含的第一目标检测框;
计算单元602,用于计算所述第一目标检测框的第一长宽比;
确定单元603,用于确定所述第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型;
分类单元604,用于将所述第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
可选的,该图像分类装置600还可以包括检测单元605。
所述检测单元605,用于检测所述第一长宽比是否等于所述目标长宽比区间对应的目标参考长宽比;
所述分类单元604,还用于在所述第一长宽比等于所述目标参考长宽比的情况下,将所述第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
可选的,该图像分类装置600还可以包括缩放处理单元606。
缩放处理单元606,用于在所述第一长宽比不等于所述目标参考长宽比的情况下,对所述第一目标检测框进行缩放处理,得到缩放处理后的第一目标检测框,所述缩放处理后的第一目标检测框的长宽比为所述目标参考长宽比;
所述分类单元604,还用于将所述缩放处理后的第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
可选的,所述缩放处理单元606将所述缩放处理后的第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果,具体为:所述缩放处理单元606将所述缩放处理后的第一目标检测框输入训练好的目标分类检测模型进行卷积运算、池化运算和分类运算,得到所述第一目标检测框的分类结果。
可选的,所述获取单元601,还用于在获取待分类图像中包含的第一目标检测框之前,获取待分类图像;
所述获取单元601获取待分类图像中包含的第一目标检测框,具体为:所述获取单元601将所述待分类图像输入目标检测网络模型,通过所述目标检测网络模型识别所述待分类图像中包含的至少一个目标检测框,所述第一目标检测框为所述待分类图像包含的至少一个目标检测框中的任一个。
所述确定单元603,还用于确定所述第一长宽比是否落入所述特定目标检测网络模型对应的特定长宽比区间,所述特定长宽比区间属于所述目标长宽比区间;
所述确定单元603,还用于在所述第一长宽比落入所述特定长宽比区间的情况下,根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型。
所述确定单元603,还用于在所述第一长宽比没有落入所述特定长宽比区间的情况下,确定所述第一目标检测框不包含特定目标。
其中,获取单元601、计算单元602、确定单元603、分类单元604、检测单元605和缩放处理单元606可以对应移动终端的处理器。
本申请实施例中,根据待分类图像中包含的第一目标检测框的长宽比确定与之对应的目标分类检测模型,可以针对不同的长宽比确定不同的分类检测模型,对检测得到的不同长宽比例的目标检测框分别送入不同的分类网络进行识别,从而提高目标检测框的识别分类的准确率。
请参阅图7,图7是本申请实施例提供的一种移动终端的结构示意图,如图7所示,该移动终端700包括处理器701和存储器702,处理器701、存储器702可以通过通信总线703相互连接。通信总线703可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,简称EISA)总线等。通信总线704可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。存储器702用于存储计算机程序,计算机程序包括程序指令,处理器701被配置用于调用程序指令,上述程序包括用于执行图1至图4所示的方法。
处理器701可以是通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制以上方案程序执行的集成电路。
存储器702可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
此外,该移动终端700还可以包括摄像头、显示屏、通信接口、天线等通用部件,在此不再详述。
本申请实施例中,根据待分类图像中包含的第一目标检测框的长宽比确定与之对应的目标分类检测模型,可以针对不同的长宽比确定不同的分类检测模型,对检测得到的不同长宽比例的目标检测框分别送入不同的分类网络进行识别,从而提高目标检测框的识别分类的准确率。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像分类方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像分类方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在申请明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像分类方法,其特征在于,包括:
获取待分类图像中包含的第一目标检测框,计算所述第一目标检测框的第一长宽比;
确定所述第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型;
将所述第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型之后,所述方法还包括:
检测所述第一长宽比是否等于所述目标长宽比区间对应的目标参考长宽比;
在所述第一长宽比等于所述目标参考长宽比的情况下,执行所述将所述第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果的步骤。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述第一长宽比不等于所述目标参考长宽比的情况下,对所述第一目标检测框进行缩放处理,得到缩放处理后的第一目标检测框,所述缩放处理后的第一目标检测框的长宽比为所述目标参考长宽比;
将所述缩放处理后的第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
4.根据权利要求3所述的方法,其特征在于,所述将所述缩放处理后的第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果,包括:
将所述缩放处理后的第一目标检测框输入训练好的目标分类检测模型进行卷积运算、池化运算和分类运算,得到所述第一目标检测框的分类结果。
5.根据权利要求1~4任一项所述的方法,其特征在于,所述获取待分类图像中包含的第一目标检测框之前,所述方法还包括:
获取待分类图像;
所述获取待分类图像中包含的第一目标检测框,包括:
将所述待分类图像输入目标检测网络模型,通过所述目标检测网络模型识别所述待分类图像中包含的至少一个目标检测框,所述第一目标检测框为所述待分类图像包含的至少一个目标检测框中的任一个。
6.根据权利要求5所述的方法,其特征在于,所述目标检测网络模型包括特定目标检测网络模型,所述计算所述第一目标检测框的第一长宽比之后,所述方法还包括:
确定所述第一长宽比是否落入所述特定目标检测网络模型对应的特定长宽比区间,所述特定长宽比区间属于所述目标长宽比区间;
在所述第一长宽比落入所述特定长宽比区间的情况下,执行所述根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型的步骤。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述第一长宽比没有落入所述特定长宽比区间的情况下,确定所述第一目标检测框不包含特定目标。
8.一种图像分类装置,其特征在于,包括:
获取单元,用于获取待分类图像中包含的第一目标检测框;
计算单元,用于计算所述第一目标检测框的第一长宽比;
确定单元,用于确定所述第一长宽比落入的目标长宽比区间,根据长宽比区间与分类检测模型的对应关系确定与所述目标长宽比区间对应的目标分类检测模型;
分类单元,用于将所述第一目标检测框输入所述目标分类检测模型进行分类,得到所述第一目标检测框的分类结果。
9.一种移动终端,其特征在于,包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1~7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910906770.5A CN110674873B (zh) | 2019-09-24 | 2019-09-24 | 图像分类方法、装置、移动终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910906770.5A CN110674873B (zh) | 2019-09-24 | 2019-09-24 | 图像分类方法、装置、移动终端及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110674873A true CN110674873A (zh) | 2020-01-10 |
CN110674873B CN110674873B (zh) | 2022-05-27 |
Family
ID=69078660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910906770.5A Active CN110674873B (zh) | 2019-09-24 | 2019-09-24 | 图像分类方法、装置、移动终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674873B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111291749A (zh) * | 2020-01-20 | 2020-06-16 | 深圳市优必选科技股份有限公司 | 手势识别方法、装置及机器人 |
CN111310808A (zh) * | 2020-02-03 | 2020-06-19 | 平安科技(深圳)有限公司 | 图片识别模型的训练方法、装置、计算机***及存储介质 |
CN112505049A (zh) * | 2020-10-14 | 2021-03-16 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和*** |
CN115033154A (zh) * | 2021-02-23 | 2022-09-09 | 北京小米移动软件有限公司 | 缩略图生成方法、缩略图生成装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107392214A (zh) * | 2017-07-26 | 2017-11-24 | 成都快眼科技有限公司 | 一种基于全卷积***网络的目标检测方法 |
CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
CN108520197A (zh) * | 2018-02-28 | 2018-09-11 | 中国航空工业集团公司洛阳电光设备研究所 | 一种遥感图像目标检测方法及装置 |
CN108681718A (zh) * | 2018-05-20 | 2018-10-19 | 北京工业大学 | 一种无人机低空目标精准检测识别方法 |
CN109508636A (zh) * | 2018-10-08 | 2019-03-22 | 百度在线网络技术(北京)有限公司 | 车辆属性识别方法、装置、存储介质及电子设备 |
CN109886230A (zh) * | 2019-02-28 | 2019-06-14 | 中南大学 | 一种图像目标检测方法及装置 |
-
2019
- 2019-09-24 CN CN201910906770.5A patent/CN110674873B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107392214A (zh) * | 2017-07-26 | 2017-11-24 | 成都快眼科技有限公司 | 一种基于全卷积***网络的目标检测方法 |
CN107665336A (zh) * | 2017-09-20 | 2018-02-06 | 厦门理工学院 | 智能冰箱中基于Faster‑RCNN的多目标检测方法 |
CN108520197A (zh) * | 2018-02-28 | 2018-09-11 | 中国航空工业集团公司洛阳电光设备研究所 | 一种遥感图像目标检测方法及装置 |
CN108681718A (zh) * | 2018-05-20 | 2018-10-19 | 北京工业大学 | 一种无人机低空目标精准检测识别方法 |
CN109508636A (zh) * | 2018-10-08 | 2019-03-22 | 百度在线网络技术(北京)有限公司 | 车辆属性识别方法、装置、存储介质及电子设备 |
CN109886230A (zh) * | 2019-02-28 | 2019-06-14 | 中南大学 | 一种图像目标检测方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111291749A (zh) * | 2020-01-20 | 2020-06-16 | 深圳市优必选科技股份有限公司 | 手势识别方法、装置及机器人 |
CN111291749B (zh) * | 2020-01-20 | 2024-04-23 | 深圳市优必选科技股份有限公司 | 手势识别方法、装置及机器人 |
CN111310808A (zh) * | 2020-02-03 | 2020-06-19 | 平安科技(深圳)有限公司 | 图片识别模型的训练方法、装置、计算机***及存储介质 |
WO2021155650A1 (zh) * | 2020-02-03 | 2021-08-12 | 平安科技(深圳)有限公司 | 图片识别模型的训练方法、装置、计算机***及存储介质 |
CN111310808B (zh) * | 2020-02-03 | 2024-03-22 | 平安科技(深圳)有限公司 | 图片识别模型的训练方法、装置、计算机***及存储介质 |
CN112505049A (zh) * | 2020-10-14 | 2021-03-16 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和*** |
CN112505049B (zh) * | 2020-10-14 | 2021-08-03 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和*** |
CN115033154A (zh) * | 2021-02-23 | 2022-09-09 | 北京小米移动软件有限公司 | 缩略图生成方法、缩略图生成装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110674873B (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674873B (zh) | 图像分类方法、装置、移动终端及存储介质 | |
CN109829506B (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
CN110667593B (zh) | 基于深度学习的驾驶提醒方法、装置、设备及存储介质 | |
CN111935479B (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
CN109559303B (zh) | 钙化点的识别方法、装置和计算机可读存储介质 | |
CN111861938B (zh) | 图像去噪方法、装置、电子设备及可读存储介质 | |
CN112418135A (zh) | 人体行为识别方法、装置、计算机设备及可读存储介质 | |
CN111814776B (zh) | 一种图像处理方法、设备、服务器及存储介质 | |
CN111680546A (zh) | 注意力检测方法、装置、电子设备及存储介质 | |
CN111080665B (zh) | 图像边框识别方法、装置、设备和计算机存储介质 | |
CN115457466A (zh) | 一种基于巡检视频的隐患检测方法、***及电子设备 | |
CN106357978B (zh) | 图像输出方法、装置及终端 | |
CN109711287B (zh) | 人脸采集方法及相关产品 | |
CN113807166A (zh) | 图像处理方法、装置及存储介质 | |
CN112333537B (zh) | 视频整合方法、装置及计算机可读存储介质 | |
CN113129298A (zh) | 文本图像的清晰度识别方法 | |
CN112084874B (zh) | 一种物体检测方法、装置及终端设备 | |
CN110008907B (zh) | 一种年龄的估计方法、装置、电子设备和计算机可读介质 | |
CN109685069B (zh) | 图像检测方法、装置及计算机可读存储介质 | |
CN109543565B (zh) | 一种数量确定方法及装置 | |
CN111985423A (zh) | 活体检测方法、装置、设备及可读存储介质 | |
CN110785769A (zh) | 人脸性别识别方法、人脸性别分类器的训练方法及装置 | |
CN109740671B (zh) | 一种图像识别方法及装置 | |
CN111160353A (zh) | 车牌识别方法、装置及设备 | |
CN113709563B (zh) | 视频封面选取方法、装置、存储介质以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240424 Address after: Room A039, Room 801, No. 190 Kaitai Avenue, Huangpu District, Guangzhou City, Guangdong Province, 510700 Patentee after: Guangzhou Xinguang Enterprise Management Consulting Co.,Ltd. Country or region after: China Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Patentee before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |