CN113673546B - 一种图像处理方法、装置、电子设备和存储介质 - Google Patents
一种图像处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113673546B CN113673546B CN202010411825.8A CN202010411825A CN113673546B CN 113673546 B CN113673546 B CN 113673546B CN 202010411825 A CN202010411825 A CN 202010411825A CN 113673546 B CN113673546 B CN 113673546B
- Authority
- CN
- China
- Prior art keywords
- classification
- image
- processed
- target
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims description 25
- 238000005286 illumination Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 14
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 241000196324 Embryophyta Species 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 3
- 241001464837 Viridiplantae Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 235000011850 desserts Nutrition 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009182 swimming Effects 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- 230000003313 weakening effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 235000011888 snacks Nutrition 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000004936 Bromus mango Nutrition 0.000 description 1
- 244000241235 Citrullus lanatus Species 0.000 description 1
- 235000012828 Citrullus lanatus var citroides Nutrition 0.000 description 1
- 241000207199 Citrus Species 0.000 description 1
- 235000016623 Fragaria vesca Nutrition 0.000 description 1
- 240000009088 Fragaria x ananassa Species 0.000 description 1
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 1
- 241000220225 Malus Species 0.000 description 1
- 235000011430 Malus pumila Nutrition 0.000 description 1
- 235000015103 Malus silvestris Nutrition 0.000 description 1
- 240000007228 Mangifera indica Species 0.000 description 1
- 235000014826 Mangifera indica Nutrition 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 235000014443 Pyrus communis Nutrition 0.000 description 1
- 240000001987 Pyrus communis Species 0.000 description 1
- 235000009184 Spondias indica Nutrition 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000020971 citrus fruits Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 235000013550 pizza Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备和存储介质，属于图像技术领域。该方法包括：获取待处理图像，对待处理图像中的至少两种分类对象并行进行分类处理，得到待处理图像中每种分类对象的分类结果，其中，对待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，输出待处理图像中各分类对象的分类结果，其中，输出的每种目标分类对象的分类结果根据该目标分类对象的不同分类级别的分类结果确定。这样，对待处理图像中的至少两种分类对象并行进行分类处理，分类速度比较快，并且，综合每种目标分类对象的不同分类级别的分类结果确定输出的该种目标分类对象的分类结果，还可提升对目标分类对象的分类准确度。
Description
技术领域
本公开涉及图像技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
在图像技术领域中，经常存在需要对图像进行分类的情况，比如按照图像中包含的对象对图像进行分类。
相关技术中，需在具体的场景中，根据对象的特点来构建各种各样的分类模型，如天花板分类模型、钟表分类模型，墙壁分类模型等，之后，分别利用每种分类模型对图像进行分类，综合各分类模型的分类结果来确定图像中包含的对象，这样，构建的分类模型的数量与分类精度密切相关，由于分类模型的构建比较繁琐所以通常分类模型的数量也不会太多，因此，图像的分类精度并不是很高。另外，由于各个分类模型之间是串行的，所以图像的分类速度也比较慢。
然而，在如直播、视频通话等场景中，提出了按照多种分类标准对图像进行分类的需求，并且，这些场景需要实时传输图像画面，对图像的分类速度也提出了更高的要求，相关技术中的图像分类方法已经难以满足这些场景下的图像分类需求。
发明内容
本公开提供一种图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中存在的对图像的分类不准确、且分类速度比较慢的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取待处理图像；
对所述待处理图像中的至少两种分类对象并行进行分类处理，得到所述待处理图像中每种分类对象的分类结果，其中，对所述待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，任一目标分类对象的分类级别用于表征所述目标分类对象的类别划分精细程度；
输出所述待处理图像中各分类对象的分类结果，其中，输出的每种目标分类对象的分类结果根据所述目标分类对象的不同分类级别的分类结果确定。
在一种可能的实施方式中，所述至少两种分类对象包括以下任意两种或多种：
目标物、场景、清晰程度、光照条件。
在一种可能的实施方式中，若目标分类对象为目标物，则根据以下步骤对所述待处理图像中的目标物进行分类处理：
对所述待处理图像中的目标物进行第一分类级别的分类处理，得到所述待处理图像中目标物的第一分类级别的分类结果，并确定所述待处理图像中目标物的区域信息；
从所述待处理图像中裁剪出所述区域信息对应的子图像；
对所述子图像中的目标物进行第二分类级别的分类处理，得到所述子图像中目标物的第二分类级别的分类结果，所述第二分类级别对目标物的类别划分精细程度高于所述第一分类级别对目标物的类别划分精细程度。
在一种可能的实施方式中，在对所述待处理图像中的目标物进行第一分类级别的分类处理之前，还包括：
将所述待处理图像的尺寸压缩处理到第一预设尺寸；以及
在对所述子图像中的目标物进行第二分类级别的分类处理之前，还包括：
将所述子图像的尺寸压缩处理到第二预设尺寸。
在一种可能的实施方式中，在对所述待处理图像中除目标物之外的分类对象进行分类处理之前，还包括：
将所述待处理图像的尺寸压缩处理到第二预设尺寸。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
获取模块，被配置为执行获取待处理图像；
分类模块，被配置为执行对所述待处理图像中的至少两种分类对象并行进行分类处理，得到所述待处理图像中每种分类对象的分类结果，其中，对所述待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，任一目标分类对象的分类级别用于表征所述目标分类对象的类别划分精细程度；
输出模块，被配置为执行输出所述待处理图像中各分类对象的分类结果，其中，输出的每种目标分类对象的分类结果根据所述目标分类对象的不同分类级别的分类结果确定。
在一种可能的实施方式中，所述至少两种分类对象包括以下任意两种或多种：
目标物、场景、清晰程度、光照条件。
在一种可能的实施方式中，若目标分类对象为目标物，则所述分类模块被具体配置为执行：
对所述待处理图像中的目标物进行第一分类级别的分类处理，得到所述待处理图像中目标物的第一分类级别的分类结果，并确定所述待处理图像中目标物的区域信息；
从所述待处理图像中裁剪出所述区域信息对应的子图像；
对所述子图像中的目标物进行第二分类级别的分类处理，得到所述子图像中目标物的第二分类级别的分类结果，所述第二分类级别对目标物的类别划分精细程度高于所述第一分类级别对目标物的类别划分精细程度。
在一种可能的实施方式中，所述分类模块还被配置为执行：
在对所述待处理图像中的目标物进行第一分类级别的分类处理之前，将所述待处理图像的尺寸压缩处理到第一预设尺寸；以及
在对所述子图像中的目标物进行第二分类级别的分类处理之前，将所述子图像的尺寸压缩处理到第二预设尺寸。
在一种可能的实施方式中，所述分类模块还被配置为执行：
在对所述待处理图像中除目标物之外的分类对象进行分类处理之前，将所述待处理图像的尺寸压缩处理到第二预设尺寸。
根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一图像处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述任一图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，该程序产品在被计算机调用执行时，可以使得计算机执行上述任一图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
获取待处理图像，对待处理图像中的至少两种分类对象并行进行分类处理，得到待处理图像中每种分类对象的分类结果，其中，对待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，任一目标分类对象的分类级别用于表征该目标分类对象的类别划分精细程度，输出待处理图像中各分类对象的分类结果，其中，输出的每种目标分类对象的分类结果根据该目标分类对象的不同分类级别的分类结果确定。这样，对待处理图像中的至少两种分类对象并行进行分类处理，分类速度比较快，并且，对待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，再综合每种目标分类对象的不同分类级别的分类结果确定输出的该种目标分类对象的分类结果，还可提升对待处理图像中每种目标分类对象的分类准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图。
图2是根据一示例性实施例示出的一种对待处理图像中的目标物进行分类的方法流程图。
图3是根据一示例性实施例示出的又一种对待处理图像中的目标物进行分类的方法流程图。
图4是根据一示例性实施例示出的一种图像分类模型的结构示意图。
图5是根据一示例性实施例示出的一种图像分类模型中用于对目标物进行分类的子模型的结构示意图。
图6是根据一示例性实施例示出的一种图像分类模型中用于对场景进行分类的子模型的结构示意图。
图7是根据一示例性实施例示出的一种图像分类模型中用于对清晰程度和光照条件进行分类的子模型的结构示意图。
图8是根据一示例性实施例示出的又一种图像分类模型的结构示意图。
图9是根据一示例性实施例示出的一种图像处理装置的框图。
图10是根据一示例性实施例示出的一种用于实现图像处理方法的电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供的图像处理方法适用于所有需要实时对图像中的对象进行分类的场景。比如，在视频拍摄场景中，为了能够使用户拍摄出满意的视频，终端可以对当前捕获到的图像中的对象进行分类，然后，根据分类结果向用户推荐一个适合当前拍摄场景的特效，以使用户使用该特效进行视频拍摄。再比如，在直播场景中，为了提升到达用户侧的直播流的拍摄品质，图像采集端同样可以对采集到的图像中的对象进行分类，然后，根据分类结果确定相应的修饰策略，进而根据确定的修饰策略对接收到的图像进行修饰处理。需要说明的是，此处仅为对本公开实施例的应用场景的举例，并不构成对本公开实施例应用场景的限定。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，该方法的流程图包括以下步骤。
S101：获取待处理图像。
S102：对待处理图像中的至少两种分类对象并行进行分类处理，得到待处理图像中每种分类对象的分类结果，其中，对待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理。
上述至少两种分类对象包括以下任意两种或多种：
目标物、场景、清晰程度、光照条件。
这里，任一目标分类对象的分类级别用于表征该目标分类对象的类别划分精细程度。
具体实施时，若目标分类对象为目标物，则可根据图2所示的流程对待处理图像中的目标物进行分类处理，该流程包括以下步骤：
S201a：对待处理图像中的目标物进行第一分类级别的分类处理，得到待处理图像中目标物的第一分类级别的分类结果，并确定待处理图像中目标物的区域信息。
具体实施时，可先利用图像样本训练用于对目标物进行第一分类级别的分类处理、且可确定图像样本中目标物的区域信息的模型，之后，将待处理图像输入到该模型中即可得到待处理图像中目标物第一分类级别的分类结果和目标物的区域信息。
比如，目标物的第一分类级别为：人像、美食、植物、动物以及色系、静物、科技产品、车、生活用品。那么，模型输出的目标物的第一分类级别的分类结果则是人像、美食、植物、动物以及色系、静物、科技产品、车、生活用品中的任一种。
并且，模型输出的目标物的区域信息可以为2个坐标位置，这2个坐标位置分别表示待处理图像中一个矩形区域在对角线方向上的2个顶点。
S202a：从待处理图像中裁剪出该区域信息对应的子图像。
为了提升图像处理速度、也为了提升分类准确度，可以从待处理图像中裁剪出该区域信息对应的子图像，以便后续仅对待处理图像中的局部区域图像即裁剪出的子图像进行第二分类级别的分类处理。
S203a：对子图像中的目标物进行第二分类级别的分类处理，得到子图像中目标物的第二分类级别的分类结果。
其中，第二分类级别对目标物的类别划分精细程度高于第一分类级别对目标物的类别划分精细程度。
具体实施时，可先利用图像样本训练用于对目标物进行第二分类级别的分类处理的模型，之后，将子图像输入到该模型中即可得到待处理图像中目标物的第二分类级别的分类结果。
比如，目标物的第二分类级别为：人像{男、女、婴儿}，美食{甜点、饮品、蔬菜、水果}，植物{花卉、绿植、树木}，动物以及色系{猫、狗；棕色、白色、黑色}，静物{家具、文具、玩具}，科技产品{电脑、手机、电视}，车{轿车、卡车}，生活用品{雨伞、微波炉、剪刀}。
那么，模型输出的目标物的第二分类级别的分类结果则是{男、女和婴儿中的一种}、{甜点、饮品、蔬菜和水果中的一种}、{花卉、绿植和树木中的一种}、{猫和狗中的一种；棕色、白色和黑色中的一种}、{家具、文具和玩具中的一种}、{电脑、手机和电视中的一种}、{轿车和卡车中的一种}、{雨伞、微波炉和剪刀中的一种}。
另外，为了提升图像处理速度，还可对待处理图像进行压缩处理，图3是本公开实施例提供的又一种对待处理图像中的目标物进行分类处理的流程图，该流程包括以下步骤：
S301a：将待处理图像的尺寸压缩处理到第一预设尺寸。
S302a：对压缩处理到第一预设尺寸的待处理图像中的目标物进行第一分类级别的分类处理，得到待处理图像中目标物的第一分类级别的分类结果，并确定待处理图像中目标物的区域信息。
S303a：从待处理图像中裁剪出该区域信息对应的子图像。
S304a：将子图像的尺寸压缩处理到第二预设尺寸。
S305a：对压缩处理到第二预设尺寸的子图像中的目标物进行第二分类级别的分类处理，得到子图像中目标物的第二分类级别的分类结果。
其中，第二分类级别对目标物的类别划分精细程度高于第一分类级别对目标物的类别划分精细程度。
具体实施时，在对待处理图像中除目标物之外的分类对象进行分类处理之前，也可将待处理图像的尺寸压缩处理到第二预设尺寸，以提升对这些分类对象的分类速度。
相应地，具体实施时，可先利用图像样本训练用于对场景进行分类处理的模型，之后，将压缩处理到第二预设尺寸的待处理图像输入到该模型中即可得到待处理图像的场景分类结果。另外，既可训练该模型对场景进行一种分类级别的分类处理，也可训练该模型对场景进行不同分类级别的分类处理。
比如，场景的第一分类级别为：室内、音乐演出、室外、游戏、运动；场景的第二分类级别为：室内{商场、卧室、办公室}，室外{天空、海边、草坪}，游戏{游戏1、游戏2、游戏3}，运动{篮球、乒乓球、游泳}。
那么，模型输出的场景的第一分类级别的分类结果为室内、音乐演出、室外、游戏和运动中的一种；模型输出的场景的第二分类级别的分类结果为：{商场、卧室和办公室中的一种}、{天空、海边和草坪中的一种}、{游戏1、游戏2和游戏3中的一种}、{篮球、乒乓球和游泳中的一种}。
类似地，可先利用图像样本训练用于对清晰程度进行分类处理的模型，之后，将压缩处理到第二预设尺寸的待处理图像输入到该模型中即可得到待处理图像的清晰程度分类结果。
比如，清晰程度的分类级别为：雾图、非雾图，那么，模型输出的待处理图像的清晰程度分类结果则是雾图或非雾图。
类似地，可先利用图像样本训练用于对光照条件进行分类处理的模型，之后，将压缩处理到第二预设尺寸的待处理图像输入到该模型中即可得到待处理图像的光照条件分类结果。
比如，光照条件的分类级别为：暗光、逆光，那么，模型输出的待处理图像的光照条件分类结果则是暗光或逆光。
S103：输出待处理图像中各分类对象的分类结果，其中，输出的每种目标分类对象的分类结果根据该目标分类对象的不同分类级别的分类结果确定。
具体实施时，对不是目标分类对象的任一分类对象，如清晰程度或光照条件，可直接输出待处理图像中该分类对象的分类结果；对目标分类对象，如目标物或场景，则可根据该目标分类对象的不同分类级别的分类结果确定输出的待处理图像中该目标分类对象的分类结果。
比如，从每个目标分类对象的第二分类级别的分类结果中筛选属于该目标分类对象的第一分类级别的分类结果的下级分类的分类结果，将筛选出的分类结果和该目标分类对象的第一分类级别的分类结果，确定为待处理图像中该目标分类对象的分类结果。后续，可输出筛选出的分类结果和该目标分类对象的第一分类级别的分类结果，也可以仅输出筛选出的分类结果。
假设目标物的第一分类级别的分类结果是人像，则可从目标物的第二分类级别的分类结果中筛选是对人像做进一步分类的分类结果，假设筛选出的为男，那么，可确定对待处理图像中目标物的分类结果为人像{男}。后续，可以输出人像{男}，也可以输出{男}。
类似地，假设场景的第一分类级别的分类结果是室外，则可从场景的第二分类级别的分类结果中筛选是对室外做进一步分类的分类结果，假设筛选出的为海边，那么，可确定对待处理图像中场景的分类结果为室外{海边}。后续，可以输出室外{海边}，也可以输出{海边}。
具体实施时，在得到待处理图像中各分类对象的分类结果之后，可根据各分类对象的分类结果，确定对待处理图像的修饰策略，进而根据确定的修饰策略，对待处理图像进行修饰处理。
比如，待处理图像中目标物的分类结果为女、场景的分类结果为卧室、清晰程度的分类结果为雾图、光照条件的分类结果为暗光，则可确定人像美化、削弱雾图、增加光照的修饰策略。
再比如，待处理图像中目标物的分类结果为女、场景的分类结果为运动、待处理图像的清晰程度的分类结果为雾图、待处理图像的光照条件的分类结果为逆光，则可确定人像美化、削弱雾图、减弱逆光的修饰策略。
下面结合具体实施例对本公开实施例进行说明。
具体实施时，可以基于深度学习中的卷积神经网络训练用于同时对至少两种分类对象进行分类的图像分类模型，之后，利用图像分类模型来对待处理图像中的相应分类对象进行分类。
图4是本公开实施例提供的一种图像分类模型的结构示意图，其中，图像分类模型包括四部分：检测子模块(CenterNet)、目标物分类(Classifier1(Object))、场景分类(Classifier2(Scene))、以及清晰程度和光照条件分类(Classifier3(Quality,Lightcondition))。
具体实施时，目标物、场景、清晰程度和光照条件的一级标签(即第一分类级别的分类)共16个，其中，目标物的一级标签有：人像、美食、植物、动物以及色系、静物、科技产品、车、生活用品，场景的一级标签有：室内、音乐演出、室外、游戏、运动，清晰程度以及光照条件的一级标签有：雾图、逆光、暗光，目标物、场景、清晰程度和光照条件的二级标签(即第二分类级别的分类)共121种。
下面分别介绍图像分类模型对每种分类对象的分类。
1、对目标物进行分类。
考虑到目标物可能在待处理图像中只占很小的区域，所以可以结合目标物的区域检测来进行分类。具体实施时，将待处理图像输入到CenterNet后，
可以得到待处理图像中目标物如人像的一级标签(first label)和目标物的边界框(x1，y1，x2，y2)，图3中的(x1，y1，x2，y2)分别表示目标物所在矩形区域的左上角的坐标和右下角的坐标，然后，可根据目标物的边界框在待处理图像中裁剪(crop)对应区域的子图像，之后，将裁剪出的子图像输入Classifier1(Object)进行细致的二级标签分类，最后，根据first label从Classifier1(Object)输出的二级标签中取出相关的二级标签如人像相关的二级标签为：男，青年。
图5是图像分类模型中用于对目标物进行分类的子模型的结构示意图，其中，目标物的一级标签有：人像、美食、植物、动物以及色系、静物、科技产品、车、生活用品；目标物的二级标签有：人像{男、女、婴儿；儿童、青年、中年、老年}，美食{甜点/甜品类、饮品、蔬菜、水果、肉类、油炸物、三明治/汉堡/披萨、火锅等锅类物、包装零食、其它零食}、且其中水果又可分为{苹果、香蕉、梨、芒果、柑橘、西瓜、草莓、其它水果}，植物{花卉、绿植、树木}，动物以及色系{猫、狗；棕色、白色、黑色}，静物{书籍、家具、首饰、手表、眼睛、化妆品、包、文具、餐具、玩具、文字}、且其中家具又可分为{沙发、桌子、椅子、茶几、床}，科技产品{电脑、手机、头戴耳机、电视、键盘、相机、鼠标}，车{轿车、卡车、摩托车、火车}，生活用品{雨伞、手提箱、微波炉、冰箱、空调、洗衣机、闹钟、剪刀}，图5中每种分类后面的数字表示该种分类的编号。
具体实施时，当待处理图像中包含多个目标物时，检测子模块会输出每个目标物的区域信息和一级标签，并且，Classifier1(Object)会对每个目标物进行细致的分类，得到该目标物的二级标签。
2、对场景进行分类。
考虑到场景与待处理图像的全部区域特征都有关，所以将待处理图像输入图像分类模型中进行分类即可。
图6是图像分类模型中用于对场景进行分类的子模型的结构示意图，其中，场景的一级标签有：室内、音乐演出、室外、游戏、运动；场景的二级标签有：室内{商场、餐厅/咖啡厅、卧室、厨房、室内停车场、办公室、展览馆、教室、车内}、室外{日出日落、夜色、日光；现代建筑、古代建筑、自然景色(山川湖泊森林瀑布等)、街道、公园、游乐园；山川、湖泊、森林、瀑布、雪景、沙漠；天空；海边；草坪}、游戏{游戏1、游戏2、游戏3、游戏4、游戏5、游戏6、游戏7、游戏8、游戏9、游戏10、游戏11、游戏12、游戏13、游戏14、游戏15}、运动{篮球、足球、羽毛球、乒乓球、游泳、滑雪、健身、格斗}。图6中每种分类后面的数字表示该种分类的编号。
3、对清晰程度和光照条件进行分类。
具体实施时，清晰程度主要是判断待处理图像是否是雾图，光照条件主要是判断待处理图像的光照条件是逆光还是暗光，因为这些信息也是与待处理图像的全部区域相关，所以将待处理图像输入图像分类模型中进行分类即可。
图7是图像分类模型中用于对清晰程度和光照条件进行分类的子模型的结构示意图，图7中每种分类后面的数字表示该种分类的编号。
另外，场景、清晰程度以及光照条件都与待处理图像的全部区域特征相关，因此，Scene Classifier和Quality and Light Condition Classifier的输入可以是整幅图像，且Scene Classifier和Quality and Light Condition Classifier之间的分类是相互独立的；而目标物只与待处理图像的局部区域有关，因此，可先利用CenterNet确定出目标物的所在区域，之后，裁剪出相应区域的子图像，再由Object Classifier对子图像中的目标物进行细致的分类处理。
上述各图中，主干网1-主干网3的基础模型可采用mobilenet网络结构，并且，输入CenterNet的待处理图像的尺寸可以为256*256，输入Classifier1(Object)、Classifier2(Scene)和Classifier3(Quality,Light condition)的待处理图像尺寸可以为128*128。
图8示出了对待处理图像中的目标物、场景、清晰程度和光照条件同时进行分类处理的图像分类模型的整体结构示意图，其中，目标物分类(Object Classifier)、场景分类(Scene Classifier)、以及清晰程度和光照条件分类(Quality and Light ConditionClassifier)之间是相互独立的，各自独立前向传输。
在对目标物进行分类时，先将输入的待处理图像压缩处理到(256，256)，然后，将压缩处理后的待处理图像输入检测子模块(CenterNet)，由CenterNet输出目标物的一级标签和区域信息(x1，x2，y1，y2)，如人像和人像的边界框(x1，x2，y1，y2)，然后，根据(x1，x2，y1，y2)在待处理图像中裁剪出对应的子图像，将子图像压缩处理到(128，128)，将压缩处理后的子图像输入Object Classifier中得到目标物的二级标签，由于Object Classifier是对所有二级标签进行预测，所以目标物的二级标签中不仅包含CenterNet输出的一级标签的各个二级标签，而且会包含很多其他的二级标签，为了对目标物准确地进行分类，可以根据一级标签在目标物的二级标签中取出对应的二级标签，如人像可能对应：男，青年。
在对场景进行分类时，场景分类(Scene Classifier)同时对场景进行一级标签和二级标签的分类，然后根据得到的一级标签从二级标签中选取相关的二级标签即可，如“室外，日光，古代建筑”。
在对清晰程度和光照条件进行分类时，清晰程度和光照条件分类(Quality andLight Condition Classifier)只有一级标签，一级标签即Quality and Light ConditionClassifier的分类结果。
具体实施时，上述框架中的主干网可使用其他的卷积神经网络模型如ResNet、Vgg来代替，而CenterNet可替换为其他检测器如YoLo、SSD、Faster RNN、CornerNet等。
本公开实施例中，结合CenterNet来对目标物进行一级分类并确定目标物的区域信息，再由Object Classifier对相应区域的子图像进行分类，根据目标物的一级分类标签和二级分类标签确定目标物的分类结果，这样，可以显著提升目标物的分类精度，尤其是像手表、眼镜、包等这类比较小的目标物。
当本公开实施例中提供的方法以软件或硬件或软硬件结合实现的时候，电子设备中可以包括多个功能模块，每个功能模块可以包括软件、硬件或其结合。
图9是根据一示例性实施例示出的一种图像处理装置的框图，该装置包括获取模块901、分类模块902和输出模块903。
获取模块901，被配置为执行获取待处理图像；
分类模块902，被配置为执行对所述待处理图像中的至少两种分类对象并行进行分类处理，得到所述待处理图像中每种分类对象的分类结果，其中，对所述待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，任一目标分类对象的分类级别用于表征所述目标分类对象的类别划分精细程度；
输出模块903，被配置为执行输出所述待处理图像中各分类对象的分类结果，其中，输出的每种目标分类对象的分类结果根据所述目标分类对象的不同分类级别的分类结果确定。
在一种可能的实施方式中，所述至少两种分类对象包括以下任意两种或多种：
目标物、场景、清晰程度、光照条件。
在一种可能的实施方式中，若目标分类对象为目标物，则所述分类模块902被具体配置为执行：
对所述待处理图像中的目标物进行第一分类级别的分类处理，得到所述待处理图像中目标物的第一分类级别的分类结果，并确定所述待处理图像中目标物的区域信息；
从所述待处理图像中裁剪出所述区域信息对应的子图像；
对所述子图像中的目标物进行第二分类级别的分类处理，得到所述子图像中目标物的第二分类级别的分类结果，所述第二分类级别对目标物的类别划分精细程度高于所述第一分类级别对目标物的类别划分精细程度。
在一种可能的实施方式中，所述分类模块902还被配置为执行：
在对所述待处理图像中的目标物进行第一分类级别的分类处理之前，将所述待处理图像的尺寸压缩处理到第一预设尺寸；以及
在对所述子图像中的目标物进行第二分类级别的分类处理之前，将所述子图像的尺寸压缩处理到第二预设尺寸。
在一种可能的实施方式中，所述分类模块902还被配置为执行：
在对所述待处理图像中除目标物之外的分类对象进行分类处理之前，将所述待处理图像的尺寸压缩处理到第二预设尺寸。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
图10是根据一示例性实施例示出的一种电子设备的结构示意图，该电子设备包括收发器1001以及处理器1002等物理器件，其中，处理器1002可以是一个中央处理单元(central processing unit，CPU)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器1001用于电子设备和其他设备进行数据收发。
该电子设备还可以包括存储器1003用于存储处理器1002执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器1003可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1003也可以是非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1003是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1003可以是上述存储器的组合。
本公开实施例中不限定上述处理器1002、存储器1003以及收发器1001之间的具体连接介质。本公开实施例在图10中仅以存储器1003、处理器1002以及收发器1001之间通过总线1004连接为例进行说明，总线在图10中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器1002可以是专用硬件或运行软件的处理器，当处理器1002可以运行软件时，处理器1002读取存储器1003存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的图像处理方法。
本公开实施例还提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行前述实施例中涉及的图像处理方法。
在一些可能的实施方式中，本公开提供的图像处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行前述实施例中涉及的图像处理方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开实施例中用于图像处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、装置(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
对所述待处理图像中的多种分类对象并行进行分类处理，得到所述待处理图像中每种分类对象的分类结果，其中，对所述待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，任一目标分类对象的分类级别用于表征所述目标分类对象的类别划分精细程度，所述多种分类对象包括目标物、场景、清晰程度和光照条件；
若所述待处理图像是从直播场景获取到的，则根据所述待处理图像中各分类对象的分类结果，确定修饰策略，根据所述修饰策略对后续从直播场景中获取到的图像进行修饰处理，其中，每种目标分类对象的分类结果根据所述目标分类对象的不同分类级别的分类结果确定。
2.根据权利要求1所述的方法，其特征在于，若目标分类对象为目标物，则根据以下步骤对所述待处理图像中的目标物进行分类处理：
对所述待处理图像中的目标物进行第一分类级别的分类处理，得到所述待处理图像中目标物的第一分类级别的分类结果，并确定所述待处理图像中目标物的区域信息；
从所述待处理图像中裁剪出所述区域信息对应的子图像；
对所述子图像中的目标物进行第二分类级别的分类处理，得到所述子图像中目标物的第二分类级别的分类结果，所述第二分类级别对目标物的类别划分精细程度高于所述第一分类级别对目标物的类别划分精细程度。
3.根据权利要求2所述的方法，其特征在于，在对所述待处理图像中的目标物进行第一分类级别的分类处理之前，还包括：
将所述待处理图像的尺寸压缩处理到第一预设尺寸；以及
在对所述子图像中的目标物进行第二分类级别的分类处理之前，还包括：
将所述子图像的尺寸压缩处理到第二预设尺寸。
4.根据权利要求1所述的方法，其特征在于，在对所述待处理图像中除目标物之外的分类对象进行分类处理之前，还包括：
将所述待处理图像的尺寸压缩处理到第二预设尺寸。
5.一种图像处理装置，其特征在于，包括：
获取模块，被配置为执行获取待处理图像；
分类模块，被配置为执行对所述待处理图像中的多种分类对象并行进行分类处理，得到所述待处理图像中每种分类对象的分类结果，其中，对所述待处理图像中的至少一种目标分类对象并行进行多分类级别的分类处理，任一目标分类对象的分类级别用于表征所述目标分类对象的类别划分精细程度，所述多种分类对象包括目标物、场景、清晰程度和光照条件；
若所述待处理图像是从直播场景获取到的，则根据所述待处理图像中各分类对象的分类结果，确定修饰策略，根据所述修饰策略对后续从直播场景中获取到的图像进行修饰处理，其中，每种目标分类对象的分类结果根据所述目标分类对象的不同分类级别的分类结果确定。
6.根据权利要求5所述的装置，其特征在于，若目标分类对象为目标物，则所述分类模块被具体配置为执行：
对所述待处理图像中的目标物进行第一分类级别的分类处理，得到所述待处理图像中目标物的第一分类级别的分类结果，并确定所述待处理图像中目标物的区域信息；
从所述待处理图像中裁剪出所述区域信息对应的子图像；
对所述子图像中的目标物进行第二分类级别的分类处理，得到所述子图像中目标物的第二分类级别的分类结果，所述第二分类级别对目标物的类别划分精细程度高于所述第一分类级别对目标物的类别划分精细程度。
7.根据权利要求6所述的装置，其特征在于，所述分类模块还被配置为执行：
在对所述待处理图像中的目标物进行第一分类级别的分类处理之前，将所述待处理图像的尺寸压缩处理到第一预设尺寸；以及
在对所述子图像中的目标物进行第二分类级别的分类处理之前，将所述子图像的尺寸压缩处理到第二预设尺寸。
8.根据权利要求5所述的装置，其特征在于，所述分类模块还被配置为执行：
在对所述待处理图像中除目标物之外的分类对象进行分类处理之前，将所述待处理图像的尺寸压缩处理到第二预设尺寸。
9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，所述至少一个处理器能够执行如权利要求1-4中任一所述的图像处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-4中任一所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010411825.8A CN113673546B (zh) | 2020-05-15 | 2020-05-15 | 一种图像处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010411825.8A CN113673546B (zh) | 2020-05-15 | 2020-05-15 | 一种图像处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113673546A CN113673546A (zh) | 2021-11-19 |
| CN113673546B true CN113673546B (zh) | 2024-04-16 |
Family
ID=78537570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010411825.8A Active CN113673546B (zh) | 2020-05-15 | 2020-05-15 | 一种图像处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673546B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107679525A (zh) * | 2017-11-01 | 2018-02-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN108171103A (zh) * | 2016-12-07 | 2018-06-15 | 北京三星通信技术研究有限公司 | 目标检测方法及装置 |
| CN110781948A (zh) * | 2019-10-22 | 2020-02-11 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110781813A (zh) * | 2019-10-24 | 2020-02-11 | 北京市商汤科技开发有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN110889437A (zh) * | 2019-11-06 | 2020-03-17 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-05-15 CN CN202010411825.8A patent/CN113673546B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171103A (zh) * | 2016-12-07 | 2018-06-15 | 北京三星通信技术研究有限公司 | 目标检测方法及装置 |
| CN107679525A (zh) * | 2017-11-01 | 2018-02-09 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN110781948A (zh) * | 2019-10-22 | 2020-02-11 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN110781813A (zh) * | 2019-10-24 | 2020-02-11 | 北京市商汤科技开发有限公司 | 图像识别方法及装置、电子设备和存储介质 |
| CN110889437A (zh) * | 2019-11-06 | 2020-03-17 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113673546A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210081673A1 (en) | Action recognition with high-order interaction through spatial-temporal object tracking | |
| CN108399380A (zh) | 一种基于三维卷积和Faster RCNN的视频动作检测方法 | |
| CN104463117B (zh) | 一种基于视频方式的人脸识别样本采集方法及*** | |
| CN109257622A (zh) | 一种音视频处理方法、装置、设备及介质 | |
| CN109376603A (zh) | 一种视频识别方法、装置、计算机设备及存储介质 | |
| CN103810504B (zh) | 一种图像处理方法和装置 | |
| CN107742107A (zh) | 人脸图像分类方法、装置及服务器 | |
| CN109472232A (zh) | 基于多模态融合机制的视频语义表征方法、***及介质 | |
| CN103262119A (zh) | 用于对图像进行分割的方法和*** | |
| KR102141777B1 (ko) | 합성곱 신경망을 활용한 sns 이미지 데이터의 관광 목적 분류 및 관광객별 선호도 분석 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
| WO2013005266A1 (ja) | プレゼンテーションコンテンツ生成装置、プレゼンテーションコンテンツ生成方法、プレゼンテーションコンテンツ生成プログラム、及び集積回路 | |
| CN107798653A (zh) | 一种图像处理的方法和一种装置 | |
| CN102521843B (zh) | 一种基于流形学习的三维人体运动分析与合成方法 | |
| US20210081672A1 (en) | Spatio-temporal interactions for video understanding | |
| Yildirim et al. | Inst-inpaint: Instructing to remove objects with diffusion models | |
| CN107113373A (zh) | 通过基于深度计算摄影的曝光计算 | |
| CN113038272B (zh) | 婴儿视频自动剪辑的方法、装置、设备及存储介质 | |
| CN109978074A (zh) | 基于深度多任务学习的图像美感和情感联合分类方法及*** | |
| Appe et al. | CAM-YOLO: tomato detection and classification based on improved YOLOv5 using combining attention mechanism | |
| Picard | Toward a visual thesaurus | |
| CN113902901A (zh) | 一种基于轻量化检测的物体分离方法与*** | |
| CN116524195A (zh) | 语义分割方法、装置、电子设备及存储介质 | |
| CN113673546B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN101388067B (zh) | 一种互动娱乐商标广告的植入方法 | |
| Kapoor et al. | Aeriform in-action: A novel dataset for human action recognition in aerial videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |