CN112508016B - 一种图像处理方法、装置、计算机设备及存储介质 - Google Patents
一种图像处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112508016B CN112508016B CN202011476667.0A CN202011476667A CN112508016B CN 112508016 B CN112508016 B CN 112508016B CN 202011476667 A CN202011476667 A CN 202011476667A CN 112508016 B CN112508016 B CN 112508016B
- Authority
- CN
- China
- Prior art keywords
- frame
- image processing
- scaling
- width
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质,所述方法包括:获取视频当前图像的上一张图像的图像处理结果;根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域;将所述目标区域输入至所述图像处理模型中,并由所述图像处理模型输出所述当前图像的图像处理结果。本发明实施例通过根据上一张图像的图像处理结果以及图像处理模型的输入要求计算得到当前图像的目标区域,并由所述图像处理模型对所述目标区域进行图像处理,从而提高对视频图像的图像处理精确度。
Description
技术领域
本发明涉及计算机软件技术领域,特别涉及一种图像处理方法、装置、计算机设备及存储介质。
背景技术
在视频图像处理中,一般在图像中将相同物件的像数标示成同一个类别,不同物件的像数标示呈不同的类别,例如将图像中的人的像数标示成1,车的像数标示成2,球的像数标示成3等。
但是,相关技术中的视频图像处理方法还存在一些缺陷,例如,当需要对一张图像实时处理时,若是采用的算法较为复杂,那么便会导致时间复杂度较高,处理图像的速度较慢;若是为了提高速度而采用较为简单的算法时,则无法保证对图像处理时的精确度。
发明内容
本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质,旨在提高对视频图像的图像处理的精确度。
第一方面,本发明实施例提供了一种图像处理方法,包括:
获取视频当前图像的上一张图像的图像处理结果;
根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域;
将所述目标区域输入至所述图像处理模型中,并由所述图像处理模型输出所述当前图像的图像处理结果。
第二方面,本发明实施例提供了一种图像处理装置,包括:
第一获取单元,用于获取视频当前图像的上一张图像的图像处理结果;
第一计算单元,用于根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域;
第一输出单元,用于将所述目标区域输入至所述图像处理模型中,并由所述图像处理模型输出所述当前图像的图像处理结果。
第三方面,本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的图像处理方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法。
本发明实施例提供了一种图像处理方法、装置、计算机设备及存储介质,所述方法包括:获取视频当前图像的上一张图像的图像处理结果,其中,所述图像处理结果经由预设的图像处理模型输出得到;根据所述上一张图像的图像处理结果以及所述图像处理模型的输入条件计算得到所述当前图像的目标区域;将所述目标区域输入至所述图像处理模型中,并由所述图像处理模型输出所述当前图像的图像处理结果。本发明实施例通过根据上一张图像的图像处理结果以及图像处理模型的输入要求计算得到当前图像的目标区域,并由所述图像处理模型对所述目标区域进行图像处理,从而提高对视频图像的图像处理精确度。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像处理方法的流程示意图;
图2为本发明实施例提供的一种图像处理方法中步骤S102的子流程示意图;
图3为本发明实施例提供的一种图像处理方法中步骤S203的子流程示意图;
图4为本发明实施例提供的一种图像处理方法中步骤S204的子流程示意图;
图5为本发明实施例提供的一种图像处理方法中步骤S401的子流程示意图;
图6为本发明实施例提供的一种图像处理方法中步骤S502的子流程示意图;
图7为本发明实施例提供的一种图像处理方法中的另一子流程示意图;
图8为本发明实施例提供的一种图像处理装置的示意性框图;
图9为本发明实施例提供的一种图像处理装置中第一计算单元802的子示意性框图;
图10为本发明实施例提供的一种图像处理装置中第二计算单元903的子示意性框图;
图11为本发明实施例提供的一种图像处理装置中第一缩放单元904的子示意性框图;
图12为本发明实施例提供的一种图像处理装置中第二缩放单元1101的子示意性框图;
图13为本发明实施例提供的一种图像处理装置中第三缩放单元1202的子示意性框图;
图14为本发明实施例提供的一种图像处理装置的另一子示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
下面请参见图1,图1为本发明实施例提供的一种图像处理方法的流程示意图,具体包括:步骤S101~S103。
S101、获取视频当前图像的上一张图像的图像处理结果;
S102、根据上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到当前图像的目标区域;
S103、将目标区域输入至图像处理模型中,并由图像处理模型输出当前图像的图像处理结果。
本实施例中,在对视频中的视频图像进行图像处理操作时,可以通过上一张图像的图像处理结果(经由预设的图像处理模型输出)以及图像处理模型的输入要求得到当前图像的ROI(region of interest,即目标区域),进而利用图像处理模型输出该目标区域的图像处理结果。这里所说的图像处理模型可以为本领域常用的图像处理模型,例如一些适用于图像处理的深度学习网络模型等。
本实施例利用前后两张图像中的物件的位置差异小的特性,通过参考上一张图像的图像处理结果和图像处理模型的输入大小,计算得到当前图像的ROI, 将此ROI作为图像处理模型的输入,以增加物件在后续图像中的大小比例,如此可以减少因对当前图像缩放而造成的图像比例,从而达到提高图像处理精确度和减少算法的运算(即减少时间复杂度)的目的。本实施例中的ROI依据上一张图像的图像处理结果和图像处理模型输入要求自动生成,无需人工进行初始设定,当视频中的物件移动时,图像处理结果的位置也会相应移动,根据该图像处理结果生成的ROI同样会发生相应的移动,进而提高对于视频图像的图像处理精度。
还需说明的是,本实施例提供的图像处理方法特别适用于存在前后关联的视频图像中,譬如直播视频中的串流画面等。
在一实施例中,如图2所示,步骤S102包括:步骤S201~S204。
S201、生成包含上一张图像的图像处理结果的最小外接框;
S202、获取图像处理模型的预设的输入长度和预设的输入宽度,以及最小外接框的外接框长度和外接框宽度;
S203、根据输入长度和输入宽度以及最小外接框的外接框长度和外接框宽度计算得到基于最小外接框的外接框长度或者基于最小外接框的外接框宽度的候选框;
S204、根据预设的缩放系数对候选框进行缩放,得到目标框,并将目标框作为当前图像的第一目标区域。
本实施例中,对上一张图像的图像处理结果生成一个能够包含该图像处理结果的最小外接框(例如最小矩形外接框等),并获取该最小外接框的外接框长度和外接框宽度,以及图像处理模型预先设置的输入长度和输入宽度,可以理解的是,这里所说的是长度和宽度可以是图像的像素,例如图像处理模型预设的输入长度和输入宽度为512×512或480×320等等,具体大小可根据实际应用场景对应设置。
然后根据图像处理模型的输入长度和输入宽度,以及最小外接框的外接框长度和外接框宽度,可以通过计算得到一个长度和宽度之间的比例符合图像处理模型的输入长度和输入宽度之间的比例的候选框,再对该候选框进行一定程度的缩放,即可得到当前图像输入至图像处理模型的部分,即第一目标区域,也就是目标框。
在一实施例中,如图3所示,步骤S203包括:步骤S301~S305。
S301、将最小外接框的外接框长度作为候选框的第一长度,使第一宽度与所述最小外接框的外接框长度的比例与图像处理模型的输入宽度与输入长度相等,从而计算得到候选框的第一宽度;
S302、根据候选框的第一长度和第一宽度计算候选框的第一面积;
S303、将最小外接框的外接框宽度作为候选框的第二宽度,使第二长度与最小外接框的外接框宽度的比例与图像处理模型的输入长度与输入宽度相等,从而计算得到候选框的第二长度;
S304、根据候选框的第二长度和第二宽度计算候选框的第二面积;
S305、对第一面积和第二面积进行比较,并选择面积大的长度和宽度作为候选框的候选长度和候选宽度。
本实施例中,由于根据上一张图像的图像处理结果生成的最小外接框的长宽比例可能与图像处理模型预先设定的长宽比例并不相同,而为了能够使当前图像的输入部分能够与图像处理模型向适配,因此需要结合最小外接框的长度和宽度以及图像处理模型的输入长度和输入宽度,计算得到候选框的候选长度和候选宽度。
在以最小外接框的外接框长度为基准时,即使候选框的长度(即第一长度)与最小外接框的外接框长度相等。当候选框的长宽比例与图像处理模型的长宽比例相同时,有w1:H=w:h,其中,w1即为候选框的宽度(即第一宽度),H为最小外接框的外接框长度,即第一长度,w为图像处理模型的输入宽度,h为图像处理模型的输入长度,那么,可以得到候选框的第一宽度w1=H*w/h。
在以最小外接框的外接框宽度为基准时,即使候选框的宽度(即第二宽度)与最小外接框的外接框宽度相等。当候选框的长宽比例与图像处理模型的长宽比例相同时,有h2:W=h:w,其中,h2即为候选框的长度(第二长度),W为最小外接框的外接框宽度,即第二宽度,h为图像处理模型的输入长度,w为图像处理模型的输入宽度,那么,可以得到候选宽的第二长度h2=W*h/w。
分别以候选框的第一长度和第一宽度计算候选框的第一面积,以及以候选框的第二长度和第二宽度计算候选框的第二面积。然后比较第一面积和第二面积,并选择二者中更大的面积对应的长度和宽度作为候选框的候选长度和候选宽度,确保候选框能够包含最小外接框。
在一实施例中,如图4所示,步骤S204包括:步骤S401。
S401、基于预设的第一约束条件和第二约束条件,根据预设的缩放系数对候选框进行缩放,其中,第一约束条件为:缩放得到的目标框的长度和宽度的比例符合图像处理模型的输入要求,第二约束条件为:目标框至少包含最小外接框。
本实施例中,在对候选框进行缩放时,需要按照预先设置的缩放约束进行缩放,即按照第一约束条件和第二约束条件对候选框进行缩放,使缩放后的候选框一方面可以满足图像处理模型的输入要求(例如缩放后的候选框的长宽比例与图像处理模型的输入长度和输入宽度之间的比例相同等),另一方面还需满足缩放后的候选框能够至少包含最小外接框,从而保证最终的图像处理精度。
在一实施例中,如图5所示,步骤S401包括:步骤S501~S502。
S501、根据预设的缩放系数对候选框进行第一次缩放,并判断第一次缩放结果是否满足第一约束条件和第二约束条件;
S502、若缩放结果未满足第一约束条件和第二约束条件,则根据预设的缩放系数对候选框进行第二缩放,并继续判断第二次缩放结果是否满足第一约束条件和第二约束条件,直至对候选框进行缩放后的缩放结果满足第一约束条件和第二约束条件,并将满足第一约束条件和第二约束条件的缩放结果作为目标框。
本实施例中,在对候选框进行缩放时,为了避免一次缩放后得到的目标框太大,因此可以选择对候选框进行多次缩放,并在每一缩放后判断是否满足第一约束条件和第二约束条件。如果满足第一约束条件和第二约束条件,则可以停止缩放,并将此时的缩放结果作为目标框;如果不满足第一约束条件或者第二约束条件,则需要继续对候选框进行缩放。本实施例中,在每一次对候选框进行缩放时,均按照预设的缩放系数进行缩放,例如,预设的缩放系数为1.05,那么在一次缩放后,候选框的候选长度和候选长度均变为缩放前的1.05倍,如果候选框在经过一次1.05倍的缩放后仍不满足第一约束条件和第二约束条件,那么继续按照1.05倍对候选框进行缩放。
在一实施例中,如图6所示,步骤S502包括:步骤S601~S604。
S601、判断目标框的范围是否超出当前图像的整体范围;
S602、若目标框的范围超出当前图像的整体范围,则对目标框的位置进行相应调整;
S603、判断目标框在进行相应调整后是否超出当前图像的整体范围;
S604、若目标框在进行相应调整后超出当前图像的整体范围,则对目标框的超出范围进行补0操作。
本实施例中,在对候选框缩放完成后,得到目标框,此时,目标框的长宽比例与图像处理模型的长宽比例相同,且目标框至少包含最小外接框。但是,此时的目标框是经过一次或者多次缩放后得到,因此该目标框在缩放后的范围有可能会超出当前图像的整体范围,显然,这种情况下需要对目标框进行调整。同时,由于目标框需要至少包含最小外接框,也就是说,如果减少目标框的面积可能会导致目标框不满足第二约束条件,所以本实施选择通过调整目标框的位置以使目标框的范围处于当前图像的整体范围内。例如,假设目标框的下边框超出当前图像,那么将目标框向上移动,以使目标框的整体均处于当前图像内。
当然,在对目标框进行调整的过程中,还会存在一种情况,即无论对目标框进行何种方式的调整,调整后的范围仍会超出当前图像的整体范围。本实施例通过对目标框的超出范围进行补0操作(也可以进行补255操作)以消除上述情况,
在一实施例中,如图7所示,图像处理方法还包括:步骤S701。
S701、当当前图像为视频中的第一张图像时,则将当前图像的尺寸调整至图像处理模型的预设的输入长度和预设的输入宽度,并输入至图像处理模型中,输出图像处理结果。
本实施例中,当当前图像为视频图像中的第一图像时,也就是说,无法获取到上一张图像的图像处理结果时,那么可以首先将当前图像的尺寸调整至符合图像处理模型的输入要求,例如将640×480的当前图像输入至512×512的图像处理模型中时,首先需要将该640×480当前图像缩放至512×512的分辨率。利用图像处理模型输出当前图像的图像处理结果,然后再对该图像处理结果进行最小外接框生成、候选框生成、缩放等系列操作。
图8为本发明实施例提供的一种图像处理装置800的示意性框图,该装置800包括:
第一获取单元801,用于获取视频当前图像的上一张图像的图像处理结果;
第一计算单元802,用于根据上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到当前图像的目标区域;
第一输出单元803,用于将目标区域输入至图像处理模型中,并由图像处理模型输出当前图像的图像处理结果。
在一实施例中,如图9所示,第一计算单元802包括:
生成单元901,用于生成包含上一张图像的图像处理结果的最小外接框;
第二获取单元902,用于获取图像处理模型的预设的输入长度和预设的输入宽度,以及最小外接框的外接框长度和外接框宽度;
第二计算单元903,用于根据输入长度和输入宽度以及最小外接框的外接框长度和外接框宽度计算得到基于最小外接框的外接框长度或者基于最小外接框的外接框宽度的候选框;
第一缩放单元904,用于根据预设的缩放系数对候选框进行缩放,得到目标框,并将目标框作为当前图像的第一目标区域。
在一实施例中,如图10所示,第二计算单元903包括:
宽度计算单元1001,用于将最小外接框的外接框长度作为候选框的第一长度,使第一宽度与最小外接框的外接框长度的比例与图像处理模型的输入宽度与输入长度相等,从而计算得到候选框的第一宽度;
第一面积计算单元1002,用于根据候选框的第一长度和第一宽度计算候选框的第一面积;
长度计算单元1003,用于将最小外接框的外接框宽度作为候选框的第二宽度,使第二长度与最小外接框的外接框宽度的比例与图像处理模型的输入长度与输入宽度相等,从而计算得到候选框的第二长度;
第二面积计算单元1004,用于根据候选框的第二长度和第二宽度计算候选框的第二面积;
比较单元1005,用于对第一面积和第二面积进行比较,并选择面积大的长度和宽度作为候选框的候选长度和候选宽度。
在一实施例中,如图11所示,第一缩放单元904包括:
第二缩放单元1101,用于基于预设的第一约束条件和第二约束条件,根据预设的缩放系数对候选框进行缩放,其中,第一约束条件为:缩放得到的目标框的长度和宽度的比例符合图像处理模型的输入要求,第二约束条件为:目标框至少包含最小外接框。
在一实施例中,如图12所示,第二缩放单元1101包括:
约束判断单元1201,用于根据预设的缩放系数对候选框进行第一次缩放,并判断第一次缩放结果是否满足第一约束条件和第二约束条件;
第三缩放单元1202,用于若缩放结果未满足第一约束条件和第二约束条件,则根据预设的缩放系数对候选框进行第二缩放,并继续判断第二次缩放结果是否满足第一约束条件和第二约束条件,直至对候选框进行缩放后的缩放结果满足第一约束条件和第二约束条件,并将满足第一约束条件和第二约束条件的缩放结果作为目标框。
在一实施例中,如图13所示,第三缩放单元1202包括:
范围判断单元1301,用于判断目标框的范围是否超出当前图像的整体范围;
调整单元1302,用于若目标框的范围超出当前图像的整体范围,则对目标框的位置进行相应调整;
调整判断单元1303,用于判断目标框在进行相应调整后是否超出当前图像的整体范围;
补0单元1304,用于若目标框在进行相应调整后超出当前图像的整体范围,则对目标框的超出范围进行补0操作。
在一实施例中,如图14所示,图像处理装置800还包括:
调整及输入单元1401,用于当当前图像为视频中的第一张图像时,则将当前图像的尺寸调整至图像处理模型的预设的输入长度和预设的输入宽度,并输入至图像处理模型中,输出图像处理结果。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory ,ROM)、随机存取存储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备,可以包括存储器和处理器,存储器中存有计算机程序,处理器调用存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (6)
1.一种图像处理方法,其特征在于,包括:
获取视频当前图像的上一张图像的图像处理结果;
根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域;
将所述目标区域输入至所述图像处理模型中,并由所述图像处理模型输出所述当前图像的图像处理结果;
所述根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域,包括:
生成包含所述上一张图像的图像处理结果的最小外接框;
获取所述图像处理模型的预设的输入长度和预设的输入宽度,以及所述最小外接框的外接框长度和外接框宽度;
根据所述输入长度和输入宽度以及所述最小外接框的外接框长度和外接框宽度计算得到基于所述最小外接框的外接框长度或者基于所述最小外接框的外接框宽度的候选框;
根据预设的缩放系数对所述候选框进行缩放,得到目标框,并将所述目标框作为所述当前图像的第一目标区域;
所述根据所述输入长度和输入宽度以及所述最小外接框的外接框长度和外接框宽度计算得到基于所述最小外接框的外接框长度或者基于所述最小外接框的外接框宽度的候选框,包括:
将所述最小外接框的外接框长度作为所述候选框的第一长度,使第一宽度与所述最小外接框的外接框长度的比例与所述图像处理模型的输入宽度与输入长度相等,从而计算得到所述候选框的第一宽度;
根据所述候选框的第一长度和第一宽度计算所述候选框的第一面积;
将所述最小外接框的外接框宽度作为所述候选框的第二宽度,使第二长度与所述最小外接框的外接框宽度的比例与所述图像处理模型的输入长度与输入宽度相等,从而计算得到所述候选框的第二长度;
根据所述候选框的第二长度和第二宽度计算所述候选框的第二面积;
对所述第一面积和第二面积进行比较,并选择面积大的长度和宽度作为所述候选框的候选长度和候选宽度;
所述根据预设的缩放系数对所述候选框进行缩放,得到目标框,然后将所述目标框作为所述当前图像的第一目标区域,包括:
基于预设的第一约束条件和第二约束条件,根据预设的缩放系数对所述候选框进行缩放,其中,所述第一约束条件为:缩放得到的目标框的长度和宽度的比例符合所述图像处理模型的输入要求,所述第二约束条件为:所述目标框至少包含所述最小外接框;
所述基于预设的第一约束条件和第二约束条件,根据预设的缩放系数对所述候选框进行缩放,包括:
根据预设的缩放系数对所述候选框进行第一次缩放,并判断第一次缩放结果是否满足所述第一约束条件和第二约束条件;
若所述缩放结果未满足所述第一约束条件和第二约束条件,则根据所述预设的缩放系数对所述候选框进行第二缩放,并继续判断第二次缩放结果是否满足所述第一约束条件和第二约束条件,直至对所述候选框进行缩放后的缩放结果满足所述第一约束条件和第二约束条件,并将满足所述第一约束条件和第二约束条件的缩放结果作为所述目标框。
2.根据权利要求1所述的图像处理方法,其特征在于,所述若所述缩放结果未满足所述第一约束条件和第二约束条件,则根据所述预设的缩放系数对所述候选框进行第二缩放,并继续判断第二次缩放结果是否满足所述第一约束条件和第二约束条件,直至对所述候选框进行缩放后的缩放结果满足所述第一约束条件和第二约束条件,并将满足所述第一约束条件和第二约束条件的缩放结果作为所述目标框之后,包括:
判断所述目标框的范围是否超出所述当前图像的整体范围;
若所述目标框的范围超出所述当前图像的整体范围,则对所述目标框的位置进行相应调整;
判断所述目标框在进行相应调整后是否超出所述当前图像的整体范围;
若所述目标框在进行相应调整后超出所述当前图像的整体范围,则对所述目标框的超出范围进行补0操作。
3.根据权利要求1所述的图像处理方法,其特征在于,还包括:
当所述当前图像为所述视频中的第一张图像时,则将所述当前图像的尺寸调整至所述图像处理模型的预设的输入长度和预设的输入宽度,并输入至所述图像处理模型中,输出图像处理结果。
4.一种图像处理装置,其特征在于,包括:
第一获取单元,用于获取视频当前图像的上一张图像的图像处理结果;
第一计算单元,用于根据所述上一张图像的图像处理结果以及预设的图像处理模型的输入条件计算得到所述当前图像的目标区域;
第一输出单元,用于将所述目标区域输入至所述图像处理模型中,并由所述图像处理模型输出所述当前图像的图像处理结果;
第一计算单元包括:
生成单元,用于生成包含上一张图像的图像处理结果的最小外接框;
第二获取单元,用于获取图像处理模型的预设的输入长度和预设的输入宽度,以及最小外接框的外接框长度和外接框宽度;
第二计算单元,用于根据输入长度和输入宽度以及最小外接框的外接框长度和外接框宽度计算得到基于最小外接框的外接框长度或者基于最小外接框的外接框宽度的候选框;
第一缩放单元,用于根据预设的缩放系数对候选框进行缩放,得到目标框,并将目标框作为当前图像的第一目标区域;
所述第二计算单元包括:
宽度计算单元,用于将最小外接框的外接框长度作为候选框的第一长度,使第一宽度与最小外接框的外接框长度的比例与图像处理模型的输入宽度与输入长度相等,从而计算得到候选框的第一宽度;
第一面积计算单元,用于根据候选框的第一长度和第一宽度计算候选框的第一面积;
长度计算单元,用于将最小外接框的外接框宽度作为候选框的第二宽度,使第二长度与最小外接框的外接框宽度的比例与图像处理模型的输入长度与输入宽度相等,从而计算得到候选框的第二长度;
第二面积计算单元,用于根据候选框的第二长度和第二宽度计算候选框的第二面积;
比较单元,用于对第一面积和第二面积进行比较,并选择面积大的长度和宽度作为候选框的候选长度和候选宽度;
所述第一缩放单元包括:
第二缩放单元,用于基于预设的第一约束条件和第二约束条件,根据预设的缩放系数对候选框进行缩放,其中,第一约束条件为:缩放得到的目标框的长度和宽度的比例符合图像处理模型的输入要求,第二约束条件为:目标框至少包含最小外接框;
所述第二缩放单元包括:
约束判断单元,用于根据预设的缩放系数对候选框进行第一次缩放,并判断第一次缩放结果是否满足第一约束条件和第二约束条件;
第三缩放单元,用于若缩放结果未满足第一约束条件和第二约束条件,则根据预设的缩放系数对候选框进行第二缩放,并继续判断第二次缩放结果是否满足第一约束条件和第二约束条件,直至对候选框进行缩放后的缩放结果满足第一约束条件和第二约束条件,并将满足第一约束条件和第二约束条件的缩放结果作为目标框。
5.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的图像处理方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011476667.0A CN112508016B (zh) | 2020-12-15 | 2020-12-15 | 一种图像处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011476667.0A CN112508016B (zh) | 2020-12-15 | 2020-12-15 | 一种图像处理方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112508016A CN112508016A (zh) | 2021-03-16 |
CN112508016B true CN112508016B (zh) | 2024-04-16 |
Family
ID=74973563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011476667.0A Active CN112508016B (zh) | 2020-12-15 | 2020-12-15 | 一种图像处理方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112508016B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103426185A (zh) * | 2013-08-09 | 2013-12-04 | 北京博思廷科技有限公司 | 一种在ptz跟踪过程中调整目标尺度的方法及装置 |
CN104008405A (zh) * | 2013-02-26 | 2014-08-27 | 佳能株式会社 | 手写字符识别方法和装置 |
CN104517125A (zh) * | 2014-12-26 | 2015-04-15 | 湖南天冠电子信息技术有限公司 | 高速物体的图像实时跟踪方法与*** |
CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
CN109697397A (zh) * | 2017-10-24 | 2019-04-30 | 高德软件有限公司 | 一种目标检测方法及装置 |
WO2019169772A1 (zh) * | 2018-03-06 | 2019-09-12 | 平安科技(深圳)有限公司 | 图片处理方法、电子装置及存储介质 |
CN110458095A (zh) * | 2019-08-09 | 2019-11-15 | 厦门瑞为信息技术有限公司 | 一种有效手势的识别方法、控制方法、装置和电子设备 |
CN110991272A (zh) * | 2019-11-18 | 2020-04-10 | 东北大学 | 一种基于视频跟踪的多目标车辆轨迹识别方法 |
CN111476756A (zh) * | 2020-03-09 | 2020-07-31 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
CN111507204A (zh) * | 2020-03-27 | 2020-08-07 | 北京百度网讯科技有限公司 | 倒计时信号灯的检测方法、装置、电子设备及存储介质 |
CN111754541A (zh) * | 2020-07-29 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、设备及可读存储介质 |
-
2020
- 2020-12-15 CN CN202011476667.0A patent/CN112508016B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104008405A (zh) * | 2013-02-26 | 2014-08-27 | 佳能株式会社 | 手写字符识别方法和装置 |
CN103426185A (zh) * | 2013-08-09 | 2013-12-04 | 北京博思廷科技有限公司 | 一种在ptz跟踪过程中调整目标尺度的方法及装置 |
CN104517125A (zh) * | 2014-12-26 | 2015-04-15 | 湖南天冠电子信息技术有限公司 | 高速物体的图像实时跟踪方法与*** |
CN109697397A (zh) * | 2017-10-24 | 2019-04-30 | 高德软件有限公司 | 一种目标检测方法及装置 |
CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
WO2019169772A1 (zh) * | 2018-03-06 | 2019-09-12 | 平安科技(深圳)有限公司 | 图片处理方法、电子装置及存储介质 |
CN110458095A (zh) * | 2019-08-09 | 2019-11-15 | 厦门瑞为信息技术有限公司 | 一种有效手势的识别方法、控制方法、装置和电子设备 |
CN110991272A (zh) * | 2019-11-18 | 2020-04-10 | 东北大学 | 一种基于视频跟踪的多目标车辆轨迹识别方法 |
CN111476756A (zh) * | 2020-03-09 | 2020-07-31 | 重庆大学 | 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法 |
CN111507204A (zh) * | 2020-03-27 | 2020-08-07 | 北京百度网讯科技有限公司 | 倒计时信号灯的检测方法、装置、电子设备及存储介质 |
CN111754541A (zh) * | 2020-07-29 | 2020-10-09 | 腾讯科技(深圳)有限公司 | 目标跟踪方法、装置、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112508016A (zh) | 2021-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
CN106127688B (zh) | 一种超分辨率图像重建方法及其*** | |
EP2383701B1 (en) | Image processing method and apparatus | |
CN110120059B (zh) | 一种图标生成方法及装置 | |
CN103312963A (zh) | 图像处理设备和图像处理方法 | |
CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
CN111612004A (zh) | 一种基于语义内容的图像裁剪方法及装置 | |
CN109492697B (zh) | 图片检测网络训练方法及图片检测网络训练装置 | |
CN107402757B (zh) | 页面渲染方法及装置 | |
CN117237606A (zh) | 兴趣点图像生成方法、装置、电子设备及存储介质 | |
CN112508016B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
CN109978858B (zh) | 一种基于前景检测的双框架缩略图像质量评价方法 | |
US20100100813A1 (en) | Document processing apparatus and document processing method | |
CN111311720A (zh) | 一种纹理图像的处理方法和装置 | |
JP4460368B2 (ja) | 画像補正装置および方法,ならびに画像補正プログラム | |
CN111241891B (zh) | 一种人脸图像切图方法、装置及计算机可读存储介质 | |
CN110415168B (zh) | 人脸局部缩放处理方法、存储介质、电子设备及*** | |
CN103618904B (zh) | 基于像素的运动估计方法及装置 | |
CN114979721A (zh) | 视频切片方法、装置、设备及存储介质 | |
US20230316463A1 (en) | Filter for temporal noise reduction | |
CN114219877A (zh) | 人像头发流动特效处理方法、装置、介质和电子设备 | |
JP2010097355A (ja) | 画像分離装置、画像分離方法および画像分離プログラム | |
CN113112523A (zh) | 基于无锚点孪生网络的目标跟踪方法及装置 | |
CN105096247B (zh) | 图像插值方法和装置 | |
CN117830304B (zh) | 一种水雾船舶检测方法、***及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |