CN111292354A - 误检测抑制方法及电子设备 - Google Patents

误检测抑制方法及电子设备 Download PDF

Info

Publication number
CN111292354A
CN111292354A CN202010075685.1A CN202010075685A CN111292354A CN 111292354 A CN111292354 A CN 111292354A CN 202010075685 A CN202010075685 A CN 202010075685A CN 111292354 A CN111292354 A CN 111292354A
Authority
CN
China
Prior art keywords
mvi
target
image
mvot
mvdd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010075685.1A
Other languages
English (en)
Other versions
CN111292354B (zh
Inventor
杨硕
王嗣舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010075685.1A priority Critical patent/CN111292354B/zh
Publication of CN111292354A publication Critical patent/CN111292354A/zh
Application granted granted Critical
Publication of CN111292354B publication Critical patent/CN111292354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)

Abstract

本发明实施例提供一种误检测抑制方法及电子设备,涉及通信技术领域,以解决在多帧图像合成的场景中,由于将高光区域轻微摆动的树叶误检测为运动区域,导致合成的图像效果较差的问题。该方法包括:获取源图像和目标图像对应的M个运动矢量图MVI,源图像为电子设备采集的K帧连续的图像中一帧图像,目标图像为该K帧连续的图像中除源图像之外的任意一帧图像;基于目标MVI的运动矢量溢出数MVOT和运动矢量分布密度MVDD,确定目标MVI对应的图像区域是否为误检测区域;其中,目标MVI为该M个MVI中的任意一个MVI,M和K均为正整数,K大于1。

Description

误检测抑制方法及电子设备
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种误检测抑制方法及电子设备。
背景技术
随着拍摄的广泛应用,越来越多的专业功能集成到了电子设备中,例如高动态范围成像(high-dynamic range,HDR)、多帧降噪、多分辨率成像。
目前,上述的专业功能主要是采集多帧图像进行合成。在多帧图像的合成过程中,由于多帧图像中存在运动物体,合成时需要进行运动物体估计、运动补偿处理。当拍摄场景中存在较多的树叶时,由于树叶轻微摆动,会将轻微摆动的树叶误检测为运动区域,目前若对高光区域的树叶进行运动补偿,会产生“烧焦”或者“发糊”的现象,即会产生大片的模糊,从而导致最终合成的图像的效果较差。
发明内容
本发明实施例提供一种误检测抑制方法及电子设备,能够解决在多帧图像合成的场景中,由于将高光区域轻微摆动的树叶误检测为运动区域,导致合成的图像效果较差的问题。
为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供一种误检测抑制方法,该方法包括:获取源图像和目标图像对应的M个运动矢量图(motion vector image,MVI),源图像为电子设备采集的K帧连续的图像中的一帧图像,目标图像为该K帧连续的图像中除源图像之外的任意一帧图像;基于目标MVI的运动矢量溢出数(motion vector over threshold,MVOT)和运动矢量分布密度(motion vector distribution density,MVDD),确定目标MVI对应的图像区域是否为误检测区域;其中,目标MVI为该M个MVI中的任意一个MVI,M和K均为正整数,K大于1。
第二方面,本发明实施例还提供了一种电子设备,该电子设备包括:获取模块和确定模块;获取模块,获取源图像和目标图像对应的M个MVI,源图像为电子设备采集的K帧连续的图像中的一帧图像,目标图像为该K帧连续的图像中除源图像之外的任意一帧图像;确定模块,用于基于目标MVI的MVOT和MVDD,确定目标MVI对应的图像区域是否为误检测区域;其中,目标MVI为该M个MVI中的任意一个MVI,M和K均为正整数,K大于1。
第三方面,本发明实施例提供了一种电子设备,包括处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序,该计算机程序被该处理器执行时实现如第一方面所述的误检测抑制方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,该计算机程序被处理器执行时实现如第一方面所述的误检测抑制方法的步骤。
在本发明实施例中,电子设备可以获取源图像和目标图像对应的M个MVI,源图像为该K帧连续的图像中的一帧图像,目标图像为该K帧图像中除源图像之外的任意一帧图像,电子设备根据目标MVI的运动矢量溢出数和运动矢量分布密度,确定目标MVI对应的图像区域是否为高光树叶的误检测区域。即,在高动态范围成像、多帧降噪、超分辨率成像等场景下,对采集的多帧图像进行合成的过程中,电子设备可以在对多帧图像进行运动估计之后,根据目标图像靠近源图像对应的运动矢量图,确定运动物体的运动特征和分布密度特征,从而确定运动物体是否为轻微抖动的物体,是否为轻微抖动的树叶、轻微波动的水面,轻微移动的沙子等,若确定是轻微抖动的树叶、轻微波动的水面,轻微移动的沙子,可以将图像中的这些区域确定为误检测的运动区域,从而针对这些误检测的区域可以进行相应的图像处理,例如,若确定运动估计得到的运动物体是轻微抖动的树叶,可以在将高光区域的轻微抖动的树叶不作运动补偿处理,从而可以避免由于将高光树叶误检测为运动物体进行运动补偿,导致的合成图像效果较差的问题,提高了运动检测的准确率,使得图像处理得到更佳的效果。
附图说明
图1为本发明实施例提供的一种可能的操作***的架构示意图;
图2为本发明实施例提供的误检测抑制方法的流程示意图之一;
图3为本发明实施例提供的一种MVI尺寸和阈值的对应关系示意图;
图4为本发明实施例提供的一种像素点偏移方向示意图;
图5为本发明实施例提供的一种运动矢量分布特性图;
图6为本发明实施例提供的误检测抑制方法的流程示意图之二;
图7为本发明实施例提供的电子设备的结构示意图之一;
图8为本发明实施例提供的电子设备的结构示意图之二;
图9为本发明实施例提供的电子设备的结构示意图之三;
图10为本发明实施例提供的一种电子设备的硬件示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本文中的“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。“多个”是指两个或多于两个。
本发明的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一阈值和第二阈值等是用于区别不同的阈值,而不是用于描述阈值的特定顺序。
需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明实施例中的电子设备可以为具有操作***的电子设备。该操作***可以为安卓(Android)操作***,可以为ios操作***,还可以为其他可能的操作***,本发明实施例不作具体限定。
下面以图1所示的操作***为例,介绍一下本发明实施例提供的误检测抑制方法所应用的软件环境。
如图1所示,为本发明实施例提供的一种可能的操作***的架构示意图。在图1中,操作***的架构包括4层,分别为:应用程序层、应用程序框架层、***运行库层和内核层(具体可以为Linux内核层)。
其中,应用程序层包括操作***中的各个应用程序(包括***应用程序和第三方应用程序)。
应用程序框架层是应用程序的框架,开发人员可以在遵守应用程序的框架的开发原则的情况下,基于应用程序框架层开发一些应用程序。
***运行库层包括库(也称为***库)和操作***运行环境。库主要为操作***提供其所需的各类资源。操作***运行环境用于为操作***提供软件环境。
内核层是操作***的操作***层,属于操作***软件层次的最底层。内核层基于Linux内核为操作***提供核心***服务和与硬件相关的驱动程序。
以图1所示的操作***为例,本发明实施例中,开发人员可以基于上述如图1所示的操作***的***架构,开发实现本发明实施例提供的误检测抑制方法的软件程序,从而使得该误检测抑制方法可以基于如图1所示的操作***运行。即处理器或者电子设备可以通过在操作***中运行该软件程序实现本发明实施例提供的误检测抑制方法。
本发明实施例提供的误检测抑制方法,可以应用于高动态范围成像、多帧降噪、超分辨率成像等场景下,在对采集的多帧图像进行合成的过程中,若将轻微抖动的树叶检测为运动物体,在运动估计之后,若对高光区域的树叶所在的图像区域进行运动补偿,可能导致该多帧图像最终合成的图像中高光树叶所在区域产生“烧焦”、“发糊”的现象,即合成后的图像中会产生大片的模糊。本发明实施例提供的误检测抑制方法,在对多张图像进行运动估计之后,可以根据目标图像靠近源图像对应的运动矢量图,获取运动估计确定的运动物体的运动特征和分布密度特征,从而确定运动物体是否为轻微抖动的树叶、轻微波动的水面,轻微移动的沙子等,若确定是轻微抖动的树叶、轻微波动的水面,轻微移动的沙子,可以将图像中的这些区域确定为误检测的运动区域,从而针对这些误检测的区域可以进行相应的图像处理,例如,若运动物体是轻微抖动的树叶,可以在将高光区域的轻微抖动的树叶不作运动补偿处理,从而可以避免由于将高光树叶误检测为运动物体进行运动补偿,提高了运动检测的准确率,导致的合成图像效果较差的问题。
下面结合图2中对本发明实施例的误检测抑制方法进行说明。图2为本发明实施例提供的一种误检测抑制方法的流程示意图,如图2所示,该误检测抑制方法包括下述的步骤201和步骤202:
步骤201、电子设备获取源图像和目标图像对应的M个MVI。
其中,源图像为电子设备采集的K帧连续的图像中的一帧图像,目标图像为该K帧连续的图像中除源图像之外的任意一帧图像,M和K均为正整数,K大于1。
在本发明实施例中,源图像也可以称为参考图像或参考帧,可以为K帧连续的图像中的任意一张图像。
例如,源图像可以K帧连续的图像中的第一帧图像,也可以为该K帧连续的图像中的最后一帧图像,也可以为第一帧图像和最后一帧图像之间的一帧图像。目标图像为上述K帧连续的图像中除源图像之外的其他任意一帧图像。
在本发明实施例中,电子设备可以先对源图像和目标图像进行运动检测和运动估计,具体可以通过对源图像和目标图像执行下述的操作:图像全局对齐、灰度值双向映射、多帧灰度差分、自适应形态学滤波、运动矢量计算等,从而得到上述的M个MVI。
示例性的,在运动矢量计算的过程中,可以采用稠密光流算法,通过每个像素点的像素值差的绝对值的和(sum of absolute differences,SAD)距离计算源图像和目标图像中的patch块的相似程度,确定是否为运动区域,然后通过最小化SAD距离确定每个像素点的偏移值和偏移方向,从而得到相似的patch块对应的MVI。
在本发明实施例中,MVI可以包括像素点对应的运动方向和像素点的运动幅值。即,MVI中每个像素点对应存储一组运动矢量,该组运动矢量包括该像素点的横向运动矢量Δx,纵向运动矢量Δy。
步骤202、电子设备基于目标MVI的MVOT和MVDD,确定目标MVI对应的图像区域是否为误检测区域。
其中,目标MVI为上述M个MVI中的任意一个MVI。
需要说明的是,运动矢量溢出数和运动矢量分布密度可以表征物体微小运动的关键分布特征,可以指示小幅度抖动的运动的方向、运动的幅度、在各个方向的比例等运动特性。例如可以表征树叶类型、流沙类型、水波类型等的微小运动的关键分布特征,可以指示小幅度抖动的运动的方向、运动的幅度、在各个方向的比例等运动特性。
需要说明的是,相关技术中可以采用混合高斯背景建模法对高光树叶的误检测抑制处理,需要大量的静态像素点数据对图像中的背景建模,并且需要多次迭代,而电子设备在采集图像的过程中,电子设备通常选取3到5帧图像进行图像合成,因此,混合高斯背景建模法无法满足用户对电子设备拍摄图像的快速性和实时性的要求。在本发明实施例中,对高光树叶的误检测抑制处理,可以建立在运动检测的基础上,无需对全局背景进行建模,只对检测到的感兴趣的区域(即MVI)的运动矢量分布特性进行统计和处理,减小了算法的复杂度并且极大地提升了电子设备的运算速度。
本发明实施例提供的误检测抑制方法,电子设备可以获取源图像和目标图像对应的M个MVI,源图像为该K帧连续的图像中的一帧图像,目标图像为该K帧图像中除源图像之外的任意一帧图像,电子设备根据目标MVI的运动矢量溢出数和运动矢量分布密度,确定目标MVI对应的图像区域是否为高光树叶的误检测区域。即,在高动态范围成像、多帧降噪、超分辨率成像等场景下,对采集的多帧图像进行合成的过程中,电子设备可以在对多帧图像进行运动估计之后,根据目标图像靠近源图像对应的运动矢量图,确定运动物体的运动特征和分布密度特征,从而确定运动物体是否为轻微抖动的物体,是否为轻微抖动的树叶、轻微波动的水面,轻微移动的沙子等,若确定是轻微抖动的树叶、轻微波动的水面,轻微移动的沙子,可以将图像中的这些区域确定为误检测的运动区域,从而针对这些误检测的区域可以进行相应的图像处理,例如,若确定运动估计得到的运动物体是轻微抖动的树叶,可以在将高光区域的轻微抖动的树叶不作运动补偿处理,从而可以避免由于将高光树叶误检测为运动物体进行运动补偿,导致的合成图像效果较差的问题,提高了运动检测的准确率,使得图像处理得到更佳的效果。
可选的,本发明实施例提供的一种误检测抑制方法,在上述的步骤202之前,还可以包括下述的步骤203:
步骤203、电子设备计算目标MVI的MVOT和MVDD。
进而,上述的步骤202具体可以通过下述的步骤202a和步骤202b执行:
步骤202a、电子设备比较目标MVI的MVOT与MVOT阈值,并比较目标MVI的MVDD与MVDD阈值。
具体的,电子设备可以比较目标MVI的MVOT与MVOT阈值的大小,比较目标MVI的MVDD与MVDD阈值的大小。
步骤202b、电子设备根据目标MVI的MVOT与MVOT阈值的比较结果,目标MVI的MVDD与MVDD阈值的比较结果,确定目标MVI对应的图像区域是否为误检测区域。
需要说明的是,MVOT阈值以及MVDD的阈值可以根据经验值选取。
可选的,电子设备在确定比较结果之后,可以先确定目标MVI对应的图像区域中的对象为哪一类型的对象例如,树叶、流沙、水面,然后再确定是否为误检测区域。
示例性的,电子设备可以根据目标MVI的MVOT与MVOT阈值的比较结果,目标MVI的MVDD与MVDD阈值的比较结果,确定目标MVI中的运动矢量的是否表征为树叶抖动的微小运动,如果匹配结果表征为树叶抖动的微小运动,且微小运动的树叶位于高光区域,则电子设备可以确定该MVI对应的图像区域为高光树叶的误检测区域。
在本发明实施例中,高光区域可以指图像中曝光量超过阈值的区域。高光树叶可以表示位于图像中的高光区域中的树叶。
需要说明的是,在本发明实施例中,若针对高光树叶的误检测,电子设备可以在确定源图像和目标图像对应的M个MVI之后,确定目标MVI对应的图像区域是否为高光区域,若确定目标MVI对应的图像区域是高光区域,则继续执行步骤202。当然,电子设备也可以在步骤202a之后确定目标MVI是否为高光区域。
基于该方案,电子设备可以先计算目标MVI的MVOT和目标MVI的MVDD,然后电子设备比较目标MVI的MVOT与MVOT阈值,并比较目标MVI的MVDD与MVDD阈值,最后根据目标MVI的MVOT与MVOT阈值的比较结果,目标MVI的MVDD与MVDD阈值的比较结果,确定目标MVI对应的图像区域是否为误检测区域。结合阈值,可以使得电子设备精确地确定目标MVI对应的图像区域是否为误检测区域,可以提高误检测抑制的准确率。
可以理解,在运动估计之后,由于估计的每个运动物体对应的patch块的尺寸不同,对应的MVI的尺寸也不同,相应的,不同的MVI尺寸,对应的MVOT阈值、MVDD阈值的具体值不同。因此在确定目标MVI之后,需要调整MVOT以及MVDD分别对应的阈值的值。可选的,本发明实施例提供的误检测抑制方法,在步骤201之后还可以包括下述的步骤204:
步骤204、电子设备根据目标MVI的尺寸,调整MVOT阈值和MVDD阈值中的至少一项。
需要说明的是,在本发明实施例中,MVOT阈值、MVDD阈值(MDVV阈值、MDVSD阈值)与MVI的尺寸相关。随着MVI尺寸的变化,阈值的取值范围可以包括线性变化的区域和非线性变化的区域。因此,在MVI尺寸对应阈值非线性变化的区域,则可以根据目标MVI的尺寸,调整相应的阈值。
可以理解的是,若目标MVI的尺寸对应MVOT阈值线性变化区间内,则电子设备无需调整MVOT阈值。电子设备可以根据目标MVI的尺寸和MVOT阈值的线性对应关系,选择或者计算目标MVI尺寸对应的MVOT阈值。若目标MVI的尺寸对应MVOT阈值非线性变化区域,则根据目标MVI的尺寸,调整MVOT阈值。
同样的,若目标MVI的尺寸对应MVDD阈值线性变化区间内,则电子设备无需调整MVDD阈值。电子设备可以根据目标MVI的尺寸和MVDD阈值的线性对应关系,选择或计算目标MVI尺寸对应的MVOT阈值。若目标MVI的尺寸对应MVDD阈值非线性变化区域,则根据目标MVI的尺寸,调整MVDD阈值。
基于该方案,电子设备可以根据目标MVI的尺寸,调整对应的MVOT阈值的大小,调整MVDD阈值的大小,可以使得匹配的结果更加准确。
可选的,本发明实施例中,在目标MVI的尺寸大于第一预设尺寸且小于第二预设尺寸的情况下,MVOT阈值随着目标MVI的尺寸的增大而增大。在目标MVI的尺寸小于或等于第一预设尺寸的情况下,MVOT阈值为第一阈值。在目标MVI的尺寸大于或等于第二预设尺寸的情况下,MVOT阈值为第二阈值。
可选的,本发明实施例中,在目标MVI的尺寸大于第三预设尺寸且小于第四预设尺寸的情况下,MVDD阈值随着目标MVI的尺寸的增大而增大。在目标MVI的尺寸小于或等于第三预设尺寸的情况下,MVDD阈值为第三阈值。在目标MVI的尺寸大于或等于第四预设尺寸的情况下,MVDD阈值为第四阈值。
示例性的,图3为本发明实施例提供的MVI尺寸和阈值的对应关系示意图,如图3所示,针对MVOT的阈值与MVI尺寸的对应关系,第一预设尺寸为尺寸1、第二预设尺寸为尺寸3,第一阈值为T_MVOT最小值,第二阈值为T_MVOT最大值。若MVI的尺寸小于或等于尺寸1,则将MVI阈值调整为T_MVOT最小值,若MVI的尺寸大于尺寸3,则将MVI阈值调整为T_MVOT最大值。针对MVDD的阈值与MVI尺寸的对应关系,第一预设尺寸为尺寸2、第二预设尺寸为尺寸4,第一阈值为T_MVDD最小值,第二阈值为T_MVDD最大值。若MVI的尺寸小于或等于尺寸2,则将MVDD阈值调整为T_MVDD最小值,若MVI的尺寸大于尺寸4,则将MVDD阈值调整为T_MVDD最大值。
基于该方案,电子设备中可以存储MVI的尺寸与MVOT阈值的映射关系、MVI与MVDD阈值的映射关系,在执行本发明实施例中的方法时,可以快速的根据映射关系确定各个不同MVI的尺寸对应的阈值,从而可以根据合适的阈值,精确地确定目标MVI对应的图像区域是否为误检测区域。
可以理解,若电子设备调整了MVDD的阈值和MVOT的阈值中的至少一项,则电子设备需要采用调整后的阈值进行比较。进而,上述的步骤202a可以通过步骤202a1至步骤202a3中的其中一项执行:
步骤202a1、在调整MVOT阈值的情况下,电子设备比较目标MVI的MVOT与调整后的MVOT阈值,比较目标MVI的MVDD与MVDD阈值。
步骤202a2、在调整MVDD阈值的情况下,电子设备比较目标MVI的MVOT与MVOT阈值,比较目标MVI的MVDD与调整后的MVDD阈值。
步骤202a3、在调整MVOT阈值以及MVDD阈值的情况下,电子设备比较目标MVI的MVOT与调整后的MVOT阈值,比较目标MVI的MVDD与调整后的MVDD阈值。
基于该方案,电子设备可以在调整了阈值之后,可以根据调整后的阈值进行比较,可以使得确定的结果更精确,从而可以提高电子设备对误检测抑制的准确性。
可选的,本发明实施例提供的误检测抑制方法,在上述的步骤203中,计算目标MVI的MVOT可以通过下述的步骤203a和步骤203b执行:
步骤203a、电子设备根据第一目标预设公式,计算目标MVI对应的每个像素点的运动矢量偏移量(motion vector offset,MVO)。
其中,第一目标预设公式为第一预设公式、第二预设公式和第三预设公式中的任一项。第一预设公式为下述的公式(1)、第二预设公式为下述的公式(2)、第三预设公式为下述的公式(3)。
Figure BDA0002378438680000061
MVOij=|Δxij|+|Δyij| 公式(2)
MVOij=MAX(|Δxij|,|Δyij|) 公式(3)
其中,MVOij表示MVI中第i列第j行处像素点的MVO值,Δxij表示第i列第j行处像素点的横向运动矢量,Δyij表示第i列第j行处像素点的纵向运动矢量。
需要说明的是,上述的公式(1)到公式(2)到公式(3),精度逐渐降低,运算速度逐渐升高,可以根据精度要求和电子设备支持的性能中的至少一项从上述公式(1)、公式(2)和公式(3)中选择一个公式计算MVO。
步骤203b、电子设备根据目标MVI对应的每个像素点的MVO和MVO阈值,确定目标MVI的MVOT。
具体的,电子设备可以在获取到目标MVI之后,统计目标MVI中MVO小于MVO阈值的像素点的数量。
图5为本发明实施例提供的一种运动矢量分布特性图。如图5所示,圆的半径为MVO阈值,每个圆点代表一组运动矢量,如图5中的(a)所示,圆点基本分布在圆圈以内,四个方向上(即四个象限)的分布密度较为类似,即运动矢量的分布比较均匀,运动矢量的幅度较小,可以表征小幅度且无规律无主方向的分布特性,例如可以表征树叶的无规律的抖动。如图5中的(b)所示,圆点基本分布在第1象限,即在某个方向的分布密度较为集中,大部分圆点分布在圆圈以外,运动矢量的幅度较大,即可以表征大幅度且运动方向存在主方向的分布特性。
基于该方案,电子设备可以从公式(1)、公式(2)、公式(3)中选择一个公式计算MVI中的MVO,然后根据MVI中的每个像素点对应的MVO和MVO阈值确定目标MVI的MVOT,从而可以确定运动物体的偏移特性,可以准确确定目标MVI对应的图像区域中的物体是否为误检测的运动物体。
可选的,运动矢量分布密度可以为:运动矢量分布方差(motion directionvector variance,MDVV),或者运动矢量分布标准差(motion direction vector standarddeviation,MDVSD)。
需要说明的是,若选择MDVV表征运动矢量分布密度,计算复杂度相对于MDVSD较低,可以更快的计算,可以大致表征运动矢量分布密度,即精度较低。若选择MDVSD表征运动矢量分布密度,计算复杂度相对于MDVV较高,计算速度相对于MDVV较慢,可以更精确的表征运动矢量分布密度。可以根据需要选择相应的表征运动矢量分布密度的参数。
进而,本发明实施例提供的误检测抑制方法,在上述的步骤203中计算目标MVI中的目标MVI的MVDD可以通过下述的步骤203c或步骤203d执行:
步骤203c、电子设备根据第四预设公式,计算目标MVI的MDVV。
其中,第四预设公式为下述的公式(4)。
Figure BDA0002378438680000071
其中,N表示N个偏移方向,MD表示向N个偏移方向中向D方向偏移的像素点的数量,Mwidth表示MVI的宽度,Mlength表示MVI的长度,
Figure BDA0002378438680000072
需要说明的是,可以划分N个方向,然后可以统计每个方向上的像素点的数量M1至MN,通过方向的数量、MVI的尺寸(例如,MVI的长度乘以MVI的宽度)在公式(4)的分母计算,可以实现MDVV的归一化。
需要说明的是,在本发明实施例中,可以通过MVI确定各个方向的偏移的像素点的数量,可以根据精度的要求和设备性能,选择方向的数量N的具体值,例如可以选择4方向、8方向、16方向等。
在本发明实施例中,N个偏移方向中的每个偏移方向可以对应一个区域,例如,上述的方向可以对应到坐标系中的象限。
图4为本发明实施例提供的一种像素点偏移方向示意图,其中,图4中的(a)所示的偏移方向示意图,可以表征四个方向的偏移,图4中的(b)所示的偏移方向示意图,可以表征八个方向的偏移,其中,在图4中的(a)中,可以统计MVI中偏移到第1象限中的像素点的数量M1,偏移到第2象限中的像素点的数量M2,偏移到第3象限中的像素点的数量M3,偏移到第4象限中的像素点的数量M4。在图4中的(b)中,可以统计MVI中偏移到第1象限中的像素点的数量M1,偏移到第2象限中的像素点的数量M2,偏移到第3象限中的像素点的数量M3,偏移到第4象限中的像素点的数量M4,偏移到第5象限中的像素点的数量M5,偏移到第6象限中的像素点的数量M6,偏移到第7象限中的像素点的数量M7,偏移到第8象限中的像素点的数量M8
需要说明的是,图4中以坐标系中对应的每个象限的角度值相等为例进行说明,当然采用的坐标系中也可以存在两个不同角度值的象限,本发明实施例对此不作具体限定。
步骤203d、电子设备根据第五预设公式,计算第一MDVSD。
其中,第五预设公式为下述的公式(5):
Figure BDA0002378438680000081
示例性的,在N=4的情况下,结合图4中的(a),则公式(4)具体可以为下述的公式(4-1),公式(5)具体可以为下述的公式(5-1)。
Figure BDA0002378438680000082
Figure BDA0002378438680000083
其中,
Figure BDA0002378438680000084
示例性的,在N=8的情况下,结合图4中的(b),公式(4)具体可以为下述的公式(4-2),公式(5)具体可以为下述的公式(5-2)。
Figure BDA0002378438680000085
Figure BDA0002378438680000086
其中,
Figure BDA0002378438680000091
基于该方案,电子设备可以基于公式(4)确定的MDVV,或基于公式(5)确定的MDVSD作为表征运动矢量分布密度的参数,针对不同的需求可以选择不同的计算方式,针对不同的计算精度可以选择不同数量的偏移方向,使得确定运动矢量分布密度的方式更加灵活。
可选的,本发明实施例提供的误检测抑制方法中,在N=4的情况下,上述的公式(4)还可以为下述的公式(4-3),上述的公式(5)可以为下述的公式(5-3)。
Figure BDA0002378438680000092
Figure BDA0002378438680000093
其中,Mup表示像素点向第一方向偏移的数量、Mdown表示像素点向第二方向偏移的数量、Mleft表示像素点向第三方向偏移的数量、Mright表示像素点向第四方向偏移的数量,
Figure BDA0002378438680000094
在本发明实施例中,可以采用目标坐标系划分偏移方向,目标坐标系中的x轴和y轴相交,x轴和y轴的夹角可以为直角,也可以不为直角。在x轴和y轴的夹角为直角的情况下,目标坐标系可以为直角坐标系。在目标坐标系的x轴为水平方向的坐标轴的情况下,目标坐标系中的y轴可以为垂直方向的坐标轴,也可以为非垂直方向的坐标轴;在y轴为垂直方向的坐标轴的情况下,x轴可以为水平方向的坐标轴,也可以为非水平方向的坐标轴。当然,x轴为非水平方向的坐标轴的情况下,y轴也可以为非垂直方向的坐标轴。
示例性的,若x轴为目标坐标系中水平方向的坐标轴,y轴为目标坐标系中垂直方向的坐标轴,且x轴和y轴垂直的情况下,可以将MVI分为上偏移(即第一方向为朝向x轴的上方)、下偏移(即第二方向为朝向x轴的下方)、左偏移(即第三方向为朝向y轴的左侧)、右偏移(即第四方向为朝向y轴的右侧),结合用图4中的(a),第1象限和第2象限的中像素点属于上偏移,第3象限和第4象限属于下偏移,第2象限和第3象限属于左偏移,第1象限和第4象限属于右偏移,Mup表示像素点向上偏移的数量、Mdown表示像素点向下偏移的数量、Mleft表示像素点向左偏移的数量、Mright表示像素点向右偏移的数量。
具体的,上述的公式(4)可以为下述的公式(4-4)、上述的公式(4)可以为下述的公式(5-4)。
Figure BDA0002378438680000095
Figure BDA0002378438680000096
其中,
Figure BDA0002378438680000097
基于该方案,在N=4的情况下,电子设备还可以根据上述的公式(4-3)或者公式(5-3)确定的MDVSD作为表征运动矢量分布密度的参数,使得电子设备确定动矢量分布密度更加多样。
可选的,本发明实施例提供的误检测抑制方法,上述的步骤202b具体可以通过下述的步骤202b1执行:
步骤202b1、电子设备根据第六预设公式,比较目标MVI的MVOT与MVOT阈值,比较目标MVI的MVDD与MVDD阈值。
其中,第六预设公式为下述的公式(6):
Figure BDA0002378438680000101
其中,T_MVOT表示MVOT阈值,T_MVDD表示MVDD阈值;在Mis=0的情况下,目标MVI对应的图像块为误检测区域;在Mis=1的情况下,目标MVI对应的图像块为运动区域。
示例性的,在Mis=0的情况下,目标MVI对应的图像块为高光树叶误检测区域;在Mis=1的情况下,目标MVI对应的图像块为运动区域。
需要说明的是,若MVOT的阈值为调整后的阈值,则T_MVOT表示调整后的MVOT阈值,若MVOT的阈值为调整后的阈值,则T_MVOT表示调整后的MVOT阈值。
图6为本发明实施例提供的一种误检测抑制方法流程示意图。电子设备将图像输入运动检测模块得到第一处理结果,处理之后将第一处理结果输入运动估计模块,从而得到MVI,将MVI输入到自适应阈值约束模块,调整MVOT阈值和MVDD阈值,将MVI输入到运动矢量计算模块,计算MVOT和MDVV,然后将调整后的MVOT阈值和调整后的MDVV阈值,MVI的MVOT和MVI的MDVVV均输入到匹配模块中进行比较,从而确定MVI对应的运动区域是否为高光树叶误检测区域,将匹配结果输入到运动补偿模块,若根据比较结果确定MVI对应的运动区域为高光树叶误检测区域,则无需进行运动补偿,若根据比较结果确定MVI对应的运动区域为真实运动的区域,则进行运动补偿。
基于该方案,电子设备可以根据目标MVI对应的MVOT和MVOT阈值的比较结果、MVDD和MVDD阈值的比较结果,以及上述的公式(6)可以确定MVI对应的运动区域为高光树叶误检测区域,还是为真实运动的区域,使得误检测的抑制更加准确。
图7为本发明实施例提供的一种电子设备可能的结构示意图,如图7所示,电子设备700包括:获取模块701和确定模块702;获取模块701,用于获取源图像和目标图像对应的M个MVI,源图像为电子设备采集的K帧连续的图像中的一帧图像,目标图像为该K帧连续的图像中除源图像之外的任意一帧图像,确定模块702,用于基于目标MVI的MVOT和MVDD,确定目标MVI对应的图像区域是否为误检测区域;其中,目标MVI为该M个MVI中的任意一个MVI,M和K均为正整数,K大于1。
本发明实施例提供一种电子设备,电子设备可以获取源图像和目标图像对应的M个MVI,源图像为该K帧连续的图像中的一帧图像,目标图像为该K帧图像中除源图像之外的任意一帧图像,电子设备根据目标MVI的运动矢量溢出数和运动矢量分布密度,确定目标MVI对应的图像区域是否为高光树叶的误检测区域。即,在高动态范围成像、多帧降噪、超分辨率成像等场景下,对采集的多帧图像进行合成的过程中,电子设备可以在对多帧图像进行运动估计之后,根据目标图像靠近源图像对应的运动矢量图,确定运动物体的运动特征和分布密度特征,从而确定运动物体是否为轻微抖动的物体,是否为轻微抖动的树叶、轻微波动的水面,轻微移动的沙子等,若确定是轻微抖动的树叶、轻微波动的水面,轻微移动的沙子,可以将图像中的这些区域确定为误检测的运动区域,从而针对这些误检测的区域可以进行相应的图像处理,例如,若确定运动估计得到的运动物体是轻微抖动的树叶,可以在将高光区域的轻微抖动的树叶不作运动补偿处理,从而可以避免由于将高光树叶误检测为运动物体进行运动补偿,导致的合成图像效果较差的问题,提高了运动检测的准确率,使得图像处理得到更佳的效果。
可选的,结合图7,如图8所示,电子设备700还包括:计算模块703;计算模块703,用于计算目标MVI的MVOT和MVDD;确定模块702,用于比较目标MVI的MVOT阈值,并比较目标MVI的MVDD与MVDD阈值;根据目标MVI的MVOT与MVOT阈值的比较结果,目标MVI的MVDD与MVDD阈值的比较结果,确定目标MVI对应的图像区域是否为误检测区域。
本发明实施例提供一种电子设备,电子设备可以先计算目标MVI的MVOT和目标MVI的MVDD,然后电子设备比较目标MVI的MVOT与MVOT阈值,并比较目标MVI的MVDD与MVDD阈值,最后根据目标MVI的MVOT与MVOT阈值的比较结果,目标MVI的MVDD与MVDD阈值的比较结果,确定目标MVI对应的图像区域是否为误检测区域。结合阈值,可以使得电子设备精确地确定目标MVI对应的图像区域是否为误检测区域,可以提高误检测抑制的准确率。
可选的,结合图8,如图9所示,电子设备700还包括:调整模块704;调整模块704,用于在获取模块701获取源图像和目标图像对应的M个MVI之后,根据目标MVI的尺寸,调整MVOT阈值和MVDD阈值中的至少一项。
本发明实施例提供一种电子设备,电子设备可以根据目标MVI的尺寸,调整对应的MVOT阈值的大小,调整MVDD阈值的大小,可以使得匹配的结果更加准确。
可选的,在目标MVI的尺寸大于第一预设尺寸且小于第二预设尺寸的情况下,MVOT阈值随着目标MVI的尺寸的增大而增大;在目标MVI的尺寸小于或等于第一预设尺寸的情况下,MVOT阈值为第一阈值;在目标MVI的尺寸大于或等于第二预设尺寸的情况下,MVOT阈值为第二阈值;在目标MVI的尺寸大于第三预设尺寸且小于第四预设尺寸的情况下,MVDD阈值随着目标MVI的尺寸的增大而增大;在目标MVI的尺寸小于或等于第三预设尺寸的情况下,MVDD阈值为第三阈值;在目标MVI的尺寸大于或等于第四预设尺寸的情况下,MVDD阈值为第四阈值。
本发明实施例提供一种电子设备,电子设备中可以存储MVI的尺寸与MVOT阈值的映射关系、MVI与MVDD阈值的映射关系,在执行本发明实施例中的方法时,可以快速的根据映射关系确定各个不同MVI的尺寸对应的阈值,从而可以根据合适的阈值,精确地确定目标MVI对应的图像区域是否为误检测区域。
可选的,计算模块703具体用于:根据第一目标预设公式,计算目标MVI对应的每个像素点的MVO,第一目标预设公式为第一预设公式、第二预设公式和第三预设公式中的任一项;根据目标MVI对应的每个像素点的MVO和MVO阈值,确定目标MVI的MVOT;第一预设公式为:
Figure BDA0002378438680000111
第二预设公式为:MVOij=|Δxij|+|Δyij|;第三预设公式为:MVOij=MAX(|Δxij|,|Δyij|);其中,MVOij表示MVI中第i列第j行处像素点的MVO值,Δxij表示第i列第j行处像素点的横向运动矢量,Δyij表示第i列第j行处像素点的纵向运动矢量。
本发明实施例提供的一种电子设备,电子设备可以从第一预设公式、第二预设公式和第三预设公式中选择一个公式计算MVI中的MVO,然后根据MVI中的每个像素点对应的MVO和MVO阈值确定目标MVI的MVOT,从而可以确定运动物体的偏移特性,可以准确确定目标MVI对应的图像区域中的物体是否为误检测的运动物体。
可选的,MVDD为MDVV,或者为MDVSD;计算模块703具体用于:根据第四预设公式,计算目标MVI的MDVV,第四预设公式为:
Figure BDA0002378438680000121
或者,根据第五预设公式,计算目标MVI的MDVSD,第五预设公式为:
Figure BDA0002378438680000122
其中,N表示N个偏移方向,MD表示该N个偏移方向中向D方向偏移的像素点的数量,Mwidth表示MVI的宽度,Mlength表示MVI的长度,
Figure BDA0002378438680000123
本发明实施例提供的一种电子设备,电子设备可以基于第四预设公式确定的MDVV,或基于第五预设公式确定的MDVSD作为表征运动矢量分布密度的参数,针对不同的需求可以选择不同的计算方式,针对不同的计算精度可以选择不同数量的偏移方向,使得确定运动矢量分布密度的方式更加灵活。
可选的,确定模块702具体用于:根据第六预设公式,比较目标MVI的MVOT与MVOT阈值,并比较目标MVI的MVDD与MVDD阈值,第六预设公式为:
Figure BDA0002378438680000124
其中,T_MVOT表示MVOT阈值,T_MVDD表示MVDD阈值;在Mis=0的情况下,目标MVI对应的图像块为误检测区域;在Mis=1的情况下,目标MVI对应的图像块为运动区域。
可选的,在N=4的情况下,
Figure BDA0002378438680000125
Figure BDA0002378438680000126
其中,Mup表示像素点向第一方向偏移的数量、Mdown表示像素点向第二方向偏移的数量、Mleft表示像素点向第三方向偏移的数量、Mright表示像素点向第四方向偏移的数量,
Figure BDA0002378438680000127
本发明实施例提供的一种电子设备,电子设备可以根据目标MVI对应的MVOT和MVOT阈值的比较结果、MVDD和MVDD阈值的比较结果,以及上述的第六预设公式可以确定MVI对应的运动区域为高光树叶误检测区域,还是为真实运动的区域,使得误检测的抑制更加准确。
本发明实施例提供的电子设备700能够实现上述方法实施例中电子设备实现的各个过程,为避免重复,这里不再赘述。
图10为本发明实施例提供的一种电子设备的硬件示意图,该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图10中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、以及计步器等。
其中,处理器110,用于获取源图像和目标图像对应的M个MVI,源图像为电子设备采集的K帧连续的图像中的一帧图像,目标图像为该K帧连续的图像中除源图像之外的任意一帧图像;基于目标MVI的MVOT和MVDD,确定目标MVI对应的图像区域是否为误检测区域;其中,目标MVI为该M个MVI中的任意一个MVI,M和K均为正整数,K大于1。
本发明实施例提供的电子设备,电子设备可以获取源图像和目标图像对应的M个MVI,源图像为该K帧连续的图像中的一帧图像,目标图像为该K帧图像中除源图像之外的任意一帧图像,电子设备根据目标MVI的运动矢量溢出数和运动矢量分布密度,确定目标MVI对应的图像区域是否为高光树叶的误检测区域。即,在高动态范围成像、多帧降噪、超分辨率成像等场景下,对采集的多帧图像进行合成的过程中,电子设备可以在对多帧图像进行运动估计之后,根据目标图像靠近源图像对应的运动矢量图,确定运动物体的运动特征和分布密度特征,从而确定运动物体是否为轻微抖动的物体,是否为轻微抖动的树叶、轻微波动的水面,轻微移动的沙子等,若确定是轻微抖动的树叶、轻微波动的水面,轻微移动的沙子,可以将图像中的这些区域确定为误检测的运动区域,从而针对这些误检测的区域可以进行相应的图像处理,例如,若确定运动估计得到的运动物体是轻微抖动的树叶,可以在将高光区域的轻微抖动的树叶不作运动补偿处理,从而可以避免由于将高光树叶误检测为运动物体进行运动补偿,导致的合成图像效果较差的问题,提高了运动检测的准确率,使得图像处理得到更佳的效果。
应理解的是,本发明实施例中,射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信***与网络和其他设备通信。
电子设备通过网络模块102为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。
输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。
电子设备100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在电子设备100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板1071可覆盖在显示面板1061上,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图10中,触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元108为外部装置与电子设备100连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
电子设备100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理***与处理器110逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外,电子设备100包括一些未示出的功能模块,在此不再赘述。
可选的,本发明实施例还提供一种电子设备,结合图10,包括处理器110,存储器109,存储在存储器109上并可在处理器110上运行的计算机程序,该计算机程序被处理器110执行时实现上述误检测抑制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述误检测抑制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (10)

1.一种误检测抑制方法,应用于电子设备,其特征在于,所述方法包括:
获取源图像和目标图像对应的M个运动矢量图MVI,所述源图像为所述电子设备采集的K帧连续的图像中的一帧图像,所述目标图像为所述K帧连续的图像中除所述源图像之外的任意一帧图像;
基于目标MVI的运动矢量溢出数MVOT和运动矢量分布密度MVDD,确定所述目标MVI对应的图像区域是否为误检测区域;
其中,所述目标MVI为所述M个MVI中的任意一个MVI,M和K均为正整数,K大于1。
2.根据权利要求1所述的方法,其特征在于,所述基于目标MVI的MVOT和MVDD,确定所述目标MVI对应的图像区域是否为误检测区域之前,所述方法还包括:
计算所述目标MVI的MVOT和MVDD;
所述基于目标MVI的运动矢量溢出数MVOT和运动矢量分布密度MVDD,确定所述目标MVI对应的图像区域是否为误检测区域,包括:
比较所述目标MVI的MVOT与MVOT阈值,并比较所述目标MVI的MVDD与MVDD阈值;
根据所述目标MVI的MVOT与所述MVOT阈值的比较结果,所述目标MVI的MVDD与所述MVDD阈值的比较结果,确定所述目标MVI对应的图像区域是否为误检测区域。
3.根据权利要求2所述的方法,其特征在于,所述获取源图像和目标图像对应的M个MVI之后,所述方法还包括:
根据所述目标MVI的尺寸,调整所述MVOT阈值和所述MVDD阈值中的至少一项。
4.根据权利要求3所述的方法,其特征在于,
在所述目标MVI的尺寸大于第一预设尺寸且小于第二预设尺寸的情况下,所述MVOT阈值随着所述目标MVI的尺寸的增大而增大;在所述目标MVI的尺寸小于或等于所述第一预设尺寸的情况下,所述MVOT阈值为第一阈值;在所述目标MVI的尺寸大于或等于所述第二预设尺寸的情况下,所述MVOT阈值为第二阈值;
在所述目标MVI的尺寸大于第三预设尺寸且小于第四预设尺寸的情况下,所述MVDD阈值随着所述目标MVI的尺寸的增大而增大;在所述目标MVI的尺寸小于或等于所述第三预设尺寸的情况下,所述MVDD阈值为第三阈值;在所述目标MVI的尺寸大于或等于所述第四预设尺寸的情况下,所述MVDD阈值为第四阈值。
5.根据权利要求2所述的方法,其特征在于,所述计算所述目标MVI的MVOT,包括:
根据第一目标预设公式,计算所述目标MVI对应的每个像素点的运动矢量偏移量MVO,所述第一目标预设公式包括第一预设公式、第二预设公式和第三预设公式中的任一项;
根据所述目标MVI对应的每个像素点的MVO和MVO阈值,确定所述目标MVI的MVOT;
所述第一预设公式为:
Figure FDA0002378438670000011
所述第二预设公式为:MVOij=|Δxij|+|Δyij|;
所述第三预设公式为:MVOij=MAX(|Δxij|,|Δyij|);
其中,MVOij表示MVI中第i列第j行处像素点的MVO值,Δxij表示第i列第j行处像素点的横向运动矢量,Δyij表示第i列第j行处像素点的纵向运动矢量。
6.根据权利要求2所述的方法,其特征在于,MVDD为运动矢量方位方差MDVV,或者为运动矢量方位标准差MDVSD;
所述计算目标MVI的MVDD,包括:
根据第四预设公式,计算所述目标MVI的MDVV,所述第四预设公式为:
Figure FDA0002378438670000021
或者,根据第五预设公式,计算所述目标MVI的MDVSD,所述第五预设公式为:
Figure FDA0002378438670000022
其中,N表示N个偏移方向,MD表示向N个偏移方向中向D偏移方向偏移的像素点的数量,Mwidth表示MVI的宽度,Mlength表示MVI的长度,
Figure FDA0002378438670000023
7.根据权利要求2所述的方法,其特征在于,所述比较所述目标MVI的MVOT与MVOT阈值,并比较所述目标MVI的MVDD与MVDD阈值,包括:
根据第六预设公式,比较所述目标MVI的MVOT与所述MVOT阈值,并比较所述目标MVI的MVDD与所述MVDD阈值,所述第六预设公式为:
Figure FDA0002378438670000024
其中,T_MVOT表示所述MVOT阈值,T_MVDD表示所述MVDD阈值;在Mis=0的情况下,所述目标MVI对应的图像块为误检测区域;在Mis=1的情况下,所述目标MVI对应的图像块为运动区域。
8.根据权利要求6所述的方法,其特征在于,在N=4的情况下,
Figure FDA0002378438670000025
Figure FDA0002378438670000026
其中,Mup表示像素点向第一方向偏移的数量、Mdown表示像素点向第二方向偏移的数量、Mleft表示像素点向第三方向偏移的数量、Mright表示像素点向第四方向偏移的数量,
Figure FDA0002378438670000027
9.一种电子设备,其特征在于,所述电子设备包括:获取模块和确定模块;
所述获取模块,获取源图像和目标图像对应的M个运动矢量图MVI,所述源图像为所述电子设备采集的K帧连续的图像中的一帧图像,所述目标图像为所述K帧连续的图像中除所述源图像之外的任意一帧图像;
所述确定模块,用于基于目标MVI的运动矢量溢出数MVOT和运动矢量分布密度MVDD,确定所述目标MVI对应的图像区域是否为误检测区域;
其中,所述目标MVI为所述M个MVI中的任意一个MVI,M和K均为正整数,K大于1。
10.一种电子设备,其特征在于,所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的误检测抑制方法的步骤。
CN202010075685.1A 2020-01-22 2020-01-22 误检测抑制方法及电子设备 Active CN111292354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010075685.1A CN111292354B (zh) 2020-01-22 2020-01-22 误检测抑制方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010075685.1A CN111292354B (zh) 2020-01-22 2020-01-22 误检测抑制方法及电子设备

Publications (2)

Publication Number Publication Date
CN111292354A true CN111292354A (zh) 2020-06-16
CN111292354B CN111292354B (zh) 2023-07-28

Family

ID=71029220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075685.1A Active CN111292354B (zh) 2020-01-22 2020-01-22 误检测抑制方法及电子设备

Country Status (1)

Country Link
CN (1) CN111292354B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01219509A (ja) * 1988-02-26 1989-09-01 Matsushita Electric Ind Co Ltd 動きベクトル検出装置
JPH05236455A (ja) * 1992-02-25 1993-09-10 Nec Corp 動画像の動きベクトル検出装置
JPH11113003A (ja) * 1997-08-07 1999-04-23 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および動きベクトル検出方法
JP2000059796A (ja) * 1998-06-03 2000-02-25 Matsushita Electric Ind Co Ltd 動き検出装置及び動き検出方法及び動き検出のプログラムを記録した記録媒体
CN101102504A (zh) * 2007-07-24 2008-01-09 中兴通讯股份有限公司 一种结合视频编码器的混合运动检测方法
WO2008023466A1 (en) * 2006-08-24 2008-02-28 Mitsubishi Electric Corporation Moving vector detecting bdevice
JP2009147807A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
US20110044502A1 (en) * 2009-04-28 2011-02-24 Hisense State Key Laboratory Of Digital Multi-Media Technology Co., Ltd. Motion detection method, apparatus and system
JP2012034225A (ja) * 2010-07-30 2012-02-16 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
JP2012073971A (ja) * 2010-09-30 2012-04-12 Fujifilm Corp 動画オブジェクト検出装置、方法、及びプログラム
JP2013239011A (ja) * 2012-05-15 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム
US20140072241A1 (en) * 2012-09-12 2014-03-13 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103679749A (zh) * 2013-11-22 2014-03-26 北京奇虎科技有限公司 一种基于运动目标跟踪的图像处理方法及装置
US20150139504A1 (en) * 2013-11-19 2015-05-21 Renesas Electronics Corporation Detecting apparatus, detecting system, and detecting method
JP2017138379A (ja) * 2016-02-02 2017-08-10 キヤノン株式会社 像振れ補正装置およびその制御方法、撮像装置、プログラム、記憶媒体
CN107437257A (zh) * 2017-08-08 2017-12-05 重庆信络威科技有限公司 一种移动背景下的运动物体检测与分割方法
CN108596109A (zh) * 2018-04-26 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于神经网络和运动矢量的目标检测方法及装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01219509A (ja) * 1988-02-26 1989-09-01 Matsushita Electric Ind Co Ltd 動きベクトル検出装置
JPH05236455A (ja) * 1992-02-25 1993-09-10 Nec Corp 動画像の動きベクトル検出装置
JPH11113003A (ja) * 1997-08-07 1999-04-23 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および動きベクトル検出方法
JP2000059796A (ja) * 1998-06-03 2000-02-25 Matsushita Electric Ind Co Ltd 動き検出装置及び動き検出方法及び動き検出のプログラムを記録した記録媒体
WO2008023466A1 (en) * 2006-08-24 2008-02-28 Mitsubishi Electric Corporation Moving vector detecting bdevice
CN101102504A (zh) * 2007-07-24 2008-01-09 中兴通讯股份有限公司 一种结合视频编码器的混合运动检测方法
JP2009147807A (ja) * 2007-12-17 2009-07-02 Fujifilm Corp 画像処理装置
US20110044502A1 (en) * 2009-04-28 2011-02-24 Hisense State Key Laboratory Of Digital Multi-Media Technology Co., Ltd. Motion detection method, apparatus and system
JP2012034225A (ja) * 2010-07-30 2012-02-16 Canon Inc 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム
JP2012073971A (ja) * 2010-09-30 2012-04-12 Fujifilm Corp 動画オブジェクト検出装置、方法、及びプログラム
JP2013239011A (ja) * 2012-05-15 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> 移動物体上動きベクトル検出装置、移動物体上動きベクトル検出方法、およびプログラム
US20140072241A1 (en) * 2012-09-12 2014-03-13 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20150139504A1 (en) * 2013-11-19 2015-05-21 Renesas Electronics Corporation Detecting apparatus, detecting system, and detecting method
CN103679749A (zh) * 2013-11-22 2014-03-26 北京奇虎科技有限公司 一种基于运动目标跟踪的图像处理方法及装置
JP2017138379A (ja) * 2016-02-02 2017-08-10 キヤノン株式会社 像振れ補正装置およびその制御方法、撮像装置、プログラム、記憶媒体
CN107437257A (zh) * 2017-08-08 2017-12-05 重庆信络威科技有限公司 一种移动背景下的运动物体检测与分割方法
CN108596109A (zh) * 2018-04-26 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于神经网络和运动矢量的目标检测方法及装置

Also Published As

Publication number Publication date
CN111292354B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN107592466B (zh) 一种拍照方法及移动终端
CN110896451B (zh) 预览画面显示方法、电子设备及计算机可读存储介质
CN111223143B (zh) 关键点检测方法、装置及计算机可读存储介质
CN110784651B (zh) 一种防抖方法及电子设备
CN110505400B (zh) 一种预览图像显示调整方法及终端
CN111147752B (zh) 变焦倍数调节方法、电子设备及介质
CN111031234B (zh) 一种图像处理方法及电子设备
CN109462745B (zh) 一种白平衡处理方法及移动终端
CN107730460B (zh) 一种图像处理方法及移动终端
CN110213484B (zh) 一种拍照方法、终端设备及计算机可读存储介质
CN111083386B (zh) 图像处理方法及电子设备
CN111601032A (zh) 一种拍摄方法、装置及电子设备
CN111083375B (zh) 对焦方法及电子设备
CN108307123B (zh) 一种曝光调整方法及移动终端
CN111145151B (zh) 一种运动区域确定方法及电子设备
CN110708475B (zh) 一种曝光参数确定方法、电子设备及存储介质
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN111131722A (zh) 图像处理方法、电子设备及介质
CN110769154A (zh) 一种拍摄方法及电子设备
CN111031265B (zh) 一种fsr确定方法及电子设备
CN107798662B (zh) 一种图像处理方法及移动终端
CN110913133B (zh) 拍摄方法及电子设备
CN111026263B (zh) 一种音频播放方法及电子设备
CN110769162B (zh) 电子设备及对焦方法
CN111147754B (zh) 图像处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant