CN110751678A - 运动目标的检测方法、装置和电子设备 - Google Patents

运动目标的检测方法、装置和电子设备 Download PDF

Info

Publication number
CN110751678A
CN110751678A CN201811521035.4A CN201811521035A CN110751678A CN 110751678 A CN110751678 A CN 110751678A CN 201811521035 A CN201811521035 A CN 201811521035A CN 110751678 A CN110751678 A CN 110751678A
Authority
CN
China
Prior art keywords
frame image
current frame
image
detection
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811521035.4A
Other languages
English (en)
Inventor
张修宝
沈海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201811521035.4A priority Critical patent/CN110751678A/zh
Publication of CN110751678A publication Critical patent/CN110751678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种运动目标的检测方法、装置和电子设备;其中,该方法包括:根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;根据当前帧图像与指定帧图像之间的相应像素点的像素值差,确定运动目标的检测区域;将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果;将初始检测结果映射至当前帧图像中,得到最终检测结果。本申请实施例通过两帧图像间的像素值差,可以得到运动目标较为粗糙的检测区域,从而缩小了目标检测模型的检测范围,提高了检测效率;同时检测区域中还剔除了大部分的静态目标,降低了对模型检测动态目标的干扰,从而提高了检测准确度。

Description

运动目标的检测方法、装置和电子设备
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种运动目标的检测方法、装置和电子设备。
背景技术
对于大多数的检测任务,人们往往仅检测图像中的运动目标,如行人、车辆等,对于树木、路灯等静态目标不感兴趣,这些运动目标通常仅占据图像的一部分区域。但在相关技术中,对图像进行目标检测时,大多将整幅图像输入至检测网络中,检测网络需要对整幅图像进行检测运算,检测效率较低;同时图像中的静态目标会干扰检测网络检测运动目标,例如将树木误检测为行人,从而还影响了检测准确度。
发明内容
有鉴于此,本申请实施例的目的在于提供一种运动目标的检测方法、装置和电子设备,以提高运动目标的检测效率和检测准确度。
根据本申请的一个方面,提供一种电子设备,可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可读指令。当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行所述机器可读指令,以执行一个或多个以下操作:
根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;其中,指定帧图像位于当前帧图像之前;根据当前帧图像与指定帧图像之间的相应像素点的像素值差,在当前帧图像中确定运动目标的检测区域;将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果;将初始检测结果映射至当前帧图像中,得到最终检测结果。
在一些实施例中,上述当前帧图像对应的指定帧图像包括当前帧图像的前一帧图像,或者与当前帧图像间隔预设帧数的帧图像。
在一些实施例中,上述根据当前帧图像与指定帧图像之间的相应像素点的像素值差,在当前帧图像中确定运动目标的检测区域的步骤,包括:从当前帧图像与指定帧图像中提取各个像素点的亮度值,得到当前帧图像和指定帧图像分别对应的灰度图像;计算当前帧图像的灰度图像和指定帧图像的灰度图像间相对应像素点的差值;根据计算得到的差值确定当前帧图像中运动目标的检测区域。
在一些实施例中,上述根据计算得到的差值确定当前帧图像中运动目标的检测区域的步骤,包括:根据预设的二值化阈值,将计算得到的差值进行二值化处理,得到差值对应的二值化图像;根据二值化图像中的非零区域,在当前帧图像中确定运动目标的检测区域。
在一些实施例中,上述根据预设的二值化阈值,将计算得到的差值进行二值化处理,得到差值对应的二值化图像的步骤,包括:将计算得到的差值大于预设的二值化阈值的像素点的像素值置为一,将计算得到的差值小于或等于二值化阈值的像素点的像素值置为零,得到初始二值化图像;对初始二值化图像进行形态学处理,将处理后的初始二值化图像确定为差值计算结果对应的二值化图像。
在一些实施例中,上述根据二值化图像中的非零区域,在当前帧图像中确定运动目标的检测区域的步骤,包括:计算二值化图像中每个非零区域的区域面积;对于每个非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;将处理后的二值化图像中的非零区域在当前帧图像中的对应区域,标识为运动目标的检测区域。
在一些实施例中,上述得到处理后的二值化图像的步骤之后,方法还包括:如果处理后的二值化图像中所有的像素点均为零,继续执行从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像的步骤。
在一些实施例中,上述将处理后的二值化图像中的非零区域在当前帧图像中的对应区域,标识为运动目标的检测区域的步骤,包括:将当前帧图像中,除二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,得到处理后的当前帧图像;为处理后的当前帧图像的非零区域设置预设的标识框,其中,标识框用于标识运动目标的检测区域。
在一些实施例中,上述预设的目标检测模型包括MobileNet-SSD网络或者MTCNN网络。
在一些实施例中,上述检测区域携带有检测区域在当前帧图像中的第一位置信息;初始检测结果包括初始检测结果在检测区域中的第二位置信息;上述将初始检测结果映射至当前帧图像中,得到最终检测结果的步骤,包括:根据初始检测结果在检测区域中的第二位置信息,以及检测区域在当前帧图像中的第一位置信息,确定初始检测结果在当前帧图像中的第三位置信息;在当前帧图像的第三位置信息对应的位置上设置预设的检测框;检测框用于标识运动目标的最终检测结果。
在一些实施例中,上述运动目标包括行人或者车辆。
根据本申请的另一个方面,还提供一种运动目标的检测装置,包括:图像确定模块,用于根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;其中,指定帧图像位于当前帧图像之前;检测区域确定模块,用于根据当前帧图像与指定帧图像之间的相应像素点的像素值差,在当前帧图像中确定运动目标的检测区域;检测模块,用于将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果;映射模块,用于将初始检测结果映射至当前帧图像中,得到最终检测结果。
在一些实施例中,上述当前帧图像对应的指定帧图像包括当前帧图像的前一帧图像,或者与当前帧图像间隔预设帧数的帧图像。
在一些实施例中,上述检测区域确定模块,用于:从当前帧图像与指定帧图像中提取各个像素点的亮度值,得到当前帧图像和指定帧图像分别对应的灰度图像;计算当前帧图像的灰度图像和指定帧图像的灰度图像间相对应像素点的差值;根据计算得到的差值确定当前帧图像中运动目标的检测区域。
在一些实施例中,上述检测区域确定模块,用于:根据预设的二值化阈值,将计算得到的差值进行二值化处理,得到差值对应的二值化图像;根据二值化图像中的非零区域,在当前帧图像中确定运动目标的检测区域。
在一些实施例中,上述检测区域确定模块,用于:将计算得到的差值大于预设的二值化阈值的像素点的像素值置为一,将计算得到的差值小于或等于二值化阈值的像素点的像素值置为零,得到初始二值化图像;对初始二值化图像进行形态学处理,将处理后的初始二值化图像确定为差值计算结果对应的二值化图像。
在一些实施例中,上述检测区域确定模块,用于:计算二值化图像中每个非零区域的区域面积;对于每个非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;将处理后的二值化图像中的非零区域在当前帧图像中的对应区域,标识为运动目标的检测区域。
在一些实施例中,上述装置还包括:继续执行模块,用于如果处理后的二值化图像中所有的像素点均为零,继续执行从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像的步骤。
在一些实施例中,上述检测区域确定模块,用于:将当前帧图像中,除二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,得到处理后的当前帧图像;为处理后的当前帧图像的非零区域设置预设的标识框,其中,标识框用于标识运动目标的检测区域。
在一些实施例中,上述预设的目标检测模型包括MobileNet-SSD网络或者MTCNN网络。
在一些实施例中,上述检测区域携带有检测区域在当前帧图像中的第一位置信息;初始检测结果包括初始检测结果在检测区域中的第二位置信息;上述映射模块,用于:根据初始检测结果在检测区域中的第二位置信息,以及检测区域在当前帧图像中的第一位置信息,确定初始检测结果在当前帧图像中的第三位置信息;在当前帧图像的第三位置信息对应的位置上设置预设的检测框;检测框用于标识运动目标的最终检测结果。
在一些实施例中,上述运动目标包括行人或者车辆。
根据本申请的另一个方面,还提供一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行时执行如上述运动目标的检测方法的步骤。
根据本申请的另一个方面,还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述运动目标的检测方法的步骤。
基于上述任一方面,首先根据待检测视频中确定的当前帧图像与指定帧图像之间的相应像素点的像素值差,确定运动目标的检测区域;再将该检测区域对应的图像数据输入至预设的目标检测模型中,得到初始检测结果;最后将该将初始检测结果映射至当前帧图像中,得到最终检测结果。该方式通过两帧图像间的像素值差,可以得到运动目标较为粗糙的检测区域,从而缩小了目标检测模型的检测范围,提高了检测效率;同时检测区域中还剔除了大部分的静态目标,降低了对模型检测动态目标的干扰,从而提高了检测准确度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种电子设备的示例性硬件和软件组件的示意图;
图2示出了本申请实施例所提供的一种运动目标的检测方法的流程图;
图3示出了本申请实施例所提供的另一种运动目标的检测方法的流程图;
图4示出了本申请实施例所提供的另一种运动目标的检测方法的流程图;
图5示出了本申请实施例所提供的另一种运动目标的检测方法的流程图;
图6示出了本申请实施例所提供的一种运动目标的检测装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
图1示出根据本申请的一些实施例的可以实现本申请提供的运动目标的检测方法的电子设备100的示例性硬件和软件组件的示意图。
电子设备100可以是通用计算机或特殊用途的计算机,两者都可以用于实现本申请的运动目标的检测方法。本申请尽管仅示出了一个计算机,但是为了方便起见,可以在多个类似平台上以分布式方式实现本申请描述的功能,以均衡处理负载。
例如,电子设备100可以包括连接到网络的网络端口110、用于执行程序指令的一个或多个处理器120、通信总线130、和不同形式的存储介质140,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备100还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output,I/O)接口150。
上述存储介质140存储有处理器120可执行的机器可读指令,当电子设备运行时,处理器120与存储介质140之间通过总线通信,处理器执行机器可读指令,以执行时执行下述运动目标的检测方法的步骤。另外,存储介质也可以称为计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行下述运动目标的检测方法的步骤。
为了便于说明,在电子设备100中仅描述了一个处理器。然而,应当注意,本申请中的电子设备100还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备100的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B。
基于上述电子设备的描述,本申请实施例首先描述一种运动目标的检测方法,如图2所示,该方法包括如下步骤:
步骤S202,根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;其中,该指定帧图像位于当前帧图像之前。
上述待检测视频中通常包含有连续的多帧视频帧,每帧视频帧携带有图像传感装置采集该视频帧的时间;因而,上述待检测视频中各视频帧的顺序可以为各视频帧的时间顺序。从待检测视频中确定当前帧图像时,可以根据各视频帧的顺序逐一将各个视频帧作为当前帧图像,也可以指定第一个当前帧图像后,通过预设的帧间隔数量、时间间隔等参数从待检测视频中确定后续的当前帧图像,还可以从待检测视频中直接指定所有的当前帧图像。
对于当前帧图像对应的指定帧图像,该指定帧图像可以为当前帧图像的前一帧图像,也可以为与当前帧图像间隔预设帧数的帧图像,如与当前帧图像间隔5帧的帧图像,与当前帧图像间隔10帧的帧图像等。需要说明的是,由于指定帧图像位于当前帧图像之前,因此待检测视频中的第一个视频帧通常不作为当前帧图像,但可以作为某一当前帧图像的指定帧图像。例如,指定帧图像与当前帧图像间隔预设10帧,则待检测视频中的第一个当前帧图像可以为第11帧及该第11帧以后的帧图像,以确保该当前帧图像具有指定帧图像。
步骤S204,根据当前帧图像与指定帧图像之间的相应像素点的像素值差,在当前帧图像中确定运动目标的检测区域。
由于当前帧图像与指定帧图像通常位于同一个待检测视频中,且同一个待检测视频通常由同一图像采集设备或同一型号的图像采集设备采集得到,因而当前帧图像与指定帧图像的尺寸通常相同;上述当前帧图像与指定帧图像之间的相应像素点可以理解为当前帧图像与指定帧图像中,相同位置上的像素点。如果当前帧图像与指定帧图像为灰度图像,则像素点的像素值即为该像素点的亮度值;如果当前帧图像与指定帧图像为彩色图像,则像素点的像素值中通常包含亮度值和颜色值,对于RGB图像而言,像素点的颜色值包含R值、G值和B值,因此,RGB图中每个像素点的像素值中包含亮度值、R值、G值和B值共四种值。在计算相应像素点的像素值差时,可以从上述亮度值、R值、G值和B值中选择一种值进行计算,如选择亮度值;此时,则需要预先从当前帧图像与指定帧图像中提取各自的灰度图像,得到各个像素点的亮度值。
如果当前帧图像与指定帧图像对应的时间段中,图像传感装置所拍摄的视野内没有出现运动目标,该运动目标可以为行人、移动的车辆等,则当前帧图像与指定帧图像之间的相应像素点的像素值相同,或者变化很小;如果当前帧图像与指定帧图像对应的时间段中,图像传感装置所拍摄的视野内出现了运动目标,则出现运动目标的图像区域中,当前帧图像与指定帧图像之间的相应像素点的像素值会发生较为明显的变化;通过求取当前帧图像与指定帧图像之间的相应像素点的像素值差,可以从当前帧图像中得到像素值发生明显变化的图像区域,该图像区域即出现运动目标的图像区域,也就是上述运动目标的检测区域。
步骤S206,将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果。
在当前帧图像中确定运动目标的检测区域之后,可以从当前帧图像中截取出该检测区域对应的图像数据,也可以根据检测区域重新生成一幅图像,生成的该图像仅包含上述检测区域对应的图像数据。上述预设的目标检测模型可以预先通过训练样本训练得到,该目标检测模型可以为神经网络模型,当然也可以为支持向量机分类器等模型。该目标检测模型在训练过程中可以设置该模型待检测的运动目标的种类,如该模型仅检测行人,则训练样本中可以仅标识出行人,如果该模型同时检测行人和车辆,则训练样本中需要标识出行人和车辆。
可以理解,如果从一张当前帧图像中得到多个检测区域,则逐一将每个检测区域对应的图像数据输入至目标检测模型中,对每个检测区域对应的图像数据进行检测处理,从而得到该当前帧图像中所有的运动目标。上述目标检测模型可以从输入的检测区域对应的图像数据中检测出运动目标,检测出的运动目标的种类具体可以根据模型训练过程中使用的训练样本确定;初始检测结果通常标识在检测区域对应的图像数据中,如通过矩形框标识检测出的运动目标。
步骤S208,将初始检测结果映射至当前帧图像中,得到最终检测结果。
由上述描述可知,初始检测结果通常标识在检测区域对应的图像数据中,并没有标识在当前帧图像中;为了获知运动目标在当前帧图像中的位置,需要将初始检测结果映射至当前帧图像中。在映射过程中,具体可以根据检测区域对应的图像数据在当前帧图像中的位置,以及初始检测结果在检测区域对应的图像数据中的位置,计算得到初始检测结果在当前帧图像中的位置,即运动目标在当前帧图像中的位置。
本发明实施例提供的一种运动目标的检测方法,首先根据待检测视频中确定的当前帧图像与指定帧图像之间的相应像素点的像素值差,确定运动目标的检测区域;再将该检测区域对应的图像数据输入至预设的目标检测模型中,得到初始检测结果;最后将该将初始检测结果映射至当前帧图像中,得到最终检测结果。该方式通过两帧图像间的像素值差,可以得到运动目标较为粗糙的检测区域,从而缩小了目标检测模型的检测范围,提高了检测效率;同时检测区域中还剔除了大部分的静态目标,降低了对模型检测动态目标的干扰,从而提高了检测准确度。
本发明实施例还提供另一种运动目标的检测方法,该方法在上述实施例的基础上实现;该方法重点描述根据两帧图像之间的像素值差,确定运动目标的检测区域的具体过程;如图3所示,该方法包括如下步骤:
步骤S302,根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;其中,该指定帧图像位于当前帧图像之前。
步骤S304,从当前帧图像与指定帧图像中提取各个像素点的亮度值,得到当前帧图像和指定帧图像分别对应的灰度图像。
如果当前帧图像与指定帧图像均为灰度图像,那么当前帧图像与指定帧图像中各个像素点的像素值即为亮度值;如果当前帧图像与指定帧图像为彩色图像,则需要从当前帧图像与指定帧图像中提取亮度通道的数据,从而得到各个像素点的亮度值,各个像素点的亮度值组成的图像即为上述当前帧图像和指定帧图像分别对应的灰度图像。
步骤S306,计算当前帧图像的灰度图像和指定帧图像的灰度图像间相对应像素点的差值。
一种方式中,可以将当前帧图像的灰度图像中的各个像素点的像素值减去指定帧图像的灰度图像间中相对应像素点的像素值;另一种方式中,可以将指定帧图像的灰度图像中的各个像素点的像素值减去当前帧图像的灰度图像间中相对应像素点的像素值。另外,具体可以通过像素点的坐标,得到两幅灰度图像间的相对应像素点,例如,当前帧图像的灰度图像的像素点(1,1),对应指定帧图像的灰度图像中坐标为(1,1)的像素点。由于两幅图像间相对应像素点的差值可以反映出两幅图像间图像内容的变化,差值越大的区域,说明图像内容变化的可能性越大,因而根据计算得到的差值可以确定当前帧图像中运动目标的检测区域,具体描述如下。
步骤S308,根据预设的二值化阈值,将计算得到的差值进行二值化处理,得到差值对应的二值化图像。
上述二值化阈值具体可以根据实际需求设置;通常,二值化阈值越高,后续得到的检测区域面积越小或数量越小,有可能会误删除一些较小的运动目标对应的检测区域;二值化阈值越高,后续得到的检测区域面积越大或数量越多,但有可能会保留一些非运动目标应的检测区域,如光线变化、动物移动等对应的检测区域。需要说明的是,上述得到的差值有可能存在负值,因此上述二值化阈值可以为差值的绝对值;也可以在进行二值化处理之前,将上述计算得到的差值计算绝对值,再通过二值化阈值进行二值化处理。
上述经过二值化处理后,二值化图像中可能会存在一些范围特别小的区域,如只有数个像素点组成的区域,也可以会在较大的区域内存在小型的孔洞,为了得到更加完善的二值化图像,上述步骤S308具体可以通过下述步骤02-04实现:
步骤02,将计算得到的差值大于预设的二值化阈值的像素点的像素值置为1,将计算得到的差值小于或等于二值化阈值的像素点的像素值置为零,得到初始二值化图像;
在大多情况下,二值化图像中的像素值包括两种,如上述步骤02中为0和1,但本实施例中并不限定其他像素值组合,如上述步骤02中的像素值0可以替换为-1、-100等;像素值1可以替换为2、50等;二值化图像中的两种像素值可以明显区分即可。
步骤04,对初始二值化图像进行形态学处理,将处理后的初始二值化图像确定为差值计算结果对应的二值化图像。
如上文所述,初始二值化图像中可能存在一个或数个像素值为1像素点,这些像素点不与其他像素值为1的像素连接,形成小区域;初始二值化图像中也可能存在较大面积像素值为1像素点中,存在一个或数个像素值为零像素点,形成孔洞。通过对初始二值化图像进行形态学处理可以消除初始二值化图像中的小区域或孔洞,具体而言,该形态学处理具体可以采用腐蚀运算、膨胀运算、开运算、闭运算中的一种或多种运算方式实现。经形态学处理后,即可消除二值化图像中的小区域或孔洞。
步骤S310,根据二值化图像中的非零区域,在当前帧图像中确定运动目标的检测区域。
由上述可知,二值化图像中的非零区域为当前帧图像和指定帧图像间像素差较大的区域,该区域中的图像内容通常会发生明显的变化,因而二值化图像中的非零区域通常对应当前帧图像中的运动目标所在的区域;二值化图像通常与当前帧图像的尺寸相同,根据二值化图像中的非零区域所包含的像素点的坐标,即可从当前帧图像中确定运动目标的检测区域。
进一步地,在大多数的目标检测任务中,人们往往关心体积较大的运动目标,如行人、车辆等;对于飞鸟、落叶等较小目标不感兴趣;而通过上述步骤的处理后,可能难以消除这些较小目标的图像区域,基于此,上述步骤S310还可以通过下述步骤12-16实现:
步骤12,计算二值化图像中每个非零区域的区域面积;
该区域面积可以通过统计非零区域的像素点数量获得,将非零区域的像素点总数作为该非零区域的区域面积;另一种方式中,还可以通过统计区域面积的长度和宽度,通过积分的方式求取区域面积。
步骤14,对于每个非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;
该面积阈值可以根据具体检测需求设置,也可以参考图像传感设备的视野范围进行设置。将区域面积小于面积阈值的非零区域的像素点置零,可以删除部分较小的运动目标的检测区域。需要说明的是,对于长度和宽度差异较大的区域面积,例如细窄形状的非零区域,这种非零区域很有可能是图像传感设备的噪声形成的,而不是运动目标产生的;因此,在上述步骤中,还可以考虑非零区域的长宽比,对于长宽比的比值较大的非零区域,即使区域面积较大,还需要进一步确定是否保留该非零区域。
步骤16,将处理后的二值化图像中的非零区域在当前帧图像中的对应区域,标识为运动目标的检测区域。
在大多情况下,二值化图像中的非零区域为不规则区域,但后续目标检测模型输入的图像数据需要固定尺度的矩形图像;因此,在标识运动目标的检测区域的过程中,通常通过矩形框标识检测区域,该矩形框为能够包含上述非零区域的最小面积的矩形框。
步骤S312,将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果。
步骤S314,将初始检测结果映射至当前帧图像中,得到最终检测结果。
上述方式中,通过对当前帧图像和指定帧图像分别对应的灰度图像计算相对应像素点的差值,并将差值进行二值化、形态学处理、以及剔除较小非零区域,可以得到运动目标的检测区域,从而缩小了目标检测模型的检测范围,提高了检测效率;同时检测区域中还剔除了大部分的静态目标,降低了对模型检测动态目标的干扰,从而提高了检测准确度。
本发明实施例还提供另一种运动目标的检测方法,该方法在上述实施例的基础上实现;在上述实施例中,根据二值化图像中的非零区域在当前帧图像中标识运动目标的检测区域;考虑到非零区域大多为非规则形状,而检测区域需要为矩形,因此,标识出的检测区域中还可能会包括运动目标以外的图像数据,这些图像数据中可能会包含静态目标;为了解决该问题,本实施例重点描述确定运动目标的检测区域的另一种具体方式;如图4所示,该方法包括如下步骤:
步骤S402,根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;其中,该指定帧图像位于当前帧图像之前;
步骤S404,从当前帧图像与指定帧图像中提取各个像素点的亮度值,得到当前帧图像和指定帧图像分别对应的灰度图像;
步骤S406,计算当前帧图像的灰度图像和指定帧图像的灰度图像间相对应像素点的差值;
步骤S408,将计算得到的差值大于预设的二值化阈值的像素点的像素值置为一,将计算得到的差值小于或等于二值化阈值的像素点的像素值置为零,得到初始二值化图像;
步骤S410,对初始二值化图像进行形态学处理,将处理后的初始二值化图像确定为差值计算结果对应的二值化图像;
步骤S412,计算二值化图像中每个非零区域的区域面积;
步骤S414,对于每个非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;
步骤S416,判断处理后的二值化图像中所有的像素点是否均为零,如果是,执行步骤S402;如果否,执行步骤S418;
如果经处理后的二值化图像中所有的像素点均为零,说明该二值化图像对应的当前帧图像相对于指定帧图像,图像内容上没有发生明显变化,即当前帧图像中没有出现运动目标;此时,则无需再通过目标检测模型对当前帧图像进行检测,跳过该当前帧图像,继续重新从待检测视频中确定新的当前帧图像和对应的指定帧图像,该方式可以及时滤除没有运动目标的当前帧图像,减少不必要的检测运算,从而提高检测速度。
步骤S418,将当前帧图像中,除二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,得到处理后的当前帧图像;
步骤S420,为处理后的当前帧图像的非零区域设置预设的标识框,其中,该标识框用于标识运动目标的检测区域。
由于步骤S418已将当前帧图像中,除二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,所以即使标识框的形状与非零区域的形状差异较大,该标识框中出现静态目标的可能性大大降低,降低了误检测的可能性,从而提高了检测准确度。
步骤S422,将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果;
步骤S424,将初始检测结果映射至当前帧图像中,得到最终检测结果。
另外,还需要说明的是,由于目标检测模型输入的图像尺度是相对固定的,且尺度较小;如果将正幅当前帧图像输入至目标检测模型中,需要对该当前帧图像进展缩放、剪切等处理,易导致图像中较小目标不清晰,影响小目标的检测;而本实施例中,检测区域通常远小于当前帧图像的尺度,检测区域的图像数据一般无需缩放或仅进行微小的缩放,即可输入至目标检测模型中,因此本实施例中的检测方式不易导致小目标的丢失,从而提高了小目标检测的精度。
本发明实施例还提供另一种运动目标的检测方法,该方法在上述实施例的基础上实现;本实施例重点描述目标检测模型、该目标检测模型的训练方式、以及从该目标检测模型输出初始检测结果后,将该初始检测结果映射至当前帧图像中的具体过程。
前述实施例中获取运动目标检测区域的过程,相当于对运动目标的粗检测过程,即检测区域是运动目标的大致位置;但是该过程帮助降低了后续目标检测模型的检测能力要求,因而相对于对整幅当前帧图像进行检测所使用的检测模型,本实施例中采用的目标检测模型可以为轻量级的网络模型,从而可以设置较少的计算层(如卷积层和、连接层等)和参数量,从而提高检测速度。基于此,本实施例中的目标检测模型可以为MobileNet-SSD网络或者MTCNN网络。
其中,MobileNet-SSD网络是一种轻量级的深度网络模型,该网络模型使用了深度可分离卷积,通过该深度可分离卷积可以将标准卷积运算进行分解计算,从而减少了运算量。另外,该网络模型还引入了两个超参量,即宽度乘数和分辨率乘数,以减少网络模型中的参数量和计算量;具体地,宽度乘数可以用于减少网络模型的输入通道数和输出通道数;分辨率乘数可以用于减少网络模型的输入特征图尺度和输出特征图尺度。
上述MTCNN网络也可以称为多任务卷积网络模型,该网络模型共包含三部分网络,分别为P-Net网络、R-Net网络和O-Net网络;其中,P-Net网络为全卷积神经网络,该网络可以对输入的检测区域对应的图像数据进行卷积计算,获得候选窗体和边界回归向量;R-Net网络为全连接网络,该网络可以根据P-Net网络输出的边界回归向量对候选窗体进行微调,并去除候选窗体中的重叠窗体;O-Net网络为全连接网络加一层卷积层,该网络用于输出关键点位置,该关键点位置即上述初始检测结果。
下述为目标检测模型训练过程的示例,不同的目标检测模型的训练过程可能有所变化,本实施例对此不做限定:
步骤22,获取训练样本集合;该训练样本集合包括设定数量的图像;该图像中携带有待检测的运动目标的标注信息;该标注信息可以通过检测框标识,该检测框中包含有运动目标;
该训练样本集合中的图像的数量可以预先设定,例如10万张;可以理解,图像的数量越多,训练得到的目标检测模型的性能和能力越好,检测精确度就越准确。这些图像可以从通用的图像库中获得,也可以从视频流中截取。上述运动目标的标注信息可以由工程师手动标注在图像上,也可以由标注软件自动标注,再由工程师进行调整。标注信息越精确,越有利于后续目标检测模型的检测精确度。
步骤24,按照第一划分比例,从训练样本集合中划分出训练子集和验证子集;
其中,该第一划分比例可以为具体的百分比,例如30%,此时可以将训练样本集合中30%的图像和对应的标注信息作为训练子集,将训练样本集合中30%的图像和对应的标注信息作为验证子集;该第一划分比例也可以为百分比组合,例如30%和40%,此时可以将训练样本集合中30%的图像和对应的标注信息作为训练子集,将训练样本集合中40%的图像和对应的标注信息作为验证子集。
由上述描述可知,训练子集和验证子集占训练样本集合的百分比可以相同,也可以不同;并且,训练子集和验证子集中的图像,可以完全不同,也可以存在部分交叉。例如,采用随机的方式从训练样本集合中分布划分出训练子集和验证子集,此时训练子集和验证子集中的图像就有可能存在相同的图像;而如果先从训练样本集合中划分出训练子集,再从训练样本集合中剩余的图像中划分出验证子集,此时训练子集和验证子集中的图像就可以完全不同。
步骤26,搭建初始的神经网络模型,并设置初始的训练参数;
如上所述,该神经网络模型可以为MobileNet-SSD网络或者MTCNN网络;神经网络模型的训练参数包括网络节点、初始权值的确定、最小训练速率、动态参数、允许误差、迭代次数等。
步骤28,通过训练子集和训练参数训练神经网络模型,通过验证子集对训练后的神经网络模型进行验证;
在实际实现时,可以将上述训练子集和验证子集中的图像和对应的标注信息分别划分为多个小组;首先将训练子集中的一组图像和对应的标注信息输入至上述神经网络模型中进行训练,训练完成后,再将验证子集中的一组图像输入至训练后的神经网络模型中进行目标检测,将检测结果与该组图像对应的标注信息进行比对,得到当前神经网络模型的检测准确度,该检测准确度即为验证结果。
步骤28,如果验证结果不满足预设的准确度阈值,根据验证结果调整训练参数;
为了提高神经网络模型的检测准确度,可以根据验证结果分析该神经网络模型检测准确度较低的原因,以及需要调整的训练参数,以对神经网络模型及其训练方式进行优化。
步骤30,继续通过训练子集和调整后的训练参数训练神经网络模型,直至神经网络模型的验证结果满足准确度阈值,得到特征点检测模型。
由上述步骤可知,对神经网络模型的训练和验证是相互交叉进行的过程,每次训练使用训练子集中的一组图像和对应的标注信息,每次验证使用验证子集中的一组图像和对应的标注信息,反复训练和验证,直至神经网络模型的验证结果满足准确度阈值,即可得到该特征点检测模型。
如果训练子集中的每组图像和对应的标注信息都使用完毕,但验证结果依然不能满足准确度阈值,此时可以重复利用训练子集中的每组图像和对应的标注信息,也可以从上述训练样本集合中划分出新的训练子集继续训练。
另外,还可以从上述训练样本集合划分出第二划分比例的测试子集,为了保证测试结果的准确性,该测试子集中的图像通常与上述训练子集和验证子集中的图像完全不同,即不存在交叉。该测试子集可以用于对训练完成的特征点检测模型进行全面测试,以衡量该特征点检测模型的性能和能力,并可以生成该特征点检测模型的评估报告。在实际实现时,可以训练得到多个特征点检测模型,每个特征点检测模型的性能和能力不同,根据当前特征点检测实际需求,如检测精确度、检测速度等,可以选择性能和能力较为匹配的特征点检测模型。
基于上述对目标检测模型的描述,如图5所示,本实施例提供的运动目标的检测方法包括下述步骤:
步骤S502,根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;其中,该指定帧图像位于当前帧图像之前;
步骤S504,从当前帧图像与指定帧图像中提取各个像素点的亮度值,得到当前帧图像和指定帧图像分别对应的灰度图像;
步骤S506,计算当前帧图像的灰度图像和指定帧图像的灰度图像间相对应像素点的差值;
步骤S508,将计算得到的差值大于预设的二值化阈值的像素点的像素值置为一,将计算得到的差值小于或等于二值化阈值的像素点的像素值置为零,得到初始二值化图像;
步骤S510,对初始二值化图像进行形态学处理,将处理后的初始二值化图像确定为差值计算结果对应的二值化图像;
步骤S512,计算二值化图像中每个非零区域的区域面积;
步骤S514,对于每个非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;
步骤S516,判断处理后的二值化图像中所有的像素点是否均为零,如果是,执行步骤S502;如果否,执行步骤S518;
步骤S518,将当前帧图像中,除二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,得到处理后的当前帧图像;
步骤S520,为处理后的当前帧图像的非零区域设置预设的标识框,其中,该标识框用于标识运动目标的检测区域。
步骤S522,将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果;
从当前帧图像中提取检测区域对应的图像数据时,可以将该检测区域在当前帧图像中的第一位置信息携带至检测区域中;该第一位置信息可以为检测区域的顶点坐标,以及该检测区域的尺度信息;如该检测区域的左上角坐标、长度和宽度;该第一位置信息还可以为检测区域的处于同一对角线上的两个顶点坐标,如左上角坐标和右下角坐标,再如右上角坐标和左下角坐标。
从目标检测模型中输出的初始检测结果通常包括初始检测结果在检测区域中的第二位置信息;与上述第一位置信息类似,该第二位置信息可以为运动目标所在区域的顶点坐标,以及该区域的尺度信息,如该区域的左上角坐标、长度和宽度;该第二位置信息还可以为运动目标所在区域的处于同一对角线上的两个顶点坐标,如左上角坐标和右下角坐标,再如右上角坐标和左下角坐标。可以理解,上述第二位置信息包含的具体内容通常与目标检测模型的结果或训练过程有关,但该第二位置信息表征的运动目标所在区域通常是矩形,通过第二位置信息中的具体内容可以从检测区域中确定一个矩形。
步骤S524,根据初始检测结果在检测区域中的第二位置信息,以及检测区域在当前帧图像中的第一位置信息,确定初始检测结果在当前帧图像中的第三位置信息;
例如,初始检测结果在检测区域中的第二位置信息中包含初始检测结果在检测区域中的左上角坐标为(x0,y0),检测区域在当前帧图像中的第一位置信息中包含检测区域在当前帧图像中的左上角坐标为(x1,y1),则初始检测结果在当前帧图像中的第三位置信息包括初始检测结果在当前帧图像中的左上角坐标(x0+x1,y0+y1),以及从上述第二位置信息中提取的初始检测结果的长度和宽度。
再如,初始检测结果在检测区域中的第二位置信息中包含初始检测结果在检测区域中的左上角坐标为(x2,y2)、右下角坐标为(x3,y3);检测区域在当前帧图像中的第一位置信息中包含检测区域在当前帧图像中的左上角坐标为(x4,y4)、右下角坐标为(x5,y5);则初始检测结果在当前帧图像中的第三位置信息包括初始检测结果在当前帧图像中的左上角坐标(x2+x4,y2+y4),以及右下角坐标(x3+x5,y3+y5)。
步骤S526,在当前帧图像的第三位置信息对应的位置上设置预设的检测框;该检测框用于标识运动目标的最终检测结果。
上述方式中,将运动目标的检测区域输入至目标检测模型中,缩小了目标检测模型的检测范围,因而可以使用结构较为简单的检测模型,使得运算速度较快,从而提高了检测效率;同时检测区域中还剔除了大部分的静态目标,降低了对模型检测动态目标的干扰,从而提高了检测准确度。
对应于上述运动目标的检测方法实施例,参见图6所示的一种运动目标的检测装置的结构示意图,该运动目标的检测装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述服务器,或服务器的处理器,也可以理解为独立于上述服务器或处理器之外的在服务器控制下实现本申请功能的组件,如图6所示,该装置包括:
图像确定模块60,用于根据待检测视频中各视频帧的顺序,从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像;其中,指定帧图像位于当前帧图像之前;
检测区域确定模块62,用于根据当前帧图像与指定帧图像之间的相应像素点的像素值差,在当前帧图像中确定运动目标的检测区域;
检测模块64,用于将检测区域对应的图像数据输入至预设的目标检测模型中,输出检测区域对应的初始检测结果;
映射模块66,用于将初始检测结果映射至当前帧图像中,得到最终检测结果。
本发明实施例提供的一种运动目标的检测装置,首先根据待检测视频中确定的当前帧图像与指定帧图像之间的相应像素点的像素值差,确定运动目标的检测区域;再将该检测区域对应的图像数据输入至预设的目标检测模型中,得到初始检测结果;最后将该将初始检测结果映射至当前帧图像中,得到最终检测结果。该方式通过两帧图像间的像素值差,可以得到运动目标较为粗糙的检测区域,从而缩小了目标检测模型的检测范围,提高了检测效率;同时检测区域中还剔除了大部分的静态目标,降低了对模型检测动态目标的干扰,从而提高了检测准确度。
上述运动目标的检测装置中的模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。两个或更多个模块可以组合为单个模块,并且任何一个模块可以分成两个或更多个单元。
在一些实施例中,上述当前帧图像对应的指定帧图像包括当前帧图像的前一帧图像,或者与当前帧图像间隔预设帧数的帧图像。
在一些实施例中,上述检测区域确定模块,用于:从当前帧图像与指定帧图像中提取各个像素点的亮度值,得到当前帧图像和指定帧图像分别对应的灰度图像;计算当前帧图像的灰度图像和指定帧图像的灰度图像间相对应像素点的差值;根据计算得到的差值确定当前帧图像中运动目标的检测区域。
在一些实施例中,上述检测区域确定模块,用于:根据预设的二值化阈值,将计算得到的差值进行二值化处理,得到差值对应的二值化图像;根据二值化图像中的非零区域,在当前帧图像中确定运动目标的检测区域。
在一些实施例中,上述检测区域确定模块,用于:将计算得到的差值大于预设的二值化阈值的像素点的像素值置为一,将计算得到的差值小于或等于二值化阈值的像素点的像素值置为零,得到初始二值化图像;对初始二值化图像进行形态学处理,将处理后的初始二值化图像确定为差值计算结果对应的二值化图像。
在一些实施例中,上述检测区域确定模块,用于:计算二值化图像中每个非零区域的区域面积;对于每个非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;将处理后的二值化图像中的非零区域在当前帧图像中的对应区域,标识为运动目标的检测区域。
在一些实施例中,上述装置还包括:继续执行模块,用于如果处理后的二值化图像中所有的像素点均为零,继续执行从待检测视频中确定当前帧图像和当前帧图像对应的指定帧图像的步骤。
在一些实施例中,上述检测区域确定模块,用于:将当前帧图像中,除二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,得到处理后的当前帧图像;为处理后的当前帧图像的非零区域设置预设的标识框,其中,标识框用于标识运动目标的检测区域。
在一些实施例中,上述预设的目标检测模型包括MobileNet-SSD网络或者MTCNN网络。
在一些实施例中,上述检测区域携带有检测区域在当前帧图像中的第一位置信息;初始检测结果包括初始检测结果在检测区域中的第二位置信息;上述映射模块,用于:根据初始检测结果在检测区域中的第二位置信息,以及检测区域在当前帧图像中的第一位置信息,确定初始检测结果在当前帧图像中的第三位置信息;在当前帧图像的第三位置信息对应的位置上设置预设的检测框;检测框用于标识运动目标的最终检测结果。
在一些实施例中,上述运动目标包括行人或者车辆。
本实施例还提供一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行时执行如上述运动目标的检测方法的步骤。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述运动目标的检测方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (24)

1.一种运动目标的检测方法,其特征在于,包括:
根据待检测视频中各视频帧的顺序,从所述待检测视频中确定当前帧图像和所述当前帧图像对应的指定帧图像;其中,所述指定帧图像位于所述当前帧图像之前;
根据所述当前帧图像与所述指定帧图像之间的相应像素点的像素值差,在所述当前帧图像中确定运动目标的检测区域;
将所述检测区域对应的图像数据输入至预设的目标检测模型中,输出所述检测区域对应的初始检测结果;
将所述初始检测结果映射至所述当前帧图像中,得到最终检测结果。
2.根据权利要求1所述的方法,其特征在于,所述当前帧图像对应的指定帧图像包括所述当前帧图像的前一帧图像,或者与所述当前帧图像间隔预设帧数的帧图像。
3.根据权利要求1所述的方法,其特征在于,根据所述当前帧图像与所述指定帧图像之间的相应像素点的像素值差,在所述当前帧图像中确定运动目标的检测区域的步骤,包括:
从所述当前帧图像与所述指定帧图像中提取各个像素点的亮度值,得到所述当前帧图像和所述指定帧图像分别对应的灰度图像;
计算所述当前帧图像的灰度图像和所述指定帧图像的灰度图像间相对应像素点的差值;
根据计算得到的所述差值确定所述当前帧图像中运动目标的检测区域。
4.根据权利要求3所述的方法,其特征在于,根据计算得到的所述差值确定所述当前帧图像中运动目标的检测区域的步骤,包括:
根据预设的二值化阈值,将计算得到的所述差值进行二值化处理,得到所述差值对应的二值化图像;
根据所述二值化图像中的非零区域,在所述当前帧图像中确定运动目标的检测区域。
5.根据权利要求4所述的方法,其特征在于,根据预设的二值化阈值,将计算得到的所述差值进行二值化处理,得到所述差值对应的二值化图像的步骤,包括:
将计算得到的所述差值大于预设的二值化阈值的像素点的像素值置为一,将计算得到的所述差值小于或等于所述二值化阈值的像素点的像素值置为零,得到初始二值化图像;
对所述初始二值化图像进行形态学处理,将处理后的所述初始二值化图像确定为所述差值计算结果对应的二值化图像。
6.根据权利要求4或5所述的方法,其特征在于,根据所述二值化图像中的非零区域,在所述当前帧图像中确定运动目标的检测区域的步骤,包括:
计算所述二值化图像中每个非零区域的区域面积;
对于每个所述非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;
将处理后的二值化图像中的非零区域在所述当前帧图像中的对应区域,标识为运动目标的检测区域。
7.根据权利要求6所述的方法,其特征在于,得到处理后的二值化图像的步骤之后,所述方法还包括:
如果处理后的二值化图像中所有的像素点均为零,继续执行从所述待检测视频中确定当前帧图像和所述当前帧图像对应的指定帧图像的步骤。
8.根据权利要求6所述的方法,其特征在于,将处理后的二值化图像中的非零区域在所述当前帧图像中的对应区域,标识为运动目标的检测区域的步骤,包括:
将所述当前帧图像中,除所述二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,得到处理后的所述当前帧图像;
为处理后的所述当前帧图像的非零区域设置预设的标识框,其中,所述标识框用于标识运动目标的检测区域。
9.根据权利要求1所述的方法,其特征在于,所述预设的目标检测模型包括MobileNet-SSD网络或者MTCNN网络。
10.根据权利要求1所述的方法,其特征在于,所述检测区域携带有所述检测区域在所述当前帧图像中的第一位置信息;所述初始检测结果包括所述初始检测结果在所述检测区域中的第二位置信息;
将所述初始检测结果映射至所述当前帧图像中,得到最终检测结果的步骤,包括:
根据所述初始检测结果在所述检测区域中的第二位置信息,以及所述检测区域在所述当前帧图像中的第一位置信息,确定所述初始检测结果在所述当前帧图像中的第三位置信息;
在所述当前帧图像的所述第三位置信息对应的位置上设置预设的检测框;所述检测框用于标识运动目标的最终检测结果。
11.根据权利要求1所述的方法,其特征在于,所述运动目标包括行人或者车辆。
12.一种运动目标的检测装置,其特征在于,包括:
图像确定模块,用于根据待检测视频中各视频帧的顺序,从所述待检测视频中确定当前帧图像和所述当前帧图像对应的指定帧图像;其中,所述指定帧图像位于所述当前帧图像之前;
检测区域确定模块,用于根据所述当前帧图像与所述指定帧图像之间的相应像素点的像素值差,在所述当前帧图像中确定运动目标的检测区域;
检测模块,用于将所述检测区域对应的图像数据输入至预设的目标检测模型中,输出所述检测区域对应的初始检测结果;
映射模块,用于将所述初始检测结果映射至所述当前帧图像中,得到最终检测结果。
13.根据权利要求12所述的装置,其特征在于,所述当前帧图像对应的指定帧图像包括所述当前帧图像的前一帧图像,或者与所述当前帧图像间隔预设帧数的帧图像。
14.根据权利要求12所述的装置,其特征在于,所述检测区域确定模块,用于:
从所述当前帧图像与所述指定帧图像中提取各个像素点的亮度值,得到所述当前帧图像和所述指定帧图像分别对应的灰度图像;
计算所述当前帧图像的灰度图像和所述指定帧图像的灰度图像间相对应像素点的差值;
根据计算得到的所述差值确定所述当前帧图像中运动目标的检测区域。
15.根据权利要求14所述的装置,其特征在于,所述检测区域确定模块,用于:
根据预设的二值化阈值,将计算得到的所述差值进行二值化处理,得到所述差值对应的二值化图像;
根据所述二值化图像中的非零区域,在所述当前帧图像中确定运动目标的检测区域。
16.根据权利要求15所述的装置,其特征在于,所述检测区域确定模块,用于:
将计算得到的所述差值大于预设的二值化阈值的像素点的像素值置为一,将计算得到的所述差值小于或等于所述二值化阈值的像素点的像素值置为零,得到初始二值化图像;
对所述初始二值化图像进行形态学处理,将处理后的所述初始二值化图像确定为所述差值计算结果对应的二值化图像。
17.根据权利要求15或16所述的装置,其特征在于,所述检测区域确定模块,用于:
计算所述二值化图像中每个非零区域的区域面积;
对于每个所述非零区域,如果该非零区域的区域面积小于预设的面积阈值,将该非零区域的像素点置零,得到处理后的二值化图像;
将处理后的二值化图像中的非零区域在所述当前帧图像中的对应区域,标识为运动目标的检测区域。
18.根据权利要求17所述的装置,其特征在于,所述装置还包括:
继续执行模块,用于如果处理后的二值化图像中所有的像素点均为零,继续执行从所述待检测视频中确定当前帧图像和所述当前帧图像对应的指定帧图像的步骤。
19.根据权利要求17所述的装置,其特征在于,所述检测区域确定模块,用于:
将所述当前帧图像中,除所述二值化图像中的非零区域对应的图像区域以外的区域的像素点置零处理,得到处理后的所述当前帧图像;
为处理后的所述当前帧图像的非零区域设置预设的标识框,其中,所述标识框用于标识运动目标的检测区域。
20.根据权利要求12所述的装置,其特征在于,所述预设的目标检测模型包括MobileNet-SSD网络或者MTCNN网络。
21.根据权利要求12所述的装置,其特征在于,所述检测区域携带有所述检测区域在所述当前帧图像中的第一位置信息;所述初始检测结果包括所述初始检测结果在所述检测区域中的第二位置信息;
所述映射模块,用于:
根据所述初始检测结果在所述检测区域中的第二位置信息,以及所述检测区域在所述当前帧图像中的第一位置信息,确定所述初始检测结果在所述当前帧图像中的第三位置信息;
在所述当前帧图像的所述第三位置信息对应的位置上设置预设的检测框;所述检测框用于标识运动目标的最终检测结果。
22.根据权利要求12所述的装置,其特征在于,所述运动目标包括行人或者车辆。
23.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如权利要求1至11任一所述的运动目标的检测方法的步骤。
24.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至11任一所述的运动目标的检测方法的步骤。
CN201811521035.4A 2018-12-12 2018-12-12 运动目标的检测方法、装置和电子设备 Pending CN110751678A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811521035.4A CN110751678A (zh) 2018-12-12 2018-12-12 运动目标的检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811521035.4A CN110751678A (zh) 2018-12-12 2018-12-12 运动目标的检测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN110751678A true CN110751678A (zh) 2020-02-04

Family

ID=69275695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811521035.4A Pending CN110751678A (zh) 2018-12-12 2018-12-12 运动目标的检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN110751678A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291735A (zh) * 2020-04-30 2020-06-16 华夏天信(北京)智能低碳技术研究院有限公司 基于轨迹分析的井下人员奔跑异常行为检测方法
CN111383244A (zh) * 2020-02-28 2020-07-07 浙江大华技术股份有限公司 一种目标检测跟踪方法
CN111652111A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 一种目标检测方法及相关装置
CN111667508A (zh) * 2020-06-10 2020-09-15 北京爱笔科技有限公司 一种检测方法和相关装置
CN112287805A (zh) * 2020-10-29 2021-01-29 地平线(上海)人工智能技术有限公司 运动物体的检测方法、装置、可读存储介质及电子设备
CN112308871A (zh) * 2020-10-30 2021-02-02 地平线(上海)人工智能技术有限公司 确定视频中目标点的运动速度的方法以及装置
CN112333539A (zh) * 2020-10-21 2021-02-05 清华大学 移动通信网络下的视频实时目标检测方法、终端及服务器
CN112767444A (zh) * 2021-01-19 2021-05-07 杭州萤石软件有限公司 运动目标检测方法、可读存储介质和电子设备
CN113191293A (zh) * 2021-05-11 2021-07-30 创新奇智(重庆)科技有限公司 广告检测方法、装置、电子设备、***及可读存储介质
CN113269705A (zh) * 2020-02-14 2021-08-17 中国石油天然气集团有限公司 基于视频的***下药深度检测方法与装置
CN113313007A (zh) * 2021-05-26 2021-08-27 每日互动股份有限公司 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN113393487A (zh) * 2021-05-26 2021-09-14 深圳市宏电技术股份有限公司 运动目标检测方法、装置、电子设备及介质
CN113554008A (zh) * 2021-09-18 2021-10-26 深圳市安软慧视科技有限公司 静态物体区域内检测方法、装置、电子设备及存储介质
CN113793316A (zh) * 2021-09-13 2021-12-14 合肥合滨智能机器人有限公司 一种超声扫查区域提取方法、装置、设备和存储介质
CN114821677A (zh) * 2022-06-29 2022-07-29 珠海视熙科技有限公司 一种人体检测方法、装置、存储介质及客流统计相机
CN114898175A (zh) * 2022-04-29 2022-08-12 北京九章云极科技有限公司 目标检测方法、装置及相关设备
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、***、介质及电子设备
CN115147450A (zh) * 2022-09-05 2022-10-04 中印云端(深圳)科技有限公司 基于运动帧差图像的移动目标检测方法及检测装置
CN117252903A (zh) * 2023-11-10 2023-12-19 山东通广电子股份有限公司 基于图像处理的运动区域提取方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127887A (zh) * 2007-08-28 2008-02-20 湖南大学 智能视觉监控方法和装置
US20140118716A1 (en) * 2012-10-31 2014-05-01 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
CN104463903A (zh) * 2014-06-24 2015-03-25 中海网络科技股份有限公司 一种基于目标行为分析的行人图像实时检测方法
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127887A (zh) * 2007-08-28 2008-02-20 湖南大学 智能视觉监控方法和装置
US20140118716A1 (en) * 2012-10-31 2014-05-01 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
CN104463903A (zh) * 2014-06-24 2015-03-25 中海网络科技股份有限公司 一种基于目标行为分析的行人图像实时检测方法
CN106991668A (zh) * 2017-03-09 2017-07-28 南京邮电大学 一种天网摄像头拍摄画面的评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘永森: "行人检测与跟踪方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
曹晓娟: "智能交通***中的运动目标检测方法研究", 《消费电子》 *
朱晓旭: "《中文信息处理实验教程》", 30 June 2016, 苏州大学出版社 *
李英龙: "《采选工业***综合建模研究》", 31 October 2001, 云南大学出版社 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269705A (zh) * 2020-02-14 2021-08-17 中国石油天然气集团有限公司 基于视频的***下药深度检测方法与装置
CN111383244A (zh) * 2020-02-28 2020-07-07 浙江大华技术股份有限公司 一种目标检测跟踪方法
CN111383244B (zh) * 2020-02-28 2023-09-01 浙江大华技术股份有限公司 一种目标检测跟踪方法
CN111291735A (zh) * 2020-04-30 2020-06-16 华夏天信(北京)智能低碳技术研究院有限公司 基于轨迹分析的井下人员奔跑异常行为检测方法
CN111652111A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 一种目标检测方法及相关装置
CN111667508A (zh) * 2020-06-10 2020-09-15 北京爱笔科技有限公司 一种检测方法和相关装置
CN111667508B (zh) * 2020-06-10 2023-10-24 北京爱笔科技有限公司 一种检测方法和相关装置
CN112333539A (zh) * 2020-10-21 2021-02-05 清华大学 移动通信网络下的视频实时目标检测方法、终端及服务器
CN112333539B (zh) * 2020-10-21 2022-04-15 清华大学 移动通信网络下的视频实时目标检测方法、终端及服务器
CN112287805A (zh) * 2020-10-29 2021-01-29 地平线(上海)人工智能技术有限公司 运动物体的检测方法、装置、可读存储介质及电子设备
CN112308871A (zh) * 2020-10-30 2021-02-02 地平线(上海)人工智能技术有限公司 确定视频中目标点的运动速度的方法以及装置
CN112308871B (zh) * 2020-10-30 2024-05-14 地平线(上海)人工智能技术有限公司 确定视频中目标点的运动速度的方法以及装置
CN112767444A (zh) * 2021-01-19 2021-05-07 杭州萤石软件有限公司 运动目标检测方法、可读存储介质和电子设备
CN112767444B (zh) * 2021-01-19 2024-05-14 杭州萤石软件有限公司 运动目标检测方法、可读存储介质和电子设备
CN113191293A (zh) * 2021-05-11 2021-07-30 创新奇智(重庆)科技有限公司 广告检测方法、装置、电子设备、***及可读存储介质
CN113313007B (zh) * 2021-05-26 2022-10-14 每日互动股份有限公司 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN113313007A (zh) * 2021-05-26 2021-08-27 每日互动股份有限公司 一种基于视频的行人静止状态识别方法、电子设备及存储介质
CN113393487A (zh) * 2021-05-26 2021-09-14 深圳市宏电技术股份有限公司 运动目标检测方法、装置、电子设备及介质
CN113393487B (zh) * 2021-05-26 2023-12-29 深圳市宏电技术股份有限公司 运动目标检测方法、装置、电子设备及介质
CN113793316A (zh) * 2021-09-13 2021-12-14 合肥合滨智能机器人有限公司 一种超声扫查区域提取方法、装置、设备和存储介质
CN113793316B (zh) * 2021-09-13 2023-09-12 合肥合滨智能机器人有限公司 一种超声扫查区域提取方法、装置、设备和存储介质
CN113554008A (zh) * 2021-09-18 2021-10-26 深圳市安软慧视科技有限公司 静态物体区域内检测方法、装置、电子设备及存储介质
CN113554008B (zh) * 2021-09-18 2021-12-31 深圳市安软慧视科技有限公司 静态物体区域内检测方法、装置、电子设备及存储介质
CN114898175B (zh) * 2022-04-29 2023-03-28 北京九章云极科技有限公司 目标检测方法、装置及相关设备
CN114898175A (zh) * 2022-04-29 2022-08-12 北京九章云极科技有限公司 目标检测方法、装置及相关设备
CN114821677A (zh) * 2022-06-29 2022-07-29 珠海视熙科技有限公司 一种人体检测方法、装置、存储介质及客流统计相机
CN114821677B (zh) * 2022-06-29 2022-10-04 珠海视熙科技有限公司 一种人体检测方法、装置、存储介质及客流统计相机
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、***、介质及电子设备
CN115147450A (zh) * 2022-09-05 2022-10-04 中印云端(深圳)科技有限公司 基于运动帧差图像的移动目标检测方法及检测装置
CN117252903A (zh) * 2023-11-10 2023-12-19 山东通广电子股份有限公司 基于图像处理的运动区域提取方法及***
CN117252903B (zh) * 2023-11-10 2024-04-05 山东通广电子股份有限公司 基于图像处理的运动区域提取方法及***

Similar Documents

Publication Publication Date Title
CN110751678A (zh) 运动目标的检测方法、装置和电子设备
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及***
CN111368788B (zh) 图像识别模型的训练方法、装置及电子设备
CN106778705B (zh) 一种行人个体分割方法及装置
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及***
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN109543647B (zh) 一种道路异常识别方法、装置、设备及介质
CN109740609B (zh) 一种轨距检测方法及装置
EP3220353A1 (en) Image processing apparatus, image processing method, and recording medium
CN109871829B (zh) 一种基于深度学习的检测模型训练方法和装置
CN113223013B (zh) 一种肺血管分段定位的方法、装置、设备及存储介质
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN113554008B (zh) 静态物体区域内检测方法、装置、电子设备及存储介质
CN112749653A (zh) 行人检测方法、装置、电子设备及存储介质
CN110555339A (zh) 一种目标检测方法、***、装置及存储介质
CN109313699A (zh) 用于对一车辆的输入图像进行目标识别的装置和方法
CN114067095A (zh) 基于水尺字符检测识别的水位识别方法
CN114419029A (zh) 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN114120071A (zh) 一种带有对象标注框图像的检测方法
JP2020160840A (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN115713750B (zh) 一种车道线检测方法、装置、电子设备及存储介质
CN112434582A (zh) 一种车道线颜色识别方法、***、电子设备及存储介质
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法
CN114495049A (zh) 识别车道线的方法和装置
US20220284702A1 (en) Estimation program, estimation device, generation method of detection model, learning method, and learning device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200204

RJ01 Rejection of invention patent application after publication