CN112911203B - 获取目标轨迹的摄像机 - Google Patents
获取目标轨迹的摄像机 Download PDFInfo
- Publication number
- CN112911203B CN112911203B CN201911135013.9A CN201911135013A CN112911203B CN 112911203 B CN112911203 B CN 112911203B CN 201911135013 A CN201911135013 A CN 201911135013A CN 112911203 B CN112911203 B CN 112911203B
- Authority
- CN
- China
- Prior art keywords
- target
- monitoring
- monitoring picture
- frame
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种获取目标轨迹的摄像机,包括图像采集单元、存储器和处理器,图像采集单元用于获取多帧监控画面并识别监控画面上的目标,将识别到目标的监控画面发送给处理器,每一帧监控画面均携带有时间信息,时间信息用于指示拍摄监控画面的时间;处理器用于根据每一帧监控画面上识别到的目标,在监控画面上确定目标的位置坐标,存储器用于存储监控画面的时间信息和位置坐标,处理器在检测到目标消失后,根据监控画面上目标的位置坐标确定对应的像素点,并根据监控画面的时间信息一次修改像素点的像素值,以指示目标的运动轨迹和运动方向。本发明实施例无需人工查看监控录像对目标进行追踪,方便快捷。
Description
技术领域
本发明实施例涉及安防监控技术领域,尤其涉及一种获取目标轨迹的摄像机。
背景技术
随着智能化科技的发展,人们对于公共区域的安全性要求越来越高。而视频监控设备是提高公共区域安全性的重要一环,通过视频监控设备能够获取到各个区域的历史或实时监控录像,从而对对应的区域实现良好的监控作用。
现有的区域监控方案通常是在对应的区域例如路口、小区等监控场景安装视频监控设备,视频监控设备能够获取到对应区域的监控录像。在发生事件或需要对目标进行追踪时,通常是由工作人员调取相关的视频监控设备拍摄的监控录像,人工对监控录像进行查看来实现的。当要对目标的轨迹进行追踪时,采取的方案也是通过人工查看监控录像来初步获取目标的移动轨迹,或在对应的地图上对目标的移动轨迹进行标注得到。
现有的方案对目标进行追踪时,通过人工查看监控录像的方式不够便捷,且操作比较麻烦。
发明内容
本发明实施例提供一种获取目标轨迹的摄像机,以解决现有技术需要人工查看监控录像获取目标轨迹时操作比较麻烦的问题。
第一方面,本发明实施例提供一种获取目标轨迹的摄像机,包括图像采集单元、存储器和处理器,所述存储器、所述图像采集单元和所述处理器之间电连接,其中:
所述图像采集单元,用于获取多帧监控画面并识别每一帧所述监控画面上的目标,将识别到目标的监控画面发送给所述处理器,其中,每一帧所述监控画面均携带有时间信息,所述时间信息用于指示拍摄所述监控画面的时间;
所述处理器,用于根据每一帧所述监控画面上识别到的目标,在所述监控画面上确定所述目标的位置坐标;
所述存储器,用于关联存储每一帧所述监控画面的时间信息和所述目标的位置坐标;
响应于所述处理器检测到所述目标消失,所述处理器根据所述监控画面上所述目标的位置坐标,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
在一种可能的实现方式中,所述图像采集单元包括摄像头和芯片,所述摄像头和所述芯片连接,其中:
所述摄像头用于采集监控区域内的监控录像,并将所述监控录像发送给所述芯片,其中,所述摄像头采集的监控录像对应的监控区域不变;
所述芯片用于:根据预设时间间隔获取所述监控录像对应的所述多帧监控画面;根据所述目标的特征识别出每一帧所述监控画面上的目标;采用矩形覆盖框在所述监控画面上标注所述目标,并将通过矩形覆盖框标注所述目标的监控画面发送给所述处理器。
在一种可能的实现方式中,所述处理器具体用于:
根据所述矩形覆盖框得到每一帧监控画面上所述目标的位置坐标;
根据所述监控画面上所述目标的位置坐标和时间信息,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
在一种可能的实现方式中,所述处理器还用于,在根据所述矩形覆盖框得到每一帧监控画面上所述目标的位置坐标之前:
针对每一帧所述处理器当前处理的监控画面,获取所述当前处理的监控画面的矩形覆盖框和所述当前处理的监控画面的前一帧监控画面的矩形覆盖框的交并比;
根据所述交并比和预设值,确定所述当前处理的监控画面上标注的目标与所述当前处理的监控画面的前一帧监控画面上标注的目标为同一目标。
在一种可能的实现方式中,所述处理器具体用于:
针对每一帧监控画面,获取对应的所述矩形覆盖框的几何中心点,将所述矩形覆盖框的几何中心点的坐标确定为所述每一帧监控画面上所述目标的位置坐标;
根据所述监控画面上所述目标的位置坐标和时间信息,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
在一种可能的实现方式中,所述芯片具体用于:
根据所述预设时间间隔获取所述监控录像对应的多帧监控画面;
根据所述目标的特征识别出每一帧所述监控画面上的目标并采用矩形覆盖框在所述监控画面上标注所述目标,直至监控画面上不包括所述目标时,将不包括所述目标的监控画面的上一帧监控画面确定为所述目标最后出现的监控画面,并将多帧包括所述目标的监控画面中、时间信息最早的监控画面确定为目标最先出现的监控画面;
将所有通过矩形覆盖框标注了所述目标的监控画面发送给所述处理器,其中,所述通过矩形覆盖框标注了所述目标的监控画面包括所述目标最先出现的监控画面、所述目标最后出现的监控画面、以及处于所述目标最先出现的监控画面和所述目标最后出现的监控画面之间的监控画面。
在一种可能的实现方式中,若所述通过矩形覆盖框标注了所述目标的监控画面的数量超过预设值,所述处理器具体用于:
根据每一帧监控画面的时间信息,确定所述通过矩形覆盖框标注了所述目标的监控画面中的前第一预设数量帧监控画面和后第二预设数量帧监控画面,其中,所述第一预设数量和所述第二预设数量之和为所述预设值;
根据所述前第一预设数量帧监控画面和所述后第二预设数量帧监控画面上所述目标的位置坐标,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
在一种可能的实现方式中,所述处理器具体用于:
根据每一帧所述监控画面上标注的目标,在每一帧所述监控画面上确定所述目标的位置坐标;
将所述目标最后出现的监控画面划分为多个子画面;
根据所述子画面在所述目标最后出现的监控画面上的位置,获取每个所述子画面的中心坐标;
获取每一帧监控画面上所述目标的位置坐标所在的目标子画面,将所述目标子画面的中心坐标确定为所述目标的轨迹坐标点;
根据每一帧所述目标监控画面上所述目标的轨迹坐标点确定位置坐标对应的像素点,并修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
在一种可能的实现方式中,每个所述子画面的形状均为矩形。
在一种可能的实现方式中,所述处理器还用于:
将所述目标的运动轨迹对应的起点时间和终点时间标注在所述目标最后出现的监控画面上。
本发明实施例提供的获取目标轨迹的摄像机,包括图像采集单元、存储器和处理器,通过图像采集单元获取多帧监控画面并识别每一帧监控画面上的目标,将识别到目标的监控画面发送给处理器,处理器根据每一帧监控画面上识别到的目标,在每一帧监控画面上确定目标的位置坐标。存储器用于存储监控画面以及监控画面上的时间信息和目标的位置坐标。处理器在检测到目标消失时,根据监控画面上目标的位置坐标在目标最后出现的监控画面上确定位置坐标对应的像素点,并根据时间信息的先后顺序依次修改像素点的像素值,以指示目标的运动轨迹和运动方向。本发明实施例提供的摄像机,通过对监控画面上目标的识别,来得到目标在监控画面上的位置,并在监控画面上根据时间信息修改相应像素点的像素值,无需人工对监控录像查看即可得到目标的运动轨迹和运动方向,方便快捷,操作简单。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的获取目标轨迹的摄像机的结构示意图;
图2为本发明又一实施例提供的获取目标轨迹的摄像机的结构示意图;
图3为本发明实施例提供的初始覆盖框和矩形覆盖框的示意图;
图4为本发明实施例提供的获取目标的位置坐标的示意图;
图5为本发明实施例提供的子画面的形状示意图一;
图6为本发明实施例提供的子画面的形状示意图二;
图7为本发明实施例提供的目标运动轨迹和运动方向标示示意图;
图8为本发明实施例提供的目标轨迹标注示意图;
图9为本发明实施例提供的已标注目标轨迹的监控画面图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的获取目标轨迹的摄像机的结构示意图,如图1所示,包括图像采集单元11存储器12和处理器13,所述图像采集单元11、所述存储器12和所述处理器13之间电连接,其中:
所述图像采集单元11用于获取多帧监控画面并识别每一帧所述监控画面上的目标,将识别到目标的监控画面发送给所述处理器13,其中,每一帧所述监控画面均携带有时间信息,所述时间信息用于指示拍摄所述监控画面的时间;
图像采集单元11用于采集图像,得到监控画面,并将监控画面上的目标识别出来。摄像机可以作为监控设备安装于不同的区域,其中,图像采集单元11在摄像机的安装位置确定之后,拍摄的区域不变。同时图像采集单元11还需要识别监控画面上的目标,并将目标进行标注。
具体的,图像采集单元11在采集监控画面时,可以是先采集监控录像,然后根据设定的时间间隔在监控录像中得到多帧监控画面;也可以是以拍照的方式直接获取监控画面,针对同一区域,根据设定的时间间隔拍摄得到多帧监控画面。
其中,采集监控录像和直接采集监控画面时,时间间隔可以根据实际需要设定,同时,从监控录像中得到多帧监控画面和直接拍摄得到多帧监控画面时,任意两张相邻的监控画面之间的时间间隔可以相同,也可以不同。
例如,可以通过监控录像,每隔100ms获取一帧监控画面,也可以每隔100ms对监控区域进行拍摄,得到一帧监控画面。在得到每一帧监控画面时,监控画面上均会携带对应的时间信息。对于根据监控录像得到的监控画面,该时间信息指的是该段监控录像中拍摄到这帧监控画面的时间,对应直接拍摄得到的监控画面,该时间信息指的是拍摄该监控画面的时间。
得到监控画面后,图像采集单元11针对每一帧监控画面,会对目标进行识别,然后将识别到目标的监控画面发送给处理器13。目标可以由用户进行指定,用户可以对目标进行初次标注,然后图像采集单元11根据初次标注的目标的特征,对监控画面中的目标进行识别和标注;用户也可以直接向图像采集单元11发送目标的相关特征,图像采集单元11根据目标的相关特征在监控画面中对目标进行识别和标注。若对于某一帧监控画面,识别不到目标,则不进行任何标注。得到各标注有目标的监控画面后,图像采集单元11会将其发送给处理器13。
所述处理器13用于根据每一帧所述监控画面上识别到的目标,在所述监控画面上确定所述目标的位置坐标。
所述存储器12用于关联存储每一帧所述监控画面的时间信息和所述目标的位置坐标。
处理器13接收到监控画面后,会根据图像采集单元11识别出的目标的位置,确定每一帧监控画面上目标的位置坐标。其中,目标的位置坐标为一个点,而目标是在监控画面上是一个区域,当图像采集单元11识别出目标后,可以在监控画面上对目标进行标注,然后处理器13根据图像采集单元11标注的区域确定目标的位置坐标,可以有多种方式。
例如,若图像采集单元11对目标的标注是规则形状,则可以找出标注的中心点作为目标的位置坐标,若图像采集单元11对目标的标注不规则,则可以找出标注的边界点,例如最上方的点作为目标的位置坐标,等等。
得到了监控画面上目标的位置坐标后,监控画面以及监控画面上的时间信息、目标的位置坐标均会存储在存储器12中,处理器13可根据存储器12中存储的信息对监控画面进行处理。
响应于所述处理器13检测到所述目标消失,所述处理器13根据所述监控画面上所述目标的位置坐标,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
处理器13检测到目标消失后,触发运动轨迹标注操作,其中,处理器13检测到目标消失的方式例如可以为,处理器13在接收图像采集单元11发送的监控画面时,若图像采集单元11没有识别到目标,则不会在监控画面上标注目标,处理器13在接收到第一个没有标注目标的监控画面时,确定目标消失,并将第一个没有标注目标的监控画面的前一帧监控画面确定为目标最后出现的监控画面。
处理器13从存储器12中获取监控画面的时间信息和目标的位置坐标,并根据目标的位置坐标在目标最后出现的监控画面上确定对应的像素点,从而根据时间信息的先后顺序依次修改像素点的像素值,从而指示目标的运动轨迹和运动方向。本发明实施例中,处理器13可以从存储器12中获取所有包括目标的监控画面,也可以从存储器12中只获取部分包括目标的监控画面。
由于图像采集单元11采集的监控画面对应的区域一致,因此某一帧监控画面上目标的位置坐标与对应在目标最后出现的监控画面上的坐标一致。本发明实施例中,位置坐标对应的像素点可以为位置坐标在目标最后出现的监控画面上的单个像素点,也可以是两帧相邻的监控画面上目标的位置坐标在目标最后出现的监控画面上的两个像素点之间的连线的像素点。
确定了位置坐标对应的像素点后,修改像素点的像素值,例如可以将位置坐标对应的像素点的像素值调整为相同或相近的值,从而标示目标的运动轨迹。同时,可以修改目标的运动轨迹中任意像素点周边的像素点的像素值,来指示目标的运动方向。其中,修改后的像素值的具体确定可以根据实际需要,本发明实施例对此不作特别限定。
本发明实施例提供的获取目标轨迹的摄像机,包括图像采集单元、存储器和处理器,通过图像采集单元获取多帧监控画面并识别每一帧监控画面上的目标,将识别到目标的监控画面发送给处理器,处理器根据每一帧监控画面上识别到的目标,在每一帧监控画面上确定目标的位置坐标。存储器用于存储监控画面以及监控画面上的时间信息和目标的位置坐标。处理器在检测到目标消失时,根据监控画面上目标的位置坐标在目标最后出现的监控画面上确定位置坐标对应的像素点,并根据时间信息的先后顺序依次修改像素点的像素值,以指示目标的运动轨迹和运动方向。本发明实施例提供的摄像机,通过对监控画面上目标的识别,来得到目标在监控画面上的位置,并在监控画面上根据时间信息修改相应像素点的像素值,无需人工对监控录像查看即可得到目标的运动轨迹和运动方向,方便快捷,操作简单。
图2为本发明又一实施例提供的获取目标轨迹的摄像机的结构示意图,如图2所示,包括图像采集单元11、存储器12和处理器13,图像采集单元11包括摄像头21和芯片22,所述摄像头21和所述芯片22连接,其中:
所述摄像头21用于采集监控区域内的监控录像,并将所述监控录像发送给所述芯片22,其中,所述摄像头21采集的监控录像对应的监控区域不变。
摄像头21可以为可转动的摄像头,也可以为不可转动的摄像头,在本发明实施例中,针对一次目标的运动轨迹的获取,摄像头21拍摄的监控区域不变。摄像头21针对监控区域,采集对应的监控录像,其中,监控录像完整记录了目标从进入该监控区域到离开该监控区域的过程。得到的监控录像,发送给芯片22。
所述芯片22用于:
根据预设时间间隔获取所述监控录像对应的多帧所述监控画面;
根据所述目标的特征识别出每一帧所述监控画面上的目标;
采用矩形覆盖框在所述监控画面上标注所述目标,并将通过矩形覆盖框标注所述目标的监控画面发送给所述处理器13。
本发明实施例中,监控画面是通过监控录像获取的,根据预设时间间隔获取监控录像对应的多帧监控画面,其中预设时间间隔可以根据实际需要设定,例如可以每隔50ms、80ms或100ms等间隔获取一帧监控画面。
获取监控画面时,预设时间间隔可以是变化的,也可以是一个定值。例如,任意两帧相邻的监控画面对应的时间信息可以相差50ms、60ms、70ms等,任意两帧相邻的监控画面对应的时间信息也可以一直相差50ms。若预设时间间隔是一个定值,则任意两帧监控画面对应的时间信息的差值一致,根据目标移动的位置,可以大致估计目标的移动速度的变化。
得到监控画面后,需要对监控画面上的目标进行识别。在进行识别之前,芯片22首先获取用户在目标最先出现的监控画面上标注的初始覆盖框,其中,目标最先出现的监控画面为多帧监控画面中,目标首次出现的监控画面,用户可以直接在目标最先出现的监控画面上对目标进行标注,得到初始覆盖框,初始覆盖框在目标最先出现的监控画面上覆盖目标。本发明实施例中,提到的目标可以是人,因此,得到初始覆盖框后,芯片22可以通过人体深度学习算法提取初始覆盖框中目标的特征,即人的特征。若目标为其他事物,则可以通过其他的相应算法提取初始覆盖框中目标的特征。
得到目标的特征后,芯片22会根据目标的特征识别出每一帧监控画面上的目标,然后根据识别出的目标在监控画面进行标注。芯片22对目标的标注可以是目标在监控画面上的形状,也可以是其他的形状,例如标注的形状可以为一个矩形覆盖框,该矩形覆盖框用于覆盖监控画面上的目标。优选的,该矩形覆盖框是对应的监控画面上覆盖目标的最小的矩形框。
处理器13需要在检测到目标消失后,触发运动轨迹和运动方向的标示操作。一种可能的方式是,由芯片22来告知处理器13目标消失的信息。具体的,芯片22根据目标的特征识别出每一帧监控画面上的目标并采用矩形覆盖框在监控画面上标注目标,直至监控画面上不包括目标时,将不包括目标的监控画面的上一帧监控画面确定为目标最后出现的监控画面,并将多帧包括目标的监控画面中、时间信息最早的监控画面确定为目标最先出现的监控画面。
然后,将所有通过矩形覆盖框标注了目标的监控画面发送给处理器13,其中,通过矩形覆盖框标注了目标的监控画面包括目标最先出现的监控画面、目标最后出现的监控画面、以及处于目标最先出现的监控画面和目标最后出现的监控画面之间的监控画面。本发明实施例中,处于目标最先出现的监控画面和目标最后出现的监控画面之间的监控画面,为对应的时间信息指示的时间晚于目标最先出现的监控画面的时间信息指示的时间、且早于目标最后出现的监控画面的时间信息指示的时间的监控画面。例如,目标最先出现的监控画面为2019年11月12时00分00秒,目标最后出现的监控画面为2019年11月12时10分00秒,则处于目标最先出现的监控画面和目标最后出现的监控画面之间的监控画面为在2019年11月12时00分00秒-2019年11月12时10分00秒之间的监控画面。
芯片22将得到的矩形覆盖框标注后的监控画面发送给处理器13后,处理器13需要根据矩形覆盖框得到每一帧监控画面上的目标的位置坐标。可选的,在此之前,处理器13还需要对芯片22识别出的目标的正误进行判断。
针对处理器13当前处理的监控画面和当前处理的监控画面的下一帧画面,处理器13会获取到上述两帧监控画面上对应的矩形覆盖框,并根据两个矩形覆盖框来进行目标识别的正误判断。
以处理器13当前处理的监控画面为目标最先出现的监控画面的下一帧监控画面为例,获取目标最先出现的监控画面上的初始覆盖框和处理器13当前处理的监控画面上的矩形覆盖框,其中初始覆盖框是用户标注出的目标,而矩形覆盖框是芯片22在目标最先出现的监控画面的下一帧画面上标注出的目标。
初始覆盖框中的目标即为用户希望追踪的目标,而对目标的正误进行判断即相当于判断目标最先出现的监控画面的下一帧画面中的矩形覆盖框覆盖的目标与初始覆盖框中的目标是否为同一目标。
对目标的正误进行判断采取的方式主要是判断相邻两帧监控画面中目标对应的覆盖框的重合程度。由于监控画面中的目标通常为人,而人的移动速度是有限的。例如,通过监控录像获取监控画面时,任意两帧监控画面相差的时间为毫秒级,因此在这较短的时间内,目标移动的距离也十分有限,因此相邻两帧监控画面上的目标会有部分重合的地方,可据此对目标的正误进行判断。
具体的,处理器13会分别获取初始覆盖框的面积、矩形覆盖框的面积以及初始覆盖框和矩形覆盖框相交的面积。图3为本发明实施例提供的初始覆盖框和矩形覆盖框的示意图,如图3所示,包括初始覆盖框31和矩形覆盖框32,初始覆盖框31和矩形覆盖框32交叉的部分为相交部分33,处理器13会根据初始覆盖框31、矩形覆盖框32和相交部分33,计算初始覆盖框31和矩形覆盖框32的交并比a,计算方式如下:
其中,S为相交部分33的面积,S31为初始覆盖框31的面积,S32为矩形覆盖框32的面积。
当交并比a超过预设值时,可认为目标最先出现的监控画面和目标最先出现的监控画面的下一帧画面上识别出的目标是同一目标。
通过该方式确定目标最先出现的监控画面的下一帧画面上的目标后,针对后续任意两帧相邻的监控画面,都可以采取类似的方式判断后一帧画面上识别出的目标与前一帧画面上识别出的目标是否为同一目标。首先通过目标最先出现的监控画面和目标最先出现的监控画面的下一帧画面来确定目标最先出现的监控画面的下一帧画面上的目标与目标最先出现的监控画面上的目标为同一目标后,依次以前一帧监控画面上的目标为基准,判断后一帧监控画面上的目标与前一帧监控画面上的目标是否为同一目标。
例如,处理器13针对第一监控画面和第二监控画面,可以获取第一监控画面的矩形覆盖框和第二监控画面的矩形覆盖框的交并比,若交并比超过预设值,确定第一监控画面上识别出的目标与第二监控画面识别出的目标为同一目标,其中,第一监控画面为处理器13当前处理的监控画面,第二监控画面为第一监控画面的前一帧监控画面。预设值是一个0-1之间的数,预设值的设定可根据实际需要,此处不作特别限定。
通过这样的方法,每一帧监控画面上识别出的目标,都通过计算这一帧监控画面上的矩形覆盖框和上一帧监控画面上的矩形覆盖框的交并比,来判断识别出的目标是否为同一目标。
当确定每一帧监控画面上识别出的目标为同一目标后,处理器13需要根据标注的矩形覆盖框确定每一帧监控画面上目标的位置坐标。具体的,针对每一帧监控画面,获取对应的矩形覆盖框的几何中心点,然后将矩形覆盖框的几何中心点的坐标确定为每一帧监控画面上目标的位置坐标。图4为本发明实施例提供的获取目标的位置坐标的示意图,如图4所示,包括一帧监控画面40以及位于监控画面40上的目标41和矩形覆盖框42,其中矩形覆盖框42覆盖目标41,而矩形覆盖框42的几何中心点O即为监控画面40上目标41的位置。
O点的位置为矩形覆盖框42的对角线焦点,而O点的坐标可以根据矩形覆盖框42的四个顶点确定。假设矩形覆盖框42的四个顶点的坐标分别为A(x1,y1)、B(x2,y1)、C(x1,y2)和D(x2,y2),则O点的坐标为:
O((x1+x2)/2,(y1+y2)/2)。
处理器13先获取矩形覆盖框42的四个顶点的坐标,然后根据四个顶点的坐标得到目标的位置坐标。
处理器13得到每一帧监控画面上目标的位置坐标后,结合每一帧监控画面的时间信息来得到监控画面上的目标轨迹。
由于实际中目标移动时,可能在一个地点附近不断徘徊,从而导致轨迹容易混乱,为避免该问题,本发明实施例中采用的方法是,处理器13将目标最后出现的监控画面划分为多个子画面。划分的方式有多种,但是得到的多个子画面互不重叠,且拼起来正好得到监控画面。得到子画面后,获取每个子画面的中心坐标,例如,若子画面为规则几何图形,则中心坐标为子画面的几何中心。
在划分的时候,优选的是将监控画面划分为大小相等且形状规则的子画面,便于后续计算。例如,子画面的形状可以为矩形、三角形和六边形等。图5为本发明实施例提供的子画面的形状示意图一,如图5所示,子画面的形状为等边三角形。根据每个等边三角形的三个顶点的坐标,能够确定每个子画面的中心坐标。
但是,将子画面划分为等边三角形时,由于监控画面的长宽比例有多种可能,因此在划分的时候,在监控画面的边缘部分会留有一些不规则的形状,不容易进行划分,若按照这种划分方式,则在监控画面的边缘部分可能需要用户单独对其进行划分,并指定中心坐标。
为避免这种问题,本发明实施例提供一种方案,将子画面的形状设置为矩形。图6为本发明实施例提供的子画面的形状示意图二,如图6所示,以1920*1080分辨率为例,将画面分辨率分割成100*100的子画面。取100*100的矩形区域的中心点为子画面的中心坐标。每个子画面的形状都为矩形。
在图6中,大部分的子画面的形状和大小都相同,仅在右边界和下边界部分可能会存在子画面的形状和大小与其他部分不同的情况,但右边界和下边界部分仍可划分为对应的矩形。
对于边缘无法分割成100*100的方块,取当前方形区域的几何中心点即可。这样,摄像机画面就会分割成220个子画面。
然后获取每一帧监控画面上目标的位置坐标所在的目标子画面,将目标子画面的中心坐标确定为目标的轨迹坐标点。即,对于目标位置在当前的100*100方格内,记录当前的方格中心位置作为目标的轨迹位置。目标在方格中的位置变化,不重复记录。
得到轨迹坐标点后,处理器13根据轨迹坐标点确定对应的像素点,并根据时间信息的先后顺序依次修改像素点的像素点,来标示目标的运动轨迹和运动方向。同时,处理器12还可以将目标运动轨迹对应的起点时间和终点时间标注在目标最后出现的监控画面上。
图7为本发明实施例提供的目标运动轨迹和运动方向标示示意图,如图7所示,包括目标最后出现的监控画面71,在监控画面71中标示了7个像素点,这7个像素点是根据多帧监控画面上目标的位置坐标得到的,这7个像素点的时间信息分别为:
A-2019-11-11 12:00:00,B-2019-11-11 12:00:01,C-2019-11-11 12:00:02,D-2019-11-11 12:00:03,E-2019-11-11 12:00:04,F-2019-11-11 12:00:05,G-2019-11-1112:00:06。
在监控画面71中,每个方块代表一个像素点,其中位置坐标对应的像素点可以为上述7个像素点,也可以是包括这7个像素点之外的其他像素点。例如,根据这7个像素点的时间信息,对7个像素点进行连线,将连线经过的像素点确定为位置坐标对应的像素点,如图7中的黑色方块所示。从而,黑色方块表示了目标的运动轨迹。需要说明的是,图7中以黑色方块示例目标的运动轨迹仅仅是对像素值修改的一种举例,实际像素值的修改并不限定为将像素点改为黑色像素点。
进一步的,可以修改运动轨迹像素点的周边像素点,来表示目标的运动方向,例如,修改G点附近的像素点的像素值,形成一个箭头方向,来表示目标离开监控画面时的运动方向。
目标轨迹的标注是在目标离开摄像机画面时候触发,针对单个目标,当目标进入监控画面以后,就要记录目标的坐标信息,本发明实施例中,当通过矩形覆盖框标注了目标的监控画面的数量超过预设值时,处理器13可对部分监控画面进行舍弃。具体的,根据每一帧监控画面的时间信息,确定通过矩形覆盖框标注了目标的监控画面中的前第一预设数量帧监控画面和后第二预设数量帧监控画面,其中,第一预设数量和第二预设数量之和为预设值。
然后,根据前第一预设数量帧监控画面和后第二预设数量帧监控画面上目标的位置坐标,在目标最后出现的监控画面上确定位置坐标对应的像素点,并依照时间信息先后顺序依次修改像素点的像素值,以使得修改后的像素点指示目标的运动轨迹和运动方向。
以预设值为230为例,其中,前第一预设数量帧监控画面中包含目标初始进入监控画面的信息,后第二预设数量帧监控画面中包含目标最后离开监控画面的信息,对于目标的运动轨迹标示较为重要,需要保留。
具体过程如下:
S1,在目标进入监控画面时候,记录目标的5个轨迹坐标点:a1(x1,y1),a2(x2,y2),a3(x3,y3),a4(x4,y4),a5(x5,y5),以及进入摄像机画面时的时间t1。
本发明实施例中,前第一预设数量为5,其中,a1对应的是目标最先出现的监控画面上目标的轨迹坐标点,t1对应的是目标最先出现的监控画面的时间。
S2,记录目标在摄像机画面中的区域的轨迹坐标点:b1(x6,y6),b2(x7,y7),3(x8,y8)…bn(xn+5,yn+5)。
预设值为230,中间段记录的最大值为220个点,超过220个点,后面的坐标将覆盖前面的坐标点。
S3,记录目标在离开摄像机画面前的5个轨迹坐标点:c1(xn+6,yn+6),c2(xn+7,yn+7),c3(xn+8,yn+8),c4(xn+9,yn+9),c5(xn+10,yn+10),以及目标离开画面的时间t2。
其中,c5对应的是目标最后出现的监控画面上目标的轨迹坐标点,t2对应的是目标最后出现的监控画面的时间。
220个中间段记录的轨迹坐标点和5个目标在离开摄像机的监控画面前的轨迹坐标点,构成第二预设数量个坐标点。
S4,将a1,a2…a5顺序连接起来,并用箭头从a1指向a5,形成目标进入监控画面时候的方向。
其中,目标的进入方向可以由a1以及a1后的几个点来决定,本发明实施例中的a5仅为一个可能的例子,也可以从a1指向a3、a4或a6等,可根据实际需要确定。其中,目标进入监控画面时候的方向也可以通过修改部分像素点的像素值来实现,例如,可以修改a1至a5之间的连线经过的像素点的像素值,以及连线附近的像素点的像素值,形成一个标示箭头,指示目标进入监控画面时候的方向。
S5,在进入箭头右侧标注“进入时间:t1”。
S6,将a5和b1,b2…bn连接起来,形成目标在摄像机监控画面中的完整轨迹。
S7,将bn和c1,c2…c5顺序串联起来,用用箭头从c1指向c5,形成目标离开监控画面时候的方向。
本发明实施例中所指的记录的位置坐标之间的连线均可理解为根据位置坐标的像素点修改部分像素点的像素值,从而指示目标的运动轨迹或运动方向。
其中,目标的离开方向可以由c5以及c5前的几个点来决定,本发明实施例中的c1仅为一个可能的例子,也可以从c2、c3或c4等指向c5,可根据实际需要确定。
S8,在离开箭头右侧标注“离开时间t2”。
图8为本发明实施例提供的目标轨迹标注示意图,如图8所示,将各个点连接起来后,得到目标轨迹,目标轨迹反映了目标在监控画面上的移动轨迹,同时能够根据目标轨迹得到目标的进入和离开方向,以及进入和离开时间。图9为本发明实施例提供的已标注目标轨迹的监控画面图,如图9所示,其中目标为画面中骑电动车的人,图9中的虚线为目标的移动轨迹。从图9中可以清晰获知目标在监控画面中经过的地方。
本发明实施例提供的获取目标轨迹的摄像机,包括图像采集单元、存储器和处理器,通过图像采集单元获取多帧监控画面并识别每一帧监控画面上的目标,将识别到的目标的监控画面发送给处理器,处理器根据每一帧监控画面上识别到的目标,在每一帧监控画面上确定目标的位置坐标,在确定目标的位置坐标之前,处理器还会对识别出的目标的正确性进行判断,并根据每一帧监控画面上目标的位置坐标和每一帧监控画面的时间信息,在目标最后出现的监控画面上修改相应像素点的像素值,来指示目标的运动轨迹和运动方向。本发明实施例提供的摄像机,通过对监控画面上目标的识别,来得到目标在监控画面上的位置,并将监控画面划分为多个子画面,将目标在监控画面上的位置对应的子画面的中心点作为目标的轨迹坐标点,以避免目标在同一个位置附近徘徊而造成轨迹混乱。最后在监控画面上根据时间信息来依次修改像素点的像素值,从而得到目标的运动轨迹和运动方向。无需人工对监控录像进行查看,操作方便快捷。
最后应说明的是:以上各实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述各实施例对本发明实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例方案的范围。
Claims (9)
1.一种获取目标轨迹的摄像机,其特征在于,包括图像采集单元、存储器和处理器,所述存储器、所述图像采集单元和所述处理器之间电连接,其中:
所述图像采集单元,用于获取多帧监控画面并识别每一帧所述监控画面上的目标,将识别到目标的监控画面发送给所述处理器,其中,每一帧所述监控画面均携带有时间信息,所述时间信息用于指示拍摄所述监控画面的时间;
所述处理器,用于根据每一帧所述监控画面上识别到的目标,在所述监控画面上确定所述目标的位置坐标;
所述存储器,用于关联存储每一帧所述监控画面的时间信息和所述目标的位置坐标;
响应于所述处理器检测到所述目标消失,所述处理器将所述目标最后出现的监控画面划分为多个子画面;
根据所述子画面在所述目标最后出现的监控画面上的位置,获取每个所述子画面的中心坐标;
获取每一帧监控画面上所述目标的位置坐标所在的目标子画面,将所述目标子画面的中心坐标确定为所述目标的轨迹坐标点;
根据每一帧所述目标监控画面上所述目标的轨迹坐标点确定位置坐标对应的像素点,并修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
2.根据权利要求1所述的摄像机,其特征在于,所述图像采集单元包括摄像头和芯片,所述摄像头和所述芯片连接,其中:
所述摄像头用于采集监控区域内的监控录像,并将所述监控录像发送给所述芯片,其中,所述摄像头采集的监控录像对应的监控区域不变;
所述芯片用于:根据预设时间间隔获取所述监控录像对应的所述多帧监控画面;根据所述目标的特征识别出每一帧所述监控画面上的目标;采用矩形覆盖框在所述监控画面上标注所述目标,并将通过矩形覆盖框标注所述目标的监控画面发送给所述处理器。
3.根据权利要求2所述的摄像机,其特征在于,所述处理器具体用于:
根据所述矩形覆盖框得到每一帧监控画面上所述目标的位置坐标;
根据所述监控画面上所述目标的位置坐标和时间信息,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
4.根据权利要求3所述的摄像机,其特征在于,所述处理器还用于,在根据所述矩形覆盖框得到每一帧监控画面上所述目标的位置坐标之前:
针对每一帧所述处理器当前处理的监控画面,获取所述当前处理的监控画面的矩形覆盖框和所述当前处理的监控画面的前一帧监控画面的矩形覆盖框的交并比;
根据所述交并比和预设值,确定所述当前处理的监控画面上标注的目标与所述当前处理的监控画面的前一帧监控画面上标注的目标为同一目标。
5.根据权利要求3所述的摄像机,其特征在于,所述处理器具体用于:
针对每一帧监控画面,获取对应的所述矩形覆盖框的几何中心点,将所述矩形覆盖框的几何中心点的坐标确定为所述每一帧监控画面上所述目标的位置坐标;
根据所述监控画面上所述目标的位置坐标和时间信息,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
6.根据权利要求2所述的摄像机,其特征在于,所述芯片具体用于:
根据所述预设时间间隔获取所述监控录像对应的多帧监控画面;
根据所述目标的特征识别出每一帧所述监控画面上的目标并采用矩形覆盖框在所述监控画面上标注所述目标,直至监控画面上不包括所述目标时,将不包括所述目标的监控画面的上一帧监控画面确定为所述目标最后出现的监控画面,并将多帧包括所述目标的监控画面中、时间信息最早的监控画面确定为目标最先出现的监控画面;
将所有通过矩形覆盖框标注了所述目标的监控画面发送给所述处理器,其中,所述通过矩形覆盖框标注了所述目标的监控画面包括所述目标最先出现的监控画面、所述目标最后出现的监控画面、以及处于所述目标最先出现的监控画面和所述目标最后出现的监控画面之间的监控画面。
7.根据权利要求6所述的摄像机,其特征在于,若所述通过矩形覆盖框标注了所述目标的监控画面的数量超过预设值,所述处理器具体用于:
根据每一帧监控画面的时间信息,确定所述通过矩形覆盖框标注了所述目标的监控画面中的前第一预设数量帧监控画面和后第二预设数量帧监控画面,其中,所述第一预设数量和所述第二预设数量之和为所述预设值;
根据所述前第一预设数量帧监控画面和所述后第二预设数量帧监控画面上所述目标的位置坐标,在所述目标最后出现的监控画面上确定所述位置坐标对应的像素点,并依照所述时间信息先后顺序依次修改所述像素点的像素值,以使得修改后的像素点指示所述目标的运动轨迹和运动方向。
8.根据权利要求1所述的摄像机,其特征在于,每个所述子画面的形状均为矩形。
9.根据权利要求1-8任一项所述的摄像机,其特征在于,所述处理器还用于:
将所述目标的运动轨迹对应的起点时间和终点时间标注在所述目标最后出现的监控画面上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911135013.9A CN112911203B (zh) | 2019-11-19 | 2019-11-19 | 获取目标轨迹的摄像机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911135013.9A CN112911203B (zh) | 2019-11-19 | 2019-11-19 | 获取目标轨迹的摄像机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112911203A CN112911203A (zh) | 2021-06-04 |
CN112911203B true CN112911203B (zh) | 2022-04-26 |
Family
ID=76103486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911135013.9A Active CN112911203B (zh) | 2019-11-19 | 2019-11-19 | 获取目标轨迹的摄像机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112911203B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837084A (zh) * | 2021-09-24 | 2021-12-24 | 上海商汤智能科技有限公司 | 识别方法、装置、电子设备及计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005012415A (ja) * | 2003-06-18 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ |
CN102118611A (zh) * | 2011-04-15 | 2011-07-06 | 中国电信股份有限公司 | 运动目标的数字视频监控方法与***、数字视频监控平台 |
CN106919902A (zh) * | 2017-01-19 | 2017-07-04 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于cnn的车辆识别和轨迹追踪方法 |
CN108229407A (zh) * | 2018-01-11 | 2018-06-29 | 武汉米人科技有限公司 | 一种视频分析中的行为检测方法与*** |
CN108257146A (zh) * | 2018-01-15 | 2018-07-06 | 新疆大学 | 运动轨迹显示方法及装置 |
CN109409289A (zh) * | 2018-10-26 | 2019-03-01 | 国网四川省电力公司电力科学研究院 | 一种电力作业安全监督机器人安全作业识别方法及*** |
CN109582824A (zh) * | 2018-12-29 | 2019-04-05 | 深圳英飞拓科技股份有限公司 | 一种基于视频结构化的区域安全管理***及方法 |
CN109922310A (zh) * | 2019-01-24 | 2019-06-21 | 北京明略软件***有限公司 | 目标对象的监控方法、装置及*** |
CN110263613A (zh) * | 2019-04-25 | 2019-09-20 | 深圳市商汤科技有限公司 | 监控视频处理方法及装置 |
-
2019
- 2019-11-19 CN CN201911135013.9A patent/CN112911203B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005012415A (ja) * | 2003-06-18 | 2005-01-13 | Matsushita Electric Ind Co Ltd | 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ |
CN102118611A (zh) * | 2011-04-15 | 2011-07-06 | 中国电信股份有限公司 | 运动目标的数字视频监控方法与***、数字视频监控平台 |
CN106919902A (zh) * | 2017-01-19 | 2017-07-04 | 南京邮电大学盐城大数据研究院有限公司 | 一种基于cnn的车辆识别和轨迹追踪方法 |
CN108229407A (zh) * | 2018-01-11 | 2018-06-29 | 武汉米人科技有限公司 | 一种视频分析中的行为检测方法与*** |
CN108257146A (zh) * | 2018-01-15 | 2018-07-06 | 新疆大学 | 运动轨迹显示方法及装置 |
CN109409289A (zh) * | 2018-10-26 | 2019-03-01 | 国网四川省电力公司电力科学研究院 | 一种电力作业安全监督机器人安全作业识别方法及*** |
CN109582824A (zh) * | 2018-12-29 | 2019-04-05 | 深圳英飞拓科技股份有限公司 | 一种基于视频结构化的区域安全管理***及方法 |
CN109922310A (zh) * | 2019-01-24 | 2019-06-21 | 北京明略软件***有限公司 | 目标对象的监控方法、装置及*** |
CN110263613A (zh) * | 2019-04-25 | 2019-09-20 | 深圳市商汤科技有限公司 | 监控视频处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112911203A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230403470A1 (en) | Video surveillance system and video surveillance method | |
US10515471B2 (en) | Apparatus and method for generating best-view image centered on object of interest in multiple camera images | |
CN106791710B (zh) | 目标检测方法、装置和电子设备 | |
US8879786B2 (en) | Method for detecting and/or tracking objects in motion in a scene under surveillance that has interfering factors; apparatus; and computer program | |
JP6403687B2 (ja) | 監視システム | |
US20100128983A1 (en) | Imaging system and imaging method | |
JP6512793B2 (ja) | 撮像装置、監視カメラシステム、撮像装置の制御方法およびプログラム | |
JP6240016B2 (ja) | 追跡装置および追尾システム | |
JP5771039B2 (ja) | 放置人物検出装置 | |
CN112911203B (zh) | 获取目标轨迹的摄像机 | |
CN111696365A (zh) | 一种车辆跟踪*** | |
JP5370009B2 (ja) | 監視システム | |
JP7030451B2 (ja) | 画像処理装置 | |
CN114140745A (zh) | 施工现场人员属性检测方法、***、装置及介质 | |
CN108460319B (zh) | 异常人脸检测方法及装置 | |
CN110244923B (zh) | 一种图像显示方法及装置 | |
US11463632B2 (en) | Displaying a video stream | |
JP2009147607A (ja) | 人物追尾装置 | |
JP2021185663A (ja) | 映像監視装置、映像監視方法及びプログラム | |
JP2019096062A (ja) | 物体追跡装置、物体追跡方法、および、物体追跡プログラム | |
CN110930437B (zh) | 目标跟踪方法和装置 | |
JP5701657B2 (ja) | 異常検知装置 | |
JP2006285399A (ja) | 交差点における車両の動きを監視するための映像監視方法及び装置 | |
EP3713211B1 (en) | Control apparatus control program | |
JP2006041939A (ja) | 監視装置及び監視プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |