CN109104561B - 用于追踪场景中的移动对象的***及方法 - Google Patents

用于追踪场景中的移动对象的***及方法 Download PDF

Info

Publication number
CN109104561B
CN109104561B CN201810619743.5A CN201810619743A CN109104561B CN 109104561 B CN109104561 B CN 109104561B CN 201810619743 A CN201810619743 A CN 201810619743A CN 109104561 B CN109104561 B CN 109104561B
Authority
CN
China
Prior art keywords
hyper
overview
objects
ptz camera
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810619743.5A
Other languages
English (en)
Other versions
CN109104561A (zh
Inventor
雅各布·贡佩尔特
莱夫·佩尔松
罗宾·达尔斯特伦
马蒂亚斯·吉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109104561A publication Critical patent/CN109104561A/zh
Application granted granted Critical
Publication of CN109104561B publication Critical patent/CN109104561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了用于追踪场景中的移动对象的***及方法。***包括布置为捕获场景的第一部分的第一概览的第一概览单元和布置为捕获场景的第二部分的第二概览的第二概览单元，第一部分和第二部分可以部分重叠。***还包括能够平移、倾斜及变焦的PTZ摄像头以对场景的第一或第二部分中的选择对象成像。第一及第二概览单元配置为对场景中的移动对象进行检测并定位，并将所述移动对象的位置数据传输给控制单元。控制单元配置为将所述位置数据用作输入，并确定是否可使用所述PTZ摄像头的单个视野来对两个以上可移动对象成像，以及发送指令给PTZ摄像头以采取第一变焦设置，并且移动到第一平移位置和第一倾斜位置以便同时对所述两个以上可移动对象成像。

Description

用于追踪场景中的移动对象的***及方法
技术领域
本发明涉及一种用于追踪场景中的移动对象的***，并且涉及一种用于执行所述追踪的方法。
背景技术
监控摄像头被普遍用于对建筑物、道路、商店及各种其它地方进行监控。具体来讲，经常将摄像头用于监控场景，以允许自动检测或追踪形式为存在运动或存在具有特定类型的物体的事件。此类监控摄像头能够用于室内及室外。
接近本发明的背景，存在由具有宽视场的一个以上固定布置的摄像头和实现窄视场(具有提高的变焦)的平移-倾斜-变焦摄像头(PTZ摄像头)组成的摄像头布置。在使用此类摄像头布置时，操作者可以将固定布置的摄像头用作用于概览图像的输入，并且随后利用PTZ摄像头来获取位于该概览图像中(即位于成像的场景中)的特定对象的详细视图。用户可以点击概览图像中的位置，由此将PTZ摄像头移动到该特定位置。通过定义位置及大小(例如通过点击或拖动)，可以指定已在该概览图像中的期望的平移位置、倾斜位置和变焦设置。US2013/0162838中公开了此类***。
具有上面描述的功能的***的操作将需要从概览图像(其可以包括数个摄像头的视野)的坐标转换到用于PTZ摄像头的平移、倾斜及变焦参数。可以自动或手动地执行该校准，并且结果可以是一种可以将来自通常由静态布置的摄像头获取的概览图像的信息用于控制通常为PTZ摄像头的可移动摄像头的***。在US5434617中找到此类***的早期公开。
在将PTZ摄像头自动地引导到由概览摄像头检测到的对象的安装中，第二对象一进入概览场景就可能存在问题，因为不得不进行某种选择；例如，维持第一对象的视野作为默认情况，转移至第二对象作为默认情况，或开始两个对象之间的切换作为默认情况。
本发明涉及此技术领域中的改进，尤其是当追踪两个以上对象时。
发明内容
鉴于上述内容，因此本发明的目标是在追踪两个以上对象时提供有效和可靠的支持。根据本发明，这可以由一种用于追踪场景中的移动对象的***提供。该***包括布置为捕获场景的第一部分的第一概览的第一概览单元和布置为捕获场景的第二部分的第二概览的第二概览单元。第一部分和第二部分可以部分重叠。该***另外包括PTZ摄像头，其能够平移、倾斜及变焦，以便对场景的第一部分或第二部分中的选择对象进行成像。第一概览单元和第二概览单元配置为对该场景中的移动对象进行检测和定位，并且将所述移动对象的位置数据传输给控制单元。控制单元配置为将所述位置数据用作输入，并确定是否可以使用PTZ摄像头的单个视野来对两个以上移动对象进行成像，以及发送指令给PTZ摄像头，以采取第一变焦设置并移动到第一平移位置和第一倾斜位置，以便对所述两个以上移动对象进行成像。在任一实施例中，第一对象可以由第一概览单元检测，而第二对象可以由第二概览单元检测。
根据本发明的***将实现用于追踪较大场景中的两个以上对象的自动和优化支持。
在一个以上实施例中，在确定是否可以在单个视野中对两个以上可移动对象进行成像时，控制单元利用最小变焦级别或用户定义的变焦级别。最小变焦级别与可能用PTZ摄像头覆盖的最宽视场相对应。如果对象进一步分离，则不可能在单个PTZ视野中覆盖它们。在一些实施例中，使用最小变焦级别可能是不可取的，并且于是用户可以定义应该构成下限的变焦级别。一种原因可以是个体应该大得足以识别，号码牌应该大得足以读取，等等。
在典型的实施例中，将所述两个以上移动对象定义为超对象，即在同一超对象中包括若干可移动对象，并且将该超对象作为具有大小、移动等的单个对象对待。此类超对象可以不包括在场景中检测到的所有对象，如将在具体实施方式中详述的。
在一个以上实施例中，可以将此类超对象的中心点定义为两个以上移动对象的几何中心。如果将超对象定义为能够包围超对象中包含的所有对象的最小矩形的大小，则该中心点将是矩形的中心。如果将PTZ摄像头的平移位置和倾斜位置设置成将该PTZ摄像头导向中心点，这方便地造成变焦级别对于该超对象将是最优的，“最优”意指它将尽可能地进行画面拉近(zoom in)，同时在其视场中仍然包含整个超对象。
在任一实施例中，第一概览单元和第二概览单元可以将位置数据连续地传输给控制单元，使得控制单元可以连续地对PTZ摄像头的平移、倾斜及变焦设置进行调整。此类方法将使控制单元能够跟进成像的场景的任意发展。尽管典型的图像帧率可以是每秒60帧(fps)或30fps，控制单元还是不一定必须例如以10Hz或5Hz时常更新PTZ摄像头的位置。
控制单元可以将场景中的三个以上对象形成为若干超对象，并且优选的是一个对象仅能形成单个超对象的一部分，但是可以存在对象可以形成多于一个的超对象的一部分的实例。这将在具体实施方式中简要论及。
在一个或数个实施例中，控制单元可以配置为根据从包含但不限于下列项的群组中选择的一组准则来布置若干超对象的优先化：每个超对象的大小应该相等或近似相等、每个对象应该形成一个且仅一个超对象的一部分、每个超对象应该与另一超对象共同具有至少一个对象、超对象的数目应该最小化、当前的超对象与随后的超对象之间的距离应该最小化、具有较长存在期的超对象被认为更相关、当内部的对象偏离太远时才对超对象进行划分、位于排除区中的对象或超对象应该被忽略或具有低优先级、位于“优先区”中的对象或超对象应该有较高的优先级，或上述项的组合。
一旦定义了若干超对象，在一些实施例中控制单元可以配置为布置电子巡更(guard tour)，意指它针对PTZ摄像头进行布置以在对一个接一个超对象进行成像之间转变。以此方式，操作者将能够观察到概览上的一连串事件，但操作者还将受益于看到场景的对象的特写成像(close-up imaging)。基于用于超对象的优先级值来对设定的次序进行设置。以此方式，操作者可以使用自动设置或定义自己的设置以进行优先化，并且电子巡更将反映此优先化。
在一个或数个实施例中，每个概览单元可以配置为估计检测到的可移动对象的大小，并且控制单元可以在评估对象时考虑该大小。这将是区分不同的对象类别的粗略方法。可以将具有某一大小的对象分类为人，而可以将较大的对象分类为车并且将较小的对象分类为动物。当优先化对象和超对象时，可以使用此分类。
在更详细的实施例中，概览单元或相关联的处理器包括用于对象分类的算法，该算法可以产生更精细和可靠的分类。在任一实施例中，可以将认为不相关的对象从超对象的形成中排除。
优选的是概览单元与概览摄像头相对应，而本公开不排除能够被替代地使用的雷达单元或激光雷达单元。雷达和激光雷达设备是通用的定位设备，其可以以已证实的可靠性来检测场景中的对象的位置和速率，进一步，在这些设备处检测到的反射信号的强度可以用于与检测到的对象的大小相关的对象分类。在作为用于基于视频分析的许多监控***的情况的场景中，这些设备不容易出现因类似于例如阴影的照明伪像(lightingartefact)而导致的错误的对象检测，这进而产生使它们成为可行的替代方案的优点。
根据另一方面，本发明涉及一种用于用根据一个以上公开的实施例的***对场景中的可移动对象进行追踪的方法。该***因而包括第一概览单元和第二概览单元以及PTZ摄像头，并且该方法包括：用第一概览单元对对象进行检测和定位，将移动对象的第一位置数据从第一概览单元传输到控制单元，用第二概览单元对对象进行检测和定位，将移动对象的第二位置数据从第二概览单元传输到控制单元，在控制单元中，将第一位置数据与第二位置数据进行组合，以形成用于超对象的位置数据，将超对象的位置数据与PTZ摄像头范围的数据进行比较，并且如果确定超对象在PTZ摄像头的范围内，则控制PTZ摄像头以对超对象进行成像。
超对象的位置数据可以包括超对象的大小和超对象的平移位置及倾斜位置。
可以将该方法调整为能够包括根据创造性***的一个或任意实施例的该创造性***的所有变体。
附图说明
现在将通过示例并参考所附的示意性附图来更详细地描述本发明，在附图中：
图1示意性示出包括来自两个概览摄像头的视图的概览。
图2示出包括两个概览摄像头和一个PTZ摄像头的***。
图3为如由PTZ摄像头所成像的图1的特写视图(close-up view)。
图4A-图4D为示出超对象的演变的一系列视图。
图5为示出根据本发明的一个实施例的方法的流程图。
具体实施方式
图1示出场景的概览102。概览102为复合图像，该复合图像包括来自图2所示的两个以上概览摄像头204、206的图像数据。复合特征由两个虚线矩形104、106示出，每个表示来自一个概览摄像头(分别为204和206)的视图。重叠区域108(由多于一个的摄像头成像的区域)的大小可以在大的重叠与没有重叠或实质上没有重叠之间变化。在重叠区域中，可以将来自每个摄像头的图像数据进行混合，或者人们可以仅使用来自单个摄像头的图像数据。该组合通常被称作“混合”或“缝合”，但因为它不是本申请的重点，因此将不再进一步提及它。在也包括PTZ摄像头210的***200中包括两个以上摄像头204、206，并且概览摄像头206、204中的每个具有比用PTZ摄像头210可获取的最小视场更宽的视场。而且，PTZ摄像头具有光学变焦能力，该光学变焦能力实现画面拉近(zoom in)以获得比用概览摄像头204、206可能获得的放大率更大的放大率，并且实现画面拉远(zoom out)以动态调整场景中的变化。
概览摄像头可以优选地为具有场景的固定焦距和固定视场的数字监控摄像头。
图2的***中包括的摄像头的组合的目的是使操作者能够获得要被监视的区域的概览(在概览摄像头204、206的辅助下)，同时还使得操作者能够获得要被监视的区域内的对象或区域的详细特写视图(在PTZ摄像头210的辅助下)，如图3所示。
而且，概览摄像头可以用于对场景中的对象进行数字追踪，这可以意味着将对象检测算法用于找到并追踪成像的场景中的移动区域，或通过检测可辨别的特征来检测对象。可以用公知的矩形、多边形或边界框对区域进行标记，从而指示移动中的对象的边界或几何中心点。这由图1中的矩形112、114所限定的两个个体来指示。数字变焦可以用于提取概览图像的电子变焦的部分，然而为了较高质量的成像，将PTZ摄像头210用作优选方案。PTZ摄像头210包括实现自动(或用户控制)的平移运动和倾斜运动的PT电机，以及实现自动(或用户控制)的光学变焦的变焦电机。
该***进一步包括用于实现***的控制的控制单元216。可以用数种不同方式来体现控制单元，并且可以将硬件布置于数个不同的位置中，然而用于本发明的目的的功能特征是从概览摄像头接收数据，并输出数据用于控制PTZ摄像头。在图2中，将控制单元示为分离的设备，并且它实际上可以以此种方式布置，但它也可以形成摄像头(204，206，210)中的一个摄像头的处理单元的一部分，或布置成与摄像头布置远离，诸如被集成在视频管理***中。在所公开的大多数实施例中，PTZ摄像头被布置为紧邻概览摄像头，甚至在同一布置中。这使得能够使用针对该布置获取的校准数据将概览摄像头中的位置容易地转换为PTZ摄像头的坐标系中的平移位置和倾斜位置。对PTZ摄像头进行远程布置造成更为复杂的情况，因为不得不执行更为仔细的校准。在其它实施例中，概览摄像头可以用雷达单元、激光雷达单元或能够容易地输出对象的绝对位置的其它单元代替，该绝对位置关于通用坐标系(诸如几何坐标)是绝对的。如果是这样，则PTZ摄像头可以被更自由地定位在概览单元(概览摄像头、雷达单元、激光雷达单元等)的远程位置处。出于该原因，由此引入术语“概览单元”，并且尽管贯穿大部分说明使用“概览摄像头”，但应该容易理解其它类型的概览单元可以代替地使用，或甚至作为补充件。当使用不同于概览摄像头的概览单元时，对象的大小可能更难以访问。作为示例，来自个人的雷达响应极大地根据该人员关于雷达的位置而变化。因此，如果大小很重要，则可能不得不增加其它分析功能，诸如基于移动模式(其可以是场景依赖的)的对象标识、速率等，该其它分析功能可以使用PTZ摄像头由(自动或手动的)视觉确认来支持。
出于公开的目的，控制单元也可以以计算机上的程序的形式来体现或作为应用程序(移动应用程序、应用程序软件、Web应用程序等)来体现。
现在为止说明书实质上描述了公知技术，而在下文中将公开根据本发明的一些实施例的本发明特有的特征。
根据第一实施例，概览摄像头204、206中的每个或至少其控制单元包括实现成像场景102中的对象112、114的检测的对象检测算法。参见US8121424，对象检测算法或处于移动的对象检测可以包括实现特定对象(车、人类、自行车、狗等)的类别确定的对象分类算法。来自对象检测算法的输出可以是有关对象的数据，诸如位置、估计的大小、像素速率、对象类别等，并且该输出可以被转发给控制单元216。
控制单元216进而可以(在适用时)将数据转换到PTZ摄像头的坐标系、运行用于生成超对象的算法，并自动将PTZ摄像头210引导到正确位置，从而实现一个以上检测到的对象的特写视图，并且转换大小数据以使得能够使用适当的变焦设置。该控制单元还可以对数据进行组合以生成更多的信息，一个示例是可以通过使用对象的最新的位置数据结合最新的速率数据利用外推来估计对象的当前位置(例如当补偿PTZ摄像头的数据传递、计算及控制的延迟时)。以此方式，可以将PTZ摄像头提前引导至某一位置。内插也可以用于生成更多的位置数据。
根据如图5所直观化的此第一实施例，控制单元216配置为至少接收分别关于第一对象112和第二对象114的位置数据。基于如转换到PTZ摄像头的坐标系中的位置数据，该控制单元配置为导出包括两个对象112、114的超对象118，即产生的超对象118的位置和大小两者。超对象118可以是至少关于位置和大小的两组(或更多组)的对象数据的组合，并且该超对象的参数基于两个对象的组合的估计大小，该估计大小如由在两个对象和任意中间空间上方延伸的几何形状定义。该几何形状可以是大小可以覆盖两个以上对象的矩形或其它多边形。可以将中心点定义为超对象的几何中心。由于最终目标是找到用于PTZ摄像头的适当设置，因此该几何形状可以模仿具有PTZ摄像头成像***的纵横比的矩形。
在下面的步骤中，控制单元配置为访问关于PTZ摄像头的数据，并使用该数据结合超对象和中心点来确定是否将PTZ摄像头布置在平移位置和倾斜位置，并且利用变焦设置诸如来对超对象进行成像。
若是如此，则在第三步骤，通过控制平移/倾斜电机和变焦电机，将PTZ摄像头控制为采取此类位置。
以此方式，PTZ摄像头可以用于追踪多个对象，并且除非绝对必要，否则在场景中引入数个对象可能不一定导致PTZ摄像必须在对象之间进行选择。
下面的追踪可以基于由PTZ摄像头获取的数据，但它也可以或替代地基于从概览摄像头获取的数据。
尽管上面的情形不是非常复杂，但控制单元也可以配置为处理若干将要出现的情形。下面的实施例可以以任意和每种方式进行组合。
从第一实施例开始，对象可以更靠近在一起，在此情况下控制单元可以生成关于超对象的大小的新数据，从而导致PTZ摄像头的变焦设置的转变。对象还可以移动分开，在此情况下变焦设置可以以对应的方式改变。
控制单元配置为具有关于变焦设置的自动阈值或用户定义的阈值。一个阈值可以是最小变焦设置，即当变焦摄像头具有其最宽视场时。这对于使用变焦摄像头来成像当然是明显的限制。代替使用此极限限制，用户当然可以增加进一步的阈值，例如关于PTZ摄像头不该画面拉远超出特定变焦设置的阈值。另一类型的阈值能够由人脸或另一对象应该占据设定数目(或更多)的像素或最小分辨率来确定。后者出于司法鉴定目的可能是令人感兴趣的，其中可能需要脸部的最小分辨率来确保识别。
无论变焦阈值的原因如何，场景可能改变，使得不可能定义能够使用PTZ摄像头进行成像的超对象。在此类情况下，控制单元配置为适应该情形，这可以根据下列情形以数种方式中的一种来实现：
情形i)对超出PTZ变焦能力的可及范围-例如到达用于变焦的阈值(可以是极限阈值或用户定义的阈值)的对象进行分离。一个原因可能是现有的对象偏离对方，而另一原因可能是一个以上额外的对象进入视场，两者都导致所产生的超对象的计算的大小太大以致于不能利用PTZ摄像头的允许设置在一个视野中进行成像。在此类情形下，控制单元可以配置为将一个以上对象从超对象排除。
对象的排除可以基于优先化。优先级可以由用户设置，但它也可以基于所识别的对象类别、对象的特定身份(在个体的情况下)等，或该优先级可以以另一自动或半自动方式来设置。
出于此目的，控制单元的解析可以计算源自于场景中的对象的所有组合的所有超对象的大小和位置。作为示例，在检测到三个对象的场景中，将总共存在三个个体对象，该三个个体对象产生4个超对象(一个超对象包括所有三个对象，并且三个超对象由两个对象的组合组成)。如果引入一个额外的对象，则将总共存在11个可能的超对象，并且对于具有N个对象的场景，可能的超对象的数目NSO将等于：
Figure GDA0003080209810000081
此计算是理论上的，并且任一单个对象将形成数个超对象的一部分，这可能不是非常实际的。在现实生活情形中，将存在对超对象大小的约束，这将消除若干超对象，并且下面公开了一些进一步约束参数。
如果控制单元不能够找到单个合适的PTZ设置，则可以排除一个以上对象(如上面提及的)。控制单元也可以自动生成电子巡更，意味着PTZ摄像头可以被控制为在连续过程中一次一个来对超对象进行成像，即在场景中四处移动，在定义的时间段内对一个超对象进行成像，之后移到下一个超对象。以此方式，确保对所有对象进行成像和追踪(除非明确排除)。返回到4个对象位于场景中的实施例，存在许多替换方案来定义超对象，并且基于所有组合生成电子巡更将生成大量的冗余信息。控制单元于是可以替代地基于若干可能的准则生成(或选择)超对象：
i)每个超对象的大小应该相等或近似相等(防止变焦级别的大的转变)，ii)每个对象应该形成一个且仅一个超对象的一部分(以避免冗余)，
iii)每个超对象应该与另一超对象共同具有至少一个对象(以提供电子巡更的连续性)，
iv)超对象的数目应该最小化，
v)当前的超对象与随后的超对象之间的距离(在PTZ空间中)应该最小化(以在电子巡更期间最大化效率并提高连续性)，
vi)具有较长的存在期的超对象被认为更相关，
vii)当内部的对象偏离太远时才对超对象进行划分，
viii)位于“不太重要的区”或“排除区”中的对象或超对象应该被忽略或具有低优先级(而位于“包含区”(由用户定义的场景中的具有重要性的区)的对象或超对象应该具有较高的优先级)。
可以以所有可能的方式按照层级形式使用一个或数个准则。优先化可以是连续的过程，该过程使得能够适应对象分组转变或场景中对象的数目向上转变或向下转变的情形。
上面的描述示出超对象生成的通用性，以及它可以如何以无数种方式变化。限制方面可以是计算能力、预期的输出率等。在又一实施例中，假设两个对象足够接近，则确定可以将它们组合成超对象。处于隔离的任一对象都可以不形成另一超对象的一部分，除非它前面有移开得如此远以致于不再将它们定义为超对象的两个对象。以此方式，将必需的计算量保持最小，并且将惯性引入该方法。例如在已经自动设置电子巡更的实施例中，超对象不会在视频帧之间转变，这将使操作者收益。下文中，图4A-图4D将用于解释将此简化的方法应用于实际情况的情形。
在附图中，对象由以实线绘制的矩形指示，超对象由以虚线绘制的矩形指示，并且任一移动方向由箭头指示。以图4A开始，通过在场景中检测到三个对象开始。第一对象420和第二对象422已被定义为第一超对象424。还存在第三对象426，它距离第一超对象424太远以致于无法与其相关联，并且因而它可以被定义为第二超对象428。在此情况下，该超对象和对象可以一致，并且可以完全跳过超对象的定义。在图4B的随后的视图中，三个对象稍微移动。第一对象420开始使自己与第二对象422隔开，并且第四对象430已经进入场景。第四对象430距离第三对象426太远以致于无法合并到同一超对象428，因此它独自形成超对象432。在图4C的下一个连续视图中，第三对象和第四对象近得足以合并成单个超对象428，这被完成。第二对象422实际上近得足以合并到同一超对象428，然而因为它已经是延伸超出超对象428的范围的之前的超对象424的一部分，因此它不会这么做。最后，在图4D所示的第四视图中，第一对象420和第二对象422分开得如此远以致于它们不能再由同一超对象424限定，并且存在解体。第二对象422接着合并到超对象428。
容易理解的是，上面描述的方法远没有其它可能的一些方法复杂，因为它遵循很少的优先化规则。
返回到概览单元的概括，专用于使用雷达的实施例(未示出)可以是具有重叠的检测范围的数个雷达单元覆盖大的区域，而PTZ摄像头被布置以便能够对该大的区域的大多数部分进行放大。人们能够想象存在覆盖视线并且使得单个雷达的不够用的人造或自然建筑的区域，或比单个雷达可能覆盖的区域更大并且还使得单个雷达不足以完全覆盖的区域。而且，人们可以想象将PTZ摄像头布置在杆上或另一抬高的位置，使得它能够看穿阻碍雷达的建筑。由于雷达将给出用于每个检测到的对象的距离信息，因此来自雷达的信息可以用于对PTZ摄像头的焦点进行预设，并且如果超对象的对象之间的距离沿着PTZ摄像头的视线方向，则也可以对景深进行预设。
图5为公开根据创造性方法的一个实施例的该创造性方法的概要的流程图。根据用于追踪场景中的移动对象的方法，使用第一概览单元和第二概览单元对一个以上对象进行检测(510)。将关于检测到的一个以上对象的数据传输(520)到控制单元，该控制单元对使用PTZ摄像头同时生成两个以上对象的特写的可能性进行评估(530)。若是如此，则控制单元对摄像头进行控制(540)，以采取用于此类特写的正确的平移/倾斜/变焦位置。

Claims (14)

1.一种用于追踪场景中的移动对象的***，包括：
第一概览单元，所述第一概览单元布置为捕获场景的第一部分的第一概览；
第二概览单元，所述第二概览单元布置为捕获场景的第二部分的第二概览，以及
PTZ摄像头，所述PTZ摄像头能够平移、倾斜及变焦，以便对所述场景的所述第一部分或所述第二部分中的选择对象进行成像，
其中所述第一概览单元和所述第二概览单元配置为对所述场景中的移动对象进行检测和定位，并且将所述移动对象的位置数据传输给控制单元，
其中所述控制单元配置为:
将所述位置数据用作输入以导出具有由在所述第一概览单元检测到的移动对象和所述第二概览单元检测到的移动对象以及任意中间空间上方延伸的几何形状定义的位置和大小的超对象，并确定是否可以使用所述PTZ摄像头的单个视野对所述超对象进行成像，其中，当确定是否可以在所述PTZ摄像头的单个视野中对所述超对象进行成像时，所述控制单元利用所述PTZ摄像头的最小变焦级别或用户定义的光学变焦级别，以及
发送指令给所述PTZ摄像头，以采取第一变焦设置，并移动到第一平移位置和第一倾斜位置，以便对所述超对象进行成像。
2.根据权利要求1所述的***，其中所述超对象具有中心点。
3.根据权利要求2所述的***，其中使用所述超对象中包含的所述对象的大小和位置对所述超对象的所述中心点进行定义，并且其中所述控制单元配置为将所述PTZ摄像头导向到所述中心点。
4.根据权利要求1所述的***，其中所述第一概览单元和所述第二概览单元将检测到的对象的位置数据连续地传输给所述控制单元，使得所述控制单元可以连续地对所述PTZ摄像头的平移、倾斜及变焦设置进行调整。
5.根据权利要求1所述的***，其中所述控制单元布置为将所述场景中的三个以上对象定义为若干超对象，其中每个超对象包括至少两个对象。
6.根据权利要求5所述的***，其中所述控制单元配置为根据包含但不限于下列项的群组中选择的一组准则来对所述若干超对象的优先化进行布置：每个超对象的大小应该相等或近似相等、每个对象应该形成一个且仅一个超对象的一部分、每个超对象应该与另一超对象共同具有至少一个对象、超对象的数目应该最小化、当前超对象与随后的超对象之间的距离应该最小化、具有较长存在期的超对象被认为更相关、位于排除区中的对象或超对象应该被忽略或具有低优先级、位于包含区中的对象或超对象应该具有较高的优先级，或上述项的组合。
7.根据权利要求5所述的***，其中所述控制单元配置为布置电子巡更，使得所述控制单元控制所述PTZ摄像头按照设定的次序在现有的超对象之间移动。
8.根据权利要求7所述的***，其中所述设定的次序基于所述超对象的优先级值来设置。
9.根据权利要求1所述的***，其中每个概览单元配置为估计检测到的移动对象的大小。
10.根据权利要求1所述的***，其中每个概览单元布置为确定检测到的移动对象的对象类别。
11.根据权利要求1所述的***，其中所述概览单元中的一个或两个为概览摄像头、雷达单元或激光雷达单元。
12.一种使用包括第一概览单元和第二概览单元以及PTZ摄像头的***来追踪场景中的移动对象的方法，包括：
-用所述第一概览单元对对象进行检测和定位，
-将所述移动对象的第一位置数据从所述第一概览单元传输到控制单元，
-用所述第二概览单元对对象进行检测和定位，
-将所述移动对象的第二位置数据从所述第二概览单元传输到控制单元，
-在所述控制单元中，将所述第一位置数据与所述第二位置数据进行组合，以形成包括超对象的由在来自所述第一概览单元的所述移动对象和来自所述第二概览单元的所述移动对象以及任意中间空间上方延伸的几何形状定义的位置和大小的位置数据，
-将所述超对象的所述位置数据与PTZ摄像头范围的数据进行比较，并且
-如果确定所述超对象在所述PTZ摄像头的范围内，其中，当确定所述超对象是否在所述PTZ摄像头的所述范围内时，所述PTZ摄像头的最小变焦级别或用户定义的光学变焦级别被利用，
-则控制所述PTZ摄像头对所述超对象进行成像。
13.根据权利要求12所述的方法，其中所述超对象的位置数据包括所述超对象的大小以及所述超对象的平移位置和倾斜位置。
14.根据权利要求12所述的方法，其中所述概览单元为概览摄像头、雷达或激光雷达。
CN201810619743.5A 2017-06-21 2018-06-14 用于追踪场景中的移动对象的***及方法 Active CN109104561B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17177082.9 2017-06-21
EP17177082.9A EP3419283B1 (en) 2017-06-21 2017-06-21 System and method for tracking moving objects in a scene

Publications (2)

Publication Number Publication Date
CN109104561A CN109104561A (zh) 2018-12-28
CN109104561B true CN109104561B (zh) 2021-10-19

Family

ID=59269764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810619743.5A Active CN109104561B (zh) 2017-06-21 2018-06-14 用于追踪场景中的移动对象的***及方法

Country Status (3)

Country Link
US (1) US10728459B2 (zh)
EP (1) EP3419283B1 (zh)
CN (1) CN109104561B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107409175B (zh) * 2015-03-26 2020-04-21 富士胶片株式会社 跟踪控制装置、跟踪控制方法、自动跟踪摄影***及有形介质
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
WO2019035007A1 (en) * 2017-08-15 2019-02-21 American Well Corporation APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT
KR102619271B1 (ko) * 2018-11-01 2023-12-28 한화비전 주식회사 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템
EP3700188A1 (en) * 2019-02-20 2020-08-26 Nokia Technologies Oy Sensor configuration based on other sensor context determination
GB2582988A (en) * 2019-04-12 2020-10-14 Rinicom Ltd Object classification
CN110290315B (zh) * 2019-06-14 2021-04-27 浙江大华技术股份有限公司 用于云台摄像机的跟踪聚焦方法、装置、摄像机和介质
CN110765984A (zh) * 2019-11-08 2020-02-07 北京市商汤科技开发有限公司 一种移动状态信息展示方法、装置、设备及存储介质
CN111355884B (zh) * 2019-12-23 2021-11-02 深圳市鸿合创新信息技术有限责任公司 监控方法、装置、***、电子设备及存储介质
US10931889B1 (en) * 2020-05-22 2021-02-23 Disney Enterprises, Inc. System and method for providing landscape and portrait oriented images of a common scene on separate feeds with independent image controls
TWI772968B (zh) * 2020-11-17 2022-08-01 佐臻股份有限公司 具深度或影像監視系統的架設方法
US11606492B2 (en) 2021-05-24 2023-03-14 Anduril Industries, Inc. Auto-focus acquisition for remote flying targets
US11611707B2 (en) * 2021-05-24 2023-03-21 Anduril Industries, Inc. Auto-focus tracking for remote flying targets
DE102021207641A1 (de) 2021-07-16 2023-01-19 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsvorrichtung mit einer Mehrzahl an Kameras, Verfahren und Computerprogramm zur Überwachung
US20230115596A1 (en) * 2021-10-12 2023-04-13 Andrae D'Acquisto Wildlife camera with optical zoom capability
DE102022203740A1 (de) 2022-04-13 2023-10-19 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungssystem, Verfahren zum Zuordnen einer Überwachungskamera zu einem Überlappungsüberwachungsbereich, Computerprogramm und Speichermedium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009135262A1 (en) * 2008-05-06 2009-11-12 Trace Optics Pty Ltd Method and apparatus for camera control and picture composition
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994017636A1 (en) 1993-01-29 1994-08-04 Bell Communications Research, Inc. Automatic tracking camera control system
EP0878965A3 (en) 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
WO2001069932A1 (en) * 2000-03-10 2001-09-20 Sensormatic Electronics Corporation Method and apparatus for object tracking and detection
US20030053659A1 (en) 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
US7542588B2 (en) * 2004-04-30 2009-06-02 International Business Machines Corporation System and method for assuring high resolution imaging of distinctive characteristics of a moving object
US7990422B2 (en) * 2004-07-19 2011-08-02 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
TWI277912B (en) 2005-01-11 2007-04-01 Huper Lab Co Ltd Method for calculating a transform coordinate on a second video of an object having an object coordinate on a first video and related operation process and video surveillance system
US8284254B2 (en) 2005-08-11 2012-10-09 Sightlogix, Inc. Methods and apparatus for a wide area coordinated surveillance system
JP4188394B2 (ja) 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
US8125512B2 (en) 2007-11-16 2012-02-28 Samsung Electronics Co., Ltd. System and method for moving object selection in a handheld image capture device
US8121424B2 (en) 2008-09-26 2012-02-21 Axis Ab System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing
US9520040B2 (en) 2008-11-21 2016-12-13 Raytheon Company System and method for real-time 3-D object tracking and alerting via networked sensors
AU2010253639A1 (en) * 2009-05-29 2011-10-06 Youngkook Electronics, Co., Ltd. Intelligent monitoring camera apparatus and image monitoring system implementing same
CN102577347B (zh) 2009-06-29 2015-09-23 博世安防***有限公司 全方位智能自动巡视和态势感知的球形监视摄像机***和方法
US8531525B2 (en) 2009-12-22 2013-09-10 Utc Fire & Security Americas Corporation, Inc. Surveillance system and method for operating same
CN102148965B (zh) 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控***
US9749594B2 (en) 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates
US9210385B2 (en) 2012-11-20 2015-12-08 Pelco, Inc. Method and system for metadata extraction from master-slave cameras tracking system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009135262A1 (en) * 2008-05-06 2009-11-12 Trace Optics Pty Ltd Method and apparatus for camera control and picture composition
CN101707671A (zh) * 2009-11-30 2010-05-12 杭州普维光电技术有限公司 一种全景摄像机与ptz摄像机联动控制方法和装置

Also Published As

Publication number Publication date
CN109104561A (zh) 2018-12-28
US10728459B2 (en) 2020-07-28
US20180376074A1 (en) 2018-12-27
EP3419283B1 (en) 2022-02-16
EP3419283A1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
CN109104561B (zh) 用于追踪场景中的移动对象的***及方法
JP6604019B2 (ja) 画像処理装置、画像処理方法、および画像処理システム
US9041800B2 (en) Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
US8531525B2 (en) Surveillance system and method for operating same
US10334150B2 (en) Camera system and method of tracking object using the same
JP2024032829A (ja) 監視システム、監視方法および監視プログラム
RU2670429C1 (ru) Системы и способы отслеживания движущихся объектов на видеоизображении
US10740887B2 (en) Method and system for automated video image focus change detection and classification
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP2006523043A (ja) 監視を行なう方法及びシステム
CN103871186A (zh) 安防监控***及相应的报警触发方法
GB2492689A (en) Security camera tracking and monitoring system and method using thermal image coordinates
WO2012033758A2 (en) Video system with intelligent visual display
KR101933153B1 (ko) 관심객체 이동방향에 따른 관제 영상 재배치 방법 및 장치
JP2016127571A (ja) カメラシステム、表示制御装置、表示制御方法、及びプログラム
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
KR100820952B1 (ko) 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법 및그 시스템
JP5693147B2 (ja) 撮影妨害検知方法、妨害検知装置及び監視カメラシステム
TWI556651B (zh) 具攝影機自動調派功能之3d影像監控系統及其監控方法
US11463632B2 (en) Displaying a video stream
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
JP2007068008A (ja) 自動追尾装置
JP2001094968A (ja) 映像処理装置
JP2009211525A (ja) 物体検出装置
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant