CN104106260B - 基于地理图的控制 - Google Patents

基于地理图的控制 Download PDF

Info

Publication number
CN104106260B
CN104106260B CN201280067675.7A CN201280067675A CN104106260B CN 104106260 B CN104106260 B CN 104106260B CN 201280067675 A CN201280067675 A CN 201280067675A CN 104106260 B CN104106260 B CN 104106260B
Authority
CN
China
Prior art keywords
video camera
mobile object
global image
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280067675.7A
Other languages
English (en)
Other versions
CN104106260A (zh
Inventor
法曾·艾格达斯
苏炜
王雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pelco Inc
Original Assignee
Pelco Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelco Inc filed Critical Pelco Inc
Publication of CN104106260A publication Critical patent/CN104106260A/zh
Application granted granted Critical
Publication of CN104106260B publication Critical patent/CN104106260B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本文所公开的是方法、***、计算机可读介质以及其他的实施,其包括一种方法,包括:从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据,并且在表示被多个摄像机监控的区域的全局图像上呈现关于多个对象所确定的运动数据的图形化指示,其中图形化指示在全局图像上对应于多个移动对象的地理位置的方位处。该方法还包括:响应于基于呈现在全局图像上的图形化指示的全局图像的区域的选择,呈现来自多个摄像机中的一个摄像机的所捕获的图像数据,其中全局图像的区域呈现关于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个图形化指示。

Description

基于地理图的控制
技术领域
本发明涉及基于地理图的控制。
背景技术
在传统的地图绘制应用中,可以选择地图上的摄像机标志以引起窗口弹出并且提供对视频直播、警报、中继等的轻松即时的访问。这使得更容易在监控***中配置和使用地图。然而,在此过程期间包括很少的视频分析(例如,基于一些例如视频内容的分析的摄像机的选择)。
发明内容
本公开针对映射应用,包括了包含使能来自摄像机的运动的检测并且在全局图像(例如,地理图、被监控的区域的俯瞰图,等等)上呈现运动轨迹的视频特征的映射应用。例如,本文描述的映射应用帮助警卫集中注意力在整个地图上而不必不断地监控所有的摄像机视图。当全局图像上显示有任何不寻常的信号或者活动时,警卫可以点击地图上感兴趣的区域,从而使得在所选择的区域中的摄像机呈现在该区域中的视图。
在一些实施方式中,提供了一种方法。该方法包括从多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据,并且在表示被多个摄像机监控的区域的全局图像上且在全局图像上的对应于多个移动对象的地理位置的方位处上呈现关于多个对象的所确定的运动数据的图形化指示。该方法还包括:响应于基于呈现在全局图像上的图形化指示对全局图像的区域的选择,呈现来自多个摄像机中的一个摄像机的所捕获的图像数据,其中全局图像的区域呈现关于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个图形化指示。
该方法的实施方式可以包括本公开中所描述的特征中的至少一些特征,其包括了如下特征中的一个或者多个。
响应于对呈现关于多个移动对象中的至少一个移动对象的至少一个图形化指示的全局图像的区域的选择呈现所捕获的图像数据的操作可以包括响应于与被多个摄像机中的一个摄像机捕获的一移动对象对应的图形化指示的选择,来呈现来自多个摄像机中的一个摄像机的所捕获的图像数据。
该方法还包括关于全局图像校准多个摄像机中的至少一个,以使被多个摄像机中的至少一个捕获的至少一个区域视图的图像与全局图像中对应的至少一个区域相匹配。
校准多个摄像机中的至少一个可以包括:选择在被多个摄像机中的至少一个捕获的一图像中出现的一个或者多个位置,并且识别在全局图像上的与在被多个摄像机中的至少一个捕获的图像中的所选定的一个或者多个位置对应的方位。该方法还可以包括:基于所识别的全局图像方位以及在多个摄像机中的至少一个的图像中对应选定的一个或者多个位置,计算二阶2维线性参数模型的变换系数,以将在被多个摄像机中的至少一个捕获的图像中的方位的坐标变换为全局图像中的对应方位的坐标。
该方法还可以包括在地图的选定区域中呈现与至少一个图形化指示对应的、多个移动对象中的至少一个移动对象的额外的细节,额外的细节出现在被与选定区域对应的多个摄像机中的一个摄像机相关联的辅助摄像机捕获的辅助帧中。
呈现多个移动对象中的至少一个移动对象的额外的细节可以包括:放大所述辅助帧中的一区域,该区域对应于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少一个移动对象的方位。
从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据可以包括:给被多个摄像机中的至少一个捕获的至少一个图像应用高斯混合模型,以将所述至少一个图像的包含移动对象像素组的前景与所述至少一个图像的包含静止对象像素组的背景分离。
关于多个移动对象的运动数据包括来自多个移动对象的一移动对象的数据,其可以包括如下中的一个或者多个:例如,摄像机的视场内的所述对象的位置、所述对象的宽度、所述对象的高度、所述对象正在移动的方向、所述对象的速度、所述对象的颜色、所述对象正进入所述摄像机的所述视场的指示、所述对象正离开所述摄像机的所述视场的指示、所述摄像机正被破坏的指示、所述对象停留在所述摄像机的视场中一段大于预定的时间段的时间的指示、几个移动对象被合并的指示、所述移动对象被分为两个或者多于两个移动对象的指示、所述对象正进入感兴趣的区域的指示、所述对象正离开预定义的地区的指示、所述对象正跨越绊网的指示、所述对象正沿与所述地区或所述绊网的预定义的禁止方向匹配的方向移动的指示、表示所述对象的计数的数据、所述对象的移除的指示、所述对象的丢弃的指示、和/或表示关于所述对象的驻留定时器的数据。
在全局图像上呈现图形化指示可以包括在全局图像上呈现各种颜色的移动几何形状,所述几何形状包括例如圆形、矩形、和/或三角形中的一种或者多种。
在全局图像上呈现图形化指示可以包括在全局图像上呈现追踪关于多个对象中的至少一个的所确定的运动的轨迹,所述轨迹呈现在全局图像上对应于多个移动对象中的至少一个所沿路径的地理位置的方位处。
在一些实施方式中,提供了一种***。该***包括多个捕获图像数据的摄像机、一个或者多个显示设备、以及一个或者多个被配置为执行如下操作的处理器,所述操作包括:从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据,并且使用一个或者多个显示设备中的至少一个,在表示被多个摄像机监控的区域的全局图像上、在所述全局图像上的对应于多个移动对象的地理位置的方位处呈现关于多个对象的所确定的运动数据的图形化指示。该一个或者多个处理器还被配置为执行如下操作:响应于基于呈现在全局图像上的图形化指示对全局图像的一区域的选择,使用一个或者多个显示设备中的至少一个,呈现来自多个摄像机中的一个摄像机的所捕获的图像数据,其中全局图像的所述区域呈现关于被多个摄像机中的所述一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个所述图形化指示。
该***的实施方式可以包括本公开中所描述的特征中的至少一些,其包括上文关于方法所描述的特征中的至少一些。
在一些实施方式中,提供了非暂时性计算机可读介质。该计算机可读介质使用可在处理器上执行的计算机指令集进行编程,当执行计算机指令集时,引起如下操作,包括:从被多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据,并且在表示被多个摄像机监控的区域的全局图像上、在该全局图像上的对应于多个移动对象的地理位置的方位处呈现关于多个对象的所确定的运动数据的图形化指示。计算机指令集还包括引起如下操作的指令:响应于基于呈现在全局图像上的图形化指示对全局图像的一区域的选择,呈现来自多个摄像机中的一个摄像机的所捕获的图像数据,其中全局图像的区域呈现关于被多个摄像机中的一个摄像机捕获的多个移动对象中的至少一个移动对象的至少一个图形化指示。
该计算机可读介质的实施方式可以包括本公开中所描述的特征中的至少一些,其包括上文关于方法和***所描述的特征中的至少一些。
如本文所使用的,术语“大约”指的是偏离正常值+/-10%的变化。需要理解的是,在本文提供的给定值中始终包括这种变化,无论是否专门提到了它。
如本文所使用的、权利要求中包括的、如由“至少一个”或者“一个或者多个”为引语的项的列表中所使用的“和(and)”表明可以使用所列出的项的任意组合。例如,“A、B、和C中的至少一个”的列表包括组合A或B或C或AB或AC或BC和/或ABC(即,A和B和C)中的任意一种。此外,在某种程度上,多于一次的出现或者使用项A、B、或C是可能的,A、B、和/或C的多次使用可能形成预期组合的一部分。例如,“A、B、和C中的至少一个”的列表也可以包括AA、AAB、AAA、BB等。
除非另有定义,否则本文使用的所有技术术语和科学术语具有与由本公开所属领域中的普通技术人员之一通常所理解的意思相同的意思。
一种或者多种实施的细节在下面的附图中和描述中进行阐述。从描述、附图和权利要求,另外的特征、方面和优势将变得明显。
附图说明
图1A是摄像机网络的结构图。
图1B是摄像机的示例实施方式的示意图。
图2是使用全局图像控制摄像机的操作的示例过程的流程图。
图3是被多个摄像机监控的区域的全局图像的照片。
图4是全局图像和全局图像的至少一部分的捕获的图像的示意图。
图5是识别移动对象并且确定它们的运动和/或其他特性的示例过程的流程图。
图6是摄像机校准过程的示例实施方式的流程图。
图7A和图7B是具有便于捕获图7A的图像的摄像机的校准操作的选定校准点的捕获到图像和全局俯瞰图像。
图8是通用计算***的示意图。
在各个附图中,相同的参考符号表示相同的元件。
具体实施方式
本文所公开的是包括下述操作的方法、***、装置、设备、产品以及其他的实施,一种方法包括:从多个摄像机捕获的图像数据中确定关于多个移动对象的运动数据,并且在表示被多个摄像机监控的区域的全局图像上呈现图形化运动数据项(也被称为图形化指示),该图形化运动数据项表示在全局图像上对应于多个移动对象的地理位置(location)的方位(position)处关于多个移动对象的确定的运动数据。该方法还包括:响应于基于呈现在全局图像上的图形化运动数据项的全局图像的一区域的选择,呈现从多个摄像机中的一个捕获的图像数据,其中全局图像的一区域呈现关于被多个摄像机中的一个捕获的(或之中出现的)多个移动对象的至少一个的至少一个图形化指示(也被称为图形化运动数据项)。
被配置为使关于多个对象的运动数据能够呈现在全局图像(例如,地理图、区域的俯瞰图像,等等)上的实施包括:将摄像机校准到全局图像的实施和技术(例如,以确定全局图像中的哪些位置对应被摄像机捕获的图像中的位置),以及识别并且追踪来自被摄像机网络的摄像机捕获的图像的移动对象的实施和技术。
***配置和摄像机控制操作
通常,摄像机网络中的每个摄像机都具有视图和视场的关联点。视图点指的是通过摄像机观看物理区域的方位和视角。视场指的是被摄像机以帧的方式成像的物理区域。含有处理器(例如数字信号处理器)的摄像机可以处理帧以确定移动对象是否被呈现在其视场内。在某些实施方式中,摄像机可以将元数据与移动对象(被简称为“对象”)的图像关联。这种元数据定义并表示对象的各种特性。例如,元数据可以表示在摄像机的视场内(例如,以摄像机的CCD的像素测量的2维坐标系中)的对象的位置、对象的图像的宽度(例如,以像素测量的)、对象的图像的高度(例如,以像素测量的)、对象的图像正在移动的方向、对象的图像的速度、对象的颜色、和/或对象的类型。这些是可以被呈现在与对象的图像相关联的元数据中的一些信息;其他类型的信息包含在元数据中也是可能的。对象的类型指的是基于对象的不同特性,对象被确定为在其内的类型。例如,类型可以包括:人类、动物、汽车、小卡车、大卡车和/或SUVs。可以执行对象类型的确定,例如,使用如图像形态学、神经网络分类、和/或其他类型的图像处理技术/过程这样的技术来识别对象。关于涉及移动对象的事件的元数据还可以通过摄像机被发送(或者这种事件的确定可以远程执行)到主机计算机***。例如,这种事件元数据包括:对象进入摄像机的视场、对象离开摄像机的视场、摄像机正被破坏、对象停留在摄像机的视场中一段大于阈值的时间段(例如,假设人在区域中徘徊一段大于某一阈值的时间段)、多个移动对象合并(例如,奔跑的人跳进移动的车辆中)、移动对象被分成多个移动对象(例如,人从车辆中出来)、对象进入感兴趣的区域(例如,想要被监控的在其中的对象的运动的预定义区域)、对象离开预定义地区、对象正跨越绊网(tripwire)、对象在与关于地区或绊网的预定义禁止方向匹配的方向上移动、对象计数、对象移除(例如,当对象静止/固定一段长于预定义的时间段并且其尺寸比预定义地区的很大一部分大时)、对象丢弃(例如,当对象静止一段长于预定义的时间段并且其尺寸比预定义地区的很大一部分小时)、和/或驻留(dwell)定时器(例如,在一段长于特定的驻留时间内,对象在预定义地区中是静止的或者移动很少)。
多个摄像机中的每一个可以向主机计算机***发送表示各个摄像机的视图中出现的对象(例如,移动对象)的运动和其他特性的数据,和/或可以向主机计算机***发送视频输入(video feed)帧(可能经过压缩的)。使用表示从多个摄像机接收的对象的运动和/或其他特性的数据,主机计算机***被配置为在单个全局图像(例如,地图、被摄像机覆盖的整个区域的俯瞰图像,等等)上呈现关于在摄像机捕获的图像中出现的对象的运动数据,以便使用户能在单个全局图像上看到多个对象的运动(包括对象相对彼此的运动)的图形化表示。主机计算机可以使用户能从该全局图像选择区域并且从捕获来自该区域的图像的摄像机接收视频输入。
在一些实施中,表示运动(以及其他的对象特性)的数据可以被主机计算机用来执行其他的功能和操作。例如,在一些实施方式中,主机计算机***可以被配置为确定在不同的摄像机的视场中(同时地或者非同时地)出现的移动对象的图像是否代表相同的对象。如果用户指定将对该对象进行追踪,则主机计算机***将来自被确定为具有更好的对象视图的摄像机的视频输入帧显示给用户。当对象移动时,如果另一个摄像机被确定为具有更好的视图,那么就可以显示来自不同的摄像机的视频输入的帧。因此,一旦用户选定了将被追踪的对象,那么基于哪个摄像机被确定为具有更好的对象视图,就可以通过主机计算机***将显示给用户的视频输入从一个摄像机切换到另一个摄像机。这种跨越多个摄像机视场的追踪可以被实时执行,即,此时被追踪的对象基本上是在视频输入中显示的位置中。该追踪也可以使用历史视频输入来执行,该历史视频输入指的是表示在过去的某一点处的对象的移动的存储的视频输入。例如,在2010年12月30日提交的、序列号为12/982,138的、题名为“Tracking Moving Objects Using a Camera Network”的专利申请中提供了关于这些更进一步的功能和操作的额外的细节,在此以引用方式将其内容全部并入。
参考图1A,其示出了安全摄像机网络100的结构图说明。安全摄像机网络100包括多个其可以为相同或者不同类型的摄像机。例如,在一些实施方式中,摄像机网络100可以包括一个或者多个位置固定的摄像机(例如,摄像机110和120)、一个或者多个PTZ(摇摄/倾斜/变焦)摄像机130、一个或者多个从摄像机140(例如,不在本地执行任何图像/视频分析的摄像机,而可代替地,将捕获图像/帧发送到例如远程服务器的远程设备)。在摄像机网络100中可以布置各种类型(且不仅仅是图1中描述的摄像机类型中的一种)的另外的或者较少的摄像机,并且摄像机网络100可以具有零个、一个或者多于一个的每种类型的摄像机。例如,安全摄像机网络可以包括五个固定的摄像机而没有其他类型的摄像机。如另一个实例,安全摄像机网络可以具有三个位置固定的摄像机、三个PTZ摄像机、以及一个从摄像机。如下文将更详细地描述的,在一些实施方式中,每个摄像机都可以与陪同辅助摄像机相关联,该陪同辅助摄像机被配置为调整其属性(例如,空间位置、缩放,等等)以获得关于被其关联的“主”摄像机检测到的具体特征的额外的细节,以至于主摄像机的属性不必被改变。
安全摄像机网络100还包括路由器150。位置固定的摄像机110和120、PTZ摄像机130、以及从摄像机140可以使用有线连接(例如,LAN连接)或者无线连接与路由器150通信。路由器150与例如主机计算机***160的计算***通信。路由器150使用例如局域网连接的有线连接或者无线连接与主机计算机***160通信。在一些实施中,摄像机110、120、130、和/或140中的一个或者多个可以使用例如收发器或者某一其他的通信设备直接将数据(视频和/或其他数据,例如元数据)发送给主机计算机***160。在一些实施中,计算***可以是分布式计算机***。
位置固定的摄像机110和120可以被设置在固定的位置中,例如,被安装到建筑物的屋檐,以捕获建筑物的紧急出口的视频输入。除非被某些外力移动或者调整,否则这种位置固定的摄像机的视场将保持不变。如图1A中所示的,位置固定的摄像机110包括例如数字信号处理器(DSP)的处理器112以及视频压缩器114。由于通过位置固定的摄像机110捕获位置固定的摄像机110的视场的帧,故这些帧通过数字信号处理器112或者通过通用处理器进行处理,例如,以确定是否存在一个或者多个移动对象和/或执行其他的功能和操作。
更一般地说,且参考图1B,其示出了摄像机170(也被称为视频源)的示例性实施方式的示意图。摄像机170的配置可以与图1A中所描述的摄像机110、120、130、和/或140中的至少一种的配置相似(虽然摄像机110、120、130、和/或140中的每个都可以具有其独特的特征,例如,PTZ摄像机也许能够在空间上被移动以控制被其捕获的图像的参数)。摄像机170通常包括被配置为向摄像机170的处理器174提供原始图像/视频数据的捕获单元172(有时被称为视频源设备的“摄像机”)。捕获单元172可以是基于电荷耦合设备(CCD)、或者可以是基于其他合适的技术的捕获单元。电耦接到捕获单元的处理器174可以包括任何类型的处理单元和存储器。此外,处理器174可以代替、或者附加到位置固定的摄像机110的处理器112和视频压缩器114来使用。例如,在一些实施中,处理器174可以被配置为将捕获单元172提供给其的原始视频数据压缩成例如MPEG的数字视频格式。在一些实施中,且如下文将变得明显的,处理器174还可以被配置为执行至少一些关于对象识别和运动确定的过程。处理器174还可以被配置为执行数据修改、数据分组、元数据创建,等等。例如,由此产生的诸如压缩的视频数据、表示对象和/或它们的运动的数据(例如,表示所捕获的原始数据中的可识别特征的元数据)的处理后的数据被提供(流动)到可以是诸如网络设备、调制解调器、无线接口、各种收发器类型等的通信设备176。流动的数据被发送到路由器150以发送到例如主机计算机***160。在一些实施方式中,通信设备176可以直接向***160发送数据,而不必先将这些数据发送到路由器150。虽然捕获单元172、处理器174和通信设备176作为分离的单元/设备被示出了,但它们的功能可以在单个设备中或者在两个设备中而不是如示出的三个分离的单元/设备中来提供。
例如,在某些实施方式中,可以在捕获单元172、处理器174、和/或远程工作站中实施场景分析器过程,以检测摄像机170的视场中的场景的一方面或者事件,例如,以检测和追踪被监控场景中的对象。在场景分析处理是由摄像机170执行的情况下,根据捕获的视频数据识别或者确定的关于事件和对象的数据可以作为元数据,或者使用一些其他的包括表示对象的运动、行为和特性的数据的数据格式被发送(连同发送视频数据或者也可以不发送视频数据)到主机计算机***160。例如,这种表示在摄像机的视场中的对象的行为、运动和特性的数据可以包括对人跨越绊网的检测、对红色车辆的检测,等等。如已经提到的,可选地和/或另外地,视频数据可以流动到主机计算机***160,用于处理和分析可以,且至少部分地,在主机计算机***160处被执行。
更具体地说,为了确定在被例如摄像机170的摄像机捕获的场景的图像/视频数据中是否存在一个或者多个移动对象,对捕获的数据执行处理。例如,在序列号为12/982,601、题名为“Searching Recorded Video”的专利申请中描述了确定一个或者多个对象的存在和/或运动以及其他的特性的图像/视频处理的实例,在此以引用方式将其内容全部并入。如下文将更详细地描述的,在一些实施中,高斯混合模型可以被用来将含有移动对象的图像的前景和含有静止对象(例如,树、建筑物、以及道路)的图像的背景分离。然后,这些移动对象的图像被处理以识别移动对象的图像的各种特性。
如已经提到的,例如,基于被摄像机捕获的图像产生的数据可以包括关于下述特性的信息:诸如对象的位置、对象的高度、对象的宽度、对象正移动的方向、对象正移动的速度、对象的颜色、和/或对象的类型分类。
例如,可能用元数据表示的对象的位置可以用与摄像机之一相关联的二维坐标系中的二维坐标表达。因此,这些二维坐标与像素组的方位相关联,像素组构成由特定的摄像机捕获的帧中的对象。对象的二维坐标可以被确定为由摄像机捕获的帧内的点。在一些配置中,对象的方位的坐标被认为是对象的最低部分的中部(例如,如果对象是站立的人,那么方位将在人的脚之间)。该二维坐标可以具有x和y分量。在一些配置中,x和y分量以像素的数量测量。例如,位置{613,427}将意味着对象的最低部分的中部沿着摄像机的视场的x轴是613像素,并且其沿着摄像机的视场的y轴是427像素。随着对象的移动,与对象的位置相关联的坐标将改变。此外,如果同一个对象在一个或者多个其他摄像机的视场中也是可见的,那么由其他摄像机确定的目标的位置坐标可能将是不同的。
例如,对象的高度也可以使用元数据来表示,并且可以以像素的数量为单位来表达。对象的高度被定义为从够成对象的像素组的底部到对象的像素组的顶部的像素的数量。像这样,如果对象接近特定的摄像机时,所测量的高度将比如果对象远离摄像机时大。类似地,对象的宽度也可以以像素的数量为单位来表达。对象的宽度可以基于在对象的像素组中横向呈现的对象的平均宽度或者在对象的最宽点处的宽度进行确定。类似地,对象的速度和方向也可以以像素进行测量。
继续参考图1A,在一些实施方式中,主机计算机***160包括元数据服务器162、视频服务器164、以及用户终端166。元数据服务器162被配置为接收、存储以及分析从与主机计算机***160通信的摄像机接收到的元数据(或者一些其他的数据格式)。视频服务器164可以接收并存储来自摄像机的压缩视频和/或未压缩视频。用户终端166允许例如安全警卫的用户与主机***160连接,例如,以从其上呈现表示多个对象和它们各自的运动的数据项的全局图像中选择用户希望进行更加详细的研究的区域。响应于从用户终端的屏幕/监控器上呈现的全局图像中选择感兴趣的区域,网络100中部署的多个摄像机中的一个对应的视频数据和/或相关联的元数据被呈现给用户(来代替或者附加到所呈现的全局图像上,该全局图像上呈现了表示多个对象的数据项)。在一些实施方式中,用户终端166可以同时显示一个或者多个视频输入到用户。在一些实施方式中,元数据服务器162、视频服务器164、以及用户终端166的功能可以通过分离的计算机***来执行。在一些实施方式中,这些功能可以通过一个计算机***来执行。
更具体地,参考图2,其示出了使用全局图像(例如,地理图)控制摄像机的操作的示例过程200的流程图。过程200的操作还参考图3进行描述,其中图3示出了被多个摄像机(其可以与图1A和图1B中描述的摄像机中的任意一个类似)监控的区域的全局图像300。
过程200包括从被多个摄像机捕获的图像数据中确定210关于多个移动对象的运动数据。下文关于图5更详细地描述确定运动数据的过程的实例实施。如已经提到的,可以在摄像机它们自己那里确定运动数据,例如,其中本地摄像机处理器(例如图1B中所描述的处理器)处理捕获的视频图像/帧,以识别帧中区别于非移动的背景特征的移动对象。在一些实施中,可以在例如图1A中所描述的主机计算机***160的中央计算机***处执行至少一些图像/帧的处理操作。被处理的帧/图像产生表示所识别的移动对象的运动和/或表示其他的对象特性的数据(例如,对象尺寸、指示某些事件的数据,等等),该被处理的帧/图像被中央计算机***用来在例如图3的全局图像300的全局图像上呈现/显现220关于多个对象所确定的运动数据的图形化指示在全局图像上的对应于多个移动对象的地理位置的方位处。
在图3的实例中,全局图像是包含几个建筑物的校园(“Pelco校园”)的俯瞰图像。在一些实施方式中,可以在图像300中显现摄像机的位置和它们各自的视场,从而使用户能通过图形观看所部署的摄像机的位置并且能选择将提供用户希望观看的图像300的区域的视频流的摄像机。因此,全局图像300包括摄像机310a-g的图像化表示(如黑圈),并且还包括关于摄像机310a-b和310d-g各自的大概的视场320a-f的表示的绘图。如所示的,在图3的实例中,没有关于摄像机310c的视场表示,因此表明当前没有激活摄像机310c。
还如图3中所示的,其呈现了在多个移动对象的地理位置对应的全局图像的方位处的多个对象的所确定的运动数据的图形化指示。例如,在一些实施方式中,如图3中所示的轨迹330a-c的轨迹可以在全局图像上显现,这些轨迹表示被摄像机捕获的图像/视频中呈现的至少一些对象的运动。图3中还示出定义了特定区域(例如,指定为禁止区的区域)的预定义地区340的表示,当被可移动的对象违反时,其引起事件检测发生。类似地,图3还可以通过图形表示例如绊网350的绊网,当其被跨越时,引起事件检测发生。
在一些实施方式中,所确定的多个对象中的至少一些对象的运动可以被表示为随时间改变其在全局图300上的方位的图形化表示。例如,参考图4,其示出了包括捕获的图像410和全局图像420(俯瞰图像)的照片的示意图400,其中全局图像420包括捕获的图像410中的区域。捕获的图像410示出了被识别的并且其运动被确定的移动对象412,即汽车(例如,通过如本文所描述的那些的图像/帧处理操作)。在全局图像420上呈现表示关于移动对象412的所确定的运动数据的图形化指示(运动数据项)422。在该实例中,图形化指示422被呈现为在通过图像/帧处理所确定的方向上移动的矩形。矩形422可以具有表示对象的确定的特性的尺寸和形状的性质(即,矩形可以具有与汽车412的尺寸相称的尺寸,其可以通过场景分析和帧处理的过程来确定)。例如,图形化指示还可以包括其他表示移动对象的几何形状和符号(例如,人、汽车的符号或者图标),并且还可以包括专门的图形化表示(例如,不同的颜色、不同的形状、不同的视觉和/或听觉效应)以表明某些事件的发生(例如,跨越绊网、和/或如本文所描述的其他类型的事件)。
为了在全局图像中实质上表示对应的移动对象的地理方位的方位处呈现图形化指示,摄像机必须对于全局图像进行校准,以便根据被那些摄像机捕获的帧/图像来识别的移动对象的摄像机坐标(方位)被变换成全局图像坐标(也被称为“世界坐标”)。下面关于图6,提供示例的校准过程的细节,其使能图形化指示(也被称为图形化运动项)的绘制,该图形化指示的绘制在实质上与根据捕获的视频帧/图像确定的、对应的所识别的移动对象的地理方位匹配的方位处。
回到图2,基于在全局图像上呈现的图形化指示,响应于在其上有至少一个图形化指示的地图的区域的选择呈现(230)来自多个摄像机中的一个摄像机的所捕获的图像/视频数据,其中至少一个图形化指示表示被摄像机之一捕获的多个移动对象中的至少一个。例如,用户(例如,警卫)能够具有被所部署的所有摄像机监控的区域的代表性的单个视图(即,全局图像),并且因此监控所识别的对象的运动。当警卫希望获得关于移动对象(例如,追踪的轨迹(如,诸如以红色曲线所显示的)对应的移动对象)的更多细节时,警卫可以点击或以其他方式选择地图上的区域/地区,其中显示了特定的对象正在移动以使来自与该区域相关联的摄像机的视频流被呈现给用户。例如,全局图像可以被分成区域/地区的网格,当选择它们中的一个时,其使得来自覆盖所选定的区域的摄像机的视频流进行呈现。在一些实施方式中,视频流可以在全局图像的旁边被呈送给用户,在全局图像上,根据摄像机的帧来识别的移动对象的运动被呈现给用户。例如,图4示出了在全局图像的旁边显示的视频帧,在全局图像中,来自视频帧的移动汽车的运动被呈现为移动的矩形。
在一些实施方式中,响应于从全局图像选择移动对象对应的图形化指示,可以执行呈现来自摄像机之一的捕获到的图像数据。例如,用户(例如,警卫)可以点击实际的图形化运动数据项(它是诸如矩形或轨迹线的移动形状),以使得来自摄像机的视频帧被呈现给用户,摄像机捕获从其中识别移动对象(并且确定移动对象的运动)的帧/图像。如下文将更加详细描述的,在一些实施中,表示移动对象和/或其运动的图形化运动项的选择可以引起辅助摄像机放大移动对象被确定位于其上的区域,从而提供关于该对象的更多细节,其中所述辅助摄像机与其中出现所选定的图形化运动项对应的移动对象的摄像机相关联。
对象识别和运动确定过程
依据被多个摄像机中的至少一个捕获的至少一些图像/视频要在全局图像(例如,在图3和图4中分别示出的全局图像300或者420)上呈现对象的识别,以及确定并且追踪这些对象的运动,可以使用图5中所描绘的过程500来执行。例如,在序列号为12/982,601、题名为“Searching Recorded Video”的专利申请中提供了确定一个或者多个对象的存在以及它们各自的运动的图像/视频处理的额外的细节和实例。
简单地说,过程500包括使用在网络中部署的摄像机(例如,在图3的实例中,摄像机被部署在使用黑圈310a-g标识的位置处)之一捕获505视频帧。捕获视频帧的摄像机可以与本文关于图1A和图1B所描述的摄像机110、120、130、140和/或170中的任意一个类似。此外,虽然过程500是关于单个摄像机来描述的,但也可以使用讨论中部署以监控区域的其他摄像机来实施类似的过程。另外,视频帧可以从视频源实时地被捕获或者从数据存储器取回(例如,采用实施其中摄像机包括暂时存储捕获的图像/视频帧的缓冲器,或者从存储大量的之前捕获的数据的储存库)。过程500可以利用高斯模型,以排除静态背景图像以及具有没有语义(semantic)意义的重复运动的图像(例如,随风移动的树木),从而从感兴趣的对象有效地扣除场景的背景。在一些实施方式中,关于图像中每个像素的灰度级强度形成参数模型。这种模型的一个实例是大量高斯分布的加权总和。例如,如果我们选择3个高斯的混合,那么这样一像素的标准灰度级可以通过6个参数来描述,3个数是平均数,以及3个数是标准偏差。采用这种方式,可以建模例如风中的树枝的运动的重复变化。例如,在一些实施、实施方式中,为图像中的每个像素保留三个合适的像素值。一旦任何一个像素值落入高斯模型之一,则对应的高斯模型的概率增加,并且像素值使用正在运行的平均值进行更新。如果不能为该像素找到匹配,那么新模型代替混合模型中的最小概率的高斯模型。也可以使用其他的模型。
因此,例如,为了检测场景中的对象,高斯混合模型被应用到视频帧(或者多个帧)以创建背景,如更加具体地示出的方框510、520、525以及530。使用该方法,即使在背景拥挤并且场景中存在运动时也能产生背景模型。由于高斯混合模型用于实时的视频处理可能是耗费时间的,并且由于其计算性能该高斯混合模型很难进行优化,故在一些实施中,构造(在530处)并且应用(在535处)背景的最可能的模型,以从背景中分割前景对象。在一些实施中,可以使用各种其他的背景构造和训练过程来创建背景场景。
在一些实施中,可以结合上文描述的背景模型使用第二背景模型,或者该第二背景模型可以用作独立的背景模型。这是可以做到的,例如,为了提高对象检测的准确性并且去除检测到的错误对象,所述检测到的错误对象是由于对象在一个位置停留一段时间后就已经离开了该位置。因此,例如,可以在第一“短期的”背景模型之后应用第二“长期的”背景模型。长期的背景的构造过程可以与短期的背景模型的构造过程类似,除了其以更慢的速率进行更新。也就是说,可以基于更多的视频帧产生长期的背景模型和/或可以在更长的一段时间中执行长期的背景模型的产生。如果使用短期的背景检测到了对象,然而根据长期的背景对象被认为是背景中的一部分,那么可以认为检测到的对象是错误的对象(例如,在一个地方停留一会并且离开的对象)。在这种情况下,短期的背景模型的对象区域可以用长期的背景模型的对象区域进行更新。另外,如果对象在长期的背景中出现而其被确定是当使用短期的背景模型处理帧时的背景的一部分,那么该对象已经被并入到短期的背景中。如果对象是在两种背景模型中都被检测到的,那么讨论中的项/对象是前景对象的可能性是高的。
因此,如已经提到的,背景相减操作被应用(在535处)到捕获的图像/帧(使用短期的背景模型以及长期的背景模型),以提取前景像素。背景模型可以根据分割结果进行更新540。由于背景通常不会快速变化,故没有必要为整个图像以每个帧为单位更新背景模型。然而,如果每N(N>0)帧更新一次背景模型,那么具有背景更新的帧和没有背景更新的帧的处理速度是显著不同的,并且这有时可能引起运动检测误差。为了克服该问题,在每个帧中可以更新背景模型的仅仅一部分,这样每个帧的处理速度实质上是相同的并且实现了速度优化。
例如,使用包括适用于图像的非线性滤波过程的形态学滤波,前景像素被分组成并且被标记545为相似像素的图像斑点、组,等等。在一些实施方式中,形态学滤波可以包括侵蚀和膨胀处理。侵蚀通常减小对象的尺寸并且通过以小于结构化元件的半径(例如,4邻或者8邻(4-neighbour or8-neighbour))减去对象来去除小噪声。膨胀通常增加对象的尺寸,其通过填充洞和被破坏的区域以及连接以小于结构化元件的尺寸的空间分离的区域。合成的图像斑点可以表示在帧中检测到的可移动的对象。因此,例如,形态学滤波可以被用来去除由例如散布在图像中的单个像素组成的“对象”或者“斑点”。另一个操作可以是平滑更大的斑点的边界。采用这种方式,噪声被去除且对象的错误检测的数量减少了。
还如图5中所示的,在分割后的图像/帧中呈现的映像可以被检测到并且从视频帧中去除。为了去除由于分割误差造成的小噪声图像斑点并且根据场景中对象的尺寸找到合格的对象,可以利用例如场景校准方法来检测斑点尺寸。关于场景校准,假设了一种全景地平面模型(perspective ground plane model)。例如,合格的对象应该比地平面模型中的阈值高度(例如,最小高度)高并且比阈值宽度(例如,最大宽度)窄。例如,可以通过以不同垂直度的两条水平平行线段的设计来计算地平面模型,并且该两条线段应该具有和地平面的消失点(例如,全景图中平行线似乎汇聚到的那点)的现实世界的长度相同的长度,以便实际对象的尺寸可以根据其到消失点的位置进行计算。在场景的底部定义了斑点的最大/最小的宽度/高度。如果检测到的图像斑点的正常的宽度/高度比最小宽度/高度小或者正常的宽度/高度比最大宽度/高度宽,那么可以丢弃该图像斑点。因此,可以从分割后的帧检测到映像和阴影并且将它们去除550。
可以在阴影去除以前或者之后进行映像检测和去除。例如,在一些实施方式中,为了去除任何可能的映像,可以首先执行相比于整个场景的像素数量,前景像素的百分比是否高的判定。如果前景像素的百分比比阈值高,那么以下的可以发生。例如,在编号为12/982,601、题名为“Searching Recorded Video”的美国专利申请中提供了映像和阴影去除操作的更多细节。
如果没有可以与检测到的图像斑点匹配的当前对象(即,当前正被追踪的先前识别的对象),那么将为该图像斑点创建新对象。否则,图像斑点将被映射/匹配555到现有的对象。通常,新建的对象将不会被进一步处理,直到其在场景中出现一段预定时间段并且四处移动至少超过最小的距离。采用该方式,可以丢弃许多错误的对象。
还可以使用其他识别感兴趣的对象(例如,诸如人、汽车等移动对象)的过程和技术。
追踪被识别的对象(例如,使用上述过程或者另一种类型的对象识别过程进行识别的)。为了追踪对象,对场景内的对象进行归类(在560处)。例如,根据纵横比、物理尺寸、垂直剖面、形状和/或其他与对象相关联的特性,对象可以被分类为与其他的车辆或者人有区别的特定的人或者车辆。例如,对象的垂直剖面可以被定义为对象区域中前景像素的顶部像素的垂直坐标的一维投影。该垂直轮廓可以首先用低通滤波器进行滤波。根据校准的对象尺寸,可以改善分类结果,这是因为单个人的尺寸总是比车辆的尺寸小。
一群人和一车辆可以通过它们的形状差异来分类。例如,以像素为单位的人的宽度的尺寸可以在对象的位置处被确定。宽度的一部分可以被用来检测沿着垂直剖面的峰值和谷值。如果对象宽度比人的宽度大并且在对象中检测到了不止一个峰值,那么很可能对象对应的是一群人,而不是车辆。另外,在一些实施方式中,基于对对象缩略(thumbs)(例如,缩略图像)的离散余弦变换(DCT)或者其他变换,颜色描述可以被应用于提取关于被检测对象的颜色特征(量化的变换系数),其中其他变换例如离散正弦变换、沃尔什变换、阿达玛变换、快速傅里叶变换、小波变换等。
还如图5中所示的,过程500还包括事件检测操作(在570处)。可以在方框170处被检测的事件的样本列表包括如下事件:i)对象进入场景,ii)对象离开场景,iii)摄像机被破坏,iv)对象仍然在场景中,v)对象合并,vi)对象分开,vii)对象进入预定义的地区,viii)对象离开预定义的地区(例如,图3中描绘的预定义的地区340),ix)对象跨越绊网(例如,图3中描绘的绊网350),x)对象被去除,xi)对象被丢弃,xii)对象正沿与关于地区或者绊网的预定义的禁止方向匹配的方向移动,xiii)对象计数,xiv)对象去除(例如,当对象静止的时间比预定义的时间段长并且其尺寸比预定义的地区的大的部分大时),xv)对象丢弃(例如,当对象静止的时间比预定义的时间段长并且其尺寸比预定义的地区的大的部分小时),xvi)驻留定时器(例如,对象在预定义的地区中一段长于指定的驻留时间都是静止的或者移动很少的);以及xvii)对象徘徊(例如,当对象在预定义的地区中一段比指定的驻留时间长的时间段时)。还可以定义其他类型的事件并且然后将其用在由图像/帧确定的活动的分类中。
如描述的,在一些实施方式中,表示被识别的对象、对象的运动等的数据可以被生成为元数据。因此,过程500还可以包括根据被追踪的对象的运动或者根据从追踪导出的事件来产生580元数据。产生的元数据可以包括将对象信息与所检测的事件结合在统一表达式的描述。例如,可以通过对象的位置、颜色、尺寸、纵横比、等等来描述它们。对象还可以以它们对应的对象标识符和时间戳与事件有关系。在一些实施中,可以通过规则处理器产生事件,所述规则处理器具有的规则被定义以使场景分析过程能确定应该在与视频帧相关联的元数据中提供哪种对象信息和事件。规则可以采用任意数量的方式来建立,例如通过配置***的***管理员、通过可以重新配置***中的摄像机中的一个或者多个的授权用户,等等。
应当注意到的是,如图5中描绘的过程500仅为非限制性的实例,并且可以例如通过使操作被添加、去除、重新排列、结合、和/或同时执行来改变。在一些实施方式中,过程500可以被实施为与处理器或在处理器内执行,该处理器包含在视频源内或者耦合到视频源,该视频源是例如图1B中所示的视频源(例如,捕获单元),和/或可以在例如计算机主机***160的服务器处被执行(整体地或者部分地)。在一些实施方式中,过程500可以实时操作视频数据。即,当捕获了视频帧时,过程500可以尽快或者比被视频源捕获到的视频帧更快地识别对象和/或检测对象事件。
摄像机校准
如已经提到的,为了在单个全局图像(或者地图)上呈现从多个摄像机提取的图形化指示(例如,轨迹或者移动图标/符号),有必要校准每个摄像机与全局图像。摄像机到全局图像的校准使被识别的移动对象能在全局图像中的合适的方位中被呈现/显现,其中所述被识别的移动对象出现在在特定于那些摄像机的方位/坐标(所谓的摄像机坐标)中的各个摄像机捕获的帧中,全局图像的坐标系(所谓的地图坐标)不同于各个摄像机的坐标系中的任意一个摄像机坐标。摄像机到全局图像的校准实现了在摄像机的坐标系和全局图像的像素位置之间的坐标变换。
因此,参考图6,其示出了校准过程600的示例实施方式的流程图。为了执行关于摄像机之一到全局图像(例如,诸如图3的全局图像300的俯瞰地图)的校准,选择610在正被校准的摄像机捕获的帧中出现的一个或者多个位置(也被称为校准地点)。例如,考虑图7A,其是来自特定的摄像机的捕获的图像700。假设图7B中所示的全局图像的***坐标(也被称为世界坐标)是已知的,并且假设在全局图像上的小区域被将被校准的摄像机覆盖。因此,识别620在全局图像中对应于被将校准的摄像机所捕获的帧中所选定的点(校准地点)的点。在图7A的实例中,识别了九(9)个点,其被标记为1-9。通常,选定的点应该是在所捕获的图像中的固定特征对应的点,例如,所述固定特征诸如图像中的长凳、路缘石、各种其他的地标,等等。另外,全局图像中的关于来自图像的所选定的点的相应的点应该是可容易识别的。在一些实施方式中,摄像机的所捕获的图像中的点的选择以及全局图像中对应的点的选择是由用户手动执行的。在一些实施中,可以以像素坐标为单位提供图像中选择的点以及全局图像中对应的点。然而,校准过程中使用的点还可以以地理坐标(例如,以诸如英尺或米的距离单位)为单位被提供,并且在一些实施中,可以以像素为单位提供所捕获的图像的坐标系,并且可以以地理坐标提供全局图像的坐标系。因此,在后者的实施中,将要执行的坐标变化将为像素到地理单位的变换。
为了确定摄像机的坐标系和全局图像的坐标系之间的坐标变换,在一些实施中,可以使用2维线性参数模型,基于摄像机的坐标系中的所选定的位置(校准地点)的坐标、以及基于全局图像中对应被识别的方位的坐标,可以计算6302维线性参数模型的预测系数(即,坐标变换系数)。参数模型可以是如下这样的一阶2维线性模型:
xp=(αxxxcxx)(αxyycxy) (公式1)
yp=(αyxxcyx)(αyyycyy) (公式2)
其中xp和yp是特定方位的现实世界坐标(其可以由用户根据全局图像中的该选定方位来确定),并且xc和yc是特定方位的对应的摄像机坐标(如由用户根据正对于全局图像被校准的摄像机所捕获的图像来确定)。α和β参数是其值有待被解的参数。
为了使预测参数的计算更容易,可以通过将公式1和公式2右手边的项求平方来从一阶模型导出2阶2维模型。通常2阶模型比一阶模型更加鲁棒,并且通常更加不会受到噪声测量的影响。2阶模型还可以提供对于参数设计和确定更大的自由度。同样,在一些实施方式中,2阶模型可以补偿摄像机径向畸变。2阶模型可以如下表达:
xp=(αxxxcxx)2xyycxy)2 (公式3)
yp=(αyxxcyx)2yyycyy)2 (公式4)
将上述两个式子相乘为多项式,产生了九个系数预测值(即,根据摄像机坐标x和y的九个系数表示全局图像中的世界坐标的x值,并且类似地根据摄像机坐标x和y的九个系数表示世界坐标的y值)。这九个系数预测值可以被表达为:
(公式5)
以及
(公式6)
在上述矩阵表达中,例如,参数α22对应于乘以项x2 c1y2 c1的项α2 xxα2 xy(当乘了公式3的项时),其中(xc1,yc1)是在摄像机图像中选定的第一方位(地点)的x-y摄像机坐标。
全局图像中对应的地点的世界坐标可以被安排为矩阵P,矩阵P被表达为:
P=C9A9 (公式7)
矩阵A以及其关联的预测值参数可以被确定为根据下式的最小平方解:
A9=(C9 TC9)-1C9 TP (公式8)
在摄像机网络(例如图1A的网络100或者图3中所示的摄像机310a-g)中部署的每个摄像机都需要采用相似的方式进行校准,以确定摄像机各自的坐标变换(即,摄像机各自的A矩阵)。为了此后确定在特定摄像机的所捕获的帧中出现的特定对象的位置,摄像机对应的坐标变换被应用于关于该摄像机的对象的位置坐标,以因此确定对象在全局图像中的对应的位置(坐标)。所计算出的对象在全局图像中的变换坐标被接着用于在全局图像中的恰当位置处显现对象(及其运动)。
还可以使用其他的校准技术来代替或附加到如上关于公式1-8所描述的校准过程。
辅助摄像机
由于校准摄像机中包括的计算工作量,以及其需要的来自用户的交互和时间(例如,为在捕获的图像中选择合适的点),因此最好避免摄像机的频繁的重新校准。然而,每次摄像机的属性被改变(例如,如果在空间上移动了摄像机,如果改变了摄像机的缩放,等),就需要计算在新的摄像机的坐标系和全局图像坐标系之间的新的坐标变换。在一些实施方式中,用户在选择了特定摄像机(或者从全局图像选择了被特定摄像机监控的区域)之后可能希望对正被追踪的对象进行放大,其中基于全局图像上呈现的数据从所述特定摄像机接收视频流(即,得到关于被选定的摄像机监控的对象的现场视频输入)。然而,对对象进行放大或者其他的对摄像机的调整,将产生不同的摄像机坐标系,且因而如果在全局图像上继续基本准确地呈现来自该摄像机的对象运动数据,那么将需要计算新的坐标变换。
因此,在一些实施方式中,被用来识别移动对象并且被用来确定对象的运动(以使在单个全局图像上可以呈现并且追踪被各个摄像机识别的对象的运动)的至少一些摄像机可以分别与接近主摄像机放置的陪同辅助摄像机相匹配。这样,辅助摄像机将具有与其主(主要的)摄像机的视场相似的视场。因此,在一些实施方式中,所使用的主摄像机可以是位置固定的摄像机(包括也许能被移动或者使它们的属性能被调整,但尽管如此还维持它们正监控的区域的恒定视图的摄像机),同时辅助摄像机可以是能调整它们的视场的摄像机,例如,诸如PTZ摄像机。
在一些实施方式中,辅助摄像机可以仅关于其主(主要的)摄像机进行校准,而不必对于全局图像的坐标系进行校准。这样的校准可以关于辅助摄像机的初始视场来执行。当摄像机被选择来提供视频流时,用户随后可能能选择用户希望接收更多关于其细节的区域或者特征(例如,通过使用鼠标点击或者使用在其上呈现要被选择的区域/特征的监控器的区域上的定点设备)。因此,确定了被与所选定的主摄像机相关联的辅助摄像机捕获的图像上的坐标,其中感兴趣的特征或者区域位于所选定的主摄像机上。例如,可以如下执行该确定:通过将坐标变换应用于从被主摄像机捕获的图像选定的特征/区域的坐标,以计算在该特征/区域的坐标出现在被陪同辅助摄像机捕获的图像中时所述特征/区域的坐标。由于通过在主摄像机及其辅助摄像机之间的坐标变换的应用确定了关于辅助摄像机的选定的特征/区域的位置,故辅助摄像机可以自动地,或者使用来自用户的其他输入,聚焦于或者以其他方式得到选定的特征/区域的不同视图,而不必改变主摄像机的方位。例如,在一些实施中,对表示移动对象和/或其运动的图形化运动项的选择可以引起与主摄像机相关联的辅助摄像机自动地对确定移动对象位于其上的区域进行放大,从而以提供关于该对象的更多细节,其中所述主摄像机上出现了与选定的图形化运动项对应的移动对象。特别地,由于在主摄像机的坐标系中,要被放大的移动对象所在的位置是已知的,故从主摄像机对于其辅助配件的校准中所导出的坐标变换可以提供关于该对象(或者其他特征)的辅助摄像机坐标,并且因而使辅助摄像机能自动地对其视场中的区域进行放大,其中所述视场与所确定的关于该移动对象的辅助摄像机坐标对应。在一些实施中,用户(例如警卫或者技术人员)可以通过经由用户界面做出合适的选择和调整来促进辅助摄像机的放大,或者另外的调整辅助摄像机的属性。这种用户界面可以是图形用户界面,其也可以在显示设备(与在其上呈现了全局图像的那个显示设备相同或者不同)上呈现并且可以包括图形化控制项(例如,按钮、条,等),以控制辅助摄像机的例如倾斜、摇摄、缩放、移位以及其他的属性,其中所述辅助摄像机提供关于特定区域或者移动对象的额外的细节。
在一些实施方式中,当用户完成了观看由主和/或辅助摄像机获得的图像时,和/或在某一预先确定的时间段已经过去之后,辅助摄像机可以回到其初始位置,从而避免在其被调整为聚焦在选定的特征/区域上之后,关于被辅助摄像机捕获的新的视场需要对于主摄像机重新校准辅助摄像机。
在一些实施中,可以使用与如关于图6所描述的那些用来校准摄像机和全局图像的过程类似的过程来执行辅助摄像机和其主摄像机的校准。在这些实施中,选择了被摄像机之一捕获的图像中的几个地点,并且识别了被其他摄像机捕获的图像中的相应的地点。在两个图像中有所选择的和/或所识别的匹配校准地点,可以构造2阶(或者一阶)2维预测模型,从而产生两个摄像机之间的坐标变换。
在一些实施方式中,可以使用其他的校准技术/过程来将主摄像机对于其辅助摄像机校准。例如,在一些实施方式中,可以使用类似于在序列号为12/982,138、题名为“Tracking Moving Objects Using a Camera Network”的专利申请中所描述的校准技术。
基于处理器的计算***的实施
可以通过基于处理器的计算***(或者其某一部分)来促进执行本文所描述的视频/图像处理操作,操作包括如下操作:检测移动对象、呈现表示全局图像上的移动对象的运动的数据、呈现来自全局图像的选定区域对应的摄像机的视频流、和/或校准摄像机。此外,可以使用例如本文参考图8所描述的那个的基于处理器的计算***来实施本文所描述的基于处理器的设备中的任意一个,所述基于处理器的设备包括:例如,主机计算机***160和/或其模块/单元中的任意一个、网络100的任意一个摄像机的处理器中的任意一个,等等。因此,参考图8,示出了通用计算***800的示意图。计算***800包括通常包含中央处理器单元812的基于处理器的设备810,所述基于处理器的设备810例如个人计算机、专用计算设备等等。除了CPU 812之外,***还包括主存储器、高速缓冲存储器以及总线接口电路(未示出)。基于处理器的设备810可以包括例如与计算机***相关联的硬盘或者闪存驱动器的大容量存储器元件814。计算***800还可以包括键盘、或者小键盘、或者一些其他的用户输入接口816、以及例如CRT(电子射线管)或者LCD(液晶显示)监控器的监控器820,所述监控器可以被安放在用户可以访问它们的位置处(例如,图1A的主机计算机***160的监控器)。
例如,基于处理器的设备810被配置为促进如下操作的实施:检测移动对象、呈现表示全局图像上移动对象的运动的数据、呈现来自全局图像的选定区域对应的摄像机的视频流、校准摄像机,等等。因此,存储设备814可以包括计算机程序产品,且当其在基于处理器的设备810上执行时引起基于处理器的设备执行促进上述过程的实施的操作。基于处理器的设备还可以包括使能输入/输出功能的***设备。例如,这些***设备可以包括CD-ROM驱动器和/或闪存驱动器(例如,可去除的闪存驱动器)、或者用于将相关的内容下载到所连接的***的网络连接。这些***设备还可以被用于下载包含计算机指令的软件以使能相应的***/设备的通用操作。可选地和/或另外地,在一些实施方式中,可以在***800的实施中使用例如FPGA(现场可编程门阵列)、ASIC(专用集成电路)、DSP处理器等等的专用逻辑电路。可以被包括在基于处理器的设备810中的其他模块为扬声器、声卡、例如鼠标或者轨迹球的定点设备,用户通过所述定点设备可以向计算***800提供输入。基于处理器的设备810可以包括例如Windows 微软公司操作***的操作***。可选地,可以使用其他的操作***。
计算机程序(也被称为程序、软件、软件应用程序或者代码)包括用于可编程处理器的机器指令,并且可以采用高级程序和/或面向对象的编程语言,和/或采用汇编/机器语言来实施。如本文使用的,术语“机器可读介质”指的是用来向可编程处理器提供机器指令和/或数据的任何非暂时性的计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器、可编程逻辑设备(PLD)),其包括将机器指令作为机器可读信号来接收的非暂时性机器可读介质。
虽然本文已经详细公开了特定的实施方式,但仅出于说明的目的,通过实例的方式进行公开,并且不旨在限制于下述的附加权利要求的范围。具体地说,可以预期能做出各种替换、变化以及修改,而不背离本发明的由权利要求所定义的精神和范围。其他的方面、优势以及修改被认为是在下述权利要求的范围之内的。所呈现的权利要求表示了本文所公开的实施方式和特征。同时考虑了其他没有要求保护的实施方式和特征。相应地,其他的实施方式在下述权利要求的范围之内。

Claims (23)

1.一种用于基于地理图的控制的方法,包括:
获得关于多个移动对象的运动数据,其中所述运动数据在多个摄像机处从被所述多个摄像机捕获的图像数据中分别地确定;
在表示被所述多个摄像机监控的区域的全局图像上,呈现表示运动的图形化指示,所述图形化指示对应于在所述多个摄像机处确定的关于所述多个移动对象的运动数据,所述多个摄像机被校准以使各自的视场与所述全局图像的对应区域相匹配,所述图形化指示显现在所述全局图像上在所述全局图像的对应于所述多个移动对象的地理位置的方位处;以及
响应于对所述全局图像的一区域的选择,呈现来自所述多个摄像机中的一个摄像机的现场视频输入,以便观看所述现场视频输入,所述全局图像的所述区域包括表示所述运动的至少一个所述图形化指示,所述至少一个所述图形化指示在所述全局图像上在所述全局图像的对应于一地理位置的一方位处显现,该地理位置针对被所述多个摄像机中的所述一个摄像机捕获的所述多个移动对象中的至少一个移动对象,所述现场视频输入示出与出现在选自所述全局图像的所述区域中的所述至少一个所述图形化指示相对应的所述多个移动对象中的至少一个移动对象,所述多个摄像机中的所述一个摄像机被校准以使所述多个摄像机中的所述一个摄像机的视场与所述全局图像中包括所述至少一个所述图形化指示的区域相匹配。
2.如权利要求1所述的方法,其中,响应于对所述全局图像的所述区域的选择呈现所述现场视频输入,所述全局图像的所述区域呈现关于所述多个移动对象中的至少一个移动对象的至少一个所述图形化指示的操作包括:
响应于对与被所述多个摄像机中的所述一个摄像机捕获的一移动对象对应的图形化指示的选择,呈现来自所述多个摄像机中的所述一个摄像机的所述现场视频输入。
3.如权利要求1所述的方法,还包括:
关于所述全局图像校准所述多个摄像机中的至少一个,以使被所述多个摄像机中的所述至少一个捕获的相应的至少一个视场与所述全局图像中对应的至少一个区域相匹配。
4.如权利要求3所述的方法,其中,校准所述多个摄像机中的所述至少一个包括:
选择在被所述多个摄像机中的所述至少一个捕获的一图像中出现的一个或者多个位置;
识别在所述全局图像上的与在被所述多个摄像机中的所述至少一个捕获的所述图像中所选定的一个或者多个位置对应的方位;以及
基于所识别的全局图像方位以及在所述多个摄像机中的所述至少一个的所述图像中对应选定的一个或者多个位置,计算二阶2维线性参数模型的变换系数,以将在被所述多个摄像机中的所述至少一个捕获的图像中的方位的坐标变换为所述全局图像中对应方位的坐标。
5.如权利要求1所述的方法,还包括:
在所述全局图像的选定区域中呈现与所述至少一个所述图形化指示对应的所述多个移动对象中的所述至少一个移动对象的额外的细节,所述额外的细节出现在被辅助摄像机捕获的辅助帧中,所述辅助摄像机关联于与所述选定区域对应的所述多个摄像机中的所述一个摄像机。
6.如权利要求5所述的方法,其中,呈现所述多个移动对象中的至少一个移动对象的额外的细节包括:
放大所述辅助帧中的对应于被所述多个摄像机中的所述一个摄像机捕获的所述多个移动对象中的所述至少一个移动对象的方位的区域。
7.如权利要求1所述的方法,其中,获得关于所述多个移动对象的所述运动数据包括:
给被所述多个摄像机中的至少一个捕获的至少一个图像应用高斯混合模型,以将所述至少一个图像的包含移动对象的像素组的前景与所述至少一个图像的包含静止对象的像素组的背景分离。
8.如权利要求1所述的方法,其中,关于所述多个移动对象的所述运动数据包括来自所述多个移动对象的一移动对象的数据,其包括下述中的一个或者多个:摄像机的视场内的所述移动对象的位置、所述移动对象的宽度、所述移动对象的高度、所述移动对象正在移动的方向、所述移动对象的速度、所述移动对象的颜色、所述移动对象正进入所述摄像机的所述视场的指示、所述移动对象正离开所述摄像机的所述视场的指示、所述摄像机正被破坏的指示、所述移动对象停留在所述摄像机的视场中一段大于预定的时间段的时间的指示、几个移动对象被合并的指示、所述移动对象被分为两个或者多于两个移动对象的指示、所述移动对象正进入感兴趣的区域的指示、所述移动对象正离开预定义的地区的指示、所述移动对象正跨越绊网的指示、所述移动对象正沿与所述地区或所述绊网的预定义的禁止方向匹配的方向移动的指示、表示所述移动对象的计数的数据、所述移动对象的移除的指示、所述移动对象的丢弃的指示以及表示关于所述移动对象的驻留定时器的数据。
9.如权利要求1所述的方法,其中,在所述全局图像上呈现所述图形化指示包括:
在所述全局图像上呈现各种颜色的移动几何形状,所述几何形状包括下述中的一种或者多种:圆形、矩形以及三角形。
10.如权利要求1所述的方法,其中,在所述全局图像上呈现所述图形化指示包括:
在所述全局图像上呈现追踪关于所述多个移动对象中的至少一个的所确定的运动的轨迹,其中所述轨迹呈现在所述全局图像上对应于所述多个移动对象中的所述至少一个移动对象所沿路径的地理位置的方位处。
11.如权利要求1所述的方法,其中,所述多个摄像机包括被校准以使各自的视场与所述全局图像的对应区域相匹配的多个位置固定的摄像机,其中,所述多个位置固定的摄像机中的每一个与具有可调节的视场的多个辅助摄像机中的相应的一个相关联,并且其中,所述多个辅助摄像机被配置成调节各自的可调节视场以获得关于所述多个移动对象的额外的细节使得避免相应的多个位置固定的摄像机对于所述全局图像的重新校准。
12.一种用于基于地理图的控制的***,包括:
多个摄像机,其捕获图像数据;
一个或者多个显示设备;以及
一个或者多个处理器,其被配置为执行如下的操作,包括:
获得关于多个移动对象的运动数据,其中所述运动数据在多个摄像机处从被所述多个摄像机捕获的图像数据中分别地确定;
使用所述一个或者多个显示设备中的至少一个,在表示被所述多个摄像机监控的区域的全局图像上,呈现表示运动的图形化指示,所述图形化指示对应于在所述多个摄像机处确定的关于所述多个移动对象的所述运动数据,所述多个摄像机被校准以使各自的视场与所述全局图像的对应区域相匹配,所述图形化指示显现在所述全局图像上在所述全局图像的对应于所述多个移动对象的地理位置的方位处;以及
响应于对所述全局图像的一区域的选择,使用所述一个或者多个显示设备中的一个,呈现来自所述多个摄像机中的一个摄像机的现场视频输入,以便观看所述现场视频输入,所述全局图像的所述区域包括表示所述运动的至少一个所述图形化指示,所述至少一个所述图形化指示在所述全局图像上在所述全局图像的对应于一地理位置的一方位处显现,该地理位置针对被所述多个摄像机中的所述一个摄像机捕获的所述多个移动对象中的至少一个移动对象,所述现场视频输入示出与出现在选自所述全局图像的所述区域中的所述至少一个所述图形化指示相对应的所述多个移动对象中的至少一个移动对象,所述多个摄像机中的所述一个摄像机被校准以使所述多个摄像机中的所述一个摄像机的视场与所述全局图像中包括所述至少一个所述图形化指示的区域相匹配。
13.如权利要求12所述的***,其中,被配置为执行响应于对所述全局图像的所述区域的选择而呈现所述现场视频输入的操作的所述一个或者多个处理器被配置为执行如下操作:
响应于对与被所述多个摄像机中的所述一个摄像机捕获的一移动对象对应的图形化指示的选择,使用所述一个或者多个显示设备中的所述一个,来呈现来自所述多个摄像机中的所述一个摄像机的所述现场视频输入。
14.如权利要求12所述的***,其中,所述一个或者多个处理器还被配置为执行如下操作:
关于所述全局图像校准所述多个摄像机中的至少一个,以使被所述多个摄像机中的所述至少一个捕获的相应的至少一个视场与所述全局图像中对应的至少一个区域相匹配。
15.如权利要求14所述的***,其中,被配置为执行校准所述多个摄像机中的至少一个的操作的所述一个或者多个处理器被配置为执行如下操作:
选择在被所述多个摄像机中的所述至少一个捕获的一图像中出现的一个或者多个位置;
识别在所述全局图像上的与在被所述多个摄像机中的所述至少一个捕获的所述图像中所选定的一个或者多个位置对应的方位;以及
基于所识别的全局图像方位以及在所述多个摄像机中的所述至少一个的所述图像中对应选定的一个或者多个位置,计算二阶2维线性参数模型的变换系数,以将在被所述多个摄像机中的所述至少一个捕获的图像中的方位的坐标变换为所述全局图像中对应方位的坐标。
16.如权利要求12所述的***,其中,所述一个或者多个处理器还被配置为执行如下操作:
在所述全局图像的选定区域中呈现与所述至少一个所述图形化指示对应的所述多个移动对象中的所述至少一个移动对象的额外的细节,所述额外的细节出现在被辅助摄像机捕获的辅助帧中,所述辅助摄像机关联于与所述选定区域对应的所述多个摄像机中的所述一个摄像机。
17.如权利要求12所述的***,其中,关于所述多个移动对象的所述运动数据包括来自所述多个移动对象的一移动对象的数据,其包括下述中的一个或者多个:摄像机的视场内的所述移动对象的位置、所述移动对象的宽度、所述移动对象的高度、所述移动对象正在移动的方向、所述移动对象的速度、所述移动对象的颜色、所述移动对象正进入所述摄像机的所述视场的指示、所述移动对象正离开所述摄像机的所述视场的指示、所述摄像机正被破坏的指示、所述移动对象停留在所述摄像机的视场中一段大于预定的时间段的时间的指示、几个移动对象被合并的指示、所述移动对象被分为两个或者多于两个移动对象的指示、所述移动对象正进入感兴趣的区域的指示、所述移动对象正离开预定义的地区的指示、所述移动对象正跨越绊网的指示、所述移动对象正沿与所述地区或所述绊网的预定义的禁止方向匹配的方向移动的指示、表示所述移动对象的计数的数据、所述移动对象的移除的指示、所述移动对象的丢弃的指示以及表示关于所述移动对象的驻留定时器的数据。
18.一种用于基于地理图的控制的设备,所述设备包括:
用于获得关于多个移动对象的运动数据的装置,其中所述运动数据在多个摄像机处从被所述多个摄像机捕获的图像数据中分别地确定;
用于在表示被所述多个摄像机监控的区域的全局图像上呈现表示运动的图形化指示的装置,所述图形化指示对应于在所述多个摄像机处确定的关于所述多个移动对象的运动数据,所述多个摄像机被校准以使各自的视场与所述全局图像的对应区域相匹配,所述图形化指示显现在所述全局图像上在所述全局图像的对应于所述多个移动对象的地理位置的方位处;以及
用于响应于对所述全局图像的一区域的选择来呈现来自所述多个摄像机中的一个摄像机的现场视频输入的装置,以便观看所述现场视频输入,所述全局图像的所述区域包括表示所述运动的至少一个所述图形化指示,所述至少一个所述图形化指示在所述全局图像上在所述全局图像的对应于一地理位置的一方位处显现,该地理位置针对被所述多个摄像机中的所述一个摄像机捕获的所述多个移动对象中的至少一个移动对象,所述现场视频输入示出与出现在选自所述全局图像的所述区域中的所述至少一个所述图形化指示相对应的所述多个移动对象中的至少一个移动对象,所述多个摄像机中的所述一个摄像机被校准以使所述多个摄像机中的所述一个摄像机的视场与所述全局图像中包括所述至少一个所述图形化指示的区域相匹配。
19.如权利要求18所述的设备,其中,用于响应于对所述全局图像的所述区域的选择来呈现所述现场视频输入的所述装置包括:
用于响应于对与被所述多个摄像机中的所述一个摄像机捕获的一移动对象对应的图形化指示的选择来呈现来自所述多个摄像机中的所述一个摄像机的所述现场视频输入的装置。
20.如权利要求18所述的设备,还包括:
用于关于所述全局图像校准所述多个摄像机中的至少一个的装置,以使被所述多个摄像机中的所述至少一个捕获的相应的至少一个视场与所述全局图像中对应的至少一个区域相匹配。
21.如权利要求20所述的设备,其中,用于校准所述多个摄像机中的至少一个的装置包括:
用于选择在被所述多个摄像机中的所述至少一个捕获的一图像中出现的一个或者多个位置的装置;
用于识别在所述全局图像上的与在被所述多个摄像机中的所述至少一个捕获的所述图像中所选定的一个或者多个位置对应的方位的装置;以及
基于所识别的全局图像方位以及在所述多个摄像机中的所述至少一个的所述图像中所对应选定的一个或者多个位置,计算二阶2维线性参数模型的变换系数,以将在被所述多个摄像机中的所述至少一个捕获的图像中的方位的坐标变换为所述全局图像中对应方位的坐标。
22.如权利要求18所述的设备,还包括:
用于在所述全局图像的选定区域中呈现与所述至少一个所述图形化指示对应的所述多个移动对象中的所述至少一个移动对象的额外的细节的装置,所述额外的细节出现在被辅助摄像机捕获的辅助帧中,所述辅助摄像机关联于与所述选定区域对应的所述多个摄像机中的所述一个摄像机。
23.如权利要求18所述的设备,其中,关于所述多个移动对象的所述运动数据包括来自所述多个移动对象的一移动对象的数据,其包括下述中的一个或者多个:摄像机的视场内的所述移动对象的位置、所述移动对象的宽度、所述移动对象的高度、所述移动对象正在移动的方向、所述移动对象的速度、所述移动对象的颜色、所述移动对象正进入所述摄像机的所述视场的指示、所述移动对象正离开所述摄像机的所述视场的指示、所述摄像机正被破坏的指示、所述移动对象停留在所述摄像机的视场中一段大于预定的时间段的时间的指示、几个移动对象被合并的指示、所述移动对象被分为两个或者多于两个移动对象的指示、所述移动对象正进入感兴趣的区域的指示、所述移动对象正离开预定义的地区的指示、所述移动对象正跨越绊网的指示、所述移动对象正沿与所述地区或所述绊网的预定义的禁止方向匹配的方向移动的指示、表示所述移动对象的计数的数据、所述移动对象的移除的指示、所述移动对象的丢弃的指示以及表示关于所述移动对象的驻留定时器的数据。
CN201280067675.7A 2011-11-22 2012-11-19 基于地理图的控制 Expired - Fee Related CN104106260B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/302,984 2011-11-22
US13/302,984 US20130128050A1 (en) 2011-11-22 2011-11-22 Geographic map based control
PCT/US2012/065807 WO2013078119A1 (en) 2011-11-22 2012-11-19 Geographic map based control

Publications (2)

Publication Number Publication Date
CN104106260A CN104106260A (zh) 2014-10-15
CN104106260B true CN104106260B (zh) 2018-03-13

Family

ID=47326372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280067675.7A Expired - Fee Related CN104106260B (zh) 2011-11-22 2012-11-19 基于地理图的控制

Country Status (6)

Country Link
US (1) US20130128050A1 (zh)
EP (1) EP2783508A1 (zh)
JP (1) JP6109185B2 (zh)
CN (1) CN104106260B (zh)
AU (1) AU2012340862B2 (zh)
WO (1) WO2013078119A1 (zh)

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286678B2 (en) 2011-12-28 2016-03-15 Pelco, Inc. Camera calibration using feature identification
EP3122034B1 (en) * 2012-03-29 2020-03-18 Axis AB Method for calibrating a camera
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9639964B2 (en) * 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
WO2014192441A1 (ja) * 2013-05-31 2014-12-04 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP6159179B2 (ja) 2013-07-09 2017-07-05 キヤノン株式会社 画像処理装置、画像処理方法
US9196133B2 (en) 2013-07-26 2015-11-24 SkyBell Technologies, Inc. Doorbell communication systems and methods
US8941736B1 (en) * 2013-07-26 2015-01-27 SkyBell Technologies, Inc. Doorbell communication systems and methods
US11004312B2 (en) 2015-06-23 2021-05-11 Skybell Technologies Ip, Llc Doorbell communities
US10204467B2 (en) 2013-07-26 2019-02-12 SkyBell Technologies, Inc. Smart lock systems and methods
US10044519B2 (en) 2015-01-05 2018-08-07 SkyBell Technologies, Inc. Doorbell communication systems and methods
US11651665B2 (en) 2013-07-26 2023-05-16 Skybell Technologies Ip, Llc Doorbell communities
US9736284B2 (en) 2013-07-26 2017-08-15 SkyBell Technologies, Inc. Doorbell communication and electrical systems
US9060103B2 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell security and safety
US9118819B1 (en) 2013-07-26 2015-08-25 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9237318B2 (en) 2013-07-26 2016-01-12 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9065987B2 (en) 2013-07-26 2015-06-23 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9172920B1 (en) 2014-09-01 2015-10-27 SkyBell Technologies, Inc. Doorbell diagnostics
US10708404B2 (en) 2014-09-01 2020-07-07 Skybell Technologies Ip, Llc Doorbell communication and electrical systems
US8953040B1 (en) 2013-07-26 2015-02-10 SkyBell Technologies, Inc. Doorbell communication and electrical systems
US9179107B1 (en) 2013-07-26 2015-11-03 SkyBell Technologies, Inc. Doorbell chime systems and methods
US9172921B1 (en) 2013-12-06 2015-10-27 SkyBell Technologies, Inc. Doorbell antenna
US9179109B1 (en) 2013-12-06 2015-11-03 SkyBell Technologies, Inc. Doorbell communication systems and methods
US10733823B2 (en) 2013-07-26 2020-08-04 Skybell Technologies Ip, Llc Garage door communication systems and methods
US9113052B1 (en) 2013-07-26 2015-08-18 SkyBell Technologies, Inc. Doorbell communication systems and methods
US11889009B2 (en) 2013-07-26 2024-01-30 Skybell Technologies Ip, Llc Doorbell communication and electrical systems
US9342936B2 (en) 2013-07-26 2016-05-17 SkyBell Technologies, Inc. Smart lock systems and methods
US8937659B1 (en) 2013-07-26 2015-01-20 SkyBell Technologies, Inc. Doorbell communication and electrical methods
US20180343141A1 (en) 2015-09-22 2018-11-29 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9142214B2 (en) 2013-07-26 2015-09-22 SkyBell Technologies, Inc. Light socket cameras
US9197867B1 (en) 2013-12-06 2015-11-24 SkyBell Technologies, Inc. Identity verification using a social network
US9113051B1 (en) 2013-07-26 2015-08-18 SkyBell Technologies, Inc. Power outlet cameras
US9060104B2 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20170263067A1 (en) 2014-08-27 2017-09-14 SkyBell Technologies, Inc. Smart lock systems and methods
US9769435B2 (en) 2014-08-11 2017-09-19 SkyBell Technologies, Inc. Monitoring systems and methods
US9013575B2 (en) 2013-07-26 2015-04-21 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9230424B1 (en) 2013-12-06 2016-01-05 SkyBell Technologies, Inc. Doorbell communities
US10440165B2 (en) 2013-07-26 2019-10-08 SkyBell Technologies, Inc. Doorbell communication and electrical systems
US11764990B2 (en) 2013-07-26 2023-09-19 Skybell Technologies Ip, Llc Doorbell communications systems and methods
US9172922B1 (en) 2013-12-06 2015-10-27 SkyBell Technologies, Inc. Doorbell communication systems and methods
US11909549B2 (en) 2013-07-26 2024-02-20 Skybell Technologies Ip, Llc Doorbell communication systems and methods
US9247219B2 (en) 2013-07-26 2016-01-26 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9160987B1 (en) 2013-07-26 2015-10-13 SkyBell Technologies, Inc. Doorbell chime systems and methods
US9094584B2 (en) 2013-07-26 2015-07-28 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9058738B1 (en) 2013-07-26 2015-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
US10672238B2 (en) 2015-06-23 2020-06-02 SkyBell Technologies, Inc. Doorbell communities
US9049352B2 (en) 2013-07-26 2015-06-02 SkyBell Technologies, Inc. Pool monitor systems and methods
US9179108B1 (en) 2013-07-26 2015-11-03 SkyBell Technologies, Inc. Doorbell chime systems and methods
US20150109436A1 (en) * 2013-10-23 2015-04-23 Safeciety LLC Smart Dual-View High-Definition Video Surveillance System
US20150128045A1 (en) * 2013-11-05 2015-05-07 Honeywell International Inc. E-map based intuitive video searching system and method for surveillance systems
CN104657940B (zh) * 2013-11-22 2019-03-15 中兴通讯股份有限公司 畸变图像校正复原与分析报警的方法和装置
US9253455B1 (en) 2014-06-25 2016-02-02 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9799183B2 (en) 2013-12-06 2017-10-24 SkyBell Technologies, Inc. Doorbell package detection systems and methods
US9786133B2 (en) 2013-12-06 2017-10-10 SkyBell Technologies, Inc. Doorbell chime systems and methods
US9743049B2 (en) 2013-12-06 2017-08-22 SkyBell Technologies, Inc. Doorbell communication systems and methods
JP6322288B2 (ja) * 2014-01-29 2018-05-09 インテル・コーポレーション コンピューティングデバイス、セカンダリディスプレイデバイスでデータを表示する、コンピュータ生成の方法、プログラム、及び、機械可読記録媒体
WO2015122161A1 (ja) 2014-02-14 2015-08-20 日本電気株式会社 映像解析システム
US9888216B2 (en) 2015-09-22 2018-02-06 SkyBell Technologies, Inc. Doorbell communication systems and methods
US20170085843A1 (en) 2015-09-22 2017-03-23 SkyBell Technologies, Inc. Doorbell communication systems and methods
US11184589B2 (en) 2014-06-23 2021-11-23 Skybell Technologies Ip, Llc Doorbell communication systems and methods
US10687029B2 (en) 2015-09-22 2020-06-16 SkyBell Technologies, Inc. Doorbell communication systems and methods
KR101645959B1 (ko) * 2014-07-29 2016-08-05 주식회사 일리시스 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
CN104284148A (zh) * 2014-08-07 2015-01-14 国家电网公司 一种基于变电站视频***的全站地图***及其拼接方法
US9997036B2 (en) 2015-02-17 2018-06-12 SkyBell Technologies, Inc. Power outlet cameras
JP6465600B2 (ja) * 2014-09-19 2019-02-06 キヤノン株式会社 映像処理装置および映像処理方法
EP3016106A1 (en) * 2014-10-27 2016-05-04 Thomson Licensing Method and apparatus for preparing metadata for review
US9454907B2 (en) 2015-02-07 2016-09-27 Usman Hafeez System and method for placement of sensors through use of unmanned aerial vehicles
US9454157B1 (en) 2015-02-07 2016-09-27 Usman Hafeez System and method for controlling flight operations of an unmanned aerial vehicle
US10742938B2 (en) 2015-03-07 2020-08-11 Skybell Technologies Ip, Llc Garage door communication systems and methods
CN106033612B (zh) * 2015-03-09 2019-06-04 杭州海康威视数字技术股份有限公司 一种目标跟踪方法、装置和***
JP6495705B2 (ja) * 2015-03-23 2019-04-03 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
US11575537B2 (en) 2015-03-27 2023-02-07 Skybell Technologies Ip, Llc Doorbell communication systems and methods
US11381686B2 (en) 2015-04-13 2022-07-05 Skybell Technologies Ip, Llc Power outlet cameras
US11641452B2 (en) 2015-05-08 2023-05-02 Skybell Technologies Ip, Llc Doorbell communication systems and methods
US20180047269A1 (en) 2015-06-23 2018-02-15 SkyBell Technologies, Inc. Doorbell communities
KR101710860B1 (ko) * 2015-07-22 2017-03-02 홍의재 영상정보를 기반으로 공간상의 위치정보를 생성하는 방법 및 그 장치
US10706702B2 (en) 2015-07-30 2020-07-07 Skybell Technologies Ip, Llc Doorbell package detection systems and methods
JP6812976B2 (ja) * 2015-09-02 2021-01-13 日本電気株式会社 監視システム、監視ネットワーク構築方法、およびプログラム
US9418546B1 (en) * 2015-11-16 2016-08-16 Iteris, Inc. Traffic detection with multiple outputs depending on type of object detected
TWI587246B (zh) * 2015-11-20 2017-06-11 晶睿通訊股份有限公司 影像物件判別方法及其具有影像物件判別功能的攝影系統
JP6630140B2 (ja) * 2015-12-10 2020-01-15 株式会社メガチップス 画像処理装置、制御プログラム及び前景画像特定方法
JP6570731B2 (ja) * 2016-03-18 2019-09-04 シェンチェン ユニバーシティー 乗客の混雑度の算出方法及びそのシステム
US10638092B2 (en) * 2016-03-31 2020-04-28 Konica Minolta Laboratory U.S.A., Inc. Hybrid camera network for a scalable observation system
US10375399B2 (en) 2016-04-20 2019-08-06 Qualcomm Incorporated Methods and systems of generating a background picture for video coding
US10043332B2 (en) 2016-05-27 2018-08-07 SkyBell Technologies, Inc. Doorbell package detection systems and methods
US9955061B2 (en) 2016-08-03 2018-04-24 International Business Machines Corporation Obtaining camera device image data representing an event
US10163008B2 (en) * 2016-10-04 2018-12-25 Rovi Guides, Inc. Systems and methods for recreating a reference image from a media asset
WO2018087545A1 (en) * 2016-11-08 2018-05-17 Staffordshire University Object location technique
US10726312B2 (en) * 2016-12-05 2020-07-28 Avigilon Corporation System and method for appearance search
US10679669B2 (en) * 2017-01-18 2020-06-09 Microsoft Technology Licensing, Llc Automatic narration of signal segment
EP3385747B1 (en) * 2017-04-05 2021-03-31 Axis AB Method, device and system for mapping position detections to a graphical representation
US10157476B1 (en) * 2017-06-15 2018-12-18 Satori Worldwide, Llc Self-learning spatial recognition system
US10909825B2 (en) 2017-09-18 2021-02-02 Skybell Technologies Ip, Llc Outdoor security systems and methods
US10546197B2 (en) 2017-09-26 2020-01-28 Ambient AI, Inc. Systems and methods for intelligent and interpretive analysis of video image data using machine learning
CN109698932B (zh) * 2017-10-20 2021-10-29 杭州海康威视数字技术股份有限公司 数据传输方法及摄像机、电子设备
US11227410B2 (en) 2018-03-29 2022-01-18 Pelco, Inc. Multi-camera tracking
US10628706B2 (en) * 2018-05-11 2020-04-21 Ambient AI, Inc. Systems and methods for intelligent and interpretive analysis of sensor data and generating spatial intelligence using machine learning
US10931863B2 (en) 2018-09-13 2021-02-23 Genetec Inc. Camera control system and method of controlling a set of cameras
US11933626B2 (en) * 2018-10-26 2024-03-19 Telenav, Inc. Navigation system with vehicle position mechanism and method of operation thereof
US11443515B2 (en) 2018-12-21 2022-09-13 Ambient AI, Inc. Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management
US11195067B2 (en) 2018-12-21 2021-12-07 Ambient AI, Inc. Systems and methods for machine learning-based site-specific threat modeling and threat detection
KR102252662B1 (ko) * 2019-02-12 2021-05-18 한화테크윈 주식회사 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법
KR102528983B1 (ko) * 2019-02-19 2023-05-03 한화비전 주식회사 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법
JP2022533152A (ja) * 2019-05-13 2022-07-21 ホール-イン-ワン・メディア・インコーポレイテッド 自律的な活動監視システムおよび方法
CN112084166A (zh) * 2019-06-13 2020-12-15 上海杰之能软件科技有限公司 样本数据的建立、数据模型的训练方法及装置、终端
CN110505397B (zh) * 2019-07-12 2021-08-31 北京旷视科技有限公司 相机选择的方法、装置及计算机存储介质
US11074790B2 (en) 2019-08-24 2021-07-27 Skybell Technologies Ip, Llc Doorbell communication systems and methods
US11328565B2 (en) * 2019-11-26 2022-05-10 Ncr Corporation Asset tracking and notification processing
EP3836538B1 (en) 2019-12-09 2022-01-26 Axis AB Displaying a video stream
US11593951B2 (en) * 2020-02-25 2023-02-28 Qualcomm Incorporated Multi-device object tracking and localization
US11683453B2 (en) * 2020-08-12 2023-06-20 Nvidia Corporation Overlaying metadata on video streams on demand for intelligent video analysis
US11869239B2 (en) * 2020-08-18 2024-01-09 Johnson Controls Tyco IP Holdings LLP Automatic configuration of analytics rules for a camera
JP7415872B2 (ja) * 2020-10-23 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム
KR102398280B1 (ko) * 2021-10-08 2022-05-16 한아름 관심 영역에 대한 영상을 제공하기 위한 장치 및 방법
KR102524105B1 (ko) * 2022-11-30 2023-04-21 (주)토탈소프트뱅크 항만의 객체 점유 공간 인식 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159014A (zh) * 2006-09-01 2008-04-09 哈曼贝克自动***股份有限公司 在图像中识别对象的方法和图像识别设备
CN102196280A (zh) * 2010-02-15 2011-09-21 索尼公司 方法、客户端设备和服务器

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09130783A (ja) * 1995-10-31 1997-05-16 Matsushita Electric Ind Co Ltd 分散映像監視装置
JPH10262176A (ja) * 1997-03-19 1998-09-29 Teiichi Okochi 映像形成方法
JP2000224457A (ja) * 1999-02-02 2000-08-11 Canon Inc 監視システムおよびその制御方法およびそのプログラムを記憶した記憶媒体
JP2001094968A (ja) * 1999-09-21 2001-04-06 Toshiba Corp 映像処理装置
JP2001319218A (ja) * 2000-02-29 2001-11-16 Hitachi Ltd 画像監視装置
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
JP3969172B2 (ja) * 2002-05-02 2007-09-05 ソニー株式会社 モニタリングシステムおよび方法並びにプログラムおよび記録媒体
US20050012817A1 (en) * 2003-07-15 2005-01-20 International Business Machines Corporation Selective surveillance system with active sensor management policies
JP2005086626A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 広域監視装置
JP2007507764A (ja) * 2003-10-09 2007-03-29 モレトン ベイ コーポレーション ピーテーワイ リミテッド 画像監視システム及び画像監視方法
JP2007209008A (ja) * 2003-10-21 2007-08-16 Matsushita Electric Ind Co Ltd 監視装置
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
US8098290B2 (en) * 2004-01-30 2012-01-17 Siemens Corporation Multiple camera system for obtaining high resolution images of objects
JP2006033380A (ja) * 2004-07-15 2006-02-02 Hitachi Kokusai Electric Inc 監視システム
KR100568237B1 (ko) * 2004-06-10 2006-04-07 삼성전자주식회사 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법
WO2006012645A2 (en) * 2004-07-28 2006-02-02 Sarnoff Corporation Method and apparatus for total situational awareness and monitoring
US20060072014A1 (en) * 2004-08-02 2006-04-06 Geng Z J Smart optical sensor (SOS) hardware and software platform
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
WO2006103662A2 (en) * 2005-03-29 2006-10-05 Sportvu Ltd. Real-time objects tracking and motion capture in sports events
US8026945B2 (en) * 2005-07-22 2011-09-27 Cernium Corporation Directed attention digital video recordation
JP4318724B2 (ja) * 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US7777783B1 (en) * 2007-03-23 2010-08-17 Proximex Corporation Multi-video navigation
KR100883065B1 (ko) * 2007-08-29 2009-02-10 엘지전자 주식회사 모션 검출에 의한 녹화 제어장치 및 방법
EP2191647A4 (en) * 2007-09-23 2012-08-01 Honeywell Int Inc INTRUS DYNAMIC TRACKING IN A PLURALITY OF VIDEO SCREENS ASSOCIATED WITH
EP2232463B1 (en) * 2007-11-30 2018-04-11 Searidge Technologies INC. Airport target tracking system
JP5566281B2 (ja) * 2008-03-03 2014-08-06 Toa株式会社 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
US8237791B2 (en) * 2008-03-19 2012-08-07 Microsoft Corporation Visualizing camera feeds on a map
US8488001B2 (en) * 2008-12-10 2013-07-16 Honeywell International Inc. Semi-automatic relative calibration method for master slave camera control
TWI492188B (zh) * 2008-12-25 2015-07-11 Univ Nat Chiao Tung 利用多攝影機自動偵測與追蹤多目標的方法及系統
CN101604448B (zh) * 2009-03-16 2015-01-21 北京中星微电子有限公司 一种运动目标的测速方法和***
US9600760B2 (en) * 2010-03-30 2017-03-21 Disney Enterprises, Inc. System and method for utilizing motion fields to predict evolution in dynamic scenes
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
CN102148965B (zh) * 2011-05-09 2014-01-15 厦门博聪信息技术有限公司 多目标跟踪特写拍摄视频监控***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159014A (zh) * 2006-09-01 2008-04-09 哈曼贝克自动***股份有限公司 在图像中识别对象的方法和图像识别设备
CN102196280A (zh) * 2010-02-15 2011-09-21 索尼公司 方法、客户端设备和服务器

Also Published As

Publication number Publication date
EP2783508A1 (en) 2014-10-01
AU2012340862B2 (en) 2016-12-22
JP2014534786A (ja) 2014-12-18
JP6109185B2 (ja) 2017-04-05
US20130128050A1 (en) 2013-05-23
AU2012340862A1 (en) 2014-06-05
CN104106260A (zh) 2014-10-15
WO2013078119A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN104106260B (zh) 基于地理图的控制
CN109272530B (zh) 面向空基监视场景的目标跟踪方法与装置
US20200265085A1 (en) Searching recorded video
CN110674746B (zh) 一种应用视频空间关系辅助实现高精度跨镜追踪的方法、装置、计算机设备以及存储介质
CN105830062B (zh) 用于编码对象阵型的***、方法及设备
CN105830009B (zh) 用于视频处理的方法和设备
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
CN110400352B (zh) 利用特征识别的摄像机校准
CN103283226B (zh) 产生与视频帧关联的元数据的方法、视频摄像机***及视频处理***
US7944454B2 (en) System and method for user monitoring interface of 3-D video streams from multiple cameras
CN107851318A (zh) 用于对象跟踪的***和方法
CN110659391A (zh) 一种视频侦查方法及装置
CN114255407B (zh) 基于高分辨率的反无人机多目标识别和跟踪视频探测方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN111260687B (zh) 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN111683221A (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及***
KR101513414B1 (ko) 감시 영상 분석 방법 및 시스템
JP2009123150A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
CN113076781A (zh) 检测跌倒方法、装置、设备及存储介质
CN113361360B (zh) 基于深度学习的多人跟踪方法及***
JP7274298B2 (ja) 撮像装置、撮像方法及び撮像プログラム
CN109241811B (zh) 基于图像螺旋线的场景分析方法及使用该方法的场景目标监控***
Kaur Background subtraction in video surveillance
CN111709978A (zh) 一种跨屏目标跟踪方法、***、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180313

Termination date: 20191119

CF01 Termination of patent right due to non-payment of annual fee