CN104978390B - 使用出行路径元数据进行情景感知目标检测 - Google Patents

使用出行路径元数据进行情景感知目标检测 Download PDF

Info

Publication number
CN104978390B
CN104978390B CN201510161125.7A CN201510161125A CN104978390B CN 104978390 B CN104978390 B CN 104978390B CN 201510161125 A CN201510161125 A CN 201510161125A CN 104978390 B CN104978390 B CN 104978390B
Authority
CN
China
Prior art keywords
travel path
successive images
image
reference map
geographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510161125.7A
Other languages
English (en)
Other versions
CN104978390A (zh
Inventor
阿图罗·弗洛里斯
景男·金
尤里·奥维什科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN104978390A publication Critical patent/CN104978390A/zh
Application granted granted Critical
Publication of CN104978390B publication Critical patent/CN104978390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

本发明公开了使用出行路径元数据进行情景感知目标检测。提供一种用于实时检测地理区域中的出行路径上的移动目标的***和方法。***和方法也可以用来实时跟踪这种移动目标。***包括用于捕获地理区域的连续图像的图像捕获设备；包括地理区域的情境信息的地理参考地图；和被配置为计算连续图像之间的差以实时检测出行路径上的移动目标的处理器。方法包括使用图像捕获设备捕获地理区域的连续图像，相对于地理参考地图对连续图像中的至少一些进行地理配准，并且计算连续图像之间的差以实时检测目标。

Description

使用出行路径元数据进行情景感知目标检测
技术领域
本发明涉及实时检测出行路径上关注的移动目标，并且减少假警报和遗漏检测。本发明也可以用来实时跟踪这种移动目标。
背景技术
使用视频跟踪来检测和跟踪路径(诸如出行路径)上行进的关注目标的现有技术***是已知的。然而，许多这些***在实时检测目标的精确度方面是有局限性的，这是由关注目标上的光照效果所导致的环境伪像和图像质量引起的。因此，当前***在一些环境中不能充分跟踪关注目标。
发明内容
提供一种用于实时检测地理区域中的出行路径上的移动目标的***和方法。***和方法也可以用来实时跟踪这种移动目标。***包括用于捕获地理区域的连续图像的图像捕获设备、包括地理区域的情境信息的地理参考地图、和处理器，被配置为计算连续图像之间的差异以实时检测出行路径上的移动目标。该方法包括使用图像捕获设备捕获地理区域的连续图像，关于地理参考地图对至少一些连续图像进行地理配准，并且计算连续图像之间的差异以实时检测目标。
此外，本公开内容包括根据下列各项的实施方式：
项1.一种用于实时检测目标的方法，包括：
使用图像捕获设备捕获包含至少一个出行路径的地理区域的连续图像；
相对于地理参考地图对至少一些连续图像进行地理配准，地理参考地图包括地理区域的情境信息；以及
计算连续图像之间的差以实时检测目标。
项2.根据项1所述的方法，其中，对连续图像的第一图像手动进行地理配准。
项3.根据项1所述的方法，进一步包括获得包括出行路径的地理区域的图像。
项4.根据项1所述的方法，其中，情境信息是出行路径元数据。
项5.根据项1所述的方法，其中，出行路径是道路。
项6.根据项1所述的方法，其中，图像捕获设备位于飞行器上。
项7.根据项1所述的方法，其中，通过捕获地理区域的至少一个视频序列生成连续图像，并且进一步包括将视频序列分成连续图像。
项8.根据项1所述的方法，其中，平面单应性(planar homography)被用于在参考地图上使连续图像相对于彼此地理配准。
项9.根据项1所述的方法，进一步包括使用情境信息来抑制出行路径外的移动目标的错误检测。
项10.根据项1所述的方法，进一步包括使用情境信息来检测出行路径上的移动目标。
项11.根据项1所述的方法，进一步包括通过相对于参考地图增加所述连续图像的其中之一的附加地理配准减少地理配准的误差。
项12.根据项1所述的方法，进一步包括跟踪移动目标的位置。
项13.一种用于实时检测地理区域中的出行路径上的移动目标的***，包括：
图像捕获设备，用于捕获地理区域的连续图像；
地理参考地图，包括地理区域的情境信息；以及
处理器，被配置为计算连续图像之间的差以实时检测出行路径上的移动目标。
项14.根据项14所述的***，其中，所述图像捕获设备是摄像机。
项15.根据项14所述的***，其中，所述地理参考地图是含有元数据的地图。
项16.根据项14所述的***，其中，所述移动目标是交通工具和所述出行路径是道路。
项17.根据项13所述的***，其中，图像捕获设备装配在航空器上的空中平台上。
项18.根据项17所述的***，其中，航空器是无人驾驶的。
项19.根据项13所述的***，其中，地理参考地图存储在远离处理器的服务器中。
项20.根据项13所述的***，其中，处理器进一步被配置为跟踪移动目标的位置。
本发明的范围仅由所附权利要求限定并且不受发明内容中的陈述影响。
附图说明
参考以下附图以及描述能够更好地理解本发明。附图中的部件并不一定是按照比例绘制的，而是强调阐释本发明的原理。
图1是结合本发明的特征的***的框图；
图2是在本发明的***中使用的图像捕获设备的框图；
图3是在本发明的***中使用的处理器的框图；
图4A至图4D是示出参考地图和本发明的***中的图像捕获设备拍摄的图像的线图；
图5是示出如何在本发明的***中使用平面单应性将图像地理配准至参考地图的线图；
图6A和图6B是与示出本方法中使用的步骤的流程图关联的线图；
图7A至图7C示出了本发明的移动目标检测的示例；
图8A示出没有使用出行路径元数据的移动目标检测；以及
图8B示出根据本发明的使用出行路径元数据的移动目标检测。
具体实施方式
虽然本发明可以容许不同形式的实施方式，但在附图中示出和本文中将详细地描述具体的实施方式，用于使用装配在诸如无人驾驶飞行器(UAV)、空中平台或者有人架驶飞行器的航空结构上的图像捕获设备检测出行路径上的关注移动目标，应当理解，本公开内容被认为是本发明的原理的示范，而不旨在将本发明限制为如示出的和本文中描述的内容。因此，除非另有说明，本文中公开的特征可以结合在一起以形成附加的组合，为了简洁起见，附加的组合没有另外示出。
一种***和方法，用于使用从航空位置拍摄的图像进行地理配准和情境感知检测沿着出行路径的移动目标，以改善出行路径上的移动目标的检测并减少假警报和遗漏检测。该***和方法也可以用来跟踪这种移动目标。方法可以实时进行。通过使地理配准信息与全球地图***提供的出行路径元数据结合，可以比现有技术提高***的精确度。
如通过图1中的框图示出的，***包括：图像捕获设备20，诸如照相机，用于生成可包含至少一个出行路径的地理区域的数字图像；航空结构22，诸如无人驾驶飞行器(UAV)或者有人架驶飞行器上的平台，诸如直升机，用于安装图像捕获设备20；处理器24，具有与图像捕获设备20通信的软件并且能够处理来自图像捕获设备20的图像；用户接口26，与处理器24通信；和服务器28，存储来自全球地图***的出行路径元数据并与处理器24通信。
图像捕获设备20被配置为捕获数字图像，诸如，如布置在图像捕获设备20的视场内的目标(建筑、植物和交通工具等)的照片或者视频。图像捕获设备20与处理器24通信连接。图像捕获设备20包括图像捕获设备光学元件30、图像捕获单元32和通信接口34。图像捕获设备光学元件30包括透镜及其他光学部件，并与图像捕获单元32通信耦接。图像捕获单元32将图像传输至通信接口34，然后通信接口34将图像传输至处理器24。
处理器24和服务器28耦接在一起以在其间传输信息。例如，经过诸如局域网、广域网、有线网络和/或无线网络等的通信网络将信息发送至服务器28并从服务器28接收信息。服务器28可以在航空结构22上或者可以是基于地面的。
处理器24可以在航空结构22上，或者可以是基于地面的。如果处理器24在地面上，则图像捕获设备20可以经由无线信号将图像发送至处理器24。处理器24处理来自图像捕获设备20和来自服务器28的图像信息并且包括中央处理单元(CPU)或者数字信号处理器(DSP)36和存储器38。CPU/DSP 36耦接至包括随机存取存储器(RAM)和只读存储器(ROM)的存储器38。存储器38是非临时性的并存储包含指令的机器可读、机器可执行的软件代码40，其中指令被配置为当被执行时使CPU/DSP 36执行本文中描述的各种功能。处理器24分析来自图像捕获单元32的信息以产生可以显示在用户接口26的显示器上的并且可以使用用户接口26的打印机打印并通过用户分析的图像。
用户接口26包括输入设备，诸如键盘、显示器和扬声器，以向用户提供视频和音频信息并且允许用户将参数输入至处理器24。用户接口26也可以包括用于打印由***捕获的图像的打印机。
全球地图***(例如谷歌地图，必应地图或者利用地理定位信息的任何其他合适的全球地图***)提供广阔的出行路径元数据供第三方使用。出行路径元数据与其他项一起提供关于出行路径的位置(诸如道路、水路和/或人行道)以及结构(诸如建筑、植物及紧邻出行路径的其他潜在干扰目标)的情境信息。该出行路径元数据可以作为参考地图提供至第三方。这种参考地图42的线图示例在图4A中示出，图4A示出了地理区域中的出行路径，例如，该具体参考地图中的道路。在图4B中以阴影线示出出行路径。可以在例如经由因特网连接的在线和/或例如经由存储介质(例如，电的、磁的或者光盘)的线下获得地图信息。该出行路径元数据及其关联的参考地图可以存储在服务器28中。替代地，该出行路径元数据及其关联的参考地图可以存储在处理器24中。
可以通过图像捕获设备20拍摄多个数字图像，诸如照片或者视频序列。图像然后可以被传输到处理器24以用于处理。在拍摄照片的实施方式中，处理器24可以被配置为将照片分为单独图像44a、44b、44c等。在拍摄视频的实施方式中，处理器24可以被配置为将视频序列分为单独图像44a、44b、44c等。
处理器24可以被配置为访问服务器28以获得包含地理配准信息的合适的参考地图42，参见图4A。处理器24可以被配置为对来自图像捕获设备20的图像与参考地图42进行比较。处理器24然后可以使用图像特征的匹配和平面单应性将图像地理配准至参考地图。
在地理配准过程期间，通过用户经由用户接口26将配准信息输入到处理器24可以手动地将第一图像44a配准至参考地图42。替代地，处理器24可以被配置为使用诸如嵌入图像捕获设备20内的GPS和/或惯性传感器的输入以自动的方式将第一图像44a配准至参考地图42。在本***和方法中，假设在图像44a、44b、44c等和参考地图42上存在主平面，因此，处理器24可以被配置为使用平面单应性使图像44a、44b、44c等与参考地图42对准(align)。
在下文中，H0,M是使第一图像44a与参考地图42对准的单应性。给出第一图像44a的配准，随后的图像44b、44c等如下进行地理配准。将It定义为图像捕获设备在时间t捕获的图像，和It+1定义为随后的图像。如在图6A中示出的，在两个图像(正在分析的当前图像和已经分析的之前的图像)中，通过从图像提取尺度不变特征转换(SIFT)描述符或者其他已知的描述符以已知的方式进行图像与图像的配准。通过经由欧几里得空间中的它们的最近邻域在两个图像中匹配来自图像的SIFT描述符，来获得初始的对应组。这些推断的对应包含许多不正确的匹配，这些经由已知的方法删除，诸如随机样本一致性(RANSAC,在Fischler,and Bolles,Comm.of the ACM,Vol.24,pp.381-395,1981中记载)，或者其他方法，用以从包含异常值的一组观察数据估计数学模型的参数，异常值也提供作为使It+1与It对准的单应性的Ht+1,t。因此，随后的图像It+1经由以下乘积Ht+1,tHt,t-1Ht-1t-2...H1,0H0,M或者更加简单地
Figure BDA0000694743420000081
进行地理配准。处理器24可以被配置对每个连续图像进行地理配准，或者可以被配置对预定的图像(例如，跳过一些连续图像)进行地理配准。
以上方法可以在每个单应性计算中引入小误差，误差随着时间而积累并且不久之后可能导致失配的图像。这些误差通过利用附加的图像与参考地图的配准使图像与图像配准细化来缓解。在时间t，假设要被地理配准的图像It在小的误差范围内。通过经由图像块的共有信息(interact information，交互信息)使It中的关注点与参考地图42进行匹配来细化地理配准。共有信息是两个信号之间的信息重叠的测量，或者一个信号的多少知识可以提供第二信号的知识。共有信息是鲁棒性(稳定)的和有用的，这是因为其仅对一个信号是否在另一个信号没有变化时变化敏感，而不是它们的相对值。因为参考地图42和正在分析的图像在不同的时间拍摄，可能存在诸如一天不同的时刻、不同的天气条件等复杂的因素以及正在分析的图像可能以与参考地图42中的图像以不同的角度拍摄的事实。共有信息帮助缓解这些复杂的因素。因此，使误差累积和地理配准“偏移”无效。
在图4A至图4D中可以看到地理配准视频序列的示例。图4A示出参考地图42。图4B示出配准至参考地图42的第一图像44a。图4C和图4D示出了配准至参考地图42的随后的图像44b、44c。使用从参考地图42获得的出行路径元数据以阴影线示出出行路径。
一旦对图像等进行地理配准，处理器24可以被配置为使用来自参考地图42的出行路径元数据作为附加的情境来检测图像44a、44b、44c等中的关注的移动目标46，例如车辆。在使连续图像地理配准至参考地图像42之后，通过使用已知的方式中的粗略背景减法，计算连续图像例如，44a和44b的差异，处理器24进行移动目标检测。将It定义为参考地图像42，然后使用It作为参考坐标系对图像It-k、It-(k-1)、...It-1、It+2、...、It+k进行配准。然后累计参考图像42与所有的其他图像44a、44b、44c之间的像素平方差，换言之
Figure BDA0000694743420000091
典型地，k＝2。假设因为所有图像44a、44b、44c被配准至参考图像42，在平方差运算中静止目标和背景将互相抵消，然而将突出移动目标46。灵敏度阈值T应用于累积的差分图像以产生二值图像B，其中，
Figure BDA0000694743420000092
在图6B中，一旦计算差分图像(difference image,差异图像)，处理器24被配置为基于标记的地图区域对累计的差分图像执行阈值运算，产生代表目标相对于背景的移动快于一定速度的分割图像区域。通过改变阈值T，可以根据包含分割图像区域的标记的地图区域设定对移动的灵敏度。例如，较低的灵敏度阈值用于出行路径中的候选移动目标与出行路径外的候选移动目标的对比。接下来，处理器24可以被配置为基于区域大小、形状和动态性质检测作为目标的分割图像区域，该动态性质具有基于标记的地图区域的可变判断阈值。此后，处理器24可以被配置为例如通过以已知方式使用卡尔曼滤波器，或者其他合适的已知***形成踪迹。作为最后的步骤，处理器24可以被配置为输出目标检测和踪迹至用户。
图7A至图7C中提供移动目标检测和跟踪过程的示例。图7A示出累积的差分图像。图7B示出，例如，利用阈值化和形态学操作处理图7A的累积差分图像之后的分割区域。这种形态学操作是本领域众所周知的。图7C示出目标跟踪结果。每个跟踪目标46可以通过拟合的椭圆表示，例如，特定颜色的椭圆。关注的跟踪目标46的之前位置的历史可以示出为相同颜色的尾随点。
另外，一旦对图像等进行地理配准，处理器24可以被配置为使用出行路径元数据来抑制未在出行路径上的检测的假警报。一旦检测到关注的移动目标46，方法进行图6B的步骤，图6B使用出行路径元数据滤除假警报并且增强了遗漏检测。仅通过使用出行路径元数据(减小搜索区域)来减小假警报率，因为每个图像的假警报的数量与搜索区域近似成比例。如果使用出行路径元数据减小搜索区域，则假警报率将减小，而移动目标的检测率将保持不变。如果灵敏度阈值降低，则移动目标的检测率将增加并且假警报率也将从使用出行路径元数据降低至的值增加。例如，可以使灵敏度阈值降低使得假警报率与没有元数据的情况下的率相同。检测率则将由于较低的灵敏度阈值而较高。通过降低灵敏度阈值并减小搜索区域可以保持假警报率不变。在该方法中，累积的差分图像被阈值化并且转变为二值图像。如果搜索区域减小，则假警报率通过降低灵敏度阈值而保持不变。
用户设定处理器24中的灵敏度阈值T以用于关注目标46的检测。灵敏度阈值T可以例如通过用户设定移动目标与移动目标所在的结构之间的图像的对比度的预定水平来设定，或者可以例如通过用户针对移动目标设定预定的像素数来设定。可以在出行路径所在的区域中(从参考地图42已知的区域)中将灵敏度阈值T设定较低，在任何非出行路径区域将灵敏度阈值T设定较高。例如，处理器24可以被配置为识别移动目标比图像中的出行路径或者建筑暗，和/或处理器24可以被配置为识别移动目标比图像中的出行路径或者建筑亮。或者，例如，处理器24可以被配置为识别移动目标具有比出行路径高的像素数。然而，如果用户将灵敏度阈值T设定过低(需要移动目标与移动目标所在的结构之间的少量对比度或者像素数的小的差异)，这可能导致不能接受的假警报量，因为许多目标将满足该设定。然而，如果用户将灵敏度阈值T设定过高(需要移动目标与移动目标所在的结构之间的高的对比度或者像素数的大的差异)，这可能导致遗漏检测，这是因为建筑的阴影中的目标将不表现出移动目标与出行路径之间的高的对比度水平或者像素数的高的差异。在本发明中，因为处理器24使用出行路径元数据作为情境，所以抑制出行路径之外的区域中的假警报。同时，出行路径上的遗漏检测减少，这是因为在出行路径中的移动目标检测过程中使用较低的灵敏度阈值。较低的灵敏度阈值有效地提高移动目标检测过程的灵敏度。在图7A至图8B中示出的示例中，假设将要检测的关注移动目标46是通常在出行路径上，通常不离开出行路径的交通工具。
图8A和图8B示出当处理在城市环境中拍摄的图像44a、44b、44c时可能遇到的一些困难。高层建筑和植物未在地平面上并且因此不能使用平面单应性对准。因此，平方差运算会引进假警报和遗漏检测，诸如图8A中看到的那些。可能从图像中的未在出行路径上的移动目标产生假警报。当关注移动目标在高层建筑物的阴影下并且不易被图像捕获设备20和处理器24检测到时，可能引发遗漏检测。通过使用出行路径元数据作为附加的情境，通过使用图6B中的方法缓解了这种假警报和遗漏检测。
如上所述，出行路径元数据也可以用来增加出行路径内的区域中的移动目标检测过程的灵敏度。如在图8A中看到的，在高层建筑的阴影下的移动交通工具未被检测出。这是由于该区域中的图像的对比度低造成的。通过在沿着出行路径所在的区域中进行的检测过程中降低灵敏度阈值，检测到该移动交通工具。
一旦检测到关注移动目标46，处理器24可以被配置为随着时间跟踪关注移动目标46的位置。替代地，一旦检测到关注移动目标46，用户可以经由用户接口26将指令输入到处理器26以跟踪特定关注移动目标46。处理器24可以被配置为检测连续图像44a、44b、44c中的关注移动目标46的外观、位置、速度等。
因为对图像44a、44b、44c进行地理配准，所以所检测的关注移动目标46具有精确的地理坐标。这使用户能够容易地检测和跟踪关注移动目标46。
本发明可用于检测和跟踪图像44a、44b、44c中的多个关注移动目标。这些多个关注移动目标可以在图像44a、44b、44c中的相同的出行路径上。替代地，多个关注移动目标的一个或多个可以是图像44a、44b、44c中的一个出行路径，以及多个关注移动目标的另外的一个或多个可以是图像44a、44b、44c等中的不同的出行路径。
虽然已经示出和描述本文中描述的本主题的具体特征，但对本领域中的技术人员显而易见的是，基于本文中的教导，在没有背离本文中描述的主题和它的广泛的方面的情况下可以做出变化和变形并且，因此，所附权利要求将所有的这种变化和变形包括在它们的范围内，作为在本文中描述的主题的真实精神和范围内。此外，应当理解，通过所附权利要求限定本发明。因此，除了根据所附权利要求和它们的等同物，本发明不受其他限制。

Claims (20)

1.一种用于实时检测目标的方法，所述方法包括：
使用图像捕获设备捕获包含至少一个出行路径的地理区域的连续图像；
相对于地理参考地图地理配准所述连续图像中的至少一些连续图像，所述地理参考地图包括所述地理区域的情境信息，所述情境信息包括与所述至少一个出行路径相关的出行路径元数据；
计算所述连续图像之间的差异以实时检测目标；
使用来自所述地理参考地图的所述出行路径元数据作为检测目标的附加的情境，计算所述地理参考地图和所述连续图像之间的累积的像素平方差；以及
将预定的敏感度阈值应用于所述累积的像素平方差以产生二值图像。
2.根据权利要求1所述的方法，其中，对所述连续图像中的第一图像手动进行地理配准。
3.根据权利要求1或2所述的方法，进一步包括获得包括出行路径的所述地理区域的图像。
4.根据权利要求1或2所述的方法，其中，所述情境信息是出行路径元数据。
5.根据权利要求1或2所述的方法，其中，所述出行路径是道路。
6.根据权利要求1或2所述的方法，其中，所述图像捕获设备位于飞行器上。
7.根据权利要求1或2所述的方法，其中，通过捕获所述地理区域的至少一个视频序列生成所述连续图像，并且进一步包括将所述视频序列分成所述连续图像。
8.根据权利要求1或2所述的方法，其中，平面单应性被用于在所述参考地图上使所述连续图像相对于彼此地理配准。
9.根据权利要求1或2所述的方法，进一步包括使用所述情境信息来抑制在出行路径之外错误检测到移动目标。
10.根据权利要求1或2所述的方法，进一步包括使用所述情境信息来检测出行路径上的移动目标。
11.根据权利要求1或2所述的方法，进一步包括通过相对于所述参考地图增加所述连续图像的其中之一的附加地理配准来减少所述地理配准的误差。
12.根据权利要求1或2所述的方法，进一步包括跟踪移动目标的位置。
13.一种用于实时检测地理区域中的出行路径上的移动目标的***，所述***包括：
图像捕获设备，用于捕获地理区域的连续图像；
地理参考地图，包括所述地理区域的情境信息，所述情境信息包括与至少一个出行路径相关的出行路径元数据；
处理器，被配置为：
计算所述连续图像之间的差以实时检测所述出行路径上的移动目标；
使用来自所述地理参考地图的所述出行路径元数据作为检测目标的附加的情境，计算所述地理参考地图和所述连续图像之间的累积的像素平方差；以及
将预定的敏感度阈值应用于所述累积的像素平方差以产生二值图像。
14.根据权利要求13所述的***，其中，所述图像捕获设备是摄像机。
15.根据权利要求13所述的***，其中，所述地理参考地图是含有元数据的地图。
16.根据权利要求13所述的***，其中，所述移动目标是交通工具，且所述出行路径是道路。
17.根据权利要求13或14所述的***，其中，所述图像捕获设备装配在航空器上的空中平台上。
18.根据权利要求17所述的***，其中，所述航空器是无人驾驶的。
19.根据权利要求13或14所述的***，其中，所述地理参考地图存储在远离所述处理器的服务器中。
20.根据权利要求13或14所述的***，其中，所述处理器进一步被配置为跟踪所述移动目标的位置。
CN201510161125.7A 2014-04-08 2015-04-07 使用出行路径元数据进行情景感知目标检测 Active CN104978390B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/247,398 US9734399B2 (en) 2014-04-08 2014-04-08 Context-aware object detection in aerial photographs/videos using travel path metadata
US14/247,398 2014-04-08

Publications (2)

Publication Number Publication Date
CN104978390A CN104978390A (zh) 2015-10-14
CN104978390B true CN104978390B (zh) 2020-11-03

Family

ID=52462808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510161125.7A Active CN104978390B (zh) 2014-04-08 2015-04-07 使用出行路径元数据进行情景感知目标检测

Country Status (6)

Country Link
US (1) US9734399B2 (zh)
EP (1) EP2930686B1 (zh)
JP (1) JP6726932B2 (zh)
KR (1) KR102400452B1 (zh)
CN (1) CN104978390B (zh)
BR (1) BR102015003962B1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2012096173A1 (ja) 2011-01-12 2014-06-09 パナソニック株式会社 動画像符号化方法
WO2012117728A1 (ja) 2011-03-03 2012-09-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
JP2013055569A (ja) * 2011-09-06 2013-03-21 Sony Corp 撮像装置、情報処理装置、それらの制御方法、および、プログラム
US11080765B2 (en) * 2013-03-14 2021-08-03 Igor Gershteyn Method and system for data structure creation, organization and searching using basic atomic units of information
CA3004388C (en) * 2015-11-08 2024-02-13 Agrowing Ltd A method for aerial imagery acquisition and analysis
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
EP3387506B1 (en) 2015-12-09 2021-01-13 SZ DJI Technology Co., Ltd. Systems and methods for auto-return
CN105512685B (zh) * 2015-12-10 2019-12-03 小米科技有限责任公司 物体识别方法和装置
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
US10054445B2 (en) * 2016-05-16 2018-08-21 Northrop Grumman Systems Corporation Vision-aided aerial navigation
IL248749B (en) 2016-11-03 2019-08-29 Dan El Eglick A system for looking at using several databases
US10560666B2 (en) 2017-01-21 2020-02-11 Microsoft Technology Licensing, Llc Low-cost, long-term aerial imagery
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
CN108176049B (zh) * 2017-12-28 2021-05-25 珠海豹好玩科技有限公司 一种信息提示方法、装置、终端和计算机可读存储介质
US10445913B2 (en) * 2018-03-05 2019-10-15 Faro Technologies, Inc. System and method of scanning and editing two dimensional floorplans
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
CN110349173B (zh) * 2019-07-15 2020-07-24 长光卫星技术有限公司 基于高分辨率遥感影像的地物变化监测方法
US11200671B2 (en) * 2019-12-31 2021-12-14 International Business Machines Corporation Reference image guided object detection in medical image processing
CN111619584B (zh) * 2020-05-27 2021-09-21 北京经纬恒润科技股份有限公司 一种无人驾驶汽车的状态监管方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1503200A (zh) * 2002-11-22 2004-06-09 韩国电子通信研究院 提供地理目标立体图像和/或详细信息的装置及其方法
JP2006505794A (ja) * 2002-11-08 2006-02-16 ピクトメトリー インターナショナル コーポレイション 傾斜した地理的位置決め及び測定システム
CN103246692A (zh) * 2012-02-07 2013-08-14 通用电气航空***有限责任公司 用于维护和操作飞行器的***和方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2554549T3 (es) * 2008-06-26 2015-12-21 Lynntech, Inc. Procedimiento de búsqueda de un objetivo térmico
US8842663B2 (en) * 2010-04-22 2014-09-23 Bae Systems Information And Electronic Systems Integration Inc. Situational awareness integrated network and system for tactical information and communications
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9746988B2 (en) * 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US20130021475A1 (en) * 2011-07-21 2013-01-24 Canant Ross L Systems and methods for sensor control
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006505794A (ja) * 2002-11-08 2006-02-16 ピクトメトリー インターナショナル コーポレイション 傾斜した地理的位置決め及び測定システム
CN1503200A (zh) * 2002-11-22 2004-06-09 韩国电子通信研究院 提供地理目标立体图像和/或详细信息的装置及其方法
CN103246692A (zh) * 2012-02-07 2013-08-14 通用电气航空***有限责任公司 用于维护和操作飞行器的***和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Image registration among UAV image sequence and Google satellite image under quality mismatch;Shih-Ming Huang;《2012 12th International Conference on ITS Telecommunications》;20121008;第311-315页 *
Jiangjian Xiao.Vehicle Detection and Tracking in Wide Field-of-View Aerial Video.《计算机学会计算机视觉和模式识别会议》.2010, *
Vehicle Detection and Tracking in Wide Field-of-View Aerial Video;Jiangjian Xiao;《计算机学会计算机视觉和模式识别会议》;20100618;第311-315页 *

Also Published As

Publication number Publication date
JP6726932B2 (ja) 2020-07-22
BR102015003962A2 (pt) 2016-07-26
KR20150116777A (ko) 2015-10-16
KR102400452B1 (ko) 2022-05-19
EP2930686A1 (en) 2015-10-14
BR102015003962B1 (pt) 2021-06-01
EP2930686B1 (en) 2020-09-02
US20150286868A1 (en) 2015-10-08
CN104978390A (zh) 2015-10-14
JP2015201183A (ja) 2015-11-12
US9734399B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
CN104978390B (zh) 使用出行路径元数据进行情景感知目标检测
US9483839B1 (en) Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US20170300759A1 (en) Automated multiple target detection and tracking system
JP6307553B2 (ja) ナビゲーション調整のためのクロススペクトル特徴相関
CN112419374B (zh) 一种基于图像配准的无人机定位方法
JP2015181042A (ja) 移動オブジェクトの検出及び追跡
US9165361B1 (en) Video tracking with jitter, slewing, or zoom
KR101569354B1 (ko) 영상센서를 이용한 위성항법시스템 신호의 오차 보정 방법 및 장치
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN115900712B (zh) 一种信源可信度评价组合定位方法
US8948446B2 (en) Vision based zero velocity and zero attitude rate update
Jing et al. Efficient point cloud corrections for mobile monitoring applications using road/rail-side infrastructure
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
Brunner et al. Combining multiple sensor modalities for a localisation robust to smoke
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN112348891A (zh) 一种图像检测及定位方法、装置、存储介质及电子装置
US11741631B2 (en) Real-time alignment of multiple point clouds to video capture
CN102044079A (zh) 考虑比例跟踪图像补丁的方法和设备
Zhuang et al. Semantic-based road segmentation for high-definition map construction
CN113379591B (zh) 速度确定方法、速度确定装置、电子设备及存储介质
KR101960442B1 (ko) 증강현실 제공장치 및 방법
Ma et al. Multi-sensor Analytic System Architecture for Maritime Surveillance
Rapo Generating road orthoimagery using a smartphone

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant