CN111540059B - 提供加强环境感知的增强视频*** - Google Patents

提供加强环境感知的增强视频*** Download PDF

Info

Publication number
CN111540059B
CN111540059B CN202010396052.0A CN202010396052A CN111540059B CN 111540059 B CN111540059 B CN 111540059B CN 202010396052 A CN202010396052 A CN 202010396052A CN 111540059 B CN111540059 B CN 111540059B
Authority
CN
China
Prior art keywords
overlay
detectability
unmanned vehicle
component
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010396052.0A
Other languages
English (en)
Other versions
CN111540059A (zh
Inventor
D·小戴维森
T·T·特罗布里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insitu Inc
Original Assignee
Insitu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51355603&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN111540059(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Insitu Inc filed Critical Insitu Inc
Priority to CN202010396052.0A priority Critical patent/CN111540059B/zh
Publication of CN111540059A publication Critical patent/CN111540059A/zh
Application granted granted Critical
Publication of CN111540059B publication Critical patent/CN111540059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及提供加强环境感知的增强视频***。本发明公开一种包括用于提供对采集的图像数据的增强环境感知的***和方法的设备。公开的技术与图像数据连用，如由连接到无人***的摄像机采集的实时或近实时图像流、之前采集的图像数据、再现的图像数据等。所述设备通过投射叠加到采集的视频数据上或用之前采集的和/或“合成世界”信息，如卫星图像、计算机生成图像、线模型、纹理表面等等“包装”采集的图像数据来增强环境感知。所述设备还提供增强的缩放技术，其允许使用者使用组合的光学和数字缩放技术，快速地放大感兴趣的物体或区域。另外，所述设备提供数字引导指示器，其被设计以降低在操作图像采集装置时操作者引起的振荡。

Description

提供加强环境感知的增强视频***
本申请是2014年1月29日提交的名称为“提供加强环境感知的增强视频***”的中国专利申请201480006708.6的分案申请。
背景技术
无人***(例如，无人航空***或无人飞行器***、无人地面***和无人水下***)为由载人***执行的多种侦察型任务提供了低成本和低风险的选择。例如，无人飞行器***被TV新闻台、电影/电视行业、石油行业使用，用于海上交通监控、边防/海岸巡逻、民事灾难监测、缉毒活动、发现和监控鱼(例如，金枪鱼)群等。执法机构使用载人直升机和飞机作为他们行动的组成部分，但无人飞行器***在越来越多的情况下使用。能够由无人航空***填充的执法中的航空装备的用途包括，例如：
·摄影用途，
·监视用途，
·例行巡逻/支持，
·逃犯搜索，
·搜索和救援，
·飞行员培训，
·毒品定位/封锁，
·SWAT操作，和
·消防/支持。
无人***能够包括全球定位***(GPS)接收器来获得足够的近实时位置数据以指示***所在的位置，并且利用来自固态速率陀螺仪的反馈信息计算姿态。例如，已开发了通过编程航点能够自动起飞/发射、飞行和清除障碍型恢复(snag-type recovery)的无人航空***，以便当与载人飞行器(例如，单飞行员固定和旋翼飞行器(single-pilot fixedand rotor aircraft))相比时降低收集和操作成本。
使用者或控制者可在固定或移动遥控站远程操作典型的无人***。从地面控制站，控制者能够观察无人***的行为、控制无人***、接收来自无人***的反馈和信息，如由安装在无人***上的各种传感器收集的信息(例如，关于无人***的状态(例如，位置、方向、速度)的信息、关于周边区域的信息、关于周边区域中其它交通工具/***的信息)等等。然而，典型的无人***不提供和/或显示信息，该信息允许使用者或控制者，例如，识别和定位目标、识别和定位受限作业区，或在周边环境的背景中查看采集的信息，如地理信息。
发明内容
本发明可涉及用于向无人机交通工具***携带的图像采集装置采集的图像数据提供加强的环境感知(situational awareness)的方法，所述方法可包括：对于多个感兴趣的物体的至少一个，储存至少一个感兴趣的物体的位置数据；对于多个地理区域的至少一个，储存至少一个地理区域的地形数据；接收无人机交通工具携带的图像采集装置采集的图像数据，其中接收的图像数据的多个帧的至少一个具有关联元数据，所述元数据包括时间戳、无人机交通工具的方向、图像采集装置相对于无人机交通工具的方向、图像采集装置的配置信息、无人机交通工具的位置和无人机交通工具的速度；以及对于接收的图像数据的多个帧的至少一个，基于与帧关联的元数据，确定变换矩阵，和对于至少一个叠加的每一个，将确定的变换矩阵数据应用到叠加以变换叠加，并且提供与帧的显示相关联的变换的叠加的显示。所述方法可包括地形数据，其包括线帧(wire frame)数据、地图数据或地形等高线数据的至少一个。所述方法还可包括对于多个地理区域的至少一个，储存至少一个地理区域的测深数据。响应于接收到改变图像采集装置的方向的请求，所述方法可包括：确定图像采集装置的水平视场、确定图像采集装置的垂直视场、确定改变图像采集装置的方向的水平转换速率、确定改变图像采集装置的方向的垂直转换速率、确定显示图像的宽度、确定显示图像的高度、确定提前时间段，基于确定的水平视场、确定的垂直视场、确定的水平转换速率、确定的垂直转换速率、确定的宽度、确定的高度和确定的提前时间段，计算坐标，和在计算的坐标处提供数字引导指示器的指示的显示。所述方法还可以包括响应于接收执行缩放操作的请求，数字地缩放图像采集装置采集的视频帧、提供数字缩放的视频帧的至少一部分代替显示的视频帧的显示、确定图像采集装置是否已完成请求的缩放操作，和响应于确定图像采集装置已完成请求的缩放操作，用图像采集装置采集的视频帧代替数字缩放的视频帧。至少一个叠加可包括感兴趣的物体叠加、地图标注叠加、航向和地面速度叠加、飞行路线叠加和航点与航线叠加。至少一个叠加可包括发动机熄灭边界(engine outboundaries)叠加、地形等高线叠加、地图叠加、建筑物叠加和城市街区(city block)叠加。至少一个叠加可包括3D领空叠加、可检测性叠加、自动识别***(AIS)叠加和/或进场(approach)信息叠加。
本发明可涉及储存指令的计算机可读储存介质，当由具有处理器的计算***执行时，所述指令使得计算***执行包括如下的操作：储存地理区的地形信息；识别第一图像采集装置采集的第一图像流并且所述第一图像流包括第一地理区内第一区域的图像；识别第二图像采集装置而非第一图像采集装置采集的第二图像流而非第一图像流并且第二图像流包括地理区内第二区域而非地理区内第一区域的图像；再现/渲染(render)混合环境，所述混合环境包括储存的地理区的地形信息的至少一部分、来自第一图像流的至少一张图像和来自第二图像流的至少一张图像，其中所述再现包括：确定虚拟摄像机相对于混合环境的位置、确定第一图像采集装置相对于地理区的位置、基于确定的虚拟摄像机相对于混合环境的位置和确定的第一图像采集装置相对于地理区的位置，生成第一变换矩阵、将生成的第一变换矩阵应用到第一流的图像以生成第一变换帧、确定第二图像采集装置相对于地理区的位置、基于确定的虚拟摄像机相对于混合环境的位置和确定的第二图像采集装置相对于地理区的位置生成第二变换矩阵、将生成的第二变换矩阵应用到第二图像流的图像以生成第二变换帧、添加生成的第一变换帧的至少一个和生成的第二变换帧的至少一个至储存的地理区的地形信息的再现。第一图像采集装置可由飞行器交通工具***携带并且其中再现的混合环境包括飞行器交通工具***在近似于飞行器交通工具***相对于地理区的实际位置的位置处的图形表示。计算机可读储存介质的操作还可包括对于多个叠加的每一个，对于叠加的多个物体的每一个，变换物体的位置为屏幕坐标，和在屏幕坐标处提供物体的指示的显示。
所述操作还可包括对于至少一个叠加，对于叠加的至少一个物体，从使用者接收物体的标签、储存接收的标签和提供接收的标签的指示的显示。
本发明可涉及能够包括处理器的计算***，所述计算***可包括：经配置用于显示图像采集装置采集的视频帧的至少一部分的组件；经配置用于接收执行图像采集装置的光学缩放操作的请求的组件；经配置用于开始请求的图像采集装置的光学缩放操作的组件；经配置以当图像采集装置执行缩放操作时执行下列操作：数字地缩放图像采集装置采集的视频帧、提供数字缩放的视频帧的至少一部分代替显示的视频帧的显示和确定图像采集装置是否已完成缩放操作；以及在图像采集装置已完成缩放操作之后，经配置用于用图像采集装置采集的视频帧代替数字缩放的视频帧的组件。计算***还可包括：用叠加信息增强(augment)图像采集装置采集的图像数据的构件；和用关联的元数据同步图像采集装置采集的图像数据的构件。用于增强的构件还可包括用于转换至少一个叠加物体的位置为屏幕坐标的构件。计算***可包括用于再现数字引导指示器的构件。计算***还可包括用于再现动态调制盘的构件。
本发明能够涉及储存指令的计算机可读储存介质，如果由具有处理器的计算***执行，所述指令使得计算***执行可包括如下的操作：提供图像采集装置采集的图像的显示；以及响应于接收到改变图像采集装置的方向的请求，确定图像采集装置的水平视场、确定图像采集装置的垂直视场、确定改变图像采集装置的方向的水平转换速率、确定改变图像采集装置的方向的垂直转换速率、确定显示图像的宽度、确定显示图像的高度、确定提前时间段，基于确定的水平视场、确定的垂直视场、确定的水平转换速率、确定的垂直转换速率、确定的宽度、确定的高度和确定的提前时间段，计算坐标，和在计算的坐标处显示数字引导指示器的指示。可基于使用者输入的大小确定水平转换速率和垂直转换速率。可根据下列等式计算坐标(X,Y)：
以及
其中hSlew对应于确定的水平转换速率，wVideo对应于确定的宽度，hFov对应于确定的水平视场，vSlew对应于确定的垂直转换速率，hVideo对应于确定的高度，vFov对应于确定的垂直视场，以及advance对应于确定的提前时间段。
附图说明
图1为示出在其中可以操作根据本技术的实施例的设备的环境的方框图。
图2为示出根据本技术的实施例的设备的方框图。
图3为示出根据本技术的实施例的包含在关联计算***的一些组件的方框图。
图4为示出根据本技术的实施例增强组件的处理的流程图。
图5为示出根据本技术的实施例同步组件的处理的流程图。
图6A为示出根据本技术的实施例转化组件的处理的流程图。
图6B为未增强的采集的视频帧的屏幕截图。
图6C为根据本技术的实施例3D建筑物叠加信息的屏幕截图。
图6D为示出根据本技术的实施例与3D建筑物叠加信息组合的采集的视频帧的屏幕截图。
图6E为示出根据本技术的实施例与发动机熄灭叠加信息和飞行路线叠加信息组合的采集的视频帧的屏幕截图。
图6F为示出根据本技术的实施例与发动机熄灭叠加信息组合的采集的视频帧的屏幕截图。
图7A为示出根据本技术的实施例再现混合组件的处理的方框图。
图7B为示出根据本技术的实施例混合环境的屏幕截图。
图7C为示出根据本技术的实施例混合环境的屏幕截图。
图7D为示出根据本技术的实施例混合环境的屏幕截图。
图7E为示出根据本技术的实施例混合环境的屏幕截图。
图8为示出根据本技术的实施例加强的缩放组件的处理的流程图。
图9A为示出根据本技术的实施例显示(reveal)组件的处理的流程图。
图9B为示出根据本技术的实施例包括“显示的”位置的显示的屏幕截图。
图10A为示出根据本技术的实施例可检测性组件的处理的流程图。
图10B为示出根据本技术的实施例由可检测性组件产生的可检测性区域的屏幕截图。
图11A为示出根据本技术的实施例动态调制盘的处理的方框图。
图11B和图11C为示出根据本技术的实施例显示在场景上的动态调制盘的屏幕截图。
图11D为示出根据本技术的实施例旋转的动态调制盘的屏幕截图。
图12A为示出根据本技术的实施例数字引导指示器组件的处理的流程图。
图12B为示出根据本技术的实施例与数字引导指示器组合的采集的视频帧的屏幕截图。
图12C为示出根据本技术的实施例与数字引导指示器组合的采集的视频帧的屏幕截图。
具体实施方式
本发明公开一种包括***和方法的设备，用于提供对采集的图像数据的加强的环境感知并且增加可操作智能(actionable intelligence)。公开的技术与图像数据连用，如无人***携带的图像采集装置(例如，彩色或黑白摄像机、红外传感器或紫外传感器)采集的实时或近实时图像流，和/或之前采集的图像数据，和/或再现的图像数据等等。图像数据可包括模拟或数字视频流，如服从STANAG 4609的视频流。在一些实施例中，公开的***和方法提供技术，所述技术用于将参照信息和符号叠加到采集的视频数据上或与采集的视频数据结合、用合成世界信息(例如，之前采集的图像数据或周边信息生成的模型)包装(wrap)实时或近实时视频数据，和提供经配置用于导航包装的现场视频数据的虚拟摄像机。以这种方式，公开的技术能够增强采集的视频数据的显示以提供额外的背景和无人***监控的区域(和周边区域)的更高水平的环境感知。通过利用地理信息和其它信息增强使用者和操作者观看的视频，设备提高获得特定区域环境感知的能力。
在一些实施例中，设备通过投射叠加到采集的视频数据上来加强环境感知。例如，一个或更多个叠加可在视频转播的显示之上且与视频转播的显示同时显示，视频转播如现场视频转播或记录的视频转播。各个叠加能够包括符号和/或文本以帮助用视频转播识别和监控物体。叠加可包括，例如，目标叠加、地图标注叠加、街道叠加、国界叠加、边界叠加(例如，受限的作业区、领空等级)、可检测性叠加、航向和地面速度叠加、不安全海拔叠加、调制盘叠加、飞行器航线叠加、军事网格参考***叠加等等。例如，目标叠加可提醒使用者或操作者采集的图像数据内感兴趣的各种物体或目标(例如，建筑物、鱼群、交通工具、跑道和其它无人***)。以这种方式，所述设备能够高亮且提醒使用者或操作者感兴趣的物体和相关的信息。
在一些实施例中，所述设备利用之前采集的和/或“合成世界”信息，如卫星图像、计算机产生的图像、线模型、纹理表面等等来“包装”采集的图像数据，如来自实时摄像机流的图像。以这种方式，采集的图像数据能够在周边信息的背景下查看，如卫星图像、地形信息、结构、测深信息等等。例如，所述设备能够增强现场摄像机转播的显示以包括在现场摄像机转播内采集的区域周围的该区域的之前采集的卫星图像。这样，使用者能够在围绕摄像机视图内的区域的区域背景下查看现场摄像机转播以加强观看者的环境感知。而且，能够包括多个摄像机转播，从而使用者或操作者能够查看利用合成信息或其它信息包装的多个“现场”区域。以这种方式，使用者的视图不限于单个摄像机采集的图像，而是，能够包括关于周边区域的信息。
在一些实施例中，所述设备提供加强的缩放技术，其允许使用者使用组合的光学和数字缩放技术快速放大感兴趣的物体或区域。在一些情况下，图像采集装置可具有阻止使用者以期望的速率光学地放大或缩小感兴趣的物体或区域的缩放速率。换言之，由于摄像机的局限性，使用者可能不能够与使用者想要的一样快地光学放大物体。通过响应于来自使用者执行放大操作的请求，确定摄像机是否能够在预定时间段内(例如，1毫秒、1秒、10秒等等)执行期望的缩放，该设备克服了这个问题。如果摄像机不能够在预定时间段内执行期望的缩放，那么***数字地放大期望物体或区域并且，当摄像机光学缩放时，使用新采集的(和光学缩放的)图像数据来周期性地(例如，每毫秒、5毫秒、1秒等等)更新显示。以这种方式，当摄像机缩放时，使用者以期望的缩放水平或放大倍数快速地呈现数字缩放的数据。此外，在摄像机光学放大时，数字放大的数据被定期更新，以在摄像机放大时提供具有增大的分辨率的图像。
在一些实施例中，***提供数字引导指示器。所述数字引导指示器经设计以在操控图像采集装置时降低操作者引起的振荡。通常，当操作者使用例如操纵杆控制图像采集装置以追踪移动的物体时，由于图像采集装置摆动经过移动的物体和操作者反复校正图像采集装置的方向，操作者会引入振荡到图像采集装置的移动中。数字引导指示器经设计以在指定的一段时间(例如，0.5秒、1.0秒、10毫秒)，在图像采集装置预测指向的点处，通过以点或其它形状的形式显示“数字引导指示器”，避免这些操作者引起的振荡。
在一些实施例中，通过重复地执行物体识别技术，可操控所述设备以自动地追踪物体，如在2012年6月14日提交的、标题为STATISTICAL APPROACH TO IDENTIFYING ANDTRACKING TARGETS WITHIN CAPTURED IMAGE DATA(在采集的图像数据内识别和追踪目标的统计方法)的美国临时专利申请No.61/659,935中公开的那些，其通过引用将全部内容并入本文。所述设备然后能够自动地操控图像采集装置以保持物体处于视频显示器中心(或其它位置)或在视频显示器中心(或其它位置)附近。这种追踪模式允许使用者保持焦点在特定物体或区域上。
图1为示出在其中可以操作根据某些实施例的设备115的环境100的方框图。所述环境包括控制计算装置110、数据源120、客户端计算装置130、容器(vessel)140、图像采集装置141和网络150。控制计算装置110包括设备115和数据储存装置116。设备115包括用于加强采集的图像数据的环境感知的***和方法。
图2为示出根据某些实施例的设备的方框图。设备115包括下列组件的一个或更多个：增强组件210、同步组件220、转换组件230、再现混合数据组件240、加强的缩放组件250、显示组件260、可检测性组件270、动态调制盘组件280和数字引导指示器组件290。增强组件210由设备115调用以利用叠加信息增强采集的图像数据，所述叠加信息如目标叠加、地形叠加、结构叠加和/或其它合适的叠加。同步组件220由设备115调用以利用元数据同步采集的图像数据(如视频数据帧)，所述元数据规定用于采集图像数据的图像采集装置的位置、方向和配置信息并且进一步规定时间戳。转换组件230由设备115调用以基于，例如，相应真实空间中的物体与图像采集装置的距离和图像采集装置的当前配置，将叠加符号和信息的位置转换为屏幕坐标。再现混合数据组件240由设备115调用以利用与周边区域相关的信息增强采集的图像数据。加强的缩放组件250由设备115调用以执行结合光学和数字缩放技术的加强的缩放。显示组件260由设备115调用以向使用者显示或高亮感兴趣的物体。可检测性组件270由设备115调用以计算交通工具(如无人机交通工具)的可检测性或可观察性，并增强显示来包括计算的可检测性的指示。动态调制盘组件280由设备115调用以显示具有动态对角(subtend)的调制盘，所述对角改变以维持在采集的图像数据内的固定距离。数字引导指示器组件290由设备115调用以估算在预定的一段时间后图像采集装置将指向的位置。数据储存116储存从各种源(如数据源120、客户端计算装置130、容器140或其它源)收集的信息。数据源120提供设备115使用的信息以加强采集的图像数据，如地理信息、地形信息、地图信息、叠加等等。客户端计算装置130向远程使用者提供对设备115的访问。容器140提供来自各个容器携带的图像采集装置采集的图像数据。容器可为，例如，汽车、飞机、直升机、无人机交通工具、人、动物和/或其它合适的交通工具。此外，在该示例中，控制计算装置110、数据源120、客户端计算装置130和容器140通过网络150连接。
图3为示出根据某些实施例的包含在相关联计算***中的一些组件的方框图。计算机***300包括：一个或更多个用于执行计算机程序的中央处理器(“CPU”)301；当程序和数据使用时用于储存程序和数据的计算机存储器302；用于永久性储存程序和数据的永久性储存装置303，如硬盘驱动器；用于读取储存在计算机可读介质上的程序和数据的计算机可读介质驱动器304，如CD-ROM驱动器；以及如通过因特网将计算机***连接至其它计算机***的网络连接305。尽管如上描述的配置的计算机***适用于支持公开技术的操作，但本领域技术人员将理解，本技术可使用各种类型和配置的其它合适装置来实现。而且，能够加密至CPU和来自CPU的通信与数据总线和数据线上的通信以避免对内部数据的窥探。
可在其上实现公开的技术的计算装置能够包括：中央处理器、存储器、输入装置(例如，键盘和定点装置)、输出装置(例如，显示装置)和储存装置(例如，磁盘驱动器)。存储器和储存装置为可利用实现所述技术的计算机可执行指令编码的计算机可读储存介质，是指储存指令的计算机可读储存介质。另外，指令、数据结构和消息结构可通过计算机可读传输介质传输，如通信链路上的信号。因此，“计算机可读介质”包括用于储存信息的计算机可读储存介质和用于传输信息的计算机可读传输介质两者。另外，可加密设备使用的数据。可使用各种通信链路，如因特网、局域网、广域网、点对点拨号连接、蜂窝电话网络、无线网络等等。
公开的技术可在由一台或更多台计算机或其它装置执行的计算机可执行指令(如程序模块)的一般背景中描述。一般来说，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。通常，程序模块的功能可按需要组合或分布在各个实施例中，包括基于云的实现。
在此描述的本技术的许多实施例可采取计算机可执行指令的形式，其包括由可编程计算机执行的例程。本领域技术人员将理解本技术的各个方面能够通过除了在此示出和描述的那些的计算机***来实践。本技术的实施例可在各种操作环境中实现和使用，所述操作环境包括：个人计算机、服务器计算机、手持或膝上装置、多处理器***、基于微处理器的***、可编程消费电子产品、数字摄像机、网络PC、小型计算机、大型计算机、包括任意上述***或装置的计算环境等等。而且，本技术能够在专用计算机或数据处理器中体现，所述数据处理器专门编程，经配置或构造用于执行在此所述的计算机可执行指令的一个或更多个。因此，在此一般使用的术语“计算机”或“***”指任何数据处理器并且能够包括因特网装置和手持式装置(包括掌上计算机、可佩戴计算机、蜂窝或移动电话、多处理器***，基于处理器的电子产品或可编程消费电子产品、网络计算机、小型计算机等)。由这些计算机处理的信息能够在任何合适的显示介质呈现，包括CRT显示器、LCD、LED显示器、OLED显示器等等。
本技术还能够在分布式环境中实践，其中任务或模块可通过由通信网络链接的远程处理装置执行。在分布式计算环境中，程序模块或子例程可位于本地和远程存储器储存装置中。在此描述的本技术的各个方面可储存或分布在包括磁性或光学可读或可擦除的计算机磁盘的计算机可读介质上。此外，本技术的各个方面可电子地分布在网络上。具体对本技术的各个方面的数据结构和数据的传输也涵盖在本技术的范围内。
图4为示出根据某些实施例的由增强组件执行的处理方法的流程图。调用增强组件以用叠加信息加强采集的图像数据。在方框410中，组件调用同步组件以用元数据同步或对齐(align)采集的图像数据，所述元数据规定用于采集图像数据的图像采集装置的位置、方向和配置信息和时间戳。在方框420中，组件选择叠加来显示。叠加可包括，例如，感兴趣的物体叠加、地图标注叠加、飞行路线叠加、航点与航线叠加、发动机熄灭边界叠加、地形等高线叠加、地图叠加、建筑物叠加、城市街区叠加、3D领空叠加(例如，A-E等级领空)、可检测性叠加、自动识别***(AIS)叠加、进场信息叠加和其它合适的叠加。各个叠加能够由一个或更多个文件构成，所述文件规定，例如，相应物体的位置、尺寸和标签信息。例如，建筑物叠加可包括在地理区域内的各种建筑物的位置和尺寸(宽度、长度、高度等)信息以及每个建筑物的标签。作为另一个示例，地图标注叠加可包括各种物体，如街道、政治边界、禁飞区、受限作业区的位置、方向和尺寸信息和相关联的标签。因此，使用地图标注叠加，设备能够对采集的图像数据内的物体显示说明性文本。作为另一个示例，地形等高线叠加包括地理区域的地形信息(不同位置处的地形海拔)。作为另一个示例，地图叠加可包括或识别地图的图像和它们对应的位置，从而图像能够显示在采集的图像数据和其它数据(如地形信息)之上或除采集的图像数据和其它数据(如地形信息)之外而显示图像。作为另一个示例，AIS叠加可包括对应于在规定区域内操作的容器位置和尺寸的信息。在一些情况下，AIS叠加可包括一系列操作容器以用AIS接收器定位。该位置信息然后能够连同视频帧添加到叠加以用于显示。
设备可维持或接收用于若干地理区域的任一个的叠加文件。而且，用于不同地理区域的叠加文件和甚至不同类型的叠加可组合到单个叠加文件中。叠加文件可通过处理使用者与视频帧交互创建以接收并且储存叠加文件中呈现的各种物体的位置、尺寸和标签信息。例如，响应于从使用者接收创建或更新物体的叠加信息的请求，例如，通过在物体周围绘制框、描绘物体的形状以及提供物体的标签，设备可提示使用者提供物体的信息。可替代地，可从其它源，如由加利福尼亚州(CA)的山景城(Mountain View)的天宝公司(TRIMBLE)提供的SKETCHUP(www.sketchup.com)、或由加利福尼亚州(CA)的森尼韦尔市(Sunnyvale)的GOOGLE支持的TRIMBLE 3D WAREHOUSE(sketchup.***.com/3dwarehouse)，接收位置、尺寸和标签信息。在一些情况下，可动态地更新叠加信息。例如，当感兴趣的物体移动时，移动的感兴趣的物体(如移动的交通工具)的位置和尺寸信息，可周期地传输至设备。位置和尺寸信息可由感兴趣的物体和/或另一个数据源，如追踪物体的另一个交通工具或人提供或者当处于追踪模式或使用形状识别技术时由设备自身提供。因此，设备能够利用动态收集的信息并且实时自动调节叠加。类似地，当设备处于追踪模式时，基于识别移动物体从视频帧至视频帧的位置和图像采集装置与移动物体之间的距离，组件能够估算移动物体的速度和方向。基于移动物体和图像采集装置的位置信息和/或从测距仪收集的信息，能够计算图像采集装置和移动物体之间的距离。
在方框430-490中，对于每个帧，组件循环通过选定叠加的每一个，转化与叠加相关联的信息为屏幕坐标，并且然后以选定的帧显示转化的信息(例如，在选定的帧之上或与选定的帧混合)。在方框430中，组件选择视频帧。在方框440中，组件选择选定的叠加的一个。在决策方框450中，如果选定的叠加为仪表板叠加，那么组件在方框470继续，否则组件在方框460继续。仪表板叠加为不受采集的图像数据的视角影响的叠加，如显示图像采集装置或相关联的交通工具的当前坐标的叠加，显示图像采集装置固定到的交通工具的里程或燃料信息的叠加等等。非仪表板叠加为一个受采集的图像数据的视角影响的叠加，因为它变换叠加物体以试图使叠加物体与实际物体对齐。在方框460中，组件调用转换组件以转换叠加物体的位置为屏幕坐标。在方框470中，组件通过使用各种再现技术和程序库，如由加利福尼亚州的弗里蒙特市(Fremont)的硅谷图形国际(Silicon Graphics International公司提供的华盛顿(WA)的雷德蒙德市(Redmond)的Microsoft提供的/>在对应的屏幕坐标再现叠加物体来显示叠加。例如，通过在对应的屏幕坐标，再现圆形、穿孔正方形和/或其它形状，再现的物体可呈现对应物体的形状或仅高亮物体。例如，组件可在采集的图像数据之上再现叠加物体或可以使用α合成技术混合叠加物体与采集的图像数据。此外，设备可对不同叠加和/或不同叠加物体分配不同颜色以更好区分与不同叠加相关联的叠加物体之间。例如，感兴趣的物体叠加物体可以红色再现而建筑物叠加物体以蓝色再现。另外，与相同叠加相关联的叠加物体可以不同颜色显示。在方框480中，组件循环回方框440用于处理下一个选定的叠加，如果有的话。在方框490中，组件循环回至方框430用于处理下一帧，如果有的话。
图5为示出根据某些实施例由同步组件执行的处理方法的流程图。在方框510中，组件接收视频数据和相关联的时间信息，如每个视频帧或视频帧的一些子集的时间戳。例如，组件可从图像采集装置或另一个***接收视频数据，如在其中每帧或每三帧或每十五帧等具有相关联的时间戳的无人机交通工具***。在方框520中，组件接收元数据，所述元数据规定图像采集装置的位置信息(例如，图像采集装置或图像采集装置固定到的交通工具的经度、纬度和海拔高度)、方向信息(例如，图像采集装置相对于图像采集装置固定到的交通工具的倾斜和水平(pan)角或视线向量(look vector))，和配置信息(例如，焦距、数字缩放设置、图像采集装置的视场等等)以及时间戳。在方框530中，组件从接收的视频数据中选择视频帧。在方框540中，组件确定与选定的视频帧相关联的时间戳。时间戳对应于选定的视频帧被采集的时间并且当采集或储存视频帧时可由图像采集装置产生或者可由处理采集的图像数据的单独的***添加。在方框550中，组件基于确定的时间戳和与识别的元数据相关联的时间戳来识别对应于选定的视频帧的接收的元数据。即，组件在时间上最接近采集视频帧的时间识别图像采集装置的位置、方向和配置信息。在方框560中，通过储存选定的视频帧和识别的元数据之间的关联或映射，组件将选定的视频帧对齐至识别的元数据。在决策方框570中，如果有额外的视频帧要处理，那么组件循环回至方框530以选择下一个视频帧，否则完成组件的处理。例如，可调用组件以执行之前采集的图像数据的批处理并且因此多个视频帧能够被对齐至元数据或在采集各个视频帧时，可调用组件以实时处理各个视频帧。
图6A为示出根据某些实施例由转换组件执行的处理方法的流程图。调用转换组件以基于已对齐至视频帧的元数据，将叠加物体的位置转换为叠加和视频帧的屏幕坐标。在方框605中，基于对齐的元数据，在采集视频帧的时刻或附近，组件确定对应于，例如，图像采集装置的位置的视频帧的位置信息。在方框610中，基于对齐的元数据，在采集视频帧的时刻或附近，组件确定对应于，例如，图像采集装置的方向的视频帧的方向信息。在方框615中，基于对齐的元数据，在采集视频帧的时刻或附近，组件确定对应于，例如，图像采集装置的配置的视频帧的配置信息。在方框620中，组件识别叠加物体以再现视频帧。该确定可基于使用者的选择、采集的图像数据内可见的物体和/或其它合适的源。例如，使用者可点击叠加物体的表示，如一系列叠加物体中的条目(entry)或显示的图像数据中叠加物体的物理表示，以切换该叠加物体的“再现”标签。如果再现标签针对叠加物体切换“打开”，组件将识别叠加物体为待再现的叠加物体。如果再现标签针对叠加物体切换“关闭”，组件将不识别叠加物体为待再现的叠加物体。在方框625中，组件选择下一个识别的叠加物体。在决策方框630中，如果选定的识别的物体已经被选择，那么组件的处理完成，否则组件在方框635继续。在方框635中，组件确定图像采集装置和对应于选定叠加物体的物体的物理位置之间的距离。例如，如果叠加物体对应于建筑物，组件将使用测距仪和/或基于储存在建筑物的相应叠加文件中的位置信息和确定的图像采集装置的位置信息，计算采集视频帧时、图像采集装置和建筑物之间的距离。在方框640中，基于确定的距离、位置、方向和配置信息，组件生成一个或更多个变换矩阵。例如，组件可生成将坐标从模型空间(例如，相对于模型原点定义的顶点)转换至世界空间(例如，相对于普通原点定义的顶点)的“世界变换”矩阵、将坐标从世界空间转换为摄像机空间(例如，相对于摄像机或虚拟摄像机的位置定义的顶点)的“视图变换”矩阵，和基于摄像机镜头的模拟将坐标从摄像机空间变换至屏幕空间的投影矩阵。在一些实施例中，使用DIRECTTM类/结构和随附的方法，如DIRECTXTM矩阵结构和它的LookAtLH、PerspectiveFovLH，和/或其它方法生成矩阵。本领域技术人员将认识到可采用其它应用程序接口(如OpenGL)的结构/类和方法。在方框645中，组件将一个或更多个变换矩阵应用到叠加物体以生成屏幕坐标。生成的屏幕坐标可对应于不在屏幕上的位置，例如，如果物***于视频帧内采集的区域之外。在决策方框650中，如果生成的屏幕坐标在视频帧的可查看区域内，那么组件在方框655继续，否则在方框660继续处理。在方框655中，组件在生成的屏幕坐标处再现叠加物体并且然后循环回至方框625以选择下一个识别的叠加物体。在方框660中，组件识别在屏幕边缘的位置。例如，如果生成的屏幕坐标到屏幕的左边，组件可识别屏幕左边缘的位置。作为另一个示例，组件可识别屏幕边缘上的位置，其与从屏幕中心绘制的虚线相交以生成屏幕坐标。在方框665中，组件在识别的位置处再现叠加物体的指示，如箭头或脱字符(或其它形状)并且然后循环回至方框625以选择下一个识别的叠加物体。
图6B为未增强的采集的视频帧的屏幕截图670。屏幕截图显示设备的使用者或操作者可希望识别或高亮的若干结构和交通工具。
图6C为根据某些实施例的3D建筑物叠加信息的屏幕截图671。屏幕截图包括屏幕截图中三个建筑物的图形信息。
图6D为示出根据某些实施例的与3D建筑物叠加信息组合的采集的视频帧的屏幕截图672。在该示例中，在屏幕截图671中显示的3D建筑物信息显示在类似于屏幕截图670(图6B)的采集的视频帧的采集的视频帧之上。
图6E为示出根据某些实施例的与发动机熄灭叠加信息和飞行路线叠加信息组合的采集的视频帧的屏幕截图673。如果飞行器的发动机熄灭(例如，如果发动机故障或如果飞行器燃料用完)，发动机熄灭叠加提供飞行器(例如无人机交通工具)范围的边界的指示。飞行器的发动机熄灭边界可基于若干参数，包括飞行器的当前位置(例如，纬度、经度和海拔高度)、当前方向(例如，航向和航向倾角(倾斜度))、环境条件(例如，风、热气流、山脊升力和背风波)、飞行器的飞行/滑行特点、周边地形(例如，海拔)以及其它参数。例如，在没有动力的情况下，飞行器在顺风滑行时能够比在逆风滑行时滑行更远的距离。作为另一个示例，在没有动力的情况下，飞行器在从较高海拔高度滑行时能够比在从较低海拔高度滑行时滑行更远的距离，或者飞行器在朝向具有较低海拔高度的区域滑行时能够比朝向具有较高海拔高的区域滑行时滑行更远的距离。类似地，飞行器在飞行器已经行驶的方向比另一个方向(例如，如果飞机必须转向)能够滑行更远的距离。在该示例中，表示飞行器675的发动机熄灭边界674和来自飞行路线叠加的飞行器675的当前飞行路线677，所述飞行路线叠加已与发动机熄灭叠加组合。还显示表示飞行器675的当前航向、速度和海拔高度的信息框676。
图6F为示出根据某些实施例的与发动机熄灭叠加信息组合的采集的视频帧的屏幕截图678。在该示例中，表示飞行器680的发动机熄灭边界679和飞行器680的当前飞行路线681，并且还显示表示飞行器680的当前航向、速度和海拔高度的信息框682。
图7A为示出根据某些实施例的由再现混合组件执行的处理方法的方框图。再现混合组件再现场景的混合视图，所述场景组合实时采集的图像数据流和其它图像数据，如之前采集的图像数据，和/或区域的再现模型，以提供背景并且加强实时图像数据的环境感知。在方框705中，组件确定虚拟摄像机的位置、方向和配置。在方框710中，设备使用该信息再现由储存的信息构成的虚拟环境，设备添加采集的图像数据到所述储存的信息中。例如，基于确定的虚拟摄像机的位置、方向和配置，设备可产生由卫星图像、线模型、地图数据、储存的地形信息和/或其它合适的数据组成的虚拟环境。本领域技术人员将认识到能够使用任意若干合适类型的数据源和信息产生和再现虚拟环境。在方框715中，组件识别图像流。识别的图像流可包括，例如，由无人机交通工具、其它容器和其它合适的平台携带的图像采集装置采集的实时或储存的图像数据流。在方框720中，组件选择下一个流。在决策方框725中，如果已经选择选定的流，那么组件在决策方框760继续，否则组件在方框730继续。在方框730中，组件接收对应于接收的时间戳的流的视频帧。在方框735中，基于接收的时间戳，组件识别对应于选定视频帧的元数据，如位置、方向和配置信息。在决策框740中，如果检索的视频帧用叠加信息增强，那么组件在方框745继续，否则处理在方框750继续。在方框740中，组件调用增强组件以用叠加信息加强检索的视频帧。在方框750中，基于与检索的视频帧和虚拟摄像机相关联的元数据，组件生成一个或更多个变换矩阵以变换检索的视频帧。在方框755中，通过例如，在虚拟环境之上显示变换的视频帧或使用α合成技术混合变换的视频帧与虚拟环境，组件利用再现的虚拟环境再现变换的视频帧。在决策方框760中，如果完成了再现混合环境，那么处理完成，否则处理在决策方框765继续。在决策方框765中，如果虚拟摄像机已被修改，那么组件在方框715继续以识别流进行再现，否则处理在方框705继续以确定虚拟摄像机的位置、方向和配置。例如，使用者可通过如下操作修改虚拟摄像机：移动虚拟摄像机至新的位置(例如，移动虚拟摄像机至空间中新的点)、改变摄像机的方向(例如，将虚拟摄像机指向不同方向)或改变虚拟摄像机的配置(例如，放大或缩小)。
图7B为示出根据某些实施例的混合环境的屏幕截图790。在该示例中，混合环境包括线帧模型围绕的图像流的采集的视频帧791，所述线帧模型模拟采集的视频帧791内的区域周围的地形。在该示例中，视频帧791采集自无人机交通工具。在该示例中，混合环境通过提供采集的视频帧的额外的背景来加强环境感知。例如，使用者或操作者能够看到地形在采集的视频帧内的区域周围如何改变并且调节附接图像采集装置的交通工具的路线。屏幕截图790还包括对应于“TargetAlpha”的感兴趣的物体叠加物体792、对应于桥梁的叠加物体793和可检测性叠加物体794。此外，叠加物体792的叠加信息包括指示叠加物体792和图像采集装置之间距离的信息，在该示例中为0.79海里。由于接收了额外的视频帧或由于修改了虚拟摄像机，因此设备能够更新混合环境。因此，使用者或操作者能够在周边信息的背景下查看实时视频流，甚至当设备无法访问周边信息的实时或近实时流时查看实时视频流。
图7C为示出根据某些实施例的混合环境的屏幕截图795。在该示例中，混合环境包括图像流的采集的视频帧796，所述图像流被周边环境的有纹理的表示围绕。在该示例中，混合环境通过提供采集的视频帧的额外的背景来加强环境感知。例如，使用者或操作者能够看到地形在采集的视频帧内的区域周围如何改变并且能够形象化采集的视频帧的视图之外的建筑物和道路。在这种情况下，有纹理的表示能够从区的储存的“库存(stock)”视频获得，所述储存的“库存”视频不如采集的视频帧796那么新，但比图7C所示线帧更现实。在一些情况下，使用者可能更喜欢图7C的现实图，而在另一些情况下，使用者可能更喜欢图7B所示的线帧的简单。
图7D为示出根据某些实施例的混合环境的屏幕截图780。在该示例中，混合环境类似于图7C表示的混合环境并且包括图像流的采集的视频帧781(例如，“现场转播”)，所述图像流被周边环境的有纹理的表示(例如，之前采集的或非现场转播)围绕，但从不同的角度再现。在这种情况下，虚拟摄像机已偏离交通工具(由交通工具符号782表示)，视频帧781从所述交通工具采集。因此，虚拟摄像机能够重新定位到任何位置以查看混合环境。这种布置的一个特点为它允许使用者看到针对较大环境视图的交通工具的位置。
图7E为示出根据某些实施例的混合环境的屏幕截图。在该示例中，混合环境包括第一采集的视频帧797a和第二采集的视频帧797b，每个视频帧对应于由不同的无人机交通工具采集的视频流的帧。在该示例中，混合环境通过在混合环境内区域提供多个实时或近实时视图来加强环境感知。因此，与区的单个“石吸管(soda straw)”视图相对的该区的多个现场转播呈现给使用者或操作者。混合环境还包括对应于跨越采集的视频帧797a和797b内采集的两个区域的道路的道路叠加物体798，和对应于名称为“IED#1”的感兴趣的物体的叠加物体799，其偏离屏幕且不在虚拟摄像机的视图内，并且，正如所指出的，距离图像采集装置1170米。
图8为示出根据某些实施例的由加强的缩放组件执行的处理方法的流程图。调用该组件以实时或近实时放大图像采集装置采集的视频流的帧内的区域。在方框805中，组件接收执行光学缩放的请求。请求的缩放操作可为放大操作或缩小操作。所述请求可规定缩放速率(每秒毫米(焦距))和相对缩放比(例如，0.01x、0.1x、2x、10x等等)。在方框810中，组件通过，例如，发送请求至图像采集装置，开始请求的缩放。在决策方框815中，如果请求的缩放不能以规定的速率执行(或速率未规定)，那么组件在决策方框820继续，否则组件的处理完成。在决策方框820中，如果请求的缩放操作为放大操作，那么组件在方框825继续，否则处理在方框845继续。在方框825中，基于规定的缩放比，组件数字地放大最近采集的视频帧。在方框830中，组件用数字缩放的图像数据更新显示。换言之，基于请求的缩放，组件修剪并数字地缩放来自图像采集装置的转播，以只包括使用者或操作者感兴趣查看的区域。因此，尽管显示的图像数据的质量或分辨率暂时降低(由于数字缩放)，但当图像采集装置调节至请求的焦距时，缩放的图像数据快速地呈现给使用者或操作者。在决策方框835中，如果光学缩放完成，那么组件在方框840继续，否则组件循环回至方框825以对最近采集的视频帧执行数字缩放。因此，随着每次刷新新获得的和光学缩放的图像数据而分辨率增大，图像数据将缓慢地“成形(crystallize)”或“锐化”。在方框840中，组件更新显示以包括采集的视频帧并且然后完成。在方框845中，组件更新显示以包括关于围绕视频帧的区域的储存的信息。如上述讨论，储存的信息可包括基于地形信息、地图信息、卫星信息等等的线帧模型。实际上，当摄像机光学地缩小时，组件生成混合环境。在方框850中，组件更新显示以包括新采集的视频帧(即，以更广的角度采集的图像数据)。在决策方框855中，如果光学缩放完成，那么组件的处理完成，否则组件循环回至方框850以更新显示。
图9A为示出根据某些实施例的由显示组件执行的处理方法的流程图。调用显示组件以通过，例如，从一系列物体中选择物体、从显示的图像数据内选择物体(例如，通过在物体周围绘制框来高亮物体)，和/或通过其它合适的技术，高亮使用者或操作者表现出查看兴趣的物体。对于使用者或操作者表现出查看兴趣的物体的每一个，组件显示所述物体放大或与所述物体相关联的区域的放大的视图。在方框910中，组件显示图像数据，如来自采集的视频流的视频帧。在方框920中，组件识别对应于感兴趣的物体的目标区域，如围绕感兴趣的物体的像素的范围或不同的部分(patch)。在方框930中，组件选择下一个目标区域。在决策方框940中，如果已经选择了选定的目标区域，那么组件的处理完成，否则组件在方框950继续。在方框950中，组件数字地放大选定目标区域的像素。在方框960中，组件选择缩放的像素的显示位置。在方框970中，组件在选定的显示位置显示缩放的像素并且然后循环回至方框930以选择下一个目标区域。
图9B为示出根据某些实施例的包括由显示组件产生的“显示的”位置的显示的屏幕截图990。在该示例中，屏幕截图990包括目标区域991、992和993以及分别对应的缩放像素996、995和994。例如，缩放的像素994对应于目标区域993内的像素(由在相关的像素周围绘制的框选择)并且其已被数字地缩放以高亮对应目标区域。
图10A为示出根据某些实施例的由可检测性组件执行的处理方法的流程图。设备调用可检测性组件以通过，例如，雷达装置、人或其它探测器，评估交通工具(如无人机交通工具、汽车等等)的视觉和/或听觉探测水平。在方框1005中，组件接收规定交通工具的可检测性参数的可检测性简介(profile)，如发动机噪音信息(例如，在每分钟不同的转速下(rpms)的分贝)、大小、颜色、反射率等。在方框1020中，组件识别用于可检测性分析的区，如在显示器内的当前可见的区、由使用者规定的区、交通工具周围并且具有规定半径(例如，1英里、10千米、100海里)的圆形区等等。在方框1030中，组件基于，例如，交通工具的位置、交通工具的可检测性参数、交通工具的当前速度和发动机的每分钟转速(rpm)、白天的时间、交通工具周围的地形、探测器的倾斜角、天气条件(例如，风)等等，产生交通工具和区的可检测性模型。可检测性模型估算交通工具周围的区域处的探测风险。在方框1040中，组件识别可检测性范围、每个范围对应于交通工具可探测的似然性的范围，如{0％-30％、30％-60％和60％-100％}、{10％-50％和50-100％}、{70％-100％}等等。可检测性范围可由使用者规定或者基于可检测性模型由设备产生。例如，使用者可规定具有25％-75％的可检测性似然性的感兴趣的高亮区域和具有75％-100％的可检测性似然性的区域。在一些情况下，可检测性范围可基于交通工具至周边地形中各个点的距离，并且距离可分配给多个探测阈值的每一个。例如，在大于5,000英尺的距离处，交通工具可具有被探测到的低概率，在小于1,500英尺的距离处，交通工具可以具有被探测到的高概率，并且在1,500和5,000英尺之间的距离处，交通工具可以具有被探测到的中等概率。因此，大于5,000英尺的距离可分配到高探测阈值，小于1,500英尺的距离可分配到低探测阈值，以及1,500和5,000英尺之间的距离可分配到中等探测阈值。在方框1050中，组件选择下一个可检测性范围或阈值。在决策方框1060中，如果已选择选定的可检测性范围或阈值，那么组件的处理完成，否则组件在方框1070继续。在方框1070中，基于生成的可检测性模型，组件识别交通工具的可检测性落在选定探测范围或阈值内的分析区的区域(一个或更多个)。在方框1080中，组件使用一个或更多个变换矩阵转换识别的区域(一个或更多个)以生成屏幕坐标。在方框1090中，基于生成的屏幕坐标，组件对区域(一个或更多个)绘制阴影(shade)。例如，组件可用绿色为对应于最低可检测性范围或最高阈值的区域绘制阴影，用红色为对应于最高可检测性范围或最低阈值的区域绘制阴影，并且其它区域用黄色和橙色的各种阴影绘制。本领域技术人员将认识到能够使用任何颜色或其它格式，如不同的阴影图案(例如，网状线)等等对区域绘制阴影，以及可使用任何数量的探测范围/阈值。
图10B为示出根据某些实施例的由可检测性组件产生的可检测性区域的屏幕截图1091。在该示例中，示出在三个不同区域内的交通工具1092的可检测性，交通工具1092直接飞过点1093。在曲线1094围绕的区域内，交通工具1092具有可检测性的高似然性。在一些示例中，可用特定的颜色如红色对该区域绘制阴影，以反映可检测性的高似然性。在曲线1094和曲线1095之间的区域内，交通工具1092具有可检测性的中等似然性。在一些示例中，可用特定的颜色如黄色对该区域绘制阴影，以反映可检测性的中等似然性。在曲线1095围绕的区域之外，交通工具1092具有可检测性的低似然性。在一些示例中，可用特定的颜色如绿色对该区域绘制阴影，以反映可检测性的低似然性。
图11A为示出根据某些实施例的由动态调制盘组件执行的处理方法的方框图。调用组件以再现调制盘，用于在视频流之上显示，当使用者放大或缩小(数字地或光学地)时，该组件动态地改变调制盘对角或“刻度线(ticks)”之间间隙的宽度，从而在再现的图像中对角表示相同(或基于，例如，预定的阈值(例如，+/-10％)大体相同)的距离。换言之，当使用者放大或缩小时，动态调制盘的对角自动调节，从而它们表示固定的比例。例如，当使用者放大时，对角之间的距离增大，以及当使用者缩小时，对角之间的距离减小。在方框1110中，组件接收对应于每个对角间隙表示的如1英尺、10英尺、100米、1英里、5公里等等的距离的比例。在方框1120中，基于，例如，图像采集装置(实际或虚拟)和屏幕中央处的点之间的距离、图像采集装置(实际或虚拟)和视频帧中物体之间的距离、和/或其它合适的距离参数，组件确定距采集场景的距离。如果组件可以访问场景中一个或更多个物体的位置信息(例如，经度、纬度和海拔高度)和图像采集装置的位置信息，组件能够直接计算距离。可替换地，或除了前述技术之外，组件可使用测距仪确定距离。作为另一个可替换/附加特点，设备可提示使用者提供距离或距离的估算值。在方框1130中，基于确定的距离和接收的比例，组件计算对角间隙宽度。在方框1140中，基于确定的对角间隙宽度，组件显示具有对角间隔的调制盘。在决策方框1150中，如果视图已经改变，如当使用者放大或缩小场景或如果图像采集装置(实际或虚拟)已经移动，那么组件循环回至方框1120以确定距采集场景的距离，否则组件在决策方框1160中继续。在决策方框1160中，如果比例已经改变，那么组件循环回至方框1120以确定距采集场景的距离，否则组件在决策方框1170继续。在决策方框1170中，如果动态调制盘的显示继续，那么组件循环回至方框1150以确定视图是否已经改变，否则组件的处理完成。在一些实施例中，通过例如，旋转调制盘、修改调制盘的绘制阴影或颜色等等，设备可允许使用者或操作者进一步修改调制盘。旋转调制盘允许使用者或操作者对齐调制盘至场景中不同的物体。一旦对齐，使用者或操作者能够使用对角的(subtended)调制盘更好地测量场景中的不同物体。在一些实施例中，设备可进一步显示比例(即，由每个对角间隙表示的距离)和/或旋转的角度(例如，顺时针25度)。
图11B和图11C为示出某些实施例中在场景之上显示的动态调制盘的屏幕截图1180和1182。在图11B中，场景以广角显示并且对角间隙宽度1181表示视频帧宽度的约八分之一。相比之下，图11C为场景已经放大后的相同场景的屏幕截图。在图11C中，对角间隙宽度1183已经增至视频帧宽度的约五分之二。然而，在屏幕截图1180和1182的每一个中，各个对角宽度表示采集的图像数据中约相同的距离。
图11D为示出根据某些实施例的旋转的动态调制盘的屏幕截图1184。在该示例中，已经旋转动态调制盘以与视频帧的中央中的建筑物对齐，从而例如，使用者能够快速地比较建筑物的长度或宽度与每个对角间隙宽度表示的距离。
图12A为示出根据某些实施例的由数字引导指示器组件执行的处理方法的流程图。调用该组件以显示与显示的图像数据相关的数字引导指示器。在方框1210中，基于图像采集装置的当前配置，如胶片或数字传感器(电荷耦合装置)的当前焦距和大小，组件确定图像采集装置的水平视场(例如，左和右)和垂直视场(例如，上和下)，单位为度数或弧度。在方框1220中，例如，基于使用者输入的大小，组件确定操控的水平和垂直转换速率(例如，以度数每秒或弧度每秒沿水平和垂直方向改变的旋转速率)。使用者输入可对应于来自模拟操纵杆的输入，其基于操作者调节操纵杆的程度提供变化的转换速率。在方框1230中，组件确定显示的视频的、像素为单位的宽度和高度。在方框1240中，组件确定提前值(一段时间)，其可由使用者规定或设定为默认值(例如，0.65秒、1.0秒、3.2秒)。在方框1250中，基于确定的视场、转换速率、屏幕宽度、屏幕高度和提前值，组件计算位置的坐标(X,Y)。在一些实施例中，根据下列公式确定该位置：
以及
其中hSlew对应于确定的水平转换速率，wVideo对应于确定的显示的视频宽度，hFov对应于确定的水平视场，vSlew对应于确定的垂直转换速率，hVideo对应于确定的显示的视频高度，vFov对应于确定的垂直视场，以及advance对应于确定的提前值。坐标规定相对于基准参考点的位置，或原点(如视频帧的中心或当处于追踪模式时感兴趣的区域的中心)的位置。在方框1260中，组件在计算的坐标(X,Y)处显示数字引导指示器(例如，点、“x”或其它符号)。如上讨论，“数字引导指示器”显示的位置对应于在规定的一段时间(例如，0.5秒、1.0秒、10毫秒)中预测图像采集装置指向的(或“以其为中心的”)位置。因此，通过设置数字引导指示器在采集的图像数据内的具***置或目标上，使用者能够控制或操控图像采集装置同时降低操作者引起的振荡。在决策方框1270中，如果操作者不再操控图像采集装置移动，那么组件的处理完成，否则组件循环回至方框1210以确定水平视场和垂直视场。
图12B为示出根据某些实施例的与数字引导指示器组合的采集的视频帧的屏幕截图1280。在该示例中，沿道路行驶的交通工具的图像数据利用调制盘1281和数字引导指示器1282显示。在该示例中，基于来自使用者的输入，如操纵控制器(例如，操纵杆或其它输入装置)，数字引导指示器1282偏离调制盘1284。调制盘1281表示采集图像的图像采集装置当前正指向的点，而数字引导指示器1282表示摄像机在之前规定的提前时间段(例如，0.1秒、5秒、50毫秒)中将指向的点。可根据图12A所示的处理方法计算数字引导指示器的位置。
图12C为示出根据某些实施例的与数字引导指示器组合的采集的视频帧的屏幕截图1283。在该示例中，沿道路行驶的交通工具的图像数据利用调制盘1284和数字引导指示器1285显示。在该示例中，基于来自使用者的输入，数字引导指示器1285偏离调制盘1284。调制盘1281表示采集图像的图像采集装置当前正指向的点，而数字引导指示器1282表示摄像机在之前规定的提前时间段(例如，0.1秒、5秒、50毫秒)中将指向的点。可根据图12A所示的处理方法计算数字引导指示器的位置。屏幕截图1283还包括指示交通工具在航向为12.4535度以37.34英里每小时(mph)行驶的航向和速度指示器1286。通过追踪帧之间的交通工具的位置的变化能够确定交通工具的航向和速度。
从前述内容，应该理解，出于说明的目的，在此已描述了本技术的具体实施例，而在不背离公开的技术的情况下，做出各种修改。例如，设备能够包括额外的组件或特征和/或在此描述的组件或特征的不同组合。例如，数字引导指示器可与各种叠加和叠加信息、混合数据、可检测性信息和/或其它合适的可显示的信息的显示同时显示。类似地，叠加和叠加信息可与动态调制盘、加强的缩放数据、显示的区域和/或其它合适的可显示的信息同时显示。而且，在不改变公开技术的功能的情况下，可以重新安排附图内的各个方框。另外，虽然已在那些实施例的背景下描述了与新技术的某些实施例有关的优势，但其它实施例还可存在此类优势，并且并不需要所有的实施例必须存在此类优势以落在本技术的范围内。因此，本公开和相关的技术能够涵盖在此未明确示出或描述的其它实施例。

Claims (15)

1.一种用于向无人机交通工具***(140)携带的图像采集装置(141)采集的图像数据提供增强的环境感知的方法，所述方法包括：
对于多个感兴趣物体中的至少一个感兴趣物体，储存所述至少一个感兴趣物体的位置数据；
对于多个地理区域中的至少一个地理区域，储存所述至少一个地理区域的地形数据；
接收由所述无人机交通工具携带的所述图像采集装置采集的图像数据，其中所接收的图像数据的多个帧的至少一个具有相关的元数据，所述元数据包括时间戳、所述无人机交通工具的方向、所述图像采集装置相对于所述无人机交通工具的方向、所述图像采集装置的配置信息、所述无人机交通工具的位置和所述无人机交通工具的速度；以及
对于所述接收的图像数据的多个帧(791)中的至少一个帧，
基于与所述多个帧的所述至少一个帧相关的元数据，确定变换矩阵，以及
对于提供所述无人机交通工具的计算的可检测性的指示的可检测性叠加(794)，
将所确定的变换矩阵应用到所述可检测性叠加以变换所述可检测性叠加，
提供与所述帧的显示相关联的所变换的可检测性叠加的显示，以及
用包括所述无人机交通工具的计算的可检测性的指示的所变换的可检测性叠加来增强所述帧的所述显示，
其中所述可检测性叠加基于从所述无人机交通工具接收的可检测性简介，并且所述可检测性简介规定所述无人机交通工具的可检测性参数；以及
所述方法进一步包括：
基于所述无人机交通工具的所述位置和所述可检测性参数，生成(1030)针对所述无人机交通工具和区的可检测性模型，其中所述可检测性模型估算在所述无人机交通工具周围的区域处能够探测到所述无人机交通工具的似然性；
使用所述变换矩阵转换(1080)所述无人机交通工具周围的所述区域以生成屏幕坐标；以及
通过对与相应的似然性对应的区域绘制阴影，基于生成的屏幕坐标对所述区域绘制阴影(1090)。
2.根据权利要求1所述的方法，还包括：
通过以下操作由所述无人机交通工具的可检测性组件视觉和/或听觉检测水平评估以形成所述可检测性叠加：
接收(1010)规定所述无人机交通工具的可检测性参数的所述无人机交通工具的可检测性简介；
识别(1020)用于可检测性分析的区；
基于所述无人机交通工具的位置以及所述可检测性参数，生成(1030)针对所述无人机交通工具和所述区的可检测性模型，其中所述可检测性模型估算在所述无人机交通工具周围的区域处能够探测到所述无人机交通工具的所述似然性；
识别(1040)可检测性范围，每个范围对应于所述无人机交通工具可检测的似然性的范围；
基于生成的可检测性模型，识别(1070)所述无人机交通工具的可检测性落在每个识别的可检测性范围内的所述区的一个或更多个区域；
使用所述变换矩阵转换(1080)所识别的一个或更多个区域以生成屏幕坐标；以及
基于生成的屏幕坐标，对所述一个或更多个区域绘制阴影(1090)。
3.根据权利要求2所述的方法，其中所述无人机交通工具的所述可检测性参数包括发动机噪音信息、大小、颜色、反射率中的至少一个。
4.根据权利要求2或权利要求3所述的方法，其中识别的区是在显示器内的当前可见的区、由使用者规定的区、围绕所述无人机交通工具并且具有规定半径的圆形区中的至少一个。
5.根据权利要求2所述的方法，其中所述生成针对所述无人机交通工具和区的所述可检测性模型进一步基于所述无人机交通工具的当前速度和发动机每分钟转速、探测器的倾斜角和天气条件中的至少一个。
6.根据权利要求2所述的方法，其中所述可检测性范围基于所述无人机交通工具至周边地形中各个点的距离。
7.根据权利要求6所述的方法，其中所述距离可分配给多个探测阈值的每一个。
8.根据权利要求2所述的方法，其中基于生成的屏幕坐标，对所述一个或更多个区域绘制阴影包括：
用绿色为对应于最低可检测性范围的一个或更多个区域绘制阴影，
用红色为对应于最高可检测性范围的一个或更多个区域绘制阴影，以及
将其它区域用黄色和橙色的各种阴影来绘制阴影。
9.根据权利要求1所述的方法，其中所述地形数据包括线帧数据、地图数据或地形等高线数据的至少一个。
10.根据权利要求1所述的方法，其进一步包括：
对于多个地理区域中的至少一个地理区域，储存所述至少一个地理区域的测深数据。
11.根据权利要求1所述的方法，其中所述至少一个叠加包括感兴趣物体叠加、地图标注叠加、航向和地面速度叠加(682)、飞行路线叠加(681)和航点与航线叠加。
12.根据权利要求1所述的方法，其中所述至少一个叠加包括发动机熄灭边界叠加、地形等高线叠加、地图叠加、建筑物叠加(672)和城市街区叠加。
13.根据权利要求1所述的方法，其中所述至少一个叠加包括3D领空叠加、自动识别***叠加即AIS叠加和进场信息叠加。
14.一种储存指令的计算机可读储存介质，当由具有处理器的计算***执行时，所述指令使得所述计算***执行包括根据权利要求1到13中的任一个所述的方法的操作。
15.一种计算***(300)，所述计算***包括：
用于执行计算机程序的一个或更多个中央处理器(301)；
当程序和数据被使用时用于储存所述程序和数据的计算机存储器(302)；
储存计算机程序的永久性储存装置(303)，当所述计算机程序被执行时使得所述一个或更多个中央处理单元执行包括根据权利要求1到13中的任一个所述的方法的操作；
用于读取储存在计算机可读介质上的程序和数据的计算机可读介质驱动器(304)；以及
将所述计算机***连接至其它计算机***的网络连接(305)。
CN202010396052.0A 2013-01-30 2014-01-29 提供加强环境感知的增强视频*** Active CN111540059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010396052.0A CN111540059B (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频***

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/754,795 US9380275B2 (en) 2013-01-30 2013-01-30 Augmented video system providing enhanced situational awareness
US13/754,795 2013-01-30
CN201480006708.6A CN105324633A (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频***
CN202010396052.0A CN111540059B (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频***
PCT/US2014/013497 WO2014171987A2 (en) 2013-01-30 2014-01-29 Augmented video system providing enhanced situational awareness

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480006708.6A Division CN105324633A (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频***

Publications (2)

Publication Number Publication Date
CN111540059A CN111540059A (zh) 2020-08-14
CN111540059B true CN111540059B (zh) 2023-12-01

Family

ID=51355603

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010396052.0A Active CN111540059B (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频***
CN201480006708.6A Pending CN105324633A (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480006708.6A Pending CN105324633A (zh) 2013-01-30 2014-01-29 提供加强环境感知的增强视频***

Country Status (6)

Country Link
US (3) US9380275B2 (zh)
EP (2) EP3866121A1 (zh)
CN (2) CN111540059B (zh)
AU (2) AU2014254425B2 (zh)
IL (1) IL239200B (zh)
WO (1) WO2014171987A2 (zh)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202010014310U1 (de) * 2010-10-14 2012-01-18 Liebherr-Werk Ehingen Gmbh Kran, insbesondere Raupen- oder Mobilkran
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US9380275B2 (en) 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US8854361B1 (en) * 2013-03-13 2014-10-07 Cambridgesoft Corporation Visually augmenting a graphical rendering of a chemical structure representation or biological sequence representation with multi-dimensional information
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10126913B1 (en) 2013-11-05 2018-11-13 Google Llc Interactive digital map including context-based photographic imagery
US9947229B2 (en) * 2013-12-19 2018-04-17 International Business Machines Corporation Managing flight paths of a soaring aircraft
US10077109B2 (en) * 2014-01-24 2018-09-18 Maxlinear, Inc. First-person viewer for unmanned vehicles
US10853410B2 (en) * 2014-03-04 2020-12-01 Orbit Logic, Inc. Method for providing imaging satellite information on a mobile device
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
KR102165450B1 (ko) * 2014-05-22 2020-10-14 엘지전자 주식회사 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
US10023312B2 (en) 2014-07-10 2018-07-17 Breeze-Eastern Llc Helicopter hoist systems, devices, and methodologies
US9697235B2 (en) * 2014-07-16 2017-07-04 Verizon Patent And Licensing Inc. On device image keyword identification and content overlay
WO2016069497A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for remote sensing with airborne drones and mounted sensor devices
WO2016069496A1 (en) 2014-10-26 2016-05-06 Galileo Group, Inc. Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to-machine networks
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
FR3029618B1 (fr) * 2014-12-05 2019-09-27 Thales Systeme de visualisation synthetique comprenant des moyens d'adaptation du paysage affiche
US9880551B2 (en) * 2015-03-06 2018-01-30 Robotic Research, Llc Point-and-click control of unmanned, autonomous vehicle using omni-directional visors
DE102015205077B4 (de) 2015-03-20 2017-02-09 Ford Global Technologies, Llc Abstandserkennungsvorrichtung für ein Fahrzeug
DE102015205076A1 (de) 2015-03-20 2016-09-22 Ford Global Technologies, Llc Abstandserkennungsvorrichtung für ein Fahrzeug
US10083532B2 (en) * 2015-04-13 2018-09-25 International Business Machines Corporation Sychronized display of street view map and video stream
US10322801B1 (en) 2015-06-12 2019-06-18 Amazon Technologies, Inc. Unmanned aerial vehicle based surveillance as a service
US10313638B1 (en) 2015-06-12 2019-06-04 Amazon Technologies, Inc. Image creation using geo-fence data
US20170024916A1 (en) * 2015-07-21 2017-01-26 Microsoft Technology Licensing, Llc Media composition using aggregate overlay layers
US10147000B2 (en) 2015-09-15 2018-12-04 Sikorsky Aircraft Corporation Manned unmanned teaming (MUM-T) system to transform image data based on geographic orientation
CN105373132A (zh) * 2015-11-26 2016-03-02 北京浩恒征途航空科技有限公司 一种基于自动巡航无人机的低空遥感***及遥感方法
CN108369745B (zh) * 2015-12-15 2023-11-07 皇家飞利浦有限公司 条纹伪影预测
RU2650051C2 (ru) * 2016-01-19 2018-04-06 Валерий Аркадьевич Целищев Способ топографической съёмки
US10345786B2 (en) 2016-02-16 2019-07-09 International Business Machines Corporation Method and system for proactive heating-based crack prevention in 3D printing
US10242499B2 (en) * 2016-02-16 2019-03-26 International Business Machines Corporation Method and system for geographic map overlay onto a live feed
DE102016001827A1 (de) * 2016-02-17 2017-08-17 Audi Ag Verfahren zum Betreiben eines Fahrzeugs und System mit einem Fahrzeug und wenigstens einem unbemannten Luftfahrzeug
US10271021B2 (en) * 2016-02-29 2019-04-23 Microsoft Technology Licensing, Llc Vehicle trajectory determination to stabilize vehicle-captured video
EP3430591A4 (en) * 2016-03-16 2019-11-27 ADCOR Magnet Systems, LLC SYSTEM FOR GEOREFERENCED, GEOORIENTED REAL-TIME VIDEO DATA STREAMS
US10418068B2 (en) * 2016-04-13 2019-09-17 David Dat Tran Visual data recording synchronization system
CN105867361A (zh) * 2016-04-18 2016-08-17 深圳市道通智能航空技术有限公司 一种飞行方向控制方法、装置及其无人机
US20170314925A1 (en) * 2016-04-28 2017-11-02 Rogerson Aircraft Corporation System and method for providing terrain imagery during low visibility conditions
US10188580B2 (en) * 2016-05-09 2019-01-29 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing environment information using an unmanned vehicle
CN109643125B (zh) * 2016-06-28 2022-11-15 柯尼亚塔有限公司 用于训练自动驾驶***的逼真的3d虚拟世界创造与模拟
CN106094876A (zh) * 2016-07-04 2016-11-09 苏州光之翼智能科技有限公司 一种无人机目标锁定***及其方法
US10290110B2 (en) * 2016-07-05 2019-05-14 Intel Corporation Video overlay modification for enhanced readability
CN106153010A (zh) * 2016-07-25 2016-11-23 上海交通大学 基于led和逆反射的抗太阳光视觉检测***及方法
CN106184790A (zh) * 2016-07-28 2016-12-07 杨珊珊 一种无人飞行器航拍数据处理装置和处理方法、航拍***
US11428527B2 (en) * 2016-07-29 2022-08-30 Nikon-Trimble Co., Ltd. Monitoring method, monitoring system, and program
US10148884B2 (en) 2016-07-29 2018-12-04 Microsoft Technology Licensing, Llc Facilitating capturing a digital image
US10082802B2 (en) 2016-08-11 2018-09-25 International Business Machines Corporation Method and system for continued navigation of unmanned aerial vehicles beyond restricted airspace boundaries
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的***和方法
US10115237B2 (en) * 2016-09-28 2018-10-30 Redzone Robotics, Inc. Virtual reality display of pipe inspection data
WO2018061176A1 (ja) * 2016-09-30 2018-04-05 株式会社オプティム ドローン制御システム、ドローン制御方法及びプログラム
US20180131864A1 (en) * 2016-11-04 2018-05-10 International Business Machines Corporation Image parameter-based spatial positioning
CN108253940B (zh) * 2016-12-29 2020-09-22 东莞前沿技术研究院 定位方法及装置
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
US10554909B2 (en) 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
US10390030B2 (en) * 2017-03-10 2019-08-20 Raytheon Company Symbology encoding in video data
CN106949880B (zh) * 2017-03-10 2019-03-19 中国电建集团昆明勘测设计研究院有限公司 海拔起伏较大测区无人机影像局部重叠度过高处理的方法
US10873689B2 (en) 2017-03-31 2020-12-22 Nec Corporation Information processing apparatus, information processing method, and information processing program
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
US10634921B2 (en) * 2017-06-01 2020-04-28 NewSight Reality, Inc. See-through near eye optical display
US11119353B2 (en) 2017-06-01 2021-09-14 E-Vision Smart Optics, Inc. Switchable micro-lens array for augmented reality and mixed reality
CN107421509B (zh) * 2017-07-10 2019-08-02 同济大学 一种网壳型结构连续倒塌的高速视频测量方法
US10587824B2 (en) * 2017-08-08 2020-03-10 Sensors Unlimited, Inc. Imaging systems with pulse detection for search and rescue
US10776880B2 (en) 2017-08-11 2020-09-15 American International Group, Inc. Systems and methods for dynamic real-time analysis from multi-modal data fusion for contextual risk identification
CN107357936A (zh) * 2017-08-16 2017-11-17 湖南城市学院 一种自动融合多源图像以提供增强的情境感知***及方法
EP3682304A4 (en) * 2017-09-12 2021-07-14 HRL Laboratories, LLC COARSE GRAIN, MULTI-LAYERED FLOW INFORMATION DYNAMICS FOR MULTI-SCALE MONITORING
EP3682616B1 (en) * 2017-09-15 2023-11-08 Kimberly-Clark Worldwide, Inc. Washroom device augmented reality installation system
KR101854181B1 (ko) 2017-10-20 2018-05-04 이병섭 무인항공기를 이용한 타겟 탐색 시스템
JP6630976B2 (ja) * 2017-11-10 2020-01-15 本田技研工業株式会社 表示システム、表示方法、およびプログラム
US11115604B2 (en) 2018-01-02 2021-09-07 Insitu, Inc. Camera apparatus for generating machine vision data and related methods
US10540821B2 (en) * 2018-03-09 2020-01-21 Staples, Inc. Dynamic item placement using 3-dimensional optimization of space
EP3547059B1 (de) * 2018-03-29 2023-11-22 Alberto De la Rúa Lope Verfahren zur steuerung unbemannter fahrzeuge
US10891770B2 (en) * 2018-04-25 2021-01-12 Flir Unmanned Aerial Systems Ulc Systems and methods for augmented reality video feed on an unmanned vehicle
US11272081B2 (en) * 2018-05-03 2022-03-08 Disney Enterprises, Inc. Systems and methods for real-time compositing of video content
US10955253B2 (en) * 2018-05-16 2021-03-23 Alex MATHEW System and method for aggregating and displaying tactical, intelligence, and military garrison information
US11222470B1 (en) * 2018-08-21 2022-01-11 Palantir Technologies Inc. Systems and methods for generating augmented reality content
US10611475B1 (en) 2018-09-12 2020-04-07 Amazon Technologies, Inc. Updating virtual aerial map using sensors associated with aerial vehicles
US11538205B2 (en) 2018-09-19 2022-12-27 Chegg, Inc. Augmented reality mathematics in learning platforms
CN112714919A (zh) * 2018-09-24 2021-04-27 松下知识产权经营株式会社 用于提供针对道路共享的支持动作的***和方法
GB2579080A (en) * 2018-11-19 2020-06-10 Cosworth Group Holdings Ltd Improvements in or relating to perception modules
KR20210076615A (ko) * 2019-12-16 2021-06-24 삼성에스디에스 주식회사 영상 정보 제공 방법 및 장치
CN111121724A (zh) * 2019-12-31 2020-05-08 异起(上海)智能科技有限公司 一种使用无人机进行测距测量的方法和装置
US11170568B2 (en) * 2020-01-23 2021-11-09 Rockwell Collins, Inc. Photo-realistic image generation using geo-specific data
CN112393714B (zh) * 2020-11-25 2022-09-27 国网安徽省电力有限公司电力科学研究院 一种基于无人机航拍与卫星遥感融合的影像校正方法
JP6913814B1 (ja) * 2020-12-23 2021-08-04 Kddi株式会社 情報表示装置、情報表示方法及びプログラム
US20220327939A1 (en) * 2021-04-08 2022-10-13 Honeywell International Inc. Systems and methods for providing contextual three dimensional imagery to aircraft operators
EP4071442B1 (en) * 2021-04-08 2023-08-16 Honeywell International Inc. Systems and methods for providing contextual three-dimensional imagery to aircraft operators
CN112991752A (zh) * 2021-05-20 2021-06-18 武汉纵横智慧城市股份有限公司 基于ar与物联网道路车辆可视化展示方法、装置及设备
US20220390964A1 (en) * 2021-06-04 2022-12-08 Thomas Andrew Youmans Cloud & hybrid-cloud flight vehicle & robotic control system ai & ml enabled cloud-based software & data system method for the optimization and distribution of flight control & robotic system solutions and capabilities
CN113446999A (zh) * 2021-06-30 2021-09-28 同济大学 一种高速视频测量***的组网搭建方法
US20230035553A1 (en) * 2021-07-28 2023-02-02 General Galactic Corporation Customized video presentations methods and systems
US20230081861A1 (en) * 2021-09-10 2023-03-16 Bindu Rama Rao Mapping system displaying maps with video data layers and multiview video displays
CN113891040A (zh) * 2021-09-24 2022-01-04 深圳Tcl新技术有限公司 视频处理方法、装置、计算机设备和存储介质
US11663828B1 (en) 2021-12-22 2023-05-30 Colin Shaw System for visual cognition processing for sighting

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906638A (zh) * 2004-01-15 2007-01-31 旭化成株式会社 信息识别装置、信息识别方法、信息识别程序以及警报***
JP2007316882A (ja) * 2006-05-25 2007-12-06 Mitsubishi Electric Corp 遠隔操作装置及び方法
CN101222618A (zh) * 2007-01-10 2008-07-16 智辉研发股份有限公司 用于识别交通工具的事件的方法与***
JP2009031295A (ja) * 2008-08-05 2009-02-12 Olympus Corp 移動体姿勢検出装置
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5267329A (en) 1990-08-10 1993-11-30 Kaman Aerospace Corporation Process for automatically detecting and locating a target from a plurality of two dimensional images
US5684532A (en) 1995-10-06 1997-11-04 Sensormatic Electronics Corporation Video camera with improved zoom capability
US6079665A (en) 1996-11-04 2000-06-27 Trw Inc. Hyperspectral air-to-air missile seeker
US6408429B1 (en) 1997-01-17 2002-06-18 Cognex Corporation Machine vision system for identifying and assessing features of an article
US6061068A (en) 1998-06-30 2000-05-09 Raytheon Company Method and apparatus for providing synthetic vision using reality updated virtual image
US6782132B1 (en) 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
JP2003514309A (ja) 1999-11-09 2003-04-15 ザ・ビクトリア・ユニバーシテイ・オブ・マンチエスター 物体の種類の識別、検証あるいは物体の画像合成
EP1168830A1 (en) 2000-06-30 2002-01-02 Wells & Verne Investments Ltd Computer aided image capturing system
US6889113B2 (en) 2001-08-23 2005-05-03 Fei Company Graphical automated machine control and metrology
JP3975736B2 (ja) 2001-12-07 2007-09-12 ソニー株式会社 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
GB2400253B (en) 2003-03-29 2005-11-16 Hewlett Packard Development Co Combined optical and digital zoom
IL157098A (en) 2003-07-24 2009-07-20 Rafael Advanced Defense Sys Spectral tracking of a target
IL161082A (en) 2004-03-25 2008-08-07 Rafael Advanced Defense Sys System and method for automatically acquiring a target with a narrow field-of-view gimbaled imaging sensor
US7555143B2 (en) * 2005-02-09 2009-06-30 Lawrence Livermore National Security, Llc Real-time geo-registration of imagery using COTS graphics processors
US20060210169A1 (en) * 2005-03-03 2006-09-21 General Dynamics Advanced Information Systems, Inc. Apparatus and method for simulated sensor imagery using fast geometric transformations
US7720257B2 (en) 2005-06-16 2010-05-18 Honeywell International Inc. Object tracking system
US7620204B2 (en) 2006-02-09 2009-11-17 Mitsubishi Electric Research Laboratories, Inc. Method for tracking objects in videos using covariance matrices
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US8165397B2 (en) 2006-12-04 2012-04-24 Lockheed Martin Company Identifying descriptor for person or object in an image
WO2008153597A1 (en) 2006-12-06 2008-12-18 Honeywell International, Inc. Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles
US7970532B2 (en) 2007-05-24 2011-06-28 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
TWI348659B (en) 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
US8237791B2 (en) 2008-03-19 2012-08-07 Microsoft Corporation Visualizing camera feeds on a map
US8139863B1 (en) 2008-04-25 2012-03-20 Hsu Shin-Yi System for capturing, characterizing and visualizing lidar and generic image data
IL193906A (en) 2008-09-04 2012-06-28 Pro Track Ltd Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection
GB0818561D0 (en) 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
US8810650B1 (en) 2009-04-20 2014-08-19 The United States Of America, As Represented By The Secretary Of The Navy Agile interrogation hyperspectral imager and method of using same
US8203114B2 (en) 2009-05-14 2012-06-19 Raytheon Company Adaptive spatial-spectral processing (ASSP)
US8331611B2 (en) * 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
US9286720B2 (en) 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
IL201682A0 (en) * 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
US8970694B2 (en) * 2009-12-10 2015-03-03 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US8620093B2 (en) 2010-03-15 2013-12-31 The United States Of America As Represented By The Secretary Of The Army Method and system for image registration and change detection
US8264400B2 (en) 2010-06-03 2012-09-11 Raytheon Company Signature matching method and apparatus
US20120019522A1 (en) * 2010-07-25 2012-01-26 Raytheon Company ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
US8532399B2 (en) 2010-08-20 2013-09-10 Xerox Corporation Large scale image classification
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
US8639053B2 (en) * 2011-01-18 2014-01-28 Dimension, Inc. Methods and systems for up-scaling a standard definition (SD) video to high definition (HD) quality
TW201249713A (en) 2011-06-02 2012-12-16 Hon Hai Prec Ind Co Ltd Unmanned aerial vehicle control system and method
WO2013069012A1 (en) * 2011-11-07 2013-05-16 Dimensional Perception Technologies Ltd. Method and system for determining position and/or orientation
US9152303B2 (en) * 2012-03-01 2015-10-06 Harris Corporation Systems and methods for efficient video analysis
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US9380275B2 (en) 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1906638A (zh) * 2004-01-15 2007-01-31 旭化成株式会社 信息识别装置、信息识别方法、信息识别程序以及警报***
US7872593B1 (en) * 2006-04-28 2011-01-18 At&T Intellectual Property Ii, L.P. System and method for collecting image data
JP2007316882A (ja) * 2006-05-25 2007-12-06 Mitsubishi Electric Corp 遠隔操作装置及び方法
CN101222618A (zh) * 2007-01-10 2008-07-16 智辉研发股份有限公司 用于识别交通工具的事件的方法与***
JP2009031295A (ja) * 2008-08-05 2009-02-12 Olympus Corp 移動体姿勢検出装置
CN102201115A (zh) * 2011-04-07 2011-09-28 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CALHOUN, Gloria L.等."Synthetic vision system for improving unmanned aerial vehicle operator situation Awareness".《Enhanced and Synthetic Vision 2005》.2005,第第5802卷卷第219-230页. *
WU, Huiyao等."Vison-based Auxiliary Navigation Method using Augmented Reality for Unmanned Aerial Vehicles".《10th IEEE International Conference on Industrial Informatics》.2012,第520-252页. *

Also Published As

Publication number Publication date
WO2014171987A3 (en) 2015-09-24
US9380275B2 (en) 2016-06-28
CN111540059A (zh) 2020-08-14
AU2018274971A1 (en) 2019-01-03
CN105324633A (zh) 2016-02-10
US10798343B2 (en) 2020-10-06
IL239200B (en) 2019-05-30
EP2951789A2 (en) 2015-12-09
WO2014171987A2 (en) 2014-10-23
AU2014254425A1 (en) 2015-06-11
IL239200A0 (en) 2015-07-30
US20140267723A1 (en) 2014-09-18
AU2018274971B2 (en) 2020-02-20
EP3866121A1 (en) 2021-08-18
US10334210B2 (en) 2019-06-25
EP2951789B1 (en) 2021-05-26
US20190349553A1 (en) 2019-11-14
AU2014254425B2 (en) 2018-12-13
US20160344980A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
CN111540059B (zh) 提供加强环境感知的增强视频***
US10708548B2 (en) Systems and methods for video analysis rules based on map data
US20190271554A1 (en) Semantic label based filtering of objects in an image generated from high definition map data
US9766712B2 (en) Systems and methods for orienting a user in a map display
US9743046B2 (en) Real-time moving platform management system
CA3055316C (en) Target detection and mapping
EP2782086A1 (en) Methods and systems for colorizing an enhanced image during alert
JP2008217775A (ja) 障害物回避状況表示ジェネレータ
US11403822B2 (en) System and methods for data transmission and rendering of virtual objects for display
JP2011238242A (ja) ナビゲーション及びインスペクションシステム
JP6087712B2 (ja) 分布データ表示装置、方法及びプログラム
US9437170B1 (en) Systems and methods for augmented reality display
JPH1042282A (ja) 映像提示システム
CN109656319B (zh) 一种用于呈现地面行动辅助信息方法与设备
US20220138467A1 (en) Augmented reality utility locating and asset management system
EP2015277A2 (en) Systems and methods for side angle radar training and simulation
GB2457707A (en) Integration of video information
KR20020024745A (ko) 산불 감시 및 위치추적 장치와 그 운용방법
US9342206B1 (en) Fingerprint location indicator
US20230409265A1 (en) Program, mobile terminal control method, mobile terminal, and information processing device
WO2023147376A1 (en) Geo-spatial context for full-motion video
WO2023219914A1 (en) Image based incident detection system
Burchett et al. Collaborative visualization for layered sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant