CN111309967B - 一种基于网格编码的视频空间信息查询方法 - Google Patents

Abstract

本发明提供一种基于网格编码的视频空间信息查询方法，首先为视频空间建立了坐标系，视频中的每一个像素点都有了对应的空间参考坐标位置；再将视频空间与现实空间的配准匹配后，进行网格划分和网格编码；然后通过网格编码把视频空间与相应的真实空间建立一一对应的空间关联，城市实体空间数据源信息以网格编码加载信息数据的形式传输到视频空间，在视频播放的同时就能够展示城市实体空间数据源信息，也就可以通过网格编码来查询城市实体空间数据源信息，克服了现有技术对视频视场中的道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息及建筑内的关联信息等都不能进行有效的展示与说明的缺陷。

Description

一种基于网格编码的视频空间信息查询方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于网格编码的视频空间信息查询方法。

背景技术

在现有的视频监控***中，一般视频画面上可见的都是事先在视频画面上输入的地址字幕，如XXX路口，及关联的时间与日期显示。视频视场中所摄入的场景的实地地理位置、道路信息、建筑信息、城市部件信息等全凭观看者对辖区的熟悉程度和所见影像来判断，或者另外利用辅助资料与工具来查询与展示视频视场中所包含的信息。视频靠摄像头与地图的实地信息关联效率低下，在视频上不能直接且准确地定位并获取视频的视场中所射入的实地场景的详细、准确的实地空间对象的信息。

在现有的图像识别与人脸识别技术的帮助下，借助高清视频信息，已经可以识别动态的车牌、人脸；对人流与车流等进行统计等功能；但是对视频视场中的道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息及建筑内的关联信息等都不能进行有效的展示与说明。

发明内容

为解决上述问题，本发明提供一种基于网格编码的视频空间信息查询方法，为视频空间建立坐标体系，并在此基础上利用空间网格编码与真实空间相关联，把城市实体空间数据源信息调入视频场景，在视频播放的同时展示视频中相关的信息并且做到视频像素画面与信息的交互。

一种基于网格编码的视频空间信息查询方法，包括以下步骤：

S1：将原始视频空间中地面的像素坐标与实地空间中地面的地理坐标进行配准，为原始视频空间建立与实地空间相同的坐标系；

S2：利用GeoSOT地球剖分网格编码技术，对配准后的视频空间范围内的所有空间要素进行网格剖分与编码，得到视频空间三维立体网格图；

S3：将视频空间三维立体网格图与城市实体空间三维立体网格图相关联，使视频空间的网格信息与城市实体空间数据源信息通过网格编码一一对应；

S4：将关联了城市实体空间数据源的视频空间三维立体网格图变换为与原始视频空间中帧画面匹配的网格形状，得到匹配后的视频空间三维立体网格图；

S5：显示匹配后的视频空间三维立体网格图，其中，每个网格可以显示出其关联的城市实体空间数据源信息。

进一步地，所述城市实体空间数据源信息包括道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息以及建筑内的关联信息。

进一步地，所述城市实体空间数据源信息包括城市建筑的楼层数、单元/楼门数、单元/楼门户数以及单元地址。

进一步地，所述城市实体空间数据源信息为利用GeoSOT地球剖分网格编码技术得到的城市实体三维网格图中各网格关联的数据信息。

进一步地，一种基于网格编码的视频空间信息查询方法，还包括以下步骤：

按照视频空间三维立体网格图，对实地空间进行网格化和网格编码；

为实地空间配备摄像头，使得被摄像头视场范围覆盖的实地空间的每个网格编码，至少对应一个摄像头。

进一步地，步骤S1所述将原始视频空间中地面的像素坐标与实地空间中地面的地理坐标进行配准，具体为：

S11：分别在遥感影像地图和视频帧画面上选择多组同名影像特征点，其中，所述同名影像特征点均位于地面，且覆盖视频帧画面的最大范围；

S12：对于各组同名影像特征点，将遥感影像地图上同名影像特征点的地理坐标赋予视频帧画面上对应的同名影像特征点，以此实现配准。

有益效果：

本发明提供一种基于网格编码的视频空间信息查询方法，首先为视频空间建立了坐标系，视频中的每一个像素点都有了对应的空间地理坐标位置，再将视频空间与现实空间进行配准匹配后，进行网格划分和网格编码；然后通过网格编码把视频空间与相应的真实空间建立一一对应的空间关联，城市实体空间数据源信息以网格编码加载信息数据的形式传输到视频空间，在视频播放的同时就能够展示城市实体空间数据源信息，也就可以通过网格编码来查询城市实体空间数据源信息，克服了现有技术对视频视场中的道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息及建筑内的关联信息等都不能进行有效的展示与说明的缺陷。

附图说明

图1为本发明提供的一种基于网格编码的视频空间信息查询方法的流程图；

图2为本发明提供的视频画面空间与实体地理空间配准流程图；

图3为本发明提供的视频坐标配准方法示意图；

图4为本发明提供的配准后的投影视频空间与原始视频空间的转换；

图5为本发明提供的视频网格查询页面示意图；

图6为本发明提供的视频的网格查询流程图；

图7为本发明提供的以专题网格数据库进行查询时，视频网格查询流程图；

图8为本发明提供的以网格查询视频(摄像头)的流程图；

图9为本发明提供的视频空间配准后的显示图；

图10为本发明提供的配准后的视频空间网格还原为原始视频空间网格的示意图；

图11为本发明提供的摄像头覆盖实体地理空间的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，一种基于网格编码的视频空间信息查询方法，包括以下步骤：

S1：将原始视频空间中地面的像素坐标与实地空间中地面的地理坐标进行配准，为原始视频空间建立与实地空间相同的坐标系；具体为：

S11：分别在遥感影像地图和视频帧画面上选择多组同名影像特征点，其中，所述同名影像特征点均位于地面，且覆盖视频帧画面的最大范围；

S12：对于各组同名影像特征点，将遥感影像地图上同名影像特征点的地理坐标赋予视频帧画面上对应的同名影像特征点，以此实现配准。

例如，如图2所示，为视频画面空间与实体地理空间配准流程图。通过在视频图片上、实地影像底图上分别采集足够数量的同名点图片像素坐标和实地地理坐标，通过投影变换的方式把视频图片定位配准到实地正确的地理位置上。单击软件菜单区域视频配准菜单按钮后，显示视频选择框体；用户选择视频后，后台读取视频并取一帧叠加显示在主界面右上区域。前端在显著位置显示提示，引导用户完成配准点的选择，同时后端记录配准点的坐标。选择4～8组点后，用户可以确认选择，后端计算投影关系后推送投影预览至前端，用户确认后，保存所有相关参数至数据库。

也就是说，在实际操作中，视频坐标配准的基本步骤为：

第一步：把视频帧画面导入***，并在***遥感影像地图中显示视频覆盖区域范围。

第二步：分别在***的遥感影像地图上和视频帧画面上选择同名影像特征点，这些同名点应该在地面上，并且尽量覆盖视频帧的最大范围；如图3所示，(A1，B1)就是一组同名点，这样的同名点需要选择最少4组；如此，遥感影像地图上A1的地理坐标就与视频帧画面上的同名点B1的视频帧像素坐标建立了关联。

第三步：视频坐标配准的计算。利用上一步所采集的同名点组，计算视频帧画面上每个像素点对应的地理坐标，即为视频帧建立与遥感影像地图相同的坐标系。其中，地理坐标的计算方法为现有技术，本发明不作赘述。

第四步：把视频帧的变换参数存入视频变换参数数据库，也称为“摄像头配准信息数据库”。

S2：利用GeoSOT地球剖分网格编码技术，对配准后的视频空间范围内的所有空间要素进行网格剖分与编码，得到视频空间三维立体网格图。

需要说明的是，①视频画面是实地三维空间在二维图像平面上的透视投影记录。视频空间中地面的像素坐标与实地地面地理坐标配准后，视频画面的像素坐标就统一转换为实地的地理坐标，并记录转换参数。视频中的非地面目标(如建筑物等高于地面的物体)都被赋予了平面地理坐标，即变换最终结果是将一个三维场景(坐标)转为图像上的地理坐标，但记录的三维透视投影关系并没有改变。

②在拥有实地三维模型的条件下(如实地平面与建筑的BIM模型、倾斜摄影三维模型、DEM+建筑物白模等)，把视频通过①中的坐标转换关系投影到实地三维模型***中，再通过不断调整、变换三维模型的视场角度与方向、远近等，就可以把视频的视场画面与同一范围的三维模型重叠起来，并记录二者位置关系的角度参数、伸缩参数等，这样就把视频空间与实地三维空间完全匹配起来。

③计算视频空间范围的三维立体网格图，并进行网格编码。在确定视频空间的实地范围后，收集或者采集此范围内的空间地理要素(如CAD图、BIM图、倾斜摄影图等)，利用GeoSOT地球剖分网格编码技术对此空间范围内的平面与建筑等所有空间要素进行网格剖分与编码，形成三维立体网格图。

S3：将视频空间三维立体网格图与城市实体空间数据源相关联，使视频空间的网格编码与城市实体空间数据源一一对应。

下面介绍两种关联方法。

关联方法一：与外部已有的城市三维网格图直接相关联。对于城市已有的三维立体网格图，直接通过网格编码就能够实现数据关联。在一个步骤中，本发明把视频中的空间场景都进行了三维立体网格剖分和网格编码，这种网格的剖分和网格编码都是按照GeoSOT地球剖分网格编码技术实现的。同时现有的城市三维网格图也是按照GeoSOT地球剖分网格编码技术实现的，因为视频空间与现实空间坐标系一致、空间编码的方法一致，所以在视频空间与城市实体空间中，当空间位置相同时，他们的网格编码就是相同的，这样就实现了视频空间与城市实体空间的网格编码一一对应。

关联方法二：对于尚未建立城市三维网格图的城市，视频空间的三维立体网格图除包含网格编码的空间位置信息外，网格的信息属性可以被视为“空”，其他的城市信息有待进一步的录入。这时需要根据城市的多源数据库，以地理位置相关联的方式为网格录入属性数据以完善视频网格信息。如对于一个居民楼的立体网格图，本发明可以依据道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息以及建筑内的关联信息等属性赋予不同的网格，如城市建筑的楼层数、单元/楼门数、单元/楼门户数、单元地址等，各网格对应住户的燃气使用数据、自来水使用数据等，使得每一个网格不但具有网格编码以表示其位置，同时拥有地址、层数、单元号等信息，完成网格的信息录入。

S4：将关联了城市实体空间数据源的视频空间三维立体网格图变换为与原始视频空间中帧画面匹配的网格形状，得到匹配后的视频空间三维立体网格图。

需要说明的是，原始视频与配准后的视频由于视场投影角度的不同，“视场画面”会有角度与伸缩的变化，这样也导致空间网格的形变，如图9所示。因此，若将配准后的视频空间网格向原始视频空间转换，则视频中的网格空间信息既可以在配准变换后的视频播放中展示，也可以在原始视频播放的画面中展示。

如图4所示，配准后的视频空间网格向原始视频空间转换的基本方法：

第一步：从“摄像头配准信息数据库”中选择已经配准好的视频配准参数及配准后的视频帧画面图和视频网格图；

第二步：利用视频配准参数计算配准后的视频帧与原始视频帧的变换关系，并存入“视频网格编码数据库”。这样就把配准后的“配准视频”与“网格”变换为与原始视频帧画面匹配的网格形状，以适应人们的视频观看习惯。

由此可见，本发明在空间网格形变的情况下，保存二者的网格对应的真实空间位置和空间大小不变。配准的视频空间网格还原为原始视频空间网格的情形如图10所示。

S5：显示匹配后的视频空间三维立体网格图，其中，每个网格可以显示出其关联的城市实体空间数据源。

也就是说，经过视频坐标配准和视频空间的网格编码，视频就可以通过空间网格编码来关联外部多源数据库，在视频的播放过程中，视频空间所包含的信息数据就可以按要求展示在屏幕上。同时也可以在播放的过程中显示网格，当选择网格时，所选网格的信息也可以通过网格编码关联信息数据库在屏幕上展示出来。

进一步地，匹配后的视频空间三维立体网格图可供用户查询，且视频网格查询页面示意图和查询流程分别如图5、图6所示。网格信息查询基本流程：

第一步：选择关注区域的视频，并播放；

第二步：打开视频中的网格，选择/点击要查询的网格，网格编码被输入为查询条件；

第三步：以网格编码查询视频所关联的数据库，匹配网格编码与网格信息数据并返回；

第四步：高亮网格并在信息显示栏显示对应的网格信息，对网格与信息赋予关联编号。

此外，本发明还可以提供专题数据库信息展示与查询功能。选择一个或多个专题网格关联数据库时，在视频上列表显示有关的网格信息；当选中信息条时，在视频高亮显示其对应网格；提供一个悬浮窗，控制专题网格数据库列表的选择开关。如图7所示，为以专题网格数据库进行查询的流程图。由图7可知，此流程步骤与图6中提供的“网格信息查询基本流程”基本相同，只是在第三步中增加了网格关联外部数据库时的一个外部数据库的选择功能。前者是默认关联所有的外部数据库，在此则是有选择地关联外部数据库，使得查询更精确、聚焦。

进一步地，在完成对视频空间的网格编码的基础上，所有的视频覆盖的范围都进行了网格编码，同时每个网格编码也对应一个或者多个(当同一位置有多个视频覆盖时)视频(摄像头)信息，这样以网格编码就可以反过来查询检索视频(摄像头)信息。此功能即可以通过网格查询即时视频(摄像头)信息，也可以用于对海量的历史视频数据进行查询索引，查找过往特定时段与位置(网格)的视频记录。具体实施步骤可以为：

按照视频空间三维立体网格图，对实地空间进行网格化和网格编码；

为实地空间配备摄像头，使得被摄像头视场范围覆盖的实地空间的每个网格编码，至少对应一个摄像头。

如此，则通过选择实地空间中的网格区域和时间段，就可以查询检索到能够覆盖这个网格区域的摄像头或者历史视频。

进一步地，图8给出了为以网格查询视频(摄像头)的流程图。以网格编码查询视频的基本流程包括以下步骤：

第一步：选择需要查找是否存在有历史视频记录的网格。选择网格的方式多种多样，如一个由多网格组成的区域、以网格表示的路径、多个网格区域的组合等；

第二步：选择需要查找的历史视频的时间段。对历史视频的查找是从网格位置与时段来定义的；

第三步：在“视频网格编码数据库”中查找符合网格编码位置与时段的视频数据并返回前端显示、播放。

由此可见，本发明通过选择一个或者多个网格(可连续、可分散)，以网格编码为索引条件检索视频信息。如果这些空间网格编码已经与视频空间关联，则能够检索到对应的视频信息。当沿道路线选择连续的网格时就可以查看路径上的视频(摄像头)的分布情况，为监控道路沿线情况服务。通过网格检索到视频后，又可以进入视频的网格信息展示、查询流程。

进一步的，通过本发明，每一个视频(摄像头的视场范围)对应的实地范围都被进行了网格化和网格编码，每个网格编码都对应着覆盖它的视频(摄像头)，如图11所示，这样反过来通过地面视频网格就可以检索到视频(历史视频与摄像头)数据。

如此，当一个城市的所有视频(摄像头)覆盖的范围都被进行网格化和网格编码以后，在需要查找覆盖某一地域的视频时，本发明只需在城市网格地图上标出一个范围(区域或者路径)，并设置时间参数，就可以通过网格编码检索到特定时段与位置的视频(摄像头)并播放。通过“网格编码”到“摄像头ID”把历史视频数据库与视频(摄像头)覆盖数据库关联起来，共同达成网格检索视频的目的。

综上，现有技术对视频视场中的道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息及建筑内的关联信息等都不能进行有效的展示与说明。本发明通过以空间网格编码进行空间匹配的方式，为视频管理者提供关键引擎和组件将视频空间与真实空间关联起来，形成网格空间一一对应的关系，实现视频空间关联外部数据，在视频播放的过程中观察者可以通过视频空间提取并展示任意关注目标的信息数据，这些数据信息包括了道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息及建筑内的关联信息等。

在对视频空间完成网格编码的基础上，本发明还可以通过网格编码来查找能够覆盖此网格位置的视频(即对应的摄像头)，实现“视频-网格-信息”的双向查询检索。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于网格编码的视频空间信息查询方法，其特征在于，包括以下步骤：

S1：将原始视频空间中地面的像素坐标与实地空间中地面的地理坐标进行配准，为原始视频空间建立与实地空间相同的坐标系；

S2：利用GeoSOT地球剖分网格编码技术，对配准后的视频空间范围内的所有空间要素进行网格剖分与编码，得到视频空间三维立体网格图；

S3：对于已经按照GeoSOT地球剖分网格编码技术建立有三维立体网格图的城市，直接将视频空间与城市实体空间中具有相同编码的网格进行一一对应，完成视频空间三维立体网格图与城市实体空间三维立体网格图的关联，进而使视频空间的网格信息与城市实体空间三维立体网格图中各网格包含的城市实体空间数据源信息通过网格编码一一对应；

对于未建立有三维立体网格图的城市，将其对应的视频空间的各三维立体网格的信息属性设置为空，再在视频空间中，找到与城市实体空间数据源信息的产生位置具有相同地理位置坐标的网格，将该城市实体空间数据源信息录入对应的网格中，完成视频空间的网格信息与城市实体空间数据源信息的一一对应；

S4：将关联了城市实体空间数据源的视频空间三维立体网格图变换为与原始视频空间中帧画面匹配的网格形状，得到匹配后的视频空间三维立体网格图；

S5：显示匹配后的视频空间三维立体网格图，其中，每个网格可以显示出其关联的城市实体空间数据源信息；

S6：按照视频空间三维立体网格图，对实地空间进行网格化和网格编码；

为实地空间配备摄像头，使得被摄像头视场范围覆盖的实地空间的每个网格编码，至少对应一个摄像头；

选择一个或者多个网格，并设置时间段参数，再以网格编码为索引条件筛选出覆盖所选择的网格区域的摄像头，然后从筛选出的摄像头获取所选时间段的视频，最后在筛选出来的视频的各网格中显示其关联的城市实体空间数据源信息。

2.如权利要求1所述的一种基于网格编码的视频空间信息查询方法，其特征在于，所述城市实体空间数据源信息包括道路信息、城市地下管网信息、地面城市部件与设施信息、建筑信息以及建筑内的关联信息。

3.如权利要求1所述的一种基于网格编码的视频空间信息查询方法，其特征在于，所述城市实体空间数据源信息包括城市建筑的楼层数、单元/楼门数、单元/楼门户数以及单元地址。

4.如权利要求1所述的一种基于网格编码的视频空间信息查询方法，其特征在于，所述城市实体空间数据源信息为利用GeoSOT地球剖分网格编码技术得到的城市实体三维网格图中各网格关联的数据信息。

5.如权利要求1所述的一种基于网格编码的视频空间信息查询方法，其特征在于，步骤S1所述将原始视频空间中地面的像素坐标与实地空间中地面的地理坐标进行配准，具体为：

S11：分别在遥感影像地图和视频帧画面上选择多组同名影像特征点，其中，所述同名影像特征点均位于地面，且覆盖视频帧画面的最大范围；

S12：对于各组同名影像特征点，将遥感影像地图上同名影像特征点的地理坐标赋予视频帧画面上对应的同名影像特征点，以此实现配准。