CN109982049B - 一种全景融合显控*** - Google Patents

Abstract

本发明公开了一种全景融合显控***，涉及计算机视觉领域。包括隧道显控器、道路显控器、飞行显控器和全景融合显控软件，所述全景融合显控软件包括参数设定模块、协同控制模块、服务器和图像处理模块，所述图像处理模块采用全景融合显控方法将原始全景图像转换为矫正后全景图像；所述全景融合显控方法主要采用四边形投影变换算法，求取变换公式，将原始全景图像投影至一个新的视平面。该***将颠覆目前高速公路等应用场所目前监控模式，提高监控效果和覆盖范围，为高速道路减灾、事故处理、安全保障提供更好的支持。

Description

一种全景融合显控***

技术领域

本发明涉及计算机视觉领域，特别涉及一种全景融合显控***。

背景技术

全景协同控制摄像机多用于安防行业，适用于狭长形开阔场景的监控，比如高速公路道路及隧道监控。随着高速公路上行驶车辆日益增多，人们对监控安全提出了更高要求，全程全覆盖式监控逐步提上日程。

目前高速公路道路上使用云台全方位摄像机进行全程监控，但同一时间只能监控一个方向，存在很大的盲区；高速公路隧道内多采用固定式枪机，间隔不大于150米布置，但由于大多数隧道内场景一样，故而呈现的图像无法分辨其具体物理位置，监控屏幕上无法呈现出逻辑位置，在发生安全问题时需要耗费较长时间才能确定物理位置，耽误快速处置事故时机。

传统监控要实现全程全覆盖需要部署大量摄像机和所需立杆，且很难实现无盲区全覆盖要求。要满足高速公路场景全程监控全覆盖的需求，需要有满足需求的全景摄像机以外，还要能把全景摄像机图像按顺序再融合拼接显示的全景融合显控***。

发明内容

本发明的目的在于：提供了一种全景融合显控***，解决了传传统监控要实现全程全覆盖需要部署大量摄像机和所需立杆，且很难实现无盲区全覆盖要求的弊端。该发明包括隧道显控器、道路显控器和符合高速公路特点的飞行显控器，以及全景融合显控软件，实现多路全景图像融合显示及控制，颠覆了目前高速公路等应用场所目前监控模式，提高监控效果和覆盖范围，为高速道路减灾、事故处理、安全保障提供更好的支持。

本发明采用的技术方案如下：

一种全景融合显控***，包括隧道显控器、道路显控器、飞行显控器和全景融合显控软件，

所述隧道显控器采用全景融合显控软件，对隧道内采集的原始全景图像进行解码、切割及畸变矫正、融合处理，最终展示在监控中心屏幕的主屏上一副按完整逻辑物理位置顺序显示的隧道全覆盖图像；

所述道路显控器采用全景融合显控软件，对道路上采集的元全景图像进行解码、切割及畸变矫正、融合处理，最终展示在监控中心屏幕的主屏上一副按完整逻辑物理位置顺序显示的道路全覆盖图像；

所述飞行显控器可按照***时间或设定飞行速度，在监控中心屏幕的主屏上显示逐渐移动的矫正后全景图像，即跟踪图像，从视觉上形成飞行监控效果；

所述全景融合显控软件包括参数设定模块、协同控制模块、服务器和图像处理模块。

每条隧道洞设置一台隧道显控器，每8公里设置一台道路显控器。飞行显控器对全路段(隧道及道路)融合显示的参数进行提前设置，按照***时间或飞行速度设定，在固定数量的监控中心屏幕的主屏上显示一段逐渐移动的矫正后全景图像，从视觉上形成飞行监控效果。并且可对看到有值得重点关注位置，比如，出现警情的位置，双击该处全景，即可将该处的全景图像移动至监控中心屏幕的副屏上放大观看，并且可以通过***解码显示全景协同PTZ图像，并对其实现以图控图、手动跟踪选择、PTZ控制等操作。

进一步地，所述全景融合显控软件中的参数设定模块用于对原始全景图像的切割及畸变矫正的参数进行设定，对原始全景图像间融合宽度及上下位置的参数进行设定，对飞行显控器中的飞行监控方向和飞行监控速度等参数进行设定，并根据现场监控中心屏幕的主屏数量设定全景组数量，以及控制不同的全景组在主屏上融合显示；

所述协同控制模块用于协同控制现场监控中心屏幕的主屏和副屏，当协同控制模块接收到由服务器传输的报警信息时，将对应报警位置的矫正后全景图像及跟踪图像，由主屏挪动至副屏显示；

所述服务器用于接收报警信息并将此信息传递至协同控制模块，还用于接收隧道显控器和道路显控器采集的原始全景图像，并将此原始全景图像按照逻辑物理位置顺序排列，将排列后的图像传递至图像处理模块；

所述图像处理模块采用全景融合显控方法将原始全景图像转换为矫正后全景图像，并将矫正后全景图像传输至协同控制模块进行显示。

进一步地，所述全景融合显控方法包括，

步骤1：由全景摄像机采集若干原始全景图像，各个原始全景图像的边缘处部分重叠；

步骤2：对所述原始全景图像进行六边形选点，形成六边形图形；

步骤3：将所述六边形图形拆分为任意的两个四边形，且所述两个四边形的一条边重合；

步骤4：畸变矫正，采用任意四边形投影变换算法，将所述两个四边形进行投影变换，转换成正四边形；

步骤5：将步骤4中的两个正四方形进行融合拼接，形成矫正后全景图像。

进一步地，所述步骤2中的六边形选点的方法包括，

步骤41：将所述原始全景图像的上边的中点设为A点，将所述原始全景图像的下边的中点设为B点，将AB线段的中点设为H点；

步骤42：将所述原始全景图像，与其右侧相邻的另一原始全景图像的重叠线设为CD线段，并使得CD线段与道路垂直，且保证道路宽度的中心点与CD线段的中点I点重合；

步骤43：将所述原始全景图像，与其左侧相邻的另一原始全景图像的重叠线设为EF线段，并使得EF线段与道路垂直，且保证道路宽度的中心点与EF线段的中点G点重合。

步骤44：将相邻各点连线，形成六边形ACDBFE。

在六边形选点中，A点为全景图像上边中点，B点为全景图像下边中点，H点为AB线段的中点；C、D两点需要根据相邻全景图像选择，保证CD线段是两个全景图像的重叠线即保证相邻全景图像完整全覆盖，并保持道路宽度中心点和CD线段中点I点重合，并使CD线段与道路垂直。这样可保证矫正后的全景图像的道路位于图像中间，即可解决高速公路在两个全景图像交汇处产生断裂的现象，也可减少与右侧全景重叠区域或盲区出现。同理E、F两点的选择与C、D两点相同。

进一步地，所述步骤3中的将六边形图形的拆分方法为，以AB线段为轴，将六边形ACDBFE拆分为四边形ABDC和四边形ABFE。

目前有关的图像处理并没有六边形畸变矫正算法，但有任意四边形投影变换算法，以上我们所需要处理的全景六边形的畸变矫正可拆份成2个任意四边形的投影变换，只不过两个四边形有一条边是重合的。即以AB线段为轴，将六边形ACDBFE拆分为四边形ABDC和四边形ABFE。

进一步地，所述四边形投影变换算法具体步骤为，

步骤61：设u，v为原始全景图像坐标，x，y为矫正后全景图像坐标，即

步骤62：重写步骤61的变换公式可得，

步骤63：定义辅助变量，

Δx₁＝x₁-x₂，Δx₂＝x₃-x₂，Δx₃＝x₀-x₁+x₂-x₃，

Δy₁＝y₁-y₂，Δy₂＝y₃-y₂，Δy₃＝y₀-y₁+y₂-y₃；

步骤64：当Δx₃,Δy₃不为0时，得到，

a₁₁＝x₁-x₀+a₁₂x₁，a₂₁＝x₃-x₀+a₁₂x₂，a₃₁＝x₀，

a₁₂＝y₁-y₀+a₁₃y₁，a₂₂＝y₃-y₀+a₂₃y₃，a₃₂＝y₀，

步骤65：当Δx₃,Δy₃为0时，得到，

a₁₁＝x₁-x₀，a₂₁＝x₂-x₁，a₃₁＝x₀，

a₁₂＝y₁-y₀，a₂₂＝y₂-y₁，a₃₂＝y₀，

a₁₃＝0，a₁₂＝0；

步骤66：根据步骤62中的变换公式得到，

x₀＝a₃₁，x₁＝a₁₁+a₃₁-a₁₃x₁，x₂＝a₁₁+a₂₁+a₃₁-a₁₃x₂-a₂₃x₂，x₃＝a₂₁+a₃₁-a₂₃x₃

y₀＝a₃₂，y₁＝a₁₂+a₃₂-a₁₃y₁，y₂＝a₁₂+a₂₂+a₃₂-a₂₃y₂-a₂₃y₂，y₃＝a₂₂+a₃₂-a₂₃y₃；

步骤67：变换后的四组对应点表示为，

(0,0)→(x₀,y₀),(1,0)→(x₁,y₁),(1,1)→(x₂,y₂),(0,1)→(x₃,y₃)。

四边形投影变换主要采用OPEN CV相关开源算法Geometric ImageTransformations-Perspective Transform来进行透视变换，即将图片投影到一个新的视平面，也称作投影映射。通用的变换公式为：

u，v为原始全景图像坐标，x，y为矫正后全景图像坐标，其中x＝x'/w'，y＝y'/w'。变换矩阵

可以拆成4部分，

表示线性变换，[a₃₁ a₃₂]用于平移，[a₃₁ a₃₂]^T产生透视变换，经过透视变换之后的图片通常不是平行四边形，除非存在映射视平面和原来平面平行的情况。重写之前的变换公式可以得到：

所以，已知变换对应的几个点就可以求取变换公式。

若畸变矫正后全景图像比例仍然大于正常显示器的16：9或4：3，则将矫正后全景图像显示在单个显示器上会有横向压缩变形，为改善上述横向畸变的问题，可将矫正后全景图像进行横向拉伸，即把1个全景图像显示到2个显示器上，将显著改善横向压缩变形问题。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明一种全景融合显控***，包括隧道显控器、道路显控器和符合高速公路特点的飞行显控器，以及全景融合显控软件，实现多路全景图像融合显示及控制，颠覆了目前高速公路等应用场所目前监控模式，提高监控效果和覆盖范围，为高速道路减灾、事故处理、安全保障提供更好的支持。

2.本发明一种全景融合显控***，前端全景协同控制摄像机和后端全景融合显控***组合形成目前可行的高速公路等狭长区域，真正意义上的全程全覆盖监控***，解决了传统监控***以及监控设备无法从实际应用出发实现全程全覆盖监控的问题。

3.本发明一种全景融合显控***，设置了飞行显控器，提供了创新的飞行监控模式，更符合狭长监控区域监控需求。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面对本发明作详细说明。

实施例1

一种全景融合显控***，包括隧道显控器、道路显控器、飞行显控器和全景融合显控软件，

所述隧道显控器采用全景融合显控软件，对隧道内采集的原始全景图像进行解码、切割及畸变矫正、融合处理，最终展示在监控中心屏幕的主屏上一副按完整逻辑物理位置顺序显示的隧道全覆盖图像；

所述道路显控器采用全景融合显控软件，对道路上采集的元全景图像进行解码、切割及畸变矫正、融合处理，最终展示在监控中心屏幕的主屏上一副按完整逻辑物理位置顺序显示的道路全覆盖图像；

所述飞行显控器可按照***时间或设定飞行速度，在监控中心屏幕的主屏上显示逐渐移动的矫正后全景图像，即跟踪图像，从视觉上形成飞行监控效果；

所述全景融合显控软件包括参数设定模块、协同控制模块、服务器和图像处理模块。

每条隧道洞设置一台隧道显控器，每8公里设置一台道路显控器。飞行显控器对全路段(隧道及道路)融合显示的参数进行提前设置，按照***时间或飞行速度设定，在固定数量的监控中心屏幕的主屏上显示一段逐渐移动的矫正后全景图像，从视觉上形成飞行监控效果。并且可对看到有值得重点关注位置，比如，出现警情的位置，双击该处全景，即可将该处的全景图像移动至监控中心屏幕的副屏上放大观看，并且可以通过***解码显示全景协同PTZ图像，并对其实现以图控图、手动跟踪选择、PTZ控制等操作。

实施例2

所述全景融合显控软件中的参数设定模块用于对原始全景图像的切割及畸变矫正的参数进行设定，对原始全景图像间融合宽度及上下位置的参数进行设定，对飞行显控器中的飞行监控方向和飞行监控速度等参数进行设定，并根据现场监控中心屏幕的主屏数量设定全景组数量，以及控制不同的全景组在主屏上融合显示；

所述协同控制模块用于协同控制现场监控中心屏幕的主屏和副屏，当协同控制模块接收到由服务器传输的报警信息时，将对应报警位置的矫正后全景图像及跟踪图像，由主屏挪动至副屏显示；

所述服务器用于接收报警信息并将此信息传递至协同控制模块，还用于接收隧道显控器和道路显控器采集的原始全景图像，并将此原始全景图像按照逻辑物理位置顺序排列，将排列后的图像传递至图像处理模块；

所述图像处理模块采用全景融合显控方法将原始全景图像转换为矫正后全景图像，并将矫正后全景图像传输至协同控制模块进行显示。

实施例3

所述全景融合显控方法包括，

步骤1：由全景摄像机采集若干原始全景图像，各个原始全景图像的边缘处部分重叠；

步骤2：对所述原始全景图像进行六边形选点，形成六边形图形；

步骤3：将所述六边形图形拆分为任意的两个四边形，且所述两个四边形的一条边重合；

步骤4：畸变矫正，采用任意四边形投影变换算法，将所述两个四边形进行投影变换，转换成正四边形；

步骤5：将步骤4中的两个正四方形进行融合拼接，形成矫正后全景图像。

实施例4

实施例3中所述步骤2中的六边形选点的方法包括，

步骤41：将所述原始全景图像的上边的中点设为A点，将所述原始全景图像的下边的中点设为B点，将AB线段的中点设为H点；

步骤42：将所述原始全景图像，与其右侧相邻的另一原始全景图像的重叠线设为CD线段，并使得CD线段与道路垂直，且保证道路宽度的中心点与CD线段的中点I点重合；

步骤43：将所述原始全景图像，与其左侧相邻的另一原始全景图像的重叠线设为EF线段，并使得EF线段与道路垂直，且保证道路宽度的中心点与EF线段的中点G点重合。

步骤44：将相邻各点连线，形成六边形ACDBFE。

在六边形选点中，A点为全景图像上边中点，B点为全景图像下边中点，H点为AB线段的中点；C、D两点需要根据相邻全景图像选择，保证CD线段是两个全景图像的重叠线即保证相邻全景图像完整全覆盖，并保持道路宽度中心点和CD线段中点I点重合，并使CD线段与道路垂直。这样可保证矫正后的全景图像的道路位于图像中间，即可解决高速公路在两个全景图像交汇处产生断裂的现象，也可减少与右侧全景重叠区域或盲区出现。同理E、F两点的选择与C、D两点相同。

实施例5

实施例3中所述步骤3中的将六边形图形的拆分方法为，以AB线段为轴，将六边形ACDBFE拆分为四边形ABDC和四边形ABFE。

目前有关的图像处理并没有六边形畸变矫正算法，但有任意四边形投影变换算法，以上我们所需要处理的全景六边形的畸变矫正可拆份成2个任意四边形的投影变换，只不过两个四边形有一条边是重合的。即以AB线段为轴，将六边形ACDBFE拆分为四边形ABDC和四边形ABFE。

实施例6

所述四边形投影变换算法具体步骤为，

步骤61：设u，v为原始全景图像坐标，x，y为矫正后全景图像坐标，即

步骤62：重写步骤61的变换公式可得，

步骤63：定义辅助变量，

Δx₁＝x₁-x₂，Δx₂＝x₃-x₂，Δx₃＝x₀-x₁+x₂-x₃，

Δy₁＝y₁-y₂，Δy₂＝y₃-y₂，Δy₃＝y₀-y₁+y₂-y₃；

步骤64：当Δx₃,Δy₃不为0时，得到，

a₁₁＝x₁-x₀+a₁₂x₁，a₂₁＝x₃-x₀+a₁₂x₂，a₃₁＝x₀，

a₁₂＝y₁-y₀+a₁₃y₁，a₂₂＝y₃-y₀+a₂₃y₃，a₃₂＝y₀，

步骤65：当Δx₃,Δy₃为0时，得到，

a₁₁＝x₁-x₀，a₂₁＝x₂-x₁，a₃₁＝x₀，

a₁₂＝y₁-y₀，a₂₂＝y₂-y₁，a₃₂＝y₀，

a₁₃＝0，a₁₂＝0；

步骤66：根据步骤62中的变换公式得到，

x₀＝a₃₁，x₁＝a₁₁+a₃₁-a₁₃x₁，x₂＝a₁₁+a₂₁+a₃₁-a₁₃x₂-a₂₃x₂，x₃＝a₂₁+a₃₁-a₂₃x₃

y₀＝a₃₂，y₁＝a₁₂+a₃₂-a₁₃y₁，y₂＝a₁₂+a₂₂+a₃₂-a₂₃y₂-a₂₃y₂，y₃＝a₂₂+a₃₂-a₂₃y₃；

步骤67：变换后的四组对应点表示为，

(0,0)→(x₀,y₀),(1,0)→(x₁,y₁),(1,1)→(x₂,y₂),(0,1)→(x₃,y₃)。

以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (4)

1.一种全景融合显控***，其特征在于：包括隧道显控器、道路显控器、飞行显控器和全景融合显控软件，

所述隧道显控器采用全景融合显控软件，对隧道内采集的原始全景图像进行解码、切割及畸变矫正、融合处理，最终展示在监控中心屏幕的主屏上一副按完整逻辑物理位置顺序显示的隧道全覆盖图像；

所述道路显控器采用全景融合显控软件，对道路上采集的元全景图像进行解码、切割及畸变矫正、融合处理，最终展示在监控中心屏幕的主屏上一副按完整逻辑物理位置顺序显示的道路全覆盖图像；

所述飞行显控器可按照***时间或设定飞行速度，在监控中心屏幕的主屏上显示逐渐移动的矫正后全景图像，即跟踪图像，从视觉上形成飞行监控效果；

所述全景融合显控软件包括参数设定模块、协同控制模块、服务器和图像处理模块；

所述全景融合显控软件中的参数设定模块用于对原始全景图像的切割及畸变矫正的参数进行设定，对原始全景图像间融合宽度及上下位置的参数进行设定，对飞行显控器中的飞行监控方向和飞行监控速度等参数进行设定，并根据现场监控中心屏幕的主屏数量设定全景组数量，以及控制不同的全景组在主屏上融合显示；

所述协同控制模块用于协同控制现场监控中心屏幕的主屏和副屏，当协同控制模块接收到由服务器传输的报警信息时，将对应报警位置的矫正后全景图像及跟踪图像，由主屏挪动至副屏显示；

所述服务器用于接收报警信息并将此信息传递至协同控制模块，还用于接收隧道显控器和道路显控器采集的原始全景图像，并将此原始全景图像按照逻辑物理位置顺序排列，将排列后的图像传递至图像处理模块；

所述图像处理模块采用全景融合显控方法将原始全景图像转换为矫正后全景图像，并将矫正后全景图像传输至协同控制模块进行显示；

所述全景融合显控方法包括，

步骤1：由全景摄像机采集若干原始全景图像，各个原始全景图像的边缘处部分重叠；

步骤2：对所述原始全景图像进行六边形选点，形成六边形图形；

步骤3：将所述六边形图形拆分为任意的两个四边形，且所述两个四边形的一条边重合；

步骤4：畸变矫正，采用任意四边形投影变换算法，将所述两个四边形进行投影变换，转换成正四边形；

步骤5：将步骤4中的两个正四方形进行融合拼接，形成矫正后全景图像。

2.根据权利要求1所述的一种全景融合显控***，其特征在于：所述步骤2中的六边形选点的方法包括，

步骤41：将所述原始全景图像的上边的中点设为A点，将所述原始全景图像的下边的中点设为B点，将AB线段的中点设为H点；

步骤42：将所述原始全景图像，与其右侧相邻的另一原始全景图像的重叠线设为CD线段，并使得CD线段与道路垂直，且保证道路宽度的中心点与CD线段的中点I点重合；

步骤43：将所述原始全景图像，与其左侧相邻的另一原始全景图像的重叠线设为EF线段，并使得EF线段与道路垂直，且保证道路宽度的中心点与EF线段的中点G点重合。

步骤44：将相邻各点连线，形成六边形ACDBFE。

3.根据权利要求1所述的一种全景融合显控***，其特征在于：所述步骤3中的将六边形图形的拆分方法为，以AB线段为轴，将六边形ACDBFE拆分为四边形ABDC和四边形ABFE。

4.根据权利要求1所述的一种全景融合显控***，其特征在于：所述四边形投影变换算法具体步骤为，

步骤61：设u，v为原始全景图像坐标，x，y为矫正后全景图像坐标，即

步骤62：重写步骤61的变换公式可得，

步骤63：定义辅助变量，

Δx₁＝x₁-x₂，Δx₂＝x₃-x₂，Δx₃＝x₀-x₁+x₂-x₃，

Δy₁＝y₁-y₂，Δy₂＝y₃-y₂，Δy₃＝y₀-y₁+y₂-y₃；

步骤64：当Δx₃,Δy₃不为0时，得到，

a₁₁＝x₁-x₀+a₁₂x₁，a₂₁＝x₃-x₀+a₁₂x₂，a₃₁＝x₀，

a₁₂＝y₁-y₀+a₁₃y₁，a₂₂＝y₃-y₀+a₂₃y₃，a₃₂＝y₀，

步骤65：当Δx₃,Δy₃为0时，得到，

a₁₁＝x₁-x₀，a₂₁＝x₂-x₁，a₃₁＝x₀，

a₁₂＝y₁-y₀，a₂₂＝y₂-y₁，a₃₂＝y₀，

a₁₃＝0，a₁₂＝0；

步骤66：根据步骤62中的变换公式得到，

x₀＝a₃₁，x₁＝a₁₁+a₃₁-a₁₃x₁，x₂＝a₁₁+a₂₁+a₃₁-a₁₃x₂-a₂₃x₂，x₃＝a₂₁+a₃₁-a₂₃x₃，

y₀＝a₃₂，y₁＝a₁₂+a₃₂-a₁₃y₁，y₂＝a₁₂+a₂₂+a₃₂-a₂₃y₂-a₂₃y₂，y₃＝a₂₂+a₃₂-a₂₃y₃；

步骤67：变换后的四组对应点表示为，

(0,0)→(x₀,y₀),(1,0)→(x₁,y₁),(1,1)→(x₂,y₂),(0,1)→(x₃,y₃)。