CN113223162B - 一种内河航道数字孪生场景的构建方法及装置 - Google Patents

Abstract

本发明公开一种内河航道数字孪生场景的构建方法及装置，涉及交通信息化和虚拟现实技术领域，以解决目前内河航道监管中存在的视频碎片化、多源物联数据分离、缺乏关联性的问题。所述一种内河航道数字孪生场景的构建方法包括：多尺度航道场景构建、多路视频三维实时融合、数字资产三维标注和物联传感数据汇聚融合。本发明提供的内河航道数字孪生场景的构建方法及装置用于利用数字孪生技术以数字化方式创建真实内河航道场景的数字孪生场景，极大地提高了内河航道智慧管理的精准定位能力和应急响应效率。

Description

一种内河航道数字孪生场景的构建方法及装置

技术领域

本发明涉及交通信息化和虚拟现实技术领域，尤其涉及一种内河航道数字孪生场景的构建方法及装置。

背景技术

内河航道是综合交通的重要组成部分之一，传感器、高清摄像头、物联网和人工智能等新设备与新技术的快速发展与普及，为内河航道运行监测与智慧管理带来了新的机遇与挑战。

内河航道交通监控具有场景多样、区域复杂、外场条件有限、环境影响大、动态跟踪困难等典型特点，使得水上交通智慧管理始终是一项具有挑战性的工作。一方面，水上交通的重点监控区域包括了港口、重要航道、船闸、锚地、水上加油站、危货码头等多种场景，不同场景对监控的区域覆盖度、监控重点、采集精度等要求不同；另一方面，内河航道交通管理包括了运行监控、日常巡检、安全运行、应急处置、资产管理、溯源取证等多种业务类型，不同业务类型对视频监控的需求不同，随着视频监控规模的不断增大，传统矩阵式视频墙显示方式暴露出监控场景独立分散造成视频碎片化、画面数量庞大、空间关联性差、易于视觉疲劳等突出问题，并且，对于不同场景的监控和相应管理存在多源物联数据分离、缺乏关联性的问题，极大地降低了内河航道智慧管理的精准定位能力和应急响应效率。

发明内容

本发明的目的在于提供一种内河航道数字孪生场景的构建方法及装置，用于解决目前内河航道监管中存在的视频碎片化、多源物联数据分离、缺乏关联性的技术问题。

第一方面，本发明提供一种内河航道数字孪生场景的构建方法，该构建方法包括如下步骤：多尺度航道场景构建，在数字孪生场景中构建真实内河航道场景中不同尺度对象从而获得三维场景模型；多路视频三维实时融合，将所述真实内河航道场景中多路监控视频实时三维融合到所述三维场景模型中从而形成具有多路实景视频融合的数字孪生场景；数字资产三维标注，将所述真实内河航道场景中的数字资产信息以三维标签形式实时标注到所述数字孪生场景对应位置；物联传感数据汇聚融合，将所述真实内河航道场景中的多源物联传感数据实时三维汇聚到所述数字孪生场景中。

与现有技术相比，本发明提供的内河航道数字孪生场景的构建方法中，利用数字孪生技术以数字化方式创建内河航道的物理实体的虚拟模型，借助数据模拟物理实体在现实环境中的行为，通过虚实交互反馈、数据融合分析、决策迭代优化手段，为物理实体增加或扩展新的能力；通过集成多路视频三维实时监控视频、数字资产三维标注、传感器动态数据和多源物联传感数据，构建出与真实内河航道场景基本一致的数字孪生场景，通过“虚实融合、以虚控实”的双向数据迭代交互优化，使得视频集中化、多源物联数据整合、关联性强，实现了更加实时、高效、智能、直观、便捷、以人为本的内河航道智慧管理与服务，极大地提高了内河航道智慧管理的精准定位能力和应急响应效率。

第二方面，本发明提供还提供一种使用内河航道数字孪生场景的构建方法的装置，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，处理器执行计算机程序时实现以上任一的内河航道数字孪生场景的构建方法。

与现有技术相比，本发明提供的使用内河航道数字孪生场景的构建方法的装置的有益效果与上述技术方案所述内河航道数字孪生场景的构建方法的有益效果相同，此处不做赘述。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例提供的内河航道数字孪生场景的构建方法的基本的流程示意图；

图2为本发明实施例提供的内河航道数字孪生场景的构建方法的进一步的流程示意图；

图3为本发明实施例提供的内河航道数字孪生场景的构建方法的船舶信息处理步骤的具体流程示意图；

图4为本发明实施例提供的内河航道数字孪生场景的构建方法的对数字孪生场景中的内河航道场景运行情况进行实时关联步骤的细化示意图；

图5为本发明实施例提供的内河航道数字孪生场景的构建方法的模拟分析、事件复盘和预测推演步骤的流程示意图；

图6为本发明实施例提供的内河航道数字孪生场景的构建方法整个流程中突出细化场景更新与迭代交互优化步骤的流程示意图；

图7是本发明实施例提供的使用内河航道数字孪生场景的构建方法的装置的结构示意图。

具体实施方式

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。

图1示例出本发明实施例提供的内河航道数字孪生场景的构建方法的基本的流程示意图，如图1所示，该构建方法包括以下步骤：步骤1：多尺度航道场景构建，在虚拟空间构建与真实内河航道场景相对应的数字孪生场景，并在数字孪生场景中构建真实内河航道场景中的不同尺度对象的三维场景模型，步骤2：多路视频三维实时融合，根据多个监控摄像头的摄像参数，构建视频内容与三维场景的拓扑关系，将真实内河航道场景中与多个监控摄像头对应的多路监控视频实时三维融合到步骤1构建得到的三维场景模型中，从而形成多路实景视频融合的数字孪生场景，通过本步骤，能够将真实世界中的大量视频实时融合到虚拟现实中，构建实时反映真实世界动态变化的虚拟现实世界，从而实现快速掌握真实世界的演化状态和历史变化，进而达到水上安全监控区域的精准感知与精细管理。步骤3：数字资产三维标注，将真实内河航道场景中的数字资产信息以三维标签形式实时标注到步骤2所构建得到的数字孪生场景的对应位置。步骤4：物联传感数据汇聚融合，将真实内河航道场景中的多源物联传感数据实时三维汇聚到步骤3所更新得到的数字孪生场景中，并将多源物联传感数据与对应三维场景模型中的尺度对象进行关联、融合与标注，通过本步骤，实现了多源物联传感数据的汇聚融合与联动应用，在虚拟现实场景中三维融合各类监控视频，从而能够提供融合了各种视频的虚拟现实动态演化环境，结合真实内河航道场景的水上交通已有外场智慧卡口、AIS、GPS等物联传感设备，实时接入物联传感设备的数据与报警信息，结合内河航道管理业务逻辑，实现应急事件的快速发现与二三维联动响应，对应急事件的快速发现和响应提供技术和工具支持(后续将做进一步详细说明)。因此，本发明内河航道数字孪生场景的构建方法通过“虚实融合、以虚控实”的双向数据迭代交互优化，获得了视频集中化、多源物联数据整合、关联性强的有益效果。

图2示例出本发明实施例提供的内河航道数字孪生场景的构建方法的进一步的流程示意图，如图2所示，在物联传感数据汇聚融合步骤之后，该构建方法进一步包括以下步骤：步骤5：针对在数字孪生场景中监控视频的覆盖区域内和未覆盖区域内的船舶根据AIS数据进行相应的船舶信息处理。步骤6：对数字孪生场景中的内河航道场景运行情况进行实时关联。步骤7：模拟分析、事件复盘与预测推演，在数字孪生场景中，基于业务管理需求，对真实内河航道场景运行中的事件进行模拟和分析，洞察其中的规律；在数字孪生场景中，根据历史数据对事件进行三维复盘，结合实际结果对数字孪生场景的可靠性进行验证；在数字孪生场景中，基于历史数据与分析模型对事件的发生及发展规律进行预测推演，提供辅助决策建议。步骤8：场景更新与迭代交互优化，重复执行步骤4到步骤7，根据真实内河航道所对应构建的数字孪生场景中的多源物联传感动态数据对数字孪生场景进行更新，并将对数字孪生场景的模拟和分析结果反馈回真实内河航道的交通运行管理中。步骤9：根据步骤8所更新获得的数字孪生场景对真实内河航道场景进行反馈处置。

作为一种可实现的方式，上述构建方法在数字孪生场景中构建真实内河航道场景中的四类要素以及四类要素之间的协同与关联关系，该四类要素包括水上交通参与者、水上运载工具、航道基础设施和航道区域环境。

具体的，水上交通参与者包括船舶驾驶员、船员、水上交通执法人员或/和内河航道设施管理人员，水上运载工具包括真实内河航道中航行的货船、游船或/和内河巡逻艇，航道基础设施包括内河航道及沿岸建筑、水域、船闸、桥梁、锚地、水上服务区、危化品码头、码头停泊档位、渡口、取水口或/和智慧卡口，航道区域环境包括水文、地质或/和气象，四类要素之间的协同与关联为各个要素之间的相互影响关系。

作为一种可实现的方式，不同尺度对象包括航道及沿岸建筑、航道水域、重要通航建筑物、监控视频区域内远处建筑物和船舶这五类对象。

作为一种可实现的方式，根据上述五类对象中每类对象的特征分别采用不同的几何建模方法，多种建模方法结合实现大范围水上监控场景的多尺度三维重建与轻量化输出，具体来说，步骤1中的多尺度航道场景构建包括如下步骤：步骤1.1：航道及沿岸建筑建模：采用无人机倾斜摄影技术来快速采集和构建航道及沿岸建筑的基础几何模型，另外，需了解的是，在建模时优选地剔除场景中动态水面、船舶及其他动态对象。步骤1.2：航道水域建模：采用浅水方程方法对航道区域水面实时计算水体的表面形态并绘制，这样的话，实现了基于流体动力学的水体建模，并支持其与边界、船舶、三维风场的实时交互。步骤1.3：重要通航建筑物建模：采用BIM建模方法来构建例如船闸、桥梁、水上服务区等的重要通航建筑物的三维几何模型，但是，可以不构建与业务管理不相关的内部结构，因此，利用构建并轻量化后的BIM模型替换掉无人机倾斜摄影所构建得到的初始基础模型，保证了重要通航建筑物几何模型的准确。步骤1.4：监控视频区域内远处建筑物建模：采用基于场景拓扑关系的场景快速建模方法进行建模，此外，由于视频区域内远处建筑物影响视频融合的拓扑关系，因此，其并不是内河航道管理中关注的重点。步骤1.5：船舶建模：根据船舶类型和尺寸，利用BIM参数化建模方法构建船舶模型库，根据船舶AIS数据驱动实时绘制不同船舶，具体的，根据真实内河航道准予通行的船舶类型与尺寸，利用BIM参数化建模方法构建常见船舶模型，形成参数化船舶模型库，当需要在数字孪生场景中构建船舶时，基于船舶AIS数据返回的船舶类型、参数与位置，从模型库中选择并实时绘制不同船舶。步骤1.6：融合以上建模方法及结果，形成与真实内河航道场景更加一致的数字孪生几何场景，具体的，可以结合天空、环境、光照等环境参数来设置，从而形成与真实内河航道场景更加一致的数字孪生几何场景。

作为一种可实现的方式，摄像参数包括控摄像头点位、朝向、高度或/和相机内外参数。

作为一种可实现的方式，步骤2中的多路视频三维实时融合包括如下步骤：步骤2.1：根据相机在真实场景中的位置与姿态，计算出三维场景模型中相机的位置与姿态值；步骤2.2：根据相机位置与姿态数据，计算相机在三维场景模型中的模型视图矩阵与投影矩阵；步骤2.3：使用模型视图矩阵和投影矩阵计算相机在三维空间中的视锥结构；步骤2.4：根据相机拍摄图像，计算场景照片建模和相机参数，建立视频图像与模型纹理的投影关系；步骤2.5：根据投影关系，将原始视频图像投影到事先构建得到的三维场景模型上；步骤2.6：将原始视频图像进行片元纹理化和色彩化渲染，并融合到原始视频图像所投影到的三维场景模型上，从而能够实现低重叠度水上多路视频的三维注册与实时融合。

作为一种可实现的方式，数字资产信息包括船闸、桥梁、锚地、水上服务区、危化品码头、码头停泊档位、渡口、取水口、智慧卡口、易堵点、码头停泊档位或/和应急物资分布。

作为一种可实现的方式，步骤3中的数字资产三维标注包括如下步骤：骤3.1：建立虚实对象之间的一对一关联关系：建立真实内河航道场景中资产与数字孪生场景中数字资产对象之间的一一对应关系，其中，该数字资产包括重点设施和重要设备，另外，也包括静态或更新频次要求不高的数字资产信息所对应的数字资产，此外，数字资产还可以根据用户需求进行新的对象的选取、建模、关联与标注。步骤3.2：设计数字资产数据接口与更新规则：设计例如已有数字资产***的其它资产***与数字孪生数据库的数据交换接口与更新规则，该数字孪生数据库可以理解为存储有数字孪生场景的各种相关数据的数据库，另外，由于数字资产数据大多为静态数据，不宜频繁更新。步骤3.3：数字资产三维标注：对数字孪生场景中中重要数字资产以例如静态标签形式来进行必要的三维标注，此外，还可以支持对标签与数字资产数据库实时关联。

作为一种可实现的方式，多源物联传感数据包括水文、气象、交通、结构或/和服务区智能监测设施的传感数据。

作为一种可实现的方式，水文监测传感数据包括内河航道流向、流速、流量、水深或/和岸线，气象监测传感数据包括天气、空气质量、风速、降水、能见度或/和温湿度；交通监测传感数据包括船舶流量、船舶流向、船舶速度、船舶轨迹或/和船舶抓拍，结构监测传感数据包括：通航建筑物的结构形变或/和沿岸地质灾害；水上服务区智能监测设施传感数据包括岸电、排污、取水或/和泊位。

作为一种可实现的方式，步骤4中的物联传感数据汇聚融合包括如下步骤：步骤4.1：建立虚实场景中物联传感器对象之间的关联关系。步骤4.2：设计多源物联传感数据接口与更新规则。步骤4.3：在数字孪生场景中进行必要的物联传感数据三维动态标注，支持传感数据驱动的标注内容动态更新。步骤4.4：根据物联传感数据的变化，按一定频次地驱动更新数字孪生场景中的动态标签及相关对象模型。步骤4.5：分析与报警联动：针对多源物联传感数据进行分析，对于数据超限及时生成报警事件，警情确认和后续应急处置进行联动。

作为一种可实现的方式，图3示例出本发明实施例提供的内河航道数字孪生场景的构建方法的船舶信息处理步骤的具体流程示意图，如图3所示，船舶信息处理步骤具体包括步骤5包括如下步骤：步骤5.1：建立真实内河航道场景中运行的不同尺度对象中的船舶所安装的传感器的传感定位数据与数字孪生场景中的船舶之间的对应关系。步骤5.2：判断船舶是否在数字孪生场景中监控视频的覆盖区域内，若是，则转至步骤5.3，若否，则转至步骤5.4。步骤5.3：船舶AIS三维动态标注，将船舶信息与监控视频中的对应船舶进行实时关联，并以三维动态标签的形式进行标注。步骤5.4：AIS数据驱动船舶增强显示，根据船舶AIS信息，实时三维增强绘制对应船舶、航行朝向与航行轨迹，构建出数字孪生场景中的船舶动态运行模型。

作为一种可实现的方式，传感定位数据包括GPS、AIS或/和北斗卫星的定位数据。

作为一种可实现的方式，步骤5.3中的船舶AIS三维动态标注包括如下步骤：步骤5.3.1：设计与已有船舶AIS***的数据接口与更新规则；步骤5.3.2：实时接入数字孪生场景对应的实际内河航道区域内的船舶AIS数据；步骤5.3.3：读入在数字孪生场景显示区域航道行驶船舶的AIS数据，对于每条船舶AIS数据，判断船舶位置是否在监控视频覆盖区域；步骤5.3.4：若是，则基于AIS中的位置信息绘制该船舶的三维动态标签，并将动态标签与对应AIS数据进行关联；步骤5.3.5：若否，则跳转至步骤5.4。

作为一种可实现的方式，步骤5.4中的AIS数据驱动船舶增强显示包括如下步骤：步骤5.4.1：根据AIS数据中的船舶位置信息确定数字孪生场景中船舶位置。步骤5.4.2：根据AIS数据中的船舶类型和尺寸，从步骤1及更具体来说的上述步骤1.5构建得到的船舶模型库中选取相应模型；步骤5.4.3：在数字孪生场景中的船舶位置上绘制参数化后的船舶模型，该绘制支持自定义绘制航向、航迹、三维动态标签，并与相应AIS数据关联；步骤5.4.4：根据AIS数据中的位置数据变化，实时更新绘制。

作为一种可实现的方式，图4示例出本发明实施例提供的内河航道数字孪生场景的构建方法的对数字孪生场景中的内河航道场景运行情况进行实时关联步骤的细化示意图，如图4所示，内河航道场景运行情况包括海事巡逻情况和气象情况，步骤6包括：步骤6.1：巡航轨迹显示与异常状况标记，对真实内河航道场景中不同尺度对象中的海事巡逻艇作业进行实时关联，根据艇载定位和执法记录仪数据，对巡航轨迹在数字孪生场景中进行增强显示，并对海事巡逻作业中的异常点位和事件进行三维标注和记录；步骤6.2：在线气象数据驱动场景渲染，根据真实内河航道场景的作为气象情况的在线气象数据对数字孪生场景中环境的环境参数进行设置，对数字孪生场景进行环境渲染，实现数字孪生场景与真实内河航道场景接近一致。

作为一种可实现的方式，步骤6.1中的巡航轨迹显示与异常状况标记包括如下步骤：步骤6.1.1：根据海事巡逻艇上安装的定位传感器，对海事巡逻艇的位置进行实时定位。步骤6.1.2：根据巡逻艇巡航历史数据，在数字孪生场景中绘制历史巡逻轨迹。步骤6.1.3：在海事巡逻艇巡航过程中，在重要点位或发现异常状况时，接收海事巡逻艇上用户利用手持移动终端所上报异常信息，并在数字孪生场景中标注相应点位。步骤6.1.4：将巡检记录、视频或图片数据与标注的相应点位进行关联，提供在数字孪生场景中进行巡检记录查看和事件的回溯。因此，本发明内河航道数字孪生场景的构建方法可以在数字孪生场景中实现对内河航道现场执法巡航管理。

作为一种可实现的方式，环境包括光照、雾霾、能见度、水文、雨雪或/和风场，步骤6.2中的在线气象数据驱动场景渲染包括如下步骤：步骤6.2.1：根据时间设置动态环境光照相关参数，根据空气监测数据设置雾、霾、能见度相关参数；根据风速监测数据更新三维风场模型相关参数；根据水文数据设置水面浅水方程的相关参数与边界条件；根据雨雪监测数据设置雨、雪渲染相关参数。步骤6.2.2：根据以上各设置，在数字孪生场景中绘制场景环境并迭代更新。

作为一种可实现的方式，图5示例出本发明实施例提供的内河航道数字孪生场景的构建方法的模拟分析、事件复盘和预测推演步骤的具体流程示意图，如图5所示，步骤7中的模拟分析、事件复盘与预测推演包括如下步骤：步骤7.1：判断是否有新的应急事件管理需求；步骤7.2：若有，则在数字孪生场景中利用历史数据对业务管理需求进行模拟与分析；若无，则跳转至步骤7.5；步骤7.3：判断是否需要进行事件复盘，若是，则在数字孪生场景中基于历史数据和模拟分析结果进行事件复盘；若否，则跳转至步骤7.4；步骤7.4：判断是否需要进行预测推演，若是，则在数字孪生场景中基于历史数据、事件复盘与模拟分析结果进行三维预测推演；若否，则跳转至步骤7.5；步骤7.5：利用模拟分析、事件复盘与预测推演结果，更新数字孪生场景的模型参数，反馈辅助决策建议。

作为一种可实现的方式，图6示例出本发明实施例提供的内河航道数字孪生场景的构建方法整个流程中突出细化场景更新与迭代交互优化步骤的流程示意图，如图6所示，步骤8中的场景更新与迭代交互优化包括如下步骤：步骤8.1：确认并执行反馈控制操作；步骤8.2：更新数字孪生场景；步骤8.3：判断是否需要继续监测，若是，则跳转至步骤4；若否，则结束实时监测。

作为一种可实现的方式，反馈处置包括：步骤9.1：数字孪生三维自动巡航，在构建得到的内数字孪生场景中进行航道自动巡航操作，航道自动巡航操作包括支持用户自定义巡航线路、巡航点位及巡航规则，数字孪生三维自动巡航包括如下步骤：步骤9.1.1：设置需要巡航的点位、巡航高度来自定义巡航点位；步骤9.1.2：设置巡航点位之间的线路来自定义巡航线路；步骤9.1.3：设置巡航频次、巡航速度和停驻时间来自定义巡航时间；步骤9.1.4：根据步骤9.1.1至步骤9.1.3，在数字孪生场景中融合多路实时监控视频和多源物联传感数据融合得到三维自动巡航，并且支持模拟巡逻艇的虚拟巡航方式。

作为一种可实现的方式，需要说明的是，反馈处置所包括的上述步骤9.1及下述步骤9.2至步骤9.6的数字表示并不用于限定各自的次序，它们是相互独立且并非需要全部具备的。反馈处置包括：步骤9.2：数字孪生非现场执法，在数字孪生场景中及时发现违章船舶及船舶的违章行为并支持非现场的违章行为预警、取证与处置，从而实现对船舶违章的非现场执法；步骤9.3：数字孪生二三维联动应急响应，在数字孪生场景中对真实内河航道运行中实际发生的报警事件进行快速的警情确认、应急响应与溯源取证，该报警事件包括航道拥堵、事故和救援等；步骤9.4：数字孪生汛期过闸调度，在数字孪生场景中对汛期过闸船舶进行二三维联动的信息核查，结合真实内河航道的现场执法力量进行过闸调度；步骤9.5：数字孪生禁航管控，在数字孪生场景中对禁航区域、航段进行管控，及时预警、发现、取证和处置闯入禁航区域的船舶；步骤9.6：数字孪生舶位管理，在数字孪生场景中水上服务区、锚地的舶位进行舶位优化、实时监控、超限预警或/和交通诱导。

作为一种可实现的方式，步骤9.2的数字孪生非现场执法包括如下步骤：步骤9.2.1：在数字孪生场景中，对船载AIS数据与行驶或停靠的船舶实时关联标注，对于有违章未处理记录的船舶以例如红色的带颜色标签亮化显示；步骤9.2.2：在数字孪生场景中，结合物联传感与视频数据分析及时发现例如超限、超载、超速、未穿救生衣等的违章行为，将违章行为提供给可以直观查看船舶行驶过程的执法人员，并且在真实内河航道场景的三维空间进行视频或图像取证；步骤9.2.3：对于发现的违章船舶，提供以例如电话、广播等的无线通信方式联络船舶驾驶人员以进行直接沟通与反馈。

作为一种可实现的方式，步骤9.3的数字孪生二三维联动应急响应包括如下步骤：步骤9.3.1：在接到应急事件报警时，根据反馈得到的警报信息在数字孪生场景的二维电子航道图上确定其具体点位；步骤9.3.2：接收用户点击二维电子航道图的信息，在数字孪生场景中调度出对应位置的三维场景，提供警情以供查看确认；步骤9.3.3：在数字孪生场景中对应急事件进行及时响应，调度应急处置所需的数据、预案、人员、物资等，并可对各类应急预案进行快速推演；步骤9.3.4：在完成应急事件处置后，在数字孪生场景中对事件发生、发展过程进行三维复盘和溯源取证。

作为一种可实现的方式，数字孪生汛期过闸调度指在出现汛期时，需要对船舶过闸进行管控，只允许救援、应急或装载民生货物的船舶通行，在数字孪生场景中可对这一过程进行三维调度，具体来说，步骤9.4的数字孪生汛期过闸调度包括如下步骤：步骤9.4.1：在数字孪生场景中，调度至闸口及上下游三维场景，将待过闸船舶的AIS数据与数字孪生场景中的船舶实时关联和标签标注显示；步骤9.4.2：在数字孪生场景中，将AIS数据中船舶和货物类型符合通行规则的船舶标签以例如绿色的颜色显示，不符合通行规则的船舶标签以例如红色的另一颜色显示；步骤9.4.3：在数字孪生场景中，在闸口融合视频中比对船舶标签绿色显示的货物与实际货物信息是否一致，对于信息不一致的船舶，以电话确认或通知现场执法人员方式促使执法人员登船核查；步骤9.4.4：在数字孪生场景中，对于信息一致的绿色标签显示船舶，提供直接放行通过信息；对于红色标签显示船舶，提供不允许通行信息。

作为一种可实现的方式，步骤9.5的数字孪生禁航管控指对在航道上对于危桥拆除、危货停泊、施工作业等区域实施禁止航行管理，并且其包括如下步骤：步骤9.5.1：在数字孪生场景中，对于实施禁航管控的区域设置电子围墙周界；步骤9.5.2：在发现船舶闯入禁航区域时，生成警报事件，并自动调度到对应的数字孪生场景进行异常事件确认；步骤9.5.3：对于闯入船舶，通信联系船主确认或通知现场执法人员使其登船执法。

作为一种可实现的方式，步骤9.6的数字孪生舶位管理包括如下步骤：步骤9.6.1：在数字孪生场景中，对水上服务区的舶位划分进行优化；步骤9.6.2：在数字孪生场景中，对水上服务区的舱位进行实时监控，及时统计空余舱位数量；步骤9.6.3：在服务区船舶数量超过一定阈值或出现异常事件时，及时生成预警信息；步骤9.6.4：对船舶进行停靠引导、拥挤提醒和交通诱导。

根据以上对各种反馈处置的说明，本发明内河航道数字孪生场景的构建方法能够形成基于数字孪生的内河航道二三维联动管理，实现重点水域全局监控、重点航段三维智慧巡航、应急救援三维联动、三维统一时间线等二三维联动管理应用，辅助提升水上安全日常监控、船只违章取证和应急事件响应管理效率。

图7示例出本发明实施例提供的使用内河航道数字孪生场景的构建方法的装置100的结构示意图，如图7所示，使用内河航道数字孪生场景的构建方法的装置100包括外场物联传感装置(未图示)、处理器110、存储器120以及存储在存储器120中且被配置为由处理器110执行的计算机指令，外场物联传感装置用于向如上述任一实施例的内河航道数字孪生场景的构建方法提供物联传感数据，外场物联传感装置包括射频识别装置、红外感应器、环境传感器、全球定位***、PDA手持终端、RFID读写器等，处理器110执行计算机程序时实现上述任一实施例的内河航道数字孪生场景的构建方法。

计算机指令可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机指令段，该指令段用于描述计算机程序在一种使用内河航道数字孪生场景的构建方法中的执行过程。

如图7所示，上述装置100还可以包括通信线路140。通信线路140可包括一通路，在上述组件之间传送信息。

上述处理器可以是一个通用中央处理器(central processing unit，CPU)，微处理器，专用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。

上述装置100还可以包括一个或多个的通信接口130。通信接口130可使用任何收发器一类的器件，用于与其他设备或通信网络通信。

上述存储器120可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。

可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。

在具体实现中，作为一种实施例，如图7所示，处理器110可以包括一个或多个CPU，如图7中的CPU0和CPU1。

在具体实现中，作为一种实施例，如图7所示，上述装置可以包括多个处理器，如图7中的处理器110和处理器150。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机执行指令，其中，在计算机执行指令运行时控制计算机可读存储介质所在设备执行上述任一实施例的内河航道数字孪生场景的构建方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行计算机程序或指令时，全部或部分地执行本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。

本发明未详细阐述的部分属于本领域的技术人员公知技术。以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

需要补充说明的是，上述步骤的具体数字有可能仅用于描述步骤的不同并不用于限制仅按照数字大小来确定依次顺序，次序可能有不同排序方式，因此，在不相冲突的情况下，需要根据发明构思来确定上述各种步骤所对应数字的描述是用于确实限制各步骤的顺序还是仅用于区分各步骤的不同。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (6)

1.一种内河航道数字孪生场景的构建方法，其特征在于，所述构建方法包括如下步骤：

多尺度航道场景构建，在数字孪生场景中构建真实内河航道场景中不同尺度对象从而获得三维场景模型；

多路视频三维实时融合，将所述真实内河航道场景中多路监控视频实时三维融合到所述三维场景模型中从而形成具有多路实景视频融合的数字孪生场景；

数字资产三维标注，将所述真实内河航道场景中的数字资产信息以三维标签形式实时标注到所述数字孪生场景的对应位置；

物联传感数据汇聚融合，将所述真实内河航道场景中的多源物联传感数据实时三维汇聚到所述数字孪生场景中；

所述不同尺度对象包括航道及沿岸建筑、航道水域、重要通航建筑物、监控视频区域内远处建筑物和船舶；

所述多尺度航道场景构建步骤具体包括：

航道及沿岸建筑建模：采用无人机倾斜摄影技术来快速采集和构建航道及沿岸建筑的基础几何模型；

航道水域建模：采用浅水方程方法对航道区域水面实时计算水体的表面形态并绘制；

重要通航建筑物建模：采用BIM建模方法构建重要通航建筑物的三维几何模型；

监控视频区域内远处建筑物建模：采用基于场景拓扑关系的场景快速建模方法对监控视频区域内远处建筑物进行建模；

船舶建模：根据船舶类型和尺寸，利用BIM参数化建模方法构建船舶模型库，根据船舶AIS数据驱动，在所述数字孪生场景中实时绘制不同船舶；

对以上建模方法及结果进行融合，形成与所述真实内河航道场景更加一致的数字孪生几何场景；

所述多路视频三维实时融合步骤根据监控摄像头点位、方向、高度和相机内外参数，构建视频内容与三维场景的拓扑关系，将真实内河航道场景中的多路监控视频实时与内河航道的三维场景模型融合，形成具有多路实景视频融合的数字孪生场景，并且，所述多路视频三维实时融合步骤具体包括：

根据相机在真实场景中的位置与姿态，计算出三维场景模型中相机的位置与姿态值；

根据相机位置与姿态值，计算相机在三维模型场景中的模型视图矩阵与投影矩阵；

根据模型视图矩阵和投影矩阵，计算相机在三维场景模型中的视锥结构；

根据相机拍摄图像，计算场景照片建模和相机参数，建立视频图像与模型纹理的投影关系；

根据投影关系，将原始视频图像投影到已构建得到的三维场景模型上；

将原始视频图像进行片元纹理化和色彩化渲染并融合到所投影到的所述三维场景模型上；

所述数字资产三维标注步骤具体包括：

建立虚实对象之间的一对一关联关系：建立所述真实内河航道场景中资产与所述数字孪生场景中数字资产对象之间的一一对应关系；

设计数字资产数据接口与更新规则：设计其它资产***与数字孪生数据库的数据交换接口与更新规则；

数字资产三维标注：对数字孪生场景中的重要数字资产进行三维标注；

所述物联传感数据汇聚融合步骤具体包括：

建立虚实场景中物联传感器对象之间的关联关系；

设计多源物联传感数据接口与更新规则；

在所述数字孪生场景中进行物联传感数据三维动态标注；

根据物联传感数据的变化，驱动更新数字孪生场景中的动态标签及相关对象模型；

分析与报警联动：对多源物联传感数据进行分析，针对分析得出的数据超限情况，及时生成报警事件，对警情确认和后续应急处置进行联动。

2.根据权利要求1所述的构建方法，其特征在于，在所述物联传感数据汇聚融合步骤之后，所述构建方法还包括：

针对在所述数字孪生场景中监控视频的覆盖区域内和未覆盖区域内的船舶根据AIS数据进行相应的船舶信息处理；

对所述数字孪生场景中的内河航道场景运行情况进行实时关联；

模拟分析、事件复盘和预测推演，在所述数字孪生场景中对所述真实内河航道场景运行中的事件进行模拟和分析、根据历史数据对事件进行三维复盘并结合实际结果对所述数字孪生场景的可靠性进行验证和基于历史数据与分析模型对事件的发生及发展规律进行预测推演并提供辅助决策建议；

场景更新与迭代交互优化，重复执行所述物联传感数据汇聚融合步骤、所述船舶信息处理步骤、所述实时关联步骤以及所述模拟分析、事件复盘和预测推演步骤，对所述数字孪生场景进行更新，并将对所述数字孪生场景的模拟和分析结果反馈回真实内河航道的交通运行管理中；

根据所述场景更新与迭代交互优化步骤所更新获得的数字孪生场景对所述真实内河航道场景进行反馈处置。

3.根据权利要求2所述构建方法，其特征在于，所述船舶信息处理步骤具体包括：

建立所述真实内河航道场景中运行的所述不同尺度对象中的船舶所安装的传感器的传感定位数据与所述数字孪生场景中的船舶之间的对应关系；

判断所述船舶是否在所述数字孪生场景中监控视频的覆盖区域内，若是，则转至船舶AIS三维动态标注步骤，若否，则转至AIS数据驱动船舶增强显示步骤；

船舶AIS三维动态标注，将船舶信息与监控视频中的对应船舶进行实时关联，并以三维动态标签的形式进行标注；

AIS数据驱动船舶增强显示，根据船舶AIS信息，实时三维增强绘制对应船舶、航行朝向与航行轨迹，构建出所述数字孪生场景中的船舶动态运行模型。

4.根据权利要求2所述构建方法，其特征在于，所述内河航道场景运行情况包括海事巡逻情况和气象情况，所述进行实时关联步骤具体包括：

巡航轨迹显示与异常状况标记，对所述真实内河航道场景中所述不同尺度对象中的海事巡逻艇的作业进行实时关联，根据艇载定位和执法记录仪数据，对巡航轨迹在所述数字孪生场景中进行增强显示，并对海事巡逻作业中上报的异常点位和事件进行三维标注和记录；

在线气象数据驱动场景渲染，根据所述真实内河航道场景的作为所述气象情况的在线气象数据对所述数字孪生场景中环境的环境参数进行设置，并对所述数字孪生场景进行环境渲染。

5.根据权利要求2所述构建方法，其特征在于，所述反馈处置包括：数字孪生三维自动巡航、数字孪生非现场执法、数字孪生二三维联动应急响应、数字孪生汛期过闸调度、数字孪生禁航管控或/和数字孪生舶位管理。

6.一种使用内河航道数字孪生场景的构建方法的装置，其特征在于，包括外场物联传感装置、处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机执行指令，所述外场物联传感装置用于向如权利要求1至4中任意一项所述的内河航道数字孪生场景的构建方法提供物联传感数据，所述处理器执行所述计算机执行指令时实现如权利要求1至4中任意一项所述的内河航道数字孪生场景的构建方法。

Images