CN116881482A - 一种公共安全数据的跨媒体智能感知与分析处理方法 - Google Patents
一种公共安全数据的跨媒体智能感知与分析处理方法 Download PDFInfo
- Publication number
- CN116881482A CN116881482A CN202310767292.0A CN202310767292A CN116881482A CN 116881482 A CN116881482 A CN 116881482A CN 202310767292 A CN202310767292 A CN 202310767292A CN 116881482 A CN116881482 A CN 116881482A
- Authority
- CN
- China
- Prior art keywords
- data
- cross
- intelligent
- media
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 231100000279 safety data Toxicity 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000012512 characterization method Methods 0.000 claims abstract description 11
- 230000008878 coupling Effects 0.000 claims abstract description 11
- 238000010168 coupling process Methods 0.000 claims abstract description 11
- 238000005859 coupling reaction Methods 0.000 claims abstract description 11
- 238000013508 migration Methods 0.000 claims abstract description 11
- 230000005012 migration Effects 0.000 claims abstract description 11
- 238000012098 association analyses Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000013523 data management Methods 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 238000001784 detoxification Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 210000001503 joint Anatomy 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 4
- 230000008520 organization Effects 0.000 claims description 4
- 239000002574 poison Substances 0.000 claims description 4
- 231100000614 poison Toxicity 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 238000012827 research and development Methods 0.000 claims description 4
- 238000012502 risk assessment Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- 230000010365 information processing Effects 0.000 abstract description 3
- 230000035515 penetration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种公共安全数据的跨媒体智能感知与分析处理方法，属于公共安全数据技术领域，目的在于提供一种公共安全数据的跨媒体智能感知与分析处理方法，提升跨媒体感知与分析精确率，实现数据的汇聚融合、分层治理，为公共安全细分场景深度应用赋能，解决公共安全行业数字实战过程中存在的现场感知不清、异常预警滞后、联合联动不足、专业工具缺乏等难题。其基于在跨媒体数据统一表征、关联分析、知识迁移等方面的理论，结合智慧公安、智能交通等领域细分场景，探索多种模态数据之间的协同机理，突破单一媒体信息处理的局限，提升了跨媒体贯通、耦合与协同的智能处理能力。本发明适用于一种公共安全数据的跨媒体智能感知与分析处理方法。
Description
技术领域
本发明属于公共安全数据技术领域，具体涉及一种公共安全数据的跨媒体智能感知与分析处理方法。
背景技术
公共安全是体现人类社会秩序的重要标志，公共安全事件的发生，对政府信誉和社会治理体系构成严峻挑战。然而，公共安全数据来自不同的数据源，表现为不同的媒体类型，公共安全领域数据具有数据规模大、模态类型多、有标签样本少、数据特征维度高和跨模态分布异构等特点与挑战，公共安全主管部门在处理新形势下多变的安全事件时应对乏力，迫切需要新的数据处理技术手段来服务实战应用。
因此，如何克服公共安全领域数据通常面临的“数据模态异构，特征分布差异”、“语义不一致，关联机制不明确”和“数据来源多样，应用场景多变”等问题，是解决公共安全行业数字实战过程中存在的现场感知不清、异常预警滞后、联合联动不足、专业工具缺乏等难题的关键。
发明内容
本发明的目的在于：提供一种公共安全数据的跨媒体智能感知与分析处理方法，以提升跨媒体感知与分析精确率，实现数据的汇聚融合、分层治理，为公共安全细分场景深度应用赋能，解决公共安全行业数字实战过程中存在的现场感知不清、异常预警滞后、联合联动不足、专业工具缺乏等难题。
本发明采用的技术方案如下：
一种公共安全数据的跨媒体智能感知与分析处理方法，包括以下步骤：
(1)基于公共安全数据来自不同的数据源，表现为不同的媒体类型，构建高效的数据联合表达、相似性度量和查询算法，基于自定义抽象语义描述和检索方法，在无法获得目标的图像或视频样本的情况下，实现以文字描述进行的模糊检索；基于跨媒体哈希检索模型，实现对音、视、图、文多模态数据的统一联合表达和哈希检索，将它们统一表达到一个共同的汉明空间，支持面向实际应用的大规模多模态数据快速查询和检索；
(2)通过信息抽取图谱构建技术，从原始非结构化数据中提取出实体、关系与属性知识要素后，再通过知识推理、实体对齐、概念提取子任务对所学习到的知识图谱进行评估与过滤，基于多模态知识图谱的异质图神经网络，完成对多模态实体及跨模态关系建模，同时完成实体间跨模态信息的对齐；
(3)利用多模态信息间的语义一致性实现多模态耦合的统一表征，以学习更全面的特征表示，通过改善特征提取和公共空间映射减少多模态数据间的跨模态差异,使跨模态检索更精准；
(4)基于跨媒体语义一致性与多样性、视觉语言特征自适应关联、跨模态语义与关系融合，提出长短期记忆模型、多模态循环神经网络、自适应注意力机制、跨模态聚合网络及层级关联方法模型，缩小跨媒体语义鸿沟，实现跨体内容准确理解、高效关联。
(5)通过跨域知识迁移充分利用现有的源域知识，辅助学习目标域数据的知识，建立源域和目标域之间的纽带；
(6)基于跨媒体数据统一表征、关联分析、知识迁移理论，结合公安、交通、纪检细分场景，构建智慧公安、智慧禁毒、智慧交通、智慧纪检场景深度应用；依靠多种模态数据之间的协同机理，基于跨媒体检索、基于多模态知识库的图谱链接预测、分析对象行为识别、域泛化行人重识别算法模型为公共安全细分场景赋能，并通过算法的训练实现迭代演进，持续提升跨媒体智能算法与机器学习模型的实战应用能力，提升跨媒体贯通、耦合与协同的智能处理能力。
进一步地，所述步骤(6)中，智慧公安场景深度应用的过程具体为：提供从低价值的原始视频图像数据到有价值的结构化特征属性数据的解析通道，形成标准化的视频图像信息数据管理机制，将视频图像信息打造成为动态化、信息化条件下支撑各项公安工作的重要基础资源，成为立体化社会治安防控体系的重要支撑。
进一步地，所述步骤(6)中，智慧禁毒场景深度应用的过程具体为：
基于多源异构大数据融合研发，建立数据中心消除信息孤岛，建立结构化、非结构化多源大数据中心，提升数据存储、传输、计算效率，将禁毒工作涉及的各类数据，汇总融合为人、事、地、物、组织、虚拟身份不同实体，根据其中的属性联系、时空联系、语义联系、特征联系、位置联系等，重构数据之间的联系形成关系网。
进一步地，所述步骤(6)中，智慧交通场景深度应用的过程具体为：
自动获取车辆号牌、车型、行驶方向信息及参数并与黑名单数据库联网比对报警，自动监测黑名单车辆的行径路线；自动获取路口、路段车流量、饱和度、占有率参数，向交通信号控制***提供实时交通数据，参与灯控路口的绿信比调整、绿波带参数调整，向交通智能诱导***提供实时交通数据，参与区域交通诱导，向手机或警务通等智能终端推送文字信息或图文信息，实现路面警力的调度与指挥，将道路监控、治安卡口、交通参数采集有机结合，提供实时视频图像和高清视频录像数据的分析与研判。
进一步地，所述步骤(6)中，智慧纪检场景深度应用的过程具体为：基于大数据技术将与公安、政务、银行、证券多个单位对接的大批量数据进行分析，将复杂数据、复杂网络进行数据整理与融合，并基于规则提取多维度数据特征形成关系网，打通数据孤岛；通过多点共享信息的分析及强联系图的标记，实现基于模式的风险分析。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明中，基于在跨媒体数据统一表征、关联分析、知识迁移等方面的理论，进一步结合智慧公安、智能交通等领域细分场景，探索多种模态数据之间的协同机理，突破单一媒体信息处理的局限；特别是对跨媒体检索、基于多模态知识库的图谱链接预测、分析对象行为识别、域泛化行人重识别等算法模型指标结合实际业务进行开发、验证与调优，为公共安全细分场景赋能，并通过新算法的训练实现迭代演进，在项目实践中持续提升跨媒体智能算法与机器学习模型等关键技术的实战应用能力，提升了跨媒体贯通、耦合与协同的智能处理能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：
图1为本发明的跨媒体哈希检索模型图；
图2为本发明的多模态知识图谱构建和学习架构图；
图3为本发明的应用示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明的简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或一体地连接；可以使机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个原件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
一种公共安全数据的跨媒体智能感知与分析处理方法，包括以下步骤：
(1)基于公共安全数据来自不同的数据源，表现为不同的媒体类型，构建高效的数据联合表达、相似性度量和查询算法，基于自定义抽象语义描述和检索方法，在无法获得目标的图像或视频样本的情况下，实现以文字描述进行的模糊检索；基于跨媒体哈希检索模型，实现对音、视、图、文多模态数据的统一联合表达和哈希检索，将它们统一表达到一个共同的汉明空间，支持面向实际应用的大规模多模态数据快速查询和检索；
(2)通过信息抽取图谱构建技术，从原始非结构化数据中提取出实体、关系与属性知识要素后，再通过知识推理、实体对齐、概念提取子任务对所学习到的知识图谱进行评估与过滤，基于多模态知识图谱的异质图神经网络，完成对多模态实体及跨模态关系建模，同时完成实体间跨模态信息的对齐；
(3)利用多模态信息间的语义一致性实现多模态耦合的统一表征，以学习更全面的特征表示，通过改善特征提取和公共空间映射减少多模态数据间的跨模态差异,使跨模态检索更精准；
(4)基于跨媒体语义一致性与多样性、视觉语言特征自适应关联、跨模态语义与关系融合，提出长短期记忆模型、多模态循环神经网络、自适应注意力机制、跨模态聚合网络及层级关联方法模型，缩小跨媒体语义鸿沟，实现跨体内容准确理解、高效关联。
(5)通过跨域知识迁移充分利用现有的源域知识，辅助学习目标域数据的知识，建立源域和目标域之间的纽带；
(6)基于跨媒体数据统一表征、关联分析、知识迁移理论，结合公安、交通、纪检细分场景，构建智慧公安、智慧禁毒、智慧交通、智慧纪检场景深度应用；依靠多种模态数据之间的协同机理，基于跨媒体检索、基于多模态知识库的图谱链接预测、分析对象行为识别、域泛化行人重识别算法模型为公共安全细分场景赋能，并通过算法的训练实现迭代演进，持续提升跨媒体智能算法与机器学习模型的实战应用能力，提升跨媒体贯通、耦合与协同的智能处理能力。
进一步地，所述步骤(6)中，智慧公安场景深度应用的过程具体为：提供从低价值的原始视频图像数据到有价值的结构化特征属性数据的解析通道，形成标准化的视频图像信息数据管理机制，将视频图像信息打造成为动态化、信息化条件下支撑各项公安工作的重要基础资源，成为立体化社会治安防控体系的重要支撑。
进一步地，所述步骤(6)中，智慧禁毒场景深度应用的过程具体为：
基于多源异构大数据融合研发，建立数据中心消除信息孤岛，建立结构化、非结构化多源大数据中心，提升数据存储、传输、计算效率，将禁毒工作涉及的各类数据，汇总融合为人、事、地、物、组织、虚拟身份不同实体，根据其中的属性联系、时空联系、语义联系、特征联系、位置联系等，重构数据之间的联系形成关系网。
进一步地，所述步骤(6)中，智慧交通场景深度应用的过程具体为：
自动获取车辆号牌、车型、行驶方向信息及参数并与黑名单数据库联网比对报警，自动监测黑名单车辆的行径路线；自动获取路口、路段车流量、饱和度、占有率参数，向交通信号控制***提供实时交通数据，参与灯控路口的绿信比调整、绿波带参数调整，向交通智能诱导***提供实时交通数据，参与区域交通诱导，向手机或警务通等智能终端推送文字信息或图文信息，实现路面警力的调度与指挥，将道路监控、治安卡口、交通参数采集有机结合，提供实时视频图像和高清视频录像数据的分析与研判。
进一步地，所述步骤(6)中，智慧纪检场景深度应用的过程具体为：基于大数据技术将与公安、政务、银行、证券多个单位对接的大批量数据进行分析，将复杂数据、复杂网络进行数据整理与融合，并基于规则提取多维度数据特征形成关系网，打通数据孤岛；通过多点共享信息的分析及强联系图的标记，实现基于模式的风险分析。
本发明在实施过程中，基于在跨媒体数据统一表征、关联分析、知识迁移等方面的理论，进一步结合智慧公安、智能交通等领域细分场景，探索多种模态数据之间的协同机理，突破单一媒体信息处理的局限；特别是对跨媒体检索、基于多模态知识库的图谱链接预测、分析对象行为识别、域泛化行人重识别等算法模型指标结合实际业务进行开发、验证与调优，为公共安全细分场景赋能，并通过新算法的训练实现迭代演进，在项目实践中持续提升跨媒体智能算法与机器学习模型等关键技术的实战应用能力，提升了跨媒体贯通、耦合与协同的智能处理能力。
实施例1
一种公共安全数据的跨媒体智能感知与分析处理方法，包括以下步骤：
(1)基于公共安全数据来自不同的数据源，表现为不同的媒体类型，构建高效的数据联合表达、相似性度量和查询算法，基于自定义抽象语义描述和检索方法，在无法获得目标的图像或视频样本的情况下，实现以文字描述进行的模糊检索；基于跨媒体哈希检索模型，实现对音、视、图、文多模态数据的统一联合表达和哈希检索，将它们统一表达到一个共同的汉明空间，支持面向实际应用的大规模多模态数据快速查询和检索；
(2)通过信息抽取图谱构建技术，从原始非结构化数据中提取出实体、关系与属性知识要素后，再通过知识推理、实体对齐、概念提取子任务对所学习到的知识图谱进行评估与过滤，基于多模态知识图谱的异质图神经网络，完成对多模态实体及跨模态关系建模，同时完成实体间跨模态信息的对齐；
(3)利用多模态信息间的语义一致性实现多模态耦合的统一表征，以学习更全面的特征表示，通过改善特征提取和公共空间映射减少多模态数据间的跨模态差异,使跨模态检索更精准；
(4)基于跨媒体语义一致性与多样性、视觉语言特征自适应关联、跨模态语义与关系融合，提出长短期记忆模型、多模态循环神经网络、自适应注意力机制、跨模态聚合网络及层级关联方法模型，缩小跨媒体语义鸿沟，实现跨体内容准确理解、高效关联。
(5)通过跨域知识迁移充分利用现有的源域知识，辅助学习目标域数据的知识，建立源域和目标域之间的纽带；
(6)基于跨媒体数据统一表征、关联分析、知识迁移理论，结合公安、交通、纪检细分场景，构建智慧公安、智慧禁毒、智慧交通、智慧纪检场景深度应用；依靠多种模态数据之间的协同机理，基于跨媒体检索、基于多模态知识库的图谱链接预测、分析对象行为识别、域泛化行人重识别算法模型为公共安全细分场景赋能，并通过算法的训练实现迭代演进，持续提升跨媒体智能算法与机器学习模型的实战应用能力，提升跨媒体贯通、耦合与协同的智能处理能力。
实施例2
在实施例1的基础上，所述步骤(6)中，智慧公安场景深度应用的过程具体为：提供从低价值的原始视频图像数据到有价值的结构化特征属性数据的解析通道，形成标准化的视频图像信息数据管理机制，将视频图像信息打造成为动态化、信息化条件下支撑各项公安工作的重要基础资源，成为立体化社会治安防控体系的重要支撑。
实施例3
在上述实施例的基础上，所述步骤(6)中，智慧禁毒场景深度应用的过程具体为：
基于多源异构大数据融合研发，建立数据中心消除信息孤岛，建立结构化、非结构化多源大数据中心，提升数据存储、传输、计算效率，将禁毒工作涉及的各类数据，汇总融合为人、事、地、物、组织、虚拟身份不同实体，根据其中的属性联系、时空联系、语义联系、特征联系、位置联系等，重构数据之间的联系形成关系网。
实施例4
在上述实施例的基础上，所述步骤(6)中，智慧交通场景深度应用的过程具体为：
自动获取车辆号牌、车型、行驶方向信息及参数并与黑名单数据库联网比对报警，自动监测黑名单车辆的行径路线；自动获取路口、路段车流量、饱和度、占有率参数，向交通信号控制***提供实时交通数据，参与灯控路口的绿信比调整、绿波带参数调整，向交通智能诱导***提供实时交通数据，参与区域交通诱导，向手机或警务通等智能终端推送文字信息或图文信息，实现路面警力的调度与指挥，将道路监控、治安卡口、交通参数采集有机结合，提供实时视频图像和高清视频录像数据的分析与研判。
实施例5
在上述实施例的基础上，所述步骤(6)中，智慧纪检场景深度应用的过程具体为：基于大数据技术将与公安、政务、银行、证券多个单位对接的大批量数据进行分析，将复杂数据、复杂网络进行数据整理与融合，并基于规则提取多维度数据特征形成关系网，打通数据孤岛；通过多点共享信息的分析及强联系图的标记，实现基于模式的风险分析。
如上所述即为本发明的实施例。前文所述为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明的验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。
Claims (5)
1.一种公共安全数据的跨媒体智能感知与分析处理方法，其特征在于，包括以下步骤：
(1)基于公共安全数据来自不同的数据源，表现为不同的媒体类型，构建高效的数据联合表达、相似性度量和查询算法，基于自定义抽象语义描述和检索方法，在无法获得目标的图像或视频样本的情况下，实现以文字描述进行的模糊检索；基于跨媒体哈希检索模型，实现对音、视、图、文多模态数据的统一联合表达和哈希检索，将它们统一表达到一个共同的汉明空间，支持面向实际应用的大规模多模态数据快速查询和检索；
(2)通过信息抽取图谱构建技术，从原始非结构化数据中提取出实体、关系与属性知识要素后，再通过知识推理、实体对齐、概念提取子任务对所学习到的知识图谱进行评估与过滤，基于多模态知识图谱的异质图神经网络，完成对多模态实体及跨模态关系建模，同时完成实体间跨模态信息的对齐；
(3)利用多模态信息间的语义一致性实现多模态耦合的统一表征，以学习更全面的特征表示，通过改善特征提取和公共空间映射减少多模态数据间的跨模态差异,使跨模态检索更精准；
(4)基于跨媒体语义一致性与多样性、视觉语言特征自适应关联、跨模态语义与关系融合，提出长短期记忆模型、多模态循环神经网络、自适应注意力机制、跨模态聚合网络及层级关联方法模型，缩小跨媒体语义鸿沟，实现跨体内容准确理解、高效关联。
(5)通过跨域知识迁移充分利用现有的源域知识，辅助学习目标域数据的知识，建立源域和目标域之间的纽带；
(6)基于跨媒体数据统一表征、关联分析、知识迁移理论，结合公安、交通、纪检细分场景，构建智慧公安、智慧禁毒、智慧交通、智慧纪检场景深度应用；依靠多种模态数据之间的协同机理，基于跨媒体检索、基于多模态知识库的图谱链接预测、分析对象行为识别、域泛化行人重识别算法模型为公共安全细分场景赋能，并通过算法的训练实现迭代演进，持续提升跨媒体智能算法与机器学习模型的实战应用能力，提升跨媒体贯通、耦合与协同的智能处理能力。
2.按照权利要求1所述的一种公共安全数据的跨媒体智能感知与分析处理方法，其特征在于，所述步骤(6)中，智慧公安场景深度应用的过程具体为：提供从低价值的原始视频图像数据到有价值的结构化特征属性数据的解析通道，形成标准化的视频图像信息数据管理机制，将视频图像信息打造成为动态化、信息化条件下支撑各项公安工作的重要基础资源，成为立体化社会治安防控体系的重要支撑。
3.按照权利要求1所述的一种公共安全数据的跨媒体智能感知与分析处理方法，其特征在于，所述步骤(6)中，智慧禁毒场景深度应用的过程具体为：
基于多源异构大数据融合研发，建立数据中心消除信息孤岛，建立结构化、非结构化多源大数据中心，提升数据存储、传输、计算效率，将禁毒工作涉及的各类数据，汇总融合为人、事、地、物、组织、虚拟身份不同实体，根据其中的属性联系、时空联系、语义联系、特征联系、位置联系等，重构数据之间的联系形成关系网。
4.按照权利要求1所述的一种公共安全数据的跨媒体智能感知与分析处理方法，其特征在于，所述步骤(6)中，智慧交通场景深度应用的过程具体为：
自动获取车辆号牌、车型、行驶方向信息及参数并与黑名单数据库联网比对报警，自动监测黑名单车辆的行径路线；自动获取路口、路段车流量、饱和度、占有率参数，向交通信号控制***提供实时交通数据，参与灯控路口的绿信比调整、绿波带参数调整，向交通智能诱导***提供实时交通数据，参与区域交通诱导，向手机或警务通等智能终端推送文字信息或图文信息，实现路面警力的调度与指挥，将道路监控、治安卡口、交通参数采集有机结合，提供实时视频图像和高清视频录像数据的分析与研判。
5.按照权利要求1所述的一种公共安全数据的跨媒体智能感知与分析处理方法，其特征在于，所述步骤(6)中，智慧纪检场景深度应用的过程具体为：基于大数据技术将与公安、政务、银行、证券多个单位对接的大批量数据进行分析，将复杂数据、复杂网络进行数据整理与融合，并基于规则提取多维度数据特征形成关系网，打通数据孤岛；通过多点共享信息的分析及强联系图的标记，实现基于模式的风险分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310767292.0A CN116881482A (zh) | 2023-06-27 | 2023-06-27 | 一种公共安全数据的跨媒体智能感知与分析处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310767292.0A CN116881482A (zh) | 2023-06-27 | 2023-06-27 | 一种公共安全数据的跨媒体智能感知与分析处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116881482A true CN116881482A (zh) | 2023-10-13 |
Family
ID=88257804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310767292.0A Pending CN116881482A (zh) | 2023-06-27 | 2023-06-27 | 一种公共安全数据的跨媒体智能感知与分析处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116881482A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346440A (zh) * | 2014-10-10 | 2015-02-11 | 浙江大学 | 一种基于神经网络的跨媒体哈希索引方法 |
| US20190205393A1 (en) * | 2016-07-11 | 2019-07-04 | Peking University Shenzhen Graduate School | A cross-media search method |
| CN111680173A (zh) * | 2020-05-31 | 2020-09-18 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 统一检索跨媒体信息的cmr模型 |
| WO2022068196A1 (zh) * | 2020-09-30 | 2022-04-07 | 三维通信股份有限公司 | 跨模态的数据处理方法、装置、存储介质以及电子装置 |
| CN114360731A (zh) * | 2021-12-09 | 2022-04-15 | 武汉科技大学 | 一种面向老年照护的医养结合知识服务***构建方法 |
| CN115376045A (zh) * | 2022-08-16 | 2022-11-22 | 四川九洲视讯科技有限责任公司 | 基于多模态融合深度学习的公共安全指挥智能化处理方法 |
| CN115905555A (zh) * | 2022-10-27 | 2023-04-04 | 国网浙江省电力有限公司宁波供电公司 | 基于多模数据处理与融合的电力数据分析方法 |
| CN116049454A (zh) * | 2022-11-01 | 2023-05-02 | 齐鲁空天信息研究院 | 一种基于多源异构数据的智能搜索方法及*** |
| CN116307757A (zh) * | 2023-01-18 | 2023-06-23 | 辽宁荣科智维云科技有限公司 | 一种数据智能交互方法、交互***、计算机设备及应用 |
-
2023
- 2023-06-27 CN CN202310767292.0A patent/CN116881482A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346440A (zh) * | 2014-10-10 | 2015-02-11 | 浙江大学 | 一种基于神经网络的跨媒体哈希索引方法 |
| US20190205393A1 (en) * | 2016-07-11 | 2019-07-04 | Peking University Shenzhen Graduate School | A cross-media search method |
| CN111680173A (zh) * | 2020-05-31 | 2020-09-18 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 统一检索跨媒体信息的cmr模型 |
| WO2022068196A1 (zh) * | 2020-09-30 | 2022-04-07 | 三维通信股份有限公司 | 跨模态的数据处理方法、装置、存储介质以及电子装置 |
| CN114360731A (zh) * | 2021-12-09 | 2022-04-15 | 武汉科技大学 | 一种面向老年照护的医养结合知识服务***构建方法 |
| CN115376045A (zh) * | 2022-08-16 | 2022-11-22 | 四川九洲视讯科技有限责任公司 | 基于多模态融合深度学习的公共安全指挥智能化处理方法 |
| CN115905555A (zh) * | 2022-10-27 | 2023-04-04 | 国网浙江省电力有限公司宁波供电公司 | 基于多模数据处理与融合的电力数据分析方法 |
| CN116049454A (zh) * | 2022-11-01 | 2023-05-02 | 齐鲁空天信息研究院 | 一种基于多源异构数据的智能搜索方法及*** |
| CN116307757A (zh) * | 2023-01-18 | 2023-06-23 | 辽宁荣科智维云科技有限公司 | 一种数据智能交互方法、交互***、计算机设备及应用 |
Non-Patent Citations (8)
| Title |
|---|
| CHAO LI等: "CVPR 2018 | 自监督对抗哈希SSAH：当前最佳的跨模态检索框架", pages 1 - 5, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/35688497> * |
| GEORGII MIKRIUKOV 等: "Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing", ICASSP 2022 - 2022 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP), 17 April 2022 (2022-04-17), pages 4463 - 4467 * |
| JUN YU 等: "Unsupervised Multi-modal Hashing for Cross-Modal Retrieval", pages 1 - 12, Retrieved from the Internet <URL:https://link.springer.com/article/10.1007/s12559-021-09847-4> * |
| 吴飞 等: "互联网跨媒体分析与检索:理论与算法", 计算机辅助设计与图形学学报, no. 01, 15 January 2010 (2010-01-15), pages 1 - 9 * |
| 姚涛 等: "基于映射字典学习的跨模态哈希检索", 自动化学报, no. 08, 11 December 2017 (2017-12-11), pages 1475 - 1485 * |
| 小王: "跨媒体检索：概念、方法、评测与挑战(一)：基础知识", pages 1 - 3, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/46284265> * |
| 小马: "《MMT》-同时利用字幕、音频、视频进行检索！", pages 1 - 5, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/434226505> * |
| 梁美玉 等: "基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习", 模式识别与人工智能, 15 March 2022 (2022-03-15), pages 195 - 206 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110378824A (zh) | 一种公安交管数据大脑及构建方法 | |
| CN108964996A (zh) | 城乡一体化信息栅格***及基于其的信息共享方法 | |
| CN115376045A (zh) | 基于多模态融合深度学习的公共安全指挥智能化处理方法 | |
| CN111552813A (zh) | 一种基于电网全业务数据的电力知识图谱构建方法 | |
| CN105574698A (zh) | 基于大数据下的智能仓储管理*** | |
| CN112332981B (zh) | 一种数据处理的方法和装置 | |
| CN113886596A (zh) | 基于城市要素和多灾害融合的韧性城市知识图谱构建方法 | |
| CN114328780B (zh) | 基于六角格的智慧城市地理信息更新方法、设备及介质 | |
| Shaw et al. | GIScience for human dynamics research in a changing world. | |
| Li et al. | A study of Big Data-based employees’ public opinion system construction | |
| CN113344408A (zh) | 民航交通管制运行多尺度态势感知流程的处理方法 | |
| CN115858829A (zh) | 一种基于算力网络的多源异构环境数据资产构建方法 | |
| US20180253813A1 (en) | System and method for incident validation and ranking using human and non-human data sources | |
| Tong et al. | Multimedia network public opinion supervision prediction algorithm based on big data | |
| CN116881482A (zh) | 一种公共安全数据的跨媒体智能感知与分析处理方法 | |
| CN116450730A (zh) | 一种基于知识图谱的人员关系挖掘方法及*** | |
| Sivčević et al. | Possibilities of used intelligence based agents in instant messaging on e-government services | |
| Almuhisen et al. | Detecting behavior types of moving object trajectories | |
| CN112306985A (zh) | 一种数字视网膜多模态特征联合精准检索方法 | |
| Feng et al. | Embedded YOLO: A Real‐Time Object Detector for Small Intelligent Trajectory Cars | |
| CN115238774A (zh) | 基于异质图神经网络的社交网络恶意账号检测方法及装置 | |
| CN110750678A (zh) | 监控视频数据关联描述和存储管理的方法及*** | |
| Liu et al. | Research on intelligent campus monitoring management system based on deep neural network algorithm | |
| Liu et al. | Research on Semantic Search Algorithm of Smart Grid Knowledge Map Based on Deep Learning | |
| Liu | Intelligent Community Management System Based on Big Data Technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |