CN114818734B - 基于目标-属性-关系的对抗场景语义分析方法以及装置 - Google Patents

基于目标-属性-关系的对抗场景语义分析方法以及装置 Download PDF

Info

Publication number
CN114818734B
CN114818734B CN202210573996.XA CN202210573996A CN114818734B CN 114818734 B CN114818734 B CN 114818734B CN 202210573996 A CN202210573996 A CN 202210573996A CN 114818734 B CN114818734 B CN 114818734B
Authority
CN
China
Prior art keywords
node
nodes
relation
network
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210573996.XA
Other languages
English (en)
Other versions
CN114818734A (zh
Inventor
段一平
陶晓明
李明哲
赵梓淇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Nantong Research Institute for Advanced Communication Technologies Co Ltd
Original Assignee
Tsinghua University
Nantong Research Institute for Advanced Communication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Nantong Research Institute for Advanced Communication Technologies Co Ltd filed Critical Tsinghua University
Priority to CN202210573996.XA priority Critical patent/CN114818734B/zh
Publication of CN114818734A publication Critical patent/CN114818734A/zh
Priority to PCT/CN2023/106625 priority patent/WO2023227141A1/zh
Priority to US18/238,545 priority patent/US11915161B2/en
Application granted granted Critical
Publication of CN114818734B publication Critical patent/CN114818734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种基于目标‑属性‑关系的对抗场景语义分析方法以及装置，属于数据处理的领域。所述方法包括：对获取得到的待分析的对抗场景的初始数据进行预处理，得到标注在图数据结构中的三元组数据，将三元组数据输入预先训练好的分析模型中，以确定待分析的对抗场景的语义信息分析结果；分析模型包括设置有执行优先级的多个算符网络，多个算符网络分别用于分析不同类型的关系；任一算符网络的处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及真实关系的置信度与描述值；根据所有算符网络的处理结果更新后的图数据结构表征待分析的对抗场景的语义信息分析结果。本申请旨在旨在提高对抗场景分析结果的准确性。

Description

基于目标-属性-关系的对抗场景语义分析方法以及装置
技术领域
本申请实施例涉及数据处理技术领域，具体而言，涉及一种基于目标-属性-关系的对抗场景语义分析方法以及装置。
背景技术
在对抗场景，例如运动比赛或军事活动的场景中，需要确定多个目标对象的状态以及多个目标对象之间的关系时，通常采用人工判断的方法，但是对抗场景中存在多个目标，为了得到更为准确的判断结果需要增加人力，从而耗费大量人力资源，且采用人工判断容易漏判，从而导致得到的对抗场景的分析结果准确性较差。
发明内容
本申请实施例提供一种基于目标-属性-关系的对抗场景语义分析方法以及装置，旨在提高对抗场景分析结果的准确性。
第一方面，本申请实施例提供一种基于目标-属性-关系的对抗场景语义分析方法，所述方法包括：
对获取得到的待分析的对抗场景的初始数据进行预处理，得到标注在图数据结构中的三元组数据，所述三元组数据包括：多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系；
将所述三元组数据输入预先训练好的分析模型中，以确定所述待分析的对抗场景的语义信息分析结果；
所述分析模型包括设置有执行优先级的多个算符网络，所述多个算符网络分别用于分析不同类型的关系；
任一算符网络的处理过程包括：根据自身处理的关系类型，从所述多个目标节点中选出符合该关系类型的所有节点对，确定所有节点对各自的处理数据；对所有节点对的处理数据进行处理，并根据处理得到的处理结果对所述图数据结构中的标注进行更新；其中，优先级在后的算符网络对应的节点对的处理数据中包括优先级在前的算符网络的处理结果，任一算符网络的所述处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及所述真实关系的置信度与描述值；
根据所有算符网络的处理结果更新后的所述图数据结构表征待分析的对抗场景的语义信息分析结果。
可选地，所述各个目标节点各自的属性包括静态属性与动态属性，部分算符网络的所述处理结果还包括目标节点的动态属性；
根据处理得到的处理结果对所述图数据结构中的标注进行更新，包括：
将部分算符网络处理得到的目标节点的动态属性发送给所述待分析的对抗场景中的多个目标节点，并更新所述多个目标节点各自的动态属性。
可选地，所述分析模型的训练过程包括以下步骤：
获取模拟样本，对单个算符网络进行预训练；
获取真实标注的样本，对所有经过预训练的单个算符网络进行联合训练，得到所述分析模型。
可选地，获取模拟样本，对单个算符网络进行预训练，包括：
对获取得到的表述同一类型关系的模拟样本进行预处理，得到标注在图数据结构中的样本三元组数据，所述样本三元组数据包括：多个目标样本节点、多个目标样本节点各自对应的属性、目标样本节点之间的真实关系；
单个算符网络包括数据整理模块与数据处理模块，其中：
所述数据整理模块，确定所述多个目标样本节点中任意一组头尾节点对的处理数据，包括样本头节点的属性、样本尾节点的属性、样本头节点的邻居关系、样本尾节点的邻居关系、样本头节点-样本尾节点的关系、样本尾节点-样本头节点的关系；
所述数据处理模块，包括：
特征提取网络，提取头尾节点特征、头节点邻居特征集合、尾节点邻居特征集合、头节点指向尾节点关系的特征集合、尾节点指向头节点关系的特征集合；
特征变换网络，根据所述头尾节点特征分别对所述头节点邻居特征集合、所述尾节点邻居特征集合、所述头节点指向尾节点关系的特征集合、所述尾节点指向头节点关系的特征集合进行变换；
特征综合网络，对所述特征变换网络的输出进行平均与延展处理；
结果输出网络，根据所述特征综合网络的输出，确定单个算符网络的输出结果并标注在图数据结构中，所述输出结果包括：该关系类型的置信度、描述值以及动态属性；
基于结果输出网络的输出结果，进行单个算符网络的参数的更新。
可选地，获取真实标注的样本，对所有经过预训练的单个算符网络进行联合训练，得到所述分析模型，包括：
对所有经过预训练的单个算符网络划分执行优先级；
获取标注有多种类型关系的真实样本并进行预处理，得到标注在图数据结构中的真实三元组数据，所述真实三元组数据包括多个目标真实样本节点、多个目标真实样本节点各自对应的属性、目标真实样本节点之间的真实关系；
优先级在前的算符网络，对自身对应的所有节点对各自的处理数据进行处理，得到输出结果并标注在图数据结构中；
优先级在后的算符网络，根据自身所处理的关系类型以及基于所有优先级在先的算符网络的输出结果，确定所有符合该关系类型的节点对各自的处理数据进行处理，得到输出结果并标注在图数据结构中；
基于最后优先级的单个算符网络的输出结果进行模型参数的更新。
可选地，对单个算符网络进行训练时，采用联合优化的方式：
所述结果输出网络包括置信度输出网络和描述值输出网络，所述置信度输出网络的损失为LBCE，conf，所述描述值输出网络的损失为LMSE，edge，所述单个算符网络的损失函数为：
Lall＝λ1LBCE,conf+λ2LMSE,edge
基于结果输出网络的输出结果，进行单个算符网络的参数的更新，包括：
基于所述单个算符网络的损失函数的值，进行单个算符网络的参数的更新。
可选地，对于任一算符网络，得到输出结果并标注在图数据结构，包括：
对任一算符网络得到的输出结果中的置信度一一进行判断；
保留置信度大于预设阈值的关系，并将该关系的置信度与关系描述值标注在图数据结构中；
删除置信度小于等于预设阈值的关系。
可选地，在联合训练中，得到输出结果并标注在图数据结构中，包括：
优先级在先的算符网络的所述结果输出网络输出各个样本头尾节点关系的置信度后，将该置信度作为该关系存在的概率值；
在优先级在后的算符网络执行过程中，进行n次采样，对于优先级在后的算符A，第i次得到的confi，A，真实值α，其中，当该关系真实存在时，α＝1，否则α＝0；记该次采样中所使用到的关系r的示性函数为I(r)，若关系r真实存在I(r)＝1，否则I(r)＝0；关系r的半监督的置信度值confr的计算公式如下：
σ是判决阈值。
第二方面，本申请实施例提供一种基于目标-属性-关系的对抗场景语义分析装置，所述装置包括：
预处理模块，用于对获取得到的待分析的对抗场景的初始数据进行预处理，得到标注在图数据结构中的三元组数据，所述三元组数据包括：多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系；
输入模块，用于将所述三元组数据输入预先训练好的分析模型中，以确定所述待分析的对抗场景的语义信息分析结果；
分析模型，包括设置有执行优先级的多个算符网络，所述多个算符网络分别用于分析不同类型的关系；任一算符网络的处理过程包括：根据自身处理的关系类型，从所述多个目标节点中选出符合该关系类型的所有节点对，确定所有节点对各自的处理数据；对所有节点对的处理数据进行处理，并根据处理得到的处理结果对所述图数据结构中的标注进行更新；其中，优先级在后的算符网络对应的节点对的处理数据中包括优先级在前的算符网络的处理结果，任一算符网络的所述处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及所述真实关系的置信度与描述值；
结果确定模块，用于根据所有算符网络的处理结果更新后的所述图数据结构表征待分析的对抗场景的语义信息分析结果。
有益效果：
获取待分析的对抗场景的初始数据，对初始数据进行预处理后，得到标注在图数据结构中的三元组数据，所述三元组数据包括：多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系；然后将所述三元组数据输入预先训练好的分析模型中，以确定所述待分析的对抗场景的语义信息分析结果。
所述分析模型包括设置有执行优先级的多个算符网络，且多个算符网络分别用于分析不同类型的关系；任一算符网络的处理过程包括：根据自身处理的关系类型，从所述多个目标节点中选出符合该关系类型的所有节点对，确定所有节点对各自的处理数据；对所有节点对的处理数据进行处理，并根据处理得到的处理结果对所述图数据结构中的标注进行更新；其中，优先级在后的算符网络对应的节点对的处理数据中包括优先级在前的算符网络的处理结果，任一算符网络的所述处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及所述真实关系的置信度与描述值；根据所有算符网络的处理结果更新后的所述图数据结构表征待分析的对抗场景的语义信息分析结果。
首先，本方法将对抗场景的初始数据处理为图数据结构中的三元组，最后得到的对抗场景的语义信息分析结果也继续标注在图数据结构中，便于直观明了地体现目标节点的属性、目标节点之间的关系以及用描述值描述该关系的细节。
其次，本方法的分析模型中包括有多个算符网络，每个算符网络处理一种类型的关系，进而提高分析模型可以分析的关系类型的丰富性，并且每个算符网络专注于处理一种类型的关系还可以提高确定每种关系时的准确性。
然后，本方法的分析模型中多个算符网络还设置有执行优先级，优先级在后的算符网络可以基于优先级在前的算符网络的处理结果，进而可以结合目标节点的多个关系之间的相互影响，进一步提高每种类型的关系的准确性，以及得到更准确的语义信息分析结果；进而，相比如人工对对抗场景进行观察分析，本方法得到的对抗场景的语义信息分析结果更加准确。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的基于目标-属性-关系的对抗场景语义分析方法的步骤流程图；
图2是本申请一实施例提出的分析模型的训练方法的步骤流程图；
图3是本申请一实施例提出的算符网络的数据处理过程的示意图；
图4是本申请一实施例提出的基于目标-属性-关系的对抗场景语义分析装置的功能模块图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在如体育运动或军事活动等对抗场景中，通常都存在多个目标，目标可以是人也可以活动中使用到的物体，由于目标众多，因此目标与目标之间的关系也很复杂，例如有一对一对抗关系，团队合作关系，团队合作对抗其他团队等众多关系，若人为去判断多个目标之间的关系需要耗费大量的人力资源，并且由于人的观察范围与精力的限制，容易出现误判或错判的可能。
为了提高对抗场景分析结果的准确性，本申请提供了一种基于目标-属性-关系的对抗场景语义分析方法，语义信息指的是多个目标之间的关系以及目标自身的属性信息，可以帮助相关人员快速地掌握场景的准确信息并做出决策。
参照图1，示出了本发明实施例中的一种基于目标-属性-关系的对抗场景语义分析方法的步骤流程图，如图1所示，所述方法具体可以包括以下步骤：
S101、对获取得到的待分析的对抗场景的初始数据进行预处理，得到标注在图数据结构中的三元组数据，所述三元组数据包括：多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系。
本实施例中提到目标包括对抗场景中的人物以及有意义的物体，示例地，在足球体育运动中，目标包括双方球队的所有球员、足球以及两个球框，待分析对抗场景中的所有目标构成目标集合O；待分析的对抗场景的初始数据可以是通过雷达或者摄像机等传感器获取的图像视频，对获取到的图像视频进行预处理时，还包括对图像视频进行目标检测和目标跟踪以获得多个目标的轨迹信息。
接着，对获取到的初始数据进行预处理，得到标注在图数据结构中的三元组数据，三元组数据中包括多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系。
多个目标节点表现为图数据结构中的多个节点，每个目标节点仅对应代表一个目标，例如一个节点代表球员、足球、球框中的任一个客观物体。
目标节点的属性在图数据结构中以节点的标签值的形式体现；每个目标节点包括静态属性，静态属性指的是可以从初始数据中直接获得的信息，并且静态属性可以多维度地表征目标，静态属性表示为其中|O|代表目标个数，ns代表静态属性维度。
例如足球比赛中，表征球员的目标节点的静态属性包括球员所属的球队、球员的基本信息(如姓名、编号或场上位置)以及球员的当前位置；表征足球的目标节点的静态属性包括足球的当前位置，示例地，当初始数据为视频时，目标的当前位置可以是最近N帧的位置坐标。
表征人物的目标节点的属性还包括动态属性，动态属性指的是会被执行处理以及会根据后续处理结果而改变的属性，动态属性所表征的内容可以在实际应用过程中自定义设置，动态属性也可以多维度的表征球员的特征，动态属性表示为其中|O|代表目标个数，nd代表动态属性维度。
示例地，在足球比赛中，表征球员的目标节点的动态属性可以包括威胁程度以及疲劳程度，威胁程度可以将球员向对方球员防守程度或球员向对方球门的威胁力度等有效输出进行量化，疲劳程度将球员的体能情况进行量化。
目标节点之间的关系表示为图数据结构中两个目标节点之间的边，每个关系包括置信度、类型、头尾节点指针以及描述值；其中，置信度可以用于表征该关系的真实程度，置信度表示为conf∈[0，1]，置信度越高代表两个目标节点之间的关系真实程度越高；类型用于表示该关系是何种关系；头尾节点指针表示该关系中发起方和接受方；描述值用于多维度地描述该关系的具体细节，描述值表示为nr代表类型为r的关系的描述值维度，描述值的每个维度所代表的内容可以自定义设置，对于不同类型的关系的描述值，维度以及每个维度表示的内容也可以不同。
示例地，在足球比赛中，连接目标节点A与目标节点B的边表示的是防守类型的关系，且目标节点A为头节点Oh，目标节点B为尾节点Ot，即头尾节点指针为从目标节点A指向目标节点B，则表述的语义实际是目标A在防守目标B，描述值的第一维可以代表目标节点A代表的球员对目标节点B代表的球员的防守强度，第二维可以代表两人之间的距离。
对于待分析的对抗场景，预先假设目标节点之间的预测关系，即先在任意两个目标节点之间连接多种关系类型对应的边，预测关系中可以包括类型与头尾节点指针，可以不包括置信度与描述值，通过分析模型进行分析确定每个预测关系的置信度，只保留大于置信度阈值的关系，删除预设关系中实际不存在的关系。
S102、将所述三元组数据输入预先训练好的分析模型中，以确定所述待分析的对抗场景的语义信息分析结果。
所述分析模型包括设置有执行优先级的多个算符网络，所述多个算符网络分别用于分析不同类型的关系，即一个算符网络与一种关系类型一一对应，对算符网络设置优先级时，简单的关系对应的算符网络的优先级在先，复杂的关系对应的算符网络的优先级在后。
本方法中每个算符网络处理一种类型的关系，可以提高分析模型可以分析的关系类型的丰富性，并且每个算符网络专注于处理一种类型的关系还可以提高每种关系的准确性。
任一算符网络的处理过程包括以下步骤：
S1021、根据自身处理的关系类型，从所述多个目标节点中选出符合该关系类型的所有节点对。
由于每个算符网络所处理的关系的产生主体不同，即有的关系的产生主体为人物-人物，有的关系的产生主体为人物-物体，因此任一算符网络需要从多个目标节点中选出符合关系类型的主体要求的所有节点对。
在对任一算符网络进行训练时，采用的是每个算符网络对应的关系类型的样本，因此一个算符网络所处理的目标节点的类型是规定好的，例如防守关系对应的算符网络处理的一组节点对中，两个目标节点都是代表球员的节点，且两个目标节点所代表的球员分属于不同球队；在合作关系对应的算符网络处理的一组节点对中，两个目标节点都是代表球员的节点，且两个目标节点所代表的球员属于同一球队；在射门关系对应的算符网络处理的一组节点对中，一个目标节点代表的是球员，一个目标节点代表的是足球。
S1022、确定所有节点对各自的处理数据。
任一算符网络选出自身需要处理的所有节点对后，还需要确定所有节点对各自对应的处理数据的结构。
在一种可行的实施方式中，任一节点对的处理数据包括：头节点的静态属性、头节点的动态属性、尾节点的静态属性、尾节点的动态属性、头节点的邻居关系、尾节点的邻居关系、头节点-尾节点的关系、尾节点-头节点的关系。
算符网络对一组节点对进行处理时，该节点对中的头节点与尾节点是明确的，例如，一个算符网络用于处理关系类型R，目标节点A与目标节点B代表的目标符合该关系类型的主体要求；由于在应用阶段，预先假设了目标节点A到目标节点B存在关系R，也假设了目标节点B到目标节点A存在关系R，因此在处理过程中，目标节点A(头节点)-目标节点B(尾节点)为一组节点对，目标节点B(头节点)-目标节点A(尾节点)为另一组节点对。
头节点的邻居关系指的是，头节点与其周围除了尾节点以外的点之间的关系，尾节点的邻居关系指的是，尾节点与其周围除了头节点以外的点之间的关系，其中，对于任意一个节点来说，图像视频的当前帧图像中，与该节点同时出现多个目标，除了尾节点外都是其邻居节点；头节点-尾节点的关系指的是头节点-尾节点之间除了当前正在处理的关系外的其他关系，尾节点-头节点的关系指的尾是节点到头节点之间除了当前正在处理的关系外的其他关系。
S1023、对所有节点对的处理数据进行处理，并根据处理得到的处理结果对所述图数据结构中的标注进行更新。
任一算符网络的所述处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及所述真实关系的置信度与描述值；即每组被处理的节点对均得到一个处理结果，进而可以确定该节点对之间的真实关系，在图数据结构中对该真实关系的置信度与描述值进行标注。
示例地，在一种实施方式中，目标节点A-目标节点B之间存在预测关系R，经过算符网络处理后，得到该预测关系R的置信度；若该置信度大于标定值，则表征该预测关系R是真实关系，保留图数据结构中预测关系R的边，并对该边标注得到的置信度与描述值；若该置信度小于标定值，则表征该预测关系R是虚假关系，将图数据中预先连接的该预测关系R的边删除。
部分算符网络的所述处理结果还包括目标节点的动态属性，如在射门关系的处理过程中，算符网络计算得到的附加特征表征目标节点的射门威胁程度。
在根据处理结果对图数据结构中的标注进行更新时，对任一节点的动态属性采用广播机制，即将目标节点的动态属性发送给所述待分析的对抗场景中的多个目标节点，并更新所述多个目标节点各自的动态属性，从而可以让其他目标节点知晓，因为如果其他节点知道某个目标节点的球员的射门威胁程度，这次射门以及威胁程度可能会影响其他节点的属性或者节点之间的关系。
值得注意的是，由于分析模型内的多个算符网络设置有执行优先级，优先级在后的算符网络对应的节点对的处理数据中包括优先级在前的算符网络的处理结果，即优先级在后的算符网络在处理的过程中，依据的是被在先得到的处理结果更新后的图数据结构，如优先级在后的算符网络确定节点对的处理数据时，节点的动态属性、与其他节点之间其他关系等可以依据在先处理得到的各种真实关系以及节点更新后的动态属性。
在实施时，优先级在后的算符网络的处理数据中可以包括所有优先级在前的算符网络的处理结果，即确定在后处理的关系时基于之前确定完毕所有关系；还可以采用，优先级在后的算符网络的处理数据包括部分优先级在前的算符网络的处理结果，这取决于关系与关系之间的关联程度，关联程度表征关系之间是否存在交集或者关系与关系之间的相互影响，如在先确定完毕的关系包括关系a、关系b、关系c以及关系d，在后处理的关系A与关系a、关系b、关系c具有一定关联程度，则确定在后处理的关系A时，基于关系a、关系b、关系c的处理结果。
本方法通过确定一种关系时考虑关系与关系之间的相互影响，可以进一步提高每种类型的关系的准确性。
所有的算符网络均处理完毕后，被所有算符网络的处理结果更新后的所述图数据结构可以表征待分析的对抗场景的语义信息分析结果，图数据结构中的节点以及边可以表征出目标的属性、目标与目标之间的多种关系，以及各种关系的细节。
本方法中，对待分析的对抗场景的语义信息进行分析时，输入的数据为图数据结构中的三元组数据，输出的分析结果也是标注在图数据结构中，通过采用节点的标签值代表目标的属性，节点与节点之间的边代表目标之间的关系，从而可以直观地体现出对抗场景的语义信息。相比如人工对对抗场景进行观察分析，本方法得到的对抗场景的语义信息分析结果更加准确。
参照图2，示出了本申请实施例提供的分析模型的训练方法的步骤流程图，所述训练方法包括以下步骤：
A1、获取模拟样本，对单个算符网络进行预训练；
A2、获取真实标注的样本，对所有经过预训练的单个算符网络进行联合训练，得到所述分析模型。
首先对每个单个算符网络分别进行预训练，使得每个算符网络学习处理一类关系，然后根据真实批注的样本，对所有的单个算符网络进行联合训练，使得多个算符网络之间根据优先级的顺序进行训练，从而得到分析模型。
其中，对单个算符网络进行预训练的步骤A1包括以下子步骤：
A11、对获取得到的表述同一类型关系的模拟样本进行预处理，得到标注在图数据结构中的样本三元组数据，所述样本三元组数据包括：多个目标样本节点、多个目标样本节点各自对应的属性、目标样本节点之间的真实关系。
根据不同的单个算符网络所对应处理的关系类型，获取到表述同一关系类型的模拟样本，且每个算符网络的模拟样本不同，对模拟样本进行预处理，得到标注在图数据结构中的样本三元组数据。
参见步骤S101中的描述，在图数据结构中，目标样本节点代表样本目标，节点的标签值为对应样本目标的属性，属性包括动态属性与静态属性，目标样本节点之间连接的边表示关系，边的标签值包括置信度、类型、头尾节点指针以及描述值。
构建算符网络时，单个算符网络包括数据整理模块与数据处理模块，其中：
A12、所述数据整理模块，确定所述多个目标样本节点中任意一组头尾节点对的处理数据，包括样本头节点的属性、样本尾节点的属性、样本头节点的邻居关系、样本尾节点的邻居关系、样本头节点-样本尾节点的关系、样本尾节点-样本头节点的关系。
由于单个算符网络各自对应有表述一种关系类型的模拟样本，因此模拟样本中目标样本节点都是符合该关系类型中的节点，因此可以直接确定多个目标样本节点任意一组头尾节点对的处理数据。
样本头节点的属性中包括静态属性oh.as与动态属性oh.ad；
样本尾节点的属性中包括静态属性ot.as与动态属性ot.ad；
样本头节点的邻居节点为除了尾节点以为的其他节点，记为oh，i，样本头节点的邻居关系包括：每个邻居节点的静态属性oh，i.as与动态属性oh，i.ad，以及每个邻居节点到样本头节点的关系描述值rh，i.v，将样本头节点的邻居关系表示为：(oh，i.as，oh，i.ad，rh，i.v)|rh，i∈Rh，其中Rh为各邻居节点到样本头节点的关系集合；
样本尾节点的邻居节点为除了头节点以为的其他节点，记为ot，j，样本尾节点的邻居关系包括：每个邻居节点的静态属性ot，j.as与动态属性ot，j.ad，以及每个邻居节点到样本尾节点的关系描述值rt，j.v，将样本尾节点的邻居关系表示为：(ot，j.as，ot，j.ad，rt，j.v)|rt，j∈Rt，其中Rt为各邻居节点到样本尾节点的关系集合；
样本头节点-样本尾节点的关系，指样本头节点指向样本尾节点的所有关系的描述值，但是在单个算符网络进行预训练的过程中，模拟样本中没有标注其他类型的关系，因此该输入的值可以取0；在其他实施方式中，对单个算符网络进行训练时，还可以在模拟样本中标注样本头节点到样本尾节点的其他关系；将样本头节点-样本尾节点的关系记为(ri.v)|ri∈Rht，其中，Rht为样本头节点指向样本尾节点的所有关系的集合。
同理，样本尾节点-样本头节点的关系，指样本尾节点指向样本头节点的所有关系的描述值，记为(rj.v)|rj∈Rth，其中，Rth为样本尾节点指向样本头节点的所有关系的集合。
单个算符用于处理数据的部分为所述数据处理模块，数据处理模块采用简化的神经网络进行构建，将处理过程中使用到的网络统一为一种有全连接层构成的子网络，记为ExpNet，对于一个ExpNet，只需要规定其层数L与输入与输出维度din，dout，它的第i个中间层的输出维度按照下式计算得到，输入维度为第i-1层的输出维度，记为：
除最后一层外，每一层采用relu激活函数。
参照图3，示出本申请算符网络的数据处理过程的示意图，在本实施例中，一个算符网络包括四层，分别为特征提取网络、特征变换网络、特征综合网络以及结果输出网络。
处理过程具体如下：
A13、特征提取网络，提取头尾节点特征、头节点邻居特征集合、尾节点邻居特征集合、头节点指向尾节点关系的特征集合、尾节点指向头节点关系的特征集合。
特征提取网络包括一个头尾节点特征提取网络与四个关系特征提取网络。
头尾节点特征提取网络ExpNetnf，其输入为样本头节点属性与样本尾节点属性，记为(oh.as，oh.ad，ot.as，ot.ad)，其输出是一个头尾节点特征向量xnf；
四个关系特征提取网络分别为：
头节点邻居关系特征提取网络ExpNethnf，其输入为样本头节点的邻居关系，即(oh，i.as，oh，i.ad，rh，i.v)，如果样本头节点有nh个邻居节点，则输出为包括nh个特征向量的头节点邻居特征集合{xhnf}；
尾节点邻居关系特征提取网络ExpNettnf，其输入为样本尾节点的邻居关系，即(ot，j.as，ot，j.ad，rt，j.v)，如果样本尾节点有nt个邻居节点，则输出为包括nt个特征向量的尾节点邻居特征集合{xtnf}；
头尾节点的关系特征提取网络ExpNethtf，其输入为样本头节点-样本尾节点的关系(ri.v)，其输出为包括i个特征向量的头节点指向尾节点关系的特征集合{xhtf}；
尾头节点的关系特征提取网络ExpNetthf，其输入为样本尾节点-样本头节点的关系(rj.v)，其输出为包括j个特征向量的尾节点指向头节点关系的特征集合{xthf}。
A14、特征变换网络，根据所述头尾节点特征分别对所述头节点邻居特征集合、所述尾节点邻居特征集合、所述头节点指向尾节点关系的特征集合、所述尾节点指向头节点关系的特征集合进行变换。
特征变换网络包括四个关系特征变换网络，分别为：
头节点邻居关系特征变换网络ExpNethnt，其输入为头尾节点特征向量xnf与头节点邻居特征集合{xhnf}，其输出仍是包含有nh个向量的头节点邻居特征变换集合{xhnt}；
尾节点邻居关系特征变换网络ExpNettnt，其输入为头尾节点特征向量xnf与尾节点邻居特征集合{xtnf}，其输出仍是包含有nt个向量的尾节点邻居特征变换集合{xtnt}；
头尾节点的关系特征变换网络ExpNethtt，其输入为其输入为头尾节点特征向量xnf与头节点指向尾节点关系的特征集合{xhtf}，其输出为包括i个向量的头节点指向尾节点关系的特征变换集合{xhtt}；
头尾节点的关系特征变换网络ExpNettht，其输入为其输入为头尾节点特征向量xnf与尾节点指向头节点关系的特征集合{xthf}，其输出为包括j个向量的头节点指向尾节点关系的特征变换集合{xtht}。
A15、特征综合网络，对所述特征变换网络的输出进行平均与延展处理。
特征综合网络用于对特征变换网络输出的四个特征变换集合求取平均，每个特征变换集合求取平均后得到一个特征向量，然后特征综合网络对得到的四个特征向量分别延展处理，即在向量延展一位，延展位的数值分别为各个特征变化集合中的向量的个数。
示例地，头节点邻居特征变换集合{xhnt}包含有nh个向量，特征综合网络对该nh个向量取平均得到一个特征向量，然后在得到的向量中延展一位，该延展位的值为nh。
特征变换网络输出的四个特征变换集合{xhnt}、{xtnt}、{xhtt}、{xtht}经过特征综合网络的处理，分别为
A16、结果输出网络，根据所述特征综合网络的输出，确定单个算符网络的输出结果并标注在图数据结构中，所述输出结果包括：该关系类型的置信度、描述值以及动态属性。
结果输出网络包括三个网络，分别为置信度输出网络ExpNetconf、描述值输出网络ExpNetdesc、动态属性输出网络ExpNetbroadcast。
置信度输出网络ExpNetconf的输入为并且ExpNetconf还加了一个sigmoid激活函数，进而输出一个0到1之间的标量值作为置信度。
描述值输出网络ExpNetdesc的输出入为输出一个指定维度的向量作为关系的描述值。
动态属性输出网络ExpNetbroadcast的输入为其中oi，as，oi，ad分别是样本节点oi的静态与动态属性，输出维度与oi，ad相同，并直接把节点oi的动态属性替换为ExpNetbroadcast的输出。
由于置信度输出网络ExpNetconf采用的是sigmoid激活函数，所以采用二分类交叉熵损失函数，损失记为LBCE，conf，而描述值输出网络ExpNetdesc则采用relu激活函数，所以采用简单的均方误差损失函数，损失记为LMSE，edge。
在对单个算符网络进行训练的过程中，考虑到置信度输出网络与描述值输出网络共享了前序的网络，因此可以采用联合优化的方式，损失函数如下：
Lall＝λ1LBCE,conf+λ2LMSE,edge
其中，λ1和λ2分别为置信度输出网络与描述值输出网络的损失权重。
对于处理结果中包含动态属性的算符网络，在对动态属性输出网络进行训练过程中，由于和前两种输出使用的数据不同，难以联合优化，所以单独训练。
考虑到动态属性输出对节点的动态属性ad做了直接的修改，本质上做的操作是ad→a′d＝ad+Δad因此可以使得网络学习残差Δad，训练数据的标签应该是新的动态属性与原始动态属性的差值，相应地，推断的时候也应该把动态属性输出outputbroadcast加上原始动态属性作为节点的新的动态属性，因此损失函数采用默认的MSE，即
Lbroadcast＝MSE(Δad,outputbroadcast)
基于所述单个算符网络的损失函数的值，进行单个算符网络的参数的更新，直到单个算符网络的损失函数的值小于标定损失值时，确定单个算符网络预训练完毕。
在单算符网络根据输出结果图数据结构中进行标注时，可以采用两种机制，一种是硬判决，对任一算符网络得到的输出结果中的置信度一一进行判断；保留置信度大于预设阈值的关系，并将该关系的置信度与关系描述值标注在图数据结构中；删除置信度小于等于预设阈值的关系。
另一种是软判决，将每个置信度作为该关系存在的概率值，在对所有经过预训练的单个算符网络进行联合训练的过程中采用了软判决，在一种可行的实施方式中，步骤A2对联合训练的过程如下：
A21、对所有经过预训练的单个算符网络划分执行优先级。
通常采用，简单的关系对应的算符网络的优先级在前，复杂的关系对应的算符网络的优先级在后，每个算符网络的执行过程是相对独立的，在同一时间，可以执行多个算符网络。
A22、获取标注有多种类型关系的真实样本并进行预处理，得到标注在图数据结构中的真实三元组数据，所述真实三元组数据包括多个目标真实样本节点、多个目标真实样本节点各自对应的属性、目标真实样本节点之间的真实关系。
对于真实样本进行预处理得到标注在图数据结构中的真实三元组数据库，且目标真实样本节点之间的真实关系都是真实存在的关系，采用人工标注将这个关系的置信度conf的值确定为1，从而可以根据明确的真实样本对所有算符网络进行联合训练，以得到分析模型。
A23、优先级在前的算符网络，对自身对应的所有节点对各自的处理数据进行处理，得到输出结果并标注在图数据结构中。
A24、优先级在后的算符网络，根据自身所处理的关系类型以及基于所有优先级在先的算符网络的输出结果，确定所有符合该关系类型的节点对各自的处理数据进行处理，得到输出结果并标注在图数据结构中。
每个算符按照优先级处理得到输出结果后，根据输出结果对图结构中的标注进行更新，在联合训练中，在单算符网络根据输出结果图数据结构中进行标注时，采用软判决，即保留每个关系对应的边，将每个置信度作为该关系存在的概率值。
优先级在后的算符网络进行处理时，对图数据结构中包括的所有关系进行n次采样，对于优先级在后的算符A，第i次得到的confi，A，真实值α，其中，当该关系真实存在时，α＝1，否则α＝0；记该次采样中所使用到的关系r的示性函数为I(r)，若关系r真实存在I(r)＝1，否则I(r)＝0；关系r的半监督的置信度值confr的计算公式如下：
其中，σ是判决阈值，σ一般取0.5。
采用目标、属性、关系三元组的形式组织数据的一个优势就是多个算符之间能相互产生联系，例如优先级在后的算符网络处理时可以依据优先级在前的算符网络的处理结果，同时该优势还体现在训练时复杂关系的算符可以从一定程度上为简单关系的算符提供监督。
在实际应用的时候，样本的标签数据往往不够充分，存在一些关系缺失，因此可以使用单算符训练和多算符训练结合的方式，就是先用部分数据或者模拟数据对每一个算符进行单独的预训练，得到预训练过的算符后，使用输出结果与标签，采用多算符半监督学习的方法，可以极大地后续执行算符的处理数据，从而在标签数据不够充分的情况下得到训练充分的算符。
A25、基于最后优先级的单个算符网络的输出结果进行模型参数的更新。
在实际实施的过程中，可以根据最后执行的一个算符网络或者多个算符网络的损失函数的值来对模型参数进行更新，当所有算符网络的训练达到预设的状态时，得到训练好的分析模型。
本申请至少具有以下有益效果：
1、相比如人工对对抗场景进行观察分析，本方法得到的对抗场景的语义信息分析结果更加准确；
2、将对抗场景的初始数据与分析得到的语义信息分析结果都采用图数据结构中目标、属性、关系的形式组织数据，既可以直观地体现语义信息，即目标的属性与目标间的关系；
3、优先级在后的算符网络处理数据时可以基于优先级在前的算符网络的处理结果，通过结合目标节点的多个关系之间的相互影响，使得得到的语义信息分析结果更加准确；
4、每个算符网络专注于处理一种类型的关系还可以提高每种关系的准确性，并且计算效率更高。
参照图4，示出了本发明实施例中的一种基于目标-属性-关系的对抗场景语义分析装置的功能模块图，如图4，所述装置包括：
预处理模块100，用于对获取得到的待分析的对抗场景的初始数据进行预处理，得到标注在图数据结构中的三元组数据，所述三元组数据包括：多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系；
输入模块200，用于将所述三元组数据输入预先训练好的分析模型中，以确定所述待分析的对抗场景的语义信息分析结果；
分析模型300，包括设置有执行优先级的多个算符网络，所述多个算符网络分别用于分析不同类型的关系；任一算符网络的处理过程包括：根据自身处理的关系类型，从所述多个目标节点中选出符合该关系类型的所有节点对，确定所有节点对各自的处理数据；对所有节点对的处理数据进行处理，并根据处理得到的处理结果对所述图数据结构中的标注进行更新；其中，优先级在后的算符网络对应的节点对的处理数据中包括优先级在前的算符网络的处理结果，任一算符网络的所述处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及所述真实关系的置信度与描述值；根据所有算符网络的处理结果更新后的所述图数据结构表征待分析的对抗场景的语义信息分析结果。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例所述的基于目标-属性-关系的对抗场景语义分析方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种基于目标-属性-关系的对抗场景语义分析方法，其特征在于，所述方法包括：
对获取得到的待分析的对抗场景的初始数据进行预处理，得到标注在图数据结构中的三元组数据，所述三元组数据包括：多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系；
将所述三元组数据输入预先训练好的分析模型中，以确定所述待分析的对抗场景的语义信息分析结果；
所述分析模型包括设置有执行优先级的多个算符网络，所述多个算符网络分别用于分析不同类型的关系；
任一算符网络的处理过程包括：根据自身处理的关系类型，从所述多个目标节点中选出符合该关系类型的所有节点对，确定所有节点对各自的处理数据；对所有节点对的处理数据进行处理，并根据处理得到的处理结果对所述图数据结构中的标注进行更新；其中，优先级在后的算符网络对应的节点对的处理数据中包括优先级在前的算符网络的处理结果，任一算符网络的所述处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及所述真实关系的置信度与描述值；
根据所有算符网络的处理结果更新后的所述图数据结构表征待分析的对抗场景的语义信息分析结果。
2.根据权利要求1所述的方法，其特征在于，所述各个目标节点各自的属性包括静态属性与动态属性，部分算符网络的所述处理结果还包括目标节点的动态属性；
根据处理得到的处理结果对所述图数据结构中的标注进行更新，包括：
将部分算符网络处理得到的目标节点的动态属性发送给所述待分析的对抗场景中的多个目标节点，并更新所述多个目标节点各自的动态属性。
3.根据权利要求1所述的方法，其特征在于，所述分析模型的训练过程包括以下步骤：
获取模拟样本，对单个算符网络进行预训练；
获取真实标注的样本，对所有经过预训练的单个算符网络进行联合训练，得到所述分析模型。
4.根据权利要求3所述的方法，其特征在于，获取模拟样本，对单个算符网络进行预训练，包括：
对获取得到的表述同一类型关系的模拟样本进行预处理，得到标注在图数据结构中的样本三元组数据，所述样本三元组数据包括：多个目标样本节点、多个目标样本节点各自对应的属性、目标样本节点之间的真实关系；
单个算符网络包括数据整理模块与数据处理模块，其中：
所述数据整理模块，确定所述多个目标样本节点中任意一组头尾节点对的处理数据，包括样本头节点的属性、样本尾节点的属性、样本头节点的邻居关系、样本尾节点的邻居关系、样本头节点-样本尾节点的关系、样本尾节点-样本头节点的关系；
所述数据处理模块，包括：
特征提取网络，提取头尾节点特征、头节点邻居特征集合、尾节点邻居特征集合、头节点指向尾节点关系的特征集合、尾节点指向头节点关系的特征集合；
特征变换网络，根据所述头尾节点特征分别对所述头节点邻居特征集合、所述尾节点邻居特征集合、所述头节点指向尾节点关系的特征集合、所述尾节点指向头节点关系的特征集合进行变换；
特征综合网络，对所述特征变换网络的输出进行平均与延展处理；
结果输出网络，根据所述特征综合网络的输出，确定单个算符网络的输出结果并标注在图数据结构中，所述输出结果包括：该关系类型的置信度、描述值以及动态属性；
基于结果输出网络的输出结果，进行单个算符网络的参数的更新。
5.根据权利要求4所述的方法，其特征在于，获取真实标注的样本，对所有经过预训练的单个算符网络进行联合训练，得到所述分析模型，包括：
对所有经过预训练的单个算符网络划分执行优先级；
获取标注有多种类型关系的真实样本并进行预处理，得到标注在图数据结构中的真实三元组数据，所述真实三元组数据包括多个目标真实样本节点、多个目标真实样本节点各自对应的属性、目标真实样本节点之间的真实关系；
优先级在前的算符网络，对自身对应的所有节点对各自的处理数据进行处理，得到输出结果并标注在图数据结构中；
优先级在后的算符网络，根据自身所处理的关系类型以及基于所有优先级在先的算符网络的输出结果，确定所有符合该关系类型的节点对各自的处理数据进行处理，得到输出结果并标注在图数据结构中；
基于最后优先级的单个算符网络的输出结果进行模型参数的更新。
6.根据权利要求4所述的方法，其特征在于，对单个算符网络进行训练时，采用联合优化的方式：
所述结果输出网络包括置信度输出网络和描述值输出网络，所述置信度输出网络的损失为LBCE，conf，所述描述值输出网络的损失为LMSE，edge，所述单个算符网络的损失函数为：
Lall＝λ1LBCE，conf+λ2LMSE，edge
基于结果输出网络的输出结果，进行单个算符网络的参数的更新，包括：
基于所述单个算符网络的损失函数的值，进行单个算符网络的参数的更新。
7.根据权利要求4或5所述的方法，其特征在于，对于任一算符网络，得到输出结果并标注在图数据结构，包括：
对任一算符网络得到的输出结果中的置信度一一进行判断；
保留置信度大于预设阈值的关系，并将该关系的置信度与关系描述值标注在图数据结构中；
删除置信度小于等于预设阈值的关系。
8.根据权利要求5所述的方法，其特征在于，在联合训练中，得到输出结果并标注在图数据结构中，包括：
优先级在先的算符网络的所述结果输出网络输出各个样本头尾节点关系的置信度后，将该置信度作为该关系存在的概率值；
在优先级在后的算符网络执行过程中，进行n次采样，对于优先级在后的算符A，第i次得到的confi，A，真实值α，其中，当该关系真实存在时，α＝1，否则α＝0；记该次采样中所使用到的关系r的示性函数为I(r)，若关系r真实存在I(r)＝1，否则I(r)＝0；关系r的半监督的置信度值confr的计算公式如下：
σ是判决阈值。
9.一种基于目标-属性-关系的对抗场景语义分析装置，其特征在于，所述装置包括：
预处理模块，用于对获取得到的待分析的对抗场景的初始数据进行预处理，得到标注在图数据结构中的三元组数据，所述三元组数据包括：多个目标节点、各个目标节点各自的属性以及目标节点之间的预测关系；
输入模块，用于将所述三元组数据输入预先训练好的分析模型中，以确定所述待分析的对抗场景的语义信息分析结果；
分析模型，包括设置有执行优先级的多个算符网络，所述多个算符网络分别用于分析不同类型的关系；任一算符网络的处理过程包括：根据自身处理的关系类型，从所述多个目标节点中选出符合该关系类型的所有节点对，确定所有节点对各自的处理数据；对所有节点对的处理数据进行处理，并根据处理得到的处理结果对所述图数据结构中的标注进行更新；其中，优先级在后的算符网络对应的节点对的处理数据中包括优先级在前的算符网络的处理结果，任一算符网络的所述处理结果包括：在该算符网络对应的关系类型中，所有节点对各自的真实关系，以及所述真实关系的置信度与描述值；
结果确定模块，用于根据所有算符网络的处理结果更新后的所述图数据结构表征待分析的对抗场景的语义信息分析结果。
CN202210573996.XA 2022-05-25 2022-05-25 基于目标-属性-关系的对抗场景语义分析方法以及装置 Active CN114818734B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210573996.XA CN114818734B (zh) 2022-05-25 2022-05-25 基于目标-属性-关系的对抗场景语义分析方法以及装置
PCT/CN2023/106625 WO2023227141A1 (zh) 2022-05-25 2023-07-10 基于目标-属性-关系的对抗场景语义分析方法以及装置
US18/238,545 US11915161B2 (en) 2022-05-25 2023-08-28 Method and apparatus for semantic analysis on confrontation scenario based on target-attribute-relation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210573996.XA CN114818734B (zh) 2022-05-25 2022-05-25 基于目标-属性-关系的对抗场景语义分析方法以及装置

Publications (2)

Publication Number Publication Date
CN114818734A CN114818734A (zh) 2022-07-29
CN114818734B true CN114818734B (zh) 2023-10-31

Family

ID=82516702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210573996.XA Active CN114818734B (zh) 2022-05-25 2022-05-25 基于目标-属性-关系的对抗场景语义分析方法以及装置

Country Status (3)

Country Link
US (1) US11915161B2 (zh)
CN (1) CN114818734B (zh)
WO (1) WO2023227141A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114818734B (zh) * 2022-05-25 2023-10-31 清华大学 基于目标-属性-关系的对抗场景语义分析方法以及装置
CN117408679B (zh) * 2023-12-14 2024-03-22 北京星汉博纳医药科技有限公司 一种运维场景信息的处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611409A (zh) * 2020-06-17 2020-09-01 中国人民解放军国防科技大学 一种融入场景知识的事例分析方法及相关设备
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2847404B1 (fr) * 2002-11-15 2005-03-11 Thales Sa Procede d'analyse recursive et statistique de communications reseaux
CN101425065B (zh) * 2007-10-31 2013-01-09 日电（中国）有限公司 实体关系挖掘设备和方法
US20120137367A1 (en) * 2009-11-06 2012-05-31 Cataphora, Inc. Continuous anomaly detection based on behavior modeling and heterogeneous information analysis
CN111274812B (zh) * 2018-12-03 2023-04-18 阿里巴巴集团控股有限公司 一种人物关系识别方法、设备及存储介质
CN113568983B (zh) * 2021-02-05 2023-11-10 腾讯科技（深圳）有限公司 场景图生成方法、装置、计算机可读介质及电子设备
CN113392781A (zh) * 2021-06-18 2021-09-14 山东浪潮科学研究院有限公司 一种基于图神经网络的视频情感语义分析方法
CN114239834B (zh) * 2021-11-17 2022-07-19 中国人民解放军军事科学院国防科技创新研究院 基于多轮对抗属性共享的对手关系推理方法和装置
CN114818734B (zh) * 2022-05-25 2023-10-31 清华大学 基于目标-属性-关系的对抗场景语义分析方法以及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN111611409A (zh) * 2020-06-17 2020-09-01 中国人民解放军国防科技大学 一种融入场景知识的事例分析方法及相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adaptive Hierarchical Multinomial Latent Model With Hybrid Kernel Function for SAR Image Semantic Segmentation;Yiping Duan et al.;《IEEE Transactions on Geoscience and Remote Sensing》;第56卷(第10期);全文 *
融合对抗训练的端到端知识三元组联合抽取;黄培馨 等;计算机研究与发展(第12期);全文 *

Also Published As

Publication number Publication date
CN114818734A (zh) 2022-07-29
WO2023227141A1 (zh) 2023-11-30
US11915161B2 (en) 2024-02-27
US20240013075A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
CN114818734B (zh) 基于目标-属性-关系的对抗场景语义分析方法以及装置
Miller et al. Dropout sampling for robust object detection in open-set conditions
CN109447149B (zh) 一种检测模型的训练方法、装置及终端设备
Bendale et al. Towards open set deep networks
CN110134774B (zh) 一种基于注意力决策的图像视觉问答模型、方法和***
CN110472090A (zh) 基于语义标签的图像检索方法以及相关装置、存储介质
CN108062574B (zh) 一种基于特定类别空间约束的弱监督目标检测方法
US10176364B2 (en) Media content enrichment using an adapted object detector
CN110210335B (zh) 一种行人重识别学习模型的训练方法、***和装置
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
Yar et al. Optimized dual fire attention network and medium-scale fire classification benchmark
Beikmohammadi et al. SWP-LeafNET: A novel multistage approach for plant leaf identification based on deep CNN
CN111586728B (zh) 一种面向小样本特征的异构无线网络故障检测与诊断方法
CN113743509A (zh) 一种基于不完全信息的在线作战意图识别方法及装置
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
Chu et al. Adversarial alignment for source free object detection
CN111597376B (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
CN117131436A (zh) 面向开放环境的辐射源个体识别方法
CN116630749A (zh) 工业设备故障检测方法、装置、设备以及存储介质
CN114494819B (zh) 一种基于动态贝叶斯网络的抗干扰红外目标识别方法
Pereira et al. Assessing active learning strategies to improve the quality control of the soybean seed vigor
CN115205606A (zh) 一种图像的多标签分类的方法、装置及相关产品
CN115909027A (zh) 一种态势估计方法及装置
CN112929380B (zh) 结合元学习与时空特征融合的木马通信检测方法及***
Herout et al. EnMS: Early non-maxima suppression: Speeding up pattern localization and other tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230403

Address after: 100084 No. 1 Tsinghua Yuan, Beijing, Haidian District

Applicant after: TSINGHUA University

Applicant after: NANTONG RESEARCH INSTITUTE FOR ADVANCED COMMUNICATION TECHNOLOGIES Co.,Ltd.

Address before: 100084 No. 1 Tsinghua Yuan, Beijing, Haidian District

Applicant before: TSINGHUA University

GR01 Patent grant
GR01 Patent grant