CN114265952B - 一种目标检索方法和装置 - Google Patents

Abstract

本申请实施例公开了一种目标检索方法和装置，该方法可以包括：获取对预设的信息检索数据库进行信息检索时输入的结构化特征信息；根据所述输入的结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的全部半结构化特征信息，作为待检索的热数据；获取第二预设时段和第二预设范围内的全部摄像机的实时视频流；获取所述实时视频流中可能目标的半结构化特征信息；将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标。通过该实施例方案，减少了人力消耗，提高了检索效率。

Description

一种目标检索方法和装置

技术领域

本申请实施例涉及图像检索技术，尤指一种目标检索方法和装置。

背景技术

在人员搜索过程中，信息提供人员通常只能对特定目标人物提供部分结构化的信息，比如该特定目标人物是否戴眼镜、性别、大致年龄等结构化的信息。然后相关技术人员从历史数据库中根据这些结构化的信息去查找该特定目标人物的活动时间和地区范围内的信息，同时会实时关注相关区域摄像机采集的实时视频图像，看到该特定目标人物后以便及时对该特定目标人物采取相关措施。这个过程比较消耗人力，效率比较低。

发明内容

本申请实施例提供了一种目标检索方法和装置，能够减少人力消耗，提高检索效率。

本申请实施例提供了一种目标检索方法，所述方法可以包括：

获取对预设的信息检索数据库进行信息检索时输入的结构化特征信息；

根据所述输入的结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的半结构化特征信息，作为待检索的热数据；

获取第二预设时段和第二预设范围内的摄像机的实时视频流；

获取所述实时视频流中可能目标的半结构化特征信息；

将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标。

在本申请的示例性实施例中，预先获取所述信息检索数据库，可以包括：

获取预设场合的全部摄像机的拍摄视频；

对所述拍摄视频中的全部预设对象进行定位和分类，并分别获取每个所述预设对象的图像；所述预设对象包括：人物和/或车辆；

对全部所述预设对象的图像进行特征向量提取，获取全部所述预设对象的半结构化特征信息；

对全部所述预设对象的半结构化特征信息进行结构化分析，获取全部所述预设对象的结构化特征信息；

将全部所述预设对象的半结构化特征信息和结构化特征信息与相应的预设对象对应存入预设数据库中，获取所述信息检索数据库。

在本申请的示例性实施例中，所述第一预设时段可以包括：事发时段和/或事发前时段，所述第一预设范围可以包括：事发范围和/或所述事发范围以外预设距离内的范围；

所述根据所述输入的结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的半结构化特征信息，包括：

根据所述输入的结构化特征信息中包含的事发时段和事发范围确定出待搜索的第一预设时段和第一预设范围；所述第一预设时段包括第一子预设时段和/或第二子预设时段；所述第一预设范围包括：第一子预设范围和/或第二子预设范围；

获取所述第一子预设时段和所述第一子预设范围内的第一拍摄视频内的全部半结构化特征信息；和/或，获取所述第二子预设时段和所述第二子预设范围内的第二拍摄视频内的全部半结构化特征信息；

其中，所述第一子预设时段与所述事发时段的时长差小于所述第二子预设时段与所述事发时段的时长差；所述第一子预设范围与所述事发范围的距离差小于所述第二子预设范围与所述事发范围的距离差。

在本申请的示例性实施例中，所述获取所述实时视频流中可能目标的半结构化特征信息，可以包括：

对所述实时视频流中的可能目标进行定位，并获取每个所述可能目标的图像；所述可能目标包括：人物和/或车辆；

对所述可能目标的图像进行特征向量提取，获取所述可能目标的半结构化特征信息。

在本申请的示例性实施例中，所述将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标，可以包括：

将所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数进行比对；

检测所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值是否满足预设要求；

根据对所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值的检测结果确定所述可能目标是否为检索目标；

其中，所述预设参数包括：欧氏距离和/或余弦距离。

在本申请的示例性实施例中，所述根据对所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值的检测结果确定所述可能目标是否为检索目标，可以包括：

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值小于第一预设阈值时，判定该热数据中的半结构化特征信息对应的预设对象为所述检索目标；

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值大于或等于第一预设阈值时，判定该热数据中的半结构化特征信息对应的预设对象不是所述检索目标。

在本申请的示例性实施例中，所述方法还可以包括：

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值小于第一预设阈值时，对获取的全部所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值大小进行排序；

根据所述差值的排序结果确定所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息的相似度排序，其中，所述差值越小，所述相似度越大。

在本申请的示例性实施例中，将所述热数据加载入预设的热数据内存集群中，可以包括：

从最近日期的热数据开始，将所述热数据按照轮询的方式在多个不同的集群节点之间逐次加载，直至全部所述集群节点均加载到内存上限；其中，每个集群节点具有唯一对应的节点标识；全部所述节点标识对应的编号依次递增；

对于所述信息检索数据库中新加入的符合所述第一预设时段和所述第一预设范围内的拍摄视频的图像，在加入所述信息检索数据库第一预设时长以后，将新加入的图像对应的半结构化特征信息加载入所述热数据内存集群中；所述第一预设时长为从采集所述新加入的图像到完成结构化所需时间周期T1的正整数倍λ；以及，

所述热数据内存集群中存储的热数据的替换周期W满足：W＝min(λT1，T2)；T2为热数据内存集群中的一个集群节点从零内存开始加载到被加载到内存上限所需时长。

在本申请的示例性实施例中，所述方法还可以包括：

当所述输入的结构化特征信息包含检索目标的颜色，并且所述检索目标的颜色能够被环境中的灯光颜色覆盖时，获取全部摄像机的环境灯光颜色信息，根据预设方案将输入的所述检索目标的颜色扩展为原色及可能色；

从所述信息检索数据库中检索与扩展后的检索目标颜色对应图像的半结构化特征信息，作为所述热数据加入预设的热数据内存集群中。

在本申请的示例性实施例中，所述连续性特征信息可以包括以下任意一种或多种：时间、范围以及年龄；

所述环境相关性特征信息可以包括：颜色；

所述具有可操作性的特征信息可以包括：车牌。

本申请实施例还提供了一种目标检索装置，可以包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现所述的目标检索方法。

与相关技术相比，本申请实施例可以包括：获取对预设的信息检索数据库进行信息检索时输入的结构化特征信息；根据所述第一结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的半结构化特征信息，作为待检索的热数据；获取第二预设时段和第二预设范围内的摄像机的实时视频流；获取所述实时视频流中可能目标的半结构化特征信息；将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标。通过该实施例方案，减少了人力消耗，提高了检索效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例的目标检索方法流程图；

图2为本申请实施例的预先获取信息检索数据库的方法流程图；

图3为本申请实施例的根据第一结构化特征信息中包含的时间信息和范围信息从信息检索数据库中获取第一预设时段和第一预设范围内的半结构化特征信息的方法流程图；

图4为本申请实施例的将可能目标的半结构化特征信息与热数据中的半结构化特征信息进行比对，根据比较结果确定可能目标是否为检索目标的方法流程图；

图5为本申请实施例的目标检索装置组成框图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

本申请实施例提供了一种目标检索方法，如图1所示，所述方法可以包括步骤S101-S105：

S101、获取对预设的信息检索数据库进行信息检索时输入的结构化特征信息；

S102、根据所述输入的结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的半结构化特征信息，作为待检索的热数据；

S103、获取第二预设时段和第二预设范围内的摄像机的实时视频流；

S104、获取所述实时视频流中可能目标的半结构化特征信息；

S105、将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标。

在本申请的示例性实施例中，下面对结构化特征信息和半结构化特征信息进行说明：

半结构化特征信息：对于图像特征来说，可以是指通过图像识别算法提取出的一组代表了图像本身的数据，这些数据一般是半结构化数据，可以作为图像的半结构化特征信息，占用空间比原始图像少，可通过匹配的比对算法计算两张图片的相似度；

结构化特征信息：指的是明确的目标属性，例如汽车的颜色、车型等，行人是否戴眼镜、性别、衣着颜色等。

当前，摄像机采集的视频会录入中心服务器，而中心服务器会将视频图像中出现的人车物目标进行解析，先是利用机器视觉定位图像中的目标，然后生成对应的特征向量，例如每个人脸会经过深度神经网络生成对应的特征向量；再然后经过其他多个神经网络分别识别性别、年龄区段、是否戴眼镜等详细的结构化属性。

显然，上述解析的结果中，若需要利用实时视频数据进行目标人的比对和预警，利用人脸所对应的特征向量这种半结构化信息进行比对，是最具有针对性，也是最快捷的。而其他信息需要进行组合，且覆盖面过大，针对性较弱。但是，信息提供者通常只能提供结构化的信息，这就给实时预警带来了困难。

在本申请的示例性实施例中，基于以上问题，本申请实施例方案通过从用户人工检索所输入的结构化信息中感知用户的需求，结合***智能处理的结果，将用户的结构化检索信息转化成半结构化的特征信息，作为热数据加载至服务器的热数据内存集群，通过实时比对来自摄像机的实时视频中出现的目标的半结构化特征信息，实现实时预警。

在本申请的示例性实施例中，如图2所示，预先获取所述信息检索数据库，可以包括步骤S201-S205：

S201、获取预设场合的全部摄像机的拍摄视频；

S202、对所述拍摄视频中的全部预设对象进行定位和分类，并分别获取每个所述预设对象的图像；所述预设对象包括：人物和/或车辆；

S203、对全部所述预设对象的图像进行特征向量提取，获取全部所述预设对象的半结构化特征信息；

S204、对全部所述预设对象的半结构化特征信息进行结构化分析，获取全部所述预设对象的结构化特征信息；

S205、将全部所述预设对象的半结构化特征信息和结构化特征信息与相应的预设对象对应存入预设数据库中，获取所述信息检索数据库。

在本申请的示例性实施例中，中心服务器可以接入来自众多公共场合的摄像机的拍摄视频，对视频图像中出现的人物和/或车辆等预设对象进行智能定位，生成特定的神经网络模型下的半结构化特征信息(即上述的作为热数据的半结构化特征信息)；并且对各个预设对象的半结构化特征信息进行结构化解析，生成结构化特征信息(即上述的预设对象的结构化特征信息，也可以称为，属性信息)，用数据库保存每个预设对象的半结构化特征信息和结构化特征信息，作为信息检索数据库。

在本申请的示例性实施例中，该特定的神经网络模型可以为深度学习神经网络模型，中心服务器可以通过深度学习神经网络模型对视频图像进行预设对象检测和特征提取，对视频图像出现的感兴趣的预设对象(如人、车目标)经过定位和分类后，通过深度学习神经网络模型提取相应的特征向量(即半结构化特征信息)，特征向量通常为1*128或1*256的实数向量，不同的预设对象经过深度学习神经网络模型的嵌入映射会获得不同的特征向量。对于视频图像中出现的预设对象，例如行人，除了生成对应的半结构化特征信息之外，也会生成结构化的属性信息，例如性别、年龄段、是否带眼镜等。

在本申请的示例性实施例中，对于通过深度学习神经网络模型生成的半结构化特征信息，可以通过Parquet文件并根据日期进行分区存储；对于海量的已经结构化的属性信息(即结构化特征信息)，可以通过HBase+ElasticSearch进行存储；ElasticSearch与Parquet文件中可以返回RecordID，该RecordID可以与HBase的Rowkey进行双向转换。

在本申请的示例性实施例中，针对视频图像存在多个预设对象的原始图片(如既存在机动车又存在行人)，其HDFS(Hadoop分布式文件***)文件持久化操作与上述内容保持一致，对于图片上存在的每个对象图像分别提取特征向量并进行存储，但每个特征向量都关联到原始图片的同一个RecordID。

在本申请的示例性实施例中，用户利用结构化的属性信息查找信息检索数据库时，***可以分析用户的检测需求，并从信息检索数据库中搜索特定时间和地区范围内的相关目标半结构化特征数据，将这些半结构化数据作为热数据。

在本申请的示例性实施例中，用户在输入属性信息进行目标检索时，可以基于属性的连续性特征和场景特点，动态扩展属性信息，从而可以从信息检索数据库中获得更多合理的热数据。

在本申请的示例性实施例中，所述方法还可以包括：

当所述输入的结构化特征信息包含连续性特征信息时，对所述连续性特征信息进行扩展后从所述信息检索数据库中获取相应的半结构化特征信息；所述连续性特征信息可以包括但不限于以下任意一种或多种：时间、范围以及年龄；

当所述输入的结构化特征信息包含环境相关性特征信息时，对所述环境相关性特征信息根据实际环境信息进行变换扩展后从所述信息检索数据库中获取相应的半结构化特征信息；所述环境相关性特征信息可以包括但不限于：颜色；

当所述第一结构化特征信息包含具有可操作性的特征信息时，对所述具有可操作性的特征信息进行忽略，或者作为二次搜索信息从所述信息检索数据库中获取相应的半结构化特征信息；所述具有可操作性的特征信息可以包括但不限于：车牌。

在本申请的示例性实施例中，下面对以上情况分别进行说明：

1、基于属性信息的连续特征的相关对象扩充：

在本申请的示例性实施例中，很多时候，用户需要检索时提供的信息不一定精准，或者该时空正好附近没有监控摄像机，例如，事件发生的时间点，事件发生的地点、年龄等。但这些属性具有连续性的特点，可以通过扩展拟合获得近似范围内的可能目标。

在本申请的示例性实施例中，例如，当用户检索时输入“23：00”+“长河路与南环路交叉口”+“中年”的属性信息作为查询条件，则可以将时间范围扩展为“22：00-24：00”，将地点范围扩展为“以长河路与南环路交叉口为中心的半径1公里的地域”，将年龄扩展为“青年、中年、中老年”(有些人看起来偏年轻或成熟)。***分析用户的检测需求，在信息检索数据库中检索符合上述查询条件的目标特征向量(热数据)，将这些半结构化特征信息加载到服务区的热数据内存集群中。

2、基于属性信息的环境影响的相关对象扩充：

在本申请的示例性实施例中，所述方法还可以包括：当所述输入的结构化特征信息包含检索目标的颜色，并且所述检索目标的颜色能够被环境中的灯光颜色覆盖时，获取全部摄像机的环境灯光颜色信息，根据预设方案将输入的所述检索目标的颜色扩展为原色及可能色；(所述环境灯光颜色信息随时间变化时，对应调整所述可能色的集合，或此时减弱颜色识别结果的权重，避免目标错误识别)

从所述信息检索数据库中检索与扩展后的检索目标颜色对应图像的半结构化特征信息，作为所述热数据加入预设的热数据内存集群中。

在本申请的示例性实施例中，有些时候，受环境灯光影响，对象的属性信息(如颜色)会发生偏差，例如，黄色灯光下的白色车辆可能被机器视觉误识别为黄色，则基于城市照明的数据，可以更改或增加颜色属性，从而扩展搜索范围。

在本申请的示例性实施例中，例如，当用户输入“白色”+“小型车”+“23：00”+“长河路与南环路交叉口”，***基于城市照明数据信息发现该地点的路灯为黄色，但附近一公里范围内的灯光有白色和蓝色，则将车身颜色扩展为“白色或黄色或蓝色”。***分析用户的检测需求，检索符合上述查询条件的目标特征向量(热数据)，将这些半结构化特征信息加载到服务区的热数据内存集群中。

3、基于属性信息的自身可操作性特点的相关对象扩充：

在本申请的示例性实施例中，有些时候，车牌可能遮盖、涂抹或套牌，则基于此类属性信息在搜索对象时可以作为弱选项，从而扩展搜索范围。

在本申请的示例性实施例中，例如，当用户输入“车牌浙AXXXXX”+“白色”+“小型车”，因为存在套牌和涂抹的可能性，***在检索对象时，可以将车牌信息暂时忽略，然后再在搜索的结果中基于车牌信息进行二次检索，将车牌信息一致的对象的半结构化特征信息排在前面，其余排在后面。当热数据内存集群的内存空间不足时，可以优先加载排名在前的半结构化特征信息。

在本申请的示例性实施例中，基于属性的连续性特征、基于环境数据、基于属性特点的动态扩展对象搜索范围，从而获得了更多合理的半结构化的特征信息。

在本申请的示例性实施例中，为了使热数据支持更快的检索效率(实际***存储记录通常是以亿计的海量数据)，可以通过构建一套基于内存的集群来分布式加载热数据，可以称为热数据内存集群，获取的热数据可以加载到服务区的热数据内存集群中。

在本申请的示例性实施例中，当用户检索时输入“中年”+“男性”+“带眼镜”的属性信息作为查询条件时，就意味着该用户关心具备上述特征的人员。***分析用户的检测需求，在信息检索数据库中检索符合上述查询条件的半结构化的特征向量(即作为热数据的半结构化特征信息)，将这些半结构化特征信息加载到服务区的热数据内存集群中。考虑到符合要求的特征向量会太多，可以进一步地智能限定检索的时间和空间信息。

在本申请的示例性实施例中，所述第一预设时段可以包括：事发时段和/或事发前时段，所述第一预设范围可以包括：事发范围和/或所述事发范围以外预设距离内的范围。

在本申请的示例性实施例中，如图3所示，所述根据所述输入的结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的半结构化特征信息，可以包括步骤S301-S302：

S301、根据所述输入的结构化特征信息中包含的事发时段和事发范围确定出待搜索的第一预设时段和第一预设范围；所述第一预设时段包括第一子预设时段和/或第二子预设时段；所述第一预设范围包括：第一子预设范围和/或第二子预设范围；

S302、获取所述第一子预设时段和所述第一子预设范围内的第一拍摄视频内的全部半结构化特征信息；和/或，获取所述第二子预设时段和所述第二子预设范围内的第二拍摄视频内的全部半结构化特征信息；其中，所述第一子预设时段与所述事发时段的时长差小于所述第二子预设时段与所述事发时段的时长差；所述第一子预设范围与所述事发范围的距离差小于所述第二子预设范围与所述事发范围的距离差。

在本申请的示例性实施例中，最简单的检索方法是输入事发时段(如前述的第一预设时段，该第一预设时段也可以包含事发前时段)的信息，将检索目标可能的活动半径(如前述的第一预设范围)内所有摄像机的拍摄视频分析出来的半结构化特征信息加载至热数据内存集群中。

在本申请的示例性实施例中，更精细的检索方法是***根据时间梯度对可能活动半径内各个摄像机分别设定检索起始时间(如第一子预设时段和第二子预设时段)和检索范围(如第一子预设范围和第二子预设范围)，使得靠近事发地点的摄像机检索起始时间接近事发时间点，随着半径的增加，检索时间实现递增。

在本申请的示例性实施例中，例如，案件发生地A1，时间点T3，则热数据的选取方式可以包括：以A1为中心，对于半径1公里范围内的所有摄像机，选取[T3，T3+1]时间段(单位可以为小时)内的拍摄视频所分析出来的特征向量(即作为热数据的半结构化特征信息)；以A1为中心，对于半径1公里至2公里范围内的所有摄像机，选取[T3+1，T3+2]时间段内的拍摄视频所分析出来的特征向量(即作为热数据的半结构化特征信息)，以此类推。这主要是考虑到在不丢失检索目标的前提下，尽量减少非关联特征向量导入到热数据内存集群中，从而减少计算量。

在本申请的示例性实施例中，将所述热数据加载入预设的热数据内存集群中，可以包括：

从最近日期的热数据开始，将所述热数据按照轮询的方式在多个不同的集群节点之间逐次加载，直至全部所述集群节点均加载到内存上限；其中，每个集群节点具有唯一对应的节点标识；全部所述节点标识对应的编号依次递增；和/或，

对于所述信息检索数据库中新加入的符合所述第一预设时段和所述第一预设范围内的拍摄视频的图像，在加入所述信息检索数据库第一预设时长以后，将新加入的图像对应的半结构化特征信息加载入所述热数据内存集群中；所述第一预设时长为从采集所述新加入的图像到完成结构化所需时间周期T1的正整数倍λ。

在本申请的示例性实施例中，所述热数据内存集群中存储的热数据的替换周期W可以满足：W＝min(λT1，T2)；T2为热数据内存集群中的一个集群节点从零内存开始加载到被加载到内存上限所需时长。

在本申请的示例性实施例中，热数据在热数据内存集群的各个集群节点中的数据均衡分配和不重复写入，对于内存资源和检索高效运行十分重要，因此，热数据向热数据内存集群中的加载之前可以设置每个热数据内存集群中可以包括多个分布式的集群节点，每个集群节点可以具有NodeID(节点标识)，该NodeID在一个热数据内存集群中唯一并从0开始递增编号，热数据内存集群的节点总数为NodeNum。对于生成的热数据，按照最新数据优先加载的原则，每个集群节点从最近日期开始加载特征向量(即作为热数据的半结构化特征信息)，加载过程可以按照轮询的方式在多个不同的集群节点之间逐次加载，即，从最新数据开始加载，依次在每个集群节点中加载入一定量的热数据；具体可以按照下述计算式规则执行：RecordID％NodeNum＝＝本NodeID；其中，RecordID为记录的关键字；％为取余数。

在本申请的示例性实施例中，为了避免每个集群节点的内存数据超出预设规格，加载时数据条数取预设规格减去内存实际加载条数的最近时间热数据到内存。

在本申请的示例性实施例中，上述操作可使符合条件的热数据加载到热数据内存集群中，并做到各集群节点均分预设规格内的数据且不重复。热数据内存集群内的热数据更新过程中，根据服务器计算性能，可考虑在λT1时长后，将根据结构化的数据按条件生成的新的特征向量(即作为热数据的半结构化特征信息)加载到热数据内存群集内；其中，λ的取值需考虑内存换进换出的影响；T1可以为实时接收的众多视频图像从采集到完成结构化所需时间周期，λ为预设的正整数。

在本申请的示例性实施例中，实时拍摄视频的图像数据不可能等到热数据内存集群的下一个内存加载周期再提供检索，因此，接收的拍摄视频的图像数据放如热数据内存集群的预设内存中，每隔一段时间(如2分钟)与热数据比对，进行目标检测。如果有一个集群节点内存里存储的热数据达到内存上限，可以启动全局内存清理，按照数据生成的时间将最老的一部分数据清理出内存。一个集群节点被加载到内存达到规模上限历时可以为T2时长。

在本申请的示例性实施例中，热数据的替换周期(W)＝min(λT1，T2)。热数据替换加载越频繁，热数据内存集群中符合条件的特征向量占比越高，但内存换进换出的影响也越大。

在本申请的示例性实施例中，通过热数据内存集群内热数据的生命周期管理，维护热数据的新鲜度，使得热数据内存集群里的热数据动态反映检索需求和最近时间的实时数据。

在本申请的示例性实施例中，所述获取所述实时视频流中可能目标的半结构化特征信息，可以包括：

对所述实时视频流中的可能目标进行定位，并获取每个所述可能目标的图像；所述可能目标包括：人物和/或车辆；

对所述可能目标的图像进行特征向量提取，获取所述可能目标的半结构化特征信息。

在本申请的示例性实施例中，服务器可以实时分析来自相关时段和范围内的摄像机的实时视频流(例如第二预设时段和第二预设范围内的全部摄像机的实时视频流)，生成特定神经网络模型下的半结构化特征信息(即可能目标的半结构化特征信息)，将这些第二半结构化特征信息与热数据内存集群中的热数据(即半结构化特征信息)进行比较，若判断是否为同一目标，向管理平台客户端进行报警。

在本申请的示例性实施例中，第二预设时段可以为事发后时段，第二预设范围可以为事发范围以及事发范围以外的预设距离内的范围。

在本申请的示例性实施例中，如图4所示，所述将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标，可以包括步骤S401-S403：

S401、将所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数进行比对；

S402、检测所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值是否满足预设要求；

S403、根据对所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值的检测结果确定所述可能目标是否为检索目标；

其中，所述预设参数包括：欧氏距离和/或余弦距离。

在本申请的示例性实施例中，所述根据对所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值的检测结果确定所述可能目标是否为检索目标，可以包括：

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值小于第一预设阈值时，判定该热数据中的半结构化特征信息对应的预设对象为所述检索目标；

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值大于或等于第一预设阈值时，判定该热数据中的半结构化特征信息对应的预设对象不是所述检索目标。

在本申请的示例性实施例中，所述方法还可以包括：

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值小于第一预设阈值时，对获取的全部所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值大小进行排序；

根据所述差值的排序结果确定所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息的相似度排序，其中，所述差值越小，所述相似度越大。

在本申请的示例性实施例中，可以将通过分析来自摄像机的实时视频流中出现的可能目标获取的实时特征向量(即可能目标的半结构化特征信息)作为检索请求发送到接受检索请求的集群节点。该集群节点可以并行分发检索请求给热数据内存集群中的各个集群节点，每个集群节点内部采用多线程的方式在集群节点内部进行比对过滤(可能目标的半结构化特征信息与热数据中的半结构化特征信息)，并按照相似度高低进行排序，返回给接受检索请求的集群节点，由接受检索请求的集群节点进行汇总，并重新对比对结果获得的相似度进行排序后分页返回最终排序数据。

在本申请的示例性实施例中，本申请实施例方案对用户结构化属性信息检索的输入分析，结合历史视频分析结果，智能选取对应的半结构化特征信息，将这些半结构化特征信息作为热数据加载至热数据内存集群，并基于所选取的热数据实现对实时视频流的半结构化特征信息的比对，达到目标预警效果，即节省了人工分析的工作量，又提高了目标监控的实时性。

本申请实施例还提供了一种目标检索装置1，如图5所示，可以包括处理器11和计算机可读存储介质12，所述计算机可读存储介质12中存储有指令，当所述指令被所述处理器11执行时，实现所述的目标检索方法。

在本申请的示例性实施例中，前述的目标检索方法实施例中的任意实施例均可以适用于该装置实施例中，在此不再一一赘述。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (9)

1.一种目标检索方法，其特征在于，所述方法包括：

获取对预设的信息检索数据库进行信息检索时输入的结构化特征信息；

根据所述输入的结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的热数据中的半结构化特征信息，作为待检索的热数据；

获取第二预设时段和第二预设范围内的摄像机的实时视频流；

获取所述实时视频流中可能目标的半结构化特征信息；

将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标；

当所述输入的结构化特征信息包含检索目标的颜色，并且所述检索目标的颜色能够被环境中的灯光颜色覆盖时，获取全部摄像机的环境灯光颜色信息，根据预设方案将输入的所述检索目标的颜色扩展为原色及可能色；

从所述信息检索数据库中检索与扩展后的检索目标颜色对应图像的半结构化特征信息，作为所述热数据加入预设的热数据内存集群中；

当所述结构化特征信息为第一结构化特征信息，所述第一结构化特征信息包含具有可操作性的特征信息时，对所述具有可操作性的特征信息进行忽略，或者作为二次搜索信息从所述信息检索数据库中获取相应的半结构化特征信息；所述具有可操作性的特征信息包括但不限于：车牌。

2.根据权利要求1所述的目标检索方法，其特征在于，预先获取所述信息检索数据库，包括：

获取预设场合的全部摄像机的拍摄视频；

对所述拍摄视频中的全部预设对象进行定位和分类，并分别获取每个所述预设对象的图像；所述预设对象包括：人物和/或车辆；

对全部所述预设对象的图像进行特征向量提取，获取全部所述预设对象的半结构化特征信息；

对全部所述预设对象的半结构化特征信息进行结构化分析，获取全部所述预设对象的结构化特征信息；

将全部所述预设对象的半结构化特征信息和结构化特征信息与相应的预设对象对应存入预设数据库中，获取所述信息检索数据库。

3.根据权利要求1所述的目标检索方法，其特征在于，所述第一预设时段包括：事发时段和/或事发前时段，所述第一预设范围包括：事发范围和/或所述事发范围以外预设距离内的范围；

所述根据所述输入的结构化特征信息中包含的时间信息和范围信息从所述信息检索数据库中获取第一预设时段和第一预设范围内的半结构化特征信息，包括：

根据所述输入的结构化特征信息中包含的事发时段和事发范围确定出待搜索的第一预设时段和第一预设范围；所述第一预设时段包括第一子预设时段和/或第二子预设时段；所述第一预设范围包括：第一子预设范围和/或第二子预设范围；

获取所述第一子预设时段和所述第一子预设范围内的第一拍摄视频内的全部半结构化特征信息；和/或，获取所述第二子预设时段和所述第二子预设范围内的第二拍摄视频内的全部半结构化特征信息；

其中，所述第一子预设时段与所述事发时段的时长差小于所述第二子预设时段与所述事发时段的时长差；所述第一子预设范围与所述事发范围的距离差小于所述第二子预设范围与所述事发范围的距离差。

4.根据权利要求1所述的目标检索方法，其特征在于，所述获取所述实时视频流中可能目标的半结构化特征信息，包括：

对所述实时视频流中的可能目标进行定位，并获取每个所述可能目标的图像；所述可能目标包括：人物和/或车辆；

对所述可能目标的图像进行特征向量提取，获取所述可能目标的半结构化特征信息。

5.根据权利要求1所述的目标检索方法，其特征在于，所述将所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息进行比对，根据比较结果确定所述可能目标是否为检索目标，包括：

将所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数进行比对；

检测所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值是否满足预设要求；

根据对所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值的检测结果确定所述可能目标是否为检索目标；

其中，所述预设参数包括：欧氏距离和/或余弦距离。

6.根据权利要求5所述的目标检索方法，其特征在于，所述根据对所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值的检测结果确定所述可能目标是否为检索目标，包括：

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值小于第一预设阈值时，判定该热数据中的半结构化特征信息对应的预设对象为所述检索目标；

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值大于或等于第一预设阈值时，判定该热数据中的半结构化特征信息对应的预设对象不是所述检索目标。

7.根据权利要求6所述的目标检索方法，其特征在于，所述方法还包括：

当所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值小于第一预设阈值时，对获取的全部所述可能目标的半结构化特征信息的预设参数与所述热数据中的半结构化特征信息的预设参数的差值大小进行排序；

根据所述差值的排序结果确定所述可能目标的半结构化特征信息与所述热数据中的半结构化特征信息的相似度排序，其中，所述差值越小，所述相似度越大。

8.根据权利要求1-7任意一项所述的目标检索方法，其特征在于，将所述热数据加载入预设的热数据内存集群中，包括：

从最近日期的热数据开始，将所述热数据按照轮询的方式在多个不同的集群节点之间逐次加载，直至全部所述集群节点均加载到内存上限；

对于所述信息检索数据库中新加入的符合所述第一预设时段和所述第一预设范围内的拍摄视频的图像，在加入所述信息检索数据库第一预设时长以后，将新加入的图像对应的半结构化特征信息加载入所述热数据内存集群中；所述第一预设时长为从采集所述新加入的图像到完成结构化所需时间周期T1的正整数倍λ。

9.一种目标检索装置，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令被所述处理器执行时，实现如权利要求1-8任意一项所述的目标检索方法。

Images