CN109993045B - 物品查找方法及查找装置、查找***和机器可读存储介质 - Google Patents

Abstract

本申请提供一种基于视频的物品查找方法及查找装置、查找***和机器可读存储介质，该查找方法包括：从摄像设备采集到的视频中识别出一个或多个物品；保存识别出的物品的物品信息；当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与查找指令匹配的目标物品信息，该方法可以提高物品查找效率。

Description

物品查找方法及查找装置、查找***和机器可读存储介质

技术领域

本申请涉及图像处理技术，尤其涉及基于视频的物品查找方法及查找装置、查找***和机器可读存储介质。

背景技术

目前的物品识别是基于射频识别(RFID：Radio Frequency Identification)技术实现的，具体原理为：在物品上设置射频芯片，射频芯片中记录物品的识别码和与物品相关的信息，通过扫描装置扫描射频芯片可识别出射频芯片中记录的物品的识别码，最终达到实现物品识别的目的。

基于射频识别技术可对放在固定位置的物品进行识别，但是当物品丢失或者被遗忘放置位置时，通常只能人工查找，人工查找的效率不高。

发明内容

有鉴于此，本申请提供一种基于视频的物品查找方法。

具体地，本申请是通过如下技术方案实现的：

根据本发明实施例的第一方面，提供一种基于视频的物品查找方法，所述方法包括：

从摄像设备采集到的视频中识别出一个或多个物品；

保存识别出的物品的物品信息；

当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息。

可选的，所述保存识别出的物品的物品信息，包括：

以识别出的物品的组合描述信息为查找条件，从已保存的物品信息中查找与所述识别出的物品的组合描述信息匹配的物品信息；

若未查找，则保存识别出的物品的物品信息；

若查找到，判断识别出的物品的物品位置是否发生变化，如果是，则保存识别出的物品的物品信息，如果否，则将查找到的物品信息中的物品出现时间替换为最新识别出物品的时间并保存。

可选的，所述判断识别出的物品的位置是否发生变化，包括：

判断识别出的物品的坐标或者物品的特征码与查找到的物品信息中的物品的坐标或者物品的特征码是否相同，

如果不相同，则确定识别出的物品的位置发生变化；

如果相同，则确定识别出的物品的位置未发生变化。

可选的，所述从已保存的物品信息中查找与所述查找指令匹配的目标物品信息包括：

对所述查找指令携带的目标物品的图片进行图像识别，获取目标物品的描述信息；

以所述目标物品的描述信息为查找条件，从已保存的物品信息中查找与所述目标物品的描述信息匹配的目标物品信息。

可选的，所述从已保存的物品信息中查找与所述查找指令匹配的目标物品信息包括：

以所述查找指令中携带的目标物品的描述信息为查找条件，从已保存的物品信息中查找与所述目标物品的描述信息匹配的目标物品信息。

可选的，方法进一步包括：

根据所述目标物品信息向所述客户端反馈所述目标物品的位置信息。

可选的，所述根据目标物品信息向所述客户端反馈所述目标物品的位置信息包括：

根据所述目标物品信息获取目标图片，所述目标图片为呈现目标物品所在位置的图片；

向所述客户端反馈所述目标图片。

可选的，所述根据所述目标物品信息获取目标图片，包括：

从所述目标物品信息中获取图片存储路径信息，所述图片存储路径信息表示目标物品的描述信息与呈现目标物品所在位置的图片的对应关系；

根据所述图片存储路径信息从物品图片库中获取对应的目标图片，所述物品图片库存储有根据摄像设备采集到的视频生成的多张呈现物品所在位置的图片。

可选的，所述向所述客户端反馈所述目标图片，包括：

当所述目标图片为多个时，将所述目标图片按照时间倒序反馈给所述客户端。

可选的，所述当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，包括：

当接收到客户端发送的携带目标物品的名称及其关联物品的名称的查找指令时，以所述目标物品的名称和关联物品的名称为查找条件，从所述物品信息中查找出分别与所述目标物品的名称和关联物品的名称对应的物品信息；

从查找出的所述物品信息中筛选出包含的物品出现时间在预设时间间隔内且包含的摄像设备的标识相同的物品信息，作为与所述查找指令匹配的目标物品信息。

可选的，还包括：

根据与查找指令匹配的所述目标物品信息中的物品出现时间定位起始回放时间；

将从存储的视频录像中调取的所述起始回放时间之后的视频录像反馈给所述客户端，所述存储的视频录像为根据摄像设备采集到的视频生成的。

可选的，所述当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，包括：

当接收到客户端发送的目标物品的多次连续的查找指令时，多次连续的从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，其中每次查找指令中携带的目标物品的描述信息不同，且各次查找指令中的目标物品的描述信息中的摄像设备标识对应的摄像设备位置相邻，各次查找指令中的目标物品的描述信息中的物品出现时间根据反馈给客户端的所述视频录像确定。

可选的，所述从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，包括：

以所述查找指令中携带的目标物品的描述信息为查找条件，从已保存的物品信息中查找包含与采集所述目标物品的摄像设备标识对应位置相邻的摄像设备标识，且包含除目标物品的摄像设备标识以外的描述信息的物品信息，作为目标物品信息。

可选的，在所述根据所述目标物品信息获取目标图片之前，还包括：

获取标明各摄像设备的分布位置和各摄像设备标识的区域地图；

将所述目标图片叠加在所述区域地图上，且所述目标图片位于对应的采集目标物品的摄像设备的分布位置的附近；

所述向所述客户端反馈所述目标图片，包括：

向所述客户端反馈叠加有所述目标图片的区域地图。

可选的，所述查找指令中携带与目标物品相关联的人物的图片，所述人物图片为从反馈给所述客户端的视频录像中截取的。

根据本发明实施例的第二方面，提供一种基于视频的物品查找装置，所述装置包括：

物品识别单元，用于从摄像设备采集到的视频中识别出一个或多个物品；

物品信息保存单元，用于保存识别出的物品的物品信息；

查找指令接收单元，用于当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息。

可选的，该装置还包括：

物品图片库存储单元，用于存储根据摄像设备采集到的视频生成的多张呈现物品所在位置的图片。

根据本发明实施例的第三方面，提供一种一种基于视频的物品查找***，包括：摄像设备和上述所述的物品查找装置，所述摄像设备用于将采集的视频发送给所述物品查找装置。

根据本发明实施例的第四方面，提供一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器执行上述所述的方法。

本发明的上述技术方案，根据采集到的视频识别其中的物品，并保存物品的物品信息，进而，在对目标物品进行查找时，与查找指令匹配的目标物品信息，该目标物品信息可以为与目标物品相关的信息，可以为物品查找提供有用信息，与人工进行查找相比，可以提高物品查找效率。

附图说明

图1是本申请一示例性实施例示出的一种基于视频的物品查找方法的流程图；

图2是本申请又一示例性实施例示出的一种基于视频的物品查找方法的流程图；

图3是本申请另一示例性实施例示出的一种基于视频的物品查找方法的流程图；

图4是本申请又一示例性实施例示出的一种基于视频的物品查找方法的流程图；

图5是本申请另一示例性实施例示出的一种基于视频的物品查找方法的流程图；

图6是本申请一示例性实施例示出的一种标明各摄像设备的分布位置和各摄像设备标识的区域地图的示意图；

图7是本申请另一示例性实施例示出的一种基于视频的物品查找装置的框图；

图8是本申请另一示例性实施例示出的一种服务器的硬件结构图；

图9是本申请另一示例性实施例示出的一种基于视频的物品查找***的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

随着摄像技术和图像识别技术的发展，摄像设备得倒了广泛的应用，例如，可在工作室、家庭、工厂、商场等部署摄像设备，利用摄像设备进行视频采集，利用摄像设备的视频采集功能，本实施例提供一种基于视频的物品查找方法，该方法看可应用于服务器，对于服务器的类型本发明实施例不做限定，可以是各种具备计算能力的服务器。

如图1所示，本发明实施例的物品查找该方法包括以下步骤：

步骤S10、从摄像设备采集到的视频中识别出一个或多个物品；

摄像设备指具有视频采集功能的设备，例如，摄像机、摄像头或者相机等。

摄像设备可进行图像采集，一幅幅单独的图像可称为一帧图像，一帧图像可以认为一幅静止的画面，一系列连续的各帧图像形成视频，摄像设备通常连续采集图像，连续采集的各帧图像通过编码后形成视频码流，可传输给服务器，服务器接收到视频码流后可进行解码进而获取各帧图像。

可将摄像设备部署在所需要的现场中，例如，家庭生活空间、办公场所、公共场所等各种现场中，可根据实际需要部署摄像设备的具***置和数量，现场占用空间较小时可以在合适的位置部署一台摄像设备，如果现场占用空间大或者较为复杂可以在多个位置部署多台摄像设备，例如，在办公场所的各个会议室、办公室和走廊等多个位置和多个方向部署多台摄像设备，各台摄像设备采集的视频均可发送给服务器。

摄像设备可实时采集视频，这里的实时并非指每个时刻，指摄像设备根据自身采集频率连续采集视频，采集的视频包括各帧图像，各帧图像为摄像设备采集的视角范围内的各时刻的场景画面的图像。

图像中可能有各种物品，例如，人、手机、杯子、鼠标、椅子、文件袋、笔等，可通过图像识别算法对视频中的各帧图像进行识别，识别出图像中的一个或多个物品，对于能够识别的物品的种类与采用的图像识别算法有关，本实施例中对于识别出的物品种类并不做限定，可根据对所要识别物品的需求，选择图像识别算法。

步骤S11、保存识别出的物品的物品信息。

通过对视频中物品进行识别可获取各物品的物品信息，该物品信息为与物品相关的信息，例如包括，物品的名称、物品出现时间、物品的个性化信息、物品的坐标(指物品在图像中坐标)、物品的特征码、摄像设备标识(例如摄像识别的ID)等，物品的个性化信息指物品的品牌、型号或者物品的包装信息、物品的装饰物信息等；物品出现时间指物品在视频中的图像的当前位置的出现时间，该出现时间可以根据摄像设备采集视频的各帧图像的时间戳确定。

物品出现时间可能为物品在图像中第一次出现的时间或者物品在图像中非第一次出现的时间，例如，当某一物品第一次出现在摄像设备的所在场景中，此时，通过摄像设备采集的视频的某一帧图像中识别出该物品，则第一次识别出该物品的时间即为物品出现时间，如果该物品持续存在所在场景中，后续也会一直识别到该物品，直到该物品移动到所在场景之外，后续非第一次识别出该物品的时间也为物品出现时间，并且，在保存物品出现时间时，在该物品多次识别出时，每次对该物品出现时间进行更新，以最新识别出该物品的时间替代之前识别出该物品时已保存的物品出现时间，这样可以使保存的物品的物品信息中的物品出现时间为物品在视频中的最新时间，便于对物品进行查找。

步骤S12、当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与查找指令匹配的目标物品信息。

终端中可设置客户端，可在客户端输入目标物品的查找指令。

客户端可以通过APP(应用程序)方式实现，也可以通过SDK(SoftwareDevelopment Kit，软件开发工具包)方式实现，对此实现方式不做限制。终端可以包括各种终端，例如手机、平板电脑、笔记本电脑、台式电脑等。

查找指令可携带目标物品的相关信息，例如，目标物品的名称、型号、品牌等，可以此为关键词从已保存物品信息中检索出与目标物品的信息匹配的物品信息，检索出的物品信息即为目标物品信息，目标物品信息是与目标物品相关的物品信息。

与查找指令匹配的目标物品信息可以为，物品信息中包含上述查找指令中的相关信息的物品信息，或者以相关信息进行模糊匹配，查找到与相关信息相关的物品信息，本实施例中对于具体的匹配方式不做限定。

本实施例的技术方案，根据采集到的视频识别其中的物品，并保存物品的物品信息，进而，在对目标物品进行查找时，与查找指令匹配的目标物品信息，该目标物品信息可以为与目标物品相关的信息，可以为物品查找提供有用信息，与人工进行查找相比，可以提高物品查找效率。

在一个可选的实施方式中，如图2所示，上述步骤S11所述的保存识别出的物品的物品信息，可以包括：

步骤111、以识别出的物品的组合描述信息为查找条件，从已保存的物品信息中查找与所述识别出的物品的描述信息匹配的物品信息；

步骤112、若未查找，则保存识别出的物品的物品信息；

步骤113、若查找到，判断识别出的物品的物品位置是否发生变化，如果是，则保存识别出的物品的物品信息，如果否，则将查找到的物品信息中的物品出现时间替换为最新识别出物品的时间并保存。

在摄像设备采集视频过程中，在摄像设备的视角范围内的场景可能会出现新物品，针对识别出的新物品，由于已保存的物品信息中没有关于该新物品的信息，需要保存该新物品的物品信息，因此，本实施例中根据识别出的物品的组合描述信息为查找条件，描述信息可以包括物品信息中的至少一种信息，该组合描述信息可以包括摄像设备标识(摄像设备ID)、物品名称、物品的个性化信息中的至少两种信息，如果以单一描述信息为查找条件，可能存在与一种描述信息相同的同类物品，造成查找不准确，使保存的物品信息也会存在误差，因此，本实施例中，以组合描述信息为查找条件从已保存的物品信息中查找与该组合描述信息匹配的物品信息，如果没有查找到，说明识别到新物品，进而保存该物品的物品信息。如果查找到，进一步的判断识别出的物品的物品位置是否发生变化。

在采集视频过程中，如果某一物品在一定时间段内处于静止状态，在该物品处于静止状态的时间段内，由于该物品位置未发生变化，在对该物品进行识别时，如果针对各个时刻识别出的该物品的物品信息均保存，会产生大量的重复数据，为避免重复数据，当识别出的该物品的位置发生变化时，则保存识别出的该物品的物品信息，如果识别出的该物品的位置没有发生变化，则只需要以最新识别出的该物品的时间替代查找到的物品信息中的该物品出现时间以保存替代后的该物品的物品信息，也就是对之前已经保存的该物品的物品信息中的物品出现时间更新为最新识别出该物品的时间，即从当前图像中识别出该物品的时间，将该时间作为物品出现时间以保存更新后的该物品的物品信息，可以减小物品信息的数据量，提高查找的速度，并且减小数据存储空间。

对于上述步骤S113中所述的判断识别出的物品的位置是否发生变化，在一些可选实施方式中，可以通过以下方式判断：

步骤S1131、判断识别出的物品的坐标或者物品的特征码与已保存的物品信息中的物品的坐标或者物品的特征码是否相同，

步骤S1132、如果不相同，则确定识别出的物品的位置发生变化；

步骤S1133、如果相同，则确定识别出的物品的位置未发生变化。

物品的特征码指通过图像识别算法获得的用于表示物品特征的值，该特征值例如是通过深度学习神经网络识别方法对物品的细节至宏观特征进行抽象而得到的特征向量，该特征值可以较为准确的表示识别出的物品，具有相对的唯一性。

在采集视频时，在该物品处于静止状态的时间段内，针对各个时刻识别出的该物品的特征码是相同的，当物品的位置发生变化时，计算出的物品的特征码也会变化，对于不同物品而言特征码也不同，因此，当判断出识别出的物品的特征码与已保存的物品信息中物品的特征码均不相同时，可以确定识别出的物品的位置发生变化；否则，确定识别出的物品的位置未发生变化。

物品的坐标指物品在图像中的坐标，一幅图像通常由呈矩阵排列的多个像素点组成，可以图像左上角的像素点为原点，其他像素点与原点具有相对位置，像素点的相对位置即为该像素点的坐标。也可将物品包含的各像素点中的某一点或者物品中心位置的像素点作为物品在图像中的坐标，或者物品包含的各像素点的各坐标作为一组数据，将该组数据作为物品在图像中的坐标。

当判断出识别出的物品的坐标与已保存的物品信息中物品的坐标均不相同时，可以确定识别出的物品的位置发生变化；否则，确定识别出的物品的位置未发生变化。

需要说的是，上述的相同，并非完全相同，允许存在一定的误差范围。

在一个可选的实施方式中，可以通过以下两种方式对目标物品进行查找：

第一种方式，查找指令中携带目标物品的图片，即通过图片的方式进行查找，上述从已保存的物品信息中查找与查找指令匹配的目标物品信息，可以包括：

步骤S121、对查找指令携带的目标物品的图片进行图像识别，获取目标物品的描述信息；

步骤S122、以目标物品的描述信息为查找条件，从物品信息中查找出与目标物品的描述信息匹配的目标物品信息。

可在客户端输入包含目标物体的图片，这样查找指令中携带该包含目标物品的图片时，此时，可通过图像识别算法对该包含目标物品的图片进行图像识别，获取目标物品的描述信息，目标物品的描述信息可以包括：目标物品的名称、目标物品的型号、目标物品的品牌等，通过图像识别还可以获取目标物品的特征码。

获取目标物品的描述信息后，以此为查找条件，从物品信息中查找出与目标物品的描述信息匹配的目标物品信息。

第二种方式，查找指令中携带目标物品的至少一种描述信息，即通过目标物体的文字信息的方式进行查找，上述从已保存的物品信息中查找与查找指令匹配的目标物品信息，可以包括：

步骤S123、以查找指令中携带的目标物品的描述信息为查找条件，从已保存的物品信息中查找与目标物品的描述信息匹配的目标物品信息。

可在客户端输入目标物品的描述信息的文字，例如，输入目标物品的名称、目标物品的型号、目标物品的品牌等，这样查找指令中携带该描述信息，以此为查找条件，从物品信息中查找出与目标物品的描述信息匹配的目标物品信息。

通过文字信息查找的方式与通过图片查找方式的区别在于，通过图片查找时，可利用图像识别获取无法用文字信息描述物品的内容，例如，目标物品为具有特殊形状的杯子，当查找指令携带包含该目标物品的图片后，可通过深度学习神经网络识别方法识别出该目标物品的特征码，该目标物品的特征码可以反映该目标物品的形状、颜色和物品的细节信息，进而以目标物品的特征码从已保存的物品信息中进行查找，以目标物品的特征码进行相似度计算，从而找到对应的目标物品信息，可以提高物品查找的准确性。而通过文字查找时，不能获取目标物品的特征码，通常是以目标物品的名称、型号和品牌等进行查找，由于查找指令直接携带目标物品的描述信息，不需要进行图像识别，因此，查找速度相对较快，如果目标物品为不常见的物品，也可以较为准确到查找到目标物品的位置信息。

在一种可选的实施方式中，如图3所示，上述步骤S12之后，还可以包括：

步骤S13、根据目标物品信息向客户端反馈目标物品的位置信息。

目标物品的位置信息是基于目标物品信息获取的，该位置信息具体可以有多种，例如，可以将目标物品信息中的物品出现时间和摄像设备标识等能够确定物品位置的相关信息反馈给客户端，举例说明，通过摄像设备的标识可以获知采集目标物品的摄像设备，而摄像设备具有安装位置和采集视频的视角，据此，反馈给客户端以后，用户可以获知目标物品位于摄像设备的视角范围内，进而判断目标物品的位置；或者通过目标物品出现时间和摄像设备标识，可以获知目标物品在摄像设备的视角范围内的出现时间，进而判断目标物品的位置和物品在该位置的时间，将目标物品的位置信息反馈给客户端后，用户可以获知目标物品所在位置，进而查找到目标物品。

在一种可选的实施方式中，如图4所示，上述步骤S13中所述的根据目标物品信息向客户端反馈目标物品的位置信息，可以包括：

步骤S131、根据目标物品信息获取目标图片，目标图片为呈现目标物品所在位置的图片；

步骤S132、向客户端反馈目标图片。

物品信息是根据摄像设备采集的视频中识别出的物品生成的，物品信息中可以包括物品的描述信息，并且建立物品描述信息与呈现物品所在位置的图片对应关系，即建立物品描述信息与对应呈现物品所在位置的图片映射关系，进而可根据目标物品信息获取目标图片。

这里的呈现物品所在位置的图片为根据摄像设备采集的视频中的各帧图像生成的图片，摄像设备可实时采集现场画面的图像，如果画面中有物品并且被识别出，此时可以获取物品的描述信息，并且将包含该物品画面的图像保存为图片，包含该物品画面的图片可以表示物品所在的场景，即可呈现物品所在位置，例如，物品在所处场景中的位置、物品所处场景的情况、物品所处场景中的周围环境等。

可将生成的物品的描述信息与对应的呈现物品所在位置的图片建立的对应关系保存在物品信息中，而目标物品信息是从物品信息中查找出的与目标物品的描述信息匹配的记录，因此，可以通过目标物品信息获取对应的呈现目标物品所在位置的图片，然后反馈给客户端。

本实施例中，向客户端反馈的目标物品的位置信息为呈现目标物品所在位置的图片，用户通过观察该图片可以直观的获知目标物品所处的位置，便于查找目标物品，提高用户查找物品的效率。

在一些可选的实施方式中，上述步骤S131所述的根据目标物品信息获取目标图片，可以包括：

步骤S1311、从目标物品信息中获取图片存储路径信息，图片存储路径信息表示目标物品的描述信息与呈现目标物品所在位置的图片的对应关系；

步骤S1312、根据图片存储路径信息从物品图片库中获取对应的目标图片，物品图片库存储有根据摄像设备采集到的视频生成的多张呈现物品所在位置的图片。

本实施例中，呈现物品所在位置的图片数据占用的存储空间较大，而物品信息是文字数据，占用的存储空间较小，因此，可将物品信息和呈现物品所在位置的图片分别保存在不同的位置，分类保存图片数据和文字数据，有利于存储空间的合理分配和利用，而在物品信息中可以包含图片存储路径信息，通过存储路径信息可从物品图片库获取对应的目标图片，该存储路径信息例如为链接地址，通过链接地址可以链接到物品图片库，获取到对应的目标图片。

在一些例子中，当获取的目标图片为多个时，可将目标图片按照时间倒序反馈给客户端。

由上述描述可知，根据目标物品信息获取目标图片时，查询到的目标物品信息可能有多条，因此，每一条目标物品信息可以对应获取到一张目标图片，或者一条目标物品信息对应多张目标图片。目标图片是根据采集的各帧图像生成的，各帧图像是按照时间顺序依次采集生成的，因此根据各帧图像生成的目标图片也具有时间顺序，也是按照时间顺序依次生成的，在将各目标图片返回时，按照时间倒序的方式反馈给客户端，即按照目标图片生成时间(目标图片的采集时间)从晚到早的顺序，最晚生成的目标图片最先返回，最早生成的图片最后返回，这样在客户端上显示各目标图片时，排在最前面的目标图片是最新生成的，排在最后面的目标图片是最早生成的，这样不仅可以有助于获取目标物品的最新位置，方便对目标物品的查找，并且，可以有助于了解目标物品按照时间发生的位置变化情况，有助于用户进行物品的查找。

在一个可选的实施方式中，如图5所示，上述步骤S12所述的当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，可以包括：

步骤S124、当接收到客户端发送的携带目标物品的名称及其关联物品的名称的查找指令时，以目标物品的名称和关联物品的名称为查找条件，从物品信息中查找出分别与目标物品的名称和关联物品的名称对应的物品信息；

步骤S125、从查找出的物品信息中筛选出包含的物品出现时间在预设时间间隔内且包含的摄像设备标识相同的物品信息，作为与查找指令匹配的目标信息记录。

在从视频中对物品进行识别时，可以识别到一个或多个物品，并得到物品的物品信息，物品信息例如可以包括物品的名称、物品的型号、物品的品牌等，如果识别出的物品是较为常见的物品，例如，摄像设备设置在办公场所，而在办公场所的办公室中，有大量的重复物品，例如：手机、笔记本和充电器等，如果保存的识别出的物品的物品信息只包括物品的名称，则根据查找指令对目标物品(例如，手机)进行查找时，会查找到摄像设备识别出的所有出现在摄像设备中的手机的信息，最后得到大量的手机的位置信息，而这些位置信息的噪音较大，反馈给客户端以后，需要用户人工筛选获取所需要的目标物品的位置信息，因此物品的查找效率低。

对于唯一性物品或者重复率较低的物品，可以通过物品名称查找，可以较快的查找到目标物品信息，确定目标物品的位置信息。

而对于重复率较高的同类物品的进行查找时，可以根据物品的个性化信息，例如，物品的品牌、物品的型号、物品的包装信息、物品的装饰物信息等方式进行查找，在查找指令中携带物品的个性化信息，可提高查找效率。

对于重复率较高的同类物品的进行查找时，另一种是通过本实施例中的组合查找的方式，查找指令中携带目标物品的名称及其关联物品的名称，与目标物品关联的物品指与目标物品在同一时间或者某个时间段内出现在相同的图像中的物品，例如，需要查找的物品为手机，而在手机周围同时还有其他物品，例如，水杯，此时，查找指令中携带的信息为手机和水杯。

将目标物品的名称和关联物品的名称分别作为关键词对物品信息进行查找，查找出分别与目标物品的名称和关联物品的名称对应的物品信息，然后根据这些物品信息中的物品出现时间和摄像设备标识进行再次筛选，筛选出其中包含的物品出现时间在预设时间间隔内的且包含的摄像设备标识相同的物品信息。

同一摄像设备在预设时间间隔内采集的视频中各帧图像为包含目标物品和关联物品的图像，而筛选后的物品信息为根据这些图像得到的物品信息，因此，通过组合查找方式可以缩小查找的物品信息的范围，减小匹配的目标物品信息的数量，进而较为准确的获取目标物品的位置信息，提高查找效率。

除了上述根据目标物品的名称及其关联物品的名称进行组合查找以外，也可以其他方式进行组合查找，例如，参照图6所示，如果用户可以确定所要查找的目标物品为A，并且可以确定所要查找的目标物品A曾经出现的位置，例如，会议室b，并根据该目标物品A曾经出现的位置(会议室b)确定对应该位置的摄像设备，例如会议室b中的摄像设备2，而物品信息中可以包括摄像设备标识，在对目标物品进行查找时，可以在查找指令中携带目标物品的名称(目标物品的型号或者品牌等任何至少一种描述信息)和摄像设备标识，以目标物品A的名称和摄像设备2的标识为为查找条件，从物品信息中查找出对应的目标物品信息，该目标物品信息中同时包含查找指令中的目标物品A的名称和摄像设备2的标识，进而根据查找到的目标物品信息获取目标物品的位置信息，也可以达到缩小查找的物品信息的范围的目的，当然也可以目标物品的其他两种或两种以上的描述信息为查找条件进行组合查找，本实施例对此并不限定。

在一个可选的实施方式中，如图5所示，上述方法还可以包括以下步骤：

步骤S126、根据与查找指令匹配的目标物品信息中的物品出现时间定位起始回放时间；

步骤S127、将从存储的视频录像中调取的起始回放时间之后的视频录像反馈给客户端，存储的视频录像为根据摄像设备采集到的视频生成的。

本实施例中，根据上述实施例筛选出的目标物品信息中的物品出现时间定位起始回放时间，该物品出现时间也为目标物品在视频中的图像的出现时间，也是摄像设备采集到的包含目标物品视频的时间，由于目标物品信息可能有多条，因此，可能包括多个物品出现时间，可将多个时间中的任一时间作为起始回放时间，从存储的视频录像调取起始回放时间之后的视频录像，由于该视频录像可以动态连续的反映目标物品所在场景，反馈给客户端后，用户可以据此获知目标物品的位置，并且通过视频录像可以对目标物品进行追踪，有助于了解目标物品的去向。

需要说明的是，上述反馈视频录像给客户端的方法，可以在各种查找方式之后，并不限于图5中所示的在步骤125之后。

在一个可选的实施方式中，上述步骤S131所述的在根据目标物品信息获取目标图片之前，还包括：

步骤S1301、获取标明各摄像设备的分布位置和各摄像设备标识的区域地图；

步骤S1302、将目标图片叠加在区域地图上，且目标图片位于对应的采集目标物品的摄像设备的分布位置的附近；

上述步骤S132所述向客户端反馈所述目标图片，包括：向客户端反馈叠加有目标图片的区域地图。

本实施例中，如图6所示，进一步的获取区域地图，例如，图6所示的区域地图，该区域地图示出了一办公场所，该办公场所包含办公区和会议室a、会议室b和会议室c，并且，该区域地图中示出了设置在办公场所的摄像设备1-15的分布位置，并且标出了每个摄像设备的标识，例如数字1-15，可以将获取的目标图片(例如图片t1-图片t3)叠加在该区域地图上，并且，各目标图片位于与对应的采集目标物品的摄像设备分布位置附近，例如，图片t1位于摄像设备2附近，图片t2位于摄像设备7附近，图片t3位于摄像设备11附近，这样可以更加直观的获知呈现目标物品所在位置的图片对应的摄像设备和摄像设备的分布位置，有助于了解目标物品的去向。

在一个可选的实施方式中，上述步骤S12所述的接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与查找指令匹配的目标物品信息，包括：

当接收到客户端发送的目标物品的多次连续的查找指令时，多次连续的从已保存的物品信息中查找与查找指令匹配的目标物品信息，其中每次查找指令中携带的目标物品的描述信息不同，且各次查找指令中的目标物品的描述信息中的摄像设备标识对应的摄像设备位置相邻，各次查找指令中的目标物品的描述信息中的物品出现时间根据反馈给客户端的所述视频录像确定。

在一种可选的实施方式中，上述步骤S12中所述的从已保存的物品信息中查找与查找指令匹配的目标物品信息，包括：

以查找指令中携带的目标物品的描述信息为查找条件，从已保存的物品信息中查找包含与所述采集目标物品的摄像设备标识对应位置相邻的摄像设备标识，且包含除目标物品的的摄像设备标识以外的描述信息的物品信息，作为目标物品信息，上述除目标物品的摄像设备标识以外的描述信息可以为目标物品的描述信息中的其他相关信息，例如，目标物品名称、目标物品的个性化信息等。

本实施例中，可在客户端连续多次输入查找指令，通过多次查找指令多次查找目标物品信息，当对物品进行查找后，用户通过观察反馈给客户端的视频录像可确定出目标物品在视频录像中消失时对应的摄像设备，和目标物品在视频录像中消失的时间，为了进一步追踪物品的去向，可对目标物品进行追踪查找，进一步的获取目标物品的位置信息，以目标物品在视频录像中消失时对应的摄像设备所在位置为中心，并根据目标物品在视频录像中消失的时间查找目标物品。

举例而言，参照图6所示，当确定目标物品消失时对应的摄像设备为图中摄像设备4，消失的时间为8:00时，在查找指令中携带有上述的消失的时间、目标物品的名称和上述摄像设备4的标识，据此对物品信息进行查找，查找物品信息中包括目标物品的名称、与摄像设备4的标识对应位置相邻的摄像设备标识(例如，图6中摄像设备1和摄像设备5是与摄像设备4对应位置相邻，则与摄像设备4标识对应位置的相邻的摄像设备标识为摄像设备1的标识和摄像设备5的标识)，并且物品出现时间在上述消失的时间之后的物品信息，将查找到的物品信息作为匹配的目标物品信息，该查找到的目标物品信息中包括根据摄像设备1采集的视频生成的目标物品的物品信息和根据摄像设备5采集的视频生成的目标物品的物品信息，也就是以摄像设备4对应位置为中心，查找与摄像设备4对应位置相邻的各摄像设备对应的目标物品信息，进而根据该目标物品信息获取到目标物品的位置信息，用户可根据反馈给客户端的目标物品的位置信息判断是否为需要查找的目标物品的位置信息，并且，可以判断出所需要查找的目标物品的位置信息为根据上述那个摄像设备采集的视频生成的，例如，为摄像设备5，然后进一步的再次查找，再次查找时查找指令携带的摄像设备标识与上次查找指令携带的摄像设备标识不同，是与上次查找指令中携带的摄像设备标识对应的摄像设备位置临近的摄像设备标识(例如，图6中所示的摄像设备5的标识)，再次查找时与上一次查找方法相同，查找物品信息中包括目标物品的名称、与摄像设备5的标识对应位置相邻的摄像设备标识(例如，图6中摄像设备6是与摄像设备5对应位置相邻，则与摄像设备5标识对应位置的相邻的摄像设备标识为摄像设备6的标识)，查找到的目标物品信息中包括根据摄像设备6采集的视频生成的目标物品的物品信息，也就是再次查找时是以摄像设备5对应位置为中心，查找与摄像设备5对应位置相邻的摄像设备6对应的目标物品信息，进而根据该目标物品信息获取到目标物品的位置信息，用户可根据反馈给客户端的目标物品的位置信息再次判断是否为需要查找的目标物品的位置信息，之后可多次连续重复上述的查找过程，各次查找指令中的摄像设备标识对应的摄像设备位置是相邻的，并且每次查找时是与当前查找指令中携带的摄像设备标识对应位置为中心进行查找，根据摄像设备位置的相关性一步一步的对目标物品进行查找，直到根据反馈的目标物品的位置信息确定出目标物品最后出现的位置，因此，本实施例中，通过多次连续查找可以确定目标物品的位置变化轨迹，了解目标物品的去向，提高查找效率。

上述实施例中，对于获取与采集目标物品的摄像设备标识对应位置相邻的各摄像设备标识的方式可以有多种，例如，在物品信息中可以包括各摄像设备的地理位置，根据各摄像设备对应的地理位置的距离远近判断是否相邻，或者在物品信息中预先存储与摄像设备标识对应位置相邻的各摄像设备标识，本实施例对此并不限定。

在一个可选的实施方式中，查找指令中携带与目标物品相关联的人物的图片，人物图片为从反馈给客户端的视频录像中截取的。

本实施例中，向客户端反馈视频录像后，用户可观察视频录像，发现目标物体被人藏匿时，例如发现某人将目标物品装进口袋或者包里，此时，用户可从视频录像中截取该人物的图片，人物的图片可以为人脸图片或者包括整个身体的图片，将该人物的图片输入客户端中，查找指令中携带该人物的图片，进而通过图像识别算法可从该包含人物的图片中获得该人物的特征码，然后以人物的特征码为查找条件，获取与人物的特征码匹配的目标物品信息，进而获取该人物的信息，或者以上述实施例中的多次连续查找的方式进行追踪查找，可通过追踪该人物对目标物品的去向进行追踪。

与前述基于视频的物品查找方法的实施例相对应，本申请还提供了基于视频的物品查找装置的实施例。

参照图7所示，该基于视频的物品查找装置1，包括：

物品识别单元10，用于从摄像设备采集到的视频中识别出一个或多个物品；

物品信息保存单元11，用于保存识别出的物品的物品信息；

查找指令接收单元12，用于当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息。

上述物品查找装置还包括：

物品图片库存储单元13，用于存储根据摄像设备采集到的视频生成的多张呈现物品所在位置的图片。

本申请物品查找装置的实施例可以应用在服务器上。

在一个可选的实施方式中，上述的物品信息保存单元具体可用于：

以识别出的物品的组合描述信息为查找条件，从已保存的物品信息中查找与所述识别出的物品的组合描述信息匹配的物品信息；

若未查找，则保存识别出的物品的物品信息；

若查找到，判断识别出的物品的物品位置是否发生变化，如果是，则保存识别出的物品的物品信息，如果否，则将查找到的物品信息中的物品出现时间替换为最新识别出物品的时间并保存。

进一步的，上述物品信息保存单元中，所述判断识别出的物品的位置是否发生变化，包括：

判断识别出的物品的坐标或者物品的特征码与查找到的物品信息中的物品的坐标或者物品的特征码是否相同，

如果不相同，则确定识别出的物品的位置发生变化；

如果相同，则确定识别出的物品的位置未发生变化。

上述的查找指令接收单元具体可用于：

对所述查找指令携带的目标物品的图片进行图像识别，获取目标物品的描述信息；

以所述目标物品的描述信息为查找条件，从已保存的物品信息中查找与所述目标物品的描述信息匹配的目标物品信息。

或者查找指令接收单元具体可用于：以所述查找指令中携带的目标物品的描述信息为查找条件，从已保存的物品信息中查找与所述目标物品的描述信息匹配的目标物品信息。

上述装置还可以包括：

位置信息反馈单元，用于根据所述目标物品信息向所述客户端反馈所述目标物品的位置信息。

上述的位置信息反馈单元具体可用于：

根据所述目标物品信息获取目标图片，所述目标图片为呈现目标物品所在位置的图片；

向所述客户端反馈所述目标图片。

上述的位置信息反馈单元中的所述根据所述目标物品信息获取目标图片，包括：

从所述目标物品信息中获取图片存储路径信息，所述图片存储路径信息表示目标物品的描述信息与呈现目标物品所在位置的图片的对应关系；

根据所述图片存储路径信息从物品图片库中获取对应的目标图片，所述物品图片库存储有根据摄像设备采集到的视频生成的多张呈现物品所在位置的图片。

上述的位置信息反馈单元中的所述向所述客户端反馈所述目标图片，包括：

当所述目标图片为多个时，将所述目标图片按照时间倒序反馈给所述客户端。

上述查找指令接收单元还可以用于：

当接收到客户端发送的携带目标物品的名称及其关联物品的名称的查找指令时，以所述目标物品的名称和关联物品的名称为查找条件，从所述物品信息中查找出分别与所述目标物品的名称和关联物品的名称对应的物品信息；

从查找出的所述物品信息中筛选出包含的物品出现时间在预设时间间隔内且包含的摄像设备的标识相同的物品信息，作为与所述查找指令匹配的目标物品信息。

进一步的，上述查找指令接收单元还可以用于：

根据与查找指令匹配的所述目标物品信息中的物品出现时间定位起始回放时间；

将从存储的视频录像中调取的所述起始回放时间之后的视频录像反馈给所述客户端，所述存储的视频录像为根据摄像设备采集到的视频生成的。

上述查找指令接收单元还可以用于：

当接收到客户端发送的目标物品的多次连续的查找指令时，多次连续的从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，其中每次查找指令中携带的目标物品的描述信息不同，且各次查找指令中的目标物品的描述信息中的摄像设备标识对应的摄像设备位置相邻，各次查找指令中的目标物品的描述信息中的物品出现时间根据反馈给客户端的所述视频录像确定。

上述查找指令接收单元中的所述从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，包括：

以所述查找指令中携带的目标物品的描述信息为查找条件，从已保存的物品信息中查找包含与采集所述目标物品的摄像设备标识对应位置相邻的摄像设备标识，且包含除目标物品的摄像设备标识以外的描述信息的物品信息，作为目标物品信息。

上述的位置信息反馈单元还可以用于：

在所述根据所述目标物品信息获取目标图片之前：

获取标明各摄像设备的分布位置和各摄像设备标识的区域地图；

将所述目标图片叠加在所述区域地图上，且所述目标图片位于对应的采集目标物品的摄像设备的分布位置的附近；

所述向所述客户端反馈所述目标图片，包括：

向所述客户端反馈叠加有所述目标图片的区域地图。

上述查找指令接收单元中的所述查找指令中携带与目标物品相关联的人物的图片，所述人物图片为从反馈给所述客户端的视频录像中截取的。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过该物品查找装置所应用的服务器的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本申请物品查找装置所在服务器的一种硬件结构图，除了图8所示的处理器、内存、外部接口、以及非易失性存储器之外，实施例中装置所在的服务器通常根据实际功能，还可以包括其他硬件，对此不再赘述。

本发明实施例还提供一种基于视频的物品查找***，如图9所示，该***包括：摄像设备2和上述实施例所述的物品查找装置1，所述摄像设备2用于将采集的视频发送给所述物品查找装置1。

本发明实施例还提供一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器执行上述实施例所述的任意一种的方法。

在一个实施例中，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (16)

1.一种基于视频的物品查找方法，其特征在于，包括：

从摄像设备采集到的视频中识别出一个或多个物品；

保存识别出的物品的物品信息；

当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息；

其中，所述当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，包括：

当接收到客户端发送的携带目标物品的名称及其关联物品的名称的查找指令时，以所述目标物品的名称和关联物品的名称为查找条件，从所述物品信息中查找出分别与所述目标物品的名称和关联物品的名称对应的物品信息；

从查找出的所述物品信息中筛选出包含的物品出现时间在预设时间间隔内且包含的摄像设备的标识相同的物品信息，作为与所述查找指令匹配的目标物品信息。

2.根据权利要求1所述的方法，其特征在于，所述保存识别出的物品的物品信息，包括：

以识别出的物品的组合描述信息为查找条件，从已保存的物品信息中查找与所述识别出的物品的组合描述信息匹配的物品信息；

若未查找，则保存识别出的物品的物品信息；

若查找到，判断识别出的物品的物品位置是否发生变化，如果是，则保存识别出的物品的物品信息，如果否，则将查找到的物品信息中的物品出现时间替换为最新识别出物品的时间并保存。

3.根据权利要求2所述的方法，其特征在于，所述判断识别出的物品的位置是否发生变化，包括：

判断识别出的物品的坐标或者物品的特征码与查找到的物品信息中的物品的坐标或者物品的特征码是否相同，

如果不相同，则确定识别出的物品的位置发生变化；

如果相同，则确定识别出的物品的位置未发生变化。

4.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

根据所述目标物品信息向所述客户端反馈所述目标物品的位置信息。

5.根据权利要求4所述的方法，其特征在于，所述根据目标物品信息向所述客户端反馈所述目标物品的位置信息包括：

根据所述目标物品信息获取目标图片，所述目标图片为呈现目标物品所在位置的图片；

向所述客户端反馈所述目标图片。

6.根据权利要求5所述的方法，其特征在于，所述根据所述目标物品信息获取目标图片，包括：

从所述目标物品信息中获取图片存储路径信息，所述图片存储路径信息表示目标物品的描述信息与呈现目标物品所在位置的图片的对应关系；

根据所述图片存储路径信息从物品图片库中获取对应的目标图片，所述物品图片库存储有根据摄像设备采集到的视频生成的多张呈现物品所在位置的图片。

7.根据权利要求5或6所述的方法，其特征在于，所述向所述客户端反馈所述目标图片，包括：

当所述目标图片为多个时，将所述目标图片按照时间倒序反馈给所述客户端。

8.根据权利要求1所述的方法，其特征在于，还包括：

根据与查找指令匹配的所述目标物品信息中的物品出现时间定位起始回放时间；

将从存储的视频录像中调取的所述起始回放时间之后的视频录像反馈给所述客户端，所述存储的视频录像为根据摄像设备采集到的视频生成的。

9.根据权利要求8所述的方法，其特征在于，所述当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，还包括：

当接收到客户端发送的目标物品的多次连续的查找指令时，多次连续的从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，其中每次查找指令中携带的目标物品的描述信息不同，且各次查找指令中的目标物品的描述信息中的摄像设备标识对应的摄像设备位置相邻，各次查找指令中的目标物品的描述信息中的物品出现时间根据反馈给客户端的所述视频录像确定。

10.根据权利要求9所述的方法，其特征在于，所述从已保存的物品信息中查找与所述查找指令匹配的目标物品信息，包括：

以所述查找指令中携带的目标物品的描述信息为查找条件，从已保存的物品信息中查找包含与采集所述目标物品的摄像设备标识对应位置相邻的摄像设备标识，且包含除目标物品的摄像设备标识以外的描述信息的物品信息，作为目标物品信息。

11.根据权利要求5或6所述的方法，其特征在于，

在所述根据所述目标物品信息获取目标图片之前，还包括：

获取标明各摄像设备的分布位置和各摄像设备标识的区域地图；

将所述目标图片叠加在所述区域地图上，且所述目标图片位于对应的采集目标物品的摄像设备的分布位置的附近；

所述向所述客户端反馈所述目标图片，包括：

向所述客户端反馈叠加有所述目标图片的区域地图。

12.根据权利要求8所述的方法，其特征在于，所述查找指令中携带与目标物品相关联的人物的图片，所述人物图片为从反馈给所述客户端的视频录像中截取的。

13.一种基于视频的物品查找装置，其特征在于，包括：

物品识别单元，用于从摄像设备采集到的视频中识别出一个或多个物品；

物品信息保存单元，用于保存识别出的物品的物品信息；

查找指令接收单元，用于当接收到客户端发送的目标物品的查找指令时，从已保存的物品信息中查找与所述查找指令匹配的目标物品信息；

其中，所述查找指令接收单元，还用于：

当接收到客户端发送的携带目标物品的名称及其关联物品的名称的查找指令时，以所述目标物品的名称和关联物品的名称为查找条件，从所述物品信息中查找出分别与所述目标物品的名称和关联物品的名称对应的物品信息；

从查找出的所述物品信息中筛选出包含的物品出现时间在预设时间间隔内且包含的摄像设备的标识相同的物品信息，作为与所述查找指令匹配的目标物品信息。

14.根据权利要求13所述的查找装置，其特征在于，还包括：

物品图片库存储单元，用于存储根据摄像设备采集到的视频生成的多张呈现物品所在位置的图片。

15.一种基于视频的物品查找***，其特征在于，包括：摄像设备和权利要求13或者14所述的物品查找装置，所述摄像设备用于将采集的视频发送给所述物品查找装置。

16.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器执行权利要求1-15任一项所述的方法。

Images