CN117036482B - 目标对象定位方法、装置、拍摄设备、芯片、设备及介质 - Google Patents

目标对象定位方法、装置、拍摄设备、芯片、设备及介质 Download PDF

Info

Publication number
CN117036482B
CN117036482B CN202311064453.6A CN202311064453A CN117036482B CN 117036482 B CN117036482 B CN 117036482B CN 202311064453 A CN202311064453 A CN 202311064453A CN 117036482 B CN117036482 B CN 117036482B
Authority
CN
China
Prior art keywords
target object
target
image
detected
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311064453.6A
Other languages
English (en)
Other versions
CN117036482A (zh
Inventor
张永波
郑哲
袁福生
崔文朋
张京晶
李海涛
龚向锋
陶友水
孙天锋
蔡雨露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smartchip Microelectronics Technology Co Ltd
Original Assignee
Beijing Smartchip Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smartchip Microelectronics Technology Co Ltd filed Critical Beijing Smartchip Microelectronics Technology Co Ltd
Priority to CN202311064453.6A priority Critical patent/CN117036482B/zh
Publication of CN117036482A publication Critical patent/CN117036482A/zh
Application granted granted Critical
Publication of CN117036482B publication Critical patent/CN117036482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标对象定位方法、装置、拍摄设备、芯片、设备及介质。首先，获取针对目标场景拍摄得到的背景图像和包括若干帧待检图像的待检测视频文件；接着，利用背景图像与每帧待检图像进行拼接操作，得到每帧待检图像对应的拼接图像；然后，基于拼接图像进行目标检测和对象比对处理，得到目标对象为疑似遗留对象或者疑似丢失对象的待确定对象类别和目标对象在每帧待检图像中检测位置；最后，基于目标对象在每帧待检图像中的检测位置确定目标对象的跟踪结果，根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果。通过上述实施方式可以使物品遗留和丢失检测具有高检出率和更高的时效性。

Description

目标对象定位方法、装置、拍摄设备、芯片、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种目标对象定位方法、装置、拍摄设备、芯片、设备及介质。
背景技术
物品遗留和丢失检测是智能监控***中非常重要一环，物品遗留和丢失检测有利于排查出不明遗留物或找回遗失的物品，从而解决潜在的安全隐患问题。
相关技术中，可以对监控场景进行背景建模，再将背景建模与实时监控比较，找到可疑物，再通过后续的形态学操作确定目标位置。
然而，背景建模的方式容易受光照变换和环境变换的影响，其检测准确率有待提升。
发明内容
本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种目标对象定位方法、装置、拍摄设备、芯片、设备及介质。
本说明书实施方式提供一种目标对象定位方法，所述方法包括：
获取针对目标场景拍摄得到的背景图像和待检测视频文件；其中，所述待检测视频文件包括若干帧待检图像；所述目标对象为被遗留在所述目标场景中的遗留对象或者从所述目标场景中丢失的丢失对象；
利用所述背景图像与每帧待检图像进行拼接操作，得到所述每帧待检图像对应的拼接图像；
基于所述拼接图像进行目标检测和对象比对处理，得到检测结果；其中，所述检测结果包括所述目标对象的待确定对象类别和所述目标对象在所述每帧待检图像中检测位置；所述待确定对象类别用于表征所述目标对象被认定为疑似遗留对象或者疑似丢失对象；
基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果；
根据所述目标对象的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果。
在其中一个实施方式，在所述基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果之前，所述方法还包括：
针对任一帧待检图像，根据所述目标对象在所述任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到所述目标对象在所述任一帧待检图像中的预测位置；
所述基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果，包括：
根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果。
在其中一个实施方式，所述根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果，包括：
根据所述检测位置对应的边界框与所述预测位置对应的边界框之间的交并比成本矩阵进行关联处理，确定所述目标对象的跟踪结果；或者
根据所述检测位置对应的边界框与所述预测位置对应的边界框之间的颜色信息成本矩阵进行关联处理，确定所述目标对象的跟踪结果。
在其中一个实施方式，所述根据所述目标对象在所述每帧待检图像中的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果，包括：
若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象没有从所述目标场景中丢失以及所述目标对象没有发生运动，将所述检测位置作为所述目标对象的定位结果。
在其中一个实施方式，所述方法还包括：
若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象从所述目标场景中丢失，确定位于所述目标对象从所述目标场景中丢失后的第一预设时长内的后续待检图像；
基于所述后续待检图像对应的跟踪结果继续执行判断所述目标对象是否从所述目标场景中丢失的步骤。
在其中一个实施方式，所述根据所述目标对象在所述每帧待检图像中的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果，包括：
若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，将所述目标对象在所述背景图像中的检测位置作为所述目标对象的定位结果；或者
若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，确定所述目标对象对应的最后位置待检图像；将所述目标对象在所述最后位置待检图像中的检测位置作为所述目标对象的定位结果；其中，所述最后位置待检图像为所述目标对象在所述目标场景中出现的最后时刻对应的待检图像。
在其中一个实施方式，所述方法还包括：
若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续没有从所述目标场景中出界，继续执行判断所述目标对象后续是否出从所述目标场景中出界的步骤。
在其中一个实施方式，所述背景图像中包括若干参考对象；所述基于所述拼接图像进行目标检测和对象比对处理，得到检测结果，包括：
基于所述拼接图像进行目标检测，得到所述背景图像中包括的参考对象以及所述每帧待检图像中包括的检出对象；其中，所述检出对象为所述目标对象；
将所述参考对象与所述目标对象进行比对，得到所述目标对象的待确定对象类别。
在其中一个实施方式，所述疑似遗留对象为所述目标场景起初没有但后续在所述目标场景中出现的对象；
所述疑似丢失对象为所述目标场景起初存在但后续在所述目标场景中没有出现的对象。
本说明书实施方式提供一种拍摄设备，其中，所述拍摄设备包括图像采集单元和异构芯片；所述异构芯片包括嵌入式神经网络处理器和中央处理器；
所述图像采集单元，用于针对目标场景进行拍摄，得到背景图像和待检测视频文件；其中，所述待检测视频文件包括若干帧待检图像；
所述嵌入式神经网络处理器，用于利用所述背景图像与每帧待检图像进行拼接操作，得到所述每帧待检图像对应的拼接图像；基于所述拼接图像进行目标检测和对象比对处理，得到检测结果；其中，所述检测结果包括目标对象的待确定对象类别和所述目标对象在所述每帧待检图像中检测位置；所述待确定对象类别用于表征所述目标对象被认定为疑似遗留对象或者疑似丢失对象；所述目标对象为被遗留在所述目标场景中的遗留对象或者从所述目标场景中丢失的丢失对象；
所述中央处理器，用于基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果；根据所述目标对象的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果。
本说明书实施方式提供一种目标对象定位装置，所述装置包括：
目标场景拍摄模块，用于获取针对目标场景拍摄得到的背景图像和待检测视频文件；其中，所述待检测视频文件包括若干帧待检图像；所述目标对象为被遗留在所述目标场景中的遗留对象或者从所述目标场景中丢失的丢失对象；
拼接图像确定模块，用于利用所述背景图像与每帧待检图像进行拼接操作，得到所述每帧待检图像对应的拼接图像；
检测结果确定模块，用于基于所述拼接图像进行目标检测和对象比对处理，得到检测结果；其中，所述检测结果包括所述目标对象的待确定对象类别和所述目标对象在所述每帧待检图像中检测位置；所述待确定对象类别用于表征所述目标对象被认定为疑似遗留对象或者疑似丢失对象；
跟踪结果确定模块，用于基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果；
定位结果确定模块，用于根据所述目标对象的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果。
在其中一个实施方式，所述跟踪结果确定模块，还用于针对任一帧待检图像，根据所述目标对象在所述任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到所述目标对象在所述任一帧待检图像中的预测位置；根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果。
在其中一个实施方式，所述定位结果确定模块，还用于若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象没有从所述目标场景中丢失以及所述目标对象没有发生运动，将所述检测位置作为所述目标对象的定位结果。
在其中一个实施方式，所述定位结果确定模块，还用于若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象从所述目标场景中丢失，确定位于所述目标对象从所述目标场景中丢失后的第一预设时长内的后续待检图像；基于所述后续待检图像对应的跟踪结果继续执行判断所述目标对象是否从所述目标场景中丢失的步骤。
在其中一个实施方式，所述定位结果确定模块，还用于若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，将所述目标对象在所述背景图像中的检测位置作为所述目标对象的定位结果；或者若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，确定所述目标对象对应的最后位置待检图像；将所述目标对象在所述最后位置待检图像中的检测位置作为所述目标对象的定位结果；其中，所述最后位置待检图像为所述目标对象在所述目标场景中出现的最后时刻对应的待检图像。
在其中一个实施方式，所述定位结果确定模块，还用于若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续没有从所述目标场景中出界，继续执行判断所述目标对象后续是否出从所述目标场景中出界的步骤。
在其中一个实施方式，所述检测结果确定模块，还用于基于所述拼接图像进行目标检测，得到所述背景图像中包括的参考对象以及所述每帧待检图像中包括的检出对象；其中，所述检出对象为所述目标对象；将所述参考对象与所述目标对象进行比对，得到所述目标对象的待确定对象类别。本说明书实施方式提供一种计算机设备，所述计算机设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。
本说明书实施方式提供一种异构芯片，包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在所述存储器中且被配置为由所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行的计算机程序，所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行所述计算机程序时实现如上述任一项实施方式所述的方法。
上述说明书实施方式中，首先，获取针对目标场景拍摄得到的背景图像和包括若干帧待检图像的待检测视频文件；接着，利用背景图像与每帧待检图像进行拼接操作，得到每帧待检图像对应的拼接图像；然后，基于拼接图像进行目标检测和对象比对处理，得到目标对象为疑似遗留对象或者疑似丢失对象的待确定对象类别和目标对象在每帧待检图像中检测位置；最后，基于目标对象在每帧待检图像中的检测位置确定目标对象的跟踪结果，根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果。通过上述实施方式实现将遗留丢失检测问题转换为基于神经网络的目标检测问题，通过利用神经网络对视频文件中多帧待检图像进行检测，得到疑似遗留物或者疑似丢失物的跟踪结果；从而基于跟踪结果对疑似遗留物或者疑似丢失物对待确定对象类别进行核实确认，确定为遗留物或者丢失物，并输出对应的定位结果；将疑似遗留物或者疑似丢失物作为检测模型的两个类别，可以泛化适用于没有参加模型训练的物体类别，可以减少光照变换和环境变换等因素造成的误检情况。
附图说明
图1a为本说明书实施方式提供的目标对象定位方法的场景示意图；
图1b为本说明书实施方式提供的目标对象定位方法的流程示意图；
图1c为本说明书实施方式提供的确定检测结果的模型示意图；
图2为本说明书实施方式提供的确定目标对象的跟踪结果的流程示意图；
图3为本说明书实施方式提供的疑似遗留对象是否从目标场景丢失的流程示意图；
图4为本说明书实施方式提供的确定目标对象的待确定对象类别的流程示意图；
图5为本说明书实施方式提供的目标对象定位方法的流程示意图；
图6为本说明书实施方式提供的目标对象定位方法的框架示意图；
图7为本说明书实施方式提供的目标对象定位装置的示意图；
图8为本说明书实施方式提供的计算机设备的内部结构图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
物品遗留和丢失检测是智能监控***中非常重要一环。物品遗留和丢失检测有利于在高速公路、隧道地铁站、高铁站、体育馆等人流车流密集的场所排查出不明遗留物或找回丢失的物品，从而解决潜在的安全隐患问题。
物品的遗留和丢失检测是智能视频监控中的一项基本功能。相关技术中，可以通过不同的方法对监控场景进行背景建模(比如混合高斯模型建模、双学习率的双背景建模)，将背景建模与实时监控进行比较，找到可疑物，再通过后续的形态学操作确定目标位置。也可以对监控场景进行光流计算，确定出运动目标，然后对运动目标进行持续跟踪，当某个运动目标的运动状态发生从运动到静止的变化时，可以判定该物体为遗留物，当某个运动目标的运动状态发生从静止到运动的变化时，可以判定该物体为丢失物。还可以是将遗留物和丢失物看作是一种特定的目标，通过卷积神经网络自动学习特征，对目标位置进行回归，最终实现遗留物和丢失物的检测。
然而，背景建模的方式容易受光照变换，环境变换的影响，导致误检和漏检。普通神经网络相关方案无法适应于未知目标类别的场景，同时很难在端侧实时应用。
基于此，本说明书实施方式提供一种目标对象定位方法。首先，获取针对目标场景拍摄得到的背景图像和包括若干帧待检图像的待检测视频文件；接着，利用背景图像与每帧待检图像进行拼接操作，得到每帧待检图像对应的拼接图像；然后，基于拼接图像进行目标检测和对象比对处理，得到目标对象为疑似遗留对象或者疑似丢失对象的待确定对象类别和目标对象在每帧待检图像中检测位置；最后，基于目标对象在每帧待检图像中的检测位置确定目标对象的跟踪结果，根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果。
通过上述实施方式可以使物品遗留和丢失检测具有高检出率和更高的时效性。通过上述实施方式，若模型训练过程利用不同光照以及不同环境下的图像数据进行训练，从而提升模型鲁棒性，进而可以减少遮挡、光照、阴影变化、环境抖动等因素造成的误检情况。进一步地，疑似遗留物和疑似丢失物作为检测模型的两个类别，可以泛化适用没有参与训练的物品，提升模型的泛化性。将跟踪结果以及定位结果的确认过程从遗留物和丢失物检测中脱离出来，从而将遗留丢失检测问题转换为神经网络普通的检测问题。
本说明书实施方式提供一个目标对象定位方法的场景示例。通过拍摄设备针对场景A进行拍摄，得到背景图像B和视频文件V。视频文件V包括待检图像P1、待检图像P2、待检图像P3、待检图像P4、待检图像P5。背景图像B中存在物品对象M、物品对象N。拍摄设备包括图像采集单元和异构芯片，异构芯片包括npu核(Neural-network Process Units，嵌入式神经网络处理器)和cpu核(Central Processing Unit，中央处理器)。npu核上部署有神经网络检测模型，通过神经网络检测模型对背景图像B和视频文件V包括的待检图像进行目标检测处理，神经网络检测模型的检测类别包括疑似遗留物和疑似丢失物。具体地，请参阅图1a，对背景图像B和待检图像P1进行拼接，得到拼接图像BP1。基于拼接图像BP1进行目标检测和对象比对处理，得到检测结果D1。检测结果D1包括：待检图像P1中检出对象M的检测类别为疑似丢失物以及检测位置BM1、检出对象N的检测类别以及检测位置BN1。
对背景图像B和待检图像P2进行拼接，得到拼接图像BP2。基于拼接图像BP2进行目标检测和对象比对处理，得到检测结果D2。检测结果D2包括：待检图像P2中检出对象L的检测类别为疑似遗留物以及检测位置BL2、待检图像P2中检出对象M的检测类别为疑似丢失物以及检测位置BM2、待检图像P2中检出对象N的检测类别以及检测位置BN1。
对背景图像B和待检图像P3进行拼接，得到拼接图像BP3。基于拼接图像BP3进行目标检测和对象比对处理，得到检测结果D3。检测结果D3包括：待检图像P3中检出对象L的检测类别为疑似遗留物以及检测位置BL2、待检图像P3中检出对象M的检测类别为疑似丢失物以及检测位置BM3、待检图像P3中检出对象N的检测类别以及检测位置BN1。
对背景图像B和待检图像P4进行拼接，得到拼接图像BP4。基于拼接图像BP4进行目标检测和对象比对处理，得到检测结果D4。检测结果D4包括：待检图像P4中检出对象L的检测类别为疑似遗留物以及检测位置BL2，待检图像P4中检出对象N的检测类别以及检测位置BN1。
对背景图像B和待检图像P5进行拼接，得到拼接图像BP5。基于拼接图像BP5进行目标检测和对象比对处理，得到检测结果D5。检测结果D5包括：待检图像P5中检出对象L的检测类别为疑似遗留物以及检测位置BL2，待检图像P5中检出对象N的检测类别以及检测位置BN1。
检出对象M为疑似丢失物，基于检测位置BM1、检测位置BM 2进行预测，得到检出对象M的预测位置BM3＇。基于待检图像P3中检出对象M的检测位置BM3以及检出对象M的预测位置BM3＇进行关联跟踪，同样操作，基于待检图像P4、待检图像P5，得到检出对象M的跟踪结果。根据检出对象M的跟踪结果和检出对象M的检测类别为疑似丢失物对检出对象M进行定位检测，可以输出检出对象M的检测位置BM3或者物品对象M在背景图像B中的位置BM0。
检出对象L为疑似遗留物，基于待检图像P2的检测位置BL2、待检图像P3中的检测位置BL2进行预测，得到检出对象L的预测位置BL4＇。基于待检图像P4中检出对象L的检测位置BL2以及检出对象L的预测位置BL4＇进行关联跟踪，同样操作，待检图像P4、待检图像P5，得到检出对象L的跟踪结果。根据检出对象L的跟踪结果和检出对象L的检测类别为疑似遗留物对检出对象L进行定位检测，输出检出对象L的检测位置BL2。
本说明书实施方式提供一种目标对象定位方法，请参阅图1b，该方法可以包括以下步骤：
S110、获取针对目标场景拍摄得到的背景图像和待检测视频文件。
其中，待检测视频文件包括若干帧待检图像。目标对象为被遗留在目标场景中的遗留对象或者从目标场景中丢失的丢失对象。背景图像可以是针对目标场景拍摄得到的不存在物品对象的图像，也可以是针对目标场景拍摄得到的包括至少一个物品对象的图像。背景图像的拍摄时间可以早于待检测视频文件的拍摄时间。
具体地，服务器本地存储有针对目标场景拍摄得到的若干初始视频文件，从初始视频文件获取目标场景的背景图像，并对初始视频文件进行截取，得到待检测视频文件。需要说明的是，背景图像的拍摄时间可以早于待检测视频文件的拍摄时间。在另一些实施方式中，可以通过拍摄设备对目标场景进行拍摄，得到背景图像和待检测视频文件。可以将拍摄得到的背景图像和待检测视频文件存储在拍摄设备本地，也可以将拍摄得到的背景图像和待检测视频文件传输至服务器进行存储，从而获取到针对目标场景拍摄得到的背景图像和待检测视频文件。示例性地，拍摄设备可以是摄像头、摄像机、鱼眼相机中的至少一种。
S120、利用背景图像与每帧待检图像进行拼接操作，得到每帧待检图像对应的拼接图像。
S130、基于拼接图像进行目标检测和对象比对处理，得到检测结果。
其中，检测结果包括目标对象的待确定对象类别和目标对象在每帧待检图像中检测位置。待确定对象类别用于表征目标对象被认定为疑似遗留对象或者疑似丢失对象。疑似遗留对象可以是背景图像内不存在，但是出现在待检图像中的目标对象。疑似丢失对象可以是背景图像内存在，但在待检图像中消失或者位置发生运动的目标对象。检测位置是目标对象在待检图像中的位置数据。
在一些情况下，通过对拼接图像进行目标检测和对象比对处理，确定目标对象为疑似遗留对象还是疑似丢失对象，可以泛化适用没有参与训练的物品。通过对比处理，可以确定背景图像与待检图像间哪些为同一目标对象，哪些为新出现在待检图像中的目标对象，哪些为从待检图像中消失或者发生运动的目标对象，以此来得到目标对象的待确定对象类别。
具体地，将背景图像与每帧待检图像进行拼接操作，得到每帧待检图像对应的拼接图像。将每帧待检图像对应的拼接图像作为目标检测与对象比对处理模型的输入，得到目标对象在每帧待检图像中的检测位置以及目标对象是为疑似遗留对象还是疑似丢失对象的检测结果。需要说明的是，步骤S120以及步骤130是通过神经网络检测模型实现的，实现将遗留丢失检测问题转换为神经网络普通的检测问题。
示例性地，请参阅图1c，背景图像102可以是具有三个通道(R通道、G通道、B通道)，高度为h，宽度为w的图像即3*h*w。待检图像104是可以是具有三个通道(R通道、G通道、B通道)，高度为h，宽度为w的图像即3*h*w。通过concat操作(合并操作)对背景图像102与待检图像104进行拼接操作，得到待检图像104对应的拼接图像106，拼接图像为6*h*w。目标检测与对象比对处理模型可以是基于yolov8_nano的检测模型。将6*h*w的拼接图像作为yolov8_nano检测模型108的输入，得到检测结果110。检测结果110可以包括物品对象A在待检图像104中的检测位置A1以及物品对象A为疑似遗留对象，物品对象B在背景图像102中的检测位置B1以及物品对象B为疑似丢失对象。
S140、基于目标对象在每帧待检图像中的检测位置确定目标对象的跟踪结果。
S150、根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果。
其中，跟踪结果可以是基于时间顺序，由目标对象在每帧待检图像中的检测位置组成的序列。根据跟踪结果可以确定目标对象的运动路径。定位结果可以是疑似遗留对象在待检测视频文件中最后一帧待检图像中的检测位置，可以是疑似丢失对象在背景图像中的检测位置。在基于跟踪结果对目标对象的待确定对象类别(疑似遗留对象或者疑似丢失对象)核实后，可以输出目标对象为遗留对象的定位结果和/或目标对象为丢失对象的定位结果。
在一些情况下，根据目标对象的跟踪结果，可以实现对目标对象的分析跟踪，确定目标对象的运动路径。进一步通过目标对象的运动路径核实目标对象为遗留对象还是为丢失对象。
具体地，基于时间顺序，将目标对象在每帧待检图像中的检测位置进行排列，可以构成位置序列，该位置序列可以确定为目标对象的跟踪结果。利用目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，当确定目标对象最终的结果为遗留物时，将目标对象的检测结果作为目标对象的定位结果。当确定目标对象最终的结果为丢失物时，将目标对象在背景图像中的位置作为目标对象的定位结果。
示例性地，利用多目标跟踪模块对目标对象在每帧待检图像中的检测位置进行跟踪，得到目标对象的跟踪结果。然后，将目标对象的跟踪结果输入至状态机逻辑应用模块，通过状态机逻辑应用模块根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果。
上述实施方式中，实现将遗留丢失检测问题转换为基于神经网络的目标检测问题，通过利用神经网络对视频文件中多帧待检图像进行检测，得到疑似遗留物或者疑似丢失物的跟踪结果；从而基于跟踪结果对疑似遗留物或者疑似丢失物对待确定对象类别进行核实确认，确定为遗留物或者丢失物，并输出对应的定位结果；将疑似遗留物或者疑似丢失物作为检测模型的两个类别，可以泛化适用于没有参加模型训练的物体类别，可以减少光照变换和环境变换等因素造成的误检情况。
在一些实施方式中，请参阅图2，在基于目标对象在每帧待检图像中的检测位置确定目标对象的跟踪结果之前，可以包括以下步骤：
S210、针对任一帧待检图像，根据目标对象在任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到目标对象在任一帧待检图像中的预测位置。
具体地，在视频文件中确定任一帧待检图像。然后针对该待检图像，根据目标对象在该待检图像之前的每帧待检图像中的检测位置对目标对象在该待检图像中的位置进行预测，得到目标对象在该待检图像中的预测位置。
示例性地，待检测视频文件包括五帧待检图像。针对第三帧待检图像，根据目标对象在第一帧待检图像中的检测位置L1以及目标对象在第二帧待检图像中的检测位置L2进行位置预测，得到目标对象在第三帧待检图像中的预测位置L3＇。
在一些实施方式中，通过卡尔曼滤波，根据目标对象在任一帧待检图像之前的待检图像中的检测位置进行预测，得到目标对象在该任一帧待检图像中可能出现的位置。需要说明的是，若该任一帧待检图像为待检测视频文件的第一帧图像，可以将目标对象在该任一帧待检图像中的检测位置作为目标对象在该任一帧待检图像中的预测位置。
基于目标对象在每帧待检图像中的检测位置确定目标对象的跟踪结果，包括：
S220、根据目标对象在任一帧待检图像中的检测位置以及预测位置进行关联处理，确定目标对象的跟踪结果。
其中，关联处理可以是通过寻找待检图像中的检测位置以及预测位置之间的相关性或者相互依赖性来进行处理和预测。
在一些情况下，根据目标对象在任一帧待检图像中的检测位置以及预测位置进行关联处理，可以提高目标对象跟踪结果的准确度。
具体地，根据目标对象在任一帧待检图像中的检测位置以及预测位置进行关联处理，确定目标对象在待检图像中的检测位置以及预测位置间是否存在关联关系。当目标对象在待检图像中的检测位置以及预测位置间存在关联关系时，将目标对象在待检图像中的检测位置作为跟踪结果。继续根据目标对象在该任一帧待检图像的后一帧待检图像中的检测位置以及预测位置进行关联处理，确定目标对象的跟踪结果。将得到的目标对象的跟踪结果进行排列，构建一个位置序列，该位置序列可以作为目标对象的跟踪结果。
示例性地，目标对象Q在待检图像H1中的检测位置为Q1，目标对象Q在待检图像H1中的预测位置为Q1＇。根据目标对象Q在待检图像H1中的检测位置Q1以及预测位置Q1＇进行关联处理，可以确定目标对象Q在待检图像H1中的检测位置Q1以及预测位置Q1＇存在关联关系，将检测位置Q1作为目标对象的跟踪结果。目标对象Q在待检图像H的后一帧待检图像H2中的检测位置为Q2，目标对象Q在待检图像H2中的预测位置为Q2＇。根据目标对象Q在待检图像H2中的检测位置Q2以及预测位置Q2＇进行关联处理，可以确定目标对象Q在待检图像H2中的检测位置Q2以及预测位置Q2＇存在关联关系，将检测位置Q2作为目标对象的跟踪结果。因此，可以将[Q1，Q2]作为目标对象Q的跟踪结果。
上述实施方式中，针对任一帧待检图像，根据目标对象在任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到目标对象在任一帧待检图像中的预测位置，根据目标对象在任一帧待检图像中的检测位置以及预测位置进行关联处理，确定目标对象的跟踪结果。可以进一步提升检测位置与预测位置之间的检测精度，为下一步根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果提供准确的数据基础。
在一些实施方式中，根据目标对象在任一帧待检图像中的检测位置以及预测位置进行关联处理，确定目标对象的跟踪结果，可以包括：根据检测位置对应的边界框与预测位置对应的边界框之间的交并比成本矩阵进行关联处理，确定目标对象的跟踪结果。或者，根据检测位置对应的边界框与预测位置对应的边界框之间的颜色信息成本矩阵进行关联处理，确定目标对象的跟踪结果。
其中，交并比成本矩阵是用于目标检测的一种评估指标，用来衡量模型对于真实边界框和预测边界框之间的交并比(IOU)的预测准确度。该交并比成本矩阵记录了每个真实边界框和每个预测边界框之间的IOU值，并将其作为代价计算，使用IOU成本矩阵进行关联处理，可以计算出检测位置对应的边界框与预测位置对应的边界框之间的成本，并从中找到最佳匹配。颜色信息成本矩阵是一种用于关联处理的工具，它可以通过比较不同颜色之间的相似程度来确定它们之间的匹配程度。在使用颜色信息成本矩阵进行关联处理时，需要将目标的颜色与图像中其他颜色进行比较，并根据匹配程度进行分类或标记。关联处理是指在计算机***中，将不同数据之间的关系和相关性进行处理和分析的过程。
具体地，将检测位置对应的边界框与预测位置对应的边界框之间的重叠区域计算出来，然后根据重叠区域的大小构建一个交并比成本矩阵，通过最小化交并比成本矩阵来确定每个检测位置对应的边界框应该与哪个预测位置对应的边界框进行关联。当确定目标对象位置对应的边界框与预测位置对应的边界框之间关联时，将目标对象的检测位置作为目标对象的跟踪结果。
将每个颜色与其他颜色之间的相似度计算出来，形成一个检测位置对应的边界框与预测位置对应的边界框之间的颜色信息成本矩阵。然后，使用最小权重匹配算法来在颜色信息成本矩阵中找到最优的颜色匹配方案，以实现检测位置对应的边界框与预测位置对应的边界框之间的关联处理。当确定目标对象位置对应的边界框与预测位置对应的边界框之间关联时，将目标对象的检测位置作为目标对象的跟踪结果。
示例性地，可以使用匈牙利算法来实现检测位置对应的边界框与预测位置对应的边界框之间的交并比成本矩阵的关联处理，或者实现检测位置对应的边界框与预测位置对应的边界框之间的颜色信息成本矩阵的关联处理。
上述实施方式中，根据检测位置对应的边界框与预测位置对应的边界框之间的交并比成本矩阵或者颜色信息成本矩阵进行关联处理，确定目标对象的跟踪结果，可以进一步提升检测位置与预测位置之间的检测精度，为下一步根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果提供准确的数据基础。
在一些实施方式中，根据目标对象在每帧待检图像中的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果，可以包括：若待确定对象类别为疑似遗留对象，且根据跟踪结果判定目标对象没有从目标场景中丢失以及目标对象没有发生运动，将检测位置作为目标对象的定位结果。
具体地，当目标对象的待确定对象类别为疑似遗留对象时，根据该目标对象的跟踪结果，确定在判定目标对象为疑似遗留对象的待检图像后的待检测视频文件包括的所有待检图像中可以一直关联到该目标对象，因此，判定该目标对象没有从目标场景中丢失。而且，根据该目标对象的跟踪结果，确定该目标对象的检测位置一直没有发生运动，将该目标对象跟踪结果中的任一检测位置作为该目标对象的定位结果。
示例性地，待检测视频文件包括五帧待检图像。在第三帧待检图像中确定目标对象L的待确定对象类别为疑似遗留对象，目标对象L的跟踪结果可以是[L1，L1，L1]。根据跟踪结果，确定目标对象L在剩余的待检图像中一直被关联且目标对象L的检测位置均为L1，因此，可以确定目标对象L没有在目标场景中丢失并且目标对象L没有发生运动。将跟踪结果中的检测位置L1确定为目标对象L的定位结果。
上述实施方式中，若待确定对象类别为疑似遗留对象，且根据跟踪结果判定目标对象没有从目标场景中丢失以及目标对象没有发生运动，将检测位置作为目标对象的定位结果。通过确定遗留对象的定位结果，可以确定该目标对象的所在位置，以便后续找到遗留物的所有者。
在一些实施方式中，请参阅图3，根据目标对象在每帧待检图像中的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果，可以包括以下步骤：
S310、若待确定对象类别为疑似遗留对象，且根据跟踪结果判定目标对象从目标场景中丢失，确定位于目标对象从目标场景中丢失后的第一预设时长内的后续待检图像。
S320、基于后续待检图像对应的跟踪结果继续执行判断目标对象是否从目标场景中丢失的步骤。
其中，第一预设时长可以结合实际需求自定义，比如第一预设时长可以是五分钟，可以是十分钟。
具体地，当目标对象的待确定对象类别为疑似遗留对象时，根据跟踪结果，确定跟踪结果中的检测位置相同且最后一个检测位置对应的待检图像并非待检测视频文件的最后一帧待检图像，进一步地，可以确定跟踪结果中最后一个检测位置对应的待检图像的后一帧待检图像中没有关联到该目标对象。当没有关联到该目标对象时，设置跟踪结果中最后一个检测位置对应的待检图像的状态为丢失并判定该目标对象从目标场景中丢失。根据待检测视频文件的帧率，确定位于目标对象从目标场景中丢失后的第一预设时长内的后续待检图像。将后续待检图像对应的跟踪结果逐一与设置状态为丢失的待检图像中目标对象的检测位置进行关联处理，当在第一预设时长内的后续待检图像中没有关联到目标对象，可以认为目标对象从目标场景中丢失。当在第一预设时长内的后续待检图像中关联到目标对象，根据检测到目标对象后续的待检图像的跟踪结果是否发生运动，若目标对象在第一预设时长内的后续待检图像中没有发生运动，可以认为目标对象没有从目标场景中丢失，目标对象仍为疑似遗留对象。若目标对象后续的待检图像的跟踪结果发生运动，可以判定目标对象从目标场景中丢失，然后重复上述操作，直至第一预设时长内的后续待检图像中的最后一帧待检图像。
上述实施方式中，若待确定对象类别为疑似遗留对象，且根据跟踪结果判定目标对象从目标场景中丢失，确定位于目标对象从目标场景中丢失后的第一预设时长内的后续待检图像，基于后续待检图像对应的跟踪结果继续执行判断目标对象是否从目标场景中丢失的步骤。通过确定目标对象是否从目标场景中丢失，可以提高对疑似遗留对象进行检测的精确度。
在一些实施方式中，根据目标对象在每帧待检图像中的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果，可以包括：
若待确定对象类别为疑似丢失对象，且根据跟踪结果判定目标对象后续从目标场景中出界，将目标对象在背景图像中的检测位置作为目标对象的定位结果。或者，
若待确定对象类别为疑似丢失对象，且根据跟踪结果判定目标对象后续从目标场景中出界，确定目标对象对应的最后位置待检图像；将目标对象在最后位置待检图像中的检测位置作为目标对象的定位结果。
其中，最后位置待检图像为目标对象在目标场景中出现的最后时刻对应的待检图像。
具体地，当目标对象的待确定对象类别为疑似丢失对象时，根据跟踪结果，确定没有在待检测视频文件的最后一帧待检图像中关联到该目标对象，因此，判定该目标对象从目标场.景中出界。当该目标对象出界时，将该目标对象在背景图像中的检测位置作为该目标对象的定位结果。
当目标对象的待确定对象类别为疑似丢失对象时，根据跟踪结果，确定未在待检测视频文件的最后一帧待检图像中关联到该目标对象，因此，判定该目标对象从目标场景中出界。当该目标对象出界时，确定最后一次关联到该目标对象的待检图像，将最后一次关联到该目标对象的待检图像中的检测位置作为该目标对象的定位结果。
上述实施方式中，当目标对象出界时，可以将目标对象在背景图像中的检测位置作为目标对象的定位结果。或者，将目标对象在最后位置待检图像中的检测位置作为目标对象的定位结果。以便后续对丢失对象进行找回。
在一些实施方式中，根据目标对象在每帧待检图像中的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果，可以包括：若待确定对象类别为疑似丢失对象，且根据跟踪结果判定目标对象后续没有从目标场景中出界，继续执行判断目标对象后续是否出从目标场景中出界的步骤。
具体地，当目标对象的待确定对象类别为疑似丢失对象时，根据该目标对象的跟踪结果，确定在当前待检图像前该目标对象一直没有被关联到。根据该目标对象的跟踪结果可以确定在当前待检图像之后，待检测视频文件仍包含未进行跟踪的待检图像，可以认为该目标对象未出界。然后，确定当前待检图像的后一帧待检图像为后续待检图像。基于后续待检图像，继续对该目标对象进行跟踪，再根据跟踪结果，确定该目标对象是否出界，若该目标对象仍未出界，可以继续重复上述操作，直至后续待检图像为待检测视频文件的最后一帧待检图像。
上述实施方式中，若待确定对象类别为疑似丢失对象，且根据跟踪结果判定目标对象后续没有从目标场景中出界，继续执行判断目标对象后续是否出从目标场景中出界的步骤。通过确定疑似丢失对象是否出界，可以确定目标对象最终的对象类别。
在一些实施方式中，请参阅图4，背景图像中包括若干参考对象。基于拼接图像进行目标检测和对象比对处理，得到检测结果，可以包括以下步骤：
S410、基于拼接图像进行目标检测，得到背景图像中包括的参考对象以及每帧待检图像中包括的检出对象。
S420、将参考对象与目标对象进行比对，得到目标对象的待确定对象类别。
其中，参考对象为从背景图像中检测出来的在背景图像中存在的物品对象。检出对象为从待检图像中检测出来的在待检图像中存在的物品对象。目标对象是参考对象以及检出对象的比对结果确定的。比如，目标对象为没有在背景图像和待检图像同时出现的对象；示例性地，背景图像中有而待检图像中没有的物品对象为目标对象，背景图像中没有而待检图像中有的物品对象为目标对象。
具体地，对任一帧待检图像对应的拼接图像进行目标检测，输出参考对象对应的边界框，根据检测到的边界框确定背景图像中包括的参考对象。对该任一帧待检图像对应的拼接图像进行目标检测，输出检出对象对应的边界框，根据检测到的边界框确定该任一帧待检图像中包括的检出对象。同时，通过对该任一帧待检图像对应的拼接图像进行目标检测，输出参考对象的参考位置与检出对象的检出位置。将背景图像中包括的参考对象与该任一帧待检图像中包括的检出对象进行比对匹配，可以找到参考对象与检出对象之间相似之处和差异之处，确定参考对象与检出对象是否为同一物品对象。当参考对象与检出对象为同一物品对象时，如果参考对象的参考位置与检出对象的检出位置发生移动，可以认为该检出对象或参考对象为疑似丢失对象。当未在检出对象中确定参考对象时，可以认为该参考对象为疑似丢失对象。当未在参考对象中确定检出对象时，可以认为该检出对象为疑似遗留对象。
示例性地，对任一帧待检图像对应的拼接图像进行目标检测，可以确定背景图像中包括的参考对象Y1、Y2以及该任一帧待检图像中包括的检出对象Y3、Y4。同时，通过对任一帧待检图像对应的拼接图像进行目标检测，可以确定参考对象Y1的参考位置W1，参考对象Y2的参考位置W2，检出对象Y3的检出位置W3，检出对象Y4的检出位置W4。将参考对象Y1、Y2与检出对象Y3、Y4进行比对匹配，可以确定参考对象Y1与检出对象Y3为同一物品对象。当参考对象Y1的参考位置W1与检出对象Y3的检出位置W3不同时，可以认为参考对象Y1为疑似丢失对象。参考对象Y2未匹配到检出对象，可以认为参考对象Y2为疑似丢失对象。检出对象Y4未匹配到参考对象，可以认为检出对象Y4为疑似遗留对象。
在一些实施方式中，提取参考对象和检出对象的特征，如颜色、形状、大小。根据参考对象和检出对象的特征，计算它们之间的相似度。可以使用相似度度量方法(如余弦相似度、欧几里得距离)，将相似度高的物品进行匹配，并输出匹配结果。
上述实施方式中，基于拼接图像进行目标检测，得到背景图像中包括的参考对象以及每帧待检图像中包括的检出对象，将参考对象与目标对象进行比对，得到目标对象的待确定对象类别。通过确定目标对象的待确定对象类别，以便后续对目标对象进行跟踪以及确定目标对象的定位结果。
在一些实施方式中，疑似遗留对象为目标场景起初没有但后续在目标场景中出现的对象；疑似丢失对象为目标场景起初存在但后续在目标场景中没有出现的对象。
示例性地，目标场景起初包括物品对象X1，在后续的目标场景中出现物品对象X2且物品对象X1消失。可以认为物品对象X1为疑似丢失对象，物品对象X2为疑似遗留对象。
本说明书实施方式还提供一种拍摄设备，其中，拍摄设备包括图像采集单元和异构芯片；异构芯片包括嵌入式神经网络处理器和中央处理器；
拍摄设备，用于针对目标场景进行拍摄，得到背景图像和待检测视频文件；其中，待检测视频文件包括若干帧待检图像。
嵌入式神经网络处理器，用于利用背景图像与每帧待检图像进行拼接操作，得到每帧待检图像对应的拼接图像；基于拼接图像进行目标检测和对象比对处理，得到检测结果；其中，检测结果包括目标对象的待确定对象类别和目标对象在每帧待检图像中检测位置；待确定对象类别用于表征目标对象被认定为疑似遗留对象或者疑似丢失对象；目标对象为被遗留在目标场景中的遗留对象或者从目标场景中丢失的丢失对象。
中央处理器，用于基于目标对象在每帧待检图像中的检测位置确定目标对象的跟踪结果；根据目标对象的待确定对象类别和跟踪结果对目标对象进行定位检测，得到目标对象的定位结果。
本说明书实施方式还提供一种目标对象定位方法。示例性地，请参阅图5，该目标对象定位方法可以包括以下步骤：
S502、获取针对目标场景拍摄得到的背景图像和待检测视频文件。
其中，待检测视频文件包括若干帧待检图像；目标对象为被遗留在目标场景中的遗留对象或者从目标场景中丢失的丢失对象；疑似遗留对象为目标场景起初没有但后续在目标场景中出现的对象；疑似丢失对象为目标场景起初存在但后续在目标场景中没有出现的对象。
S504、利用背景图像与每帧待检图像进行拼接操作，得到每帧待检图像对应的拼接图像。
S506、基于拼接图像进行目标检测和对象比对处理，得到检测结果。
其中，检测结果包括目标对象的待确定对象类别和目标对象在每帧待检图像中检测位置；待确定对象类别用于表征目标对象被认定为疑似遗留对象或者疑似丢失对象。
具体地，基于拼接图像进行目标检测，得到背景图像中包括的参考对象以及每帧待检图像中包括的检出对象。其中，检出对象为目标对象；将参考对象与目标对象进行比对，得到目标对象的待确定对象类别。
S508、针对任一帧待检图像，根据目标对象在任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到目标对象在任一帧待检图像中的预测位置。
S510、根据检测位置对应的边界框与预测位置对应的边界框之间的交并比成本矩阵进行关联处理确定目标对象的跟踪结果。
S512、若待确定对象类别为疑似遗留对象，且根据跟踪结果判定目标对象没有从目标场景中丢失以及目标对象没有发生运动，将检测位置作为目标对象的定位结果。
S514、若待确定对象类别为疑似遗留对象，且根据跟踪结果判定目标对象从目标场景中丢失，确定位于目标对象从目标场景中丢失后的第一预设时长内的后续待检图像。
S516、基于后续待检图像对应的跟踪结果继续执行判断目标对象是否从目标场景中丢失的步骤。
S518、若待确定对象类别为疑似丢失对象，且根据跟踪结果判定目标对象后续从目标场景中出界，将目标对象在背景图像中的检测位置作为目标对象的定位结果。
其中，最后位置待检图像为目标对象在目标场景中出现的最后时刻对应的待检图像。
S520、若待确定对象类别为疑似丢失对象，且根据跟踪结果判定目标对象后续没有从目标场景中出界，继续执行判断目标对象后续是否出从目标场景中出界的步骤。
请参阅图6，物品遗留和丢失检测算法主要包含三个模块，分别是双输入神经网络检测模型、多目标跟踪模块、状态机逻辑应用模块。双输入神经网络检测模型是将采集的视频文件包含的图像帧和视频背景帧作为双输入神经网络检测模型输入，获取特征信息以及初步获得疑似遗留物和疑似丢失物的位置信息。多目标跟踪模块对疑似遗留物和疑似丢失物数据进行分析跟踪，确定物体路径。状态机逻辑应用模块在多目标跟踪的基础上，增加寻找状态、未知等状态进一步提升疑似遗留物和疑似丢失物的准确率，确定最终的遗留物和丢失物位置。
本说明书实施方式提供一种目标对象定位装置700，请参阅图7，目标对象定位装置700包括：目标场景拍摄模块710、拼接图像确定模块720、检测结果确定模块730、跟踪结果确定模块740、定位结果确定模块750。
目标场景拍摄模块710，用于获取针对目标场景拍摄得到的背景图像和待检测视频文件；其中，所述待检测视频文件包括若干帧待检图像；所述目标对象为被遗留在所述目标场景中的遗留对象或者从所述目标场景中丢失的丢失对象；
拼接图像确定模块720，用于利用所述背景图像与每帧待检图像进行拼接操作，得到所述每帧待检图像对应的拼接图像；
检测结果确定模块730，用于基于所述拼接图像进行目标检测和对象比对处理，得到检测结果；其中，所述检测结果包括所述目标对象的待确定对象类别和所述目标对象在所述每帧待检图像中检测位置；所述待确定对象类别用于表征所述目标对象被认定为疑似遗留对象或者疑似丢失对象；
跟踪结果确定模块740，用于基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果；
定位结果确定模块750，用于根据所述目标对象的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果。
在一些实施方式中，所述跟踪结果确定模块，还用于针对任一帧待检图像，根据所述目标对象在所述任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到所述目标对象在所述任一帧待检图像中的预测位置；根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果。
在一些实施方式中，所述定位结果确定模块，还用于若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象没有从所述目标场景中丢失以及所述目标对象没有发生运动，将所述检测位置作为所述目标对象的定位结果。
在一些实施方式中，所述定位结果确定模块，还用于若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象从所述目标场景中丢失，确定位于所述目标对象从所述目标场景中丢失后的第一预设时长内的后续待检图像；基于所述后续待检图像对应的跟踪结果继续执行判断所述目标对象是否从所述目标场景中丢失的步骤。
在一些实施方式中，所述定位结果确定模块，还用于若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，将所述目标对象在所述背景图像中的检测位置作为所述目标对象的定位结果；或者若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，确定所述目标对象对应的最后位置待检图像；将所述目标对象在所述最后位置待检图像中的检测位置作为所述目标对象的定位结果；其中，所述最后位置待检图像为所述目标对象在所述目标场景中出现的最后时刻对应的待检图像。
在一些实施方式中，所述定位结果确定模块，还用于若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续没有从所述目标场景中出界，继续执行判断所述目标对象后续是否出从所述目标场景中出界的步骤。
在一些实施方式中，所述检测结果确定模块，还用于基于所述拼接图像进行目标检测，得到所述背景图像中包括的参考对象以及所述每帧待检图像中包括的检出对象；其中，所述检出对象为所述目标对象；将所述参考对象与所述目标对象进行比对，得到所述目标对象的待确定对象类别。
关于目标对象定位装置的具体描述，可以参见上文中对目标对象定位方法的描述，在此不再赘述。
在一些实施方式中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种目标对象定位方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的计算机设备的限定，具体地，计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施方式中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种异构芯片，包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在存储器中且被配置为由中央处理器CPU和嵌入式神经网络处理器NPU执行的计算机程序，中央处理器CPU和嵌入式神经网络处理器NPU执行计算机程序时实现如上述任一项实施方式的方法。
本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。
本说明书的一个实施方式提供一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述任一项实施方式的方法的步骤。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

Claims (14)

1.一种目标对象定位方法，其特征在于，所述方法包括：
获取针对目标场景拍摄得到的背景图像和待检测视频文件；其中，所述待检测视频文件包括若干帧待检图像；所述目标对象为被遗留在所述目标场景中的遗留对象或者从所述目标场景中丢失的丢失对象；
利用所述背景图像与每帧待检图像进行拼接操作，得到所述每帧待检图像对应的拼接图像；
通过神经网络检测模型，基于所述拼接图像进行目标检测和对象比对处理，得到检测结果；其中，所述检测结果包括所述目标对象的待确定对象类别和所述目标对象在所述每帧待检图像中检测位置；所述目标对象的待确定对象类别为所述神经网络检测模型输出的检测类别，用于表征所述目标对象被认定为疑似遗留对象或者疑似丢失对象；所述目标对象的待确定对象类别是基于所述拼接图像进行目标检测，得到所述背景图像中包括的参考对象以及所述每帧待检图像中包括的检出对象，并将所述参考对象与所述检出对象进行比对而得到的；所述疑似遗留对象和所述疑似丢失对象作为所述神经网络检测模型的两个类别，以泛化适用于没有参加模型训练的物体类别；
基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果；
根据所述目标对象的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果；其中，若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象没有从所述目标场景中丢失以及所述目标对象没有发生运动，将所述检测位置作为所述目标对象的定位结果；若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，确定所述目标对象对应的最后位置待检图像；将所述目标对象在所述最后位置待检图像中的检测位置作为所述目标对象的定位结果；其中，所述最后位置待检图像为所述目标对象在所述目标场景中出现的最后时刻对应的待检图像。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果之前，所述方法还包括：
针对任一帧待检图像，根据所述目标对象在所述任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到所述目标对象在所述任一帧待检图像中的预测位置；
所述基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果，包括：
根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果，包括：
根据所述检测位置对应的边界框与所述预测位置对应的边界框之间的交并比成本矩阵进行关联处理，确定所述目标对象的跟踪结果。
4.根据权利要求2所述的方法，其特征在于，所述根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果，包括：
根据所述检测位置对应的边界框与所述预测位置对应的边界框之间的颜色信息成本矩阵进行关联处理，确定所述目标对象的跟踪结果。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象从所述目标场景中丢失，确定位于所述目标对象从所述目标场景中丢失后的第一预设时长内的后续待检图像；
基于所述后续待检图像对应的跟踪结果继续执行判断所述目标对象是否从所述目标场景中丢失的步骤。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续没有从所述目标场景中出界，继续执行判断所述目标对象后续是否出从所述目标场景中出界的步骤。
7.一种拍摄设备，其中，所述拍摄设备包括图像采集单元和异构芯片；所述异构芯片包括嵌入式神经网络处理器和中央处理器；
所述图像采集单元，用于针对目标场景进行拍摄，得到背景图像和待检测视频文件；其中，所述待检测视频文件包括若干帧待检图像；
所述嵌入式神经网络处理器，用于利用所述背景图像与每帧待检图像进行拼接操作，得到所述每帧待检图像对应的拼接图像；通过神经网络检测模型，基于所述拼接图像进行目标检测和对象比对处理，得到检测结果；其中，所述检测结果包括目标对象的待确定对象类别和所述目标对象在所述每帧待检图像中检测位置；所述目标对象的待确定对象类别为所述神经网络检测模型输出的检测类别，用于表征所述目标对象被认定为疑似遗留对象或者疑似丢失对象；所述目标对象的待确定对象类别是基于所述拼接图像进行目标检测，得到所述背景图像中包括的参考对象以及所述每帧待检图像中包括的检出对象，并将所述参考对象与所述检出对象进行比对而得到的；所述疑似遗留对象和所述疑似丢失对象作为所述神经网络检测模型的两个类别，以泛化适用于没有参加模型训练的物体类别；所述目标对象为被遗留在所述目标场景中的遗留对象或者从所述目标场景中丢失的丢失对象；
所述中央处理器，用于基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果；根据所述目标对象的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果；其中，若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象没有从所述目标场景中丢失以及所述目标对象没有发生运动，将所述检测位置作为所述目标对象的定位结果；若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，确定所述目标对象对应的最后位置待检图像；将所述目标对象在所述最后位置待检图像中的检测位置作为所述目标对象的定位结果；其中，所述最后位置待检图像为所述目标对象在所述目标场景中出现的最后时刻对应的待检图像。
8.一种目标对象定位装置，其特征在于，所述装置包括：
目标场景拍摄模块，用于获取针对目标场景拍摄得到的背景图像和待检测视频文件；其中，所述待检测视频文件包括若干帧待检图像；所述目标对象为被遗留在所述目标场景中的遗留对象或者从所述目标场景中丢失的丢失对象；
拼接图像确定模块，用于利用所述背景图像与每帧待检图像进行拼接操作，得到所述每帧待检图像对应的拼接图像；
检测结果确定模块，用于通过神经网络检测模型，基于所述拼接图像进行目标检测和对象比对处理，得到检测结果；其中，所述检测结果包括所述目标对象的待确定对象类别和所述目标对象在所述每帧待检图像中检测位置；所述目标对象的待确定对象类别为所述神经网络检测模型输出的检测类别，用于表征所述目标对象被认定为疑似遗留对象或者疑似丢失对象；所述目标对象的待确定对象类别是基于所述拼接图像进行目标检测，得到所述背景图像中包括的参考对象以及所述每帧待检图像中包括的检出对象，并将所述参考对象与所述检出对象进行比对而得到的；所述疑似遗留对象和所述疑似丢失对象作为所述神经网络检测模型的两个类别，以泛化适用于没有参加模型训练的物体类别；
跟踪结果确定模块，用于基于所述目标对象在所述每帧待检图像中的检测位置确定所述目标对象的跟踪结果；
定位结果确定模块，用于根据所述目标对象的待确定对象类别和所述跟踪结果对所述目标对象进行定位检测，得到所述目标对象的定位结果；其中，若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象没有从所述目标场景中丢失以及所述目标对象没有发生运动，将所述检测位置作为所述目标对象的定位结果；若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续从所述目标场景中出界，确定所述目标对象对应的最后位置待检图像；将所述目标对象在所述最后位置待检图像中的检测位置作为所述目标对象的定位结果；其中，所述最后位置待检图像为所述目标对象在所述目标场景中出现的最后时刻对应的待检图像。
9.根据权利要求8所述的装置，其特征在于，所述跟踪结果确定模块，还用于针对任一帧待检图像，根据所述目标对象在所述任一帧待检图像之前的待检图像中的检测位置进行位置预测，得到所述目标对象在所述任一帧待检图像中的预测位置；根据所述目标对象在所述任一帧待检图像中的检测位置以及预测位置进行关联处理，确定所述目标对象的跟踪结果。
10.根据权利要求8所述的装置，所述定位结果确定模块，还用于若所述待确定对象类别为疑似遗留对象，且根据所述跟踪结果判定所述目标对象从所述目标场景中丢失，确定位于所述目标对象从所述目标场景中丢失后的第一预设时长内的后续待检图像；基于所述后续待检图像对应的跟踪结果继续执行判断所述目标对象是否从所述目标场景中丢失。
11.根据权利要求8所述的装置，其特征在于，所述定位结果确定模块，还用于若所述待确定对象类别为疑似丢失对象，且根据所述跟踪结果判定所述目标对象后续没有从所述目标场景中出界，继续执行判断所述目标对象后续是否出从所述目标场景中出界。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。
14.一种异构芯片，其特征在于，包括嵌入式神经网络处理器NPU、中央处理器CPU、存储器以及存储在所述存储器中且被配置为由所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行的计算机程序，所述中央处理器CPU和所述嵌入式神经网络处理器NPU执行所述计算机程序时实现如权利要求1至6中任意一项所述的方法。
CN202311064453.6A 2023-08-22 2023-08-22 目标对象定位方法、装置、拍摄设备、芯片、设备及介质 Active CN117036482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311064453.6A CN117036482B (zh) 2023-08-22 2023-08-22 目标对象定位方法、装置、拍摄设备、芯片、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311064453.6A CN117036482B (zh) 2023-08-22 2023-08-22 目标对象定位方法、装置、拍摄设备、芯片、设备及介质

Publications (2)

Publication Number Publication Date
CN117036482A CN117036482A (zh) 2023-11-10
CN117036482B true CN117036482B (zh) 2024-06-14

Family

ID=88631532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311064453.6A Active CN117036482B (zh) 2023-08-22 2023-08-22 目标对象定位方法、装置、拍摄设备、芯片、设备及介质

Country Status (1)

Country Link
CN (1) CN117036482B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527009A (zh) * 2017-07-11 2017-12-29 浙江汉凡软件科技有限公司 一种基于yolo目标检测的遗留物检测方法
WO2021189641A1 (zh) * 2020-03-25 2021-09-30 上海商汤临港智能科技有限公司 遗留对象检测

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409315B (zh) * 2018-11-07 2022-01-11 浩云科技股份有限公司 一种atm机面板区域遗留物检测方法及***
US11600072B2 (en) * 2018-12-12 2023-03-07 Motorola Solutions, Inc. Object left behind detection
KR20210004556A (ko) * 2019-07-05 2021-01-13 (주)엠아이웨어 인공지능을 이용한 차량내 분실물 검출 시스템 및 이를 이용한 분실물 검출 방법
CN111062273B (zh) * 2019-12-02 2023-06-06 青岛联合创智科技有限公司 一种遗留物品追溯检测与报警方法
CN111652114B (zh) * 2020-05-29 2023-08-25 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质
CN112597892B (zh) * 2020-12-23 2022-09-23 重庆邮电大学 一种汽车座舱内遗留物检测***及检测方法
WO2023039781A1 (zh) * 2021-09-16 2023-03-23 华北电力大学扬中智能电气研究中心 一种遗留物检测方法、装置、电子设备及存储介质
CN114495006A (zh) * 2022-01-26 2022-05-13 京东方科技集团股份有限公司 遗留物体的检测方法、装置及存储介质
CN114821551A (zh) * 2022-04-27 2022-07-29 深圳元戎启行科技有限公司 遗留物检测以及模型训练方法、装置和存储介质
CN114926764A (zh) * 2022-05-09 2022-08-19 国电汉川发电有限公司 一种工业场景下的遗留物检测方法和***
CN114842322A (zh) * 2022-05-11 2022-08-02 中科创达软件股份有限公司 遗留物检测方法、装置及电子设备、计算机可读存储介质
CN115619710A (zh) * 2022-08-29 2023-01-17 苏州飞搜科技有限公司 基于分步跟踪检测的物品数量统计方法、装置及设备
CN116129328A (zh) * 2023-02-20 2023-05-16 北京百度网讯科技有限公司 遗留物检测方法、装置、设备以及存储介质
CN116524400A (zh) * 2023-04-21 2023-08-01 杭州萤石软件有限公司 门前物品看护方法、装置、智能设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527009A (zh) * 2017-07-11 2017-12-29 浙江汉凡软件科技有限公司 一种基于yolo目标检测的遗留物检测方法
WO2021189641A1 (zh) * 2020-03-25 2021-09-30 上海商汤临港智能科技有限公司 遗留对象检测

Also Published As

Publication number Publication date
CN117036482A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN109727275B (zh) 目标检测方法、装置、***和计算机可读存储介质
US12024193B2 (en) Violation inspection system based on visual sensing of self-driving vehicle and method thereof
CN112861673A (zh) 一种用于监控视频多目标检测的去误报预警方法和***
Du et al. Dynamic pavement distress image stitching based on fine‐grained feature matching
CN113505704B (zh) 图像识别的人员安全侦测方法、***、设备及存储介质
CN113281780B (zh) 对图像数据进行标注的方法、装置及电子设备
CN112794274B (zh) 一种油罐车底部装油口安全监控方法及***
Alam et al. A vision-based system for traffic light detection
CN117036482B (zh) 目标对象定位方法、装置、拍摄设备、芯片、设备及介质
CN111951328A (zh) 一种物***置检测方法、装置、设备和存储介质
CN115546824B (zh) 禁忌图片识别方法、设备及存储介质
Feng et al. RTDOD: A large-scale RGB-thermal domain-incremental object detection dataset for UAVs
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN108268813B (zh) 一种车道偏离预警方法、装置及电子设备
Wu et al. Feature-based background registration in wide-area motion imagery
CN113792569B (zh) 对象识别方法、装置、电子设备及可读介质
CN114596239A (zh) 装卸货事件检测方法、装置、计算机设备和存储介质
Gonthina et al. Parking Slot Detection Using Yolov8
Lavanya et al. A CNN-Based License Plate Recognition Using TensorFlow and PySpark
Wu et al. Express parcel detection based on improved faster regions with CNN features
Ramajo Ballester et al. Deep learning for robust vehicle identification
CN115565201B (zh) 禁忌图片识别方法、设备及存储介质
CN115294484B (zh) 一种多无人机协同目标检测的方法
CN117036670B (zh) 质量检测模型的训练方法、装置、设备、介质及程序产品
US20230148017A1 (en) Compositional reasoning of gorup activity in videos with keypoint-only modality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant