CN113177440A - 图像同步方法、装置、电子设备和计算机存储介质 - Google Patents

图像同步方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN113177440A
CN113177440A CN202110382446.5A CN202110382446A CN113177440A CN 113177440 A CN113177440 A CN 113177440A CN 202110382446 A CN202110382446 A CN 202110382446A CN 113177440 A CN113177440 A CN 113177440A
Authority
CN
China
Prior art keywords
images
same moving
image
moving object
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110382446.5A
Other languages
English (en)
Inventor
解德鹏
李若岱
朱旭荣
王杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuanluobu Intelligent Technology Co ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110382446.5A priority Critical patent/CN113177440A/zh
Publication of CN113177440A publication Critical patent/CN113177440A/zh
Priority to PCT/CN2022/083308 priority patent/WO2022213833A1/zh
Priority to TW111112467A priority patent/TW202240462A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开实施例提出了一种图像同步方法、装置、电子设备和计算机存储介质，该方法包括：获取由至少两个图像采集设备采集的至少两幅图像，其中，至少两幅图像中各幅图像对应的图像采集设备不同；对所述至少两幅图像进行目标识别，确定同一运动目标在所述至少两幅图像中的位置；根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间；根据所述延迟时间，对所述至少两个图像采集设备进行时间同步处理。

Description

图像同步方法、装置、电子设备和计算机存储介质
技术领域
本公开涉及计算机视觉处理技术，尤其涉及一种图像同步方法、装置、电子设备和计算机存储介质。
背景技术
目前，对于集成多种图像采集设备的图像采集***，不同图像采集设备之间的图像延迟测量是***集成的关键问题，为了确定不同图像采集设备之间的图像延迟时间，在相关技术中，通常可以对不同图像采集设备之间的视频进行录像或录屏，然后通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟，存在耗时费力、效率低、精确度较低等问题。
发明内容
本公开实施例期望提供图像同步的技术方案。
本公开实施例提供了一种图像同步方法，所述方法包括：
获取由至少两个图像采集设备采集的至少两幅图像，其中，所述至少两幅图像中各幅图像对应的图像采集设备不同
对所述至少两幅图像进行目标识别，确定同一运动目标在所述至少两幅图像中的位置；
根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间；
根据所述延迟时间，对所述至少两个图像采集设备进行时间同步处理。
在一些实施例中，所述方法还包括：
获取处于匀速运动的所述同一运动目标的运动状态信息。
在一些实施例中，所述获取处于匀速运动的所述同一运动目标的运动状态信息，包括：
获取处于匀速圆周运动的所述同一运动目标的第一速率信息，将所述第一速率信息作为所述运动状态信息。
在一些实施例中，所述根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间，包括：
根据所述同一运动目标在所述至少两幅图像中的位置，确定所述同一运动目标在所述至少两幅图像的每幅图像中的极角，所述同一运动目标在所述每幅图像中的极角表示：在所述每幅图像中所述同一运动目标到的匀速圆周运动的运动中心点的连线与参考方向的夹角；
根据所述同一运动目标在所述至少两幅图像中的任意两幅图像的两个极角，确定所述两个极角的极角差；
根据所述极角差和所述第一速率信息，确定所述至少两幅图像中的任意两幅图像之间的延迟时间。
在一些实施例中，所述获取处于匀速运动的所述统一运动目标的运动状态信息，包括：
获取处于匀速直线运动的所述同一运动目标的第二速率信息，将所述第二速率信息作为所述运动状态信息。
在一些实施例中，所述根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间，包括：
根据所述同一运动目标在所述至少两幅图像中的位置，确定所述同一运动目标在所述至少两幅图像中的任意两幅图像的相对距离；
根据所述相对距离和所述第二速率信息，确定所述至少两幅图像中的任意两幅图像之间的延迟时间。
在一些实施例中，所述方法还包括：
获取所述同一运动目标的运动速度变化信息，将所述运动速度变化信息作为所述运动状态信息。
在一些实施例中，所述至少两个图像采集设备包括热成像仪，所述运动目标包括镂空部位。
本公开实施例还提供了一种图像同步装置，所述装置包括：
获取模块，用于获取由至少两个图像采集设备采集的至少两幅图像，其中，所述至少两幅图像中各幅图像对应的图像采集设备不同；
第一处理模块，用于对所述至少两幅图像进行目标识别，确定同一运动目标在所述至少两幅图像中的位置；根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间；
第二处理模块，用于根据所述延迟时间，对所述至少两个图像采集设备进行时间同步处理。
本公开实施例还提供了一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行上述任意一种图像同步方法。
本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种图像同步方法。
本公开实施例提出的图像同步方法、装置、电子设备和计算机存储介质中，获取由至少两个图像采集设备采集的至少两幅图像，其中，至少两幅图像中各幅图像对应的图像采集设备不同；对所述至少两幅图像进行目标识别，确定同一运动目标在所述至少两幅图像中的位置；根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间；根据所述延迟时间，对所述至少两个图像采集设备进行时间同步处理。
可以看出，本公开实施例，可以根据至少两幅图像中同一运动目标的位置差异、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像的延迟时间，从而实现至少两个图像采集设备的时间同步，由于无需通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟，可以快速精确地确定至少两幅图像的延迟时间，提高了不同图像采集设备之间的图像延迟的统计效率，并且与相关技术中通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟的方案相比，具有精确度高、易于实现等特点。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的图像同步方法的流程图；
图2A为本公开实施例中采用一种图像采集设备采集的转盘图像；
图2B为本公开实施例中采用另一种红外摄像机采集的转盘图像；
图3A为本公开实施例中采用RGB相机采集的转盘图像；
图3B为本公开实施例中采用红外摄像机采集的转盘图像；
图3C为本公开实施例中采用红外热像仪采集的转盘图像；
图4为本公开实施例的图像同步装置的组成结构示意图；
图5为本公开实施例的电子设备的结构示意图。
具体实施方式
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如，本公开实施例提供的图像同步方法包含了一系列的步骤，但是本公开实施例提供的图像同步方法不限于所记载的步骤，同样地，本公开实施例提供的图像同步装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或C，可以表示：单独存在A，同时存在A和C，单独存在C这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、C、D中的至少一种，可以表示包括从A、C和D构成的集合中选择的任意一个或多个元素。
本公开实施例可以应用于终端和/或服务器组成的计算机***中，并可以与众多其它通用或专用计算***环境或配置一起操作。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机***，等等，服务器可以是服务器计算机***小型计算机***﹑大型计算机***和包括上述任何***的分布式云计算技术环境，等等。
终端、服务器等电子设备可以在由计算机***执行的计算机***可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机***/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算***存储介质上。
在本公开的一些实施例中，提出了一种图像同步方法，可以应用于集成有多目相机***的电子设备中，本公开实施例可以应用于安防监控、非接触式人体测温、无人机拍摄、快速测温门禁通行等场景。
图1为本公开实施例的图像同步方法的流程图，如图1所示，该流程可以包括：
步骤101：获取由至少两个图像采集设备采集的至少两幅图像，其中，至少两幅图像中各幅图像对应的图像采集设备不同。
本公开实施例中，上述至少两个图像采集设备可以是多目相机中的设备，上述至少两个图像采集设备可以包括以下设备中的至少两个设备：采集红绿蓝(Red-Green-Blue，RGB)图像的设备、红外摄像机、热成像仪。
本公开实施例中，上述至少两幅图像表示由不同的图像采集设备采集的图像；示例性地，在至少两幅图像为两幅图像的情况下，两幅图像对应的图像采集设备分别为采集RGB图像的设备、红外摄像机和热成像仪中的任意两个设备；示例性地，在至少两幅图像为三幅图像的情况下，三幅图像对应的图像采集设备分别为采集RGB图像的设备、红外摄像机和热成像仪。
本公开实施例中，上述至少两个图像采集设备用于采集同一场景的图像，上述至少两个图像采集设备采集的图像可以包括相同的物体，上述相同的物体可以是运动状态的物体，也可以是静止状态的物体。
在一些实施例中，在集成有多目相机***的电子设备中，可以在同一时刻向上述至少两个图像采集设备下发拍摄指令，上述至少两个图像采集设备根据接收到的拍摄指令采集图像；可以理解地，由于上述电子设备中各个组件的通信链路等存在抖动等因素，可能导致获取到的至少两幅图像存在时间延迟，此时，需要确定上述至少两幅图像中两两之间的延迟时间，从而对至少两个图像采集设备进行同步处理，使得后续从至少两个图像采集设备获取的图像保持时间同步。
在一些实施例中，在获取至少两幅图像后，可以将上述至少两幅图像存储在电子设备的存储器中，以便于后续调用。
步骤102：对至少两幅图像进行目标识别，确定同一运动目标在至少两幅图像中的位置。
本公开实施例中，同一运动目标属于上述相同的物体；在一些实施例中，同一运动目标可以是预先指定的目标。例如，运动目标可以是指针、遥控汽车或者其它可以按照预设规律进行运动的目标。
在一些实施例中，可以对至少两幅图像中的每幅图像进行目标识别，从而识别出同一运动目标在每幅图像中的位置。
在一些实施例中，可以基于机器视觉技术，从每幅图像中提取特征，从而根据每幅图像中提取的特征识别出上述同一运动目标，进而确定同一运动目标在每幅图像中的位置。
示例性地，可以将每幅图像输入至预先训练的神经网络，基于神经网络对每幅图像的处理，识别相应的运动目标，从而确定该运动目标在每幅图像中的位置。
步骤103：根据同一运动目标在至少两幅图像中的位置、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像之间的延迟时间。
本公开实施例中，同一运动目标的运动状态信息可以是运动速度信息、运动速率信息、运动位置信息等；在一些实施例中，可以指定运动目标的运动方式，从而可以确定运动目标在每个时刻的速度、速率或位置。
在一个示例中，可以指定目标按照预设速率进行匀速运动，这里，匀速运动的含义为速率不变的运动，在匀速运动中，运动方向可以保持一致或发生改变；例如，匀速运动可以是匀速圆周运动、匀速直线运动或者其它按照规律的路线进行的匀速运动。
在另一个示例中，可以指定目标按照预设的速率变化规律进行运动。
示例性地，可以通过电机等设备驱动目标运动，这样，可以通过向电机下发相应的驱动指令，使得电机驱动目标按照指定的运动方式进行运动。
在一些实施例中，在上述至少两幅图像的个数为2的情况下，可以确定两幅图像相互之间的延迟时间；在上述至少两幅图像的个数大于2的情况下，上述至少两幅图像之间的延迟时间为至少两幅图像两两之间的延迟时间。
步骤104：根据延迟时间，对至少两个图像采集设备进行时间同步处理。
本公开实施例中，可以根据上述延迟时间，对上述至少两个图像采集设备两两之间进行时间同步处理，使得上述至少两个图像采集设备后续采集的图像能够保持时间一致性，即，后续从至少两个图像采集设备获取的图像可以保持时间同步。
示例性地，图像采集设备E采集的图像滞后于图像采集设备F采集的图像，且图像采集设备E采集的图像相对于图像采集设备F采集的图像的延迟时间为30μs，则可以将图像采集设备F后续采集的图像进行延迟30μs处理，从而实现图像采集设备E和图像采集设备F的时间同步。
示例性地，图像采集设备P采集的图像超前于图像采集设备Q采集的图像，且图像采集设备Q采集的图像相对于图像采集设备P采集的图像的延迟时间为40μs，则可以将图像采集设备P后续采集的图像进行延迟40μs处理，从而实现图像采集设备P和图像采集设备Q的时间同步。
在实际应用中，步骤101至步骤104可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。
可以看出，本公开实施例，可以根据至少两幅图像中同一运动目标的位置差异、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像的延迟时间，从而实现至少两个图像采集设备的时间同步，由于无需通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟，可以快速精确地确定至少两幅图像的延迟时间，提高了不同图像采集设备之间的图像延迟的统计效率，并且与相关技术中通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟的方案相比，具有精确度高、易于实现等特点。
在一些实施例中，可以处于匀速运动的同一运动目标的运动状态信息。
可以理解地，由于匀速运动的运动规律简单，因而根据匀速运动的目标的运动状态信息，易于确定至少两幅图像之间的延迟时间。
在一些实施例中，上述获取处于匀速运动的同一运动目标的运动状态信息可以包括：获取处于匀速圆周运动的同一运动目标的第一速率信息，将第一速率信息作为上述运动状态信息。
示例性地，第一速率信息为预设速率信息，可以看出，本公开实施例中，通过控制运动目标以第一速率进行匀速圆周运动，便于在对至少两个图像采集设备进行时间同步前确定运动目标的运动状态信息。
在一些实施例中，上述根据同一运动目标在至少两幅图像中的位置、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像之间的延迟时间，可以包括：
根据同一运动目标在至少两幅图像中的位置，确定同一运动目标在至少两幅图像的每幅图像中的极角，同一运动目标在每幅图像中的极角表示：在每幅图像中同一运动目标到的匀速圆周运动的运动中心点的连线与参考方向的夹角；
根据同一运动目标在至少两幅图像中的任意两幅图像的两个极角，确定两个极角的极角差；
根据极角差和第一速率信息，确定至少两幅图像之间的延迟时间。
本公开实施例中，参考方向可以表示预设的过匀速圆周运动的运动中心点的线的方向，在极坐标系中，参考方向可以表示极轴的方向。
示例性地，参照图2A，图像采集设备A1采集的图像中第一运动目标201与匀速圆周运动的运动中心点的连线为第一连线203，第一连线203与极轴202之间的夹角为36度；参照图2B，图像采集设备A2采集的图像中第一运动目标201与匀速圆周运动的运动中心点的连线为第二连线204，第二连线204与极轴202之间的夹角为74度，则第一运动目标201在两幅图像中的极角分别为36度和74度，从而，可以确定第一运动目标201在两幅图像中的极角差为38度。
在一些实施例中，可以根据以下公式计算任意两幅图像之间的延迟时间：
Figure BDA0003013542310000101
其中，Δt表示任意两幅图像之间的延迟时间，θ表示运动目标在任意两幅图像中的位置相对于匀速圆周运动的运动中心点的极角差，r表示转速，单位为转/秒。
可以理解地，如果运动目标旋转一周的时间小于任意两幅图像的时间延迟，则会导致上述极角差不能准确地反映两幅图像的时间延迟。
为了准确可靠地计算极角差，运动目标旋转一周的时间需要大于或等于任意两幅图像的时间延迟，示例性地，可以根据历史数据预估任意两幅图像的时间延迟的取值范围，从而根据该取值范围设置匀速圆周运动的转速，使得运动目标旋转一周的时间大于或等于任意两幅图像的时间延迟。
可以看出，本公开实施例可以根据极角差和第一速率信息，确定至少两幅图像之间的延迟时间，与相关技术中通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟的方案相比，具有准确高效的特点。
在一些实施例中，上述至少两个图像采集设备包括RGB相机、红外摄像机和红外热像仪，在进行图像同步前，可以开启背景热源，将能够进行匀速圆周运动的转盘放置在背景热源前方，使RGB相机、红外摄像机和红外热像仪能够直接拍摄到转盘；本公开实施例中，参照图3A至图3C，转盘301上设置表示转盘旋转角度的指针302，转盘301上还可以具有刻度，便于读取指针302的旋转角度，指针302为上述同一运动目标。
在控制转盘301以设定转速匀速运动时，控制RGB相机、红外摄像机和红外热像仪进行拍摄，其中，通过RGB相机拍摄得到的图像为RGB图像，通过红外摄像机拍摄得到的图像为红外图像，通过红外热像仪拍摄到的图像为热力图；示例性地，设定转速可以是1000转每秒，也就是说，转盘旋转一周的时间为1毫秒。
通过对RGB图像进行目标识别和角点检测，确定RGB图像中指针302的位置，参照图3A，指针302的位置为从正北方向旋转36度的位置。通过对红外图像进行目标识别和角点检测，确定红外图像中指针302的位置，参照图3B，指针302的位置为从正北方向旋转54度的位置。对热力图进行目标识别，确定热力图中指针302的位置，参照图3C，指针302的位置为从正北方向旋转72度的位置。
在确定指针302在RGB图像、红外图像和热力图中的位置之后，可以在RGB图像、红外图像和热力图中两两之间，确定指针的极角差，进而，确定RGB图像、红外图像和热力图中两两之间的延迟时间。
示例性地，参照图3A至图3C，指针在RGB图像和红外图像中相对于运动中心点的极角差为-18度，则在设定转速可以是1000转每秒的情况下，根据公式(1)，可以确定RGB图像相对于红外图像的延迟时间为-50微秒，即，RGB相机比红外摄像机的每帧图像慢50微秒
指针在RGB图像和热力图中相对于运动中心点的极角差为-36度，则在设定转速可以是1000转每秒的情况下，根据公式(1)，可以确定RGB图像相对于热力图的延迟时间为-100微秒，即，RGB相机比红外热像仪的每帧图像慢100微秒。
指针在红外图像和热力图中相对于运动中心点的极角差为-18度，则在设定转速可以是1000转每秒的情况下，根据公式(1)，可以确定红外图像相对于热力图的延迟时间为-50微秒，即，红外摄像机比红外热像仪的每帧图像慢50微秒。
在一些实施例中，可以获取处于匀速直线运动的同一运动目标的第二速率信息，将第二速率信息作为运动状态信息。
示例性地，第二速率信息为预设速率信息，可以看出，本公开实施例中，通过控制运动目标以第二速率进行匀速直线运动，便于在对至少两个图像采集设备进行时间同步前确定运动目标的运动状态信息。
在一些实施例中，上述根据同一运动目标在至少两幅图像中的位置、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像之间的延迟时间，可以包括：
根据同一运动目标在至少两幅图像中的位置，确定同一运动目标在至少两幅图像中的任意两幅图像的相对距离；
根据相对距离和第二速率信息，确定至少两幅图像中的任意两幅图像之间的延迟时间。
在一些实施例中，可以根据以下公式计算任意两幅图像之间的延迟时间：
Figure BDA0003013542310000121
其中，Δt表示任意两幅图像之间的延迟时间，l表示同一运动目标在任意两幅图像中的相对距离，v表示第二速率。
在一些实施例中，上述至少两个图像采集设备包括RGB相机、红外摄像机和红外热像仪，相应地，上述至少两幅图像为RGB图像、红外图像和热力图，RGB图像中运动目标相对起点的距离为l1，红外图像中运动目标相对起点的距离为l2，热力图中运动目标相对起点的距离为l3。
可以看出，运动目标在RGB图像和红外图像中的相对距离为l1-l2，根据公式(2)可以计算得出RGB图像和红外图像的延迟时间；运动目标在RGB图像和热力图中的相对距离为l1-l3，根据公式(2)可以计算得出RGB图像和热力图的延迟时间；运动目标在红外图像和热力图中的相对距离为l2-l3，根据公式(2)可以计算得出红外图像和热力图的延迟时间。
可以看出，本公开实施例可以根据相对距离和第二速率信息，确定至少两幅图像之间的延迟时间，与相关技术中通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟的方案相比，具有准确高效的特点。
在一些实施例中，可以获取同一运动目标的运动速度变化信息，将运动速度变化信息作为运动状态信息。
示例性地，可以指定运动目标在每个时刻的运动方式，从而可以预先确定运动目标在每个时刻的速度，即，可以确定出运动目标的运动速度变化信息。
可以看出，本公开实施例中，通过控制运动目标参照预设的运动速度变化信息进行运动，便于在对至少两个图像采集设备进行时间同步前确定运动目标的运动状态信息，从而，有利于确定至少两幅图像的延迟时间。
在一些实施例中，在至少两个图像采集设备包括热成像仪的情况下，运动目标可以包括镂空部位；在进行图像同步前，可以开启背景热源，将运动目标放置在背景热源前方，这样，由于运动目标包括镂空部位，在热成像仪采集的图像中便于直观的观测到运动目标。
示例性地，在运动目标位于转盘时，可以在转盘上增加镂空的刻度线，便于在热成像仪采集的图像中直观地观测运动目标的位置。
在门禁通行、安防、快速测温场景中，可以在电子设备中集成多目相机***，从而获取RGB图像、红外图像和热力图，RGB图像、红外图像和热力图相互之间会存在时间延迟，对快速运动物体会存在双目测距差异、目标映射异常问题，导致出现测温、活体、距离位置估算功能异常问题，因而，需要对多目相机采集的图像之间的时间延迟进行确定和后续处理。针对该问题，在本公开实施例中，根据至少两幅图像中同一运动目标的位置差异、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像的延迟时间，从而实现至少两个图像采集设备的时间同步，由于无需通过视频图像数帧或人眼观测方法确定不同图像采集设备之间的图像延迟，可以快速精确地确定至少两幅图像的延迟时间，提高了不同图像采集设备之间的图像延迟的统计效率，优化了集成多目相机***的电子设备的数据通路，增加了用户体验性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
在前述实施例提出的图像同步方法的基础上，本公开实施例提出了一种图像同步装置。
图4为本公开实施例的图像同步装置的组成结构示意图，如图4所示，该装置可以包括获取模块400、第一处理模块401和第二处理模块402，其中，
获取模块400，用于获取由至少两个图像采集设备采集的至少两幅图像，其中，至少两幅图像中各幅图像对应的图像采集设备不同；
第一处理模块401，用于对至少两幅图像进行目标识别，确定同一运动目标在至少两幅图像中的位置；根据同一运动目标在至少两幅图像中的位置、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像之间的延迟时间；
第二处理模块402，用于根据延迟时间，对至少两个图像采集设备进行时间同步处理。
在一些实施例中，第一处理模块401，还用于获取处于匀速运动的同一运动目标的运动状态信息。
在一些实施例中，第一处理模块401，用于获取处于匀速运动的同一运动目标的运动状态信息，包括：
获取处于匀速圆周运动的同一运动目标的第一速率信息，将第一速率信息作为运动状态信息。
在一些实施例中，第一处理模块401，用于根据同一运动目标在至少两幅图像中的位置、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像之间的延迟时间，包括：
根据同一运动目标在至少两幅图像中的位置，确定同一运动目标在至少两幅图像的每幅图像中的极角，同一运动目标在每幅图像中的极角表示：在每幅图像中同一运动目标到的匀速圆周运动的运动中心点的连线与参考方向的夹角；
根据同一运动目标在至少两幅图像中的任意两幅图像的两个极角，确定两个极角的极角差；
根据极角差和第一速率信息，确定至少两幅图像中的任意两幅图像之间的延迟时间。
在一些实施例中，第一处理模块401，用于获取处于匀速运动的同一运动目标的运动状态信息，包括：
获取处于匀速直线运动的同一运动目标的第二速率信息，将第二速率信息作为运动状态信息。
在一些实施例中，第一处理模块401，用于根据同一运动目标在至少两幅图像中的位置、以及预先确定的同一运动目标的运动状态信息，确定至少两幅图像之间的延迟时间，包括：
根据同一运动目标在至少两幅图像中的位置，确定同一运动目标在至少两幅图像中的任意两幅图像的相对距离；
根据相对距离和第二速率信息，确定至少两幅图像中的任意两幅图像之间的延迟时间。
在一些实施例中，第一处理模块401，还用于获取同一运动目标的运动速度变化信息，将运动速度变化信息作为运动状态信息。
在一些实施例中，至少两个图像采集设备包括热成像仪，运动目标包括镂空部位。
实际应用中，获取模块400、第一处理模块401、第二处理模块402均可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种图像同步方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像同步方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种图像同步方法。
基于前述实施例相同的技术构思，参见图5，其示出了本公开实施例提供的一种电子设备5，可以包括：存储器501和处理器502；其中，
所述存储器501，用于存储计算机程序和数据；
所述处理器502，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种图像同步方法。
在实际应用中，上述存储器501可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器502提供指令和数据。
上述处理器502可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
本公开所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本公开所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本公开的保护之内。

Claims (11)

1.一种图像同步方法，其特征在于，所述方法包括：
获取由至少两个图像采集设备采集的至少两幅图像，其中，所述至少两幅图像中各幅图像对应的图像采集设备不同；
对所述至少两幅图像进行目标识别，确定同一运动目标在所述至少两幅图像中的位置；
根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间；
根据所述延迟时间，对所述至少两个图像采集设备进行时间同步处理。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取处于匀速运动的所述同一运动目标的运动状态信息。
3.根据权利要求2所述的方法，其特征在于，所述获取处于匀速运动的所述同一运动目标的运动状态信息，包括：
获取处于匀速圆周运动的所述同一运动目标的第一速率信息，将所述第一速率信息作为所述运动状态信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间，包括：
根据所述同一运动目标在所述至少两幅图像中的位置，确定所述同一运动目标在所述至少两幅图像的每幅图像中的极角，所述同一运动目标在所述每幅图像中的极角表示：在所述每幅图像中所述同一运动目标到的匀速圆周运动的运动中心点的连线与参考方向的夹角；
根据所述同一运动目标在所述至少两幅图像中的任意两幅图像的两个极角，确定所述两个极角的极角差；
根据所述极角差和所述第一速率信息，确定所述至少两幅图像中的任意两幅图像之间的延迟时间。
5.根据权利要求2所述的方法，其特征在于，所述获取处于匀速运动的所述同一运动目标的运动状态信息，包括：
获取处于匀速直线运动的所述同一运动目标的第二速率信息，将所述第二速率信息作为所述运动状态信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间，包括：
根据所述同一运动目标在所述至少两幅图像中的位置，确定所述同一运动目标在所述至少两幅图像中的任意两幅图像的相对距离；
根据所述相对距离和所述第二速率信息，确定所述至少两幅图像中的任意两幅图像之间的延迟时间。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述同一运动目标的运动速度变化信息，将所述运动速度变化信息作为所述运动状态信息。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述至少两个图像采集设备包括热成像仪，所述运动目标包括镂空部位。
9.一种图像同步装置，其特征在于，所述装置包括：
获取模块，用于获取由至少两个图像采集设备采集的至少两幅图像，其中，所述至少两幅图像中各幅图像对应的图像采集设备不同；
第一处理模块，用于对所述至少两幅图像进行目标识别，确定同一运动目标在所述至少两幅图像中的位置；根据所述同一运动目标在所述至少两幅图像中的位置、以及预先确定的所述同一运动目标的运动状态信息，确定所述至少两幅图像之间的延迟时间；
第二处理模块，用于根据所述延迟时间，对所述至少两个图像采集设备进行时间同步处理。
10.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行权利要求1至8任一项所述的方法。
11.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。
CN202110382446.5A 2021-04-09 2021-04-09 图像同步方法、装置、电子设备和计算机存储介质 Pending CN113177440A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110382446.5A CN113177440A (zh) 2021-04-09 2021-04-09 图像同步方法、装置、电子设备和计算机存储介质
PCT/CN2022/083308 WO2022213833A1 (zh) 2021-04-09 2022-03-28 用于图像同步的方法、装置、电子设备和计算机存储介质
TW111112467A TW202240462A (zh) 2021-04-09 2022-03-31 用於圖像同步的方法、裝置、電子設備和計算機儲存媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110382446.5A CN113177440A (zh) 2021-04-09 2021-04-09 图像同步方法、装置、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN113177440A true CN113177440A (zh) 2021-07-27

Family

ID=76924699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110382446.5A Pending CN113177440A (zh) 2021-04-09 2021-04-09 图像同步方法、装置、电子设备和计算机存储介质

Country Status (3)

Country Link
CN (1) CN113177440A (zh)
TW (1) TW202240462A (zh)
WO (1) WO2022213833A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923317A (zh) * 2021-08-30 2022-01-11 珠海视熙科技有限公司 一种相机帧同步测试方法、装置以及存储介质
WO2022213833A1 (zh) * 2021-04-09 2022-10-13 上海商汤智能科技有限公司 用于图像同步的方法、装置、电子设备和计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233722A (zh) * 2014-03-20 2016-12-14 高途乐公司 多相机***中的图像传感器的自动对准
WO2018153211A1 (zh) * 2017-02-22 2018-08-30 中兴通讯股份有限公司 获取交通路况信息的方法及装置、计算机存储介质
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
US20190199890A1 (en) * 2017-12-22 2019-06-27 Canon Kabushiki Kaisha Image capturing apparatus capable of time code synchronization, control method of the same, storage medium, and image capturing system
CN110751685A (zh) * 2019-10-21 2020-02-04 广州小鹏汽车科技有限公司 深度信息确定方法、确定装置、电子装置和车辆
CN111815675A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 目标对象的跟踪方法及装置、电子设备和存储介质
CN112113582A (zh) * 2019-06-21 2020-12-22 上海商汤临港智能科技有限公司 时间同步处理方法、电子设备及存储介质
CN112543261A (zh) * 2020-12-08 2021-03-23 浙江大华技术股份有限公司 一种图像质量提升方法、装置以及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
US11132533B2 (en) * 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
CN111208963B (zh) * 2020-01-10 2022-10-18 井冈山电器有限公司 一种视频同步显示方法及***
CN113177440A (zh) * 2021-04-09 2021-07-27 深圳市商汤科技有限公司 图像同步方法、装置、电子设备和计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233722A (zh) * 2014-03-20 2016-12-14 高途乐公司 多相机***中的图像传感器的自动对准
WO2018153211A1 (zh) * 2017-02-22 2018-08-30 中兴通讯股份有限公司 获取交通路况信息的方法及装置、计算机存储介质
US20190199890A1 (en) * 2017-12-22 2019-06-27 Canon Kabushiki Kaisha Image capturing apparatus capable of time code synchronization, control method of the same, storage medium, and image capturing system
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN112113582A (zh) * 2019-06-21 2020-12-22 上海商汤临港智能科技有限公司 时间同步处理方法、电子设备及存储介质
CN110751685A (zh) * 2019-10-21 2020-02-04 广州小鹏汽车科技有限公司 深度信息确定方法、确定装置、电子装置和车辆
CN111815675A (zh) * 2020-06-30 2020-10-23 北京市商汤科技开发有限公司 目标对象的跟踪方法及装置、电子设备和存储介质
CN112543261A (zh) * 2020-12-08 2021-03-23 浙江大华技术股份有限公司 一种图像质量提升方法、装置以及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐晋等: "大学物理 上", 31 March 2020, 重庆大学出版社, pages: 1 - 6 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022213833A1 (zh) * 2021-04-09 2022-10-13 上海商汤智能科技有限公司 用于图像同步的方法、装置、电子设备和计算机存储介质
CN113923317A (zh) * 2021-08-30 2022-01-11 珠海视熙科技有限公司 一种相机帧同步测试方法、装置以及存储介质
CN113923317B (zh) * 2021-08-30 2022-11-15 珠海视熙科技有限公司 一种相机帧同步测试方法、装置以及存储介质

Also Published As

Publication number Publication date
TW202240462A (zh) 2022-10-16
WO2022213833A1 (zh) 2022-10-13

Similar Documents

Publication Publication Date Title
WO2022213833A1 (zh) 用于图像同步的方法、装置、电子设备和计算机存储介质
EP3089449B1 (en) Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium
US20190287297A1 (en) Three-dimensional environment modeling based on a multi-camera convolver system
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
CN110268445A (zh) 利用陀螺仪的相机自动校准
CN111093050B (zh) 一种目标监控方法及装置
CN109696158A (zh) 距离测量方法、距离测量装置和电子设备
CN111488835B (zh) 一种同行人员的识别方法及装置
CN103797357A (zh) 用于基于控制器的叶片成像的触发器
WO2021168804A1 (zh) 图像处理方法、图像处理装置和图像处理***
CN111047622B (zh) 视频中对象的匹配方法和装置、存储介质及电子装置
CN110910459A (zh) 一种对摄像装置的标定方法、装置及标定设备
CN110738078A (zh) 一种人脸识别方法及终端设备
CN111213365A (zh) 拍摄控制方法及控制器
CN111279393A (zh) 相机标定方法、装置、设备及存储介质
CN108298101B (zh) 云台旋转的控制方法及装置、无人机
CN113342055A (zh) 无人机飞行控制方法、装置、电子设备及存储介质
WO2020255628A1 (ja) 画像処理装置及び画像処理用プログラム
CN112272267A (zh) 拍摄控制方法、拍摄控制装置及电子设备
EP3367353B1 (fr) Procédé de pilotage d'une caméra ptz, produit programme d'ordinateur et dispositif de pilotage associés
CN109345560B (zh) 增强现实设备的运动跟踪精度测试方法及装置
CN113936042B (zh) 一种目标跟踪方法、装置和计算机可读存储介质
CN114125303B (zh) 测试图像采集方法、装置、设备及介质
CN111433819A (zh) 目标场景三维重建方法、***及无人机
CN109374919B (zh) 一种基于单个拍摄设备确定移动速度的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40049355

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240416

Address after: 200030, Units 6-77, 6th Floor, No. 1900 Hongmei Road, Xuhui District, Shanghai

Applicant after: Shanghai Yuanluobu Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Applicant before: SHENZHEN SENSETIME TECHNOLOGY Co.,Ltd.

Country or region before: China