CN110969657B - 一种枪球坐标关联方法、装置、电子设备及存储介质 - Google Patents

一种枪球坐标关联方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110969657B
CN110969657B CN201811146931.7A CN201811146931A CN110969657B CN 110969657 B CN110969657 B CN 110969657B CN 201811146931 A CN201811146931 A CN 201811146931A CN 110969657 B CN110969657 B CN 110969657B
Authority
CN
China
Prior art keywords
image
image block
camera image
output result
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811146931.7A
Other languages
English (en)
Other versions
CN110969657A (zh
Inventor
许剑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811146931.7A priority Critical patent/CN110969657B/zh
Publication of CN110969657A publication Critical patent/CN110969657A/zh
Application granted granted Critical
Publication of CN110969657B publication Critical patent/CN110969657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种枪球坐标关联方法、装置、电子设备及存储介质。所述方法包括：将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；基于第一输出结果所包括的位置信息和第二输出结果所包括的位置信息，确定多组匹配点；其中，任一组匹配点包括枪机图像中的一个坐标点和球机图像中的一个坐标点，且任一组匹配点所包括的两个坐标点满足：属于相同目标且在相同目标所对应图像区域中的位置具有对应性；基于所确定的多组匹配点，计算关于枪机图像和球机图像的坐标映射矩阵。应用本发明实施例能够实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。

Description

一种枪球坐标关联方法、装置、电子设备及存储介质
技术领域
本发明涉及视频监控领域，特别是涉及一种枪球坐标关联方法、装置、电子设备及存储介质。
背景技术
在视频监控领域，常用的视频监控设备包括枪机和球机等。枪机即枪式摄像机，球机即智能球摄像机，枪机和球机都可以用于拍摄图像。
在一些场景下，比如在枪机图像和球机图像中跟踪同一目标等，需要将枪机图像的坐标与球机图像的坐标建立映射关系，也就是实现枪球坐标关联。在现有技术中，一种枪球坐标关联方法的过程是：利用SIFT(Scale-invariant feature transform，尺度不变特征变换算法)、ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述算法)或SURF(Speeded-Up Robust Features，快速鲁棒特征算法)等传统的特征提取滤波器，分别提取枪机图像和球机图像中的多个特征点；然后，在提取到的枪机的多个特征点和球机的多个特征点中，确定多组匹配点，其中，一组匹配点包括像素特征匹配的、枪机图像的一个特征点和球机图像的一个特征点；最后，利用确定的多组匹配点计算坐标映射矩阵，所述坐标映射矩阵用于表征枪机图像的坐标和球机图像的坐标的映射关系。
上述的枪球坐标关联方法所利用的特征提取滤波器需要通过人工设计。而由于人工设计特征提取滤波器时所考虑到的图像特征的种类有限，因此，在对图像进行坐标提取时，可能存在特征点不足或噪点过多等问题，这样无疑导致难以有效地确定匹配点，最终无法有效地实现枪球坐标关联。
发明内容
本发明实施例的目的在于提供一种枪球坐标关联方法、装置、电子设备及存储介质，以实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。具体技术方案如下：
第一方面，本发明实施例提供了一种枪球坐标关联方法，所述方法包括：
将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；其中，所述神经网络用于识别图像中目标的位置信息，所述第一输出结果包括所述枪机图像中各个目标的位置信息，所述第二输出结果包括所述球机图像中各个目标的位置信息；
基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多组匹配点；其中，任一组匹配点包括所述枪机图像中的一个坐标点和所述球机图像中的一个坐标点，且任一组匹配点所包括的两个坐标点满足：属于相同目标且在所述相同目标所对应图像区域中的位置具有对应性；
基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵。
可选的，所述基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多组匹配点，包括：
基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标；
从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点。
可选的，所述基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标，包括：
确定所述枪机图像中的各个第一图像块以及所述球机图像中的各个第二图像块；其中，所述第一图像块为与所述第一输出结果所包括的位置信息对应的图像区域，所述第二图像块为与所述第二输出结果所包括的位置信息对应的图像区域；
将所确定的第一图像块和第二图像块组成多个图像块组，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度；其中，任意一个图像块组由一个第一图像块和一个第二图像块组成；
在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度；
针对所述至少一个相似度中每个相似度所对应的图像块组，将该图像块组中第一图像块和第二图像块所对应的目标，确定为相同目标。
可选的，所述第一输出结果还包括所述枪机图像中各个目标的类别，所述第二输出结果还包括所述球机图像中各个目标的类别；
所述将所确定的第一图像块和第二图像块组成多个图像块组，包括：
针对每一类别，将所对应目标属于该类别的第一图像块和第二图像块组成多个图像块组。
可选的，所述针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度，包括：
将每个图像块组输入预先训练的度量网络，得到该图像块组中第一图像块和第二图像块的相似度；
其中，所述度量网络为用于计算图像相似度的神经网络。
可选的，所述在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度，包括：
在多个图像块组对应的相似度中，确定大于预设相似度阈值的相似度，得到多个第一相似度；
针对所述多个第一相似度中的任意两个第一相似度，当判断出该任意两个第一相似度所对应的图像块组中存在：相同的第一图像块或相同的第二图像块时，将该任意两个第一相似度中的较小相似度删除；
将剩余的第一相似度确定为满足预设条件的相似度。
可选的，所述至少一个相同目标为一个相同目标；
所述从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点，包括：
在所述枪机图像中所述相同目标所对应的坐标点中，确定多个预设位置处的坐标点，以及，在所述球机图像中所述相同目标所对应的坐标点中，确定所述多个预设位置处的坐标点；其中，所述多个预设位置的数量不少于四个；
针对每一预设位置，将所述枪机图像中该预设位置处的坐标点和所述球机图像中该预设位置处的坐标点，作为一组匹配点。
可选的，所述至少一个相同目标为至少四个相同目标；
所述从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点，包括：
针对每一相同目标，在所述枪机图像中该相同目标所对应的坐标点中，确定一预设位置处的坐标点，以及，在所述球机图像中该相同目标所对应的坐标点中，确定所述预设位置处的坐标点，将所确定的两个坐标点作为一组匹配点。
第二方面，本发明实施例提供了一种枪球坐标关联装置，所述装置包括：
获得模块，用于将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；其中，所述神经网络用于识别图像中目标的位置信息，所述第一输出结果包括所述枪机图像中各个目标的位置信息，所述第二输出结果包括所述球机图像中各个目标的位置信息；
确定模块，用于基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多组匹配点；其中，任一组匹配点包括所述枪机图像中的一个坐标点和所述球机图像中的一个坐标点，且任一组匹配点所包括的两个坐标点满足：属于相同目标且在所述相同目标所对应图像区域中的位置具有对应性；
计算模块，用于基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵。
可选的，所述确定模块，包括：
第一确定子模块，用于基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标；
第二确定子模块，用于从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点。
可选的，所述第一确定子模块，包括：
第一确定单元，用于确定所述枪机图像中的各个第一图像块以及所述球机图像中的各个第二图像块；其中，所述第一图像块为与所述第一输出结果所包括的位置信息对应的图像区域，所述第二图像块为与所述第二输出结果所包括的位置信息对应的图像区域；
计算单元，用于将所确定的第一图像块和第二图像块组成多个图像块组，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度；其中，任意一个图像块组由一个第一图像块和一个第二图像块组成；
第二确定单元，用于在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度；
第三确定单元，用于针对所述至少一个相似度中每个相似度所对应的图像块组，将该图像块组中第一图像块和第二图像块所对应的目标，确定为相同目标。
可选的，所述第一输出结果还包括所述枪机图像中各个目标的类别，所述第二输出结果还包括所述球机图像中各个目标的类别；
所述计算单元，具体用于：
针对每一类别，将所对应目标属于该类别的第一图像块和第二图像块组成多个图像块组。
可选的，所述计算单元，具体用于：
将每个图像块组输入预先训练的度量网络，得到该图像块组中第一图像块和第二图像块的相似度；
其中，所述度量网络为用于计算图像相似度的神经网络。
第三方面，本发明实施例提供了一种电子设备，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现本发明实施例所提供的枪球坐标关联方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例所提供的枪球坐标关联方法的步骤。
本发明实施例所提供的方案中，首先，利用预先训练的神经网络，得到枪机图像的第一输出结果和球机图像的第二输出结果；其次，基于所述第一输出结果所包括的各个目标的位置信息和所述第二输出结果所包括的各个目标的位置信息，在枪机图像和球机图像的相同目标所对应图像区域内、位置具有对应性的坐标点中确定多组匹配点；最后，利用确定的多组匹配点，计算得到关于所述枪机图像和所述球机图像的坐标映射矩阵。本方案中，坐标关联所基于的匹配点是从枪机图像和球机图像中相同目标对应的图像区域中提取的，而由于枪机图像和球机图像中相同目标具有相同的特征，保证了具有相同特征的坐标点的数量，并且，各个目标的位置信息是通过具有强大学习性能的神经网络所确定的，保证了位置信息较为准确，因此，可以避免特征点不足或噪点过多等问题，实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种枪球坐标关联方法的一种流程示意图；
图2为本发明实施例所提供的枪机图像或球机图像的检测结果示意图；
图3为本发明实施例所提供的一种枪球坐标关联方法的另一种流程示意图；
图4(a)为用于示例的枪机图像的检测结果示意图；图4(b)为用于示例的球机图像的检测结果示意图；
图5为本发明实施例所提供的一种枪球坐标关联装置的结构示意图；
图6为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的，本发明实施例提供了一种枪球坐标关联方法、装置、电子设备及存储介质。
需要说明的是，本发明实施例所提供的一种枪球坐标关联方法的执行主体可以为一种枪球坐标关联装置，所述装置可以运行于电子设备中。其中，该电子设备可以为一服务器或终端设备，当然并不局限于此。
下面，首先对本发明实施例所提供的一种枪球坐标关联方法进行介绍。
如图1所示，本发明实施例所提供的一种枪球坐标关联方法，可以包括如下步骤：
S101，将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；
其中，待坐标关联的枪机图像和球机图像有共同之处，具体来说，待坐标关联的枪机图像和球机图像可以是同一场景的图像，也可以是相同目标在不同场景的图像等。
在本发明实施例中，首先可以获取待坐标关联的枪机图像和球机图像，然后将获取的待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络。其中，获取待坐标关联的枪机图像和球机图像的方式可以是实时地从枪机中获取枪机图像，并从球机中对应地获取球机图像；也可以是从一预设存储位置获取待坐标关联的枪机图像和球机图像等，这都是合理的。
所述神经网络是一个基于深度学习的检测网络，所述神经网络用于识别图像中目标的位置信息。其中，所述目标包括但不限于人、车、建筑物、植物及动物等。由于所述神经网络用于识别图像中目标的位置信息，因此，所述第一输出结果包括所述枪机图像中各个目标的位置信息，所述第二输出结果包括所述球机图像中各个目标的位置信息。
具体的，首先，所述神经网络可以检测出所述枪机图像和所述球机图像中的各个目标。参见图2所示的枪机图像或球机图像的检测结果示意图进行理解，从图2中可见，所述神经网络可以在原有的图像上，用检测框对检测出的目标进行标识，每个检测框覆盖对应目标的全部图像区域。如图2所示，该图像中存在两个目标，一个目标是人，另一个目标是车辆。然后，所述神经网络可以输出该图像的输出结果，其中，所述输出结果包括每个目标的位置信息。在图2中，可选的，所述目标的位置信息可以为目标对应的矩形检测框的坐标点，也就是矩形检测框的边线上的坐标点。
当然，所述检测框的形状不限于图2所示的矩形，还可以是圆形或梯形等形状。
可以理解的是，所述目标的位置信息并不局限于目标对应的检测框的坐标点，任何能定位到目标的信息均可以作为目标的位置信息，举例而言：所述目标的位置信息还可以为：中央、左上方等方位信息，或者，所述目标的轮廓点，或者，所述目标对应的检测框内包括的坐标点，等等。
需要说明的是，所述神经网络是根据样本枪机图像、样本球机图像、样本枪机图像中各个目标的位置信息及样本球机图像中各个目标的位置信息训练得到的，为了布局清楚，关于所述神经网络的训练过程在后文进行说明。
S102，基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多组匹配点；
考虑到所述枪机图像和所述球机图像中相同目标对应的图像区域存在相同的图像特征。因此，在本发明实施例中，可以在所述枪机图像和所述球机图像的相同目标的坐标点中确定匹配点，从而缩小匹配点的查找范围、提高匹配点的确定速度，得到有效的匹配点。
其中，任一组匹配点包括所述枪机图像中的一个坐标点和所述球机图像中的一个坐标点，且任一组匹配点所包括的两个坐标点满足：属于相同目标且在所述相同目标所对应图像区域中的位置具有对应性。需要强调的是，当所述目标的位置信息为目标对应的矩形框的坐标点时，任一目标对应的图像区域为该矩形框所包围的区域。
为了便于理解，以一组匹配点举例说明，比如一组匹配点所包括的两个坐标点包括枪机图像中的坐标点A和球机图像中的坐标点B，A和B属于相同目标C，并且A在枪机图像中目标C对应的图像区域中的位置是中心，B在球机图像中目标C对应的图像区域中的位置也是中心。
需要说明的是，根据坐标映射矩阵的计算方法的要求，所述多组匹配点的组数不少于四组。
需要说明的是，基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多组匹配点的具体实现方式存在多种。为了布局清晰及方案清楚，后续结合具体实施例对所述基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多组匹配点的具体实现方式进行介绍。
S103，基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵。
基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵的具体实现方式可以存在多种。可选地，在一种具体实现方式中，该计算过程可以包括以下步骤：
1)基于N组匹配点中各个坐标点的二维坐标，确定枪机图像的坐标矩阵和球机图像的坐标矩阵，其中，所述N为大于或等于4的自然数。
枪机图像的坐标矩阵为：
球机图像的坐标矩阵为：
其中，(x,y)为匹配点中枪机图像对应的坐标点的二维坐标。(u,v)为匹配点中球机图像对应的坐标点的二维坐标。S和D中最后一行为便于矩阵计算添加的数组。
2)假设坐标映射矩阵为H，H是3x3的矩阵，即：
假设：
h＝(H11,H12,H13,H21,H22,H23,H31,H32,H33)T；
ax,u＝(-x,-y,-1,0,0,0,ux,uy,u)T；
ay,v＝(0,0,0,-x,-y,-1,vx,vy,v)T；
其中，h、ax,u、ay,v和A均为便于计算而构造的变量。
那么，求解等式Ah＝0可以得到h的解，继而得到坐标映射矩阵H。
3)对A进行SVD分解可以得到：
[U,Σ,V]＝svd(A)
由SVD分解得到的A的右奇异向量和左奇异向量，将Σ,V以对应的关系，按Σ中的值从大到小排序，Σ中最小值对应的右奇异向量即为h的近似解：
h＝V[[min(∑)],:]
其中，min(∑)代表取∑的最小值。
由于计算h的近似解的过程为现有技术，在此不再详细说明。
得到h的近似解之后，可以确定坐标映射矩阵H。
需要说明的是，得到坐标映射矩阵之后，可以通过枪机图像的坐标(x,y)映射求解球机图像的坐标(u,v)，即：
当然，也可以利用坐标映射矩阵，通过球机图像的坐标(u,v)映射求解枪机图像的坐标(x,y)，具体计算方法在此不再赘述。
本发明实施例所提供的方案中，首先，利用预先训练的神经网络，得到枪机图像的第一输出结果和球机图像的第二输出结果；其次，基于所述第一输出结果所包括的各个目标的位置信息和所述第二输出结果所包括的各个目标的位置信息，在枪机图像和球机图像的相同目标所对应图像区域内、位置具有对应性的坐标点中确定多组匹配点；最后，利用确定的多组匹配点，计算得到关于所述枪机图像和所述球机图像的坐标映射矩阵。本方案中，坐标关联所基于的匹配点是从枪机图像和球机图像中相同目标对应的图像区域中提取的，而由于枪机图像和球机图像中相同目标具有相同的特征，保证了具有相同特征的坐标点的数量，并且，各个目标的位置信息是通过具有强大学习性能的神经网络所确定的，保证了位置信息较为准确，因此，可以避免特征点不足或噪点过多等问题，实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。
以下补充说明所述神经网络的训练过程，所述神经网络的训练过程可以包括以下步骤：
第一步，获取样本枪机图像、样本球机图像、样本枪机图像中各个目标的位置信息及样本球机图像中各个目标的位置信息；
在该步骤中，可以获取多组训练集，任一组训练集包括一样本枪机图像、一样本球机图像、所述样本枪机图像中各个目标的位置信息及所述样本球机图像中各个目标的位置信息。
其中，各个目标的位置信息可以是通过人工标定的，当然，也可以是利用其他工具自动完成标定的。
第二步，利用所述样本枪机图像、所述样本球机图像、所述样本枪机图像中各个目标的位置信息及所述样本球机图像中各个目标的位置信息，训练预先构建的初始神经网络，得到所述神经网络。
其中，所述初始神经网络可以为现有的一种神经网络。
关于该步骤的神经网络的训练过程具体可以为：
1)将多组训练集输入所述初始神经网络，并将一组训练集中样本枪机图像中各个目标的位置信息及样本球机图像中各个目标的位置信息作为该组训练集对应的所述初始神经网络的真值。
2)在(0,1)范围内随机初始化初始神经网路中的参数，所述参数包括神经元的连接权重等。
3)将各个训练集通过所述初始神经网络的训练，获得对应的训练结果。
4)将训练结果和对应的真值进行比较，得到输出结果；
5)根据输出结果，计算所述初始神经网络的损失函数Loss的值；
6)根据所述Loss的值，调整初始神经网络的参数，并重新进行3)-6)步骤，直至所述Loss的值达到了一定的收敛条件，也就是所述Loss的值达到最小，这时，确定初始神经网络的参数，完成初始神经网络的训练，获得训练完成的神经网络。
在本发明实施例中，可以利用神经网络在图像识别方面的优势，快速得到目标的位置信息，节省数据处理的成本并提高确定目标的位置信息的准确性。
下面结合具体实施例，对本发明实施例所提供的一种枪球坐标关联方法进行介绍。
如图3所示，本发明实施例所提供的一种枪球坐标关联方法，可以包括如下步骤：
S301，将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；
S301与S101相同，在此不做赘述。
S302，基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标；
本实施例中，S302-S303是上述实施例中的S102的一种可选地的实现方式。
可选的，在本发明实施例中，步骤S302可以包括以下步骤a-步骤d：
步骤a，确定所述枪机图像中的各个第一图像块以及所述球机图像中的各个第二图像块；其中，所述第一图像块为与所述第一输出结果所包括的位置信息对应的图像区域，所述第二图像块为与所述第二输出结果所包括的位置信息对应的图像区域；
步骤b，将所确定的第一图像块和第二图像块组成多个图像块组，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度；其中，任意一个图像块组由一个第一图像块和一个第二图像块组成；
步骤c，在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度；
步骤d，针对所述至少一个相似度中每个相似度所对应的图像块组，将该图像块组中第一图像块和第二图像块所对应的目标，确定为相同目标。
具体的，在步骤a中，可以利用第一输出结果中，包含目标的检测框的边线上各个坐标点的二维坐标，在所述枪机图像中，定位出这些坐标点所对应的图像区域，然后截取该图像区域的图像，将截取到的图像作为该目标对应的第一图像块；同样的，可以利用第二输出结果中，包含目标的检测框的边线上各个坐标点的二维坐标，在所述球机图像中，定位出这些坐标点所对应的图像区域，然后截取该图像区域的图像，将截取到的图像作为该目标对应的第二图像块。由此可以得到枪机图像中的多个第一图像块，以及球机图像中的多个第二图像块。
在步骤b中，相似度用于表征两个图像相似的概率，所述相似度的形式可以是百分比，如70％等，所述相似度的形式也可以是0-1之间的数值，如0.7等，当然，所述相似度的形式不限于上述所述。
可选的，作为一种实现方式，该步骤b可以包括以下步骤b1-步骤b2：
步骤b1，将枪机图像中的多个第一图像块，以及球机图像中的多个第二图像块，进行排列组合，构成多个图像块组；
具体的，可以采用概率学方法，将枪机图像中的所有第一图像块，以及球机图像中的所有第二图像块，进行排列组合，构成多个图像块组。
可以理解的是，确定出的多个图像块组涵盖了第一图像块和第二图像块的所有排列组合形式。
步骤b2，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度。
其中，计算相似度的方式可以采用传统的人工设计的度量算法。
而作为一种优选的计算相似度的方式，可以将每个图像块组输入预先训练的度量网络，得到该图像块组中第一图像块和第二图像块的相似度。其中，所述度量网络为用于计算图像相似度的神经网络。使用上述度量网络计算相似度，可以利用神经网络的优势，能够快速、准确地得到相似度的计算结果。需要说明的是，所述度量网络是根据两个样本图像和两个样本图像的相似度训练得到的。关于所述度量网络的训练过程，可以参考前文所述的神经网络的训练过程，在此不再赘述。
另外，由于深度学习中的神经网络可以用于识别目标的类别，在本发明实施例中，所述神经网络不仅可以检测出目标的位置信息，还可以检测出目标的类别，其中，所述类别包括但不限于人、车、建筑物、植物及动物等。因此，为了提高处理效率，所述第一输出结果还包括所述枪机图像中各个目标的类别，所述第二输出结果还包括所述球机图像中各个目标的类别。相应的，可选的，作为另一种实现方式，该步骤b可以包括以下步骤b3-步骤b4：
步骤b3，针对每一类别，将所对应目标属于该类别的第一图像块和第二图像块组成多个图像块组；
可以理解的是，相同目标属于相同的类别，那么，将相同类别的目标对应的第一图像块和第二图像块作为一个图像块组，能够缩小相同目标的查找范围，有利于后续快速、准确地确定第一图像块和第二图像块中相同的目标。
为了便于理解，对该步骤进行举例说明：假设第一输出结果中有三个个类别的目标，分别为人、车和建筑物；其中，类别为人的目标对应的第一图像块为D，类别为车的目标对应的第一图像块为E，类别为建筑物的目标对应的第一图像块为F；第二输出结果中有两个类别的目标，分别为人和车；其中，类别为人的目标对应的第二图像块为G，类别为车的目标对应的第二图像块为H；
那么，可以将类别为人对应的第一图像块D和第二图像块G组成一个图像块组；将类别为车对应的第一图像块E和第二图像块H组成一个图像块组，共得到两个图像块组。
可以理解的是，相比于上一种实现方式，该种实现方式中确定的图像块组不含有与第一图像块F相关的图像块组，图像块组的数量得以减少。
步骤b4，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度。
其中，步骤b4与步骤b2相同，在此不再赘述。
可以理解的是，相比于上一种实现方式，在该种实现方式中，由于图像块组的数量减少，因此，相似度的计算时间有所减少。并且由于计算相似度的第一图像块和第二图像块属于相同类别，用所得到的相似度确定相同目标更为有效。
需要补充说明的是，在该种实现方式中，所述神经网络是根据样本枪机图像、样本球机图像、样本枪机图像中各个目标的位置信息、样本球机图像中各个目标的位置信息、样本枪机图像中各个目标的类别及样本球机图像中各个目标的类别训练得到的，关于该神经网络的训练过程不再赘述。
另外，对于步骤c而言：
可选的，在本发明实施例中，该步骤c可以包括以下步骤c1-步骤c3：
步骤c1，在多个图像块组对应的相似度中，确定大于预设相似度阈值的相似度，得到多个第一相似度；
其中，预设相似度阈值可以根据经验值设定，比如可以为60％等。
步骤c2，针对所述多个第一相似度中的任意两个第一相似度，当判断出该任意两个第一相似度所对应的图像块组中存在：相同的第一图像块或相同的第二图像块时，将该任意两个第一相似度中的较小相似度删除；
为了便于理解，对该步骤进行举例说明：假设有两个第一相似度分别为70％(第一图像块i和第二图像块j的相似度)和80％(第一图像块i和第二图像块k的相似度)，判断得知上述两个相似度有相同的第一图像块i，那么，将上述两个相似度中较小的70％删除。
由上述第一相似度的数值可知，第一图像块i和第二图像块j对应的目标是相同目标的概率，小于第一图像块i和第二图像块k对应的目标是相同目标的概率。由于不可能存在i和j是相同目标，同时i和k是相同目标的情况，因此，可以将第一图像块i和第二图像块j的相似度删除，以进一步缩小相同目标的查找范围。
在该步骤的具体实施过程中，可以对判断出的满足要求的一组或多组相似度进行上述删除操作，其中，判断出的满足要求的一组相似度对应的两个图像块组中存在相同的第一图像块或相同的第二图像块。
也可以遍历所有第一相似度，将判断出的满足要求的所有组相似度进行上述删除操作，直至所述多个第一相似度中不存在满足要求的一组相似度。
步骤c3，将剩余的第一相似度确定为满足预设条件的相似度。
可以理解的是，剩余的多个第一相似度是，将原有的多个第一相似度，删除满足要求的第一相似度后，所得到的多个第一相似度。
以上述示例进行说明，可以针对上述相似度80％所对应的图像块组(第一图像块i和第二图像块k组成的图像块组)，将第一图像块i对应的目标和第二图像块k对应的目标确定为相同目标。
为了便于理解步骤S302，举例说明该步骤的一种具体实施过程：
参见图4，图4(a)为用于示例的枪机图像的检测结果示意图，图4(b)为用于示例的球机图像的检测结果示意图。图4(a)中有三个目标，分别为X1、X2和Y1，图4(b)中有两个目标，分别为X3和Y2，其中，X1、X2和X3的类别为人，Y1和Y2的类别为车辆。
第一步，确定多个第一图像块和多个第二图像块；
可以得到X1对应的第一图像块、X2对应的第一图像块和Y1对应的第一图像块；以及X3对应的第二图像块和Y2对应的第二图像块。
第二步，针对球机图像中的X3，判断得知在枪机图像中存在与X3相同类别的目标。那么在枪机图像中确定与X3相同类别的一个目标为X1，计算X3对应的第二图像块和X1对应的第一图像块的相似度，得到相似度ρX3,X1＝80％；判断得知ρX3,X1大于预设相似度阈值60％，并且判断得知X3未和枪机图像中的其他目标计算过相似度，则保存ρX3,X1。
针对球机图像中的X3，继续判断在枪机图像中是否还存在与X3相同类别的目标，确定枪机图像中与X3相同类别的另一个目标为X2。那么，计算X3对应的第二图像块和X2对应的第一图像块的相似度，得到相似度ρX3,X2＝85％；判断得知ρX3,X2大于预设相似度阈值60％，并且判断得知X3之前和枪机图像中的X1计算过相似度，那么比较ρX3,X2和ρX3,X1，发现ρX3,X2>ρX3,X1，则删除ρX3,X1，保存ρX3,X1。
判断得知枪机图像中不再存在与X3相同类别的目标，则选取球机图像中的下一个目标重复执行该步骤。
即：针对球机图像中的Y2，在枪机图像中确定相同类别的目标为Y1，计算Y2对应的第二图像块和Y1对应的第一图像块的相似度，得到相似度ρY2,Y1＝70％；判断ρY2,Y1大于预设相似度阈值60％，则继续判断得知Y2未和其他枪机图像中的目标计算过相似度，则保存ρY2,Y1。
最终，根据保存的ρX3,X1和ρY2,Y1，确定X3和X1对应的目标为相同目标，Y2和Y1对应的目标为相同目标。
需要说明的是，如果针对球机图像中的一个目标，判断得知在枪机图像中不存在与该目标相同类别的目标，则更换球机图像中的下一个目标。如果一第一图像块和第二图像块的相似度不大于预设相似度阈值，则删除该相似度。
需要说明的是，由于枪机的拍摄范围比球机大，枪机图像中的目标数量比球机图像中的目标数量多。所以，在上述具体实施过程中，为了减少计算量，并没有采用选取枪机图像中的一个目标，在球机图像的多个目标中确定是否存在相同目标的方式，而是采用选取球机图像中的一个目标，在枪机图像的多个目标中确定是否存在相同目标的方式。
S303，从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点；
以下，针对不同数量的相同目标，说明该步骤的具体实现方式。
1)所述至少一个相同目标为一个相同目标时；
所述从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点，可以包括以下步骤：
第一步，在所述枪机图像中所述相同目标所对应的坐标点中，确定多个预设位置处的坐标点，以及，在所述球机图像中所述相同目标所对应的坐标点中，确定所述多个预设位置处的坐标点；其中，所述多个预设位置的数量不少于四个；
为了便于理解，对该步骤进行举例说明：可以针对该相同目标，在所述枪机图像中所述相同目标所对应的坐标点中，确定包含该相同目标的矩形检测框的四个顶点的坐标点，同样的，可以针对该相同目标，在所述球机图像中所述相同目标所对应的坐标点中，确定包含该相同目标的矩形检测框的四个顶点的坐标点。
当然，也可以确定包含该相同目标的矩形检测框的四条边线的中心点的坐标点；或者，确定包含该相同目标的矩形检测框的三条边线的中心点的坐标点和该矩形检测框的中心点的坐标点等。在此，并不对本发明实施例中的多个预设位置处的坐标点进行限定。
第二步，针对每一预设位置，将所述枪机图像中该预设位置处的坐标点和所述球机图像中该预设位置处的坐标点，作为一组匹配点。
以多个预设位置为包含该相同目标的矩形检测框的四个顶点为例进行说明：针对每个顶点，将所述枪机图像中该顶点处的坐标点和所述球机图像中该顶点处的坐标点，作为一组匹配点。由此，可以得到四组匹配点。
2)所述至少一个相同目标为两个相同目标或三个相同目标时；
所述从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点，可以为：从该两个相同目标或该三个相同目标所对应的坐标点中，确定四组匹配点。
具体的，可以在所述枪机图像中，该两个相同目标或该三个相同目标所对应的坐标点中，确定四个预设位置处的坐标点，以及，在所述球机图像中，该两个相同目标或该三个相同目标所对应的坐标点中，确定所述四个预设位置处的坐标点；针对每一预设位置，将所述枪机图像中该预设位置处的坐标点和所述球机图像中该预设位置处的坐标点，作为一组匹配点。
以两个相同目标为例，说明确定四个预设位置处的坐标点的过程：可以在第一个相同目标所对应的坐标点中，确定两个预设位置处的坐标点，在第二个相同目标所对应的坐标点中，确定另外两个预设位置处的坐标点；
或者，在一个相同目标所对应的坐标点中，确定一个预设位置处的坐标点，在另一个相同目标所对应的坐标点中，确定三个预设位置处的坐标点等，这都是合理的。
同理，针对三个相同目标，可以在一个相同目标所对应的坐标点中，确定两个预设位置处的坐标点，在另外两个相同目标所对应的坐标点中，分别确定一个预设位置处的坐标点等，当然，针对三个相同目标，确定四个预设位置处的坐标点的方式不限于此。
需要说明的是，四个预设位置可以包括：包含相同目标的矩形检测框的边线上或内部的任意四个点，比如预设位置可以为：包含相同目标的矩形检测框的顶点、边线的中心点及矩形检测框的中心点等等。
3)所述至少一个相同目标为至少四个相同目标时；
所述从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点，可以包括：
针对每一相同目标，在所述枪机图像中该相同目标所对应的坐标点中，确定一预设位置处的坐标点，以及，在所述球机图像中该相同目标所对应的坐标点中，确定所述预设位置处的坐标点，将所确定的两个坐标点作为一组匹配点。
可以理解的是，可以得到至少四组匹配点。
同样的，该预设位置可以是包含相同目标的矩形检测框的四个顶点中的一个、四条边线的中心点中的一个、矩形检测框的中心点、该矩形检测框边线上除顶点之外的任意一个点或该矩形检测框内部除中心点之外的任意一个点等。
为了计算方便，可以选取矩形检测框的中心点作为该预设位置。
S304，基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵。
步骤S304与步骤S103相同，在此不做赘述。
本发明实施例所提供的方案中，首先，利用预先训练的神经网络，得到枪机图像的第一输出结果和球机图像的第二输出结果；其次，基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多个图像块组，通过计算各个图像块组中，第一图像块和第二图像块的相似度，确定所述枪机图像和所述球机图像中的至少一个相同目标；接下来，从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，利用位置对应性确定多组匹配点；最后，利用确定的多组匹配点，计算得到关于所述枪机图像和所述球机图像的坐标映射矩阵。本方案中，坐标关联所基于的匹配点是从枪机图像和球机图像中相同目标对应的图像区域中提取的，而由于枪机图像和球机图像中相同目标具有相同的特征，保证了具有相同特征的坐标点的数量，并且，各个目标的位置信息是通过具有强大学习性能的神经网络所确定的，保证了位置信息较为准确，因此，可以避免特征点不足或噪点过多等问题，实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。
同时对于已经包含检测功能的枪机和球机，本发明实施例所提供的神经网络可以复用原枪机或球机的深度学习网络，而无需额外增加网络，不会增加枪机或球机的内存和功耗需求；本发明实施例利用度量网络计算目标的相似度，可以提高精度；在本发明实施例中，可以将耗时的计算过程交由GPU或者深度学习/神经网络加速模块执行，以提高计算速度；并且可以在深度学习相机中充分利用架构的优势，使得深度学习机相能够搭载深度学习网络的加速模块，快速执行网络计算，从而快速、高效地完成坐标关联。
相应于上述方法实施例，本发明实施例还提供了一种枪球坐标关联装置，如图5所示，该装置包括：
获得模块501，用于将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；其中，所述神经网络用于识别图像中目标的位置信息，所述第一输出结果包括所述枪机图像中各个目标的位置信息，所述第二输出结果包括所述球机图像中各个目标的位置信息；
确定模块502，用于基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定多组匹配点；其中，任一组匹配点包括所述枪机图像中的一个坐标点和所述球机图像中的一个坐标点，且任一组匹配点所包括的两个坐标点满足：属于相同目标且在所述相同目标所对应图像区域中的位置具有对应性；
计算模块503，用于基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵。
可选的，在本发明实施例中，所述确定模块502，包括：
第一确定子模块，用于基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标；
第二确定子模块，用于从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点。
可选的，在本发明实施例中，所述第一确定子模块，包括：
第一确定单元，用于确定所述枪机图像中的各个第一图像块以及所述球机图像中的各个第二图像块；其中，所述第一图像块为与所述第一输出结果所包括的位置信息对应的图像区域，所述第二图像块为与所述第二输出结果所包括的位置信息对应的图像区域；
计算单元，用于将所确定的第一图像块和第二图像块组成多个图像块组，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度；其中，任意一个图像块组由一个第一图像块和一个第二图像块组成；
第二确定单元，用于在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度；
第三确定单元，用于针对所述至少一个相似度中每个相似度所对应的图像块组，将该图像块组中第一图像块和第二图像块所对应的目标，确定为相同目标。
可选的，在本发明实施例中，所述第一输出结果还包括所述枪机图像中各个目标的类别，所述第二输出结果还包括所述球机图像中各个目标的类别；
所述计算单元，具体用于：
针对每一类别，将所对应目标属于该类别的第一图像块和第二图像块组成多个图像块组。
可选的，在本发明实施例中，所述计算单元，具体用于：
将每个图像块组输入预先训练的度量网络，得到该图像块组中第一图像块和第二图像块的相似度；
其中，所述度量网络为用于计算图像相似度的神经网络。
可选的，在本发明实施例中，所述第二确定单元，具体用于：
在多个图像块组对应的相似度中，确定大于预设相似度阈值的相似度，得到多个第一相似度；
针对所述多个第一相似度中的任意两个第一相似度，当判断出该任意两个第一相似度所对应的图像块组中存在：相同的第一图像块或相同的第二图像块时，将该任意两个第一相似度中的较小相似度删除；
将剩余的第一相似度确定为满足预设条件的相似度。
可选的，在本发明实施例中，所述至少一个相同目标为一个相同目标；
所述第二确定子模块，具体用于：
在所述枪机图像中所述相同目标所对应的坐标点中，确定多个预设位置处的坐标点，以及，在所述球机图像中所述相同目标所对应的坐标点中，确定所述多个预设位置处的坐标点；其中，所述多个预设位置的数量不少于四个；
可选的，在本发明实施例中，所述至少一个相同目标为至少四个相同目标；
所述第二确定子模块，具体用于：
针对每一相同目标，在所述枪机图像中该相同目标所对应的坐标点中，确定一预设位置处的坐标点，以及，在所述球机图像中该相同目标所对应的坐标点中，确定所述预设位置处的坐标点，将所确定的两个坐标点作为一组匹配点。
本发明实施例所提供的方案中，首先，利用预先训练的神经网络，得到枪机图像的第一输出结果和球机图像的第二输出结果；其次，基于所述第一输出结果所包括的各个目标的位置信息和所述第二输出结果所包括的各个目标的位置信息，在枪机图像和球机图像的相同目标所对应图像区域内、位置具有对应性的坐标点中确定多组匹配点；最后，利用确定的多组匹配点，计算得到关于所述枪机图像和所述球机图像的坐标映射矩阵。本方案中，坐标关联所基于的匹配点是从枪机图像和球机图像中相同目标对应的图像区域中提取的，而由于枪机图像和球机图像中相同目标具有相同的特征，保证了具有相同特征的坐标点的数量，并且，各个目标的位置信息是通过具有强大学习性能的神经网络所确定的，保证了位置信息较为准确，因此，可以避免特征点不足或噪点过多等问题，实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。
相应于上述方法实施例，本发明实施例还提供了一种电子设备，如图6所示，可以包括处理器601和存储器602，其中，
所述存储器602，用于存放计算机程序；
所述处理器601，用于执行所述存储器602上所存放的程序时，实现本发明实施例所提供的枪球坐标关联方法的步骤。
上述存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离于上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
通过上述电子设备，能够实现：首先，利用预先训练的神经网络，得到枪机图像的第一输出结果和球机图像的第二输出结果；其次，基于所述第一输出结果所包括的各个目标的位置信息和所述第二输出结果所包括的各个目标的位置信息，在枪机图像和球机图像的相同目标所对应图像区域内、位置具有对应性的坐标点中确定多组匹配点；最后，利用确定的多组匹配点，计算得到关于所述枪机图像和所述球机图像的坐标映射矩阵。本方案中，坐标关联所基于的匹配点是从枪机图像和球机图像中相同目标对应的图像区域中提取的，而由于枪机图像和球机图像中相同目标具有相同的特征，保证了具有相同特征的坐标点的数量，并且，各个目标的位置信息是通过具有强大学习性能的神经网络所确定的，保证了位置信息较为准确，因此，可以避免特征点不足或噪点过多等问题，实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。
另外，相应于上述实施例所提供的枪球坐标关联方法，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例所提供的枪球坐标关联方法的步骤。
上述计算机可读存储介质存储有在运行时执行本发明实施例所提供的枪球坐标关联方法的应用程序，因此能够实现：首先，利用预先训练的神经网络，得到枪机图像的第一输出结果和球机图像的第二输出结果；其次，基于所述第一输出结果所包括的各个目标的位置信息和所述第二输出结果所包括的各个目标的位置信息，在枪机图像和球机图像的相同目标所对应图像区域内、位置具有对应性的坐标点中确定多组匹配点；最后，利用确定的多组匹配点，计算得到关于所述枪机图像和所述球机图像的坐标映射矩阵。本方案中，坐标关联所基于的匹配点是从枪机图像和球机图像中相同目标对应的图像区域中提取的，而由于枪机图像和球机图像中相同目标具有相同的特征，保证了具有相同特征的坐标点的数量，并且，各个目标的位置信息是通过具有强大学习性能的神经网络所确定的，保证了位置信息较为准确，因此，可以避免特征点不足或噪点过多等问题，实现有效地确定匹配点，继而有效地实现枪球坐标关联的目的。
对于电子设备以及计算机可读存储介质实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种枪球坐标关联方法，其特征在于，包括：
将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；其中，所述神经网络用于识别图像中目标的位置信息，所述第一输出结果包括所述枪机图像中各个目标的位置信息，所述第二输出结果包括所述球机图像中各个目标的位置信息；
基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，在所述枪机图像和所述球机图像的相同目标所对应的图像区域中确定多组匹配点；其中，任一组匹配点包括所述枪机图像中的一个坐标点和所述球机图像中的一个坐标点，且任一组匹配点所包括的两个坐标点满足：在所述相同目标所对应图像区域中的位置相同；
基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵；
其中，基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标，包括：
确定所述枪机图像中的各个第一图像块以及所述球机图像中的各个第二图像块；其中，所述第一图像块为与所述第一输出结果所包括的位置信息对应的图像区域，所述第二图像块为与所述第二输出结果所包括的位置信息对应的图像区域；
将所确定的第一图像块和第二图像块组成多个图像块组，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度；其中，任意一个图像块组由一个第一图像块和一个第二图像块组成；
在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度；
针对所述至少一个相似度中每个相似度所对应的图像块组，将该图像块组中第一图像块和第二图像块所对应的目标，确定为相同目标。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，在所述枪机图像和所述球机图像的相同目标所对应的图像区域中确定多组匹配点，包括：
基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标；
从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点。
3.根据权利要求1所述的方法，其特征在于，所述第一输出结果还包括所述枪机图像中各个目标的类别，所述第二输出结果还包括所述球机图像中各个目标的类别；
所述将所确定的第一图像块和第二图像块组成多个图像块组，包括：
针对每一类别，将所对应目标属于该类别的第一图像块和第二图像块组成多个图像块组。
4.根据权利要求1或3所述的方法，其特征在于，所述针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度，包括：
将每个图像块组输入预先训练的度量网络，得到该图像块组中第一图像块和第二图像块的相似度；
其中，所述度量网络为用于计算图像相似度的神经网络。
5.根据权利要求1或3所述的方法，其特征在于，所述在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度，包括：
在多个图像块组对应的相似度中，确定大于预设相似度阈值的相似度，得到多个第一相似度；
针对所述多个第一相似度中的任意两个第一相似度，当判断出该任意两个第一相似度所对应的图像块组中存在：相同的第一图像块或相同的第二图像块时，将该任意两个第一相似度中的较小相似度删除；
将剩余的第一相似度确定为满足预设条件的相似度。
6.根据权利要求2所述的方法，其特征在于，所述至少一个相同目标为一个相同目标；
所述从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点，包括：
在所述枪机图像中所述相同目标所对应的坐标点中，确定多个预设位置处的坐标点，以及，在所述球机图像中所述相同目标所对应的坐标点中，确定所述多个预设位置处的坐标点；其中，所述多个预设位置的数量不少于四个；
针对每一预设位置，将所述枪机图像中该预设位置处的坐标点和所述球机图像中该预设位置处的坐标点，作为一组匹配点。
7.根据权利要求2所述的方法，其特征在于，所述至少一个相同目标为至少四个相同目标；
所述从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点，包括：
针对每一相同目标，在所述枪机图像中该相同目标所对应的坐标点中，确定一预设位置处的坐标点，以及，在所述球机图像中该相同目标所对应的坐标点中，确定所述预设位置处的坐标点，将所确定的两个坐标点作为一组匹配点。
8.一种枪球坐标关联装置，其特征在于，包括：
获得模块，用于将待坐标关联的枪机图像和球机图像分别输入预先训练的神经网络，得到第一输出结果和第二输出结果；其中，所述神经网络用于识别图像中目标的位置信息，所述第一输出结果包括所述枪机图像中各个目标的位置信息，所述第二输出结果包括所述球机图像中各个目标的位置信息；
确定模块，用于基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，在所述枪机图像和所述球机图像的相同目标所对应的图像区域中确定多组匹配点；其中，任一组匹配点包括所述枪机图像中的一个坐标点和所述球机图像中的一个坐标点，且任一组匹配点所包括的两个坐标点满足：在所述相同目标所对应图像区域中的位置相同；
计算模块，用于基于所确定的多组匹配点，计算关于所述枪机图像和所述球机图像的坐标映射矩阵；
其中，所述确定模块包括第一确定子模块，所述第一确定子模块，包括：
第一确定单元，用于确定所述枪机图像中的各个第一图像块以及所述球机图像中的各个第二图像块；其中，所述第一图像块为与所述第一输出结果所包括的位置信息对应的图像区域，所述第二图像块为与所述第二输出结果所包括的位置信息对应的图像区域；
计算单元，用于将所确定的第一图像块和第二图像块组成多个图像块组，针对每个图像块组，计算该图像块组中的第一图像块和第二图像块的相似度；其中，任意一个图像块组由一个第一图像块和一个第二图像块组成；
第二确定单元，用于在多个图像块组对应的相似度中，确定满足预设条件的至少一个相似度；
第三确定单元，用于针对所述至少一个相似度中每个相似度所对应的图像块组，将该图像块组中第一图像块和第二图像块所对应的目标，确定为相同目标。
9.根据权利要求8所述的装置，其特征在于，所述确定模块，包括：
第一确定子模块，用于基于所述第一输出结果所包括的位置信息和所述第二输出结果所包括的位置信息，确定所述枪机图像和所述球机图像中的至少一个相同目标；
第二确定子模块，用于从所述枪机图像和所述球机图像中的至少一个相同目标所对应的坐标点中，确定多组匹配点。
10.根据权利要求8所述的装置，其特征在于，所述第一输出结果还包括所述枪机图像中各个目标的类别，所述第二输出结果还包括所述球机图像中各个目标的类别；
所述计算单元，具体用于：
针对每一类别，将所对应目标属于该类别的第一图像块和第二图像块组成多个图像块组。
11.根据权利要求8或10所述的装置，其特征在于，所述计算单元，具体用于：
将每个图像块组输入预先训练的度量网络，得到该图像块组中第一图像块和第二图像块的相似度；
其中，所述度量网络为用于计算图像相似度的神经网络。
12.一种电子设备，其特征在于，包括处理器和存储器，其中，
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
13.一种计算机可读存储介质，其特征在于，
所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN201811146931.7A 2018-09-29 2018-09-29 一种枪球坐标关联方法、装置、电子设备及存储介质 Active CN110969657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811146931.7A CN110969657B (zh) 2018-09-29 2018-09-29 一种枪球坐标关联方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811146931.7A CN110969657B (zh) 2018-09-29 2018-09-29 一种枪球坐标关联方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110969657A CN110969657A (zh) 2020-04-07
CN110969657B true CN110969657B (zh) 2023-11-03

Family

ID=70027706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811146931.7A Active CN110969657B (zh) 2018-09-29 2018-09-29 一种枪球坐标关联方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110969657B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419424B (zh) * 2020-11-18 2023-05-26 济南博观智能科技有限公司 一种枪球联动标定方法、装置及相关设备
CN114630047B (zh) * 2022-03-03 2024-02-02 北京佳服信息科技有限公司 一种多球机调用方法、装置、设备及可读存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1529124A (zh) * 2003-09-29 2004-09-15 上海交通大学 可调精度的神经网络摄像机标定方法
WO2009116328A1 (ja) * 2008-03-19 2009-09-24 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP2012054914A (ja) * 2010-08-03 2012-03-15 Kddi Corp カメラパラメータのキャリブレーション装置及びプログラム
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN104424631A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种基于枪球联动***的坐标关联方法及装置
CN104700385A (zh) * 2013-12-06 2015-06-10 广西大学 基于fpga实现的双目视觉定位装置
CN105979210A (zh) * 2016-06-06 2016-09-28 深圳市深网视界科技有限公司 一种基于多枪多球摄像机阵列的行人识别***
CN106846374A (zh) * 2016-12-21 2017-06-13 大连海事大学 多摄像头场景下车辆的轨迹计算方法
CN106960456A (zh) * 2017-03-28 2017-07-18 长沙全度影像科技有限公司 一种鱼眼相机标定算法评价的方法
CN107301376A (zh) * 2017-05-26 2017-10-27 浙江大学 一种基于深度学习多层刺激的行人检测方法
CN107464261A (zh) * 2017-07-07 2017-12-12 广州市百果园网络科技有限公司 一种图像数据标定训练方法及其设备、存储介质、服务器
CN107730556A (zh) * 2017-09-13 2018-02-23 济南中维世纪科技有限公司 一种枪球联动坐标定位方法
CN108154538A (zh) * 2018-02-06 2018-06-12 华中科技大学 一种双摄像机模组校正和标定方法及装置
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN108335333A (zh) * 2018-04-03 2018-07-27 哈尔滨理工大学 一种线性摄像机标定方法
CN108399639A (zh) * 2018-02-12 2018-08-14 杭州蓝芯科技有限公司 基于深度学习的快速自动抓取与摆放方法
CN108447091A (zh) * 2018-03-27 2018-08-24 北京颂泽科技有限公司 目标定位方法、装置、电子设备及存储介质
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016006626A (ja) * 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
US10336326B2 (en) * 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1529124A (zh) * 2003-09-29 2004-09-15 上海交通大学 可调精度的神经网络摄像机标定方法
WO2009116328A1 (ja) * 2008-03-19 2009-09-24 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP2012054914A (ja) * 2010-08-03 2012-03-15 Kddi Corp カメラパラメータのキャリブレーション装置及びプログラム
CN104424631A (zh) * 2013-08-23 2015-03-18 浙江大华技术股份有限公司 一种基于枪球联动***的坐标关联方法及装置
CN104700385A (zh) * 2013-12-06 2015-06-10 广西大学 基于fpga实现的双目视觉定位装置
CN104125433A (zh) * 2014-07-30 2014-10-29 西安冉科信息技术有限公司 基于多球机联动结构的视频运动目标监控方法
CN105979210A (zh) * 2016-06-06 2016-09-28 深圳市深网视界科技有限公司 一种基于多枪多球摄像机阵列的行人识别***
CN106846374A (zh) * 2016-12-21 2017-06-13 大连海事大学 多摄像头场景下车辆的轨迹计算方法
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN106960456A (zh) * 2017-03-28 2017-07-18 长沙全度影像科技有限公司 一种鱼眼相机标定算法评价的方法
CN107301376A (zh) * 2017-05-26 2017-10-27 浙江大学 一种基于深度学习多层刺激的行人检测方法
CN107464261A (zh) * 2017-07-07 2017-12-12 广州市百果园网络科技有限公司 一种图像数据标定训练方法及其设备、存储介质、服务器
CN107730556A (zh) * 2017-09-13 2018-02-23 济南中维世纪科技有限公司 一种枪球联动坐标定位方法
CN108154538A (zh) * 2018-02-06 2018-06-12 华中科技大学 一种双摄像机模组校正和标定方法及装置
CN108399639A (zh) * 2018-02-12 2018-08-14 杭州蓝芯科技有限公司 基于深度学习的快速自动抓取与摆放方法
CN108446612A (zh) * 2018-03-07 2018-08-24 腾讯科技（深圳）有限公司 车辆识别方法、装置及存储介质
CN108447091A (zh) * 2018-03-27 2018-08-24 北京颂泽科技有限公司 目标定位方法、装置、电子设备及存储介质
CN108335333A (zh) * 2018-04-03 2018-07-27 哈尔滨理工大学 一种线性摄像机标定方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
一种基于神经网络的视觉定位***;刘艳梅, 董再励, 孙茂相, 毛艳娥;机器人(第05期);全文 *
基于深度学习的运动目标实时识别与定位;童基均;常晓龙;赵英杰;蒋路茸;;计算机***应用(第08期);全文 *
目标定位图像中心新方法;于明;冀中;顾洁;***;;计算机应用研究(第01期);全文 *
立体视觉神经网络定位方法;刘艳梅;陈震;薛定宇;徐心和;;辽宁工程技术大学学报(第01期);全文 *
郭恩特 ; 陈志峰 ; 范振嘉 ; 黄立勤 ; 潘林 ; .图像和惯性传感器相结合的摄像机定位和物体三维位置估计.福州大学学报(自然科学版).2018,(04),全文. *

Also Published As

Publication number Publication date
CN110969657A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN108769821B (zh) 游戏场景描述方法、装置、设备及存储介质
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN112926410A (zh) 目标跟踪方法、装置、存储介质及智能视频***
CN104376575B (zh) 一种基于多摄像头监控的行人计数方法和装置
CN107480676B (zh) 一种车辆颜色识别方法、装置和电子设备
CN110148117B (zh) 基于电力图像的电力设备缺陷识别方法、装置与存储介质
CN110825900A (zh) 特征重构层的训练方法、图像特征的重构方法及相关装置
CN110969657B (zh) 一种枪球坐标关联方法、装置、电子设备及存储介质
CN111914908A (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN112116567A (zh) 一种无参考图像质量评价方法、装置及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN112633354A (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN107862680A (zh) 一种基于相关滤波器的目标跟踪优化方法
Seib et al. Object recognition using hough-transform clustering of surf features
CN108875500B (zh) 行人再识别方法、装置、***及存储介质
CN109840529B (zh) 一种基于局部敏感置信度评估的图像匹配方法
CN110472092B (zh) 一种街景图片的地理定位方法及***
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN111104965A (zh) 车辆目标识别的方法及装置
CN108304838B (zh) 一种图片信息识别方法及终端
CN103034859B (zh) 一种获取姿势模型的方法及装置
CN114820755A (zh) 一种深度图估计方法及***
CN111178366B (zh) 一种移动机器人的定位方法和移动机器人
CN111524161B (zh) 提取轨迹的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant