CN112329645B - 图像检测方法、装置、电子设备及存储介质 - Google Patents
图像检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112329645B CN112329645B CN202011232710.9A CN202011232710A CN112329645B CN 112329645 B CN112329645 B CN 112329645B CN 202011232710 A CN202011232710 A CN 202011232710A CN 112329645 B CN112329645 B CN 112329645B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- target object
- sample
- relative position
- reference object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像检测方法、装置、设备及介质，所述方法包括：获得在不同时刻采集的多张二维图像，所述多张二维图像包含参考对象和目标对象；针对所述多张图像中的每张二维图像，根据所述参考对象和所述目标对象各自在该张二维图像上的位置信息，确定所述目标对象相对所述参考对象的三维相对位置；根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果。采用本发明实施例提供的图像检测方法可以提高跨线检测的准确性。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像检测方法、装置、电子设备及存储介质。
背景技术
在基于视觉的安防警戒业务中，从二维图像上识别目标对象是否跨越参考对象，例如识别行人是否跨越警戒线，是一个常见的业务需求。相关技术中，一般是像机拍摄的二维图像识别目标对象是否跨越参考对象，其实现的过程是根据目标对象检测框在二维画面上相对参考对象的空间位置变化，估计是否发生越线事件。
然而，采用相关技术中的跨线识别方案，一方面，受限于不同相机拍摄视角的影响，从二维图像上准确测算目标对象和参考对象的三维位置关系较为困难。另一方面，目标对象是运动的，对于运动速度不同的目标对象，进行准确识别较为困难。因此，如何准确高效地识别目标对象是否跨越参考对象，成为需要解决的问题。
发明内容
鉴于上述问题，提出了本发明实施例的一种图像检测方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。
为了解决上述问题，本发明的第一方面，公开了一种图像检测方法，所述方法包括：
获得在不同时刻采集的多张二维图像，所述多张二维图像包含参考对象和目标对象；
针对所述多张图像中的每张二维图像，根据所述参考对象和所述目标对象各自在该张二维图像上的位置信息，确定所述目标对象相对所述参考对象的三维相对位置；
根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果。
本发明实施例的第二方面，还公开了一种图像检测装置，所述装置包括：
图像获得模块，用于获得在不同时刻采集的多张二维图像，所述多张二维图像包含参考对象和目标对象；
三维位置确定模块，用于针对所述多张图像中的每张二维图像，根据所述参考对象和所述目标对象各自在该张二维图像上的位置信息，确定所述目标对象相对所述参考对象的三维相对位置；
识别模块，用于根据所述多张二维图像各自对应的三维相对位置，识别所述目标对象是否跨越所述参考对象。
本发明实施例的第三方面，还公开了一种电子设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面实施例所述的图像检测方法。
本发明实施例的第四方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明第一方面实施例所述的图像检测方法。
本发明实施例包括以下优点：
在本发明实施例中，可以获得在不同时刻采集的多张二维图像，多张二维图像包含参考对象和目标对象；针对多张图像中的每张二维图像，根据参考对象和目标对象各自在该张二维图像上的位置信息，确定目标对象相对参考对象的三维相对位置；之后，根据多张二维图像各自对应的三维相对位置，确定图像检测结果。
本实施例中，在获得不同时刻采集的多张二维图像后，确定了每张二维图像中目标对象相对参考对象的三维相对位置，该三维相对位置可以更加准确反映目标对象与参考对象之间的空间位置关系，之后，由于根据多张二维图像各自对应的三维相对位置，可以识别目标对象是否跨越参考对象，例如，识别目标对象是否跨越警戒线。其中，多张二维图像各自对应的三维相对位置可以反映目标对象在空间上的移动趋势，如此，可以将目标对象跨线描述成一个空间位置的变换问题，从而更加准确地识别出目标对象是否跨越参考对象。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中在实现过程中的一种场景示意图；
图2是本发明实施例中的图像检测方法的步骤流程图；
图3是本发明实施中一种三维跨线预测计算的原理示意图；
图4是本发明实施中的利用神经网络进行图像检测的流程示意图；
图5是本发明实施中准备第一训练样本的步骤流程图；
图6是本发明实施中一种仿真三维场景图；
图7是本发明实施中得到三维相对位置标签的步骤流程图；
图8是本发明实施中一种利用神经网络进行图像检测的场景图；
图9是本发明实施中又一种利用神经网络进行图像检测的场景图；
图10是本发明实施中图像检测装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提出了一种图像检测方法，该方法将“目标对象跨线”过程中描述为一个算法问题，即根据目标对象运动过程中拍摄的多张二维图像，取得目标对象与参考对象的三维空间位置序列，若三维空间位置序列满足一定条件，则可以确定目标对象跨参考对象了。
参照图1和图2所示，图1示出了本申请实施例在实现过程中的一种场景示意图，图2示出了本申请实施例的图像检测方法的步骤流程图，结合图1所示，对本申请的图像检测方法进行介绍，该实施例的方法可以应用于智能终端或者服务器，具体可以包括以下步骤：
步骤S201：获得在不同时刻采集的多张二维图像，所述多张二维图像包含参考对象和目标对象。
本实施例中，可以获得相机在连续的多个时刻所拍摄的多张二维图像，该二维图像可以是理解为是平面图像。实际中，可以控制相机每隔指定的时间对指定的区域采集一张二维图像，如此，可以获得多个不同时刻的针对同一区域所拍摄的多张二维图像，可以理解的是，多张二维图像是连续多个时刻拍摄的。
其中，为确保跨线识别的准确性，相机在采集多个不同时刻的二维图像时，其相机的角度可以保持不变，即保持相机在同一视角下采集二维图像。如此，可以减小因相机视角变化而导致的识别误差。当然，在一些场景中，不同时刻的二维图像也可以是不同的相机视角下拍摄的。
其中，相机所采集的二维图像可以是实时采集的，即相机每采集一个时刻的二维图像便实时输入智能终端或服务器进行分析。当然，也可以是相机预先采集好并存储的，智能终端或服务器后续从存储位置中获取的。
实际中，由于分析跨线行为一般是分析目标对象相对于参考对象的跨线行为，即识别目标对象是否跨越了参考对象。因此，获得的每张二维图像可以包含同一参考对象和同一目标对象。其中，参考对象可以是指区域中被标识作为空间分割线的警戒线、或者栏杆或者另一目标对象等，在参考对象是警戒线时，一般为醒目的直线标识，如黄色的直线标识。其中，目标对象可以是指人、动物、机动车辆、智能机器人等可以运动的对象。
如图1所示，图中A、B、C三张图为相机在连续的三个时刻所拍摄的二维图像，该图以参考对象为警戒线为例进行说明。其中，每张图像中包括参考对象101和个目标对象，图1中为行人，可见，目标对象在每张图像中的位置可以是不同的，即从三张图像可以得到行人的运动轨迹。
其中，在获得多张二维图像后，可以对每张二维图像中的目标对象和参考对象进行标记，这样，可以使得目标对象和参考对象与图像中的其他内容相区别。
步骤S202：针对所述多张图像中的每张二维图像，根据所述参考对象和所述目标对象各自在该张二维图像上的位置信息，确定所述目标对象相对所述参考对象的三维相对位置。
本实施例中，由于每张二维图像中均可以包括参考对象和目标对象，因此，对于每张二维图像，均可以得到参考对象在该二维图像上的位置信息、目标对象在该二维图像上的位置信息。
其中，参考对象在该二维图像上的位置信息可以是指二维坐标位置，目标对象在该二维图像上的位置信息也可以是指二维坐标位置。示例地，二维坐标位置例如可以是指像素坐标位置。
在得到参考对象和目标对象各自在该张二维图像上的位置信息后，可以结合二者的位置信息，确定目标对象相对参考对象的三维相对位置。具体实施时，由于参考对象的二维坐标位置一般是固定的，而目标对象的二维坐标位置随着目标对象的运动是变化的，因此，可以以参考对象的二维坐标位置为基准，确定目标对象的二维坐标位置相对该参考对象的二维坐标位置的三维相对位置。
其中，将根据二维的位置信息确定三维相对位置的过程可以称为三维跨线预测计算，通过该三维跨线预测计算可以将二维图像中运动目标对象的二维位置转化为一系列三维相对位置，以对目标对象在空间中相对参考对象的方向和在该方向上相对参考对象的距离用数值进行量化，从而准确量化出目标对象相对参考对象的移动轨迹。
参照图3所示，示出了本申请的一种三维跨线预测计算的原理示意图，图3中，以图1所示的三张二维图像为例进行分析，圆圈代表行人的三维位置，参考对象的位置如图3中粗线箭头所示。其中，参考对象的位置是固定的，在图3中标注出了行人的三个位置，按照移动的先后顺序分别是201、202、203。需要说明的是，该位置201、202、203可以理解为是目标对象在图像平面上的二维位置投影到三维场景下的位置。
为方便将目标对象的二维位置的轨迹进行数值量化，可以将目标对象在空间中相对参考对象的方向划分为相对参考对象的横向方向和纵向方向，则目标对象相对参考对象的三维相对位置可以包括横向相对位置得分、纵向相对位置得分，如此，可以用横向相对位置得分、纵向相对位置得分对目标对象相对参考对象的距离和方向进行量化。
如此，可以用相对方向位置得分描述目标对象相对参考对象的空间位置，则可以以参考对象的二维坐标位置为基准，确定目标对象的二维坐标位置相对该参考对象的二维坐标位置的三维相对位置，具体地，可以根据目标对象的二维坐标位置在横向相对方向上与参考对象的二维坐标位置的位置关系确定向相对方向位置得分，以及，目标对象的二维坐标位置在纵向相对方向上与参考对象的二维坐标位置的位置关系，确定纵向相对位置得分。
如此，目标对象相对参考对象的三维相对位置可以是反映目标对象在空间中相对参考对象的方向和在该方向上相对参考对象的距离，进一步，由于需要判断目标对象是否跨线，因此，横向相对位置得分还可以标识目标对象位于参考对象的哪一侧，例如，得分为负，表征在参考对象的右侧，得分为正，表征在参考对象的左侧。
其中，在确定纵向相对位置得分时，可以沿参考对象的纵向分别设置一个距离范围，如图3所示，在纵向设置有Top_line，Bottle_line，以在Top_line和Bottle_line之间的区域中确定目标对象相对参考对象的横向相对位置得分。
示例地，如图3所示，目标对象在位置202处相对参考对象的横向方向为左侧、纵向方向为Top_line和Bottle_line之间的区域。其中，横向方向距离参考对象的距离为线段x1所示，纵向方向距离参考对象所处的区域上边界或下边界的距离为线段x2所示，则可以根据线段x1和线段x2的值和位置202相对参考对象的方位，确定横向相对位置得分和纵向相对位置得分，如此，得到目标对象相对参考对象的三维相对位置。
采用本申请的实施方式，由于三维相对位置可以量化目标对象在空间中相对参考对象的方向和在该方向上相对参考对象的距离，如此，即将二维图像的位置信息量化成为了携带方向信息和距离信息的数值得分，可以更加准确定位出目标对象与参考对象之间的位置距离关系，减少了识别难度，从而提高了识别准确率。
步骤S203：根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果。
本实施例中，图像检测结果可以是指检测目标对象是否跨越参考对象，当参考对象是警戒线时，若目标对象跨越参考对象则俗称跨线。
本实施例中，由于每张二维图像的三维相对位置可以包括横向相对位置得分、纵向相对位置得分，这样，多张二维图像的三维相对位置便构成了多组不同的横向相对位置得分和纵向相对位置得分，如此，可以根据多个不同的横向相对位置得分的变化趋势、纵向相对位置得分的变化趋势，确定目标对象是否跨越所述参考对象。其中，纵向相对位置得分一般可以用于约束在某一空间范围内，对横向相对位置得分进行变化趋势分析。
例如，如图3所示，纵向相对位置得分可以约束在参考对象的上下两端的一定距离的空间范围内，对横向相对位置得分的变化趋势进行分析。当纵向相对位置得分表征在Top_line和Bottle_line之间的区域时，若横向相对位置得分由一数值范围变换到另一数据范围时，便表示跨越了参考对象。例如，参考对象的左右两侧用不同得分数值范围表示，左侧用正数值表示，右侧用负数值表示，若横向相对位置得分由负0.5变换到正0.5，表示跨越了参考对象。
在一种示例中，如图3所示，一般而言，每张二维图像对应的三维相对位置可以认为是一个序列，这样，多张二维图像各自对应的三维相对位置组成了一组序列，如此，在根据多张二维图像各自对应的三维相对位置，识别目标对象是否跨越参考对象时，可以从多张二维图像各自对应的三维相对位置组成的序列中，提取子序列；根据子序列包含的各个三维相对位置以及变化趋势，识别目标对象是否跨越参考对象。
本实施例中，多张二维图像各自对应的三维相对位置组成的序列可以认为是一组数值序列，如图3所示，A、B、C三张二维图像中行人相对参考对象的三维相对位置所组成的序列为{(0.5、0.3)，(0.1、0.9)，(-0.1、0.2)}。如上图1的示例可知，三维相对位置可以包括横向相对位置得分、纵向相对位置得分，即可以认为每个序列包括两个方向维度上的位置得分，其中，每个方向维度上的多个位置得分便构成了以数值为表现形式的子序列。
其中，从多张二维图像各自对应的三维相对位置组成的序列中提取的一个子序列可以是单张二维图像对应的三维相对位置中一个方向维度上的位置得分组成的序列。例如，序列为{(0.5、0.3)，(0.1、0.9)，(-0.1、0.2)}，则子序列可以包括横向相对位置得分组成的序列，如(0.5，0.1，-0.1)，也可以包括纵向相对位置得分组成的序列，如(0.3，0.9，0.2)。
如此，通过提取子序列，可以从不同方向维度上分析三维相对位置的变化趋势，接着，综合不同方向维度上分析三维相对位置的变化趋势，确定目标对象是否跨越参考对象。
在一种示例中，由于三维相对位置可以是横向相对位置和纵向相对位置，如此，每个子序列便也可以包含纵向相对位置得分和横向相对位置得分，如此，三维相对位置的变化趋势便可以包括横向相对位置得分的变化趋势和纵向相对位置得分的变化趋势。其中，
其中，横向相对位置即是目标对象相对参考对象的横向方向的位置，纵向相对位置即是目标对象相对参考对象的纵向方向的位置，由上述实施例可知，横向相对位置得分可以表征目标对象横向相对参考对象的距离和所处的方位，如表征图3中位置202的线段x1的值和相对参考对象的方位，纵向相对位置得分可以表征目标对象纵向相对参考对象的距离和所处的方位。
则相应地，可以根据横向相对位置得分的变化趋势和纵向相对位置得分的变化趋势确定目标对象是否跨越参考对象。如此，在根据子序列包含的各个三维相对位置以及变化趋势，识别目标对象是否跨越参考对象时，可以在子序列包含的各个三维相对位置中的纵向相对位置得分的绝对值均小于预设阈值，且子序列包含的各个三维相对位置中的横向相对位置的变化趋势为由第一预设阈值变化至第二预设阈值时，确定目标对象跨越所述参考对象，其中，第一预设阈值小于零，且第二预设阈值大于零，第一预设阈值的绝对值和所述第二预设阈值的绝对值均为0至1之间的数值。
本实施例中，每个子序列可以从相应方向维度上分析三维相对位置的变化趋势，并可以综合不同方向维度上分析三维相对位置的变化趋势，确定目标对象是否跨越参考对象。具体实施时，可以先分析纵向方向维度的子序列的变化的趋势，即分析各个三维相对位置中的纵向相对位置得分的变化趋势，具体而言，由于纵向相对位置得分用于约束在某一空间范围内，对横向相对位置得分进行变化趋势分析。因此，可以在各个三维相对位置中的纵向相对位置得分的绝对值均小于预设阈值的情况下，再分析横向方向维度的子序列的变化的趋势，即分析各个三维相对位置中的横向相对位置的变化趋势，若该横向相对位置得分在由第一预设阈值变化至第二预设阈值时，确定目标对象跨越参考对象。
其中，第一预设阈值和第二预设阈值为两个不同的阈值，实际中，第一预设阈值和第二预设阈值可以是正负相反的两个阈值，当横向相对位置得分具有从第一预设阈值变化到第二预设阈值的趋势，则可以认为目标对象跨越参考对象。
示例地，如上述示例，纵向方向维度的子序列为(0.3，0.9，0.2)，其各个得分均小于阈值0.5，则分析横向方向维度的子序列(0.5，0.1，-0.1)，其具有从第一预设阈值0.2变化至第二预设阈值-0.2的趋势，因此，可以认为目标对象跨越了参考对象。
当然地，在一种示例中，由于可以根据横向相对位置得分的变化趋势和纵向相对位置得分的变化趋势确定目标对象是否跨越参考对象，且由于横向相对位置得分的变化趋势是根据多个时刻拍摄的二维图像获得的，因此，横向相对位置得分的变化趋势和纵向相对位置得分的变化趋势均是一种与时间紧密关联的变化趋势。如此，在根据上述变化趋势，识别目标对象是否跨越参考对象时，可以一并确定目标对象跨线的时刻。
具体地，可以在确定所述子序列中相邻两个横向相对位置由小于零变化为大于零，或者，由大于零变化到小于零时，确定所述目标对象跨越所述参考对象的跨越时刻，为所述相邻两个横向相对位置对应的两张二维图像的拍摄期间中的一个时刻。
其中，相邻两个横向相对位置由小于零变化为大于零，或者，由大于零变化到小于零，均表征目标对象从参考对象的横向一侧变化到横向的另一侧，此种情况下，便可以认为目标对象跨越了参考对象，如此可以获得相邻两个横向相对位置对应的两张二维图像的拍摄时刻，接着，可以将两个拍摄时刻之间的一个时刻确定为目标对象跨越参考对象的跨越时刻。其中，跨越时刻可以是两个拍摄时刻的中间时刻，或者任意一个时刻。
示例地，如图1所示，分析横向方向维度的子序列(0.5，0.1，-0.1)，可以得知0.1变化到-0.1，目标对象跨越了参考对象，其中，0.1对应的是二维图像B、拍摄时刻为1:23分，-0.1对应的是二维图像C、拍摄时刻为2：01分，则跨越时刻可以确定为1:42分，即中间时刻。
当然，在一种场景中，若在识别到目标对象未跨越参考对象之后，可以继续获取下一张二维图像，所述下一张二维图像与所述多张图像包含同一参考对象和同一目标对象；在根据所述下一张二维图像和所述多张二维图像中部分二维图像，确定所述目标对象跨越所述参考对象的情况下，根据所述下一张二维图像的拍摄时刻，确定所述目标对象跨越所述参考对象的跨越时刻。
本示例中，在获得到下一张二维图像时，可以按照上述步骤S201-步骤S203的过程，根据下一张二维图像和所述多张二维图像中部分二维图像，确定所述目标对象是否跨越参考对象，若确定跨越了参考对象，则可以将下一张图像的拍摄时刻，确定为目标对象跨越参考对象的跨越时刻，或者，可以将下一张图像的拍摄时刻与部分二维图像中时间靠后的最后一张二维图像的拍摄时刻之间的时刻，如中间时刻或中间的任一时刻，确定为目标对象跨越参考对象的跨越时刻。
实际中，通过上述实施例的方式，可以将通过二维图像识别目标对象跨线的过程转化为三维相对位置的变化过程，即将该二维图像的识别过程转换为不同方向上的位置得分的变化计算过程，通过上述实施例的方法，将“目标对象跨线”过程描述为了一个算法问题，从而更加准确地判定目标对象是否跨越参考对象。
其中，由于三维相对位置包括横向相对位置和纵向相对位置，为了提高本申请实施例的图像检测方法的效率和智能化，可以利用神经网络学习如何将二维图像中的位置转化为三维的横向相对位置和纵向相对位置，即由神经网络完成对二维位置信息的数值量化过程，进一步，也可以利用神经网络完成上根据三维相对位置判断目标对象跨线的过程。
具体地，参照图4所示，示出了本申请实施例的利用神经网络进行跨线检测的流程示意图。如图4所示，包括三维相对位置预测模型和跨线识别模型。
其中，在实际应用过程中，可以将三维相对位置预测模型的输出端与跨线识别模型的输入端连接，如此，三维相对位置预测模型和跨线识别模型便构成一个联合模型，通过该联合模型，可以完成整个的跨线检测，这样，在应用联合模型对跨线进行检测时，便可以将参考对象和目标对象各自在该张二维图像上的位置信息输入到联合模型即可，如此，便可以获得联合模型输出的跨线检测结果。
下面，结合图4所示，对申请的如何获得三维相对位置预测模型和跨线识别模型进行说明，其中，三维相对位置预测模型的获得过程可以见1.1节所述，跨线识别模型的获得过程可以见1.2节所示。
其中，如图4所示，三维相对位置预测模型可以包括特征层、多个全连接层。跨线识别模型包括特征整合层，用于对三维相对位置预测模型输出的三维相对位置中的横向相对位置Scorelr和纵向相对位置Scoretb进行整合，输出跨线的结果。
其中，输入到三维相对位置预测模型输入可以是参考对象和所述目标对象各自在该张二维图像上的位置信息，如图4中的目标对象的二维位置坐标、参考对象二维位置坐标和参考对象的特征信息，其中，参考对象的特征信息可以包括参考对象的方向信息和长度信息。
1.1三维相对位置预测模型的过程。
本实施例中，三维相对位置预测模型实质是可以将不同相机视角下拍摄的多张二维图像描述成一个算法问题，如此，实现二维位置到三维位置的转换。
其中，在将二维位置到三维位置的转换过程中，具体涉及三维跨线预测计算，该三维跨线预测计算跨越参照上述实施例中与图1相关的描述即可，其中，训练第一预设模型得到三维相对位置预测模型过程，可以理解为是逐步训练第一预设模型具备进行三维跨线预测计算的能力，如此，该三维相对位置预测模型实便具有三维跨线预测计算能力，从而可以准确地将二维位置转换到三维位置。
其中，在第一预设模型的训练过程中，跨越基于该三维跨线预测计算生成三维相对位置标签，即在模型训练过程中的训练样本准备流程中，以三维跨线预测计算为标准，可以生成训练的监督标签。
为便于理解本申请，将在准备训练三维相对位置预测模型的样本准备过程中，对该三维跨线预测计算再次进行详细说明。其中，训练三维相对位置预测模型的训练样本可以称为第一训练样本，如图5所示，示出了准备第一训练样本的步骤流程图，具体可以包括以下步骤：
步骤S501：在仿真三维场景下对样本目标对象的三维位置和样本参考对象的三维位置进行标注。
参照图6所示，示出了一种仿真三维场景，从图3和图6可看出，本实施例中，仿真三维场景下对样本目标对象的三维位置和样本参考对象的三维位置进行的标注，可以理解为是一种模拟真实位置的标注，得到的三维位置也是模拟三维位置。其中，图6以参考对象为警戒线为例进行说明。
其中，标注的三维位置可以是指空间上的三维坐标，当然，三维坐标中可以允许某一个维度的坐标值为0，例如，参考对象位于地平面上，则表示高度的三维坐标值便为0。
其中，在仿真三维场景下，可以模拟相机不同视角下拍摄的二维图像，也可以模拟目标对象在不同速度下的运动轨迹。即，在进行三维位置标注时，可以在不同相机视角和不同目标对象速度下，对目标对象的三维位置进行标注，以模拟各种真实情况下目标对象的运动轨迹。
步骤S502：根据所标注的三维位置，通过相机投影变换，得到所述样本目标对象和所述样本参考对象各自在二维图像上的位置信息。
本实施例中，当得到在仿真三维场景中的样本目标对象的三维位置和样本参考对象的三维位置后，则可以根据标注出的三维位置获得在该三维模拟场景下样本目标对象和样本参考对象的二维图像中的位置信息，即将标注的三维位置转化为二维位置。
具体实施时，可以通过相机投影变换，得到样本目标对象和所述样本参考对象各自在二维图像上的位置信息，其中，二维图像上的位置信息可以是二维位置坐标，例如，可以是像素坐标。
本实施例中，样本目标对象和所述样本参考对象各自在二维图像上的位置信息用于作为输入到第一预设模型的信息。
步骤S503：根据所述样本参考对象的特征信息和所标注的三维位置，生成三维相对位置标签。
本实施例中，样本参考对象的特征信息可以包括样本参考对象的长度、方向等信息，具体地，可以根据样本参考对象的特征信息、样本参考对象所标注的三维位置、样本目标对象所标注的三维位置，生成样本目标对象在各个三维位置相对样本参考对象的三维相对位置标签。
其中，样本参考对象的特征信息中的长度信息可以用于帮助确定样本参考对象上下侧的距离，方向信息可以用于帮助确定样本目标对象跨越参考对象的方向，例如，从参考对象的左侧跨域到右侧，或者参考对象的右侧跨域到左侧。
如图6所示，样本参考对象的长度为2，则可以将距离样本参考对象上端的距离为1、距离样本参考对象下端的距离为1的范围，如图Top_line至Bottle_line之间的范围。
如图6所示，样本参考对象的方向如图5中箭头所示，则以这个方向为准，确定目标对象跨越样本参考对象的方向。
本实施例中，生成的三维相对位置标签，是仿真三维场景中根据标注的三维位置确定的，实际中，代表了真实的三维相对位置。因此，可以将这些三维相对位置标签作为训练第一预设模型的监督标签。
结合图6所示的仿真三维场景，对如何得到三维相对位置标签的过程进行说明。如上述实施例所示，由于三维相对位置包括了横向相对位置和纵向相对位置，则所述三维相对位置标签包括横向相对位置标签和纵向相对位置标签。
参照图7所示，示出了得到三维相对位置标签的步骤流程图，具体可以包括生成横向相对位置标签的过程和生成纵向相对位置标签的过程。其中，生成横向相对位置标签的过程如下步骤S701至步骤S702的过程所述，而生成纵向相对位置标签的过程如下步骤S703至步骤S707的过程所述。
步骤S701：根据所标注的三维位置，确定所述样本目标对象到所述样本参考对象的距离以及所述样本目标对象处于所述参考对象的左侧或右侧。
本实施例中，由于样本目标对象和样本参考对象的三维位置已经标注好，因此，可以确定样本目标对象到样本参考对象的距离，该距离可以是指相对样本参考对象的横向距离，如图5所示，如线段x3表示横向距离，且可以确定样本目标对象处于参考对象的左侧或右侧。
其中，相对样本参考对象的横向距离进一步可以是指相对样本参考对象的横向垂直距离。
步骤S702：根据所述样本目标对象的尺寸、以及所述样本目标对象到所述样本参考对象的距离以及所述样本目标对象处于所述参考对象的左侧或右侧，生成横向相对位置标签。
本实施例中，如图6所示，样本目标对象标识为一个圆柱体，样本目标对象的尺寸可以是指圆柱体的半径，实际中，可以根据以下公式(1)，生成横向相对位置标签。
其中，scorelr为横向相对位置标签，obj为目标对象，dir_lr表示方位调参值，表征目标对象与参考对象之间的方位关系。
由此，横向相对位置标签可以理解为是一个在横向方向上距离样本参考对象的相对位置距离，该横向相对位置标签可以同时反映目标对象与样本参考对象之间的距离关系和方向关系。
步骤S703：根据所述样本参考对象的长度信息和方向信息，确定上限线、中线以及下限线。
本示例中，可以根据样本参考对象的长度信息和方向信息，确定上限线、中线以及下限线，其中，上限线和下限线之间的区域即为约束识别目标对象是否跨线的识别区域，上限线和下限线之间的距离可以大于或等于样本参考对象的长度。其中，中线可以是指上限线和下限线之间的距离的中点线，用于帮助界定样本目标对象的运动轨迹变化。
如图6所示，Top_line为上限线、Bottle_line为下限线、Mid_line为中线。
本实施例中，在确定好上限线、中线以及下限线后，可以将仿真三维场景划分为上部区域、中部区域和下部区域，上部区域即为位于上限线之上的区域，中部区域即为位于上限线与下限线之间的区域、下部区域即为位于下限线之下的区域。
相应地，对于样本目标对象的每个三维位置，可以根据该三维位置所处的区域，确定样本目标对象在该三维位置处到相应线的距离，之后，根据该三维位置到相应线的距离，生成该三维位置的纵向相对位置标签。
步骤S704：根据所标注的三维位置，在确定所述样本目标对象位于所述上限线之上的上部区域时，确定所述样本目标对象到所述上限线的距离。
本实施例中，当样本目标对象的一个三维位置位于上限线之上的上部区域时，可以根据确定样本目标对象在该三维位置处到上限线的距离，此种情况下，可以根据以下公式(2)生成该三维位置对应的纵向相对位置标签：
其中，scoretb为纵向纵向相对位置标签，Top_line为上限线。
步骤S705：根据所标注的三维位置，在确定所述样本目标对象位于所述上限线与所述下限线之间的中部区域时，确定所述样本目标对象到所述中限线的距离。
本实施例中，当样本目标对象的一个三维位置位于中部区域时，可以根据确定样本目标对象在该三维位置处到中线的距离，此种情况下，可以根据以下公式(3)生成该三维位置对应的纵向相对位置标签：
其中，scoretb为纵向相对位置标签，Top_line为上限线，dir_tb为方位调参值，表征目标对象与Mid_line之间的方位关系。
步骤S706：根据所标注的三维位置，在确定所述样本目标对象位于所述下限线之下的下部区域时，确定所述样本目标对象到所述下限线的距离。
本实施例中，当样本目标对象的一个三维位置位于下限线之下的下部区域时，可以确定样本目标对象在该三维位置处到下限线的距离，此种情况下，可以根据以下公式(4)确定该三维位置的纵向相对位置标签：
其中，scoretb为纵向相对位置标签，Bot_line为下限线。
步骤S707：根据所述样本目标对象的尺寸、以及所述样本目标对象到所述上限线、下限线或中线的距离，生成纵向相对位置标签。
本实施例中，可以根据该三维位置所处的区域确定样本目标对象在该三维位置处到相应线的距离后，根据相应的上述公式(2)、(3)、(4)确定该三维位置的纵向相对位置标签，如此，得到多个样本目标对象的三维位置各自的纵向相对位置标签。
需要说明的是，上述步骤S701至步骤S707所提供的过程即为三维跨线预测计算过程。
步骤S504：根据所述样本参考对象和所述样本目标对象各自在二维图像上的位置信息，以及对应的三维相对位置标签，生成所述第一训练样本。
本实施例中，针对每一个被标注的三维位置，可以将由该三维位置投影变换得到的在二维图像上的位置信息和对应的三维相对位置标签作为一个训练样本对，如此，得到多个被标注的三维位置的多个训练样本对，该多个训练样本对即为第一训练样本。
其中，每一个训练样本对中包括样本目标对象和样本参考对象各自在二维图像上的位置信息、以及样本目标对象的三维相对位置标签。
其中，参照图4所示，对第一预设模型的训练过程进行介绍，具体地，如图4所示，可以将所述第一训练样本中的样本参考对象和样本目标对象各自在二维图像上的位置信息输入到第一预设模型，获得第一预设模型输出的预测三维相对位置；
接着，根据预测三维相对位置和所述第一训练样本中的三维相对位置标签，对第一预设模型进行更新，在第一预设模型收敛时，训练结束，从而将训练结束时的第一预设模型确定为三维相对位置预测模型。
在得到三维相对位置预测模型后，该三维相对位置预测模型便可以具有跨线预测计算能力，即可以根据目标对象和参考对象的二维位置，确定目标对象相对于参考对象的三维相对位置。
具体地，可以将所述参考对象和所述目标对象各自在该张二维图像上的位置信息输入三维相对位置预测模型，得到该张二维图像对应的三维相对位置。
1.2跨线识别模型的获得过程
如图4所示，跨线识别模型的输入是三维相对位置预测模型的输出，而三维相对位置预测模型的输出是二维位置对应的三维相对位置，因此，训练跨线识别模型的训练样本也是三维相对位置。
本实施例中，可以在训练得到三维相对位置预测模型后，利用三维相对位置预测模型生成跨线识别模型的训练样本，其中，训练跨线识别模型的训练样本称为第二训练样本。
其中，参照图4、图8-9所示，示出了三种不同的利用神经网络进行跨线检测的场景，不同的神经网络场景对应了三种情况下的第二训练样本，不同的第二训练样本可以达到各自的训练效果。
1.2.1第一种情况下生成第二训练样本的过程：
参照图4所示，为了节约训练样本的采集数量，可以将所述样本目标对象和所述样本参考对象各自在二维图像上的位置信息输入到训练好后的三维相对位置预测模型，得到样本三维相对位置，该样本三维相对位置即为对样本目标对象和所述样本参考对象各自在二维图像上的位置信息进行准确转换后的位置；之后，根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻，生成第二训练样本。
在一种示例中，可以沿用第一训练样本，即将第一训练样本中的样本目标对象和所述样本参考对象各自在二维图像上的位置信息输入到相对位置预测模型，得到相对位置预测模型输出的三维相对位置，进而将样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻作为第二训练样本。在又一种示例中，也可以直接将上述第一训练样本中的各三维相对位置标签作为第二训练样本中的样本三维相对位置。
其中，第二训练样本可以包括样本三维相对位置、所述样本目标对象的跨线标签，或者，可以包括样本三维相对位置、所述样本目标对象的跨线时刻，或者，可以包括样本三维相对位置、所述样本目标对象的跨线标签和跨线时刻。
其中，跨线标签和/或跨线时刻作为训练第二预设模型的监督标签，其中，跨线时刻可以是指真实的跨线时刻，跨线标签可以用于表征目标对象是否跨越参考对象的真实情况。跨线时刻作为标签时，该第二预设模型可以用于判断目标对象跨越参考对象时的时刻。
需要说明的是，生成的一个第二训练样本中包括了多个二维位置对应的多个样本三维相对位置，在训练预设第二模型时，可以将多个二维位置对应的多个样本三维相对位置同时输入到预设第二模型，以根据输出的跨线识别结果、跨线标签和/或跨线时刻对预设第二模型进行更新。
1.2.2第二种情况下生成第二训练样本的过程：
在一种示例中，如图8所示，示出又一神经网络应用场景，如图7所示，在得到样本三维相对位置之后，还可以对样本三维相对位置中的纵向三维相对位置进行幅值变换，得到变换后的纵向三维相对位置；从而根据变换后的纵向三维相对位置、所述样本三维相对位置中的横向三维相对位置、以及所述样本目标对象的跨线标签和/或跨线时刻，生成所述第二训练样本。
本实施例中，对样本三维相对位置中的纵向三维相对位置进行幅值变换可以是指将纵向三维相对位置映射成正值或负值。
如图6所示，纵向三维相对位置若是在中部区域，则将该纵向三维相对位置的值映射为正值，若纵向三维相对位置是在上部区域或下部区域，则将该纵向三维相对位置的值映射为负值。如此，可以识别目标对象是否绕过参考对象而跨越到警戒区域的情况，从而提高跨线检测的准确性。
此种情况下，可以将变换后的纵向三维相对位置与样本三维相对位置中的横向三维相对位置作为样本三维相对位置，与样本目标对象的跨线标签和/或跨线时刻作为第二训练样本。同样地，第二训练样本可以包括样本三维相对位置、所述样本目标对象的跨线标签，或者，可以包括样本三维相对位置、所述样本目标对象的跨线时刻，或者，可以包括样本三维相对位置、所述样本目标对象的跨线标签和跨线时刻。
其中，在训练预设第二模型时，可以将多个变换后的纵向三维相对位置与样本三维相对位置中的横向三维相对位置同时输入到预设第二模型，以根据输出的跨线识别结果、跨线标签和/或跨线时刻对预设第二模型进行更新。
1.2.3第三种情况下生成第二训练样本的过程：
在又一种示例中，如图9所示，示出了又一神经网络应用场景，如图9所示，除将样本三维相对位置输入到第二预设模型进行训练外，为了使得第二预设模型在训练过程中，可以更好地自主学习，可以额外得到所述三维相对位置预测模型中至少一个网络层输出的特征信息，并根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻、以及所述特征信息，生成所述第二训练样本。
本示例中，在得到三维相对位置预测模型之后，也可以获取该三维相对位置预测模型至少一个网络层输出的特征信息，从而将样本三维相对位置、特征信息、样本目标对象的跨线标签和/或跨线时刻作为所述第二训练样本。具体地，第二训练样本可以包括样本三维相对位置(幅值变换后的纵向相对位置标签和横向相对位置标签)、特征信息、样本目标对象的跨线标签，或者，可以包括样本三维相对位置、特征信息、样本目标对象的跨线时刻，或者，可以包括样本三维相对位置、特征信息、样本目标对象的跨线标签和跨线时刻。
其中，第二训练样本中的样本三维相对位置和特征信息是作为训练过程中输入到第二预设模型的信息，而样本目标对象的跨线标签和/或跨线时刻作为训练过程中的监督标签。
在实际训练第二预设模型时，可以选择利用其中一种第二训练样本训练第二预设模型，具体地，可以将上述任一请情况下得到的第二训练样本输入到第二预设模型，之后根据第二预设模型输出的判断结果和跨线标签，对第二预设模型进行更新，或者，根据第二预设模型输出的判断结果、跨线标签和跨线时刻，对第二预设模型进行更新，或根据第二预设模型输出的判断结果、跨线时刻，对第二预设模型进行更新，从而得到跨线识别模型。
其中，当监督标签为跨线标签时，跨线识别结果为是否跨线的结果，则可以根据是否跨线的结果、跨线标签确定第二预设模型的损失，继而根据该损失，对第二预设模型进行更新。其中，当监督标签为跨线时刻时，跨线识别结果为跨线的识别时刻，则可以根据跨线的识别时刻、跨线时刻确定第二预设模型的损失，继而根据该损失，对第二预设模型进行更新。
当然，当监督标签包括跨线时刻和跨线标签时，跨线识别结果也包括跨线的识别时刻、和是否跨线的识别结果，则可以根据跨线的识别时刻、跨线时刻确定时刻识别损失，以及根据是否跨线的结果、跨线标签确定判别损失，根据识别损失和判别损失，确定第二预设模型的损失，继而根据该损失，对第二预设模型进行更新。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图10所示，示出了本发明实施例的一种图像检测装置的结构框图，如图10所示，所述装置具体可以包括以下模块：
图像获得模块1001，用于获得在不同时刻采集的多张二维图像，所述多张二维图像包含参考对象和目标对象；
三维位置确定模块1002，用于针对所述多张图像中的每张二维图像，根据所述参考对象和所述目标对象各自在该张二维图像上的位置信息，确定所述目标对象相对所述参考对象的三维相对位置；
识别模块1003，用于根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果。
可选地，所述识别模块，具体可以包括以下单元：
序列提取单元，用于从所述多张二维图像各自对应的三维相对位置组成的序列中，提取子序列；
识别单元，用于根据所述子序列包含的各个三维相对位置以及变化趋势，识别所述目标对象是否跨越所述参考对象。
可选地，所述多张图像中任一张二维图像对应的三维相对位置包括：横向相对位置得分和纵向相对位置得分；所述识别单元，具体用于在所述子序列包含的各个三维相对位置中的纵向相对位置得分的绝对值均小于预设阈值，且所述子序列包含的各个三维相对位置中的横向相对位置的变化趋势为由第一预设阈值变化至第二预设阈值时，确定所述目标对象跨越所述参考对象，其中，所述第一预设阈值小于零，且所述第二预设阈值大于零，所述第一预设阈值的绝对值和所述第二预设阈值的绝对值均为0至1之间的数值。
可选地，所述装置还可以包括以下模块：
第一时刻确定模块，用于确定所述子序列中相邻两个横向相对位置由小于零变化为大于零时，确定所述目标对象跨越所述参考对象的跨越时刻，为所述相邻两个横向相对位置对应的两张二维图像的拍摄期间中的一个时刻。
可选地，所述装置还可以包括以下模块：
所述图像获得模块，具体还用于在确定所述目标对象未跨越所述参考对象的情况下，获取下一张二维图像，所述下一张二维图像与所述多张图像包含参考对象和目标对象；
第二时刻确定模块，用于在根据所述下一张二维图像和所述多张二维图像中部分二维图像，确定所述目标对象跨越所述参考对象的情况下，根据所述下一张图像的拍摄时刻，确定所述目标对象跨越所述参考对象的跨越时刻。
可选地，所述三维位置确定模块，具体用于将所述参考对象和所述目标对象各自在该张二维图像上的位置信息输入预先训练的三维相对位置预测模型，得到该张二维图像对应的三维相对位置；
其中，三维相对位置预测模型是利用第一训练样本，对第一预设模型进行训练得到的，所述装置还包括第一训练样本获得模块，具体可以包括以下单元：
标注单元，用于在仿真三维场景下对样本目标对象的三维位置和样本参考对象的三维位置进行标注；
变换单元，用于根据所标注的三维位置，通过相机投影变换，得到所述样本目标对象和所述样本参考对象各自在二维图像上的位置信息；
标签生成单元，用于根据所述样本参考对象的特征信息和所标注的三维位置，生成三维相对位置标签；
第一样本生成单元，用于根据所述样本参考对象和所述样本目标对象各自在二维图像上的位置信息，以及对应的三维相对位置标签，生成所述第一训练样本。
可选地，所述三维相对位置标签包括横线相对位置标签和纵向相对位置标签；所述标签生成单元，具体可以包括以下子单元：
第一位置确定子单元，用于根据所标注的三维位置，确定所述样本目标对象到所述样本参考对象的距离以及所述样本目标对象处于所述参考对象的左侧或右侧；
第二位置确定子单元，根据所述样本目标对象的尺寸、以及所述样本目标对象到所述样本参考对象的距离以及所述样本目标对象处于所述参考对象的左侧或右侧，生成横向相对位置标签；
第三位置确定子单元，根据所述样本参考对象的长度信息和方向信息，确定上限线、中线以及下限线；
第一距离确定子单元，用于根据所标注的三维位置，在确定所述样本目标对象位于所述上限线之上的上部区域时，确定所述样本目标对象到所述上限线的距离；
第二距离确定子单元，用于根据所标注的三维位置，在确定所述样本目标对象位于所述上限线与所述下限线之间的中部区域时，确定所述样本目标对象到所述中限线的距离；
第三距离确定子单元，用于根据所标注的三维位置，在确定所述样本目标对象位于所述下限线之下的下部区域时，确定所述样本目标对象到所述下限线的距离；
标签生成子单元，用于根据所述样本目标对象的尺寸、以及所述样本目标对象到所述上限线、下限线或中线的距离，生成纵向相对位置标签。
可选地，所述识别模块，具体用于将所述多张二维图像各自对应的三维相对位置，均输入预先训练的跨线识别模型，确定所述目标对象是否跨越所述参考对象；
其中，所述跨线识别模型是利用第二训练样本，对第二预设模型进行训练得到的，所述装置还包括第二训练样本获得模块，具体可以包括以下单元：
信息输入单元，用于将所述样本目标对象和所述样本参考对象各自在二维图像上的位置信息输入所述三维相对位置预测模型，得到样本三维相对位置；
第二样本生成单元，用于根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻，生成所述第二训练样本。
可选地，所述装置还包括：
幅值变换模块，用于对所述样本三维相对位置中的纵向三维相对位置进行幅值变换，得到变换后的纵向三维相对位置；
所述样第二样本生成单元，具体用于根据所述变换后的纵向三维相对位置、所述样本三维相对位置中的横向三维相对位置、以及所述样本目标对象的跨线标签和/或跨线时刻，生成所述第二训练样本。
可选地，所述装置还包括以下模块：
特征信息获得模块，用于得到所述三维相对位置预测模型中至少一个网络层输出的特征信息；
所述第二样本生成单元，具体用于根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻、以及所述特征信息，生成所述第二训练样本。
需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
本发明实施例还提供了一种电子设备，该电子设备可以用于执行图像检测方法，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的图像检测方法。
本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的图像检测方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像检测方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种图像检测方法，其特征在于，所述方法包括：
获得在不同时刻采集的多张二维图像，每张所述二维图像包含同一参考对象和同一目标对象；所述多张二维图像是相机保持在同一视角下采集的；
针对所述多张二维图像中的每张二维图像，根据所述参考对象和所述目标对象各自在该张二维图像上的位置信息，确定所述目标对象相对所述参考对象的三维相对位置；
根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果；所述多张二维图像各自对应的三维相对位置用于反映目标对象在空间上的移动趋势。
2.根据权利要求1所述的方法，其特征在于，根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果，包括：
从所述多张二维图像各自对应的三维相对位置组成的序列中，提取子序列；
根据所述子序列包含的各个三维相对位置以及变化趋势，识别所述目标对象是否跨越所述参考对象。
3.根据权利要求2所述的方法，其特征在于，所述多张二维图像中任一张二维图像对应的三维相对位置包括：横向相对位置得分和纵向相对位置得分；
根据所述子序列包含的各个三维相对位置以及变化趋势，识别所述目标对象是否跨越所述参考对象，包括：
在所述子序列包含的各个三维相对位置中的纵向相对位置得分的绝对值均小于预设阈值，且所述子序列包含的各个三维相对位置中的横向相对位置的变化趋势为由第一预设阈值变化至第二预设阈值时，确定所述目标对象跨越所述参考对象，其中，所述第一预设阈值小于零，且所述第二预设阈值大于零，所述第一预设阈值的绝对值和所述第二预设阈值的绝对值均为0至1之间的数值。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
确定所述子序列中相邻两个横向相对位置由小于零变化为大于零时，确定所述目标对象跨越所述参考对象的跨越时刻，为所述相邻两个横向相对位置对应的两张二维图像的拍摄期间中的一个时刻。
5.根据权利要求1所述的方法，其特征在于，在根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果之后，所述方法还包括：
在确定所述目标对象未跨越所述参考对象的情况下，获取下一张二维图像，所述下一张二维图像与所述多张二维图像包含参考对象和目标对象；
在根据所述下一张二维图像和所述多张二维图像中部分二维图像，确定所述目标对象跨越所述参考对象的情况下，根据所述下一张二维图像的拍摄时刻，确定所述目标对象跨越所述参考对象的跨越时刻。
6.根据权利要求3所述的方法，其特征在于，所述多张二维图像中任一张二维图像对应的三维相对位置是根据以下步骤确定的：
将所述参考对象和所述目标对象各自在该张二维图像上的位置信息输入预先训练的三维相对位置预测模型，得到该张二维图像对应的三维相对位置；
其中，所述三维相对位置预测模型是利用第一训练样本，对第一预设模型进行训练得到的，所述第一训练样本的生成过程包括以下步骤：
在仿真三维场景下对样本目标对象的三维位置和样本参考对象的三维位置进行标注；
根据所标注的三维位置，通过相机投影变换，得到所述样本目标对象和所述样本参考对象各自在二维图像上的位置信息；
根据所述样本参考对象的特征信息和所标注的三维位置，生成三维相对位置标签；
根据所述样本参考对象和所述样本目标对象各自在二维图像上的位置信息，以及对应的三维相对位置标签，生成所述第一训练样本。
7.根据权利要求6所述的方法，其特征在于，所述三维相对位置标签包括横线相对位置标签和纵向相对位置标签；
根据所述样本参考对象的特征信息和所标注的三维位置，生成三维相对位置标签，包括：
根据所标注的三维位置，确定所述样本目标对象到所述样本参考对象的距离以及所述样本目标对象处于所述参考对象的左侧或右侧；
根据所述样本目标对象的尺寸、以及所述样本目标对象到所述样本参考对象的距离以及所述样本目标对象处于所述参考对象的左侧或右侧，生成横向相对位置标签；
根据所述样本参考对象的长度信息和方向信息，确定上限线、中线以及下限线；
根据所标注的三维位置，在确定所述样本目标对象位于所述上限线之上的上部区域时，确定所述样本目标对象到所述上限线的距离；
根据所标注的三维位置，在确定所述样本目标对象位于所述上限线与所述下限线之间的中部区域时，确定所述样本目标对象到所述中线的距离；
根据所标注的三维位置，在确定所述样本目标对象位于所述下限线之下的下部区域时，确定所述样本目标对象到所述下限线的距离；
根据所述样本目标对象的尺寸、以及所述样本目标对象到所述上限线、下限线或中线的距离，生成纵向相对位置标签。
8.根据权利要求6或7所述的方法，其特征在于，根据所述多张二维图像各自对应的三维相对位置，识别所述目标对象是否跨越所述参考对象，包括：
将所述多张二维图像各自对应的三维相对位置，均输入预先训练的跨线识别模型，确定所述目标对象是否跨越所述参考对象；
其中，所述跨线识别模型是利用第二训练样本，对第二预设模型进行训练得到的，所述第二训练样本的生成过程包括以下步骤：
将所述样本目标对象和所述样本参考对象各自在二维图像上的位置信息输入所述三维相对位置预测模型，得到样本三维相对位置；
根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻，生成所述第二训练样本。
9.根据权利要求8所述的方法，其特征在于，在得到所述样本三维相对位置之后，所述方法还包括：
对所述样本三维相对位置中的纵向三维相对位置进行幅值变换，得到变换后的纵向三维相对位置；
根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻，生成所述第二训练样本，包括：
根据所述变换后的纵向三维相对位置、所述样本三维相对位置中的横向三维相对位置、以及所述样本目标对象的跨线标签和/或跨线时刻，生成所述第二训练样本。
10.根据权利要求8或9所述的方法，其特征在于，在将所述样本目标对象和所述样本参考对象各自在二维图像上的位置信息输入所述三维相对位置预测模型后，除得到样本三维相对位置之外，还包括：
得到所述三维相对位置预测模型中至少一个网络层输出的特征信息；
根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻，生成所述第二训练样本，包括：
根据所述样本三维相对位置、所述样本目标对象的跨线标签和/或跨线时刻、以及所述特征信息，生成所述第二训练样本。
11.一种图像检测装置，其特征在于，所述装置包括：
图像获得模块，用于获得在不同时刻采集的多张二维图像，每张所述二维图像包含同一参考对象和同一目标对象；所述多张二维图像是相机保持在同一视角下采集的；
三维位置确定模块，用于针对所述多张二维图像中的每张二维图像，根据所述参考对象和所述目标对象各自在该张二维图像上的位置信息，确定所述目标对象相对所述参考对象的三维相对位置；所述多张二维图像各自对应的三维相对位置用于反映目标对象在空间上的移动趋势；
识别模块，用于根据所述多张二维图像各自对应的三维相对位置，确定图像检测结果。
12.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-10任一所述的图像检测方法。
13.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-10任一所述图像检测方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011232710.9A CN112329645B (zh) | 2020-11-06 | 2020-11-06 | 图像检测方法、装置、电子设备及存储介质 |
| PCT/CN2021/108965 WO2022095514A1 (zh) | 2020-11-06 | 2021-07-28 | 图像检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011232710.9A CN112329645B (zh) | 2020-11-06 | 2020-11-06 | 图像检测方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112329645A CN112329645A (zh) | 2021-02-05 |
| CN112329645B true CN112329645B (zh) | 2024-05-28 |
Family
ID=74316747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011232710.9A Active CN112329645B (zh) | 2020-11-06 | 2020-11-06 | 图像检测方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112329645B (zh) |
| WO (1) | WO2022095514A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329645B (zh) * | 2020-11-06 | 2024-05-28 | 北京迈格威科技有限公司 | 图像检测方法、装置、电子设备及存储介质 |
| CN114897875B (zh) * | 2022-06-02 | 2022-11-11 | 杭州电子科技大学 | 基于深度学习的微通道下大肠杆菌与微球的三维定位方法 |
| CN116524135B (zh) * | 2023-07-05 | 2023-09-15 | 方心科技股份有限公司 | 一种基于图像的三维模型生成方法及*** |
| CN116630550B (zh) * | 2023-07-21 | 2023-10-20 | 方心科技股份有限公司 | 一种基于多图片的三维模型生成方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2899691A1 (en) * | 2012-09-18 | 2015-07-29 | Hangzhou Hikvision Digital Technology Co., Ltd. | Target tracking method and system for intelligent tracking high speed dome camera |
| CN108986164A (zh) * | 2018-07-03 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 基于图像的位置检测方法、装置、设备及存储介质 |
| CN110807431A (zh) * | 2019-11-06 | 2020-02-18 | 上海眼控科技股份有限公司 | 对象定位方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9911198B2 (en) * | 2015-12-17 | 2018-03-06 | Canon Kabushiki Kaisha | Method, system and apparatus for matching moving targets between camera views |
| CN112329645B (zh) * | 2020-11-06 | 2024-05-28 | 北京迈格威科技有限公司 | 图像检测方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-06 CN CN202011232710.9A patent/CN112329645B/zh active Active
-
2021
- 2021-07-28 WO PCT/CN2021/108965 patent/WO2022095514A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2899691A1 (en) * | 2012-09-18 | 2015-07-29 | Hangzhou Hikvision Digital Technology Co., Ltd. | Target tracking method and system for intelligent tracking high speed dome camera |
| CN108986164A (zh) * | 2018-07-03 | 2018-12-11 | 百度在线网络技术（北京）有限公司 | 基于图像的位置检测方法、装置、设备及存储介质 |
| CN110807431A (zh) * | 2019-11-06 | 2020-02-18 | 上海眼控科技股份有限公司 | 对象定位方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112329645A (zh) | 2021-02-05 |
| WO2022095514A1 (zh) | 2022-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329645B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| JP6832504B2 (ja) | 物体追跡方法、物体追跡装置およびプログラム | |
| JP6455113B2 (ja) | 物体追跡方法と装置 | |
| US20170344855A1 (en) | Method of predicting traffic collisions and system thereof | |
| WO2008020598A1 (fr) | Dispositif et procédé de détection d'un nombre d'objets | |
| Zhang et al. | Monocular visual traffic surveillance: A review | |
| CN113312973B (zh) | 一种手势识别关键点特征提取方法及*** | |
| CN112070071B (zh) | 视频中的对象标注方法、装置、计算机设备及存储介质 | |
| CN112381132A (zh) | 一种基于多个摄像头融合的目标物跟踪方法和*** | |
| CN111402632B (zh) | 一种交叉口行人运动轨迹的风险预测方法 | |
| CN106228570A (zh) | 一种真值数据确定方法和装置 | |
| CN113592905A (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
| CN115063447A (zh) | 一种基于视频序列的目标动物运动追踪方法及相关设备 | |
| Getahun et al. | A deep learning approach for lane detection | |
| CN110555423B (zh) | 基于多维运动摄像机的航拍视频的交通参数提取方法 | |
| Liu et al. | Visual object tracking with partition loss schemes | |
| CN114742112A (zh) | 一种对象关联方法、装置及电子设备 | |
| CN113012215A (zh) | 一种空间定位的方法、***及设备 | |
| Bourja et al. | Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3 | |
| Rishika et al. | Real-time vehicle detection and tracking using YOLO-based deep sort model: A computer vision application for traffic surveillance | |
| Zhao et al. | Real-world trajectory extraction from aerial videos-a comprehensive and effective solution | |
| CN114067371B (zh) | 一种跨模态行人轨迹生成式预测框架、方法和装置 | |
| CN113450457B (zh) | 道路重建方法、装置、计算机设备和存储介质 | |
| KR20230111010A (ko) | 관절 예측을 위한 학습 데이터 생성 방법 및 장치 | |
| Berger | Scenario pattern matching in large sensor recordings with simulation models for cyber-physical systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |