CN113470067A - 数据处理方法、装置、存储介质和处理器 - Google Patents
数据处理方法、装置、存储介质和处理器 Download PDFInfo
- Publication number
- CN113470067A CN113470067A CN202010246855.8A CN202010246855A CN113470067A CN 113470067 A CN113470067 A CN 113470067A CN 202010246855 A CN202010246855 A CN 202010246855A CN 113470067 A CN113470067 A CN 113470067A
- Authority
- CN
- China
- Prior art keywords
- dimensional detection
- detection frame
- target object
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种数据处理方法、装置、存储介质和处理器。其中,该方法包括:获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面确定,目标对象在目标平面的投影信息。本发明解决了对对象进行定位的精度低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据处理方法、装置、存储介质和处理器。
背景技术
目前,在对对象进行检测时,主要是采用对对象进行二维检测(2D)和跟踪,从而判断对象的行为。但是,由于对象所在的平面与画面通常不在同一平面,从而基于二维检测和跟踪会在以下方面失效:
(1)服务区的对象所在位置判定方面:图像中检测到的对象的二维检测框极易跨多个停车格,从而无法精确定位对象的停放区域;
(2)对象定位方面:图像中检测到的对象的二维检测框极易跨多个区域,从而对区域级定位易造成误判;
(3)速度计算方面,基于画面的对象的二维检测框无法利用对象已知规格信息对路面进行像素对应真实长度的物理建模,从而无法确定真实物理空间距离差,以精确计算对象的速度等参数。
由于基于二维检测和跟踪会在以上方面失效,从而导致对对象进行定位的精度低的技术问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、存储介质和处理器,以至少解决对对象进行定位的精度低的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法。该方法可以包括:获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框;在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框获取;在目标界面上显示目标对象在目标平面的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。
根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:获取包含目标对象的图像;确定图像中存在预置位;在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到三维检测框的至少一个表面,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面确定目标对象在目标平面的投影信息。
根据本发明实施例的另一方面,还提供了另一种数据处理方法。该方法可以包括:获取目标请求,其中,目标请求携带有在目标界面上输入的需要处理的图像,图像包含目标对象;响应目标请求,获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息,并将投影信息发送至目标界面上进行显示。
根据本发明实施例的另一方面,还提供了一种数据处理装置。该装置可以包括:第一获取单元,用于获取包含目标对象的图像;第二获取单元,用于获取目标对象的二维检测框;第三获取单元,用于基于二维检测框,获取目标对象的三维检测框的至少一个表面;第一确定单元,用于通过目标对象的三维检测框的至少一个表面确定目标对象在目标平面的投影信息。
根据本发明实施例的另一方面,还提供了另一种数据处理装置。该装置可以包括:第一显示单元,用于在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框;第二显示单元,用于在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框获取;第三显示单元,用于在目标界面上显示目标对象在目标平面的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。
根据本发明实施例的另一方面,还提供了另一种数据处理装置。该装置可以包括:第四获取单元,用于获取包含目标对象的图像;第二确定单元,用于确定图像中存在预置位;检测单元,用于在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面;第三确定单元,用于通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
根据本发明实施例的另一方面,还提供了一种存储介质。该存储介质包括存储的程序,其中,在程序运行时控制存储介质所在设备执行以下步骤:获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
根据本发明实施例的另一方面,还提供了一种处理器。该处理器用于运行程序,其中,程序运行时执行以下步骤:获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面确定目标对象在目标平面的投影信息。
根据本发明实施例的另一方面,还提供了一种移动终端。该移动终端可以包括:处理器;传输装置,用于传输包含目标对象的图像;以及存储器,与传输装置相连接,用于为处理器提供处理以下处理步骤的指令:获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面确定目标对象在目标平面的投影信息。
在本发明实施例中,获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。本申请为基于二维检测框的对象三维检测技术,利用对象的二维检测框得到三维检测框,进而通过三维检测框得到目标对象在平面的投影信息,达到了对对象进行物理空间映射的目的,避免了对对象直接进行二维检测,来判断对象行为,由于平面与画面不在同一平面,使得对对象的检测在某些情况下失效,从而解决了对对象进行定位的精度低的技术问题,达到了对对象进行精确定位的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图;
图2是根据本发明实施例的一种数据处理方法的流程图;
图3是根据本发明实施例的另一种数据处理方法的流程图;
图4是根据本发明实施例的另一种数据处理方法的流程图;
图5是根据本发明实施例的另一种对对象进行检测的方法的流程图;
图6是根据本发明实施例的一种投影平面计算的示意图;
图7是根据本发明实施例的一种交通视频对象物理映射方案的架构图的示意图;
图8是根据本发明实施例的一种数据处理方法的交互界面的示意图;
图9是根据本发明实施例的一种数据处理装置的示意图;
图10是根据本发明实施例的另一种数据处理装置的示意图;
图11是根据本发明实施例的另一种数据处理装置的示意图;以及
图12是根据本发明实施例的一种移动终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
三维对象目标检测,结合深度神经网络回归学习和几何约束的三维目标对象检测和三维位置估计的算法;
预置位,是将被监视的重点区域与球机的运行状况联系在一起的方式;
线性回归,通过线性组合来进行预测的线性模型,其目的是找到一条直线或者一个平面或者更高维的超平面,使得预测值与真实值之间的误差最小化;
伪逆矩阵(pseudo inverse),逆矩阵的广义形式。
实施例1
根据本发明实施例,还提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1为根据本发明实施例的一种用于实现数据处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的数据处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的数据处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
在图1所示的运行环境下,本申请提供了如图2所示的数据处理方法。需要说明的是,该实施例的数据处理方法可以由图1所示实施例的移动终端执行。
图2是根据本发明实施例的一种数据处理方法的流程图。如图2所示,该方法包括以下步骤:
步骤S202,获取包含目标对象的图像。
在本发明上述步骤S202提供的技术方案中,目标对象为目标平面上需要进行检测的对象,比如,目标平面为交通道路,则目标对象可以为交通道路上进行检测的目标车辆,可以获取对目标平面实时监控所得到的图像,该图像可以为单目颜色(RGB)图像,可以形成交通视频的视频流,进而从视频流中获取针对目标对象的图像,该图像也即视频流中的单帧,为目标对象的当前视频帧。
步骤S204,获取目标对象的二维检测框。
在本发明上述步骤S204提供的技术方案中,在获取包含目标对象的图像之后,获取目标对象的二维检测框。
该实施例在获取目标对象的图像之后,可以对图像进行二维检测,比如,对图像进行交通目标二维检测,得到目标对象的二维检测框,该二维检测框可以通过向量X*(x,y,w,h)进行表示,可以为底面向量,其中,x用于表示二维检测框的左上点的横坐标,y用于表示二维检测框的左上点的纵坐标,w用于表示二维检测框的宽,h用于表示二维检测框的高。
步骤S206,基于二维检测框,获取目标对象的三维检测框的至少一个表面。
在本发明上述步骤S206提供的技术方案中,在获取目标对象的二维检测框之后,基于二维检测框,获取目标对象的三维检测框(3D)的至少一个表面。
该实施例可以基于图像获取转换矩阵,并通过转换矩阵对目标对象的二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面,该至少一个表面可以为三维检测框的底面。
在该实施例中,基于目标对象的图像可以判断是否能存在转换矩阵,该转换矩阵可以用于将目标对象的二维检测框转换为该目标对象的三维检测框的至少一个表面,该三维检测框的至少一个表面可以为平行四边形,可以通过向量y*(x1,y1,x2,y2,w)进行表示,其中,(x1,y1)可以分别用于表示平行四边形的左上点的横坐标和纵坐标,(x2,y2)可以分别用于表示平行四边形的左下点的横坐标和纵坐标,w可以用于表示平行四边形的宽度。
可选地,该实施例的上述转换矩阵为线性转换矩阵,可以将目标对象的二维检测框线性快速、准确地线性变换至目标对象的三维检测框的至少一个表面。
步骤S208,通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
在本发明上述步骤S208提供的技术方案中,在基于二维检测框,获取目标对象的三维检测框的至少一个表面之后,通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
在该实施例中,在通过转换矩阵对目标对象的二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面之后,可以通过目标对象的三维检测框的至少一个表面确定目标对象在目标平面的投影信息。
在该实施例中,目标对象在目标平面的投影信息指示目标对象在目标平面上的投影,从而达到了对目标对象进行物理空间映射的目的,其中,投影信息也即目标对象的物理空间映射结果,输出该物理空间映射结果。
该实施例可以通过转换矩阵将目标对象的图像中所包括的所有对象的二维检测框转化为三维检测框的至少一个表面,并确定所有对象在目标平面上的物理空间映射结果,进而输出该所有对象在目标平面上的物理空间映射结果,完成对象的物理空间映射过程。
通过上述步骤S202至步骤S208,获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。也就是说,该实施例利用对象的二维检测框得到三维检测框,进而通过三维检测框目标对象的在道路上的投影信息,达到了对对象进行物理空间映射的目的,避免了对对象直接进行二维检测,来判断对象行为,由于平面与画面不在同一平面,使得对对象的检测在某些情况下失效,从而解决了对对象进行定位的精度低的技术问题,达到了对对象进行精确定位的技术效果。
进一步地,在车辆定位方面,该实施例利用车辆的二维检测框,使用转换矩阵快速准确地对其进行转换,得到车辆的在道路上的投影信息,达到了对车辆进行物理空间映射的目的,避免了对车辆直接进行二维检测,来判断车辆行为,由于道路平面与画面不在同一平面,使得对车辆的检测在某些情况下失效,从而在车道的车辆定位方面,比如,在车辆所在停车格判定方面,在基于高速并行狭长车道的车辆定位方面,在车速计算方面等,该实施例通过上述方法还可以解决对车辆进行定位的精度低的问题,达到了对车辆进行精确定位的技术效果。
下面对该实施例的上述方法进行进一步介绍。
作为一种可选的实施方式,基于图像获取转换矩阵,包括:确定图像中存在预置位;获取预置位关联的转换矩阵,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面。
可选地,上述方法中的图像为当前视频帧,任意图像为任意视频帧,对象为车辆,则基于当前视频帧获取转换矩阵,包括:确定目标车辆的当前视频帧中存在预置位;获取预置位关联的转换矩阵,其中,转换矩阵用于将存在预置位的任意视频帧所对应的车辆的二维检测框,转换为车辆的三维检测框的底面。
在该实施例中,在实现基于当前视频帧获取转换矩阵时,可以先对当前视频帧进行预置位的判断,判断当前视频帧中是否存在预置位,该预置位是将被监视的重点区域与球机的运行状况联系在一起的方式,当云台运行到交通道路上需要被监视的重点区域时,可以向球机发出设置预置位的命令,球机则将此时的云台的方位和摄像机的状态记录下来,并与该预置位的号码联系起来,当向球机发出召回(calling)命令时,云台立即以最快的速度运行到预置位,摄像机也回到当时记忆的状态,从而方便监控人员能迅速地查看被监视的领域。
在该实施例中,在确定当前视频帧中存在预置位之后,可以判断该预置位是否已经存在用于将任意视频帧所指示的车辆的二维检测框转换到三维检测框的底面的转换矩阵,如果判断出该预置位已经存在上述转换矩阵,则可以获取该转换矩阵,利用该转换矩阵将目标车辆的二维检测框进行转换处理,得到目标车辆的三维检测框的底面。
该实施例可以利用预置位的场景空间不变性的特点,通过其所存在的转换矩阵对车辆的二维检测框进行物理空间映射,从而获得车辆在道路平面的投影,并且该实施例针对单预置位进行全车辆的物理映射变换,可以有效避免三维检测中易出现的受光照、遮蔽和小目标影响大的问题,从而场景可泛化,召回率更高。
作为一种可选的实施方式,该方法还包括:在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面。
在该实施例中,上述方法中的图像可以为当前视频帧,目标对象可以为目标车辆,三维检测框的至少一个表面可以为三维检测框的底面,则在预置位未关联有转换矩阵的情况下,对目标车辆的当前视频帧进行三维检测,得到目标车辆的三维检测框的底面。
在该实施例中,在判断出预置位未关联有转换矩阵的情况下,也即,确定该预置位不存在用于将二维检测框转化为三维检测框的底面的转换矩阵,则对当前视频帧直接进行三维检测,也即,对当前视频帧按照交通目标三维检测的算法进行检测,得到目标车辆的三维检测框的底面,同时可以输出此时的目标车辆在交通道路的投影信息,也即,输出此时的物理空间映射结果,其中,交通目标三维检测也即三维车辆目标检测,为结合深度神经网络回归学习和几何约束的三维目标车辆检测和三维位置估计的算法。
下面对该实施例的上述转换矩阵的确定方法进行介绍。
作为一种可选的实施方式,该方法还包括:基于目标对象的三维检测框的至少一个表面和目标对象的二维检测框确定转换矩阵。
可选地,上述目标对象可以为目标车辆,三维检测框的至少一个表面可以为三维检测框的底面,在预置位未关联有转换矩阵的情况下,上述方法可以是基于目标车辆的三维检测框的底面和目标车辆的二维检测框确定转换矩阵。
在该实施例中,在预置位未关联有转换矩阵的情况下,则需要确定在该预置位下的用于由二维检测框到三维检测框的转换矩阵,可以基于已检测出的目标车辆的三维检测框的底面和目标车辆的二维检测框来确定转换矩阵。
作为一种可选的实施方式,基于目标对象的三维检测框的至少一个表面和目标对象的二维检测框确定与转换矩阵,包括:将目标对象的二维检测框和目标对象的三维检测框的至少一个表面进行一对一匹配,得到第一匹配结果;至少对第一匹配结果进行线性回归计算,得到线性回归模型;将线性回归模型的权重确定为转换矩阵。
在该实施例中,上述方法中的目标对象可以为目标车辆,三维检测框的至少一个表面可以为三维检测框的底面,则上述方法可以是基于目标车辆的三维检测框的底面和目标车辆的二维检测框确定与转换矩阵,包括:将目标车辆的二维检测框和目标车辆的三维检测框的底面进行一对一匹配,得到第一匹配结果;至少对第一匹配结果进行线性回归计算,得到线性回归模型;将线性回归模型的权重确定为转换矩阵。
在该实施例中,在基于目标车辆的三维检测框的底面和目标车辆的二维检测框确定与转换矩阵时,可以先将目标车辆的二维检测框和目标车辆的三维检测框的底面进行一对一匹配,得到匹配结果,也即,得到对应该目标车辆的当前视频帧图像的一组二维-三维检测框对,可以对其进行线性回归计算,得到线性回归模型,其中,线性回归计算指通过线性组合来进行预测的算法,其目的是找到一条直线或者一个平面或者更高维的超平面,使得预测值与真实值之间的误差最小化。该实施例可以将伪逆矩阵(psuedo inversematrix)应用在车辆物理空间映射中,可以获取该线性回归模型的伪逆矩阵,在该伪逆矩阵多次在线线性回归计算后保持稳定后,则停止线性回归计算,此时可以将伪线性回归模型的权重确定为用于将二维检测框转换为三维检测框的转换矩阵。
作为一种可选的实施方式,将目标对象的二维检测框和目标对象的三维检测框的至少一个表面进行一对一匹配,得到第一匹配结果,包括:获取目标对象的三维检测框的至少一个表面对应的平行四边形;将平行四边形与目标对象的二维检测框进行一对一匹配,得到第一匹配结果。
在该实施例中,上述方法中的目标对象可以为目标车辆,三维检测框的至少一个表面可以为三维检测框的底面,则上述方法可以是将目标车辆的二维检测框和目标车辆的三维检测框的底面进行一对一匹配,得到第一匹配结果,包括:获取目标车辆的三维检测框的底面对应的平行四边形;将平行四边形与目标车辆的二维检测框进行一对一匹配,得到第一匹配结果。
在该实施例中,在实现将目标车辆的二维检测框和目标车辆的三维检测框的底面进行一对一匹配,得到第一匹配结果时,可以将得到的三维检测框的底面进行二维变换,可以计算三维检测框的底面对应的平行四边形,该平行四边形可以为三维检测框的底面的最小二维外接矩形框。在计算出三维检测框的底面对应的平行四边形之后,再对二维检测框进行膨胀(infate法)等改善(refining)处理,基于交并比(Intersection over Union,简称为IOU)使用匈牙利算法(hungarian algorithm)将上述平行四边形与处理后的二维检测框进行一对一匹配,从而得到第一匹配结果。
需要说明的是,在该实施例中,上述三维检测框的底面四边形的底边是平行于水平线的,也即,可以理想假设三维检测框的底面的边是平行于水平线的,可以忽略偏移角度。
作为一种可选的实施方式,该方法还包括:获取内存中已存储的至少一个第二匹配结果,其中,每个第二匹配结果由存在预置位的每个历史图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行一对一匹配得到,其中,每个历史图像在图像之前生成;至少对第一匹配结果进行线性回归计算,得到线性回归模型,包括:对第一匹配结果和至少一个第二匹配结果进行线性回归计算,得到线性回归模型。
在该实施例中,上述历史图像可以为历史视频帧,三维检测框的至少一个表面可以为三维检测框的底面,则上述方法可以是获取内存中已存储的至少一个第二匹配结果,其中,每个第二匹配结果由存在预置位的每个历史视频帧所对应的车辆的二维检测框和对应的三维检测框的底面进行一对一匹配得到,其中,每个历史视频帧发生在当前视频帧之前;至少对第一匹配结果进行线性回归计算,得到线性回归模型,包括:对第一匹配结果和至少一个第二匹配结果进行线性回归计算,得到线性回归模型。
在该实施例中,获取内存中已经存储过的至少一个第二匹配结果,该每个第二匹配结果是由存在预置位的每个历史视频帧对应的车辆的二维检测框和对应的三维检测框的底面进行一对一匹配得到的,每个历史视频帧的发生时间早于当前视频帧的发生时间之前,进而结合第一匹配结果和内存中已经存储过的至少一个第二匹配结果进行线性回归计算,得到线性回归模型。
可选地,该实施例通过下述方法得到线性回归模型:
线性回归模型的权重W权=X+Y,其中,X+用于表示线性回归模型的伪逆矩阵,Y用于表示三维检测框的底面,该W权可以为在计算线性回归模型的过程中得到的权重。也即,该实施例的线性回归模型的权重是可以通过求解线性回归模型的伪逆矩阵得到的。
线性回归模型可以通过Y=WT 权X,或者,Y=XW权表示,其中,Y用于表示三维检测框的底面,W权用于表示在计算线性回归模型的过程中的权重,X用于表示二维检测框。
作为一种可选的实施方式,在至少对第一匹配结果进行线性回归计算,得到线性回归模型之后,该方法还包括:在预置位不改变的情况下,获取至少一个第三匹配结果,其中,每个第三匹配结果由存在预置位的每个新图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行匹配得到,其中,每个新图像在图像之后生成;通过至少一个第三匹配结果对线性回归模型进行更新。
在该实施例中,上述新图像可以为新视频帧,三维检测框的至少一个表面可以为三维检测框的底面,在至少对第一匹配结果进行线性回归计算,得到线性回归模型之后,该方法还包括:在预置位不改变的情况下,获取至少一个第三匹配结果,其中,每个第三匹配结果由存在预置位的每个新视频帧所对应的车辆的二维检测框和对应的三维检测框的底面进行匹配得到,其中,每个新视频帧发生在当前视频帧之后;通过至少一个第三匹配结果对线性回归模型进行更新。
在该实施例中,每次获取新视频帧,则在保证预置位不改变的情况下,通过新视频帧对线性回归模型进行在线更新,可以对存在预置位的每个新视频帧所对应的车辆的二维检测框和对应的三维检测框的底面进行匹配,得到第三匹配结果,进而通过至少一个第三匹配结果对线性回归模型进行更新,从而Y=WT 权X,或者,Y=XW权中的Y可以表示为新的三维检测框的底面,X可以表示为新的二维检测框。
作为一种可选的实施方式,获取更新后的线性回归模型的权重;将线性回归模型的权重确定为转换矩阵,包括:在更新后的线性回归模型的权重与更新前的线性回归模型的权重之间的变化在目标阈值内的情况下,将更新后的线性回归模型的权重,确定为转换矩阵。
在该实施例中,在预置位不改变的情况下,对线性回归模型进行更新之后,可以获取更新后的线性回归模型的权重以及更新前的线性回归模型的权重,判断更新后的线性回归模型的权重以及更新前的线性回归模型的权重之间的变化是否在目标阈值内,如果判断出更新后的线性回归模型的权重与更新前的线性回归模型的权重之间的变化在目标阈值内,则可以确定线性回归模型的权重趋于稳定,可以将更新后的线性回归模型的权重确定为转换矩阵。
可选地,该实施例还可以获取更新后的线性回归模型的权重以及更新前的线性回归模型的权重之间的相似度,判断相似度是否在预设阈值内,如果判断出相似度在预设阈值内,则更新后的线性回归模型的权重以及更新前的线性回归模型的权重之间的变化是否在目标阈值内,则确定线性回归模型的权重趋于稳定,可以将更新后的线性回归模型的权重确定为转换矩阵。
可选地,该实施例还可以获取更新前的线性回归模型的伪逆矩阵和更新后的线性回归模型的伪逆矩阵,判断更新前的线性回归模型的伪逆矩阵和更新后的线性回归模型的伪逆矩阵之间的变化或相似度在对应的阈值内,如果判断出更新前的线性回归模型的伪逆矩阵和更新后的线性回归模型的伪逆矩阵之间的变化或相似度在对应的阈值内,则确定线性回归模型的权重趋于稳定,可以将更新后的线性回归模型的权重确定为转换矩阵。
作为一种可选的实施方式,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,包括:通过三维检测模型对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,三维检测模型通过预先采集的图像样本和对应的三维检测框的至少一个表面进行训练得到。
在该实施例中,图像可以为目标车辆的当前视频帧,三维检测框的至少一个表面可以为三维检测框的底面,图像样本可以为视频帧样本。则上述方法可以是对当前视频帧进行三维检测,得到目标车辆的三维检测框的底面,包括:通过三维检测模型对当前视频帧进行三维检测,得到目标车辆的三维检测框的底面,其中,三维检测模型通过预先采集的视频帧样本和对应的三维检测框的底面进行训练得到。
在该实施例中,在预置位不存在用于将二维检测框转换为三维检测框的转换矩阵的情况下,可以直接进入三维检测模型进行模型推理,通过三维检测模型对当前视频帧进行三维检测,从而得到目标车辆的三维检测框的底面,其中,三维检测模型也即短时交通目标三维检测模块,通过预先采集的视频帧样本和对应的三维检测框的底面进行训练得到,该视频帧样本和对应的三维检测框的底面可以为公开数据集及少量标注交通数据集,从而对其进行训练来得到三维检测模块,用于在短期时间内,针对实时的视频帧给出车辆的精确的三维检测框的结果,也即,进行短时三维检测,一旦后续基于单预置位的二维检测框到三维检测框的底面的转换矩阵在线计算完毕后,就可以不再通过该三维检测模块进行模型推理了。
作为一种可选的示例,区别于本方案上述短时三维检测及利用二维检测框进行线性变换的思路,该实施例可以对实时视频流直接进行三维检测,输出物理空间映射结果,这种方法强依赖于三维检测框的精确度。
该实施例对比成本偏高的其它技术方案,并不依赖雷达和深度等额外信息,前期使用较少的样本训练出三维检测模型,通过该简二次模型检测出目标对象的三维检测框,结合目标对象的二维检测框确定转换矩阵,后期直接利用该转换矩阵和对象的二维检测框确定出对象的三维检测框,这针对遮挡、夜间和远处等场景均比直接预测对象的三维检测框效果更佳,从而达到了对对象进行精确定位的效果。
另外,相关技术基于雷达、深度和双目等物理映射方案均对计算量提出了更高的要求,而该实施例只是在三维检测模型上进行短期推理,使用计算复杂度小的转换矩阵块速、准确地对二维检测框进行换来进行长时计算,从而实时性更高,达到了对对象进行精确定位的效果。
该实施例由于针对单预置位进行全对象的物理映射变换,可以有效避免三维检测中易出现的受光照、遮蔽和小目标影响大的问题,场景可泛化,召回率更高;对象定位(比如,服务区停车格,高速主干道车道)及车道占用率均可直接使用对象的三维检测框的至少一个表面的信息进行快速计算,从而达到了对对象进行精确定位的效果。
该实施例通过上述方法可以聚焦交通场景下的对象定位问题,比如,将服务区停车格占用等简化为对象的物理空间映射,也即,确定对象在道路平面的投影信息,从对对象的二维检测以及三维检测的多个维度结合来解决对象定位问题。
本发明实施例还从用户交互角度提供了另一种数据处理方法。
图3是根据本发明实施例的另一种数据处理方法的流程图。如图3所示,该方法可以包括以下步骤:
步骤S302,在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框。
在本发明上述步骤S302提供的技术方案中,目标对象可以为目标车辆,图像可以为当前视频帧,可以是在目标界面上显示交通道路上的目标车辆的当前视频帧。可选地,获取对交通道路实时监控所得到的视频流,进而从视频流中获取针对目标车辆的当前视频帧,在目标界面上显示该当前视频帧。
该实施例在获取包含目标对象的图像之后,可以对图像进行二维检测,得到目标对象的二维检测框,可以在目标界面上显示目标对象的二维检测框,比如,在目标界面上显示目标车辆的二维检测框。
步骤S304,在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框获取。
在本发明上述步骤S304提供的技术方案中,在目标界面上显示目标对象的二维检测框之后,在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为通过转换矩阵对目标对象的二维检测框进行转换处理得到,转换矩阵为基于图像得到。
在该实施例中,基于目标对象的图像可以判断是否能存在转换矩阵,该转换矩阵可以用于将目标对象的二维检测框转换为该目标对象的三维检测框的至少一个表面,该三维检测框的至少一个表面可以底面,可以为平行四边形。
可选地,该实施例的转换矩阵为线性转换矩阵,可以将目标对象的二维检测框线性快速、准确地变换至目标对象的三维检测框的至少一个表面,进而在目标界面上显示显示目标对象的三维检测框的至少一个表面。
步骤S306,在目标界面上显示目标对象在目标平面的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。
在本发明上述步骤S306提供的技术方案中,在目标界面上显示目标对象的三维检测框的至少一个表面之后,在目标界面上显示目标对象在目标平面的投影信息,该投影信息为通过目标对象的三维检测框的至少一个表面确定。
在该实施例中,目标界面上显示的投影信息指示目标对象在目标平面的投影,从而达到了对目标对象进行物理空间映射的目的,其中,投影信息也即目标对象的物理空间映射结果,并输出该物理空间映射结果。
该实施例可以通过转换矩阵将图像中所包括的所有对象的二维检测框转化为三维检测框的至少一个表面,并确定所有对象在目标平面上的物理空间映射结果,进而在目标界面上显示所有对象在目标平面上的物理空间映射结果,完成对象的物理空间映射过程。
通过上述步骤S302至步骤S306,在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框;在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框获取;在目标界面上显示目标对象在目标平面的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。也就是说,该实施例利用对象的二维检测框得到三维检测框,进而通过三维检测框得到目标对象在平面的投影信息,达到了对对象进行物理空间映射的目的,避免了对对象直接进行二维检测,来判断对象行为,由于平面与画面不在同一平面,使得对数据处理在某些情况下失效,从而解决了对对象进行定位的精度低的技术问题,达到了对对象进行精确定位的技术效果。
本发明实施例还提供了另一种数据处理方法。
图4是根据本发明实施例的另一种数据处理方法的流程图。如图4所示,该方法可以包括以下步骤:
步骤S402,获取包含目标对象的图像。
在本发明上述步骤S402提供的技术方案中,目标对象为目标平面上需要进行检测的对象,可以获取对目标平面实时监控所得到的图像,该图像也即视频流中的实时视频帧。可选地,获取交通道路上的目标车辆的当前视频帧。
步骤S404,确定图像中存在预置位。
在本发明上述步骤S404提供的技术方案中,在获取目标平面上的目标对象的图像之后,确定图像中存在预置位。可选地,该实施例确定当前视频帧中存在预置位。
该实施例可以判断图像中是否存在预置位,该预置位是将被监视的重点区域与球机的运行状况联系在一起的方式。
步骤S406,在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面。
在本发明上述步骤S406提供的技术方案中,可以是在预置位未关联有转换矩阵的情况下,对当前视频帧进行三维检测,得到目标车辆的三维检测框的底面。其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面,比如,该转换矩阵用于将存在预置位的任意视频帧所对应的车辆的二维检测框,转换为车辆的三维检测框的底面。
步骤S408,通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
在本发明上述步骤S408提供的技术方案中,目标对象在目标平面的投影信息指示目标对象在目标平面的投影,可以是通过目标车辆的三维检测框的底面确定目标车辆在交通道路的投影信息,从而达到了对目标对象进行物理空间映射的目的,其中,投影信息也即目标对象的物理空间映射结果,并输出该物理空间映射结果。
该实施例可以通过转换矩阵将图像中所包括的所有对象的二维检测框转化为三维检测框的至少一个表面,并确定所有对象在目标平面上的物理空间映射结果,进而输出该所有对象在目标平面上的物理空间映射结果,完成对象的物理空间映射过程。
作为一种可选的实施方式,在步骤S402,在获取包含目标对象的图像之后,该方法还包括:对图像进行二维检测,得到目标对象的二维检测框;在预置位关联有转换矩阵的情况下,通过转换矩阵对目标对象的二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面。
在该实施例中,上述图像可以为视频帧,目标对象可以为目标车辆,三维检测框的至少一个表面可以为三维检测框的底面,上述方法可以是在获取交通道路上的目标车辆的当前视频帧之后,对当前视频帧进行二维检测,得到目标车辆的二维检测框;在预置位关联有转换矩阵的情况下,通过转换矩阵对目标车辆的二维检测框进行转换处理,得到目标车辆的三维检测框的底面。
该实施例还可以在获取目标车辆的当前视频帧之后,对当前视频帧进行二维检测,也即,对当前视频帧进行交通目标二维检测,得到目标车辆的二维检测框,该二维检测框可以通过向量X*(x,y,w,h)进行表示,其中,x用于表示二维检测框的左上点的横坐标,y用于表示二维检测框的左上点的纵坐标,w用于表示二维检测框的宽,h用于表示二维检测框的高。如果判断出预置位已经存在上述转换矩阵,则可以获取该转换矩阵,利用该转换矩阵将目标车辆的二维检测框进行转换处理,从而得到目标车辆的三维检测框的底面,进而通过目标车辆的三维检测框的底面确定目标车辆在交通道路的投影信息。
通过上述步骤S402至步骤S408,获取包含目标对象的图像;确定图像中存在预置位;在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。也就是说,该实施例避免了对对象直接进行二维检测,来判断对象行为,由于平面与画面不在同一平面,使得对数据处理在某些情况下失效,从而解决了对对象进行定位的精度低的技术问题,达到了对对象进行精确定位的技术效果。
下面从云服务角度对本发明实施例的数据处理方法进行进一步介绍。
作为一种可选的示例,获取目标请求,其中,目标请求携带有在目标界面上输入的需要处理的图像,图像包含目标对象;响应目标请求,获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息,并将投影信息发送至目标界面上进行显示。
在该实施例中,服务器可以获取目标请求,该目标请求可以是用户在目标界面上输入的用于指示个性化需求的请求,可以携带需要处理的图像,该图像包含了目标对象,该目标对象可以为目标平面上需要进行检测的对象,比如,目标平面为交通道路,则目标对象可以为交通道路上进行检测的目标车辆。可选地,该实施例的需要服务器处理的图像可以为对目标平面实时监控所得到的图像,该图像可以为单目RGB图像,可以形成交通视频的视频流,进而服务器可以从视频流中获取针对目标对象的图像。
在服务器获取目标请求之后,响应该目标请求,对图像进行二维检测,比如,服务器对目标车辆的当前视频帧进行交通目标二维检测,得到目标车辆的二维检测框,该二维检测框可以通过向量X*(x,y,w,h)进行表示,可以为底面向量,其中,x用于表示二维检测框的左上点的横坐标,y用于表示二维检测框的左上点的纵坐标,w用于表示二维检测框的宽,h用于表示二维检测框的高。
在服务器获取目标对象的二维检测框之后,可以基于二维检测框,获取目标对象的三维检测框的至少一个表面。可选地,该服务器可以基于目标对象的图像获取转换矩阵,并通过转换矩阵对目标对象的二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面,该至少一个表面可以为三维检测框的底面。可选地,服务器基于目标对象的图像可以判断是否能存在转换矩阵,该转换矩阵可以用于将目标对象的二维检测框转换为该目标对象的三维检测框的至少一个表面,该三维检测框的至少一个表面可以为平行四边形,可以通过向量y*(x1,y1,x2,y2,w)进行表示,其中,(x1,y1)可以分别用于表示平行四边形的左上点的横坐标和纵坐标,(x2,y2)可以分别用于表示平行四边形的左下点的横坐标和纵坐标,w可以用于表示平行四边形的宽度。
在服务器通过转换矩阵对目标对象的二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面之后,可以通过目标对象的三维检测框的至少一个表面确定目标对象在目标平面的投影信息,并将投影信息发送至目标界面上进行显示。其中,目标对象在目标平面的投影信息指示目标对象在目标平面的投影,从而达到了对目标对象进行物理空间映射的目的,其中,投影信息也即目标对象的物理空间映射结果,输出该物理空间映射结果。
可选地,该实施例的服务器可以通过转换矩阵将目标对象的图像中所包括的所有对象的二维检测框转化为三维检测框的至少一个表面,并确定所有对象在目标平面上的物理空间映射结果,进而在目标界面上输出该所有对象在目标平面上的物理空间映射结果,完成对象的物理空间映射过程,从而实现了利用云服务满足用户个性化需求的目的。
在该实施例的上述方法中,服务器利用对象的二维检测框得到三维检测框,进而通过三维检测框目标对象的在道路的投影信息,达到了对对象进行物理空间映射的目的,避免了对对象直接进行二维检测,来判断对象行为,由于平面与画面不在同一平面,使得对对象的检测在某些情况下失效,从而解决了对对象进行定位的精度低的技术问题,达到了对对象进行精确定位的技术效果。进一步地,在车道的车辆定位方面,比如,在车辆所在停车格判定方面,在基于高速并行狭长车道的车辆定位方面,在车速计算方面等,该实施例通过上述方法还可以解决对车辆进行定位的精度低的问题,达到了对车辆进行精确定位的技术效果。
实施例2
下面结合优选的实施方式对本发明的技术方案进行举例说明,具体以实施例1中的对象为车辆,图像为视频帧,平面为道路对该实施例的技术方案进行进一步说明。
在相关技术中,通过对车辆直接进行二维检测来判断车辆行为,由于道路平面与画面不在同一平面,使得对车辆的检测在某些情况下失效,三维交通目标检测目前主要应用在自动驾驶领域,但是,常见的方法是结合雷达以及深度信息和神经网络,主要包括以下几种:
1)雷达(LiDAR)+3D点云,三维点云数据是由无序的数据点构成一个集合来进行表示的,依赖激光雷达等获取。基于雷达获取的点云数据,结合深度学习进行三维目标检测的方式可以包括:(1)将点云投影到某些特定视角(比如,前视视角和鸟瞰视角)处理,同时融合使用来自相机的图像信息;(2)将点云数据划分到有空间依赖关系的体素(voxel),引入空间依赖关系到点云数据中,再使用三维卷积等方式来进行处理,但是,该方法的精度依赖于三维空间的分割细腻度,而且运算复杂度也较高;(3)直接在点云数据上应用深度学习模型的方法。
2)双(多)目立体视觉,利用视差原理,对左右图像的自动对齐进行学习,以及通过稠密匹配来优化最终的检测结果,但缺点是要求额外的双目摄像头。
3)深度图像(RGB-D),在普通的RGB三通道彩色图像和深度图(Depth Map)上进行三维检测,但是,后者获取成本较高,需要额外设备。
而该实施例主要是通过基于单目RGB图像,对车辆进行三维目标检测,并基于对交通车辆进行二维检测的技术,利用单预置位的场景空间不变性,对车辆进行物理空间映射,获得车辆在道路平面的投影。
图5是根据本发明实施例的另一种对车辆进行检测的方法的流程图。如图5所示,该方法可以包括以下步骤:
步骤S501,输入实时视频流,获取视频帧。
步骤S502,对视频帧进行预置位判定。
步骤S503,对视频帧进行二维检测。
步骤S504,判断预置位是否已经存在用于将二维检测框转换到三维检测框的底面的转换矩阵。
在判断出预置位已经存在用于将二维检测框转换到三维检测框的底面的转换矩阵,则执行步骤S505;否则,执行步骤S506。
步骤S505,通过转换矩阵对二维检测框进行线性变换,得到三维检测框的底面。
步骤S506,通过三维检测模块对视频帧进行三维检测,得到三维检测框的底面。
若预置位不存在用于将二维检测框转换到三维检测框的底面的转换矩阵的情况下,则进入三维检测模块进行模型推理。
该实施例还可以在对视频帧进行二维检测之后,可以利用二维-三维检测框对,通过三维检测模块对视频帧进行三维检测,得到三维检测框的底面。
步骤S507,通过三维检测框的底面输出物理空间映射结果。
在通过转换矩阵对二维检测框进行线性变换,得到三维检测框的底面,或者通过三维检测模块对视频帧进行三维检测,得到三维检测框的底面之后,通过三维检测框的底面输出物理空间映射结果。
步骤S508,计算预置位下由二维检测框转换到三维检测框的底面的转换矩阵。
在该实施例中,可以将得到的三维检测框的底面通过二维变换,与二维检测框进行一对一匹配,得到一组二维-三维检测框对,计算在该预置位下,由二维检测框转换到三维检测框的底面的转换矩阵。
该实施例可以将得到的视频帧的一组2d-3d检测框对,与之前内存中的二维-三维检测框对检测框对进行线性回归计算,以得到线性回归模型。
图6是根据本发明实施例的一种投影平面计算的示意图。如图6所示,A为二维检测框,B对应的三维检测框的底面,C为B的平行于水平线的底边。二维检测框用X*(x,y,w,h)进行表示,其中,x用于表示二维检测框的左上点的横坐标,y用于表示二维检测框的左上点的纵坐标,w用于表示二维检测框的宽,h用于表示二维检测框的高,三维检测框的底面用向量y*(x1,y1,x2,y2,w)进行表示,其中,(x1,y1)可以分别用于表示平行四边形的左上点的横坐标和纵坐标,(x2,y2)可以分别用于表示平行四边形的左下点的横坐标和纵坐标,w可以用于表示平行四边形的宽度,计算伪逆矩阵X+,可以通过以下公式计算得到线性回归模型。
线性回归模型的权重W权=X+Y,其中,X+用于表示线性回归模型的伪逆矩阵,Y用于表示三维检测框的底面,该W权可以为在计算线性回归模型的过程中得到的权重。也即,实施例的线性回归模型的权重是可以通过求解线性回归模型的伪逆矩阵得到的。
该实施例的线性回归模型可以通过Y=WT 权X,或者,Y=XW权表示,其中,Y用于表示三维检测框的底面,W权用于表示在计算线性回归模型的过程中的权重,X用于表示二维检测框。
步骤S509,判断预置位的转换矩阵是否已经稳定。
该实施例可以线性转换模型的W权确定为转换矩阵。每次新的一视频帧进入都可以用于在线更新线性回归模型,当W权变化较稳定时,也即,转换矩阵已经稳定。
步骤S510,预置位下的转换矩阵计算完毕。
在转换矩阵已经稳定的情况下,预置位下的转换矩阵计算完毕,可以停止线性回归计算,将此时将Y=WT 权X,或者,Y=XW权中的W权作为该预置位的最终的二维检测框到三维检测框的底面的转换矩阵。
图7是根据本发明实施例的一种交通视频车辆物理映射方案的架构图的示意图。如图7所示,该实施例的交通视频车辆物理映射架构可以包括虚线部分中的短时交通目标3D检测模块71(short-term 3D object detection)、二维检测框到三维检测框的匹配模块72(2D-3D box matching)、转换矩阵的计算模块73(online matrix computing)和在线线性变换模块74(online linear transformation)。
短时交通目标3D检测模块71,该模块用于在获取实时视频帧,对实时视频帧进行计算去,且进行二维目标检测之后,在短期时间内,针对实时图像给出交通目标的三维精确检测结果,使得该视频帧的物理空间映射完成。一旦后续基于单预置位的二维检测框到三维检测的底面的在线线性变换模块74计算完毕后,就不再通过该模块进行模型推理。
二维检测框到三维检测框的匹配模块72,该模块用于提供二维检测框到三维检测框的一对一匹配结果,其中,先对三维检测框进行二维变换,计算三维检测框对应的平行四边形,该平行四边形可以为三维检测框的底面的最小二维外接矩形框(假设底面四边形底边平行水平线)。在计算三维检测框对应的平行四边形之后,再对二维检测框进行膨胀(infate)等改善(refining)操作,可以基于IOU使用hungarian algorithm实现二维检测框与三维检测框的匹配。
转换矩阵的计算模块73,该模块通过用于使用二维检测框的X*(x,y,w,h)进行线性回归得到三维检测框的y*(x1,y1,x2,y2,w)的线性回归模型得到,此处理想假设三维检测框的底边平行于水平线,忽略偏移角度,其中,线性回归模型的权重可以通过求解线性回归模型的伪逆矩阵来得到。当伪逆矩阵多次在线计算后保持稳定后,可以停止线性回归计算,此时基于单预置位的转换矩阵计算完成。
在线线性变换模块74,该模块使用基于单预置位的转换矩阵对二维检测框进行变换,得到三维检测框,通过该三维检测框完成车辆的物理空间映射。
该实施例还可以实现二维目标跟踪,对交通事件以及交通参数进行处理。
作为一种可选的示例,区别于本方案短时三维检测以及利用二维检测框进行线性变换的思路,针对实时视频流,可以直接对每个视频帧进行三维检测,输出物理空间映射结果,这种方法强依赖于三维检测框的精确度。
图8是根据本发明实施例的一种车辆的检测方法的交互界面的示意图。如图8所示,用户可以将对交通道路上的车辆的图像的视频帧拖进“添加”文本框,通过点击“车辆检测”键,对车辆的视频帧进行检测,最终生成目标车辆在交通道路上的投影信息,从而可以达到准确、快速地对车辆进行检测的目的,从而解决了对车辆进行定位的精度低的技术问题,达到了对车辆进行精确定位的技术效果。
通过该实施例的上述车辆的检测方法,对比成本偏高的其它方案设备,该实施例不依赖雷达和深度等额外信息,前期使用较少的标注样本训练三维检测模型,通过利用三维检测框和二维检测框确定出用于将二维检测框转换为三维检测框的转换矩阵,针对遮挡、夜间和远处等场景均比直接预测3d检测框效果更佳;该实施例的实时性高,基于雷达、深度和双目等物理映射方案均对计算量提出了更高的要求,而该实施例只在三维检测模型上进行短期推理,而使用计算复杂度小的转换矩阵快速、准确地进行线性变换来进行长时计算;该实施例的召回率高,由于针对单预置位进行全车辆的物理映射变换,可以有效避免三维检测中易出现的受光照、遮蔽和小目标影响大的问题,从而场景可泛化,召回率更高;该实施例的应用场景丰富,车辆定位(服务区停车格,高速主干道车道)及车道占用率均可直接使用车辆三维检测框底面信息进行快速计算。
该实施例基于二维检测框的车辆三维检测技术,不需要复杂的雷达(点云)、深度标注及双目条件等额外信息,使用公开数据集及少量标注交通数据集进行训练,得到三维检测模型,结合更为精确的二维检测框确定车辆在交通道路上的投影信息;该实施例利用车辆的二维检测框,使用转换矩阵快速、准确地进行线性变换,得到物理空间映射结果,即车辆在道路平面的投影信息;聚焦交通场景下车辆定位问题,比如,服务区停车格占用等,可以简化为车辆的物理空间映射,即车辆在道路平面的投影计算,从二维检测以及三维检测这多个维度结合解决对车辆进行定位的精度低的技术问题。
实施例3
根据本发明实施例,还提供了一种用于实施上述图2所示的数据处理方法的数据处理装置。
图9是根据本发明实施例的一种数据处理装置的示意图。如图9所示,该数据处理装置90可以包括:第一获取单元91、第二获取单元92、第三获取单元93和第一确定单元94。
第一获取单元91,用于获取包含目标对象的图像。
第二获取单元92,用于获取目标对象的二维检测框。
第三获取单元93,用于基于二维检测框,获取目标对象的三维检测框的至少一个表面。
第一确定单元94,用于通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面上的投影信息。
此处需要说明的是,上述第一获取单元91、第二获取单元92、第三获取单元93和第一确定单元94分别对应于实施例1的步骤S202至步骤S208,四个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图3所示的数据处理方法的数据处理装置。
图10是根据本发明实施例的另一种数据处理装置的示意图。如图10所示,该数据处理装置100可以包括:第一显示单元101、第二显示单元102和第三显示单元103。
第一显示单元101,用于在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框。
第二显示单元102,用于在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框获取。
第三显示单元103,用于在目标界面上显示目标对象在目标平面的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。
此处需要说明的是,上述第一显示单元91、第二显示单元92和第三显示单元93分别对应于实施例1的步骤S302至步骤S306,三个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述图4所示的数据处理方法的数据处理装置。
图11是根据本发明实施例的另一种数据处理装置的示意图。如图11所示,该数据处理装置110可以包括:第四获取单元111、第二确定单元112、检测单元113和第三确定单元114。
第四获取单元111,用于获取包含目标对象的图像。
第二确定单元112,用于确定图像中存在预置位。
检测单元113,用于在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面。
第三确定单元114,用于通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面上的投影信息。
此处需要说明的是,上述第三获取单元111、第二确定单元112、检测单元113和第三确定单元114分别对应于实施例1的步骤S402至步骤S408,三个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以运行在实施例1提供的计算机终端10中。
该实施例的数据处理方法使用基于二维检测框的对象三维检测技术,利用对象的二维检测框得到三维检测框,进而通过三维检测框得到目标对象的在平面上的投影信息,达到了对对象进行物理空间映射的目的,避免了对对象直接进行二维检测,来判断对象行为,由于平面与画面不在同一平面,使得对数据处理在某些情况下失效,从而解决了对对象进行定位的精度低的技术问题,达到了对对象进行精确定位的技术效果。
实施例4
本发明的实施例可以提供一种移动终端,该移动终端可以是计算机终端群中的任意一个计算机终端设备。
可选地,在本实施例中,上述移动终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述移动终端可以执行应用程序的数据处理方法中以下步骤的程序代码:获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
可选地,图12是根据本发明实施例的一种移动终端的结构框图。如图12所示,该移动终端A可以包括:一个或多个(图中仅示出一个)处理器122、存储器124、以及传输装置126。
其中,传输装置,用于传输目标平面上的目标对象的图像;以及存储器,与传输装置相连接,用于为处理器提供处理以下处理步骤的指令:获取所述目标对象的二维检测框;基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面;通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在所述目标平面的投影信息。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的数据处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的数据处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至移动终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
可选地,上述处理器还执行如下步骤的程序代码:基于图像获取转换矩阵,并通过转换矩阵对二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面。
可选地,上述处理器还执行如下步骤的程序代码:基于图像获取转换矩阵,包括:确定图像中存在预置位;获取预置位关联的转换矩阵,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面。
可选地,上述处理器还执行如下步骤的程序代码:在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面。
可选地,上述处理器还执行如下步骤的程序代码:基于目标对象的三维检测框的至少一个表面和目标对象的二维检测框确定转换矩阵。
可选地,上述处理器还执行如下步骤的程序代码:将目标对象的二维检测框和目标对象的三维检测框的至少一个表面进行一对一匹配,得到第一匹配结果;至少对第一匹配结果进行线性回归计算,得到线性回归模型;将线性回归模型的权重确定为转换矩阵。
可选地,上述处理器还执行如下步骤的程序代码:获取目标对象的三维检测框的至少一个表面对应的平行四边形;将平行四边形与目标对象的二维检测框进行一对一匹配,得到第一匹配结果。
可选地,上述处理器还执行如下步骤的程序代码:获取内存中已存储的至少一个第二匹配结果,其中,每个第二匹配结果由存在预置位的每个历史图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行一对一匹配得到,其中,每个历史图像在图像之前生成;对第一匹配结果和至少一个第二匹配结果进行线性回归计算,得到线性回归模型。
可选地,上述处理器还执行如下步骤的程序代码:在至少对第一匹配结果进行线性回归计算,得到线性回归模型之后,在预置位不改变的情况下,获取至少一个第三匹配结果,其中,每个第三匹配结果由存在预置位的每个新图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行匹配得到,其中,每个新图像在图像之后生成;通过至少一个第三匹配结果对线性回归模型进行更新。
可选地,上述处理器还执行如下步骤的程序代码:获取更新后的线性回归模型的权重;将线性回归模型的权重确定为转换矩阵,包括:在更新后的线性回归模型的权重与更新前的线性回归模型的权重之间的变化在目标阈值内的情况下,将更新后的线性回归模型的权重,确定为转换矩阵。
可选地,上述处理器还执行如下步骤的程序代码:通过转换矩阵对目标对象的二维检测框进行线性变换,得到目标对象的三维检测框的至少一个表面。
可选地,上述处理器还执行如下步骤的程序代码:通过三维检测模型对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,三维检测模型通过预先采集的图像样本和对应的三维检测框的至少一个表面进行训练得到。
可选地,上述处理器还执行如下步骤的程序代码:从目标平面的视频流中获取当前视频帧。
可选地,上述处理器还执行如下步骤的程序代码:对当前视频帧进行二维检测,得到目标车辆的二维检测框。
可选地,上述处理器还执行如下步骤的程序代码:基于当前视频帧获取转换矩阵,并通过转换矩阵对目标车辆的二维检测框进行转换处理,得到目标车辆的三维检测框的底面。
可选地,上述处理器还执行如下步骤的程序代码:通过目标车辆的三维检测框的底面,确定目标车辆在交通道路上的投影信息。
作为一种可选的实施方式,处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框;在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框获取;在目标界面上显示目标对象在目标平面上的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。
作为一种可选的实施方式,处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取包含目标对象的图像;确定图像中存在预置位;在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面上的投影信息。
可选地,上述处理器还执行如下步骤的程序代码:在获取目标平面上的目标对象的图像之后,对图像进行二维检测,得到目标对象的二维检测框;在预置位关联有转换矩阵的情况下,通过转换矩阵对目标对象的二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面。
作为一种可选的实施方式,处理器还可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取目标请求,其中,目标请求携带有在目标界面上输入的需要处理的图像,图像包含目标对象;响应目标请求,获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息,并将投影信息发送至目标界面上进行显示。
采用本发明实施例,提供了一种数据处理方法,获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。也就是说,本申请为基于二维检测框的对象三维检测技术,利用对象的二维检测框得到三维检测框,进而通过三维检测框得到目标对象的在平面的投影信息,达到了对对象进行物理空间映射的目的,避免了对对象直接进行二维检测,来判断对象行为,由于平面与画面不在同一平面,使得对对象的检测在某些情况下失效,从而解决了对对象进行定位的精度低的技术问题,达到了对对象进行精确定位的技术效果。
本领域普通技术人员可以理解,图12所示的结构仅为示意,移动终端A也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图12其并不对上述移动终端的结构造成限定。例如,移动终端A还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图12所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取器(Random Access Memory,简称为RAM)、磁盘或光盘等。
实施例5
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例1所提供的数据处理方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取包含目标对象的图像;获取目标对象的二维检测框;基于图像二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面上的投影信息。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:基于图像获取转换矩阵,并通过转换矩阵对二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:确定图像中存在预置位;获取预置位关联的转换矩阵,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:基于目标对象的三维检测框的至少一个表面和目标对象的二维检测框确定转换矩阵。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:将目标对象的二维检测框和目标对象的三维检测框的至少一个表面进行一对一匹配,得到第一匹配结果;至少对第一匹配结果进行线性回归计算,得到线性回归模型;将线性回归模型的权重确定为转换矩阵。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取目标对象的三维检测框的至少一个表面对应的平行四边形;将平行四边形与目标对象的二维检测框进行一对一匹配,得到第一匹配结果。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取内存中已存储的至少一个第二匹配结果,其中,每个第二匹配结果由存在预置位的每个历史图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行一对一匹配得到,其中,每个历史图像在图像之前生成;对第一匹配结果和至少一个第二匹配结果进行线性回归计算,得到线性回归模型。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在至少对第一匹配结果进行线性回归计算,得到线性回归模型之后,在预置位不改变的情况下,获取至少一个第三匹配结果,其中,每个第三匹配结果由存在预置位的每个新图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行匹配得到,其中,每个新图像发生在图像之后生成;通过至少一个第三匹配结果对线性回归模型进行更新。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:获取更新后的线性回归模型的伪逆矩阵;在更新后的线性回归模型的伪逆矩阵与更新前的线性回归模型的伪逆矩阵之间的变化在目标阈值内的情况下,将更新后的线性回归模型的伪逆矩阵,确定为转换矩阵。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过转换矩阵对目标对象的二维检测框进行线性变换,得到目标对象的三维检测框的至少一个表面。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过三维检测模型对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,三维检测模型通过预先采集的图像样本和对应的三维检测框的至少一个表面进行训练得到。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:从目标平面的视频流中获取当前视频帧。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:对当前视频帧进行二维检测,得到目标车辆的二维检测框。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:基于当前视频帧获取转换矩阵,并通过转换矩阵对目标车辆的二维检测框进行转换处理,得到目标车辆的三维检测框的底面。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:通过目标车辆的三维检测框的底面,确定目标车辆在交通道路上的投影信息。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框;在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框得到;在目标界面上显示目标对象在目标平面的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取包含目标对象的图像;确定图像中存在预置位;在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息。
可选地,存储介质还被设置为存储用于执行以下步骤的程序代码:在获取目标平面上的目标对象的图像之后,对图像进行二维检测,得到目标对象的二维检测框;在预置位关联有转换矩阵的情况下,通过转换矩阵对目标对象的二维检测框进行转换处理,得到目标对象的三维检测框的至少一个表面。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取目标请求,其中,目标请求携带有在目标界面上输入的需要处理的图像,图像包含目标对象;响应目标请求,获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息,并将投影信息发送至目标界面上进行显示。
实施例6
本发明的实施例还提供了一种处理器。可选地,在本实施例中,上述处理器运行上述实施例1所提供的数据处理方法的程序。
可选地,在本实施例中,处理器被设置为运行以下步骤的程序代码:获取包含目标对象的图像;获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面上的投影信息。
可选地,在本实施例中,处理器被设置为运行以下步骤的程序代码:在目标界面上显示包含目标对象的图像,并显示目标对象的二维检测框;在目标界面上显示目标对象的三维检测框的至少一个表面,其中,目标对象的三维检测框的至少一个表面为基于二维检测框获取;在目标界面上显示目标对象在目标平面上的投影信息,其中,投影信息为通过目标对象的三维检测框的至少一个表面确定。
可选地,在本实施例中,处理器被设置为运行以下步骤的程序代码:获取包含目标对象的图像;确定图像中存在预置位;在预置位未关联有转换矩阵的情况下,对图像进行三维检测,得到目标对象的三维检测框的至少一个表面,其中,转换矩阵用于将存在预置位的任意图像所对应的对象的二维检测框,转换为对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面上的投影信息。
可选地,在本实施例中,处理器被设置为运行以下步骤的程序代码:获取目标请求,其中,目标请求携带有在目标界面上输入的需要处理的图像,图像包含目标对象;响应目标请求,获取目标对象的二维检测框;基于二维检测框,获取目标对象的三维检测框的至少一个表面;通过目标对象的三维检测框的至少一个表面,确定目标对象在目标平面的投影信息,并将投影信息发送至目标界面上进行显示。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (28)
1.一种数据处理方法,其特征在于,包括:
获取包含目标对象的图像;
获取所述目标对象的二维检测框;
基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面;
通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息。
2.根据权利要求1所述的方法,其特征在于,基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面,包括:
基于所述图像获取转换矩阵,并通过所述转换矩阵对所述二维检测框进行转换处理,得到所述目标对象的三维检测框的至少一个表面。
3.根据权利要求2所述的方法,其特征在于,基于所述图像获取转换矩阵,包括:
确定所述图像中存在预置位;
获取所述预置位关联的所述转换矩阵,其中,所述转换矩阵用于将存在所述预置位的任意图像所对应的对象的二维检测框,转换为所述对象的三维检测框的至少一个表面。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述预置位未关联有所述转换矩阵的情况下,对所述图像进行三维检测,得到所述目标对象的三维检测框的至少一个表面。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
基于所述目标对象的三维检测框的至少一个表面和所述目标对象的二维检测框确定所述转换矩阵。
6.根据权利要求5所述的方法,其特征在于,基于所述目标对象的三维检测框的至少一个表面和所述目标对象的二维检测框确定与所述转换矩阵,包括:
将所述目标对象的二维检测框和所述目标对象的三维检测框的至少一个表面进行一对一匹配,得到第一匹配结果;
至少对所述第一匹配结果进行线性回归计算,得到线性回归模型;
将所述线性回归模型的权重确定为所述转换矩阵。
7.根据权利要求6所述的方法,其特征在于,将所述目标对象的二维检测框和所述目标对象的三维检测框的至少一个表面进行一对一匹配,得到第一匹配结果,包括:
获取所述目标对象的三维检测框的至少一个表面对应的平行四边形;
将所述平行四边形与所述目标对象的二维检测框进行一对一匹配,得到所述第一匹配结果。
8.根据权利要求6所述的方法,其特征在于,所述三维检测框的至少一个表面的边平行于水平线。
9.根据权利要求6所述的方法,其特征在于,
所述方法还包括:获取内存中已存储的至少一个第二匹配结果,其中,每个所述第二匹配结果由存在所述预置位的每个历史图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行一对一匹配得到,其中,每个所述历史图像在所述图像之前生成;
至少对所述第一匹配结果进行线性回归计算,得到线性回归模型,包括:对所述第一匹配结果和至少一个所述第二匹配结果进行线性回归计算,得到所述线性回归模型。
10.根据权利要求6所述的方法,其特征在于,在至少对所述第一匹配结果进行线性回归计算,得到线性回归模型之后,所述方法还包括:
在所述预置位不改变的情况下,获取至少一个第三匹配结果,其中,每个所述第三匹配结果由存在所述预置位的每个新图像所对应的对象的二维检测框和对应的三维检测框的至少一个表面进行匹配得到,其中,每个所述新图像在所述图像之后生成;
通过所述至少一个第三匹配结果对所述线性回归模型进行更新。
11.根据权利要求10所述的方法,其特征在于,
所述方法还包括:获取更新后的所述线性回归模型的权重;
将所述线性回归模型的权重确定为所述转换矩阵,包括:在更新后的所述线性回归模型的权重与更新前的所述线性回归模型的权重之间的变化在目标阈值内的情况下,将更新后的所述线性回归模型的权重,确定为所述转换矩阵。
12.根据权利要求6所述的方法,其特征在于,通过所述转换矩阵对所述目标对象的二维检测框进行转换处理,得到所述目标对象的三维检测框的至少一个表面,包括:
通过所述转换矩阵对所述目标对象的二维检测框进行线性变换,得到所述目标对象的三维检测框的至少一个表面。
13.根据权利要求4所述的方法,其特征在于,对所述图像进行三维检测,得到所述目标对象的三维检测框的至少一个表面,包括:
通过三维检测模型对所述图像进行三维检测,得到所述目标对象的三维检测框的至少一个表面,其中,所述三维检测模型通过预先采集的图像样本和对应的三维检测框的至少一个表面进行训练得到。
14.根据权利要求1至13中任意一项所述的方法,其特征在于,所述目标对象为目标车辆,所述图像为当前视频帧。
15.根据权利要求14所述的方法,其特征在于,获取包含目标对象的图像,包括:
从目标平面的视频流中获取所述当前视频帧。
16.根据权利要求14所述的方法,其特征在于,获取所述目标对象的二维检测,包括:
对所述当前视频帧进行二维检测,得到所述目标车辆的二维检测框。
17.根据权利要求14所述的方法,其特征在于,基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面,包括:
基于所述当前视频帧获取转换矩阵,并通过所述转换矩阵对所述目标车辆的二维检测框进行转换处理,得到所述目标车辆的三维检测框的底面。
18.根据权利要求17所述的方法,其特征在于,通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息,包括:
通过所述目标车辆的三维检测框的底面,确定所述目标车辆在交通道路上的投影信息。
19.一种数据处理方法,其特征在于,包括:
在目标界面上显示包含目标对象的图像,并显示所述目标对象的二维检测框;
在所述目标界面上显示所述目标对象的三维检测框的至少一个表面,其中,所述目标对象的三维检测框的至少一个表面为基于所述二维检测框获取;
在所述目标界面上显示所述目标对象在目标平面的投影信息,其中,所述投影信息为通过所述目标对象的三维检测框的至少一个表面确定。
20.一种数据处理方法,其特征在于,包括:
获取包含目标对象的图像;
确定所述图像中存在预置位;
在所述预置位未关联有转换矩阵的情况下,对所述图像进行三维检测,得到所述目标对象的三维检测框的至少一个表面,其中,所述转换矩阵用于将存在所述预置位的任意图像所对应的对象的二维检测框,转换为所述对象的三维检测框的至少一个表面;
通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息。
21.根据权利要求20所述的方法,其特征在于,在获取包含目标对象的图像之后,所述方法还包括:
对所述图像进行二维检测,得到所述目标对象的二维检测框;
在所述预置位关联有所述转换矩阵的情况下,通过所述转换矩阵对所述目标对象的二维检测框进行转换处理,得到所述目标对象的三维检测框的至少一个表面。
22.一种数据处理方法,其特征在于,包括:
获取目标请求,其中,所述目标请求携带有在目标界面上输入的需要处理的图像,所述图像包含目标对象;
响应所述目标请求,获取所述目标对象的二维检测框;
基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面;
通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息,并将所述投影信息发送至所述目标界面上进行显示。
23.一种数据处理装置,其特征在于,包括:
第一获取单元,用于获取包含目标对象的图像;
第二获取单元,用于获取所述目标对象的二维检测框;
第三获取单元,用于基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面;
第一确定单元,用于通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息。
24.一种数据处理装置,其特征在于,包括:
第一显示单元,用于在目标界面上显示包含目标对象的图像,并显示所述目标对象的二维检测框;
第二显示单元,用于在所述目标界面上显示所述目标对象的三维检测框的至少一个表面,其中,所述目标对象的三维检测框的至少一个表面为基于所述二维检测框获取;
第三显示单元,用于在所述目标界面上显示所述目标对象在目标平面的投影信息,其中,所述投影信息为通过所述目标对象的三维检测框的至少一个表面确定。
25.一种数据处理装置,其特征在于,包括:
第四获取单元,用于获取包含目标对象的图像;
第二确定单元,用于确定所述图像中存在预置位;
检测单元,用于在所述预置位未关联有转换矩阵的情况下,对所述图像进行三维检测,得到所述目标对象的三维检测框的至少一个表面,其中,所述转换矩阵用于将存在所述预置位的任意图像所对应的对象的二维检测框,转换为所述对象的三维检测框的至少一个表面;
第三确定单元,用于通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息。
26.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行以下步骤:
获取包含目标对象的图像;
获取所述目标对象的二维检测框;
基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面;
通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息。
27.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行以下步骤:
获取包含目标对象的图像;
获取所述目标对象的二维检测框;
基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面;
通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息。
28.一种移动终端,其特征在于,包括:
处理器;
传输装置,用于传输包含目标对象的图像;以及
存储器,与所述传输装置相连接,用于为所述处理器提供处理以下处理步骤的指令:获取所述目标对象的二维检测框;基于所述二维检测框,获取所述目标对象的三维检测框的至少一个表面;通过所述目标对象的三维检测框的至少一个表面,确定所述目标对象在目标平面的投影信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010246855.8A CN113470067A (zh) | 2020-03-31 | 2020-03-31 | 数据处理方法、装置、存储介质和处理器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010246855.8A CN113470067A (zh) | 2020-03-31 | 2020-03-31 | 数据处理方法、装置、存储介质和处理器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113470067A true CN113470067A (zh) | 2021-10-01 |
Family
ID=77866097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010246855.8A Pending CN113470067A (zh) | 2020-03-31 | 2020-03-31 | 数据处理方法、装置、存储介质和处理器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113470067A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117611592A (zh) * | 2024-01-24 | 2024-02-27 | 长沙隼眼软件科技有限公司 | 一种异物检测方法、装置、电子设备以及存储介质 |
-
2020
- 2020-03-31 CN CN202010246855.8A patent/CN113470067A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117611592A (zh) * | 2024-01-24 | 2024-02-27 | 长沙隼眼软件科技有限公司 | 一种异物检测方法、装置、电子设备以及存储介质 |
CN117611592B (zh) * | 2024-01-24 | 2024-04-05 | 长沙隼眼软件科技有限公司 | 一种异物检测方法、装置、电子设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340864B (zh) | 基于单目估计的三维场景融合方法及装置 | |
US10192289B2 (en) | System, method, and apparatus for data processing and display | |
CN112912920A (zh) | 用于2d卷积神经网络的点云数据转换方法和*** | |
CN105628951A (zh) | 用于测量对象的速度的方法和装置 | |
CN107830869B (zh) | 用于车辆的信息输出方法和装置 | |
WO2020050934A2 (en) | Parametric top-view representation of scenes | |
CN111783502A (zh) | 基于车路协同的视觉信息融合处理方法、装置及存储介质 | |
CN110793544A (zh) | 感知传感器参数标定方法、装置、设备及存储介质 | |
CN113711276A (zh) | 尺度感知单目定位和地图构建 | |
JP2022050311A (ja) | 車両の車線変更を検出するための方法、装置、電子機器、記憶媒体、路側機、クラウド制御プラットフォーム、及びコンピュータプログラム | |
CN114140592A (zh) | 高精地图生成方法、装置、设备、介质及自动驾驶车辆 | |
CN115457354A (zh) | 融合方法、3d目标检测方法、车载设备及存储介质 | |
CN113378605A (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
CN114299230A (zh) | 一种数据生成方法、装置、电子设备及存储介质 | |
CN113470067A (zh) | 数据处理方法、装置、存储介质和处理器 | |
CN113763504A (zh) | 地图更新方法、***、车载终端、服务器及存储介质 | |
CN112818932A (zh) | 图像处理方法、障碍物检测方法、装置、介质及车辆 | |
CN114882115B (zh) | 车辆位姿的预测方法和装置、电子设备和存储介质 | |
CN115471574A (zh) | 外参的确定方法、装置、存储介质及电子装置 | |
Tu et al. | Method of Using RealSense Camera to Estimate the Depth Map of Any Monocular Camera | |
CN113011445A (zh) | 标定方法、识别方法、装置及设备 | |
Berrio et al. | Semantic sensor fusion: From camera to sparse LiDAR information | |
CN114332187B (zh) | 单目目标测距方法及装置 | |
CN114943943B (zh) | 目标轨迹获得方法、装置、设备及存储介质 | |
CN116701478B (zh) | 航向角确定方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |