CN108573522A - 一种标志数据的展示方法及终端 - Google Patents
一种标志数据的展示方法及终端 Download PDFInfo
- Publication number
- CN108573522A CN108573522A CN201710150737.5A CN201710150737A CN108573522A CN 108573522 A CN108573522 A CN 108573522A CN 201710150737 A CN201710150737 A CN 201710150737A CN 108573522 A CN108573522 A CN 108573522A
- Authority
- CN
- China
- Prior art keywords
- data
- normal direction
- information
- point
- drawing data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种标志数据的展示方法及终端,其中,所述方法包括:采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;根据所述第一数据建立三维的虚拟空间;获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;根据提取的投影策略,将所述第二数据直接投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
Description
技术领域
本发明涉及数据展示技术,尤其涉及一种标志数据的展示方法及终端。
背景技术
如红绿灯、限速牌等道路标志物可以辅助交通出行,将道路标志物与交通出行的地理位置信息相结合,可以为用户的交通出行提供更全面的数据展示结果。对道路标志物的初步标识,可以通过几何特征提取和模式匹配想结合的方式来完成,但是,由于这种方式精确度不高,为了确保数据的精确度,则需要提供一种数据展示方案来用于数据后期的编辑和检测。
采用现有技术所提供的数据展示方案,一种方案是:为了提高数据的精确度,本身就附具了道路标志数据对应的颜色信息到初始点云数据中,因此,需要处理的数据量大幅增加,时间成本和人力成本都投入巨大,处理效率低下;又一种方案是:需要在二维和三维场景间频繁切换处理窗口,非常不利用数据的编辑,处理效率同样低下;再一种方案是:在二维向三维映射过程中,由于受到噪声干扰及采样精度不高的影响,而导致对道路标志数据的识别精度下降,也达不到预期的处理效率。然而,相关技术中,对于该问题,尚无有效解决方案。
发明内容
有鉴于此,本发明实施例提供了一种标志数据的展示方法及终端,至少解决了现有技术存在的问题。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种标志数据的展示方法,所述方法包括:
采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;
根据所述第一数据建立三维的虚拟空间;
获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;
根据提取的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;
根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
上述方案中,所述方法还包括:
所述采集第一数据后,对所述第一数据进行数据重新分块的预处理操作。
上述方案中,对所述第一数据进行数据重新分块的预处理操作,包括:
获取所述第一数据所在的所述采集区域;
根据指定的区域划分参数对所述采集区域进行划分,得到至少两个第一目标区域;
根据区域边界增强参数对所述至少两个第一目标区域的边界进行扩大,得到至少两个第二目标区域;
对所述至少两个第二目标区域中的每一个采样点,以k邻域点为参照进行去噪及法向估算后得到法向信息,将所述法向信息加入到所述第一数据中。
上述方案中,对所述第一数据进行数据重新分块的预处理操作,还包括:
所述进行去噪及法向估算后,对所述至少两个第二目标区域中的每一个第二目标区域进行处理时,获取所述第一目标区域的尺寸参数;
根据所述第一目标区域的尺寸参数对每一个第二目标区域进行裁剪处理,以将超出第一目标区域尺寸范围的多余区域删除。
上述方案中,所述方法还包括:
获取包含所述法向信息的第一数据;
根据所述法向信息对所述第一数据进行数据加密处理,得到包含增补信息的第四数据。
上述方案中,所述方法还包括:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试,绘制得到图像中的每一个像素点,记录有当前映射区域的深度值。
上述方案中,根据提出的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,包括:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,提取投影纹理映射策略,对所述待绘制数据按照所述投影纹理映射策略进行映射时,判断当前是否需要进行坐标系转换;
需要进行坐标系转换时,则先进行坐标系转换,坐标系转换成功后对所述待绘制数据进行绘制并实时确定所述待绘制数据中每一个着色点对应的纹理坐标;
对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,以得到所述第三数据。
上述方案中,对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,包括:
根据所述每一个着色点对应的纹理坐标进行判断,以确定所述待绘制数据中需要着色的点是否处于投影区域内,如果是,则根据所述待绘制数据中需要着色的点分别在投影机坐标系下的第一深度值与在深度图中的第二深度值进行比对得到的比对结果来确定所述待绘制数据中需要着色的点对应的颜色值,以所述颜色值对所述待绘制数据中需要着色的点进行所述颜色添加处理;
所述深度图为根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试时绘制得到的图像。
本发明实施例提供了一种终端,所述终端包括:
采集单元,用于采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;
空间建模单元,用于根据所述第一数据建立三维的虚拟空间;
获取单元,用于获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;
投影单元,用于根据提取的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;
标识单元,用于根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
上述方案中,所述终端还包括:
预处理单元,用于对所述第一数据进行数据重新分块的预处理操作。
上述方案中,所述预处理单元,进一步用于:
获取所述第一数据所在的所述采集区域;
根据指定的区域划分参数对所述采集区域进行划分,得到至少两个第一目标区域;
根据区域边界增强参数对所述至少两个第一目标区域的边界进行扩大,得到至少两个第二目标区域;
对所述至少两个第二目标区域中的每一个采样点,以k邻域点为参照进行去噪及法向估算后得到法向信息,将所述法向信息加入到所述第一数据中。
上述方案中,所述预处理单元,进一步用于:
所述进行去噪及法向估算后,对所述至少两个第二目标区域中的每一个第二目标区域进行处理时,获取所述第一目标区域的尺寸参数;
根据所述第一目标区域的尺寸参数对每一个第二目标区域进行裁剪处理,以将超出第一目标区域尺寸范围的多余区域删除。
上述方案中,所述终端还包括:加密单元,用于:
获取包含所述法向信息的第一数据;
根据所述法向信息对所述第一数据进行数据加密处理,得到包含增补信息的第四数据。
上述方案中,所述终端还包括:深度测试单元,用于:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试,绘制得到图像中的每一个像素点,记录有当前映射区域的深度值。
上述方案中,所述投影单元,进一步用于:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,根据投影纹理映射策略,对所述待绘制数据按照所述投影纹理映射策略进行映射时,判断当前是否需要进行坐标系转换;
需要进行坐标系转换时,则先进行坐标系转换,坐标系转换成功后对所述待绘制数据进行绘制并实时确定所述待绘制数据中每一个着色点对应的纹理坐标;
对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,以得到所述第三数据。
上述方案中,所述投影单元,进一步用于:
根据所述每一个着色点对应的纹理坐标进行判断,以确定所述待绘制数据中需要着色的点是否处于投影区域内,如果是,则根据所述待绘制数据中需要着色的点分别在投影机坐标系下的第一深度值与在深度图中的第二深度值进行比对得到的比对结果来确定所述待绘制数据中需要着色的点对应的颜色值,以所述颜色值对所述待绘制数据中需要着色的点进行所述颜色添加处理;
所述深度图为根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试时绘制得到的图像。
本发明实施例的道路标志数据的展示方法,包括:采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;根据所述第一数据建立三维的虚拟空间;获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;根据提取的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
采用本发明实施例,通过第一数据建立三维的虚拟空间后,由于是根据投影策略将第二数据投影到该三维的虚拟空间中进行展示,且得到包含第三数据的展示结果中,可以根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分,因此,实现了在确保对道路标志数据的识别精度的基础上,不需要额外增加处理数据量,同样可以达到预期的处理效率,从而,相比与现有技术的数据展示方案,大大提高了处理效率。
附图说明
图1为实现本发明各个实施例的移动终端一个可选的硬件结构示意图;
图2为如图1所示的移动终端的通信***示意图;
图3为本发明实施例一方法的实现流程示意图;
图4为本发明实施例又一方法的实现流程示意图;
图5为本发明实施例一终端组成结构的示意图;
图6-7为现有技术的展示场景示意图;
图8为应用本发明实施例的虚实融合展示场景的示意图;
图9为应用本发明实施例的点云数据预处理流程图;
图10为应用本发明实施例的点云数据区块分割示意图;
图11为应用本发明实施例的总体展示流程示意图;
图12为应用本发明实施例的一个标志物展示的完整流程示意图;
图13为应用本发明实施例的点云投影示意图;
图14为应用本发明实施例的投影纹理映射流程示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明,其本身并没有特定的意义。因此,"模块"与"部件"可以混合地使用。
在下面的详细说明中,陈述了众多的具体细节,以便彻底理解本发明。不过,对于本领域的普通技术人员来说,显然可在没有这些具体细节的情况下实践本发明。在其他情况下,没有详细说明公开的公知方法、过程、组件、电路和网络,以避免不必要地使实施例的各个方面模糊不清。
另外,本文中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等,不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。例如,第一操作可以被称为第二操作,第二操作也可以被称为第一操作,而不脱离本发明的范围,第一操作和第二操作都是操作,只是二者并不是相同的操作而已。
本发明实施例中的步骤并不一定是按照所描述的步骤顺序进行处理,可以按照需求有选择的将步骤打乱重排,或者删除实施例中的步骤,或者增加实施例中的步骤,本发明实施例中的步骤描述只是可选的顺序组合,并不代表本发明实施例的所有步骤顺序组合,实施例中的步骤顺序不能认为是对本发明的限制。
本发明实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是:当用在本说明书中时,“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本发明实施例的智能终端(如移动终端)可以以各种形式来实施。例如,本发明实施例中描述的移动终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA,Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP,Portable Media Player)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面,假设终端是移动终端。然而,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为实现本发明各个实施例的移动终端一个可选的硬件结构示意图。移动终端100不限于车载终端或手机终端。
移动终端100为车载终端时,可以包括:GPS定位单元111、无线通信单元112、无线互联网单元113、报警通信单元114、地图单元121、语音单元122、用户输入单元130、采集单元140、空间建模单元141、获取单元142、投影单元143、标识单元144、输出单元150、显示单元151、音频输出单元152、存储单元160、接口单元170、处理单元180和电源单元190等等。图1示出了具有各种组件的移动终端,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述车载终端的元件。
GPS定位单元111用于接收卫星所传递的信息,以检查或获取车载终端的位置信息,比如,根据所传递的信息进行单星定位或双星定位等,以确定车辆相对于导航路径的位置或者导航路径上某个车道的位置等。具体的,计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法,从而根据经度、纬度和高度准确地计算三维当前位置信息。当前,用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外,GPS定位单元111还能够通过实时地连续计算当前位置信息来计算速度信息,得到当前车辆的车速信息。
无线通信单元112,其允许车载终端与无线通信***或网络之间的无线电通信。例如,无线通信单元进行通信的形式多种多样,可以采用广播的形式、Wi-Fi通信形式、移动通信(2G、3G或4G)形式等与后台服务器进行通信交互。其中,采用广播的形式进行通信交互时,可以经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且,广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供。广播信号可以以各种形式存在,例如,其可以以数字多媒体广播(DMB,Digital Multimedia Broadcasting)的电子节目指南(EPG,Electronic Program Guide)、数字视频广播手持(DVB-H,Digital Video Broadcasting-Handheld)的电子服务指南(ESG,Electronic Service Guide)等等的形式而存在。广播信号和/或广播相关信息可以存储在存储单元160(或者其它类型的存储介质)中。Wi-Fi是一种可以将个人电脑、移动终端(如车载终端、手机终端)等终端以无线方式互相连接的技术,采用Wi-Fi通信形式时,能够访问Wi-Fi热点进而接入Wi-Fi网络。Wi-Fi热点是通过在互联网连接上安装访问点来创建的。这个访问点将无线信号通过短程进行传输,一般覆盖300英尺。当支持Wi-Fi的车载终端遇到一个Wi-Fi热点时,就可以用无线方式连接到Wi-Fi网络中。采用移动通信(2G、3G或4G)形式时,将无线电信号发送到基站(例如,接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网单元113支持车载终端的包括无线在内的各种数据传输通讯技术,以便接入互联网。该单元可以内部或外部地耦接到车载终端。该单元所涉及的无线互联网接入技术可以包括无线局域网络(WLAN,Wireless Local Area Networks)、无线宽带(Wibro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA,High SpeedDownlink Packet Access)等等。
报警通信单元114,用于向后台服务器发出报警讯号,通报车辆异常信息。具体的,是将通过GPS定位单位得到当前车辆位置信息和该车辆异常信息一起打包传到后台服务器,如报警或监控中心进行处理。地图单元121,用于存储地图信息,地图信息可以是在线下载后离线使用的地图信息,也可以是实时下载的地图信息。地图信息还可以及时最新。语音单元122,用于执行语音操作,一方面,可以接收用户的语音命令,另一方面,可以结合当前的车辆位置和导航信息、车辆异常信息的后台处理结果进行语音播报,提醒用户注意路况等。
车载终端可以应用2G、3G或4G、无线技术等,支持高速数据传输,同时传送声音及数据信息,开放接口,无限应用,车载终端能够更轻松地与各种I/O设备配合使用。
用户输入单元130可以根据用户输入的命令生成键输入数据以控制车载终端的各种操作。用户输入单元130允许用户输入各种类型的信息,并且可以包括键盘、鼠标、触摸板(例如,检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地,当触摸板以层的形式叠加在显示单元151上时,可以形成触摸屏。
采集单元140,用于采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;空间建模单元141,用于根据所述第一数据建立三维的虚拟空间;获取单元142,用于获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;投影单元143,用于根据提取的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;标识单元144,用于根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
接口单元170用作至少一个外部装置与车载终端连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别单元的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。识别单元可以是存储用于验证用户使用车载终端的各种信息并且可以包括用户识别单元(UIM,User Identify Module)、客户识别单元(SIM,SubscriberIdentity Module)、通用客户识别单元(USIM,Universal Subscriber Identity Module)等等。另外,具有识别单元的装置(下面称为"识别装置")可以采取智能卡的形式,因此,识别装置可以经由端口或其它连接装置与车载终端连接。接口单元170可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到车载终端内的一个或多个元件或者可以用于在车载终端和外部装置之间传输数据。
另外,当车载终端与外部底座连接时,接口单元170可以用作允许通过其将电力从底座提供到车载终端的路径或者可以用作允许从底座输入的各种命令信号通过其传输到车载终端的路径。从底座输入的各种命令信号或电力可以用作用于识别车载终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如,音频信号、视频信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出单元152等等。
显示单元151可以显示在车载终端中处理的信息。例如,车载终端可以显示相关用户界面(UI,User Interface)或图形用户界面(GUI,Graphical User Interface)。当车载终端处于视频通话模式或者图像捕获模式时,显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的UI或GUI等等。
同时,当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时,显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(LCD,LiquidCrystal Display)、薄膜晶体管LCD(TFT-LCD,Thin Film Transistor-LCD)、有机发光二极管(OLED,Organic Light-Emitting Diode)显示器、柔性显示器、三维(3D)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看,这可以称为透明显示器,典型的透明显示器可以例如为透明有机发光二极管(TOLED)显示器等等。根据特定想要的实施方式,车载终端可以包括两个或更多显示单元(或其它显示装置),例如,车载终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。
音频输出单元152可以在车载终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将接收的或者在存储单元160中存储的音频数据转换音频信号并且输出为声音。而且,音频输出单元152可以提供与车载终端执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元152可以包括扬声器、蜂鸣器等等。
存储单元160可以存储由处理单元180执行的处理和控制操作的软件程序等等,或者可以暂时地存储已经输出或将要输出的数据(例如,电话簿、消息、静态图像、视频等等)。而且,存储单元160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。
存储单元160可以包括至少一种类型的存储介质,所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等等)、随机访问存储器(RAM,Random AccessMemory)、静态随机访问存储器(SRAM,Static Random Access Memory)、只读存储器(ROM,Read Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically ErasableProgrammable Read Only Memory)、可编程只读存储器(PROM,Programmable Read OnlyMemory)、磁性存储器、磁盘、光盘等等。而且,车载终端可以与通过网络连接执行存储单元160的存储功能的网络存储装置协作。
处理单元180通常控制车载终端的总体操作。例如,处理单元180执行与语音通话、数据通信、视频通话等等相关的控制和处理。又如,处理单元180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。
电源单元190在处理单元180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,这里描述的实施方式可以通过使用特定用途集成电路(ASIC,Application Specific Integrated Circuit)、数字信号处理器(DSP,DigitalSignal Processing)、数字信号处理装置(DSPD,Digital Signal Processing Device)、可编程逻辑装置(PLD,Programmable Logic Device)、现场可编程门阵列(FPGA,FieldProgrammable Gate Array)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,这样的实施方式可以在处理单元180中实施。对于软件实施,诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件单元来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储单元160中并且由处理单元180执行。其中,存储单元160的一个具体硬件实体可以为存储器,处理单元180的一个具体硬件实体可以为控制器。
至此,已经按照其功能描述了移动终端中以车载终端为代表的上述单元组成结构。
如图1中所示的移动终端100可以被构造为利用经由帧或分组发送数据的诸如有线和无线通信***以及基于卫星的通信***来操作。
现在将参考图2描述其中根据本发明实施例的移动终端100能够操作的通信***。
这样的通信***可以使用不同的空中接口和/或物理层。例如,由通信***使用的空中接口包括例如频分多址(FDMA,Frequency Division Multiple Access)、时分多址(TDMA,Time Division Multiple Access)、码分多址(CDMA,Code Division MultipleAccess)和通用移动通信***(UMTS,Universal Mobile Telecommunications System)(特别地,长期演进(LTE,Long Term Evolution))、全球移动通信***(GSM)等等。作为非限制性示例,下面的描述涉及CDMA通信***,但是这样的教导同样适用于其它类型的***。
参考图2,CDMA无线通信***可以包括多个移动终端100、多个基站(BS,BaseStation)270、基站控制器(BSC,Base Station Controller)275和移动交换中心(MSC,Mobile Switching Center)280。MSC280被构造为与公共电话交换网络(PSTN,PublicSwitched Telephone Network)290形成接口。MSC280还被构造为与可以经由回程线路耦接到BS270的BSC275形成接口。回程线路可以根据若干已知的接口中的任一种来构造,所述接口包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL。将理解的是,如图2中所示的***可以包括多个BSC275。
每个BS 270可以服务一个或多个分区(或区域),由多向天线或指向特定方向的天线覆盖的每个分区放射状地远离BS 270。或者,每个分区可以由用于分集接收的两个或更多天线覆盖。每个BS 270可以被构造为支持多个频率分配,并且每个频率分配具有特定频谱(例如,1.25MHz,5MHz等等)。
分区与频率分配的交叉可以被称为CDMA信道。BS 270也可以被称为基站收发器子***(BTS,Base Transceiver Station)或者其它等效术语。在这样的情况下,术语“基站”可以用于笼统地表示单个BSC275和至少一个BS 270。基站也可以被称为“蜂窝站”。或者,特定BS 270的各分区可以被称为多个蜂窝站。
如图2中所示,广播发射器(BT,Broadcast Transmitter)295将广播信号发送给在***内操作的移动终端100。如图1中所示的广播接收单元111被设置在移动终端100处以接收由BT295发送的广播信号。在图2中,示出了几个卫星300,例如可以采用全球定位***(GPS)卫星300。卫星300帮助定位多个移动终端100中的至少一个。
在图2中,描绘了多个卫星300,但是理解的是,可以利用任何数目的卫星获得有用的定位信息。如图1中所示的位置信息单元115通常被构造为与卫星300配合以获得想要的定位信息。替代GPS跟踪技术或者在GPS跟踪技术之外,可以使用可以跟踪移动终端的位置的其它技术。另外,至少一个GPS卫星300可以选择性地或者额外地处理卫星DMB传输。
作为无线通信***的一个典型操作,BS 270接收来自各种移动终端100的反向链路信号。移动终端100通常参与通话、消息收发和其它类型的通信。特定基站接收的每个反向链路信号被在特定BS 270内进行处理。获得的数据被转发给相关的BSC275。BSC提供通话资源分配和包括BS 270之间的软切换过程的协调的移动管理功能。BSC275还将接收到的数据路由到MSC280,其提供用于与PSTN290形成接口的额外的路由服务。类似地,PSTN290与MSC280形成接口,MSC与BSC275形成接口,并且BSC275相应地控制BS 270以将正向链路信号发送到移动终端100。
移动终端中通信单元110的移动通信单元112基于移动终端内置的接入移动通信网络(如2G/3G/4G等移动通信网络)的必要数据(包括用户识别信息和鉴权信息)接入移动通信网络为移动终端用户的网页浏览、网络多媒体播放等业务传输移动通信数据(包括上行的移动通信数据和下行的移动通信数据)。
通信单元110的无线互联网单元113通过运行无线热点的相关协议功能而实现无线热点的功能,无线热点支持多个移动终端(移动终端之外的任意移动终端)接入,通过复用移动通信单元112与移动通信网络之间的移动通信连接为移动终端用户的网页浏览、网络多媒体播放等业务传输移动通信数据(包括上行的移动通信数据和下行的移动通信数据),由于移动终端实质上是复用移动终端与通信网络之间的移动通信连接传输移动通信数据的,因此移动终端消耗的移动通信数据的流量由通信网络侧的计费实体计入移动终端的通信资费,从而消耗移动终端签约使用的通信资费中包括的移动通信数据的数据流量。
本发明实施例的一种标志数据的展示方法,如图3所示,包括:采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置,根据所述第一数据建立三维的虚拟空间(101)。比如,第一数据可以为点云数据,由于根据点云数据可以得到虚拟空间场景的对应轮廓,因此,根据点云数据能构建三维的虚拟空间。获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息(102)。比如,第二数据可以为街景影像数据,不限于图像或视频影像。根据提取的投影策略,将所述第二数据直接投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果(103)。根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分(104)。第三数据可以为区分标志物属性的颜色信息。采用本发明实施例,使用点云数据(仅含位置坐标)和街景影像(前后左右四个方向的图片或者视频)作为基础展示数据,由于可根据需要将特定位置的二维街景影像映射到指定的三维虚拟空间中,实现了虚实实时融合,使得对应区域的点云数据会附着上颜色信息,基于此颜色信息可以直接标识出信号灯(直行、左转)、路牌(限速)等标志物的位置及属性信息。采用的数据仍然是原始的点云数据(不携带颜色信息),因此,不会额外增加处理的数据量,避免处理效率受到影响。将二维的街景影像直接投影到三维的虚拟场景中进行展示,得到多维度的展示结果,即:不仅包括目标对象的位置信息(通过点云地图来标识),而且,还包含在点云地图上需要着色的点云数据上附具颜色信息(区分标志物属性的颜色标识),从而,后续编辑人员无需通过人工编辑的方式在点云地图上完成标志物的属性标识,只需要直接采用该多维度的展示结果即可,也就是说,构建高精度点云地图中的道路标志物时,一方面可以在精确定位标志物坐标,另一方面可以方便的识别出标志物所包含的信息,从而快速高效的完成标志物标识工作。
本发明实施例中,由上述步骤101-104构成的处理逻辑,可以位于PC终端,处理逻辑位于PC终端的具体实现中,在PC终端做编辑处理,以得到可以提供给用户侧使用的带颜色标识的地图。做编辑处理的过程中,由于点云数据可以标识所采集区域中至少一个采样点在三维空间中的位置,因此,根据点云数据可以得到虚拟空间场景的对应轮廓,并根据点云数据能构建三维的虚拟空间。在所采集区域中将目标对象呈现在二维空间中可以得到街景影像数据,将点云数据和街景影像数据进行结合的过程中,是根据提取的投影策略,将街景影像数据直接投影到以点云数据所构建的三维虚拟空间中进行展示,从而得到包含所需的编辑处理结果。在该编辑处理结果中,是将目标对象以对应的颜色标识对其标志属性信息进行区分,对原有的地图数据进行了优化,使用车载***的用户可以通过进行颜色标识区分的优化地图数据进行导航辅助。
由上述步骤101-104构成的处理逻辑,也可以位于车载终端或手机终端,即由车载终端或手机终端执行该处理逻辑,不做赘述。
当然,车载终端或手机终端也可以显示将PC终端执行该处理逻辑所得到的显示结果。首先,通过车载终端或手机终端采集数据后将数据提供给PC终端做编辑处理,其次,将编辑处理结果展示给位于PC终端做编辑处理的编辑管理人员、或者将编辑处理结果展示给位于车载终端的用户侧进行显示(比如,具备导航功能的车载终端自身)、或者将编辑处理结果展示手机终端的用户侧(如利用手机应用进行导航的用户)。
在本发明实施例一实施方式中,路标、路牌、信号灯等具有明显几何特征的标志物可以通过特征匹配的方式,在点云数据中进行初步定位。
在本发明实施例一实施方式中,交通标线可以通过点云反射率的不同于周围地面进行区分。
在一个实际应用中,将点云数据构成的点云地图和街景影像作为参考数据来进行投射。其中,点云地图为基于安装在移动测量车上的激光扫描仪所采集得到的点云数据生成的地图,可以较好的还原出复杂场景的细节轮廓。而街景影像可以包括图像格式或视频格式,可以根据需要将特定位置的二维街景影像直接映射到指定的三维空间中,即将二维街景图像投影到利用点云地图所标定的三维虚拟空间的场景中,比如,将一副图像投影到三维虚拟场景中,从而实现将实景影像在虚拟场景中的展示,以达到虚实实时融合的处理结果。具体的,该投影策略可以为投影纹理映射的方式。该投影纹理映射的方式是模拟投影机投射图像的方式,即将一副图像投影到虚拟的三维空间中,基本原理与阴影映射(在虚拟环境中模拟真实场景中的阴影效果,可通过在光源位置构建整个场景的深度图的方式来实现这一效果)相同。
在一个实际应用中,通过投影纹理映射的方式将实景影像映射到虚拟场景中,使得原始点云数据可以附着颜色信息,则点云数据具有更好的辨识度,方便编辑人员进行后期的编辑和检测。通过本发明实施例得到了多维度的展示结果,即在对应上述采集区域中的点云数据上会附着上颜色信息,后期对数据进行编辑和检测的编辑人员就可以基于该颜色信息,不仅直接标识出标志物的位置,还可以直接标识出标志物的属性信息,比如信号灯(直行、左转)、路牌(限速)等。由于,可以根据所述颜色信息对道路标志物的属性(如路牌的限速、限高,红绿灯的类型等)进行标识,因此,能快捷的识别出道路标志物的属性,从而为车辆精确定位和道路状况识别提供了参考依据,使得自动驾驶车辆可以对周围的环境做出准确的判断并制定合适的行驶策略。
本发明实施例的一种标志数据的展示方法,如图4所示,包括:采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置,对所述第一数据进行数据重新分块的预处理操作(201),以便根据处理后的数据建立三维的虚拟空间(202)。比如,在预处理过程中,获取所述第一数据所在的整个采集区域,将采集区域记为R1。根据指定的区域划分参数对所述采集区域进行划分,得到至少两个第一目标区域,以r11、……、r1n标识所述至少两个第一目标区域,所述n为大于1的正整数,每个第一目标区域的大小是相同的。根据区域边界增强参数对所述至少两个第一目标区域的边界进行扩大,得到至少两个第二目标区域,以r21、……、r2n标识所述至少两个第二目标区域,所述n为大于1的正整数,每个第二目标区域的大小也是相同的,且每个第二目标区域大于每个第一目标区域。由于对当前某一个采样点进行法向估算时是以其周边的相对邻域点为参照进行的,而在边缘位置的采样点的法向估算中,通常会缺少某一侧或多侧的某一个或某几个相对邻域点,因此,在本发明实施例中,需要将原有的第一目标区域边界扩大,使得边缘变大后,这样,可以将缺少的上述某一个或某几个相对邻域点补齐后计算,则得到第二目标区域,在第二目标区域中计算,使得对边缘位置的采样点法向估计更为精确。后续,需要将这些补齐的多余信息去掉。对所述至少两个第二目标区域中的每一个采样点,以k邻域点为参照进行去噪及法向估算后得到法向信息,将所述法向信息加入到所述第一数据中。当第一数据为点云数据时,则经过对初始点云数据的预处理后,得到包含法向信息的点云数据。获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息(203)。比如,第二数据可以为街景影像数据,不限于图像或视频影像。根据提取的投影策略,将所述第二数据直接投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果(204)。根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分(205)。第三数据可以为区分标志物属性的颜色信息。采用本发明实施例,使用点云数据(仅含位置坐标)和街景影像(前后左右四个方向的图片或者视频)作为基础展示数据,考虑到在实际应用中,原始的点云数据是根据行车路线进行采集,并按时间段来分割的,因此原始点云数据会出现大小不一,分布不均以及有严重重叠的情况,不利于后续进行法向估算和数据展示。则需要对原始的点云数据进行预处理,即在分割阶段会将原始点云数据进行重新划分,比如,最终划分出的每一个区块大小为256*256㎡,但考虑到后续进行点云噪声消除和法向估算的准确性时,需要扩大分割区域为261*261㎡,这样可以提高对边缘数据的计算准确性。最终,根据需要将特定位置的二维街景影像映射到指定的三维虚拟空间中,实现了虚实实时融合,使得对应区域的点云数据会附着上颜色信息,基于此颜色信息可以直接标识出信号灯(直行、左转)、路牌(限速)等标志物的位置及属性信息。采用的数据仍然是原始的点云数据(不携带颜色信息),因此,不会额外增加处理的数据量,避免处理效率受到影响。将二维的街景影像直接投影到三维的虚拟场景中进行展示,得到多维度的展示结果,即:不仅包括目标对象的位置信息(通过点云地图来标识),而且,还包含在点云地图上需要着色的点云数据上附具颜色信息(区分标志物属性的颜色标识),从而,后续编辑人员无需通过人工编辑的方式在点云地图上完成标志物的属性标识,只需要直接采用该多维度的展示结果即可,也就是说,构建高精度点云地图中的道路标志物时,一方面可以在精确定位标志物坐标,另一方面可以方便的识别出标志物所包含的信息,从而快速高效的完成标志物标识工作。
本发明实施例的一种标志数据的展示方法中,采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置,对所述第一数据进行数据重新分块的预处理操作,以便根据处理后的数据建立三维的虚拟空间。比如,在预处理过程中,获取所述第一数据所在的整个采集区域,将采集区域记为R1。根据指定的区域划分参数对所述采集区域进行划分,得到至少两个第一目标区域,以r11、……、r1n标识所述至少两个第一目标区域,所述n为大于1的正整数,每个第一目标区域的大小是相同的。根据区域边界增强参数对所述至少两个第一目标区域的边界进行扩大,得到至少两个第二目标区域,以r21、……、r2n标识所述至少两个第二目标区域,所述n为大于1的正整数,每个第二目标区域的大小也是相同的,且每个第二目标区域大于每个第一目标区域。由于对当前某一个采样点进行法向估算时是以其周边的相对邻域点为参照进行的,而在边缘位置的采样点的法向估算中,通常会缺少某一侧或多侧的某一个或某几个相对邻域点,因此,在本发明实施例中,需要将原有的第一目标区域边界扩大,使得边缘变大后,这样,可以将缺少的上述某一个或某几个相对邻域点补齐后计算,则得到第二目标区域,在第二目标区域中计算,使得对边缘位置的采样点法向估计更为精确。
对所述第一数据进行数据重新分块的预处理操作中,将边缘扩大,以补齐用于精确法向估算的所需邻域数据后,需要将这些补齐的多余信息去掉,以便去除多余区域后,回到最初的实际区域中进行后续的一系列运算。具体的,边缘扩大后得到所述至少两个第二目标区域,对所述至少两个第二目标区域中的每一个采样点,以k邻域点为参照进行去噪及法向估算后得到法向信息,将所述法向信息加入到所述第一数据中。进行去噪及法向估算后,对所述至少两个第二目标区域中的每一个第二目标区域进行处理时,获取所述第一目标区域的尺寸参数,根据所述第一目标区域的尺寸参数对每一个第二目标区域进行裁剪处理,以将超出第一目标区域尺寸范围的多余区域删除,目的是为了保留第一目标区域。在实际应用中,去除掉多余区域,即将所述第二目标区域中超出所述第一目标区域的部分直接删除。由于之前为了对边缘的法向估算精确度的考虑,使得实际的区域边缘变大了,以便将缺少的上述某一个或某几个相对邻域点补齐后再进行法向估算,使得对边缘位置的采样点法向估计更为精确。但是,一方面,这些数据是补齐的多余信息,另一方面,多个划分区域都要进行类似的计算,会有重复的计算,因此,无论从哪个方面考虑,都需要去除这些数据,即完成法向估算后,要去除掉多余区域,至此,便完成了点云数据的预处理过程。
采用本发明实施例,当第一数据为点云数据时,则经过对初始点云数据的预处理后,得到包含法向信息的点云数据。获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息。比如,第二数据可以为街景影像数据,不限于图像或视频影像。根据提取的投影策略,将所述第二数据直接投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果。根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。第三数据可以为区分标志物属性的颜色信息。采用本发明实施例,使用点云数据(仅含位置坐标)和街景影像(前后左右四个方向的图片或者视频)作为基础展示数据,考虑到在实际应用中,原始的点云数据是根据行车路线进行采集,并按时间段来分割的,因此原始点云数据会出现大小不一,分布不均以及有严重重叠的情况,不利于后续进行法向估算和数据展示。则需要对原始的点云数据进行预处理,即在分割阶段会将原始点云数据进行重新划分,比如,最终划分出的每一个区块大小为256*256㎡,但考虑到后续进行点云噪声消除和法向估算的准确性时,需要扩大分割区域为261*261㎡,这样可以提高对边缘数据的计算准确性。由于考虑到对边缘法向估算的精确度,使得实际的区域边缘变大了,以便将缺少的上述某一个或某几个相对邻域点补齐后再进行法向估算,这些数据是补齐的多余信息,法向估算结束后需要去除这些数据,即完成法向估算后,要将所述第二目标区域中超出所述第一目标区域的部分直接删除。最终,根据需要将特定位置的二维街景影像映射到指定的三维虚拟空间中,实现了虚实实时融合,使得对应区域的点云数据会附着上颜色信息,基于此颜色信息可以直接标识出信号灯(直行、左转)、路牌(限速)等标志物的位置及属性信息。采用的数据仍然是原始的点云数据(不携带颜色信息),因此,不会额外增加处理的数据量,避免处理效率受到影响。将二维的街景影像直接投影到三维的虚拟场景中进行展示,得到多维度的展示结果,即:不仅包括目标对象的位置信息(通过点云地图来标识),而且,还包含在点云地图上需要着色的点云数据上附具颜色信息(区分标志物属性的颜色标识),从而,后续编辑人员无需通过人工编辑的方式在点云地图上完成标志物的属性标识,只需要直接采用该多维度的展示结果即可,也就是说,构建高精度点云地图中的道路标志物时,一方面可以在精确定位标志物坐标,另一方面可以方便的识别出标志物所包含的信息,从而快速高效的完成标志物标识工作。
本发明实施例中,可以对点云数据进行加密处理。具体的,获取包含所述法向信息的点云数据,该包含所述法向信息的点云数据可以称为基础数据。根据所述法向信息对所述点云数据进行数据加密处理后可以得到包含增补信息的额外数据,包含增补信息的额外数据也可以称为增补数据。因为点云数据自身的离散性造成的投影间隙最大,实际使用中也是这些间隙会影响到后续的投影纹理映射效果。因此,点云数据加密的过程就是填补这些空隙。在实际应用中,为了提升计算速度,将所有待绘制的点云数据的法向信息传入到图形处理器中,完成法向信息从模型坐标系到相机坐标系下的转换,如果转换得到的处理结果近似指向相机,则判断出当前点云数据需要进行加密。加密的具体实现是:在当前点云数据位置周边指定的范围内均匀撒点来实现,均匀撒点即为本发明实施例中提及的增补信息,也称为区别于点云基础数据的增补数据。
本发明实施例中,可以对点云数据进行深度测试的处理。具体的,获取包含所述法向信息的点云数据,该包含所述法向信息的点云数据可以称为基础数据。根据所述法向信息对所述点云数据进行数据加密处理后可以得到包含增补信息的额外数据,包含增补信息的额外数据也可以称为增补数据。将所述基础数据和增补数据构成的数据集作为待绘制数据,根据投影参数(如投影机参数)对所述待绘制数据进行绘制的过程中进行深度测试,绘制得到图像中的每一个像素点,记录有当前映射区域的深度值。采用本发明实施例的深度测试,是为了能够生成一张为投影纹理映射提供参考数据的深度图,减少错误映射出现的可能性。这一过程的输入数据为基础点云数据和加密过后的额外点云数据,数据处理过程为:在进行投影纹理映射的投影机位置,按照投影机的参数,对输入数据进行绘制,以此得到一副宽高比与进行投影映射的图像相同的一张图像,图像中每一个像素点记录当前映射区域的深度值。
本发明实施例中,可以对点云数据进行投影纹理映射。具体的,获取包含所述法向信息的点云数据,该包含所述法向信息的点云数据可以称为基础数据。根据所述法向信息对所述点云数据进行数据加密处理后可以得到包含增补信息的额外数据,包含增补信息的额外数据也可以称为增补数据。将所述基础数据和增补数据构成的数据集作为待绘制数据,根据投影纹理映射策略,对所述待绘制数据按照所述投影纹理映射策略进行映射,以将二维的街景影像数据直接投影到三维的虚拟空间中进行展示。在映射的过程中,首先判断当前是否需要进行坐标系转换(包括:模型坐标系转换到相机坐标系以及模型坐标系到投影机坐标系的转换)。需要进行坐标系转换时,则先进行坐标系转换,坐标系转换成功后对所述待绘制数据进行绘制并实时确定所述待绘制数据中每一个着色点对应的纹理坐标,比如,通过计算待绘制数据中当前点云数据在街景影像和深度图中的坐标位置以得到当前点云数据对应的纹理坐标。根据所述每一个着色点对应的纹理坐标进行判断,以确定所述待绘制数据中需要着色的点是否处于投影区域内,如果是,则根据所述待绘制数据中需要着色的点分别在投影机坐标系下的第一深度值与在深度图中的第二深度值进行比对得到的比对结果来确定所述待绘制数据中需要着色的点对应的颜色值,以所述颜色值对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,以得到区分标志物属性的颜色信息。即对所述待绘制数据中需要着色的点进行着色,这种经着色处理得到的颜色标识,可以将真实二维环境中的目标对象以对应的该颜色标识对其标志属性信息进行区分,容易分辨出道路标志物的属性,比如,通过颜色标识可以标识出信号灯(直行、左转)、路牌(限速)等属性信息。其中,所述深度图指:根据投影参数(如投影机参数)对所述待绘制数据进行绘制的过程中进行深度测试时绘制得到的图像,在深度图中的每一个像素点,记录有当前映射区域的深度值。采用本发明实施例,充分考虑了道路标志物信息展示的便捷性以及彩色点云数据构建的复杂性等情况,依靠投影纹理映射技术,将二维街景影像直接映射到三维的虚拟空间中,在不增加点云数据量的同时,给点云数据附上颜色信息,便于人工标识。通过对投影影像进行实时调节,免去事先进行相机标定的繁杂过程,并且可以在同一区域内映射多幅图像,进而达到更好的识别效果。而且,由于点云数据本身具有正确的深度信息,纹理图像映射到点云图像上时,切换观察角度并不会出现影像拉伸的情况,利于人工标定标志物信息。
本发明实施例的一种终端,如图5所示,终端41包括:采集单元411,用于采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;空间建模单元412,用于根据所述第一数据建立三维的虚拟空间;获取单元413,用于获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;投影单元414,用于根据投影策略,将所述第二数据直接投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;标识单元415,用于根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
本发明实施例中,采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置,根据所述第一数据建立三维的虚拟空间。比如,第一数据可以为点云数据,由于根据点云数据可以得到虚拟空间场景的对应轮廓,因此,根据点云数据能构建三维的虚拟空间。获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息。比如,第二数据可以为街景影像数据,不限于图像或视频影像。根据提取的投影策略,将所述第二数据直接投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果。根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。第三数据可以为区分标志物属性的颜色信息。采用本发明实施例,使用点云数据(仅含位置坐标)和街景影像(前后左右四个方向的图片或者视频)作为基础展示数据,由于可根据需要将特定位置的二维街景影像映射到指定的三维虚拟空间中,实现了虚实实时融合,使得对应区域的点云数据会附着上颜色信息,基于此颜色信息可以直接标识出信号灯(直行、左转)、路牌(限速)等标志物的位置及属性信息。采用的数据仍然是原始的点云数据(不携带颜色信息),因此,不会额外增加处理的数据量,避免处理效率受到影响。将二维的街景影像直接投影到三维的虚拟场景中进行展示,得到多维度的展示结果,即:不仅包括目标对象的位置信息(通过点云地图来标识),而且,还包含在点云地图上需要着色的点云数据上附具颜色信息(区分标志物属性的颜色标识),从而,后续编辑人员无需通过人工编辑的方式在点云地图上完成标志物的属性标识,只需要直接采用该多维度的展示结果即可,也就是说,构建高精度点云地图中的道路标志物时,一方面可以在精确定位标志物坐标,另一方面可以方便的识别出标志物所包含的信息,从而快速高效的完成标志物标识工作。
在本发明实施例一实施方式中,所述终端还包括:预处理单元,用于对所述第一数据进行数据重新分块的预处理操作。具体的,所述预处理单元,用于:获取所述第一数据所在的所述采集区域,根据指定的区域划分参数对所述采集区域进行划分,得到至少两个第一目标区域,根据区域边界增强参数对所述至少两个第一目标区域的边界进行扩大,得到至少两个第二目标区域,对所述至少两个第二目标区域中的每一个采样点,以k邻域点为参照进行去噪及法向估算后得到法向信息,将所述法向信息加入到所述第一数据中。
在本发明实施例一实施方式中,所述预处理单元,进一步用于:进行去噪及法向估算后,对所述至少两个第二目标区域中的每一个第二目标区域进行处理时,获取所述第一目标区域的尺寸参数,根据所述第一目标区域的尺寸参数对每一个第二目标区域进行裁剪处理,以将超出第一目标区域尺寸范围的多余区域删除。
在本发明实施例一实施方式中,所述终端还包括:加密单元,用于:获取包含所述法向信息的第一数据,根据所述法向信息对所述第一数据进行数据加密处理,得到包含增补信息的第四数据。
在本发明实施例一实施方式中,所述终端还包括:深度测试单元,用于:获取包含所述法向信息的第一数据,获取包含增补信息的第四数据,将所述第一数据和所述第四数据构成的数据集作为待绘制数据,根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试,绘制得到图像中的每一个像素点,记录有当前映射区域的深度值。
在本发明实施例一实施方式中,所述投影单元,进一步用于:获取包含所述法向信息的第一数据,获取包含增补信息的第四数据,将所述第一数据和所述第四数据构成的数据集作为待绘制数据,提取投影纹理映射策略,对所述待绘制数据按照所述投影纹理映射策略进行映射时,判断当前是否需要进行坐标系转换,需要进行坐标系转换时,则先进行坐标系转换,坐标系转换成功后对所述待绘制数据进行绘制并实时确定所述待绘制数据中每一个着色点对应的纹理坐标,对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,以得到所述第三数据。
在本发明实施例一实施方式中,所述投影单元,进一步用于:根据所述每一个着色点对应的纹理坐标进行判断,以确定所述待绘制数据中需要着色的点是否处于投影区域内,如果是,则根据所述待绘制数据中需要着色的点分别在投影机坐标系下的第一深度值与在深度图中的第二深度值进行比对得到的比对结果来确定所述待绘制数据中需要着色的点对应的颜色值,以所述颜色值对所述待绘制数据中需要着色的点进行所述颜色添加处理。其中,所述深度图为根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试时绘制得到的图像。
对于用于数据处理的处理器而言,在执行处理时,可以采用微处理器、中央处理器(CPU,Central Processing Unit)、DSP或FPGA实现;对于存储介质来说,包含操作指令,该操作指令可以为计算机可执行代码,通过所述操作指令来实现上述本发明实施例信息处理方法流程中的各个步骤。
这里需要指出的是:以上涉及终端和服务器项的描述,与上述方法描述是类似的,同方法的有益效果描述,不做赘述。对于本发明终端和服务器实施例中未披露的技术细节,请参照本发明方法流程描述的实施例所描述内容。
以一个现实应用场景为例对本发明实施例阐述如下:
在对道路标志物的识别场景中,初步标识可以通过几何特征提取和模式匹配想结合的方式来完成。但由于算法本身鲁棒性不高,且为了确保数据的精确度需要人工进行编辑和检测,因此需要一个便于人工处理的数据展示方案。现有技术中,一种方案是直接使用彩色点云为参考数据,通过给原始点云附上颜色信息,使得编辑人员除了可以通过点云进行标志物的精确定位外,还可以直接识别出标志物的属性信息(如路牌的限速、限高,红绿灯的类型等)。彩色点云的效果如图6所示,如A11区域的树木所标识的一个示例。另一种方案是进行二三维场景的切换,将街景数据与点云数据进行坐标匹配,在三维场景中完成坐标定位后,再切换到二维场景中确认对应标志物的信息。或者是采用相机标定的方式,在二维图像中识别标志物,再将其映射到三维空间中,从而完成标志物识别,这一映射效果如图7中A12-A15等所在区域进行标识,得到点云数据与街景数据相匹配的效果。再一种方案是常用的相机标定的方法。这三类方案虽然可以达到标识的效果,但都存在有一定的问题。1)彩色点云虽然可以克服信息展示的为题,使得标志物属性信息可以直接从点云上获取,但为了达到这一效果,每一个点云数据除了携带有坐标信息(xyz)外,还需要额外附加上颜色信息(rgb),因此点云的数据量会明显增大。并且,为了能够生成效果相对较好的彩色点云,要对每一个场景进行图像和点云的配准,这一过程需要耗费大量的人力和时间。2)二三维场景切换的方法,在编辑数据时,处理起来相对繁琐,同一标志物的信息(位置信息和属性信息)不能在一个窗口内展示,不利于编辑。3)相机标定的方法,如彩色点云的方案,同样需要对场景进行配准,并且从二维空间映射到三维空间时,容易受到点云噪声的干扰以及采样精度的影响,造成映射位置错误。
由于路标、路牌、信号灯、交通标线等道路标志物是高精度地图中不可或缺的一部分内容,其为车辆精确定位和道路状况识别提供了参考依据。由于地图中原始点云无法携带颜色信息以及采集时所受到的干扰,导致这些道路数据的标识依旧需要通过人工编辑的方式来完成,而上述现有技术的方案存在各自的缺点,也无法解决这个问题,标识不清楚,需要大量的人力和时间成本来后期编辑时进行人工标识。对应上述场景,采用本发明实施例,是基于虚实融合的道路标志物展示方案,以点云地图和街景影像为参考数据,通过投影纹理映射的方式,将街景影像与点云数据进行实时融合,如图8中A16-A18等所在区域进行标识,得到点云地图与街景影像融合的效果,使得原始点云可以附着颜色信息,便于人工完成道路标志物的属性标识工作。由于充分考虑到了多窗口展示道路标志物信息的不利,和彩色点云的构建困难以及自身庞大的数据量将会带来的问题,采用本发明实施例的投影纹理技术,可以直接将全景图像的颜色信息映射到三维场景中,则在不增加点云数据量的同时,达到在三维空间中展示标志物属性信息的效果,方便编辑人员进行标识工作。
基于该虚实融合的道路标志物展示方案得到的展示效果,可以通过一个数据展示平台提供给后期编辑和检测的编辑人员使用,使得编辑人员在利用该平台构建高精度地图中的道路标志物时,一方面可以在精确定位标志物坐标,另一方面可以方便的识别出标志物所包含的信息,从而快速高效的完成标志物标识工作。该展示平台使用点云数据(仅含位置坐标)和街景影像(前后左右四个方向,图片或者视频)作为基础展示数据,编辑人员可根据需要将特定位置的街景影像映射到指定空间中,使得对应区域的点云附着上颜色信息,编辑人员基于此可直接标识出信号灯(直行、左转)、路牌(限速)等标志物的位置及属性信息。
本应用场景采用本发明实施例的投影纹理技术,将街景影像直接映射到三维场景中,最终以虚实融合的方式将实景影像在虚拟场景中展示出来的过程中,首先需要对点云数据进行预处理,其次对道路标志物进行展示。
一、点云数据预处理
由于点云数据是通过车载激光采集而来,因此容易受到外界环境和采集车辆自身因素的影响,造成点云数据分布不均,并且路灯、路牌等由于本身相对较小,在最终的点云数据上容易出现数据缺失(数据未采集到),从而影响投影纹理的效果(缺失的区域没有物体可以接收到投影),因此需要预处理数据,为后续点云加密提供支持。点云数据预处理的主要任务是对原始数据进行重新分块,同时估算每一个点云的法向坐标。
点云数据预处理流程如图9所示,包括:
步骤401、获取原始点云数据。
步骤402、对点云数据进行重新分割。
步骤403-405、噪声消除,法向估算,完成分割并得到具有法向信息的点云数据。
原始的点云数据是根据行车路线进行采集,并按时间段来分割的,因此原始数据会出现大小不一,分布不均以及有严重重叠的情况。不利于后续进行法向估算和数据展示。预处理流程中,点云数据分割阶段会将原始点云数据进行重新划分,图10为点云数据区块分割示意图,重新划分后,最终划分出的每一个区块大小为256*256㎡,一个示例如图10中A21所标识的区域边框所示。但考虑到后续进行点云噪声消除和法向估算的准确性时,需要扩大分割区域为261*261㎡,一个示例如图10中A22所标识的区域边框所示。从图10中可以看出,A22所标识的区域边框大于A21所标识的区域边框。
预处理流程中,点云去噪以及法向估算,采用k邻域的方法。去噪过程中,计算每一个点与周围k个最相邻的点云距离的平均值,大于指定阈值时,则去除这一点。进行法向估算时,依次对点云中的每一个点,查找其邻域点集,并对该邻域点集进行主成分分析(PCA),得到其法线方向。
在完成后续计算后,再去除掉多余区域,即保留图10中的A21所标识的区域边框,将A22所标识的区域边框大于A21所标识的区域边框的超出区域部分直接删除。至此,便完成了点云数据的预处理过程。
二、道路标志物展示
道路标志物展示并非是通过数据预处理来实现,而是利用实时的虚实融合技术来实现,通过投影纹理将实景影像映射到虚拟场景中,使得点云数据具有更好的辨识度。不过,直接对点云数据进行投影存在两个需要解决的问题:1.点云数据是离散的,因此当相机拉近到一定位置时,点云看起来相对稀疏,影响投影效果;2.受投影技术限制,直接投影,影像具有穿透性,即不会被前面的物体所遮挡。为了解决这两个问题,道路标志物展示,如图11所示,包括:点云加密过程,深度测试过程及投影纹理映射过程。
图12为结合上述三个过程的一个标志物展示的完整流程,包括:
步骤501、获取待绘制的点云数据,将其作为基础数据。
步骤502、根据法向进行加密,得到额外数据。
步骤503、根据基础数据和额外数据生成投影机视角下的深度图。
步骤504、根据基础数据和额外数据进行投影纹理映射。
2.1、对图11中所示的点云数据加密过程描述如下:
点云数据加密过程是直接在绘制时进行,而并非事先进行数据预处理。考虑到点云数据实际投影时的特点,如图13所示的点云投影示意图中,A31所标识位置为点云数据,A32所标识位置为投影线。从图13中可以看出,当点云数据正对相机时,因为点云自身的离散性造成的投影间隙最大,实际使用中也是这些间隙会影响到后续的投影纹理映射效果。因此,点云加密的过程就是填补这些空隙。在数据预处理阶段,每个点云均已完成了其法向的估算Normalpointclud,为了提升计算速度,将所有待绘制的点云数据的法向传入到图像处理器(GPU)中,在顶点着色器(Vertex shader)里完成法向数据从模型坐标系到相机坐标系下的转换,得到Normalpointclud-camera。若Normalpointclud-camera近似指向相机,则这一个点云需进行加密。其中,所述Normalpointclud代表估算出的点云法向信息(模型坐标系下);所述Normalpointclud-camera代表转换到相机坐标系下的点云法向信息。
加密的过程是通过在当前点云位置周边指定的范围内,且处于与Normalpointclud垂直的平面内均匀撒点来实现,整个过程也在Vertex Shader内完成,随后通过变换反馈(transform feedback)技术来获取这一数据,可以从GPU中获取数据。
2.2、对图11中所示的深度测试过程描述如下:
深度测试阶段的目的是为了能够生成一张为投影纹理映射提供参考数据的深度图,减少错误映射出现的可能性。这一过程的输入数据为基础点云数据和加密过后的额外点云数据,数据处理过程为,在进行投影纹理映射的投影机位置,按照投影机的参数,对输入数据进行绘制,以此得到一副宽高比与进行投影映射的图像相同的一张图像Depthpointcloud-project,图像中每一个像素点记录当前映射区域的深度值。其中,所述Depthpointcloud-project代表投影机视角下绘制出的点云深度图。
2.3、对图11中所示的投影纹理映射描述如下:
完成了数据加密和深度计算后,便可以进行投影纹理映射了。投影纹理映射技术是在绘制过程中,实时确定每一个着色点的纹理坐标的过程。
投影纹理映射流程,如图14所示,包括:
步骤601、获取待绘制点云数据。
步骤602、坐标数据转换,包括:投影机坐标系下和相机坐标系下的坐标数据转换。
步骤603、计算当前点在街景影像和深度图中的坐标。
步骤604、判断纹理坐标是否∈[0,1],如果是,则执行步骤605;否则,执行步骤608。
步骤605、计算当前点深度值。
步骤606、判断当前深度是否≤深度图深度,如果是,则执行步骤;否则,执行步骤608。
步骤607、取街景影像中的RGB值,执行步骤609。
步骤608、取点云基础颜色值。
步骤609、绘制点云数据。
在进行投影纹理映射时,Vertex Shader的处理阶段处理进行正常的点云位置数据的坐标转换外(即由模型坐标系转换到相机坐标系),同时还需要进行模型坐标系到投影机坐标系的转换,这一步骤目的在于计算出当前点云在街景影像和深度图中的位置(即对应的纹理坐标)。完成了坐标变换的步骤后,便可以在Fragment Shader中对需要着色的点云数据进行着色。着色过程首先根据计算出的纹理坐标进行判断,确定其是否处于投影范围内;随后根据其在投影机坐标系下的深度值与深度图中的深度值进行对比,以确定其是否会被其它点云数据所遮挡;最后根据以上对比结果决定当前点云数据真实的颜色值,以此进行着色,完成整个投影纹理映射的过程。采用本实施例,充分考虑了道路标志物信息展示的便捷性以及彩色点云数据构建的复杂性等情况,依靠投影纹理映射技术,将二维影像直接映射到三维空间中,在不增加点云数据量的同时,给点云附上颜色信息,便于人工标识。这一方法可以对投影影像进行实时调节,免去事先进行相机标定的繁杂过程;并且可以在同一区域内映射多幅图像,进而达到更好的识别效果。而且,由于点云本身具有正确的深度信息,纹理图像映射到点云图像上时,切换观察角度并不会出现影像拉伸的情况,利于人工标定标志物信息。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种标志数据的展示方法,其特征在于,所述方法包括:
采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;
根据所述第一数据建立三维的虚拟空间;
获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;
根据提取的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;
根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述采集第一数据后,对所述第一数据进行数据重新分块的预处理操作。
3.根据权利要求2所述的方法,其特征在于,对所述第一数据进行数据重新分块的预处理操作,包括:
获取所述第一数据所在的所述采集区域;
根据指定的区域划分参数对所述采集区域进行划分,得到至少两个第一目标区域;
根据区域边界增强参数对所述至少两个第一目标区域的边界进行扩大,得到至少两个第二目标区域;
对所述至少两个第二目标区域中的每一个采样点,以k邻域点为参照进行去噪及法向估算后得到法向信息,将所述法向信息加入到所述第一数据中。
4.根据权利要求3所述的方法,其特征在于,对所述第一数据进行数据重新分块的预处理操作,还包括:
所述进行去噪及法向估算后,对所述至少两个第二目标区域中的每一个第二目标区域进行处理时,获取所述第一目标区域的尺寸参数;
根据所述第一目标区域的尺寸参数对每一个第二目标区域进行裁剪处理,以将超出第一目标区域尺寸范围的多余区域删除。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
获取包含所述法向信息的第一数据;
根据所述法向信息对所述第一数据进行数据加密处理,得到包含增补信息的第四数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试,绘制得到图像中的每一个像素点,记录有当前映射区域的深度值。
7.根据权利要求5所述的方法,其特征在于,根据提出的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,包括:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,提取投影纹理映射策略,对所述待绘制数据按照所述投影纹理映射策略进行映射时,判断当前是否需要进行坐标系转换;
需要进行坐标系转换时,则先进行坐标系转换,坐标系转换成功后对所述待绘制数据进行绘制并实时确定所述待绘制数据中每一个着色点对应的纹理坐标;
对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,以得到所述第三数据。
8.根据权利要求7所述的方法,其特征在于,对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,包括:
根据所述每一个着色点对应的纹理坐标进行判断,以确定所述待绘制数据中需要着色的点是否处于投影区域内,如果是,则根据所述待绘制数据中需要着色的点分别在投影机坐标系下的第一深度值与在深度图中的第二深度值进行比对得到的比对结果来确定所述待绘制数据中需要着色的点对应的颜色值,以所述颜色值对所述待绘制数据中需要着色的点进行所述颜色添加处理;
所述深度图为根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试时绘制得到的图像。
9.一种终端,其特征在于,所述终端包括:
采集单元,用于采集第一数据,所述第一数据用于标识所采集区域中至少一个采样点在三维空间中的位置;
空间建模单元,用于根据所述第一数据建立三维的虚拟空间;
获取单元,用于获取第二数据,所述第二数据用于表征所采集区域中将目标对象呈现在二维空间中得到的媒体信息;
投影单元,用于根据提取的投影策略,将所述第二数据投影到所述三维的虚拟空间中进行展示,得到包含第三数据的展示结果;
标识单元,用于根据所述第三数据将所述目标对象以对应的颜色标识对其标志属性信息进行区分。
10.根据权利要求9所述的终端,其特征在于,所述终端还包括:
预处理单元,用于对所述第一数据进行数据重新分块的预处理操作。
11.根据权利要求10所述的终端,其特征在于,所述预处理单元,进一步用于:
获取所述第一数据所在的所述采集区域;
根据指定的区域划分参数对所述采集区域进行划分,得到至少两个第一目标区域;
根据区域边界增强参数对所述至少两个第一目标区域的边界进行扩大,得到至少两个第二目标区域;
对所述至少两个第二目标区域中的每一个采样点,以k邻域点为参照进行去噪及法向估算后得到法向信息,将所述法向信息加入到所述第一数据中。
12.根据权利要求11所述的终端,其特征在于,所述预处理单元,进一步用于:
所述进行去噪及法向估算后,对所述至少两个第二目标区域中的每一个第二目标区域进行处理时,获取所述第一目标区域的尺寸参数;
根据所述第一目标区域的尺寸参数对每一个第二目标区域进行裁剪处理,以将超出第一目标区域尺寸范围的多余区域删除。
13.根据权利要求11或12所述的终端,其特征在于,所述终端还包括:加密单元,用于:
获取包含所述法向信息的第一数据;
根据所述法向信息对所述第一数据进行数据加密处理,得到包含增补信息的第四数据。
14.根据权利要求13所述的终端,其特征在于,所述终端还包括:深度测试单元,用于:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试,绘制得到图像中的每一个像素点,记录有当前映射区域的深度值。
15.根据权利要求13所述的终端,其特征在于,所述投影单元,进一步用于:
获取包含所述法向信息的第一数据;
获取包含增补信息的第四数据;
将所述第一数据和所述第四数据构成的数据集作为待绘制数据,根据投影纹理映射策略,对所述待绘制数据按照所述投影纹理映射策略进行映射时,判断当前是否需要进行坐标系转换;
需要进行坐标系转换时,则先进行坐标系转换,坐标系转换成功后对所述待绘制数据进行绘制并实时确定所述待绘制数据中每一个着色点对应的纹理坐标;
对所述待绘制数据中需要着色的点根据所述纹理坐标进行颜色添加处理,以得到所述第三数据。
16.根据权利要求15所述的终端,其特征在于,所述投影单元,进一步用于:
根据所述每一个着色点对应的纹理坐标进行判断,以确定所述待绘制数据中需要着色的点是否处于投影区域内,如果是,则根据所述待绘制数据中需要着色的点分别在投影机坐标系下的第一深度值与在深度图中的第二深度值进行比对得到的比对结果来确定所述待绘制数据中需要着色的点对应的颜色值,以所述颜色值对所述待绘制数据中需要着色的点进行所述颜色添加处理;
所述深度图为根据投影参数对所述待绘制数据进行绘制的过程中进行深度测试时绘制得到的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710150737.5A CN108573522B (zh) | 2017-03-14 | 2017-03-14 | 一种标志数据的展示方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710150737.5A CN108573522B (zh) | 2017-03-14 | 2017-03-14 | 一种标志数据的展示方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108573522A true CN108573522A (zh) | 2018-09-25 |
CN108573522B CN108573522B (zh) | 2022-02-25 |
Family
ID=63578497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710150737.5A Active CN108573522B (zh) | 2017-03-14 | 2017-03-14 | 一种标志数据的展示方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108573522B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109814137A (zh) * | 2019-02-26 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 定位方法、装置和计算设备 |
CN111179152A (zh) * | 2018-11-12 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 一种道路标识识别方法及装置、介质、终端 |
CN111754564A (zh) * | 2019-03-28 | 2020-10-09 | 杭州海康威视***技术有限公司 | 视频展示方法、装置、设备及存储介质 |
CN111935153A (zh) * | 2020-08-11 | 2020-11-13 | 北京天融信网络安全技术有限公司 | 基于can总线的目标报文提取方法、装置及存储介质 |
WO2023029858A1 (zh) * | 2021-09-01 | 2023-03-09 | 腾讯科技(深圳)有限公司 | 点云媒体文件的封装与解封装方法、装置及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6268862B1 (en) * | 1996-03-08 | 2001-07-31 | Canon Kabushiki Kaisha | Three dimensional virtual space generation by fusing images |
CN103093191A (zh) * | 2012-12-28 | 2013-05-08 | 中电科信息产业有限公司 | 一种三维点云数据结合数字影像数据的物体识别方法 |
US20130121564A1 (en) * | 2010-07-05 | 2013-05-16 | Kabushiki Kaisha Topcon | Point cloud data processing device, point cloud data processing system, point cloud data processing method, and point cloud data processing program |
CN105512646A (zh) * | 2016-01-19 | 2016-04-20 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及终端 |
CN105913485A (zh) * | 2016-04-06 | 2016-08-31 | 北京小小牛创意科技有限公司 | 一种三维虚拟场景的生成方法及装置 |
CN106204656A (zh) * | 2016-07-21 | 2016-12-07 | 中国科学院遥感与数字地球研究所 | 基于视频和三维空间信息的目标定位和跟踪***及方法 |
-
2017
- 2017-03-14 CN CN201710150737.5A patent/CN108573522B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6268862B1 (en) * | 1996-03-08 | 2001-07-31 | Canon Kabushiki Kaisha | Three dimensional virtual space generation by fusing images |
US20130121564A1 (en) * | 2010-07-05 | 2013-05-16 | Kabushiki Kaisha Topcon | Point cloud data processing device, point cloud data processing system, point cloud data processing method, and point cloud data processing program |
CN103093191A (zh) * | 2012-12-28 | 2013-05-08 | 中电科信息产业有限公司 | 一种三维点云数据结合数字影像数据的物体识别方法 |
CN105512646A (zh) * | 2016-01-19 | 2016-04-20 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及终端 |
CN105913485A (zh) * | 2016-04-06 | 2016-08-31 | 北京小小牛创意科技有限公司 | 一种三维虚拟场景的生成方法及装置 |
CN106204656A (zh) * | 2016-07-21 | 2016-12-07 | 中国科学院遥感与数字地球研究所 | 基于视频和三维空间信息的目标定位和跟踪***及方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179152A (zh) * | 2018-11-12 | 2020-05-19 | 阿里巴巴集团控股有限公司 | 一种道路标识识别方法及装置、介质、终端 |
CN111179152B (zh) * | 2018-11-12 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 一种道路标识识别方法及装置、介质、终端 |
CN109814137A (zh) * | 2019-02-26 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 定位方法、装置和计算设备 |
CN109814137B (zh) * | 2019-02-26 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 定位方法、装置和计算设备 |
CN111754564A (zh) * | 2019-03-28 | 2020-10-09 | 杭州海康威视***技术有限公司 | 视频展示方法、装置、设备及存储介质 |
CN111754564B (zh) * | 2019-03-28 | 2024-02-20 | 杭州海康威视***技术有限公司 | 视频展示方法、装置、设备及存储介质 |
CN111935153A (zh) * | 2020-08-11 | 2020-11-13 | 北京天融信网络安全技术有限公司 | 基于can总线的目标报文提取方法、装置及存储介质 |
CN111935153B (zh) * | 2020-08-11 | 2022-04-26 | 北京天融信网络安全技术有限公司 | 基于can总线的目标报文提取方法、装置及存储介质 |
WO2023029858A1 (zh) * | 2021-09-01 | 2023-03-09 | 腾讯科技(深圳)有限公司 | 点云媒体文件的封装与解封装方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108573522B (zh) | 2022-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108573522A (zh) | 一种标志数据的展示方法及终端 | |
WO2021121306A1 (zh) | 视觉定位方法和*** | |
CN102214000B (zh) | 用于移动增强现实***的目标物体混合注册方法及*** | |
CN108694882A (zh) | 用于标注地图的方法、装置和设备 | |
US11815359B2 (en) | Method, device and system for processing positioning information | |
CN110795819A (zh) | 自动驾驶仿真场景的生成方法和装置、存储介质 | |
CN101086806A (zh) | 一种基于交通信息网格平台的车载终端的***及方法 | |
CN111044061A (zh) | 一种导航方法、装置、设备及计算机可读存储介质 | |
CN106289298A (zh) | 兴趣点的显示方法及装置、车载导航*** | |
CN114724117B (zh) | 车道线关键点数据生成方法、装置、电子设备及存储介质 | |
CN105120237A (zh) | 基于4g技术的无线图像监控方法 | |
CN106203292A (zh) | 一种图像的增强现实处理的方法、装置及移动终端 | |
CN109934834A (zh) | 图像轮廓提取方法和*** | |
CN106845324A (zh) | 路牌信息的处理方法和装置 | |
US20210081711A1 (en) | Systems and methods for automatically generating training image sets for an environment | |
CN104634740A (zh) | 雾霾能见度监测方法和装置 | |
CN110135609A (zh) | 一种基于大数据共建共享的智慧旅游***及方法 | |
CN113312963A (zh) | 一种光伏电站的巡检方法、巡检装置以及存储介质 | |
CN112883900A (zh) | 遥感影像裸地反演可视图的方法及装置 | |
CN115170792A (zh) | 红外图像处理方法、装置及设备、存储介质 | |
CN109949414A (zh) | 室内地图的构建方法及装置 | |
CN112053440A (zh) | 单体化模型的确定方法及通信装置 | |
CN109857826A (zh) | 一种摄像机可视域标注***及其标注方法 | |
CN107560610A (zh) | 一种电子设备及其应用的信息显示方法及*** | |
CN103295238A (zh) | 安卓平台上基于roi运动检测的视频实时定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |