CN117115772B - 一种图像处理的方法、装置、设备、存储介质及程序产品 - Google Patents
一种图像处理的方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN117115772B CN117115772B CN202311361924.XA CN202311361924A CN117115772B CN 117115772 B CN117115772 B CN 117115772B CN 202311361924 A CN202311361924 A CN 202311361924A CN 117115772 B CN117115772 B CN 117115772B
- Authority
- CN
- China
- Prior art keywords
- component
- image
- identification
- feature
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 11
- 238000012545 processing Methods 0.000 claims abstract description 163
- 239000013598 vector Substances 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 abstract description 24
- 238000013473 artificial intelligence Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理的方法、装置、设备、存储介质及程序产品,至少涉及人工智能等技术,提高图像间的匹配效果,提升地图更新的能力。该方法包括:获取至少一个图像对,每个图像对包括第一道路图像和第二道路图像,第一道路图像包括至少一个第一标识部件,第二道路图像包括至少一个第二标识部件;针对每个图像对,提取每个第一标识部件的特征向量和每个第二标识部件的特征向量;将每个第一标识部件的特征向量分别与每个第二标识部件的特征向量进行两两之间的相似距离计算,得到对应第一标识部件与第二标识部件之间的部件相似度;基于每个部件相似度确定对应图像对的图像匹配结果。
Description
技术领域
本申请实施例涉及人工智能技术领域,具体涉及一种图像处理的方法、装置、设备、存储介质及程序产品。
背景技术
在地图道路数据采集的过程中,为了实现对地图信息进行更新,需要将新采集的道路图像与已经采集的历史道路图像进行比对,从而找到发生变化的地标标识等,进而更新地图。
判断新采集的道路图像与历史道路图像是否匹配,传统方式是利用Resnet、InceptionV4等卷积神经网络对大量的标注数据对进行训练,以训练得到深度学习分类网络。这样,在将新采集的道路图像与历史道路图像进行对齐处理后,再基于该深度学习分类网络对对齐后的图像对进行高级语义特征提取并分类,以得到最终的图像匹配结果,进而通过该图像匹配结果能够获知新采集的道路图像与历史道路图像是否匹配。
然而,该传统匹配方式仅仅通过图像对齐处理,并依赖于深度学习分类网络对对齐后的图像对进行高级语义特征提取,并没有更细致地理解图像对中更精细化的图像信息,无法准确地确定图像匹配结果,匹配效果较差,导致出现新旧道路图像匹配错误带来的地图更新错误的问题。
发明内容
本申请实施例提供了一种图像处理的方法、装置、设备、存储介质及程序产品,能够用于准确地确定图像对的图像匹配结果,提升匹配效果,从而避免发生因出现新旧道路图像匹配错误带来的地图更新错误的问题。
第一方面,本申请实施例提供了一种图像处理的方法。该方法包括:获取至少一个图像对,每个所述图像对包括第一道路图像和第二道路图像,所述第二道路图像的采集时间早于所述第一道路图像的采集时间,所述第一道路图像包括至少一个第一标识部件,所述第二道路图像包括至少一个第二标识部件,每个所述第一标识部件用于指示所述第一道路图像中所显示的地标标识,每个所述第二标识部件用于指示所述第二道路图像中所显示的地标标识;针对每个所述图像对,提取每个所述第一标识部件的特征向量,以及每个所述第二标识部件的特征向量;将每个所述第一标识部件的特征向量分别与每个所述第二标识部件的特征向量进行两两之间的相似距离计算,得到对应所述第一标识部件与所述第二标识部件之间的部件相似度;基于每个所述部件相似度确定对应所述图像对的图像匹配结果。
第二方面,本申请实施例提供一种图像处理装置。该图像处理装置包括但不限于终端设备、服务器等。该图像处理装置包括获取单元和处理单元。其中,获取单元,用于获取至少一个图像对,每个所述图像对包括第一道路图像和第二道路图像,所述第二道路图像的采集时间早于所述第一道路图像的采集时间,所述第一道路图像包括至少一个第一标识部件,所述第二道路图像包括至少一个第二标识部件,每个所述第一标识部件用于指示所述第一道路图像中所显示的地标标识,每个所述第二标识部件用于指示所述第二道路图像中所显示的地标标识。处理单元,用于提取每个所述第一标识部件的特征向量,以及每个所述第二标识部件的特征向量。所述处理单元,用于将每个所述第一标识部件的特征向量分别与每个所述第二标识部件的特征向量进行两两之间的相似距离计算,得到对应所述第一标识部件与所述第二标识部件之间的部件相似度。所述处理单元,用于基于每个所述部件相似度确定对应所述图像对中的图像匹配结果。
在一些可选的实施方式中,处理单元用于:基于预设特征提取模型提取所述第一道路图像的图像特征;基于至少一个预设候选检测框对所述第一道路图像的图像特征进行特征提取,得到每个所述第一标识部件的特征向量。
在另一些可选的实施方式中,处理单元用于:基于预设特征提取模型提取所述第二道路图像的图像特征;基于至少一个预设候选检测框对所述第二道路图像的图像特征进行特征提取,得到每个所述第二标识部件的特征向量。
在另一些可选的实施方式中,每个所述第一标识部件的特征向量包括对应所述第一标识部件的第一位置特征、第一旋转角度特征以及第一语义特征中的一个或多个,每个所述第二标识部件的特征向量包括对应所述第二标识部件的第二位置特征、第二旋转角度特征以及第二语义特征中的一个或多个;处理单元用于:计算第一子部件的所述第一位置特征与第二子部件的所述第二位置特征之间的第一相似距离,所述第一子部件为所述至少一个第一标识部件中的任意一个,所述第二子部件为所述至少一个第二标识部件中的任意一个;计算所述第一子部件的所述第一旋转角度特征与所述第二子部件的所述第二旋转角度特征之间的第二相似距离;计算所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征之间的第三相似距离;对所述第一相似距离、所述第二相似距离以及所述第三相似距离中的一个或多个进行加权求和处理,得到所述第一子部件与所述第二子部件之间的部件相似度。
在另一些可选的实施方式中,处理单元用于:基于预设相似度算法对第一子部件的所述第一位置特征与第二子部件的所述第二位置特征进行计算,得到第一子部件的所述第一位置特征与第二子部件的所述第二位置特征之间的第一相似距离。
在另一些可选的实施方式中,处理单元用于:计算所述第一子部件中的所述第一旋转角度特征中各个元素与所述第二子部件中的所述第二旋转角度特征中相同元素位置上的元素之间的差值;计算每个所述差值的绝对值之和,得到所述第一子部件的所述第一旋转角度特征与所述第二子部件的所述第二旋转角度特征之间的第二相似距离。
在另一些可选的实施方式中,处理单元用于:对所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征进行向量內积计算,得到所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征之间的第三相似距离。
在另一些可选的实施方式中,处理单元用于:将每个所述部件相似度分别与第一预设阈值进行比较,确定目标标识部件对,所述目标标识部件对所对应的部件相似度大于所述第一预设阈值;统计所述目标标识部件对的数目、所述第一标识部件的数目以及所述第二标识部件的数目;基于所述目标标识部件对的数目、所述第一标识部件的数目以及所述第二标识部件的数目确定对应所述图像对的图像匹配结果。
在另一些可选的实施方式中,处理单元用于:基于所述目标标识部件对的数目、所述第一标识部件的数目以及所述第二标识部件的数目计算第一值,所述第一值用于指示对应所述图像对的所述第一道路图像与所述第二道路图像中标识部件的匹配程度;在所述第一值小于第二预设阈值时,确定对应所述图像对的图像匹配结果为第一结果,所述第一结果用于指示所述第一道路图像与所述第二道路图像之间存在标识部件差异。
在另一些可选的实施方式中,处理单元用于:从所述第一标识部件的数目和所述第二标识部件的数目中确定最大数目;将所述目标标识部件对的数目除以所述最大数目,得到所述第一值。
在另一些可选的实施方式中,处理单元还用于:在所述第一值小于第二预设阈值时,确定对应所述图像对的图像匹配结果为第一结果之后,基于所述第一结果确定所述第一道路图像与所述第二道路图像中的标识部件变化区域;基于所述标识部件变化区域对所述第二道路图像进行图像更新。
在另一些可选的实施方式中,获取单元还用于:在获取至少一个图像对之前,获取至少一个第一道路图像和至少一个第二道路图像。处理单元,用于对每个所述第一道路图像和每个所述第二道路图像分别进行两两图像对齐处理,得到图像对齐结果,所述图像对齐结果包括至少一个所述图像对。
本申请实施例第三方面提供了一种图像处理设备,包括:存储器、输入/输出(I/O)接口和存储器。存储器用于存储程序指令。处理器用于执行存储器中的程序指令,以执行上述第一方面的实施方式对应的图像处理的方法。
本申请实施例第四方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行以执行上述第一方面的实施方式对应的方法。
本申请实施例第五方面提供了一种包含指令的计算机程序产品,当其在计算机或者处理器上运行时,使得计算机或者处理器执行上述以执行上述第一方面的实施方式对应的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,首先获取至少一个图像对,并且每个图像对包括第一道路图像和第二道路图像,第二道路图像的采集时间早于第一道路图像的采集时间。另外,在第一道路图像中,包括至少一个第一标识部件,并且每个第一标识部件能够指示出第一道路图像中所显示的地标标识。同样地,第二道路图像包括至少一个第二标识部件,并且每个第二标识部件用来指示第二道路图像中所显示的地标标识。针对每个图像对,通过提取每个第一标识部件的特征向量以及每个第二标识部件的特征向量,进而将每个所述第一标识部件的特征向量分别与每个所述第二标识部件的特征向量进行两两之间的相似距离计算,得到对应所述第一标识部件与所述第二标识部件之间的部件相似度。这样,再基于每个部件相似度确定对应图像对的图像匹配结果。通过上述方式,通过提取图像对中每个第一标识部件的特征向量和每个第二标识部件的特征向量,实现更精细化地理解图像对中的标识部件的语义,实现对已经对齐完成的图像对进行准确地局部判断。这样,再计算两两标识部件的特征向量之间的部件相似度,进而基于部件相似度准确地确定图像对的图像匹配结果,提升匹配效果,能够有效解决地因出现新旧道路图像匹配错误带来的地图更新错误的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的***框架示意图;
图2示出了本申请实施例提供的图像处理的方法的一种流程图;
图3A示出了本申请实施例提供的图像对的一个可选示意图;
图3B示出了本申请实施例提供的图像对的另一可选示意图;
图4示出了本申请实施例提供的特征提取的流程示意图;
图5示出了本申请实施例提供的卷积神经网络的流程示意图;
图6示出了本申请实施例提供的预选候选检测框的示意图;
图7示出了本申请实施例提供的标识部件匹配的流程示意图;
图8示出了本申请实施例中提供的图像处理装置的一个功能模块示意图;
图9示出了本申请实施例中提供的图像处理设备的硬件结构示意图。
实施方式
本申请实施例提供了一种图像处理的方法、装置、设备、存储介质及程序产品,能够用于准确地确定图像对的图像匹配结果,提升匹配效果,从而避免发生因出现新旧道路图像匹配错误带来的地图更新错误的问题。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着人工智能(artificial intelligence, AI)技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
基于人工智能的图像处理技术,是一种对图像中的物体进行定位和识别的技术,是人工智能领域中的计算机视觉中的基本任务之一。目标检测被广泛地应用于各种图像处理设备中,能够提高对图像中的物体的识别效率。
随着科技的不断发展,地图已经成为了人们日常生活中不可或缺的利器。无论是出门旅游、导航出行还是查找地理信息,地图都成为了必不可少的工具。通过地图,能够为我们提供路程、时间、交通方式等实用信息,为人们更好地规划出行。通过地理信息***可以将真实世界中对道路、建筑物等测量数据、地形数据以及其他地理要素的信息进行存储、查询、分析和显示,从而生成地图。因此,当真实世界中的地理要素等信息一旦发生变更,则需要及时地更新相应的地图,避免因未及时更新地图而出现影响人们正常的出行规划等问题。
在判断地标等地理要素等信息是否发生变更,通常是将新采集的道路图像与历史道路图像进行匹配。然而,在传统匹配方式中仅仅通过图像对齐处理,并依赖于深度学习分类网络对对齐后的图像对进行高级语义特征提取,并没有更细致地理解图像对中更精细化的图像信息,无法高效且准确地确定图像匹配结果,匹配效果较差,从而导致出现新旧道路图像匹配错误带来的地图更新错误的问题。
因此,为了解决上述所描述的技术问题,本申请实施例提供了一种图像处理的方法。本申请实施例提供的图像处理的方法是基于人工智能实现的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中,主要涉及的人工智能技术包括上述所提及的计算机视觉技术、机器学习等方向。例如,可以涉及计算机视觉技术(computer vision,CV)中的图像处理、图像识别等;也可以涉及机器学习(machine learning,ML)中的深度学习(deeplearning),包括人工神经网络(artificial neural network)等;也可以涉及机器学习中的式教学习(teaching learning)中的主动学习(active learning)。
本申请提供的图像处理的方法可以应用于具有数据处理能力的图像处理设备,如终端设备、服务器、问答机器人等。其中,终端设备可以包括但不限于智能手机、台式计算机、笔记本电脑、平板电脑、智能音箱、车载设备、智能手表、可穿戴智能设备、智能语音交互设备、智能家电、飞行器等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器等,本申请不做具体限定。另外,所提及的终端设备以及服务器可以通过有线通信或无线通信等方式进行直接连接或间接连接,本申请不做具体限定。
上述所提及的图像处理设备可以具备实施上述提及的计算机视觉技术的能力。所提及的计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、轨迹追索和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请实施例中,图像处理设备可以通过该计算机视觉技术对待标注图像进行特征图提取等处理。
另外,该图像处理设备还可以具备机器学习能力。机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习、深度学习以及式教学习通常包括神经网络等技术。在本申请实施例提供的图像处理的方法中的采用人工智能模型,主要涉及对神经网络的应用,通过神经网络实现对道路图像中的标识部件进行特征提取等处理。
示例性地,本申请提供的图像处理的方法可应用于图1示出***框架示意图。如图1所示,该***框架至少包括拍照设备以及图像处理设备。其中,拍照设备可以对车辆行驶方向上的道路进行拍摄,以此获取当前采集时间的第一图像序列,该第一图像序列中包括至少一个第一道路图像。需说明,在该第一道路图像中,包括至少一个第一标识部件,每个所述第一标识部件用于指示所述第一道路图像中所显示的地标标识,例如包括但不限于道路名称、道路指示箭头、车道线等等,具体本申请实施例中不做限定。
拍照设备在采集到第一图像序列后,可以将该第一图像序列或者直接将每个第一道路图像发送至图像处理设备。这样,图像处理设备在获取到第一道路图像后,结合已经获取到第二道路图像进行对齐处理,从而获得至少一个图像对。示例性地,图像处理设备也可以从拍照设备中获取第二图像序列,进而从该第二图像序列中获取得到至少一个第二道路图像。
需说明,在每个图像对中包括第一道路图像和第二道路图像,并且第二道路图像的采集时间早于第一道路图像的采集时间。需说明,第二道路图像包括至少一个第二标识部件,并且每个所述第一标识部件用于指示所述第一道路图像中所显示的地标标识,每个所述第二标识部件用于指示所述第二道路图像中所显示的地标标识,例如包括但不限于道路名称、道路指示箭头、车道线等等,具体本申请实施例中不做限定。
这样,图像处理设备再针对每个图像对,提取对应提取每个第一标识部件的特征向量以及每个第二标识部件的特征向量,进而将每个所述第一标识部件的特征向量分别与每个所述第二标识部件的特征向量进行两两之间的相似距离计算,得到对应所述第一标识部件与所述第二标识部件之间的部件相似度。最后,再基于每个部件相似度确定对应图像对的图像匹配结果,以此该图像匹配结果确定是否需要对第一道路图像和第二道路图像进行图图差分处理。可选地,在基于图像匹配结果获知第一道路图像和第二道路图像之间存在标识部件变化区域的情况下,则基于标识部件变化区域对所述第二道路图像进行图像更新,进而输出更新后的第二道路图像,从而基于更新后的第二道路图像更新地图信息。通过上述方式,能够实现更精细化地理解图像对中的标识部件的语义,实现对已经匹配好的图像对进行准确地局部判断,提升匹配效果,能够有效解决地因出现新旧道路图像匹配错误带来的地图更新错误的问题。
需说明,上述图1中所提及的拍照设备可以是独立的具备图像采集功能和数据传输功能的拍照装置;又或者,图1中提及的拍照设备也可以是部署在车载设备、或者其他的终端设备中的一个拍摄功能模块,具体本申请实施例中不做限定。上述图1仅以独立具备图像采集功能和数据传输功能的拍照装置为例进行说明。
另外,本申请实施例提供的图像处理的方法还可以应用于人工智能、云技术、车联网、智慧交通等应用场景中,具体本申请实施例中不做限定。
下面结合附图对本申请实施例提供的一种图像处理的方法进行介绍。图2示出了本申请实施例提供的图像处理的方法的一种流程图。如图2所示,该图像处理的方法可以包括如下步骤:
201、获取至少一个图像对,每个图像对包括第一道路图像和第二道路图像,第二道路图像的采集时间早于第一道路图像的采集时间,第一道路图像包括至少一个第一标识部件,第二道路图像包括至少一个第二标识部件,每个第一标识部件用于指示第一道路图像中所显示的地标标识,每个第二标识部件用于指示第二道路图像中所显示的地标标识。
该示例中,通过拍照设备对车辆行驶前方的道路进行拍摄,能够采集到当前采集时间下的至少一个第一道路图像,以形成第一图像序列。随后,拍照设备将第一图像序列发送至图像处理设备。另外,在该当前采集时间之前,拍照设备也同样地采集到至少一个第二道路图像,形成第二图像序列,并将第二图像序列发送至图像处理设备。需说明,每个第二道路图像的采集时间均早于每个第一道路图像的采集时间。例如说,某车辆于2023年8月11日在A道路上行驶,此时可以通过该车辆中部署的拍照设备对该A道路进行拍摄,以此采集得到至少一个第二道路图像。同样地,某车辆于2023年10月11日在A道路上行驶,此时可以通过该车辆中部署的拍照设备对该A道路进行拍摄,以此采集得到至少一个第一道路图像。
这样,图像处理设备在接收到拍照设备发送的第一图像序列和第二图像序列后,能够对该第一图像序列中的每个第一道路图像和第二图像序列中的每个第二道路图像分别进行两两图像对齐处理,得到图像对齐结果。作为一个示意性的描述,以任意一个第一道路图像(例如第一图像)和任意一个第二道路图像(例如第二图像)为例,图像处理设备可以先获取第一图像相对于该第二图像,在第一运动方向上的第一运动偏移量,以及在第二运动方向上的第二运动偏移量。所描述的第一运动方向与第二运动方向不在相同的直线上。这样,图像处理设备再根据第一运动偏移量和第二运动偏移量确定第一图像的对齐检测结果,即得到图像对齐结果。
在该图像对齐结果中,包括至少一个图像对,并且每个图像对中包括第一道路图像和第二道路图像。由此,图像处理设备可以从图像对齐结果中获取得到至少一个图像对。
举例来说,图3A示出了本申请实施例提供的图像对的一个可选示意图。如图3A所示,在任意一个图像对中,包括第一道路图像和第二道路图像。例如在2023年10月11日采集的第一道路图像中,包括至少一个第一标识部件,例如图3A中示出的“西南新路”标识部件、“中央一街”标识部件、“广兰路”标识部件、“学院北路”标识部件等等。通过每个第一标识部件,能够获知第一道路图像中所显示的地标标识,例如通过“西南新路”标识部件能够了解到该第一道路图像中所显示的“西南新路”地标标识,进而明确出在当前道路下该“西南新路”的走向。
同样地,从图3A也可以看出,在2023年8月11日采集的第二道路图像中,也包括至少一个第二标识部件,例如“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件等,具体本申请中不做限定。需说明,针对每个第二标识部件,能够获知第二道路图像中所显示的地标标识,例如通过“第一大道”标识部件能够了解到该第二道路图像中所显示的“第一大道”地标标识,进而明确出在当前道路下该“第一大道”的走向。
又或者,图3B示出了本申请实施例提供的图像对的另一可选示意图。在如图3B所示的图像对中,所采集的第二道路图像中包括“第二大街”标识部件、“蒲民路”标识部件以及“新安路”标识部件这三个第二标识部件。所采集的第一道路图像中包括“第二大街”标识部件、“蒲河路”标识部件以及“新安路”标识部件这三个第一标识部件。
需说明,本申请提及第一道路图像可以包括但不限于交通标识牌、建筑物等,具体本申请实施例中不做限定。另外,所描述的第二道路图像也可以包括但不限于交通标识牌、建筑物等,具体不做限定说明。另外,上述图3A中示出的例如“西南新路”标识部件等,以及图3B示出的“第二大街”标识部件等,在实际应用中还可以是其他的标识部件,具体本申请实施例中不做限定。
202、针对每个图像对,提取每个第一标识部件的特征向量,以及每个第二标识部件的特征向量。
该示例中,虽然上述所描述的图像对中的第一道路图像和第二道路图像已经经过图像对齐处理,即对同一场景中的不同采集时刻的道路图像进行了初步适配。但是即便了对同一场景的道路图像进行匹配,也无法直接判定两个不同采集时间所采集到的道路图像是描述同一道路标识牌。譬如说,如上述图3A和图3B示出的图像对,虽为同一场景,但道路图像中的标识部件能内容发生了变化。譬如,图3A示出的图像对发生了道路名等标识部件新增(例如“中央一街”)的问题,图3B示出的图像对则是道路名等标识部件发生了变更(例如“蒲民路”和“蒲河路”)。
因此,若要判断图像对中的第一道路图像与第二道路图像是否为同一物理点或者是否为描述同一个道路标识牌等,此时需要图像处理设备对图像对中的道路图像做更精细化对比判断处理。示例性地,图像处理设备在获取得到每个图像对后,以任意一个图像对为例,可提取得到该图像对中第一道路图像中的每个第一标识部件的特征向量,以及第二道路图像中每个第二标识部件的特征向量。
示例性地,图4示出了本申请实施例提供的特征提取的流程示意图。如图4所示,图像处理设备在获取得到图像对后,可以将该图像对中的第一道路图像和第二道路图像分别作为卷积神经网络的输入,以通过该卷积神经网络提取到相应道路图像的图像特征。
具体地,针对上述图4中示出的卷积神经网络,其可以参照图5示出的网络结构示意图进行理解。如图5所示,在该卷积神经网络的结构中,至少包括特征提取层和候选框选取层。而且,在特征提取层中包括预设特征提取模型,并且该预设特征提取模型由卷积层(convolution)、归一化层(batch normalization,BN)以及激活层(relu)构成。
图像处理设备在获取得到每个图像对后,可以先将第一道路图像输入至预设特征提取模型中的卷积层中,以通过该卷积层提取相应的特征向量。进一步地,将卷积层输出的特征向量作为归一化层的输入,以通过该归一化层按照正态分布对卷积层输出的特征向量进行归一化处理,过滤掉特征向量中的噪声特征,得到过滤后的特征向量。最后,将归一化层所输出的过滤后的特征向量作为激活层的输入,以通过激活层完成对过滤后的特征向量的非线性映射处理,从而提取得到该第一道路图像的图像特征。
图像处理设备在提取得到第一道路图像的图像特征后,还可以通过例如区域提取网络(region proposal network,RPN)等模型,基于至少一个预设候选检测框对第一道路图像的图像特征进行特征提取,得到每个第一标识部件的特征向量。通过每个第一标识部件的特征向量,能够表征出对应的第一标识部件。
举例来说,图6示出了本申请实施例提供的预选候选检测框的示意图。如图6所示,可以以第一道路图像的图像特征中的每个特征点作为中心点,选取长宽比例分别为1:1、2:1以及1:2这三种比例,以及特征尺度分别为1、2、3所构成的9个预设候选检测框。这样,图像处理设备基于这9个预设候选检测框对第一道路图像的图像特征进行特征提取,进而提取得到每个第一标识部件的特征向量。譬如说,以前述图3A中示出的第一道路图像为例,可以提取得到“西南新路”标识部件、“中央一街”标识部件、“广兰路”标识部件、“学院北路”标识部件这4个第一标识部件的特征向量,例如使用F11至F14进行表示。
需说明,所提及的每个第一标识部件的特征向量,可以包括但不限于对应的第一标识部件的第一位置特征、第一旋转角度特征以及第一语义特征中的一个或多个,具体本申请实施例中不做限定,具体可以参照前述图4中示出的内容进行理解。所提及的第一位置特征能够用于明确该第一标识部件在第一道路图像中的坐标位置。第一旋转角度特征用于指示对应的第一标识部件在第一道路图像中的旋转角度属性。第一语义特征能够指示对应的第一标识部件的语义信息。
同样地,针对如何提取第二道路图像中每个第二标识部件的特征向量,图像处理设备也可将第二道路图像输入至图5中示出的预设特征提取模型的卷积层中,以通过该卷积层提取相应的特征向量。进一步地,将卷积层输出的特征向量作为归一化层的输入,以通过该归一化层按照正态分布对卷积层输出的特征向量进行归一化处理,过滤掉特征向量中的噪声特征,得到过滤后的特征向量。最后,将所输出的过滤后的特征向量作为激活层的输入,以通过激活层完成对归一化层特征向量的非线性映射处理,从而提取得到该第二道路图像的图像特征。这样,图像处理设备在提取得到第二道路图像的图像特征后,还可以通过图5中示出的RPN等网络模型,基于至少一个预设候选检测框对第二道路图像的图像特征进行特征提取,得到每个第二标识部件的特征向量。需说明,此处所描述的预设候选检测框,也可以参照前述图5中示出的内容进行理解,此处不做赘述。
譬如说,以前述图3A中示出的第二道路图像为例,可以提取得到“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件这5个第二标识部件的特征向量,例如使用F21至F25进行表示。
需说明,所提及的每个第二标识部件的特征向量,可以包括但不限于对应的第二标识部件的第二位置特征、第二旋转角度特征以及第二语义特征中的一个或多个,具体本申请实施例中不做限定,具体可以参照前述图4中示出的内容进行理解。所提及的第二位置特征能够用于明确该第二标识部件在第二道路图像中的坐标位置。第二旋转角度特征,能够用于指示对应的第二标识部件在第二道路图像中的旋转角度属性。第二语义特征能够指示对应的第二标识部件的语义信息。
203、将每个第一标识部件的特征向量分别与每个第二标识部件的特征向量进行两两之间的相似距离计算,得到对应第一标识部件与第二标识部件之间的部件相似度。
该示例中,在进行精细化比对的过程中,针对每个图像对,图像处理设备在提取到每个第一标识部件的特征向量以及每个第二标识部件的特征向量后,可以将每个第一标识部件的特征向量分别与每个第二标识部件的特征向量进行两两之间的相似距离计算,得到对应第一标识部件与第二标识部件之间的部件相似度。
举例来说,图7示出了本申请实施例提供的标识部件匹配的流程示意图。如图7所示,在前述图3A示出的图像对为例的基础上,在经过前述步骤202的方式可以提取得到第一道路图像中的“西南新路”标识部件、“中央一街”标识部件、“广兰路”标识部件、“学院北路”标识部件这4个第一标识部件的特征向量为F11、F12、F13以及F14。同样地,提取得到第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件这5个第二标识部件的特征向量为F21、F22、F23、F24、F25。
进一步地,图像处理设备可以分别计算F11与F21、F22、F23、F24、F25之间的相似距离,例如所计算得到相似距离为LF11F21、LF11F22、LF11F23、LF11F24、LF11F25。通过这5个相似距离LF11F21、LF11F22、LF11F23、LF11F24、LF11F25,则能够反映出第一道路图像中的“西南新路”标识部件分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件之间的部件相似度。譬如说,通过该相似距离LF11F21,能够反映出第一道路图像中的“西南新路”标识部件与第二道路图像中的“西南新路”标识部件之间的部件相似度。
同样地,图像处理设备按照类似的处理思路,计算F12分别与F21、F22、F23、F24、F25之间的相似距离,由此确定出第一道路图像中的“中央一街”标识部件分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件之间的部件相似度。同样地,图像处理设备按照类似的处理思路,计算F13分别与F21、F22、F23、F24、F25之间的相似距离,由此确定出第一道路图像中的“广兰路”标识部件分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件之间的部件相似度。同样地,图像处理设备按照类似的处理思路,计算F14分别与F21、F22、F23、F24、F25之间的相似距离,由此确定出第一道路图像中的“学院北路”标识部件分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件之间的部件相似度。
从前述步骤202所描述的内容可知,每个第一标识部件的特征向量包括对应第一标识部件的第一位置特征、第一旋转角度特征以及第一语义特征中的一个或多个;以及每个第二标识部件的特征向量包括对应第二标识部件的第二位置特征、第二旋转角度特征以及第二语义特征中的一个或多个。那么,以至少一个第一标识部件中的任意一个部件(即第一子部件)、以至少一个第二标识部件中的任意一个部件(即第二子部件)为例,针对如何计算第一标识部件与第二标识部件两两之间的部件相似度,其过程可以参照下述方式来实现,即:
图像处理设备可以计算第一子部件的第一位置特征与第二子部件的第二位置特征之间的第一相似距离。作为一个示意性的描述,可以基于预设相似度算法对第一对第一子部件的第一位置特征与第二子部件的第二位置特征进行计算,由此计算得到第一子部件的第一位置特征与第二子部件的第二位置特征之间的第一相似距离。所描述的预设相似度算法包括但不限于余弦相似度算法、欧几里得距离算法等,具体本申请实施例中不做限定。
同样地,图像处理设备还可以计算第一子部件的第一旋转角度特征与第二子部件的第二旋转角度特征之间的第二相似距离。作为一个示意性的描述,可以借助1-范数算法来计算第一子部件的第一旋转角度特征与第二子部件的第二旋转角度特征之间的第二相似距离。具体地,图像处理设备先计算第一子部件中的第一旋转角度特征中各个元素与第二子部件中的第二旋转角度特征中相同元素位置上的元素之间的差值。进一步地,图像处理设备计算每个差值的绝对值之和,以计算得到第一子部件的第一旋转角度特征与第二子部件的第二旋转角度特征之间的第二相似距离。
同样地,图像处理设备还可以计算第一子部件的第一语义特征与第二子部件的第二语义特征之间的第三相似距离。作为一个示意性的描述,图像处理设备可以对第一子部件的第一语义特征与第二子部件的第二语义特征进行向量內积计算,以此计算出第一子部件的第一语义特征与第二子部件的第二语义特征之间的第三相似距离。
这样,在计算出第一相似距离、第二相似距离以及第三相似距离后,图像处理设备再对第一相似距离、第二相似距离以及第三相似距离中的一个或多个进行加权求和处理,得到第一子部件与第二子部件之间的部件相似度。譬如说,以第一相似距离、第二相似距离以及第三相似距离为例,所计算得到的第一子部件与第二子部件之间的部件相似度可以表示为:
s=w1·||(xi,yi),(xj,yj)||2+w2·|φi-φj|+w3·(Fi⊕Fj)
其中,s表示第一子部件与第二子部件之间的部件相似度,w1表示第一相似度距离的权重,(xi,yi)表示第一子部件的第一位置特征,(xj,yj)表示第二子部件的第一位置特征,||(xi,yi),(xj,yj)||2表示第一相似距离,φi表示第一子部件的第一旋转角度特征,φj表示第二子部件的第二旋转角度特征,|φi-φj|表示第二相似距离,Fi表示第一子部件的第一语义特征,Fj表示第二子部件的第二语义特征,(Fi⊕Fj)表示第三相似距离,⊕表示向量內积,w2表示第二相似度距离的权重,w3表示第三相似度距离的权重,i表示至少一个第一标识部件中的任意一个标识部件(即前述提及的第一子部件),j表示至少一个第二标识部件中的任意一个标识部件(即前述提及的第二子部件)。
需说明,上述提及的w1、w2、w3的取值可以视处理需求来实现自定义选取,仅需要w1、w2、w3的取值之和为1即可。
举例来说,以前述图7中示出的特征向量F11与F22(即i=1,j=2)为例进行说明,可以从特征向量F11中获得“西南新路”标识部件的第一位置特征、第一旋转角度特征、第一语义特征分别为(x1,y1)、φ1、F1;从特征向量F22中获得“江大路”标识部件的第二位置特征、第二旋转角度特征、第二语义特征分别为(x2,y2)、φ2、F2。假设w1、w2、w3的取值分别为0.5、0.2、0.3,此时按照上述公式可以计算出F11与F22之间的相似距离为0.5·||(x1,y1),(x2,y2)||2+0.2·|φ1-φ2|+0.3·(F1⊕F2),即“西南新路”标识部件与“江大路”标识部件之间的部件相似度为0.5·||(x1,y1),(x2,y2)||2+0.2·|φ1-φ2|+0.3·(F1⊕F2),例如0.3。
基于类似的思路,可以计算出图7中每个第一标识部件与每个第二标识部件之间两两标识部件之间的部件相似度。作为一个示意性的描述,其可以参照下述表1示出的内容进行理解,即:
表1
从表1可以看出,第一道路图像中的“西南新路”标识部件,分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件这5个第二标识部件之间的部件相似度分别为1、0.3、0.3、0.2、0.4。同样地,第一道路图像中的“中央一街”标识部件,分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件这5个第二标识部件之间的部件相似度分别为0.6、0.4、0.3、0.1、0.2。同样地,第一道路图像中的“广兰路”标识部件,分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件这5个第二标识部件之间的部件相似度分别为0.3、0.6、0.3、0.7、0.4。同样地,第一道路图像中的“学院北路”标识部件,分别与第二道路图像中的“西南新路”标识部件、“江大路”标识部件、“第一大道”标识部件、“广蓝路”标识部件、“学院北路”标识部件这5个第二标识部件之间的部件相似度分别为0.4、0.1、0.2、0.5、1。
204、基于每个部件相似度确定对应图像对的图像匹配结果。
该示例中,图像处理设备在确定每个图像对中的每两个标识部件的部件相似度度后,可以基于每个部件相似度确定对应图像对的图像匹配结果。通过该图像匹配结果,能够用来判断对应图像对中的第一道路图像与第二道路图像是否为相同的场景图像,便于为后续是否需要进行图图差分而提供判断条件。
作为一个示意性的描述,在基于每个部件相似度确定对应图像对的图像匹配结果的过程中,可以参照下述方式进行理解,即:
首先,图像处理设备可以将每个部件相似度分别与第一预设阈值进行比较,进而将部件相似度大于第一预设阈值时的标识部件对确定为目标标识部件对。需说明,所描述的目标标识部件对中包括一个第一标识部件和一个第二标识部件。
举例来说,若假设第一预设阈值为0.6,通过将上述表1中每个部件相似度与该第一预设阈值0.6进行比较,能够获知“西南新路”标识部件与“西南新路”标识部件、“广兰路”标识部件与“广蓝路”标识部件、“学院北路”标识部件与“学院北路”标识部件这3个标识部件对的部件相似度均大于0.6。此时,将这3个标识部件对作为目标标识部件对。
进一步地,图像处理设备统计目标标识部件对的数目、第一标识部件的数目以及第二标识部件的数目,譬如说目标标识部件对的数目为3个、第一标识部件的数目为4个、第二标识部件的数目为5个。
这样,图像处理设备再基于目标标识部件对的数目、第一标识部件的数目以及第二标识部件的数目确定对应图像对的图像匹配结果。示例性地,在确定图像匹配结果的过程中,图像处理设备可以先基于目标标识部件对的数目、第一标识部件的数目以及第二标识部件的数目计算第一值。作为一个示意性的描述,图像处理设备在计算第一值的过程中,可以先从第一标识部件的数目和第二标识部件的数目中确定最大数目,进而再将目标标识部件对的数目除以最大数目,得到第一值,即。举例来说,以目标标识部件对的数目为3个、第一标识部件的数目为4个、第二标识部件的数目为5个为例,可以计算出第一值为/>。需说明,第一值用于指示对应图像对的第一道路图像与第二道路图像中标识部件的匹配程度。
这样,在计算出第一值后,将该第一值与第二预设阈值进行比较,进而基于比较结果来确定相应的图像匹配结果,进而基于该图像匹配结果来确定是否需要对相应的图像对进行图图差分处理。
譬如说,在比较出第一值小于第二预设阈值的情况下,说明第一道路图像与第二道路图像之间的标识部件存在较大的差异。举例来说,假设第二预设阈值为0.8,此时所计算得到的第一值0.6<0.8,说明该第一道路图像与第二道路图像之间的标识部件存在较大差异。此时,进一步能够能够确定出对应图像对的图像匹配结果为第一结果。即通过第一结果,能够用来指示第一道路图像与第二道路图像之间存在标识部件差异。在一些可选的示例中,图像处理设备在判断出第一值小于第二预设阈值的情况下,确定对应图像对的图像匹配结果为第一结果之后,还可以基于第一结果确定第一道路图像与第二道路图像中的标识部件变化区域,进而基于标识部件变化区域对第二道路图像进行图像更新,从而完成对地图信息的更新处理。
反之,在比较出第一值大于或等于第二预设阈值的情况下,说明第一道路图像与第二道路图像之间的标识部件并没有存在差异或者差异可以忽略不计,此时则确定出对应图像对的图像匹配结果为第二结果。即通过第二结果第一道路图像与第二道路图像之间的标识部件并没有存在差异或者差异可以忽略不计。
需说明,上述提及的第二预设阈值,可以视情况而定,具体本申请实施例中不做限定说明。
本申请实施例中,通过提取图像对中每个第一标识部件的特征向量和每个第二标识部件的特征向量,实现更精细化地理解图像对中的标识部件的语义,实现对已经对齐完成的图像对进行准确地局部判断。这样,再计算两两标识部件的特征向量之间的部件相似度,进而基于部件相似度准确地确定图像对的图像匹配结果,提升匹配效果,能够有效解决地因出现新旧道路图像匹配错误带来的地图更新错误的问题,从而提升地图更新的能力。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是为了实现上述功能,包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请中所公开的实施例描述的各示例的模块及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
下面对本申请实施例中的图像处理装置进行详细描述,图8为本申请实施例中提供的图像处理装置的一个实施例示意图。如图8所示,该图像处理装置可以包括获取单元801和处理单元802。
其中,获取单元801,用于获取至少一个图像对,每个图像对包括第一道路图像和第二道路图像,第二道路图像的采集时间早于第一道路图像的采集时间,第一道路图像包括至少一个第一标识部件,第二道路图像包括至少一个第二标识部件,每个第一标识部件用于指示第一道路图像中所显示的地标标识,每个第二标识部件用于指示第二道路图像中所显示的地标标识。具体可以参照前述图2中步骤201所描述的内容进行理解,此处不做赘述。
处理单元802,用于提取每个第一标识部件的特征向量,以及每个第二标识部件的特征向量。具体可以参照前述图2中步骤202所描述的内容进行理解,此处不做赘述。
处理单元802,用于将每个第一标识部件的特征向量分别与每个第二标识部件的特征向量进行两两之间的相似距离计算,得到对应第一标识部件与第二标识部件之间的部件相似度。具体可以参照前述图2中步骤203所描述的内容进行理解,此处不做赘述。
处理单元802,用于基于每个部件相似度确定对应图像对中的图像匹配结果。具体可以参照前述图2中步骤204所描述的内容进行理解,此处不做赘述。
在一些可选的实施方式中,处理单元802用于:基于预设特征提取模型提取第一道路图像的图像特征;基于至少一个预设候选检测框对第一道路图像的图像特征进行特征提取,得到每个第一标识部件的特征向量。
在另一些可选的实施方式中,处理单元802用于:基于预设特征提取模型提取第二道路图像的图像特征;基于至少一个预设候选检测框对第二道路图像的图像特征进行特征提取,得到每个第二标识部件的特征向量。
在另一些可选的实施方式中,每个第一标识部件的特征向量包括对应第一标识部件的第一位置特征、第一旋转角度特征以及第一语义特征中的一个或多个,每个第二标识部件的特征向量包括对应第二标识部件的第二位置特征、第二旋转角度特征以及第二语义特征中的一个或多个;处理单元802用于:计算第一子部件的第一位置特征与第二子部件的第二位置特征之间的第一相似距离,第一子部件为至少一个第一标识部件中的任意一个,第二子部件为至少一个第二标识部件中的任意一个;计算第一子部件的第一旋转角度特征与第二子部件的第二旋转角度特征之间的第二相似距离;计算第一子部件的第一语义特征与第二子部件的第二语义特征之间的第三相似距离;对第一相似距离、第二相似距离以及第三相似距离中的一个或多个进行加权求和处理,得到第一子部件与第二子部件之间的部件相似度。
在另一些可选的实施方式中,处理单元802用于:基于预设相似度算法对第一子部件的第一位置特征与第二子部件的第二位置特征进行计算,得到第一子部件的第一位置特征与第二子部件的第二位置特征之间的第一相似距离。
在另一些可选的实施方式中,处理单元802用于:计算第一子部件中的第一旋转角度特征中各个元素与第二子部件中的第二旋转角度特征中相同元素位置上的元素之间的差值;计算每个差值的绝对值之和,得到第一子部件的第一旋转角度特征与第二子部件的第二旋转角度特征之间的第二相似距离。
在另一些可选的实施方式中,处理单元802用于:对第一子部件的第一语义特征与第二子部件的第二语义特征进行向量內积计算,得到第一子部件的第一语义特征与第二子部件的第二语义特征之间的第三相似距离。
在另一些可选的实施方式中,处理单元802用于:将每个部件相似度分别与第一预设阈值进行比较,确定目标标识部件对,目标标识部件对所对应的部件相似度大于第一预设阈值;统计目标标识部件对的数目、第一标识部件的数目以及第二标识部件的数目;基于目标标识部件对的数目、第一标识部件的数目以及第二标识部件的数目确定对应图像对的图像匹配结果。
在另一些可选的实施方式中,处理单元802用于:基于目标标识部件对的数目、第一标识部件的数目以及第二标识部件的数目计算第一值,第一值用于指示对应图像对的第一道路图像与第二道路图像中标识部件的匹配程度;在第一值小于第二预设阈值时,确定对应图像对的图像匹配结果为第一结果,第一结果用于指示第一道路图像与第二道路图像之间存在标识部件差异。
在另一些可选的实施方式中,处理单元802用于:从第一标识部件的数目和第二标识部件的数目中确定最大数目;将目标标识部件对的数目除以最大数目,得到第一值。
在另一些可选的实施方式中,处理单元802还用于:在第一值小于第二预设阈值时,确定对应图像对的图像匹配结果为第一结果之后,基于第一结果确定第一道路图像与第二道路图像中的标识部件变化区域;基于标识部件变化区域对第二道路图像进行图像更新。
在另一些可选的实施方式中,获取单元801还用于:在获取至少一个图像对之前,获取至少一个第一道路图像和至少一个第二道路图像。处理单元802,用于对每个第一道路图像和每个第二道路图像分别进行两两图像对齐处理,得到图像对齐结果,图像对齐结果包括至少一个图像对。
上面从模块化功能实体的角度对本申请实施例中的图像处理装置进行描述,下面从硬件处理的角度对本申请实施例中的图像处理设备进行描述。图9是本申请实施例提供的图像处理设备的结构示意图。该图像处理设备可因配置或性能不同而产生比较大的差异,包括但不限于前述提及的图像处理装置等。该图像处理设备可以至少一个处理器901,通信线路907,存储器903以及至少一个通信接口904。
处理器901可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,服务器IC),或一个或多个用于控制本申请方案程序执行的集成电路。
通信线路907可包括一通路,在上述组件之间传送信息。
通信接口904,使用任何收发器一类的装置,用于与其他装置或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器903可以是只读存储器(read-only memory,ROM) 或可存储静态信息和指令的其他类型的静态存储装置,随机存取存储器(random access memory,RAM) 或者可存储信息和指令的其他类型的动态存储装置,存储器可以是独立存在,通过通信线路907与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器903用于存储执行本申请方案的计算机执行指令,并由处理器901来控制执行。处理器901用于执行存储器903中存储的计算机执行指令,从而实现本申请上述实施例提供的图像处理的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,该图像处理设备可以包括多个处理器,例如图9中的处理器901和处理器902。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个装置、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,该图像处理设备还可以包括输出设备905和输入设备906。输出设备905和处理器901通信,可以以多种方式来显示信息。输入设备906和处理器901通信,可以以多种方式接收目标对象的输入。例如,输入设备906可以是鼠标、触摸屏装置或传感装置等。
上述的该图像处理设备可以是一个通用装置或者是一个专用装置。在具体实现中,该图像处理设备可以是服务器、终端等或有图9中类似结构的装置。本申请实施例不限定该图像处理设备的类型。
需说明,图9中的处理器901可以通过调用存储器903中存储的计算机执行指令,使得图像处理设备执行如图2对应的方法实施例中的方法。
具体的,图8中的处理单元802的功能/实现过程可以通过图9中的处理器901调用存储器903中存储的计算机执行指令来实现。图8中的获取单元801的功能/实现过程可以通过图9中的通信接口904来实现。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像处理的方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种图像处理的方法的部分或全部步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现,当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如SSD))等。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (22)
1.一种图像处理的方法,其特征在于,包括:
获取至少一个图像对,每个所述图像对包括第一道路图像和第二道路图像,所述第二道路图像的采集时间早于所述第一道路图像的采集时间,所述第一道路图像包括交通标识牌中的至少一个第一标识部件,所述第二道路图像包括交通标识牌中的至少一个第二标识部件,每个所述第一标识部件用于指示所述第一道路图像中所显示的地标标识,每个所述第二标识部件用于指示所述第二道路图像中所显示的地标标识;
针对每个所述图像对,提取每个所述第一标识部件的特征向量,以及每个所述第二标识部件的特征向量,其中,所述第一标识部件的特征向量包括对应所述第一标识部件的第一位置特征、第一旋转角度特征以及第一语义特征中的一个或多个,所述第二标识部件的特征向量包括对应所述第二标识部件的第二位置特征、第二旋转角度特征以及第二语义特征中的一个或多个,位置特征用于明确标识部件在道路图像中的坐标位置,旋转角度特征用于明确标识部件在道路图像中的旋转角度属性,语义特征指示对应的标识部件的语义信息;
将每个所述第一标识部件的特征向量分别与每个所述第二标识部件的特征向量进行两两之间的相似距离计算,得到对应所述第一标识部件与所述第二标识部件之间的部件相似度;
将每个所述部件相似度分别与第一预设阈值进行比较,确定目标标识部件对,所述目标标识部件对所对应的部件相似度大于所述第一预设阈值;
统计所述目标标识部件对的数目、所述第一标识部件的数目以及所述第二标识部件的数目;
基于所述目标标识部件对的数目、所述第一标识部件的数目以及所述第二标识部件的数目确定对应所述图像对的图像匹配结果,其中包括:从所述第一标识部件的数目和所述第二标识部件的数目中确定最大数目,将所述目标标识部件对的数目除以所述最大数目得到第一值,所述第一值用于指示对应图像对的第一道路图像与第二道路图像中标识部件的匹配程度,将所述第一值与第二预设阈值进行比较,基于比较结果确定相应的图像匹配结果,所述图像匹配结果用来判断对应图像对中的第一道路图像与第二道路图像是否为相同的场景图像。
2.根据权利要求1所述的方法,其特征在于,所述提取每个所述第一标识部件的特征向量,包括:
基于预设特征提取模型提取所述第一道路图像的图像特征;
基于至少一个预设候选检测框对所述第一道路图像的图像特征进行特征提取,得到每个所述第一标识部件的特征向量。
3.根据权利要求1所述的方法,其特征在于,提取每个所述第二标识部件的特征向量,包括:
基于预设特征提取模型提取所述第二道路图像的图像特征;
基于至少一个预设候选检测框对所述第二道路图像的图像特征进行特征提取,得到每个所述第二标识部件的特征向量。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述将每个所述第一标识部件的特征向量分别与每个所述第二标识部件的特征向量进行两两之间的相似距离计算,得到对应所述第一标识部件与所述第二标识部件之间的部件相似度,包括:
计算第一子部件的所述第一位置特征与第二子部件的所述第二位置特征之间的第一相似距离,所述第一子部件为所述至少一个第一标识部件中的任意一个,所述第二子部件为所述至少一个第二标识部件中的任意一个;
计算所述第一子部件的所述第一旋转角度特征与所述第二子部件的所述第二旋转角度特征之间的第二相似距离;
计算所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征之间的第三相似距离;
对所述第一相似距离、所述第二相似距离以及所述第三相似距离中的一个或多个进行加权求和处理,得到所述第一子部件与所述第二子部件之间的部件相似度。
5.根据权利要求4所述的方法,其特征在于,所述计算第一子部件的所述第一位置特征与第二子部件的所述第二位置特征之间的第一相似距离,包括:
基于预设相似度算法对第一子部件的所述第一位置特征与第二子部件的所述第二位置特征进行计算,得到第一子部件的所述第一位置特征与第二子部件的所述第二位置特征之间的第一相似距离。
6.根据权利要求4所述的方法,其特征在于,所述计算所述第一子部件的所述第一旋转角度特征与所述第二子部件的所述第二旋转角度特征之间的第二相似距离,包括:
计算所述第一子部件中的所述第一旋转角度特征中各个元素与所述第二子部件中的所述第二旋转角度特征中相同元素位置上的元素之间的差值;
计算每个所述差值的绝对值之和,得到所述第一子部件的所述第一旋转角度特征与所述第二子部件的所述第二旋转角度特征之间的第二相似距离。
7.根据权利要求4所述的方法,其特征在于,所述计算所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征之间的第三相似距离,包括:
对所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征进行向量內积计算,得到所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征之间的第三相似距离。
8.根据权利要求1所述的方法,其特征在于,所述将所述第一值与第二预设阈值进行比较,基于比较结果确定相应的图像匹配结果,包括:
在所述第一值小于第二预设阈值时,确定对应所述图像对的图像匹配结果为第一结果,所述第一结果用于指示所述第一道路图像与所述第二道路图像之间存在标识部件差异。
9.根据权利要求8所述的方法,其特征在于,在所述第一值小于第二预设阈值时,确定对应所述图像对的图像匹配结果为第一结果之后,所述方法还包括:
基于所述第一结果确定所述第一道路图像与所述第二道路图像中的标识部件变化区域;
基于所述标识部件变化区域对所述第二道路图像进行图像更新。
10.根据权利要求1至3中任一项所述的方法,其特征在于,在获取至少一个图像对之前,所述方法还包括:
获取至少一个第一道路图像和至少一个第二道路图像;
对每个所述第一道路图像和每个所述第二道路图像分别进行两两图像对齐处理,得到图像对齐结果,所述图像对齐结果包括至少一个所述图像对。
11.一种图像处理装置,其特征在于,包括:
获取单元,用于获取至少一个图像对,每个所述图像对包括第一道路图像和第二道路图像,所述第二道路图像的采集时间早于所述第一道路图像的采集时间,所述第一道路图像包括交通标识牌中的至少一个第一标识部件,所述第二道路图像包括交通标识牌中的至少一个第二标识部件,每个所述第一标识部件用于指示所述第一道路图像中所显示的地标标识,每个所述第二标识部件用于指示所述第二道路图像中所显示的地标标识;
处理单元,用于提取每个所述第一标识部件的特征向量,以及每个所述第二标识部件的特征向量,其中,所述第一标识部件的特征向量包括对应所述第一标识部件的第一位置特征、第一旋转角度特征以及第一语义特征中的一个或多个,所述第二标识部件的特征向量包括对应所述第二标识部件的第二位置特征、第二旋转角度特征以及第二语义特征中的一个或多个,位置特征用于明确标识部件在道路图像中的坐标位置,旋转角度特征用于明确标识部件在道路图像中的旋转角度属性,语义特征指示对应的标识部件的语义信息;
所述处理单元,用于将每个所述第一标识部件的特征向量分别与每个所述第二标识部件的特征向量进行两两之间的相似距离计算,得到对应所述第一标识部件与所述第二标识部件之间的部件相似度;
所述处理单元,用于将每个所述部件相似度分别与第一预设阈值进行比较,确定目标标识部件对,所述目标标识部件对所对应的部件相似度大于所述第一预设阈值;统计所述目标标识部件对的数目、所述第一标识部件的数目以及所述第二标识部件的数目;基于所述目标标识部件对的数目、所述第一标识部件的数目以及所述第二标识部件的数目确定对应所述图像对的图像匹配结果,其中包括:从所述第一标识部件的数目和所述第二标识部件的数目中确定最大数目,将所述目标标识部件对的数目除以所述最大数目得到第一值,所述第一值用于指示对应图像对的第一道路图像与第二道路图像中标识部件的匹配程度,将所述第一值与第二预设阈值进行比较,基于比较结果确定相应的图像匹配结果,所述图像匹配结果用来判断对应图像对中的第一道路图像与第二道路图像是否为相同的场景图像。
12.根据权利要求11所述的装置,其特征在于,所述处理单元用于:
基于预设特征提取模型提取所述第一道路图像的图像特征;
基于至少一个预设候选检测框对所述第一道路图像的图像特征进行特征提取,得到每个所述第一标识部件的特征向量。
13.根据权利要求11所述的装置,其特征在于,所述处理单元用于:
基于预设特征提取模型提取所述第二道路图像的图像特征;
基于至少一个预设候选检测框对所述第二道路图像的图像特征进行特征提取,得到每个所述第二标识部件的特征向量。
14.根据权利要求11至13中任一项所述的装置,其特征在于,所述处理单元用于:
计算第一子部件的所述第一位置特征与第二子部件的所述第二位置特征之间的第一相似距离,所述第一子部件为所述至少一个第一标识部件中的任意一个,所述第二子部件为所述至少一个第二标识部件中的任意一个;
计算所述第一子部件的所述第一旋转角度特征与所述第二子部件的所述第二旋转角度特征之间的第二相似距离;
计算所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征之间的第三相似距离;
对所述第一相似距离、所述第二相似距离以及所述第三相似距离中的一个或多个进行加权求和处理,得到所述第一子部件与所述第二子部件之间的部件相似度。
15.根据权利要求14所述的装置,其特征在于,所述处理单元用于:
基于预设相似度算法对第一子部件的所述第一位置特征与第二子部件的所述第二位置特征进行计算,得到第一子部件的所述第一位置特征与第二子部件的所述第二位置特征之间的第一相似距离。
16.根据权利要求14所述的装置,其特征在于,所述处理单元用于:
计算所述第一子部件中的所述第一旋转角度特征中各个元素与所述第二子部件中的所述第二旋转角度特征中相同元素位置上的元素之间的差值;
计算每个所述差值的绝对值之和,得到所述第一子部件的所述第一旋转角度特征与所述第二子部件的所述第二旋转角度特征之间的第二相似距离。
17.根据权利要求14所述的装置,其特征在于,所述处理单元用于:
对所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征进行向量內积计算,得到所述第一子部件的所述第一语义特征与所述第二子部件的所述第二语义特征之间的第三相似距离。
18.根据权利要求11所述的装置,其特征在于,所述处理单元用于:
在所述第一值小于第二预设阈值时,确定对应所述图像对的图像匹配结果为第一结果,所述第一结果用于指示所述第一道路图像与所述第二道路图像之间存在标识部件差异。
19.根据权利要求18所述的装置,其特征在于,所述处理单元,还用于在所述第一值小于第二预设阈值时,确定对应所述图像对的图像匹配结果为第一结果之后,基于所述第一结果确定所述第一道路图像与所述第二道路图像中的标识部件变化区域;基于所述标识部件变化区域对所述第二道路图像进行图像更新。
20.根据权利要求11至13中任一项所述的装置,其特征在于,所述获取单元还用于:在获取至少一个图像对之前,获取至少一个第一道路图像和至少一个第二道路图像;
所述处理单元,用于对每个所述第一道路图像和每个所述第二道路图像分别进行两两图像对齐处理,得到图像对齐结果,所述图像对齐结果包括至少一个所述图像对。
21.一种图像处理设备,其特征在于,包括:输入/输出接口、处理器和存储器,所述存储器中存储有程序指令;
所述处理器用于执行存储器中存储的程序指令,执行如权利要求1至10中任一所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括指令,当所述指令在计算机设备上运行时,使得所述计算机设备执行如权利要求1至10中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311361924.XA CN117115772B (zh) | 2023-10-20 | 2023-10-20 | 一种图像处理的方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311361924.XA CN117115772B (zh) | 2023-10-20 | 2023-10-20 | 一种图像处理的方法、装置、设备、存储介质及程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117115772A CN117115772A (zh) | 2023-11-24 |
CN117115772B true CN117115772B (zh) | 2024-01-30 |
Family
ID=88796903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311361924.XA Active CN117115772B (zh) | 2023-10-20 | 2023-10-20 | 一种图像处理的方法、装置、设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117115772B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612043A (zh) * | 2020-04-27 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 道路场景匹配方法、装置及存储介质 |
CN112699834A (zh) * | 2021-01-12 | 2021-04-23 | 腾讯科技(深圳)有限公司 | 交通标识检测方法、装置、计算机设备和存储介质 |
CN114387496A (zh) * | 2021-12-30 | 2022-04-22 | 北京旷视科技有限公司 | 一种目标检测方法和电子设备 |
CN115712749A (zh) * | 2021-08-20 | 2023-02-24 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
CN116563583A (zh) * | 2023-07-07 | 2023-08-08 | 腾讯科技(深圳)有限公司 | 一种图像匹配的方法、地图信息的更新方法以及相关装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108318043B (zh) * | 2017-12-29 | 2020-07-31 | 百度在线网络技术(北京)有限公司 | 用于更新电子地图的方法、装置和计算机可读存储介质 |
-
2023
- 2023-10-20 CN CN202311361924.XA patent/CN117115772B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612043A (zh) * | 2020-04-27 | 2020-09-01 | 腾讯科技(深圳)有限公司 | 道路场景匹配方法、装置及存储介质 |
CN112699834A (zh) * | 2021-01-12 | 2021-04-23 | 腾讯科技(深圳)有限公司 | 交通标识检测方法、装置、计算机设备和存储介质 |
CN115712749A (zh) * | 2021-08-20 | 2023-02-24 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
CN114387496A (zh) * | 2021-12-30 | 2022-04-22 | 北京旷视科技有限公司 | 一种目标检测方法和电子设备 |
CN116563583A (zh) * | 2023-07-07 | 2023-08-08 | 腾讯科技(深圳)有限公司 | 一种图像匹配的方法、地图信息的更新方法以及相关装置 |
Non-Patent Citations (1)
Title |
---|
高精度地图的应用和更新方案;刘建平 等;《汽车实用技术》;第1-6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117115772A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Fast and accurate vanishing point detection and its application in inverse perspective mapping of structured road | |
CN110866469B (zh) | 一种人脸五官识别方法、装置、设备及介质 | |
US20230041943A1 (en) | Method for automatically producing map data, and related apparatus | |
CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
Li et al. | Hybrid recommendation algorithm of cross-border e-commerce items based on artificial intelligence and multiview collaborative fusion | |
Zhou et al. | Indoor positioning algorithm based on improved convolutional neural network | |
Fan | Research and realization of video target detection system based on deep learning | |
CN115203352A (zh) | 车道级定位方法、装置、计算机设备和存储介质 | |
CN113706562A (zh) | 图像分割方法、装置、***及细胞分割方法 | |
CN113592015B (zh) | 定位以及训练特征匹配网络的方法和装置 | |
Yin et al. | Multimodal fusion of satellite images and crowdsourced GPS traces for robust road attribute detection | |
Wei et al. | An RGB-D SLAM algorithm based on adaptive semantic segmentation in dynamic environment | |
CN116778347A (zh) | 数据更新方法、装置、电子设备和存储介质 | |
CN116958606A (zh) | 一种图像匹配方法及相关装置 | |
CN117115772B (zh) | 一种图像处理的方法、装置、设备、存储介质及程序产品 | |
CN117011481A (zh) | 构建三维地图的方法、装置、电子设备及存储介质 | |
Zhang et al. | Hierarchical Image Retrieval Method Based on Bag-of-Visual-Word and Eight-point Algorithm with Feature Clouds for Visual Indoor Positioning | |
CN117011692A (zh) | 一种道路识别的方法以及相关装置 | |
CN115147469A (zh) | 配准方法、装置、设备及存储介质 | |
CN114663917A (zh) | 基于多视角的多人三维人***姿估计方法及装置 | |
CN110826501B (zh) | 一种基于稀疏关键点校准的人脸关键点检测方法与*** | |
CN114332174A (zh) | 轨迹图像对齐方法、装置、计算机设备以及存储介质 | |
CN115712749A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
Sun et al. | Accurate deep direct geo-localization from ground imagery and phone-grade gps | |
Lu | New efficient vanishing point detection from a single road image based on intrinsic line orientation and color texture properties |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |