CN117496486B - 红绿灯形状识别方法、可读存储介质及智能设备 - Google Patents
红绿灯形状识别方法、可读存储介质及智能设备 Download PDFInfo
- Publication number
- CN117496486B CN117496486B CN202311817951.3A CN202311817951A CN117496486B CN 117496486 B CN117496486 B CN 117496486B CN 202311817951 A CN202311817951 A CN 202311817951A CN 117496486 B CN117496486 B CN 117496486B
- Authority
- CN
- China
- Prior art keywords
- image
- traffic light
- identification
- shape
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及自动驾驶技术领域,具体提供一种红绿灯形状识别方法、可读存储介质及智能设备,旨在解决如何有效改善夜间红绿灯形状的识别效果的问题。为此目的,本申请根据获取采集的红绿灯的原始图像文件,根据原始图像文件获取用于图像识别的识别图像,根据识别图像进行图像识别,获得红绿灯的形状识别结果。由于原始图像文件包含了更为丰富的信息,因而基于原始图像文件获取的识别图像也具有了更为丰富的信息,进而根据识别图像能够获得更为准确的红绿灯的形状识别结果,能够有效改善由于夜间环境亮度过低,导致的ISP处理曝光过高,红绿灯形状难以辨认的情况。从而根据红绿灯形状识别结果获得更为准确的红绿灯的识别属性。
Description
技术领域
本申请涉及自动驾驶技术领域,具体提供一种红绿灯形状识别方法、可读存储介质及智能设备。
背景技术
实车路测过程中,在夜间场景频繁出现由于红绿灯过曝导致的红绿灯语义类别无法识别的情况。而目前解绑高精地图(HDmap-Free)的自动驾驶技术需要感知红绿灯的功能。其中,识别红绿灯的属性(圆饼、箭头等语义)是非常重要的一环。因而,改善夜间场景下红绿灯形状的识别能力是极其重要的。
但是现有的改善夜间红绿灯识别效果的方案一般是调整ISP(Image SignalProcessor,图像信号处理器)参数。调整ISP参数虽然能够改善夜间红绿灯的识别效果,但是反复调整ISP参数可能会对其他任务造成影响,并且改善效果通常也不明显。
相应地,本领域需要一种新的红绿灯形状识别方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本申请,以提供解决或至少部分地解决如何有效改善夜间红绿灯形状的识别效果的问题。
在第一方面,本申请提供一种红绿灯形状识别方法,所述方法包括:
获取采集的红绿灯的原始图像文件;
基于所述原始图像文件,获取用于图像识别的识别图像;
基于所述识别图像,进行图像识别,获取所述红绿灯的形状识别结果
在上述红绿灯形状识别方法的一个技术方案中,所述基于所述识别图像,进行图像识别,获取所述红绿灯的形状识别结果,包括:
基于所述识别图像,应用训练好的图像识别模型进行图像识别,获取所述红绿灯的形状识别结果;
其中,所述训练好的图像识别模型是基于训练数据集训练获得的,所述训练数据集中包含基于用于训练的红绿灯的原始图像文件生成的标注图像。
在上述红绿灯形状识别方法的一个技术方案中,所述方法还包括根据以下步骤生成所述训练数据集:
针对每个用于训练的原始图像文件,将所述原始图像文件转换为多张不同亮度的RGB图像,以获得多张RGB图像;
将所述多张RGB图像拼接起来,获得拼接图像;
根据所述拼接图像对所述红绿灯的形状进行标注,以生成所述训练数据集。
在上述红绿灯形状识别方法的一个技术方案中,所述根据所述拼接图像对所述红绿灯的形状进行标注,包括:
在所述拼接图像上,针对每个红绿灯形状,选择多张RGB图像中所述红绿灯形状清晰度最高的RGB图像,对所述红绿灯的形状进行标注。
在上述红绿灯形状识别方法的一个技术方案中,所述将所述原始图像文件转换为多张不同亮度的RGB图像,包括:
根据预设的多个亮度参数,对所述原始图像文件进行调整,获得多个调整后的原始图像文件;
对所述调整后的原始图像文件进行颜色空间转换,获得多张不同亮度的RGB图像。
在上述红绿灯形状识别方法的一个技术方案中,所述基于所述原始图像文件,获取用于图像识别的识别图像,包括:
获取所述原始图像文件的四个通道的数据;
根据所述四个通道的数据,进行数据组合,以获得RGB图像形式数据;
根据所述RGB图像形式数据,获取所述识别图像。
在上述红绿灯形状识别方法的一个技术方案中,所述根据所述RGB图像形式数据,获取所述识别图像,包括:
调整所述RGB图像形式数据的大小,以获得所述识别图像。
在上述红绿灯形状识别方法的一个技术方案中,所述基于所述识别图像,进行图像识别,获取所述红绿灯的形状识别结果,包括:
基于所述识别图像,进行红绿灯目标检测,获得目标检测结果;
根据所述目标检测结果,获取所述红绿灯的局部图像;
根据所述局部图像进行分类识别,获取所述红绿灯的形状识别结果。
在第二方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述红绿灯形状识别方法的技术方案中任一项技术方案所述的红绿灯形状识别方法。
在第三方面,提供一种智能设备,所述智能设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现上述红绿灯形状识别方法的技术方案中任一项技术方案所述的红绿灯形状识别方法。
本申请上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本申请的技术方案中,本申请根据获取采集的红绿灯的原始图像文件,根据原始图像文件获取用于图像识别的识别图像,根据识别图像进行图像识别,获得红绿灯的形状识别结果。通过上述配置方式,由于原始图像文件包含了更为丰富的信息,因而基于原始图像文件获取的识别图像也具有了更为丰富的信息,进而根据识别图像能够获得更为准确的红绿灯的形状识别结果,能够有效改善由于夜间环境亮度过低,导致的ISP处理曝光过高,红绿灯形状难以辨认的情况。从而根据红绿灯形状识别结果获得更为准确的红绿灯的识别属性,如、圆饼、箭头、箭头的方向等,进而基于红绿灯的识别属性,进行准确地驾驶预测和规划等。
进一步地,本申请应用训练好的图像识别模型对识别图像进行图像识别,由于训练好的图像识别模型是基于训练数据集训练获得的,且训练数据集中包含基于用于训练的红绿灯的原始图像文件生成的标注文件,能够使得训练好的识别模型能够获得更准确的红绿灯的形状识别结果,进而改善夜间红绿灯形状的识别。
进一步地,本申请用于训练图像识别模型的训练数据集是对每个用于训练的原始图像文件转换为多个不同亮度的RGB图像,然后将RGB图像进行拼接,使得拼接的RGB图像进行互相参考,从而实现红绿灯的形状标注的,能够获得更为准确且丰富的标签信息,从而使得训练获得的图像识别模型能够获得更高的识别准确性,进而在对识别图像进行识别过程中,获得更为准确的红绿灯的形状识别结果。
附图说明
参照附图,本申请的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本申请的保护范围组成限制。其中:
图1是根据本申请的一个实施例的红绿灯形状识别方法的主要步骤流程示意图;
图2是根据本申请实施例获取的识别图像和直接采集的红绿灯的RGB图像的对比示意图;
图3是现有技术中根据RGB图像进行红绿灯形状识别的主要步骤流程示意图;
图4是根据本申请实施例的一个实施方式的红绿灯形状识别方法的主要步骤流程示意图;
图5是原始图像文件的示意图;
图6是根据本申请实施例的一个实施方式的拼接图像示意图;
图7是根据本申请实施例的一个实施方式的获取的红绿灯的形状识别结果的可视化示意图;
图8是现有技术中根据RGB图像获取的红绿灯的形状识别结果的可视化示意图;
图9是根据本申请的一个实施例的处理器和存储器的连接关系示意图。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本申请的技术原理,并非旨在限制本申请的保护范围。
在本申请的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
这里先解释本申请涉及到的一些术语。
自动驾驶***(Automated Driving Systems,ADS),其是指***在自身的设计运行范围(Operational Domain Design,ODD)内将持续执行全部的动态驾驶任务(DynamicDriving Task,DDT)。即,在规定的适当驾驶场景条件下才允许机器***全部承担车辆自动操控的任务,即车辆满足ODD条件时***被激活,该***代替人类驾驶员作为车辆的驾驶主体。其中,动态驾驶任务DDT是指对车辆进行持续的横向(左、右转向)和纵向运动控制(加速,减速,匀速)以及对车辆行驶环境中的目标和事件进行探测和响应。设计运行范围ODD是指自动驾驶***可以安全运行的条件,其设置的条件可以包括地理位置、道路类型、速度范围、天气、时间、国家和地方***通法律法规等。
RAW (原始)图像文件,即原始图像文件,其包含从数码相机、扫描器或电影胶片扫描仪的图像传感器所处理数据。之所以这样命名,是因为他们尚未被处理,未被打印或用于编辑。
RGB图像又称为真彩图像,它使用R、G、B 3个分量标识一个像素的颜色,R、G、B分别代表红、绿、蓝3种不同的基础颜色,通过3基色可以合成出任意颜色。
目前传统的红绿灯形状识别一般都是采用图像采集设备的采集的RGB图像进行红绿灯形状识别的。可以参阅附图3,图3是现有技术中根据RGB图像进行红绿灯形状识别的主要步骤流程示意图。如图3所示,现有技术中一般是根据检测框(box)坐标,将灯头从RGB图像中裁剪出来,然后送入识别模型中,通过识别模型对裁剪出来的灯头进行形状识别,获得形状识别结果。这种方法的缺点在于,RGB图像包含的信息有损失,尤其是夜间时,RGB图像会丢失低亮度部分的图像信息,使得识别模型难以训练并获得正确的形状识别结果。
此种情况下,预测错误是由于模型输入包含的图像信息不全导致的。本申请提供一种新的红绿灯形状识别方案解决上述问题。
参阅附图1,图1是根据本申请的一个实施例的红绿灯形状识别方法的主要步骤流程示意图。如图1所示,本申请实施例中的红绿灯形状识别方法主要包括下列步骤S101-步骤S103。
步骤S101:获取采集的红绿灯的原始图像文件。
在本实施例中,可以获取采集的红绿灯的原始图像文件。
一个实施方式中,可以通过图像采集设备获取红绿灯的原始图像文件,如车载相机等。
步骤S102:基于原始图像文件,获取用于图像识别的识别图像。
在本实施例中,由于原始图像文件是采集的处理数据,其是未经处理的文件格式,可以根据实际的需求对原始图像文件进行调整,从而获得用于图像识别的识别图像。由于获得的识别图像是基于原始图像文件生成的,包含更为丰富的数据。可以参阅附图2,图2是根据本申请实施例获取的识别图像和直接采集的红绿灯的RGB图像的对比示意图。如图2所示,在夜间场景下,图像采集设备直接生成的RGB图像经过ISP处理后曝光过高,在较亮的地方难以分别原来的形状。而根据原始图像文件获得的识别图像保留了更为丰富的信息,较RGB图像更为清晰。
步骤S103:基于识别图像,进行图像识别,获取红绿灯的形状识别结果。
在本实施例中,可以基于识别图像进行图像识别,从而获得红绿灯的形状识别结果。其中,红绿灯的形状识别结果可以包括箭头、圆饼等。其中,箭头还可以包括不同方向的箭头。
一个实施方式中,可以构建神经网络模型,基于神经网络模型进行图像识别,获得红绿灯的形状识别结果。
一个实施方式中,可以将原始图像文件转换为多种不同亮度的RGB图像,并将不同亮度的RGB图像作为识别图像,进行图像识别,获得每个RGB图像的红绿灯的形状识别结果以及形状识别结果的置信度,并根据置信度,获得最终的红绿灯的形状识别结果。如,选择置信度最高的形状识别结果作为最终的形状识别结果。
基于上述步骤S101-步骤S103,本申请实施例根据获取采集的红绿灯的原始图像文件,根据原始图像文件获取用于图像识别的识别图像,根据识别图像进行图像识别,获得红绿灯的形状识别结果。通过上述配置方式,由于原始图像文件包含了更为丰富的信息,因而基于原始图像文件获取的识别图像也具有了更为丰富的信息,进而根据识别图像能够获得更为准确的红绿灯的形状识别结果,能够有效改善由于夜间环境亮度过低,导致的ISP处理曝光过高,红绿灯形状难以辨认的情况。从而根据红绿灯形状识别结果获得更为准确的红绿灯的识别属性,如、圆饼、箭头、箭头的方向等,进而基于红绿灯的识别属性,进行准确地驾驶预测和规划等。
下面分别对步骤S102和步骤S103作进一步地说明。
在本申请实施例的一个实施方式中,步骤S102可以进一步包括以下步骤S1021至步骤S1023:
步骤S1021:获取原始图像文件的四个通道的数据。
在本实施方式中,可以参阅附图5,图5是原始图像文件的示意图(颜色未示出)。如图5所示,由于图像信息是按照RGGB四个通道重复交替的方式存储在原始图像文件中的,为了实现图像信息的可视化,可以先将原始图像文件的四个通道的数据取出。具体可以通过以下代码实现将四个通道的数据取出:
r = bayer[::2, ::2]
g1 = bayer[::2, 1::2]
g2 = bayer[1::2, ::2]
b = bayer[1::2, 1::2]
其中,bayer是原始图像文件的数据排序方式,r,g1,g2,b为取出来的4个通道的数据,分别对应红色、绿色1、绿色2和蓝色。
步骤S1022:根据四个通道的数据,进行数据组合,以获得RGB图像形式数据。
在本实施方式中,可以将四个通道的数据进行数据组合,从而获得RGB图像形式数据。其中,RGB图像形式数据是基于原始图像文件生成的,以RGB形式进行可视化的图像数据。
步骤S1023:根据RGB图像形式数据,获取识别图像。
在本实施方式中,可以根据RGB图像形式数据,进行调整,以获得符合实际应用需求的数据,作为识别图像。如可以基于图像识别模型的输入数据的要求,对RGB图像形式数据进行大小或形状的调整,从而获得识别图像。
具体地,为了实现复用现有技术中的基于RGB图像进行红绿灯形状识别的识别模型(如图3),可以将模型输入数据调整成与图3中的识别模型的模型输入数据的大小形状相同的数据。假设原始图像文件的是16bit的,而图3中的模型输入数据为8bit,则可以将获得RGB图像形式数据降至8bit。同时由于通道数据是间隔的,导致获得的RGB图像形式数据的形状变小了,需要将其调整(resize)至原始大小,从而实现获得的识别图像与图3中的模型输入数据对齐。
具体可以通过以下代码获得识别图像:
green = (g1 + g2) × 0.5
rgb = np.concatenate(
(red[..., None], green[..., None], blue[..., None]), axis=2
)
# float32 47435.0 2384.0
rgb = (rgb / 256).clip(0, 255)
rgb = cv2.resize(rgb, (width, height))
其中,首先将g1和g2进行合并,获得green(绿色)数据,然后将r、g、b合并起来即可获得RGB图像形式数据。
在本发明实施例的一个实施方式中,步骤S103可以进一步被配置为:
基于识别图像,应用训练好的图像识别模型进行图像识别,获取红绿灯的形状识别结果;其中,训练好的图像识别模型是基于训练数据集训练获得的,训练数据集中包含基于用于训练的红绿灯的原始图像文件生成的标注图像。
在本实施方式中,可以根据用于训练的红绿灯的原始图像文件,进行标注生成训练数据集,并应用训练数据集对图像识别模型进行训练,从而获得训练好的图像识别模型。
一个实施方式中,为了实现更为高效、便捷地红绿灯形状识别,可以复用基于RGB图像进行红绿灯的形状识别的图像识别模型,应用训练数据集对其进行训练。训练过程也可以复用基于RGB图像进行红绿灯的形状识别的图像识别模型的训练过程,本申请对具体的训练过程不做具体限定。
一个实施方式中,可以根据以下步骤S201至步骤S203来生训练数据集:
步骤S201:针对每个用于训练的原始图像文件,将原始图像文件转换为多张不同亮度的RGB图像,以获得多张RGB图像。
在本实施方式中,步骤S201可以进一步包括以下步骤S2011和步骤S2012:
步骤S2011:根据预设的多个亮度参数,对原始图像文件进行调整,获得多个调整后的原始图像文件。
步骤S2012:对调整后的原始图像文件进行颜色空间转换,获得多张不同亮度的RGB图像。
在本实施方式中,由于原始图像文件本身是无法可视化的,因而可以将用于训练的原始图像文件转换为RGB图像。考虑到在转换过程中,如果RGB图像的亮度太亮会导致看不清红绿灯的形状,而如果亮度太暗则有可能无法判定是否为红绿灯。因而,可以设置多个不同的亮度参数,根据多个亮度参数,对原始图像文件进行调整,再将调整后的原始图像文件进行颜色空间转换,从而获得多张不同亮度的RGB图像。具体地,可以通过以下代码进行颜色空间转换:
cv2.cvtColor(raw, cv2.COLOR_BayerRG2BGR_EA)
一个实施方式中,可以设置亮度最大值,以确保原始图像文件在亮度为0至亮度最大值范围内进行调整。
步骤S202:将多张RGB图像拼接起来,获得拼接图像。
在本实施方式中,可以参阅附图6,图6是根据本申请实施例的一个实施方式的拼接图像示意图。图6给出了一个拼接图像的示例,可以选择3个亮度参数,获得三个不同亮度的RGB图像,进行拼接从而获得拼接图像。
步骤S203:根据拼接图像对红绿灯的形状进行标注,以生成训练数据集。
在本实施方式中,在拼接图像上,针对每个红绿灯形状,选择多张RGB图像中红绿灯形状清晰度最高的RGB图像,对红绿灯的形状进行标注。即,在对红绿灯的形状进行标注时,参考拼接图像上的多张RGB图像,从而对红绿灯的形状进行更为准确的标注。如可以在最高亮度的RGB图像进行标注,在最高亮度的RGB图像中的红绿灯形状看不清时,可以参考其他亮度的RGB图像来进行标注。
一个实施方式中,在对拼接图像进行标注时,可以复用现有技术中对RGB图像进行标注的标注流程和标注工具。
在本发明实施例的一个实施方式中,步骤S103可以进一步包括以下步骤S1031至步骤S1033:
步骤S1031:基于识别图像,进行红绿灯目标检测,获得目标检测结果。
步骤S1032:根据目标检测结果,获取红绿灯的局部图像
步骤S1033:根据局部图像进行分类识别,获取红绿灯的形状识别结果。
在本实施方式中,可以参阅附图4,图4是根据本申请实施例的一个实施方式的红绿灯形状识别方法的主要步骤流程示意图。如图4所示,可以先基于原始图像文件进行预处理获得识别图像,基于识别图像进行目标检测,获得目标检测结果,基于目标检测结果的检测框(box)坐标将红绿灯的局部图像裁剪出来,根据局部图像进行分类识别,获得红绿灯的形状识别结果。
一个实施方式中,可以应用resent残差网络实现局部图像的分类识别。
可以参阅附图7和附图8,图7是根据本申请实施例的一个实施方式的获取的红绿灯的形状识别结果的可视化示意图;图8是现有技术中根据RGB图像获取的红绿灯的形状识别结果的可视化示意图。如图7所示,在夜间场景下,应用本申请的红绿灯形状识别方法获得的形状识别结果能够清晰的分辨出不同的形状(圆饼、箭头以及箭头的不同方向)。而如图8中所示,相同情况下直接基于采集的RGB图像获得的红绿灯的形状识别结果则无法辨认细节。评测数据表明,直接基于采集的RGB图像进行红绿灯形状识别的准确率为72.7%,而基于原始图像文件进行红绿灯形状识别的准确率为93.6%,在夜间场景下评测,准确率相比基于采集的RGB图像提升了30%。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本申请的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本申请的保护范围之内。
本领域技术人员能够理解的是,本申请实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的红绿灯形状识别方法的程序,该程序可以由处理器加载并运行以实现上述红绿灯形状识别方法。为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请的另一方面还提供了一种智能设备,所述智能设备可以包括至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器中存储有计算机程序,计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备,可以包括驾驶设备、智能车、机器人等设备。参阅附图9,图9是根据本申请的一个实施例的处理器和存储器的连接关系示意图,图9中示例性的示出了存储器和处理器通过总线通信连接。
在本申请的一些实施例中,所述智能设备还包括至少一个传感器,所述传感器用于感知信息。所述传感器与本申请提到的任何一种类型的处理器通信连接。可选地,所述智能设备还包括自动驾驶***,自动驾驶***用于引导智能设备自行行驶或辅助驾驶。所述处理器与所述传感器和/或自动驾驶***通信,用于完成上述任一实施例所述的方法。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本申请的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本申请的原理,因此,拆分或合并之后的技术方案都将落入本申请的保护范围内。
本申请各实施例中可能涉及的相关用户个人信息,均为严格按照法律法规的要求,遵循合法、正当、必要的原则,基于业务场景的合理目的,处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的,以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同,需以用户使用产品/服务的具体场景为准,可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。申请人会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全,已采取符合业界标准、合理可行的安全防护措施保护用户的信息,防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
至此,已经结合附图所示的优选实施方式描述了本申请的技术方案,但是,本领域技术人员容易理解的是,本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (8)
1.一种红绿灯形状识别方法,其特征在于,所述方法包括:
获取采集的红绿灯的原始图像文件;
基于所述原始图像文件,获取用于图像识别的识别图像;
基于所述识别图像,进行图像识别,获取所述红绿灯的形状识别结果;
所述基于所述识别图像,进行图像识别,获取所述红绿灯的形状识别结果,包括:
基于所述识别图像,应用训练好的图像识别模型进行图像识别,获取所述红绿灯的形状识别结果;
其中,所述训练好的图像识别模型是基于训练数据集训练获得的,所述训练数据集中包含基于用于训练的红绿灯的原始图像文件生成的标注图像;
所述方法还包括根据以下步骤生成所述训练数据集:
针对每个用于训练的原始图像文件,将所述原始图像文件转换为多张不同亮度的RGB图像,以获得多张RGB图像;
将所述多张RGB图像拼接起来,获得拼接图像;
根据所述拼接图像对所述红绿灯的形状进行标注,以生成所述训练数据集。
2.根据权利要求1所述的红绿灯形状识别方法,其特征在于,
所述根据所述拼接图像对所述红绿灯的形状进行标注,包括:
在所述拼接图像上,针对每个红绿灯形状,选择多张RGB图像中所述红绿灯形状清晰度最高的RGB图像,对所述红绿灯的形状进行标注。
3.根据权利要求1所述的红绿灯形状识别方法,其特征在于,
所述将所述原始图像文件转换为多张不同亮度的RGB图像,包括:
根据预设的多个亮度参数,对所述原始图像文件进行调整,获得多个调整后的原始图像文件;
对所述调整后的原始图像文件进行颜色空间转换,获得多张不同亮度的RGB图像。
4.根据权利要求1所述的红绿灯形状识别方法,其特征在于,
所述基于所述原始图像文件,获取用于图像识别的识别图像,包括:
获取所述原始图像文件的四个通道的数据;
根据所述四个通道的数据,进行数据组合,以获得RGB图像形式数据;
根据所述RGB图像形式数据,获取所述识别图像。
5.根据权利要求4所述的红绿灯形状识别方法,其特征在于,
所述根据所述RGB图像形式数据,获取所述识别图像,包括:
调整所述RGB图像形式数据的大小,以获得所述识别图像。
6.根据权利要求1所述的红绿灯形状识别方法,其特征在于,
所述基于所述识别图像,进行图像识别,获取所述红绿灯的形状识别结果,包括:
基于所述识别图像,进行红绿灯目标检测,获得目标检测结果;
根据所述目标检测结果,获取所述红绿灯的局部图像;
根据所述局部图像进行分类识别,获取所述红绿灯的形状识别结果。
7.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至6中任一项所述的红绿灯形状识别方法。
8.一种智能设备,其特征在于,所述智能设备包括:
至少一个处理器;
以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器中存储有计算机程序,所述计算机程序被所述至少一个处理器执行时实现权利要求1至6中任一项所述的红绿灯形状识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311817951.3A CN117496486B (zh) | 2023-12-27 | 2023-12-27 | 红绿灯形状识别方法、可读存储介质及智能设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311817951.3A CN117496486B (zh) | 2023-12-27 | 2023-12-27 | 红绿灯形状识别方法、可读存储介质及智能设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117496486A CN117496486A (zh) | 2024-02-02 |
CN117496486B true CN117496486B (zh) | 2024-03-26 |
Family
ID=89680326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311817951.3A Active CN117496486B (zh) | 2023-12-27 | 2023-12-27 | 红绿灯形状识别方法、可读存储介质及智能设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117496486B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112150364A (zh) * | 2020-10-10 | 2020-12-29 | 厦门理工学院 | 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 |
CN112861748A (zh) * | 2021-02-22 | 2021-05-28 | 奥特酷智能科技(南京)有限公司 | 一种自动驾驶中的红绿灯检测***及方法 |
WO2021159279A1 (zh) * | 2020-02-11 | 2021-08-19 | 深圳元戎启行科技有限公司 | 曝光控制方法、装置、可读存储介质及计算机设备 |
CN115116035A (zh) * | 2022-06-22 | 2022-09-27 | 南京佑驾科技有限公司 | 一种基于神经网络的道路交通灯识别***及方法 |
CN115497076A (zh) * | 2022-10-09 | 2022-12-20 | 江苏智能无人装备产业创新中心有限公司 | 一种高精准度和高效率的信号标识检测方法、装置及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9555811B2 (en) * | 2011-10-28 | 2017-01-31 | Thinkware Corporation | Method and apparatus for providing analysis index of roadway section based on road and traffic conditions |
-
2023
- 2023-12-27 CN CN202311817951.3A patent/CN117496486B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021159279A1 (zh) * | 2020-02-11 | 2021-08-19 | 深圳元戎启行科技有限公司 | 曝光控制方法、装置、可读存储介质及计算机设备 |
CN112150364A (zh) * | 2020-10-10 | 2020-12-29 | 厦门理工学院 | 一种箭形交通信号灯分体式候选图像区域的配对拼接方法 |
CN112861748A (zh) * | 2021-02-22 | 2021-05-28 | 奥特酷智能科技(南京)有限公司 | 一种自动驾驶中的红绿灯检测***及方法 |
CN115116035A (zh) * | 2022-06-22 | 2022-09-27 | 南京佑驾科技有限公司 | 一种基于神经网络的道路交通灯识别***及方法 |
CN115497076A (zh) * | 2022-10-09 | 2022-12-20 | 江苏智能无人装备产业创新中心有限公司 | 一种高精准度和高效率的信号标识检测方法、装置及介质 |
Non-Patent Citations (1)
Title |
---|
基于视觉的红绿灯识别;楚婉艺等;《信息技术与信息化》;20210531(第5期);66-68 * |
Also Published As
Publication number | Publication date |
---|---|
CN117496486A (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009913B (zh) | 一种闯红灯车辆的非现场执法图片智能审核方法和*** | |
US11195258B2 (en) | Device and method for automatic image enhancement in vehicles | |
CN106469309B (zh) | 车辆监控的方法和装置、处理器、图像采集设备 | |
CN109886210A (zh) | 一种交通图像识别方法、装置、计算机设备和介质 | |
DE102020104363A1 (de) | Erkennung eines anomalen bilds in zusammenhang mit bilddaten von einer oder mehreren kameras eines computerunterstützt oder autonom fahrenden fahrzeugs | |
CN110532903B (zh) | 一种交通灯图像处理的方法和设备 | |
CN108965726B (zh) | 车辆摄相机*** | |
US20190197328A1 (en) | Method and apparatus for outputting information | |
US20200210765A1 (en) | Semantic segmentation using driver attention information | |
US11416707B2 (en) | Information processing method, information processing system, and information processing apparatus | |
CN113792600B (zh) | 一种基于深度学习的视频抽帧方法和*** | |
CN117496486B (zh) | 红绿灯形状识别方法、可读存储介质及智能设备 | |
CN112204566A (zh) | 基于机器视觉的图像处理方法和设备 | |
CN112784675B (zh) | 目标检测方法及装置、存储介质、终端 | |
CN113126252B (zh) | 微光成像*** | |
CN110378184A (zh) | 一种应用于自动驾驶车辆的图像处理方法、装置 | |
US20180262678A1 (en) | Vehicle camera system | |
CN105430352A (zh) | 一种视频监控图像的处理方法 | |
US11823305B2 (en) | Method and device for masking objects contained in an image | |
US20150055858A1 (en) | Systems and methods for color recognition in computer vision systems | |
KR102220643B1 (ko) | 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv | |
US10735660B2 (en) | Method and device for object identification | |
CN115439509B (zh) | 一种多目标跟踪方法、装置、计算机设备及存储介质 | |
CN111724349B (zh) | 一种基于hsv和svm的图像脏污识别方法 | |
CN117237907A (zh) | 交通信号灯识别方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |