CN112906424B - 图像识别方法、装置及设备 - Google Patents

图像识别方法、装置及设备 Download PDF

Info

Publication number
CN112906424B
CN112906424B CN201911133218.3A CN201911133218A CN112906424B CN 112906424 B CN112906424 B CN 112906424B CN 201911133218 A CN201911133218 A CN 201911133218A CN 112906424 B CN112906424 B CN 112906424B
Authority
CN
China
Prior art keywords
traffic sign
target
image
target image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911133218.3A
Other languages
English (en)
Other versions
CN112906424A (zh
Inventor
夏斯军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN201911133218.3A priority Critical patent/CN112906424B/zh
Publication of CN112906424A publication Critical patent/CN112906424A/zh
Application granted granted Critical
Publication of CN112906424B publication Critical patent/CN112906424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种图像识别方法、装置及设备,以提升对交通标志的识别准确性。该方法包括:从当前采集的第一图像中检测到待识别的第一交通标志;将在第一图像之后再采集的图像确定为目标图像;按照预设的跟踪算法确定目标图像中是否存在第一交通标志,在目标图像中存在第一交通标志时,检查目标图像是否满足图像识别条件;如果是,依据目标图像中与第一交通标志对应的目标区域、以及已缓存的与第一交通标志对应的目标区域识别第一交通标志。

Description

图像识别方法、装置及设备
技术领域
本发明涉及辅助驾驶技术领域,尤其涉及的是一种图像识别方法、装置及设备。
背景技术
车辆驾驶过程中,尤其是在高速路段上驾驶时,一路上会经过很多的交通标志,比如限速标志、限重标志、禁停标志等。在驶向某一交通标志比如限速标志时,如果可以自动识别出该交通标志中具体限速多少,可以提醒驾驶员及时调整行驶速度,以辅助驾驶人员安全驾驶,防止超速等导致的意外事故。
通常识别交通标志的方式为:将采集的图像二值化,从二值化图像中确定各个单字符的连通域,根据单字符的连通域从采集的图像中提取出单字符区域,再依据各单字符按序识别交通标志。
上述方式中,当场景比较复杂时,二值化效果较差,所以单字符区域提取容易出现偏差,导致对交通标志的识别准确性较低。
发明内容
有鉴于此,本发明提供一种图像识别方法、装置及设备,以提升对交通标志的识别准确性。
本发明第一方面提供一种图像识别方法,该方法包括:
从当前采集的第一图像中检测到待识别的第一交通标志;
将在第一图像之后再采集的图像确定为目标图像;
按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件;
如果是,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志。
根据本发明的一个实施例,检查目标图像是否满足图像识别条件包括:
确定所述目标图像中与所述第一交通标志对应的目标区域中满足设定位置条件的第一位置信息;
计算所述第一位置信息与所述目标图像的至少一个指定边界之间的距离;
依据所述距离检查目标图像是否满足图像识别条件。
根据本发明的一个实施例,依据所述距离检查目标图像是否满足图像识别条件,包括:
检查所述距离是否均大于设定距离;
如果是,确定所述目标图像不满足图像识别条件;
如果否,检查已缓存的与所述第一交通标志对应的目标区域的数量是否达到第一设定阈值,若是,确定所述目标图像满足图像识别条件,若否,确定所述目标图像不满足图像识别条件。
根据本发明的一个实施例,该方法进一步包括:
如果目标图像不满足图像识别条件,缓存所述目标图像中与所述第一交通标志对应的目标区域,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
根据本发明的一个实施例,所述目标图像中与所述第一交通标志对应的目标区域通过以下方式得到:
按照预设的检测算法检测所述目标图像中是否存在交通标志,
如果是,针对检测到的每一交通标志,在所述目标图像中获取该交通标志所处的第一区域,计算所述第一区域与第二区域之间的区域关联值,所述第二区域是按照预设的跟踪算法在所述目标图像中确定出的所述第一交通标志所处的区域;依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域;
如果否,确定所述目标图像中的所述第二区域为与所述第一交通标志对应的目标区域。
根据本发明的一个实施例,依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域,包括:
从所有区域关联值中找出最大的候选区域关联值;
比较所述候选区域关联值与第一预设关联值;
若所述候选区域关联值小于或等于第一预设关联值,确定所述第二区域为所述目标图像中与所述第一交通标志对应的目标区域;
若所述候选区域关联值大于第一预设关联值,确定候选区域的第一位置信息和第二区域的第二位置信息,所述候选区域与第二区域之间的区域关联值为所述候选区域关联值,依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域。
根据本发明的一个实施例,依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域包括:
将所述第一位置信息乘以第一设定权重值得到第三位置信息;
将所述第二位置信息乘以第二设定权重值得到第四位置信息;
将所述第三位置信息与所述第四位置信息进行位置叠加得到目标位置信息;
将所述目标图像中与所述目标位置信息对应的区域确定为与所述第一交通标志对应的目标区域。
根据本发明的一个实施例,在目标图像中不存在所述第一交通标志时,该方法进一步包括:
将已记录的跟踪失败数值增加第一设定值,检查增加了第一设定值的跟踪失败数值是否达到第二设定阈值,
如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志;
如果是,判断已缓存的与所述第一交通标志对应的目标区域的数量是否达到第三设定阈值,如果是,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
根据本发明的一个实施例,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,或,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,包括:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
本发明第二方面提供一种图像识别装置,该装置包括:
第一检测模块,用于从当前采集的第一图像中检测到待识别的第一交通标志;
目标图像确定模块,用于将在第一图像之后再采集的图像确定为目标图像;
跟踪模块,用于按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件;
第一识别模块,用于如果是,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志。
根据本发明的一个实施例,所述跟踪模块检查目标图像是否满足图像识别条件时,具体用于:
确定所述目标图像中与所述第一交通标志对应的目标区域中满足设定位置条件的第一位置信息;
计算所述第一位置信息与所述目标图像的至少一个指定边界之间的距离;
依据所述距离检查目标图像是否满足图像识别条件。
根据本发明的一个实施例,所述跟踪模块依据所述距离检查目标图像是否满足图像识别条件时,具体用于:
检查所述距离是否均大于设定距离;
如果是,确定所述目标图像不满足图像识别条件;
如果否,检查已缓存的与所述第一交通标志对应的目标区域的数量是否达到第一设定阈值,若是,确定所述目标图像满足图像识别条件,若否,确定所述目标图像不满足图像识别条件。
根据本发明的一个实施例,该装置进一步包括:
目标区域缓存模块,用于如果目标图像不满足图像识别条件,缓存所述目标图像中与所述第一交通标志对应的目标区域,将在所述目标图像之后再采集的图像确定为目标图像,返回跟踪模块执行。
根据本发明的一个实施例,所述目标图像中与所述第一交通标志对应的目标区域通过以下模块得到:
第二检测模块,用于按照预设的检测算法检测所述目标图像中是否存在交通标志,
第一目标区域确定模块,用于如果是,针对检测到的每一交通标志,在所述目标图像中获取该交通标志所处的第一区域,计算所述第一区域与第二区域之间的区域关联值,所述第二区域是按照预设的跟踪算法在所述目标图像中确定出的所述第一交通标志所处的区域;依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域;
第二目标区域确定模块,用于如果否,确定所述目标图像中的所述第二区域为与所述第一交通标志对应的目标区域。
根据本发明的一个实施例,所述第一目标区域确定模块依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域时,具体用于:
从所有区域关联值中找出最大的候选区域关联值;
比较所述候选区域关联值与第一预设关联值;
若所述候选区域关联值小于或等于第一预设关联值,确定所述第二区域为所述目标图像中与所述第一交通标志对应的目标区域;
若所述候选区域关联值大于第一预设关联值,确定候选区域的第一位置信息和第二区域的第二位置信息,所述候选区域与第二区域之间的区域关联值为所述候选区域关联值,依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域。
根据本发明的一个实施例,所述第一目标区域确定模块依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域时,具体用于:
将所述第一位置信息乘以第一设定权重值得到第三位置信息;
将所述第二位置信息乘以第二设定权重值得到第四位置信息;
将所述第三位置信息与所述第四位置信息进行位置叠加得到目标位置信息;
将所述目标图像中与所述目标位置信息对应的区域确定为与所述第一交通标志对应的目标区域。
根据本发明的一个实施例,在目标图像中不存在所述第一交通标志时,该装置进一步包括:
跟踪失败数值检查模块,用于将已记录的跟踪失败数值增加第一设定值,检查增加了第一设定值的跟踪失败数值是否达到第二设定阈值,
跟踪接续模块,用于如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志;
第二识别模块,用于如果是,判断已缓存的与所述第一交通标志对应的目标区域的数量是否达到第三设定阈值,如果是,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
根据本发明的一个实施例,第一识别模块依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,或,第二识别模块依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志时,具体用于:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
本发明第三方面提供一种电子设备,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如前述实施例所述的图像识别方法。
本发明第四方面提供一种机器可读存储介质,其上存储有程序,该程序被处理器执行时,实现如前述实施例所述的图像识别方法。
本发明实施例具有以下有益效果:
本发明实施例中,在从当前采集的第一图像中检测到待识别的第一交通标志的基础上,并不直接依据第一图像识别第一交通标志,而是继续在后续采集的目标图像中跟踪该第一交通标志,在目标图像中跟踪到第一交通标志时,如果目标图像满足图像识别条件,可以依据目标图像中与第一交通标志对应的目标区域、以及已缓存的与第一交通标志对应的目标区域识别第一交通标志,依据多个目标区域识别第一交通标志,相比于单个目标区域识别而言准确度更高,而且基于目标区域而非原图进行识别,可减小识别增加耗时;此外,通过对第一交通标志在多帧目标图像中的连续跟踪,可以持续稳定地确定出所需的目标区域,可弥补因场景复杂性而导致的漏检或误检,提升识别的准确度。
附图说明
图1是本发明一实施例的图像识别方法的流程示意图;
图2是本发明一实施例的图像识别装置的结构框图;
图3是本发明另一实施例的图像识别方法的流程示意图;
图4是本发明另一实施例的图像识别装置的结构框图;
图5是本发明一实施例的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种器件,但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如,在不脱离本发明范围的情况下,第一器件也可以被称为第二器件,类似地,第二器件也可以被称为第一器件。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明实施例的图像识别方法可以应用在辅助驾驶场景中,通过识别图像中的交通标志,可进一步提醒驾驶人员调整当前驾驶状态,比如交通标志为限速标志时,可以提醒驾驶员及时调整行驶速度,以辅助驾驶人员安全驾驶,防止超速等导致的意外事故。
本发明实施例中,交通标志可以为限速标志、限重标志、禁停标志等这几类交通标志,具体类型不限。每一类交通标志还可以进一步细分,以限速标志为例,限速标志还可以具体细分成不同的限速值,比如限速60、限速100等。
下面对本发明实施例的图像识别方法进行更详细的描述,但不应以此为限。
在一个实施例中,参看图1,一种图像识别方法,该方法包括以下步骤:
S100:从当前采集的第一图像中检测到待识别的第一交通标志;
S200:将在第一图像之后再采集的图像确定为目标图像;
S300:按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件;
S400:如果是,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志。
本发明实施例中,图像识别方法的执行主体为电子设备。电子设备可以为相机,比如可以为用于记录车辆行驶途中的影像、声音等的车载相机,具体可以是行车记录仪。当然,电子设备也不限于相机,也可以是与相机相连的其他电子设备,比如可以为带有嵌入式处理器比如DSP的车载电子设备,具体类型不限。
步骤S100中,从当前采集的第一图像中检测到待识别的第一交通标志。
可以按照预设的检测算法对检测第一图像中是否存在交通标志,如果存在,从在第一图像中检测出的交通标志中确定出待识别的第一交通标志。本发明实施例中,在第一图像中存在交通标志,且从当前采集的第一图像中检测到待识别的第一交通标志时,继续执行后续的步骤。
可选的,按照预设的检测算法对检测第一图像中是否存在交通标志,可以包括以下步骤:
依据预设的消隐线位置从第一图像中截取出尺寸为设定尺寸的检测区域;
将截取出的检测区域输入至已训练的检测模型,得到检测结果;
如果检测结果包括至少一个检测框位置信息及对应的置信度,针对每一检测框位置信息,如果该检测框位置信息对应的置信度大于设定置信度,说明第一图像中存在交通标志,将该检测框位置信息确定为被检出的交通标志的位置信息。
在车载相机中,采集的图像大小一般为720p、1080p等较大像素的清晰图片。以第一图像的大小为1080p为例,如果将原图直接送进检测模型,检测模型的处理耗时将会非常大,影响实时性,因此需要对第一图像进行预处理,缩小输入至检测模型中的图像尺寸。
由于车辆在行驶时,在采集的图像中前方路面与天空的交界位置(即路面消隐线)是基本保持不变的,因此,可以预先设置好消隐线位置。消隐线位置即在一个图像中路面消隐的位置,交通标志不可能出现在消隐线位置以下,所以图像中消隐线位置以下的区域无需被检测。
同时,可以根据交通标志与路面的距离预先设置好设定尺寸。以限速标志为例,限速标志安装在高于路面1.5m以上的位置,可以根据这个高度来设置设定尺寸。
在设置好消隐线位置与设定尺寸的情况下,可以从第一图像中获取检测区域,感兴趣的交通标志一般都会出现在该检测区域内。当然,如果电子设备的计算量有富余,也可以适当扩大检测区域的尺寸,以尽可能地避免交通标志的漏检。
为了进一步减小输入至检测模型的检测区域的数据量,可以将检测区域进行下采样之后再输入至检测模型中进行检测。比如,可以对截取出的检测区域进行2倍下采样之后,再输入到检测模型中进行检测。
检测模型是预先训练好,并保存在电子设备或其他设备中,并在需要检测时调用。在训练检测模型时,可以对不同的交通标志不作区分,所有的交通标志都当作一个类别,相应的,在执行检测任务时只关心检测区域中是否存在交通标志,并不对交通标志进行识别或区分,以简化检测任务。
检测模型可以为深度学习神经网络。可选的,检测模型可以通过改进YOLO V2的框架得到,比如,用SqueezeNet(轻量化卷积神经网络)里的fire module(简称为压缩网络层)替换YOLO V2中的3x3卷积,可以大大减小模型参数量,使得检测模型可更适合在FPGA等内存受限的设备上部署,而且可以节省算法耗时,处理的实时性较高。
在一个实施例中,检测模型可以包括:输入层、中间层及输出层;其中,
输入层用于接收外部输入的检测区域;
中间层用于提取检测区域的特征得到特征图;所述中间层至少通过用于执行特征提取的卷积层、用于执行下采样处理的下采样层、及用于执行特征提取的fire module提取检测区域的特征;
输出层用于基于所述特征图确定并输出检测结果。
fire module可以包含前后级联的第一卷积层和第二卷积层,第一卷积层包含至少一个1x1的卷积滤波器(包含多个1x1的卷积滤波器时,这些1x1的卷积滤波器并联),第二卷积层包含并联的至少一个1x1的卷积滤波器和至少一个3x3卷积滤波器。
输出层中可以预设多组锚点anchor,一组anchor包含候选框的宽w与高h。比如,预设有包含的宽w为0.3,0.5,0.7,0.9,1.1,1.3,1.5,1.7,1.9,2.1,2.3,2.5,2.8的13组anchor。由于限速标志的矩形框一般都为正方形,所以每组anchor中的宽w与高h相同。
输出层将特征图划分为S1个网格,每一网格上的一坐标点(x,y)作为候选框的左上角顶点,同时,各组anchor均可作为候选框的宽w和高h,因此,可以确定出13*S1个候选框的位置信息(x,y,w,h)。
输出层基于所述特征图确定检测结果,可以包括:
针对每一候选框位置信息,可以在特征图中确定该候选框位置信息对应的特征区域,并对特征区域进行分析以确定特征区域中存在交通标志的置信度,并将候选框位置信息乘以预设比例,得到检测框位置信息;
按照预设的过滤方式(比如NMS算法)对检测框位置信息及对应的置信度进行过滤,以去除一些重复、和或置信度过低的检测框位置信息,输出过滤后的检测框位置信息与置信度,得到检测结果。
预设比例可以为检测区域与特征图的大小之比。将候选框位置信息乘以预设比例比如,假设预设比例为5倍,候选框位置信息(x,y,w,h)与5的乘积(5x,5y,5w,5h)作为检测框位置信息。
具体的,检测模型可以由输入层、卷积层、下采样层、fire module、fire module、、下采样层、fire module、fire module、下采样层、fire module、fire module、firemodule、下采样层、fire module、fire module、fire module、卷积层、输出层依次连接而成。其中,下采样层可以采用最大值下采样算法,当然,此处仅是举例。
当然,检测模型的具体框架也不限于上述例子,也可以采用SSD(一种目标检测网络)、SqueezeNet、MobileNets(一种轻量级的深层神经网络)等。
可选的,从在第一图像中检测出的交通标志中确定出待识别的第一交通标志,可以包括:
在第一图像为首次被检测出交通标志的图像时,可以将检测出的交通标志中任一个交通标志确定为第一交通标志;
在第一图像为非首次被检测出交通标志的图像时,可以在检测出的交通标志中确定出新的交通标志,该新的交通标志即未被作为待识别的交通标志,可以将新的交通标志直接确定为第一交通标志,或者,在该新的交通标志与在上一帧图像中检测出的未被作为待识别的交通标志存在关联(比如在图像中的位置相同或接近)时,将新的交通标志确定为第一交通标志。
当然,上述确定待识别的第一交通标志的方式仅是作为优选的例子,并不作为限制,实际当然还可以有其他的方式。
在步骤S200中,将在第一图像之后再采集的图像确定为目标图像。
电子设备可以以一定频率连续采集图像,或者实时获取相连接的相机以一定频率采集的图像。
由于检测模型并不能保证100%的检出率,并且在光照较差及复杂背景下不能持续稳定检出,从第一图像中检测到第一交通标志后,在后续采集的图像中可能会发生漏检,导致无法识别或者最终识别结果不准确的问题。
因此,将第一图像的之后再采集的图像即下一帧图像作为目标图像,在目标图像中跟踪该第一交通标志,保证第一交通标志可以被稳定持续地从图像中确定出,弥补了检测算法的检测不稳定性。
步骤S300中,按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件。
可选的,按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,比如可以包括:
依据第一交通标志在上一帧图像中的位置信息预测第一交通标志在目标图像中的候选位置信息;
将第一交通标志对应的目标跟踪模板与目标图像中各候选位置信息对应的区域进行匹配,目标跟踪模板可以表征第一交通标志的特征,如果有至少一个匹配成功的,确定目标图像中存在第一交通标志,并从中确定出一个匹配度最大的区域,将该区域对应的候选位置信息确定为跟踪出的第一交通标志的位置信息。
当然,跟踪方式也可以为其他方式,只要是能够实现目标跟踪即可。比如,可以按照前向后向光流算法并依据第一交通标志在第一图像中的位置信息、及目标跟踪模板确定目标图像中是否存在第一交通标志,具体可以参看前向后向光流算法的相关技术,在此不再赘述。
如果按照预设的跟踪算法确定目标图像中存在第一交通标志,说明跟踪成功,此时可以确定跟踪所得的第一交通标志在目标图像中的位置信息;如果按照预设的跟踪算法确定目标图像中不存在第一交通标志,说明在目标图像中跟踪失败,此时得不到第一交通标志在目标图像中的位置信息,可以结束对第一交通标志的跟踪。
预设的跟踪算法所用的目标跟踪模板,可以在第一图像检测出第一交通标志时,根据第一图像中第一交通标志所在的区域确定。在有上一帧目标图像时,可以沿用在上一目标图像中使用的目标跟踪模板,或者,可以根据上一目标图像中使用的目标跟踪模板及上一目标图像中第一交通标志所在的区域重新确定,具体不作为限制。
在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件。图像识别条件比如可以包括:第一位置信息与目标图像的至少一边界之间的距离小于等于设定距离,第一位置信息为目标图像中与第一交通标志对应的目标区域中满足设定位置条件的位置信息;和/或,已缓存的与第一交通标志对应的目标区域的数量达到第一设定阈值;和/或,已缓存的与第一交通标志对应的目标区域的数量达到第一设定阈值,并且这第一设定阈值个目标区域是从连续采集的图像中获取的,等等。
在从第一图像中检测到待识别的第一交通标志时,可以设置第一交通标志对应的区域缓存队列,用于缓存第一交通标志对应的目标区域。第一交通标志对应的区域缓存队列可存储的目标区域的数量比如是第三设定阈值,第一设定阈值小于等于第三设定阈值。
以图像识别条件为已缓存的与第一交通标志对应的目标区域的数量达到第一设定阈值为例,假设第一设定阈值为3,第三设定阈值为4,那么,第一交通标志对应的区域缓存队列可以缓存4个目标区域,在目标图像中存在第一交通标志时,如果第一交通标志对应的区域缓存队列中缓存有3个目标区域(包含3个或4个),那么目标图像满足图像识别条件。
步骤S400中,如果是,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志。
如果目标图像满足图像识别条件,此时可以结束对第一交通标志的跟踪,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志。
目标图像中与所述第一交通标志对应的目标区域可以根据跟踪得到的位置信息来获取,比如,可以从目标图像中截取跟踪到的第一交通标志的位置信息对应的区域,将截取的区域作为目标图像中与所述第一交通标志对应的目标区域。
已缓存的与所述第一交通标志对应的目标区域,可以从第一交通标志对应的区域缓存队列中获取,可以获取区域缓存队列中已缓存的所有目标区域,或者可以获取区域缓存队列中若干个比如第一设定阈值个目标区域。这些目标区域,从目标图像之前采集的存在第一交通标志的图像中获取的,均包含第一交通标志。
如此,可以依据多个目标区域识别第一交通标志的识别,保证识别准确性。比如,从第一交通标志对应的区域缓存队列中获取了3个目标区域,加上目标图像中与所述第一交通标志对应的目标区域,一共依据4个目标区域识别所述第一交通标志。
本发明实施例中,在从当前采集的第一图像中检测到待识别的第一交通标志的基础上,并不直接依据第一图像识别第一交通标志,而是继续在后续采集的目标图像中跟踪该第一交通标志,在目标图像中跟踪到第一交通标志时,如果目标图像满足图像识别条件,可以依据目标图像中与第一交通标志对应的目标区域、以及已缓存的与第一交通标志对应的目标区域识别第一交通标志,依据多个目标区域识别第一交通标志,相比于单个目标区域识别而言准确度更高,而且基于目标区域而非原图进行识别,可减小识别增加耗时;此外,通过对第一交通标志在多帧目标图像中的连续跟踪,可以持续稳定地确定出所需的目标区域,可弥补因场景复杂性而导致的漏检或误检,提升识别的准确度。
在一个实施例中,上述方法流程可由图像识别装置执行,如图2所示,图像识别装置100可以包含5个模块:第一检测模块101、目标图像确定模块102、跟踪模块103和第一识别模块104。第一检测模块101用于执行上述步骤S100,目标图像确定模块102用于执行上述步骤S200,跟踪模块103用于执行上述步骤S300,第一识别模块104用于执行上述步骤S400。
在一个实施例中,步骤S300中,检查目标图像是否满足图像识别条件可以包括以下步骤:
S301:确定所述目标图像中与所述第一交通标志对应的目标区域中满足设定位置条件的第一位置信息;
S302:计算所述第一位置信息与所述目标图像的至少一个指定边界之间的距离;
S303:依据所述距离检查目标图像是否满足图像识别条件。
目标图像中与所述第一交通标志对应的目标区域中满足设定位置条件的第一位置信息,可以为目标区域中任一点的位置信息,比如可以为该目标区域的中心位置信息、或者可以为该目标区域的一个顶点位置信息,具体不限。
目标图像的至少一个指定边界可以为目标图像的上边界、左边界、和/或右边界,可以根据需要确定。
可以根据目标图像的宽度、和/或高度计算第一位置信息与指定边界之间的距离。比如,假设第一位置信息(x,y),指定边界为右边界,那么第一位置信息与指定边界之间的距离可以为:目标图像的宽度与x之差。又如,假设第一位置信息(x,y),指定边界为上边界,那么第一位置信息与指定边界之间的距离可以为:目标图像的高度与y之差。
依据计算出的距离检查目标图像是否满足图像识别条件,比如可以包括:如果计算出的距离均大于设定距离,则确定目标图像不满足图像识别条件,如果计算出的距离中有一个距离不大于设定距离,则确定目标图像满足图像识别条件。
如果计算出的距离均大于设定距离,说明第一交通标志在目标图像中还处于较中间的位置,未靠近图像边缘,此时第一交通标志距车辆较远,在目标图像中还较小,并且有极大的可能会在后续的图像中出现,因此,在此情况下继续跟踪,确定目标图像不满足图像识别条件。
如果计算出的距离中有一个距离不大于设定距离,那么说明第一交通标志靠近目标图像的边缘,此时第一交通标志距车辆较近,在目标图像中已经较大,并且在后续图像中极有可能跟踪丢失,因此,在此情况下,可以结束跟踪,确定目标图像满足图像识别条件。
如此,在确定目标图像中第一交通标志对应的目标区域之后,进一步判断第一交通标志在目标图像中的位置是否靠近边界,如果靠近,说明车辆已经很靠近第一交通标志了,此时,无论是目标图像中的第一交通标志、还是前几帧图像中的第一交通标志较大,更容易识别,所以此时可以进行识别,提升识别准确率。
当然,上述检查目标图像是否满足图像识别条件的方式仅是举例,并不作为限制。
在一个实施例中,步骤S303中,依据所述距离检查目标图像是否满足图像识别条件,可以包括以下步骤:
检查所述距离是否均大于设定距离;
如果是,确定所述目标图像不满足图像识别条件;
如果否,检查已缓存的与所述第一交通标志对应的目标区域的数量是否达到第一设定阈值,若是,确定所述目标图像满足图像识别条件,若否,确定所述目标图像不满足图像识别条件。
如前述实施例所述的,如果计算出的距离均大于设定距离,说明第一交通标志在目标图像中还处于较中间的位置,未靠近图像边缘,此时第一交通标志距车辆较远,在目标图像中还较小,并且有极大的可能会在后续的图像中出现,因此,在此情况下继续跟踪,确定目标图像不满足图像识别条件。
但是,本实施例中,在计算出的距离中有一个距离不大于设定距离时,不直接确定目标图像满足图像识别条件,而是先检查已缓存的与所述第一交通标志对应的目标区域的数量是否达到第一设定阈值,比如第一交通标志对应的区域缓存队列中是否存储有3个目标区域,如果是,再确定目标图像满足图像识别条件,如果否,那么说明此时没有足够量的目标区域用以识别,所以,确定目标图像不满足图像识别条件,继续跟踪。
如此,只有在第一交通标志在目标图像中的位置靠近边界、并且已经缓存了足够量的目标区域的情况下,去识别第一交通标志,保证用于识别的目标区域不仅尺寸大、清晰,而且数量足够,保证第一交通标志的识别准确度。
在一个实施例中,参看图3,在图1示出的方法的基础上,该方法进一步包括以下步骤:
S500:如果目标图像不满足图像识别条件,缓存所述目标图像中与所述第一交通标志对应的目标区域,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
如果目标图像不满足图像识别条件,说明还需要继续跟踪,缓存目标图像中与所述第一交通标志对应的目标区域,将在所述目标图像之后再采集的图像确定为目标图像,返回步骤S300继续执行。如此,可以实现第一交通标志在多帧目标图像中的连续跟踪,以持续稳定地确定出所需的目标区域,克服因检测算法漏检时导致的无法满足图像识别条件、以致无法识别第一交通标志的问题。
由于第一交通标志对应的区域缓存队列中只能缓存第三设定阈值个目标区域,因而,如果区域缓存队列已经存满,那么将目标图像中与第一交通标志对应的目标区域存入区域缓存队列时,可以用目标图像中与第一交通标志对应的目标区域替换区域缓存队列中最早存入的目标区域,以实现区域缓存队列的循环缓存。
如此,可以无需对之前确定出的所有第一交通标志对应的目标区域进行识别,而是仅对最近确定出的几个目标区域进行识别,可以减少对内存的占用,减少识别所需的耗时,并且当目标过小时容易误识别,越到后面的图像中交通标志越大越清晰,所以最近确定出的几个目标区域相对更大,较为清晰,识别准确率高。
当然,如果区域缓存队列未存满,则将目标图像中与第一交通标志对应的目标区域直接存入区域缓存队列的空白块中即可。
在一个实施例中,上述方法流程可由图像识别装置执行,如图4所示,图像识别装置100可以包含5个模块:第一检测模块101、目标图像确定模块102、跟踪模块103、第一识别模块104和目标区域缓存模块105。第一检测模块101用于执行上述步骤S100,目标图像确定模块102用于执行上述步骤S200,跟踪模块103用于执行上述步骤S300,第一识别模块104用于执行上述步骤S400,目标区域缓存模块105用于执行上述步骤S500。
在一个实施例中,所述目标图像中与所述第一交通标志对应的目标区域通过以下方式得到:
T100:按照预设的检测算法检测所述目标图像中是否存在交通标志,
T200:如果是,针对检测到的每一交通标志,在所述目标图像中获取该交通标志所处的第一区域,计算所述第一区域与第二区域之间的区域关联值,所述第二区域是按照预设的跟踪算法在所述目标图像中确定出的所述第一交通标志所处的区域;依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域;
T300:如果否,确定所述目标图像中的所述第二区域为与所述第一交通标志对应的目标区域。
目标图像中与所述第一交通标志对应的目标区域,可以在步骤S300中在目标图像中存在所述第一交通标志时确定,或者可以分别在步骤S400或步骤S500中需要时确定。
按照预设的检测算法检测所述目标图像中是否存在交通标志的方式,可以与前述实施例中,按照预设的检测算法对检测第一图像中是否存在交通标志的方式类似,只是针对的图像不同,因而在此不再赘述。
如果检测出目标图像中存在交通标志,则针对每一交通标志,依据预设的关联算法计算目标图像中该交通标志所处的第一区域与第二区域之间的区域关联值;依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域。
第一区域是目标图像中被检测到的该交通标志所处的区域,可以将目标图像中与检出的该交通标志的检测框位置信息对应的区域确定为第一区域。
第二区域是按照预设的跟踪算法在所述目标图像中确定出的所述第一交通标志所处的区域。按照预设的跟踪算法可以跟踪出的第一交通标志的位置信息,目标图像中与跟踪出的第一交通标志的位置信息对应的区域作为第二区域。
关联算法比如可以为匈牙利关联算法,根据如下公式(1)计算第一区域与第二区域之间的区域关联值:
Iou=Area3/(Area1+Area2-Area3) (1)
其中,Area3为第一区域与第二区域之间的重叠区域面积,Area1、Area2分别为第二区域的面积与第一区域的面积。
依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域的方式不限,比如可以将最大区域关联值对应的第一区域作为第一交通标志对应的目标区域,当然,此处仅是举例,并不作为限制。
如果检测出目标图像中不存在交通标志,但是已在目标图像中跟踪到第一交通标志,此时选择相信跟踪结果,确定所述目标图像中的所述第二区域为与第一交通标志对应的目标区域。
在一个实施例中,步骤T200中,依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域,包括:
T201:从所有区域关联值中找出最大的候选区域关联值;
T202:比较所述候选区域关联值与第一预设关联值;
T203:若所述候选区域关联值小于或等于第一预设关联值,确定所述第二区域为所述目标图像中与所述第一交通标志对应的目标区域;
T204:若所述候选区域关联值大于第一预设关联值,确定候选区域的第一位置信息和第二区域的第二位置信息,所述候选区域与第二区域之间的区域关联值为所述候选区域关联值,依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域。
由于在按照预设的检测算法在目标图像检测交通标志时,有可能检测出多个交通标志,因而会计算出多个区域关联值,但是,其中只可能有一个为第一交通标志,因而,可以先所有区域关联值中找出最大的候选区域关联值,针对该候选区域关联值进行后续的处理。
比较候选区域关联值与第一预设关联值,第一预设关联值比如可以为0.4,当然,具体取值不限,可以根据需要而定。
如果候选区域关联值小于或等于第一预设关联值,说明所有区域关联值均小于或等于第一预设关联值,也就是说所有的第一区域与第二区域都未关联成功,此时,有可能是发生了漏检且正好漏检了第一交通标志,因而选择相信跟踪结果,确定第二区域为目标图像中与所述第一交通标志对应的目标区域。
在此情况下,由于从目标图像中检测出的交通标志均关联失败,也就是说,检测出的交通标志都是新的交通标志,那么此时,可以直接将关联失败的每一交通标志作为待识别的交通标志,在后续采集的图像中进行跟踪;或者,可以针对检测出的每一交通标志,计算目标图像中该交通标志所在的第一区域与上一帧图像中关联失败的交通标志所在的第三区域之间的区域关联值,计算方式可以参考公式(1),如果第一区域与第三区域之间的区域关联值大于第二预设关联值,那么将该交通标志作为待识别的交通标志,在后续采集的图像中进行跟踪。
可选的,在目标图像中不存在所述第一交通标志时,如果按照预设的检测算法在目标图像中检测出了交通标志,那么,对于这些检测出的交通标志的处理方式可以与上述关联失败的交通标志的处理方式相同,在此不再赘述。
如果候选区域关联值大于第一预设关联值,则确定候选区域的第一位置信息和第二区域的第二位置信息,所述候选区域与第二区域之间的区域关联值为所述候选区域关联值,即候选区域为候选区域关联值对应的第一区域,依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域。
其中,依据第一位置信息和第二位置信息确定目标图像中与第一交通标志对应的目标区域,比如可以将第一位置信息和第二位置信息进行位置叠加,根据叠加后的位置信息确定目标图像中与第一交通标志对应的目标区域,具体方式不限。
在一个实施例中,步骤T204中,依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域,可以包括以下步骤:
将所述第一位置信息乘以第一设定权重值得到第三位置信息;
将所述第二位置信息乘以第二设定权重值得到第四位置信息;
将所述第三位置信息与所述第四位置信息进行位置叠加得到目标位置信息;
将所述目标图像中与所述目标位置信息对应的区域确定为与所述第一交通标志对应的目标区域。
可选的,第一设定权重值与第二设定权重值之和为1,第一设定权重值小于第二设定权重值。
举例来说,假设第三位置信息为(x1,y1,w1,h1),第四位置信息(x2,y2,w2,h2),第一设定权重值为0.2,第二设定权重值为0.8,那么,目标位置信息为0.2*(x1,y1,w1,h1)+0.8*(x2,y2,w2,h2)。目标图像中与0.2*(x1,y1,w1,h1)+0.8*(x2,y2,w2,h2)对应的区域确定为与所述第一交通标志对应的目标区域。
在一个实施例中,在目标图像中不存在所述第一交通标志时,该方法进一步包括以下步骤:
S600:将已记录的跟踪失败数值增加第一设定值,检查增加了第一设定值的跟踪失败数值是否达到第二设定阈值,
S700:如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志;
S800:如果是,判断已缓存的与所述第一交通标志对应的目标区域的数量是否达到第三设定阈值,如果是,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
可以在第一图像中检测到第一交通标志之后,记录跟踪失败数值。初始情况下,跟踪失败数值可以为0,随着跟踪失败次数的增加,跟踪失败数值累加,每跟丢一次,跟踪失败数值增加第一设定值。第一设定值比如可以为1,当然具体数值不限。
如果目标图像中不存在第一交通标志,将已记录的跟踪失败数值增加第一设定值,比如,已记录的跟踪失败数值为2,第一设定值为1,那么已记录的跟踪失败数值增加1后为3,检查增加了第一设定值的跟踪失败数值是否达到第二设定阈值。第二设定阈值比如为3,如果增加了第一设定值的跟踪失败数值为1或2,则未达到第二设定阈值,如果增加了第一设定值的跟踪失败数值为3,则达到了第二设定阈值。
如果增加了第一设定值的跟踪失败数值未达到第二设定阈值,说明跟丢次数还不够,有可能只是漏跟,需继续跟踪,将在所述目标图像之后再采集的图像确定为目标图像,并返回步骤S300执行。可选的,在跟丢之后,重新跟踪成功时,可以将跟踪失败数值重置为0,以重新累计跟丢次数。
如果增加了第一设定值的跟踪失败数值达到第二设定阈值,说明在目标图像之前已经有第二设定阈值个图像中不存在第一交通标志,如果每次重新跟踪成功时将跟踪失败数值重置为0,则说明在目标图像之前已经有连续第二设定阈值个图像中不存在第一交通标志,此时结束对第一交通标志的跟踪,并判断已缓存的与所述第一交通标志对应的目标区域的数量是否达到第三设定阈值。
如果第一交通标志对应的区域缓存队列只能存储第三设定阈值个目标区域,则也就是判断第一交通标志对应的区域缓存队列是否已存满。
如果已缓存的与所述第一交通标志对应的目标区域的数量达到第三设定阈值,即第一交通标志对应的区域缓存队列已存满,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志。
已缓存的与所述第一交通标志对应的目标区域可以通过以下方式获得:从第一交通标志对应的区域缓存队列获取已缓存的所有目标区域,即第三设定阈值个目标区域。第三设定阈值比如为4,相应的,可以依据4个目标区域识别第一交通标志。
如此,可以在连续跟丢几次的情况下,依据已缓存的与所述第一交通标志对应的目标区域对第一交通标志进行识别,以及时提醒驾驶人员。已缓存的与所述第一交通标志对应的目标区域是从目标图像之前采集的存在第一交通标志的图像中获取的。
如果已缓存的与所述第一交通标志对应的目标区域的数量未达到第三设定阈值,那么说明此时没有足够量的目标区域用以识别,所以需要继续跟踪,将在所述目标图像之后再采集的图像确定为目标图像,返回步骤S300继续执行。
举例来说,第二设定阈值与第三设定阈值比如为4,假设第97-99帧图像中均不存在第一交通标志,在第一交通标志对应的区域缓存队列中已经缓存了第93-96帧中的第一交通标志对应的目标区域。如果第100帧图像中不存在第一交通标志,那么,可以确定跟踪丢失数值为4(达到第二设定阈值),并且第一交通标志对应的区域缓存队列中缓存的目标区域的数量为4(达到第三设定阈值),此时,可以结束跟踪,从第一交通标志对应的区域缓存队列中获取已缓存的所有目标区域,并依据目标区域识别第一交通标志。
在一个实施例中,步骤S400中,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,或,步骤S800中,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,包括以下步骤:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
识别模型可以由神经网络构成,比如可以采用LeNet-5(一种卷积神经网络)架构构成,具体不做限制,只要是经过训练后能用于识别交通标志即可。
识别模型中可以预设有多种类别标签,比如可以有以下16种:限速5、限速10、限速15、限速20、限速30、限速40、限速50、限速60、限速70、限速80、限速90、限速100、限速110、限速120、限重、背景。
其中,限速值可以都指定为最高限速值;对于限重这一类别,无论是限重值是多少,都被归为限重一类;对于背景这一类,只要是其他的对象比如禁停、树叶,都被归为背景一类。
当然,上述分类方式仅是举例,当然还可以有其他的分类方式,比如还可以区分最低限速值、或者具体限重值等。
在将各目标区域输入至已训练的识别模型之前,可以调整各目标区域的尺寸。比如,识别模型的设定输入尺寸为32x32,则将各目标区域的尺寸调整至32x32,以便于识别模型统一处理。
将各目标区域输入至已训练的识别模型中,以由识别模型对输入的每一目标区域进行交通标志的识别,得到每一目标区域对应的识别结果,识别结果包括:交通标志类别、及交通标志类别置信度。
如果N个识别结果中有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果,说明得到了足够多的可靠识别结果,确定这些目标识别结果是可靠的,因而将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。如此,可以进一步保证识别结果的准确度。
举例来说,假设将4个目标区域输入到识别模型中,识别模型输出4个识别结果,设定数量比如为3;如果4个识别结果中,有3个识别结果包含的交通标志类别相同比如都为限速60、并且包含的交通标志类别置信度都大于设定置信度,则可以将限速60确定为第一交通标志的类别。
本发明实施例还提供一种图像识别装置,参看图2,该图像识别装置100包括:
第一检测模块101,用于从当前采集的第一图像中检测到待识别的第一交通标志;
目标图像确定模块102,用于将在第一图像之后再采集的图像确定为目标图像;
跟踪模块103,用于按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件;
第一识别模块104,用于如果是,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志。
在一个实施例中,所述跟踪模块检查目标图像是否满足图像识别条件时,具体用于:
确定所述目标图像中与所述第一交通标志对应的目标区域中满足设定位置条件的第一位置信息;
计算所述第一位置信息与所述目标图像的至少一个指定边界之间的距离;
依据所述距离检查目标图像是否满足图像识别条件。
在一个实施例中,所述跟踪模块依据所述距离检查目标图像是否满足图像识别条件时,具体用于:
检查所述距离是否均大于设定距离;
如果是,确定所述目标图像不满足图像识别条件;
如果否,检查已缓存的与所述第一交通标志对应的目标区域的数量是否达到第一设定阈值,若是,确定所述目标图像满足图像识别条件,若否,确定所述目标图像不满足图像识别条件。
在一个实施例中,参看图4,该装置100进一步包括:
目标区域缓存模块105,用于如果目标图像不满足图像识别条件,缓存所述目标图像中与所述第一交通标志对应的目标区域,将在所述目标图像之后再采集的图像确定为目标图像,返回跟踪模块执行。
在一个实施例中,所述目标图像中与所述第一交通标志对应的目标区域通过以下模块得到:
第二检测模块,用于按照预设的检测算法检测所述目标图像中是否存在交通标志,
第一目标区域确定模块,用于如果是,针对检测到的每一交通标志,在所述目标图像中获取该交通标志所处的第一区域,计算所述第一区域与第二区域之间的区域关联值,所述第二区域是按照预设的跟踪算法在所述目标图像中确定出的所述第一交通标志所处的区域;依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域;
第二目标区域确定模块,用于如果否,确定所述目标图像中的所述第二区域为与所述第一交通标志对应的目标区域。
在一个实施例中,所述第一目标区域确定模块依据各区域关联值在所述目标图像中确定与所述第一交通标志对应的目标区域时,具体用于:
从所有区域关联值中找出最大的候选区域关联值;
比较所述候选区域关联值与第一预设关联值;
若所述候选区域关联值小于或等于第一预设关联值,确定所述第二区域为所述目标图像中与所述第一交通标志对应的目标区域;
若所述候选区域关联值大于第一预设关联值,确定候选区域的第一位置信息和第二区域的第二位置信息,所述候选区域与第二区域之间的区域关联值为所述候选区域关联值,依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域。
在一个实施例中,所述第一目标区域确定模块依据所述第一位置信息和所述第二位置信息确定所述目标图像中与所述第一交通标志对应的目标区域时,具体用于:
将所述第一位置信息乘以第一设定权重值得到第三位置信息;
将所述第二位置信息乘以第二设定权重值得到第四位置信息;
将所述第三位置信息与所述第四位置信息进行位置叠加得到目标位置信息;
将所述目标图像中与所述目标位置信息对应的区域确定为与所述第一交通标志对应的目标区域。
在一个实施例中,在目标图像中不存在所述第一交通标志时,该装置进一步包括:
跟踪失败数值检查模块,用于将已记录的跟踪失败数值增加第一设定值,检查增加了第一设定值的跟踪失败数值是否达到第二设定阈值,
跟踪接续模块,用于如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志;
第二识别模块,用于如果是,判断已缓存的与所述第一交通标志对应的目标区域的数量是否达到第三设定阈值,如果是,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
在一个实施例中,第一识别模块依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,或,第二识别模块依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志时,具体用于:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种电子设备,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如前述实施例中所述的图像识别方法。
本发明图像识别装置的实施例可以应用在电子设备上。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图5所示,图5是本发明根据一示例性实施例示出的图像识别装置100所在电子设备的一种硬件结构图,除了图5所示的处理器510、内存530、接口520、以及非易失性存储器540之外,实施例中装置100所在的电子设备通常根据该电子采集设备的实际功能,还可以包括其他硬件,对此不再赘述。
本发明还提供一种机器可读存储介质,其上存储有程序,该程序被处理器执行时,实现如前述实施例中任意一项所述的图像识别方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (13)

1.一种图像识别方法,其特征在于,该方法包括:
从当前采集的第一图像中检测到待识别的第一交通标志;
将在第一图像之后再采集的图像确定为目标图像;
按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件;
如果是,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志;
其中,所述目标图像中与所述第一交通标志对应的目标区域通过以下方式得到:
按照预设的检测算法检测所述目标图像中是否存在交通标志,
如果是,针对检测到的每一交通标志,在所述目标图像中获取该交通标志所处的第一区域,计算所述第一区域与第二区域之间的区域关联值,所述第二区域是按照预设的跟踪算法在所述目标图像中确定出的所述第一交通标志所处的区域;从所有区域关联值中找出最大的候选区域关联值;比较所述候选区域关联值与第一预设关联值;若所述候选区域关联值小于或等于第一预设关联值,确定所述第二区域为所述目标图像中与所述第一交通标志对应的目标区域;若所述候选区域关联值大于第一预设关联值,确定候选区域的第一位置信息和第二区域的第二位置信息,所述候选区域与第二区域之间的区域关联值为所述候选区域关联值,将所述第一位置信息乘以第一设定权重值得到第三位置信息;将所述第二位置信息乘以第二设定权重值得到第四位置信息;将所述第三位置信息与所述第四位置信息进行位置叠加得到目标位置信息;将所述目标图像中与所述目标位置信息对应的区域确定为与所述第一交通标志对应的目标区域;
如果否,确定所述目标图像中的所述第二区域为与所述第一交通标志对应的目标区域;
其中,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,包括:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
2.如权利要求1所述的图像识别方法,其特征在于,检查目标图像是否满足图像识别条件包括:
确定所述目标图像中与所述第一交通标志对应的目标区域中满足设定位置条件的第一位置信息;
计算所述第一位置信息与所述目标图像的至少一个指定边界之间的距离;
依据所述距离检查目标图像是否满足图像识别条件。
3.如权利要求2所述的图像识别方法,其特征在于,依据所述距离检查目标图像是否满足图像识别条件,包括:
检查所述距离是否均大于设定距离;
如果是,确定所述目标图像不满足图像识别条件;
如果否,检查已缓存的与所述第一交通标志对应的目标区域的数量是否达到第一设定阈值,若是,确定所述目标图像满足图像识别条件,若否,确定所述目标图像不满足图像识别条件。
4.如权利要求1所述的图像识别方法,其特征在于,该方法进一步包括:
如果目标图像不满足图像识别条件,缓存所述目标图像中与所述第一交通标志对应的目标区域,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
5.如权利要求1所述的图像识别方法,其特征在于,在目标图像中不存在所述第一交通标志时,该方法进一步包括:
将已记录的跟踪失败数值增加第一设定值,检查增加了第一设定值的跟踪失败数值是否达到第二设定阈值,
如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志;
如果是,判断已缓存的与所述第一交通标志对应的目标区域的数量是否达到第三设定阈值,如果是,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
6.如权利要求5所述的图像识别方法,其特征在于,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,包括:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
7.一种图像识别装置,其特征在于,该装置包括:
第一检测模块,用于从当前采集的第一图像中检测到待识别的第一交通标志;
目标图像确定模块,用于将在第一图像之后再采集的图像确定为目标图像;
跟踪模块,用于按照预设的跟踪算法确定所述目标图像中是否存在所述第一交通标志,在目标图像中存在所述第一交通标志时,检查目标图像是否满足图像识别条件;
第一识别模块,用于如果是,依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志;
其中,述目标图像中与所述第一交通标志对应的目标区域通过以下模块得到:
第二检测模块,用于按照预设的检测算法检测所述目标图像中是否存在交通标志,
第一目标区域确定模块,用于如果是,针对检测到的每一交通标志,在所述目标图像中获取该交通标志所处的第一区域,计算所述第一区域与第二区域之间的区域关联值,所述第二区域是按照预设的跟踪算法在所述目标图像中确定出的所述第一交通标志所处的区域;从所有区域关联值中找出最大的候选区域关联值;比较所述候选区域关联值与第一预设关联值;若所述候选区域关联值小于或等于第一预设关联值,确定所述第二区域为所述目标图像中与所述第一交通标志对应的目标区域;若所述候选区域关联值大于第一预设关联值,确定候选区域的第一位置信息和第二区域的第二位置信息,所述候选区域与第二区域之间的区域关联值为所述候选区域关联值,将所述第一位置信息乘以第一设定权重值得到第三位置信息;将所述第二位置信息乘以第二设定权重值得到第四位置信息;将所述第三位置信息与所述第四位置信息进行位置叠加得到目标位置信息;将所述目标图像中与所述目标位置信息对应的区域确定为与所述第一交通标志对应的目标区域;
第二目标区域确定模块,用于如果否,确定所述目标图像中的所述第二区域为与所述第一交通标志对应的目标区域;
其中,所述第一识别模块依据所述目标图像中与所述第一交通标志对应的目标区域、以及已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,具体用于:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
8.如权利要求7所述的图像识别装置,其特征在于,所述跟踪模块检查目标图像是否满足图像识别条件时,具体用于:
确定所述目标图像中与所述第一交通标志对应的目标区域中满足设定位置条件的第一位置信息;
计算所述第一位置信息与所述目标图像的至少一个指定边界之间的距离;
依据所述距离检查目标图像是否满足图像识别条件。
9.如权利要求8所述的图像识别装置,其特征在于,所述跟踪模块依据所述距离检查目标图像是否满足图像识别条件时,具体用于:
检查所述距离是否均大于设定距离;
如果是,确定所述目标图像不满足图像识别条件;
如果否,检查已缓存的与所述第一交通标志对应的目标区域的数量是否达到第一设定阈值,若是,确定所述目标图像满足图像识别条件,若否,确定所述目标图像不满足图像识别条件。
10.如权利要求7所述的图像识别装置,其特征在于,该装置进一步包括:
目标区域缓存模块,用于如果目标图像不满足图像识别条件,缓存所述目标图像中与所述第一交通标志对应的目标区域,将在所述目标图像之后再采集的图像确定为目标图像,返回跟踪模块执行。
11.如权利要求7所述的图像识别装置,其特征在于,在目标图像中不存在所述第一交通标志时,该装置进一步包括:
跟踪失败数值检查模块,用于将已记录的跟踪失败数值增加第一设定值,检查增加了第一设定值的跟踪失败数值是否达到第二设定阈值,
跟踪接续模块,用于如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志;
第二识别模块,用于如果是,判断已缓存的与所述第一交通标志对应的目标区域的数量是否达到第三设定阈值,如果是,依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志,如果否,将在所述目标图像之后再采集的图像确定为目标图像,返回按照预设的跟踪算法跟踪所述目标图像中是否存在所述第一交通标志。
12.如权利要求11所述的图像识别装置,其特征在于,第二识别模块依据已缓存的与所述第一交通标志对应的目标区域识别所述第一交通标志时,具体用于:
将各目标区域输入至已训练的识别模型中得到N个识别结果,N是输入至识别模型的目标区域的数量,所述识别结果包含:交通标志类别、及交通标志类别置信度;
检查N个识别结果中是否有设定数量个包含相同交通标志类别、且交通标志类别置信度大于设定置信度的目标识别结果;
如果是,将所述目标识别结果中包含的交通标志类别确定为所述第一交通标志的类别。
13.一种电子设备,其特征在于,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如权利要求1-6中任意一项所述的图像识别方法。
CN201911133218.3A 2019-11-19 2019-11-19 图像识别方法、装置及设备 Active CN112906424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911133218.3A CN112906424B (zh) 2019-11-19 2019-11-19 图像识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911133218.3A CN112906424B (zh) 2019-11-19 2019-11-19 图像识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112906424A CN112906424A (zh) 2021-06-04
CN112906424B true CN112906424B (zh) 2023-10-31

Family

ID=76103283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911133218.3A Active CN112906424B (zh) 2019-11-19 2019-11-19 图像识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112906424B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013026205A1 (en) * 2011-08-25 2013-02-28 Harman International (Shanghai) Management Co., Ltd. System and method for detecting and recognizing rectangular traffic signs
CN103559507A (zh) * 2013-11-18 2014-02-05 沈阳工业大学 基于颜色与形状特征相结合的交通标志检测方法
CN107851318A (zh) * 2015-08-18 2018-03-27 高通股份有限公司 用于对象跟踪的***和方法
CN109344899A (zh) * 2018-09-30 2019-02-15 百度在线网络技术(北京)有限公司 多目标检测方法、装置和电子设备
CN109886210A (zh) * 2019-02-25 2019-06-14 百度在线网络技术(北京)有限公司 一种交通图像识别方法、装置、计算机设备和介质
CN109902610A (zh) * 2019-02-22 2019-06-18 杭州飞步科技有限公司 交通标志识别方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912914B1 (ko) * 2014-01-17 2018-10-29 주식회사 만도 전방 카메라를 이용한 속도제한 표지판 인식 시스템 및 방법
US9195895B1 (en) * 2014-05-14 2015-11-24 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
KR101737791B1 (ko) * 2014-10-23 2017-05-19 현대모비스 주식회사 교통 표지판 인식 장치 및 그 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013026205A1 (en) * 2011-08-25 2013-02-28 Harman International (Shanghai) Management Co., Ltd. System and method for detecting and recognizing rectangular traffic signs
CN103559507A (zh) * 2013-11-18 2014-02-05 沈阳工业大学 基于颜色与形状特征相结合的交通标志检测方法
CN107851318A (zh) * 2015-08-18 2018-03-27 高通股份有限公司 用于对象跟踪的***和方法
CN109344899A (zh) * 2018-09-30 2019-02-15 百度在线网络技术(北京)有限公司 多目标检测方法、装置和电子设备
CN109902610A (zh) * 2019-02-22 2019-06-18 杭州飞步科技有限公司 交通标志识别方法和装置
CN109886210A (zh) * 2019-02-25 2019-06-14 百度在线网络技术(北京)有限公司 一种交通图像识别方法、装置、计算机设备和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于条件随机场与多尺度卷积神经网络的交通标志检测与识别;李凯;《计算机应用》;20181225;第270-274页 *

Also Published As

Publication number Publication date
CN112906424A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
US10803357B2 (en) Computer-readable recording medium, training method, and object detection device
US8099213B2 (en) Road-edge detection
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
US20200380269A1 (en) Camera blockage detection for autonomous driving systems
US8902053B2 (en) Method and system for lane departure warning
CN110543807B (zh) 验证障碍物候选的方法
JP2013222461A (ja) ナンバープレート画像の確実なクロッピング
CN110909692A (zh) 异常车牌识别方法、装置及计算机存储介质、电子设备
CN112633255B (zh) 目标检测方法、装置及设备
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN111488808A (zh) 基于交通违法图像数据的车道线检测方法
KR20190115501A (ko) 차량 인식 시스템
CN112434657A (zh) 飘散运载物检测方法、设备、程序及计算机可读介质
CN113029185B (zh) 众包式高精度地图更新中道路标线变化检测方法及***
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN111881752B (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
US11961308B2 (en) Camera blockage detection for autonomous driving systems
CN112906424B (zh) 图像识别方法、装置及设备
CN111738085A (zh) 实现自动驾驶同时定位与建图的***构建方法及装置
CN116805409A (zh) 一种利用行车视频进行路面状态识别与平整性评估的方法
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
CN116012764A (zh) 一种道路病害识别定位方法、装置、电子设备及存储介质
CN113313016B (zh) 摄像头脏污识别方法、电子设备及车辆
CN114049771A (zh) 基于双模态的交通异常检测方法、***和存储介质
CN112906495B (zh) 一种目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant