CN112183206B - 一种基于路侧单目摄像头的交通参与者定位方法和*** - Google Patents

一种基于路侧单目摄像头的交通参与者定位方法和*** Download PDF

Info

Publication number
CN112183206B
CN112183206B CN202010879183.4A CN202010879183A CN112183206B CN 112183206 B CN112183206 B CN 112183206B CN 202010879183 A CN202010879183 A CN 202010879183A CN 112183206 B CN112183206 B CN 112183206B
Authority
CN
China
Prior art keywords
wheel
pedestrian
grounding point
target object
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010879183.4A
Other languages
English (en)
Other versions
CN112183206A (zh
Inventor
陈升东
郑创杰
袁峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Institute of Software Application Technology Guangzhou GZIS
Original Assignee
Guangzhou Institute of Software Application Technology Guangzhou GZIS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Institute of Software Application Technology Guangzhou GZIS filed Critical Guangzhou Institute of Software Application Technology Guangzhou GZIS
Priority to CN202010879183.4A priority Critical patent/CN112183206B/zh
Publication of CN112183206A publication Critical patent/CN112183206A/zh
Application granted granted Critical
Publication of CN112183206B publication Critical patent/CN112183206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种基于路侧单目摄像头的交通参与者定位方法和***，实现了利用路侧单目摄像头对乘用车、客车、行人和骑车人这四类交通参与者的精确定位。仅依靠视觉方案，不要求车辆装备摄像头，极大降低成本。通过对车辆接地点的精确检测以及对行人、骑车人接地点范围的创造性的估计，利用路侧摄像头相对地面固定的优势，采用坐标转换，实现了对交通参与者的精确定位。经试验验证，对车辆的平均定位精度可达10cm，对行人的定位也是准确有效的。

Description

一种基于路侧单目摄像头的交通参与者定位方法和***
技术领域
本发明实施例涉及智能交通技术领域，尤其涉及一种基于路侧单目摄像头的交通参与者定位方法和***。
背景技术
近几年，各大城市的机动车拥有量急剧增加，尽管城市交通建设和交通管理部门在交通路网建设和交通管理科技设施建设方面投入了大量的人力、财力和物力，但仍然避免不了城市交通拥堵现象的发生，行车难、停车难成为各大城市普遍存在的问题，同时因为交通参与的随意性和无规律性，使交通管理者无法提前规划，也因此加剧了城市交通管理的压力。
目前，在交通管理方面普遍采用的是图像监控管理***，这种***是各个路口安装摄像头，并与交管中心的控制电脑相连，使各个路况的相关车辆信息完全处于摄像头的监控之中。这种图像监控***可实现对路况信息的实时监控作用，可以发现并判断那个路口或那条路处于畅通状态或塞车状态，并通过相关平台如广播电台等传递给司机，可以取到一定程度防止塞车的状况出现。
对交通参与者的精确定位，对于智能交通***来说非常重要，不仅可以应用于先进驾驶员辅助***(ADAS，Advanced Driver Assist System)中，甚至可以帮助实现车辆的自动驾驶(AD，Autonomous Driving)。利用安装在路侧的单目摄像头实现目标物精确定位，相比于安装在车内的摄像头而言，成本低廉，一台单目摄像头可监测该路段内的所有车辆信息，不要求每台车辆安装摄像头。在这种“上帝视角”下，目标物之间相互遮挡的情况大大减少，目标物的位置关系更容易确定。同时由于安装位置更加固定，更容易实现目标物的精确定位，但是在车轮被遮挡时定位精度有所下降。
发明内容
本发明实施例提供一种基于路侧单目摄像头的交通参与者定位方法和***，通过对车辆接地点的精确检测以及对行人、骑车人接地点范围的创造性的估计，利用路侧单目摄像头相对地面固定的优势，采用坐标转换，实现了对交通参与者的精确定位。
第一方面，本发明实施例提供一种基于路侧单目摄像头的交通参与者定位方法，包括：
获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
若判断获知所述目标物为乘用车，则将所述目标物边界框输入到训练好的车轮检测模型，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
若判断获知所述目标物为行人或骑车人，则基于预设的步幅或车轮间距获取行人接地点或汽车人接地点；
将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
作为优选的，还包括：
检测车身方位，基于霍夫变换提取所述目标物边界框中所有的直线，并对所有所述直线的分布进行统计，取分布最多的直线围城的范围向代表车身方位。
作为优选的，还包括：
若未检测出车轮，则基于所述车身方位定位一个车轮在目标物边界框中所处的位置，得到车轮边界框，取所述车轮边界框的中点为车轮接地点。
作为优选的，则将所述目标物边界框输入到训练好的车轮检测模型前，还包括：
采集若干车轮图像样本作为正样本；
抠除车辆边界框中的车轮区域，并进行随机剪裁，得到多张与所述正样本大小相同的图片并作为负样本；所述正样本的数量和所述负样本的数量相同；
提取所述正样本和所述负样本中的方向梯度直方图HOG特征，基于所述HOG特征训练支持向量机SVM模型；
将分类错误的所述正样本和/或所述负样本标记为难例，再次训练；
得到训练好的车轮检测模型。
作为优选的，若判断获知所述目标物为行人或骑车人，则基于预设的步幅或车轮间距获取行人接地点或汽车人接地点，具体包括：
获取行人或骑车人的行人边界框或/骑车人边界框；
取所述行人边界框或/骑车人边界框的下边界作为行人或骑车人的接地区域的第一条边；在所述行人边界框或/骑车人边界框内取第二条边，所述第二条边与所述第一条边平行，所述第二条边与所述第一条边的距离等于预设的步幅或车轮间距；
将所述第一条边与所述第二条边在所述行人边界框或/骑车人边界框内围城的区域作为接地区域，所述接地区域为行人接地点或汽车人接地点所在区域。
作为优选的，将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标，具体包括：
基于单孔摄像头的小孔成像原理，通过标定单孔摄像头的外参和内参，获取像素坐标系和世界坐标系的转换关系；
基于所述像素坐标系和世界坐标系的转换关系，将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
第二方面，本发明实施例提供一种基于路侧单目摄像头的交通参与者定位***，包括交通参与者的检测和分类模块、车轮接地点检测模块、行人和骑车人接地点范围提取模块和位置检测模块；
交通参与者的检测和分类模块，用于获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
车轮接地点检测模块，用于在判断获知所述目标物为乘用车时，将所述目标物边界框输入到训练好的车轮检测模型，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
行人和骑车人接地点范围提取模块，用于在判断获知所述目标物为行人或骑车人时，基于预设的步幅或车轮间距获取行人接地点或汽车人接地点；
位置检测模块，用于将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
作为优选的，所述交通参与者的检测和分类模块还用于：
采集若干车轮图像样本作为正样本；
抠除车辆边界框中的车轮区域，并进行随机剪裁，得到多张与所述正样本大小相同的图片并作为负样本；所述正样本和所述负样本数量相同；
提取所述正样本和所述负样本中的方向梯度直方图HOG特征，基于所述HOG特征训练支持向量机SVM模型；
将分类错误的所述正样本和/或所述负样本标记为难例，再次训练；
得到训练好的车轮检测模型。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述基于路侧单目摄像头的交通参与者定位方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述基于路侧单目摄像头的交通参与者定位方法的步骤。
本发明实施例提供的一种基于路侧单目摄像头的交通参与者定位方法和***，实现了利用路侧单目摄像头对乘用车、客车、行人和骑车人这四类交通参与者的精确定位。仅依靠视觉方案，不要求车辆装备摄像头，极大降低成本。通过对车辆接地点的精确检测以及对行人、骑车人接地点范围的创造性的估计，利用路侧摄像头相对地面固定的优势，采用坐标转换，实现了对交通参与者的精确定位。经试验验证，对车辆的平均定位精度可达10cm，对行人的定位也是准确有效的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的方法的应用场景示意图；
图2为根据本发明实施例的基于路侧单目摄像头的交通参与者定位方法示意图；
图3为根据本发明实施例的车身方位检测结果示意图；
图4为根据本发明实施例的边界框内直线的分布图；
图5为根据本发明实施例的车轮定位结果示意图；
图6为根据本发明实施例的图像上的行人接地点区域示意图；
图7为根据本发明实施例的单目摄像头成像模型；
图8为根据本发明实施例的车辆的定位结果表示示意图；
图9为根据本发明实施例的行人的定位结果表示示意图；
图10为根据本发明实施例的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的***、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
智能交通***(Intelligent Traffic System，ITS)是汽车化社会发展最早的美国首先开展研究的一个课题。该课题涉及多个方面，主旨为保障车辆交通安全、提高道路交通效率。这一课题一直被人们所关注，其原因在于虽然汽车应用是一种现代化的标志，但与汽车应用有关的交通管理和信息服务，却长期处于全部由人工参与完成的原始状态。
智能交通***至少可以划分为道路***和车载***。车载***使参与道路交通的主体，而道路***为车载***向车载***提供信息，并最终指导驾车人更好地利用道路交通的资源。目前国内外在ITS的概念中，按公认的、技术先进的***方案描述，道路***需要不同种类的设备搭建多层次复杂体系的***架构。这一***的技术架构中，在交通信息采集时，在重要路段或路口，以图像摄取方式录取车辆通行情况，并以计算机图像处理技术，提取交通路况信息，或者以路面安装压感线圈的方式，采集途经车辆的数量。
对交通参与者的精确定位，对于智能交通***来说非常重要，不仅可以应用于先进驾驶员辅助***(ADAS，Advanced Driver Assist System)中，甚至可以帮助实现车辆的自动驾驶(AD，Autonomous Driving)。利用安装在路侧的单目摄像头实现目标物精确定位，相比于安装在车内的摄像头而言，成本低廉，一台单目摄像头可监测该路段内的所有车辆信息，不要求每台车辆安装摄像头。在这种“上帝视角”下，目标物之间相互遮挡的情况大大减少，目标物的位置关系更容易确定。同时由于安装位置更加固定，更容易实现目标物的精确定位，但是在车轮被遮挡时定位精度有所下降。
因此，本发明实施例提供一种基于路侧单目摄像头的交通参与者定位方法和***，仅依靠视觉方案，不要求车辆装备摄像头，极大降低成本。通过对车辆接地点的精确检测以及对行人、骑车人接地点范围的创造性的估计，利用路侧摄像头相对地面固定的优势，采用坐标转换，实现了对交通参与者的精确定位。以下将通过多个实施例进行展开说明和介绍。
本发明下述各实施例提供的基于路侧单目摄像头的交通参与者定位方法，可应用于智能交通网络中。图1为本申请实施例提供的一种基于路侧单目摄像头的交通参与者定位方法的应用场景示意图。如图1所示，智能交通网络可以包括行驶在车道上的车辆111、位于车道上的行人112、位于车道上的骑车人113、交通控制设备13、远程服务器14、基站15、路侧设备16等，其中路测设备至少包括单目摄像头。
可以理解的是，图1所示的应用场景中各对象只是示意性说明，本申请实施例并不对该智能交通网络包括的对象进行具体限定。在该智能交通网络中，车辆和车辆之间可以进行无线通信，车辆111、交通控制设备13、远程服务器14、路侧设备16、基站15之间可以进行无线通信，远程服务器14可以对交通设施进行控制等等。
其中，有些车辆内设置有行车电脑或车载单元(on board unit，OBU)，有些车辆内搭载有用户终端例如手机等。车辆内的手机、行车电脑或OBU可与网络侧设备通信，此处网络侧设备具体可以是交通控制设备、远程服务器、基站、路侧设备等，本发明实施例的方法可以是行车电脑或车载单元执行，也可以是远程服务器执行。
图2为本发明实施例提供一种基于路侧单目摄像头的交通参与者定位方法，可应用于智能交通网络中，包括：
获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
若判断获知所述目标物为乘用车，则将所述目标物边界框输入到训练好的车轮检测模型，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
若判断获知所述目标物为行人或骑车人，则基于预设的步幅或车轮间距获取行人接地点或汽车人接地点；
将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
具体的，在本实施例中，利用卷积神经网络实现对行人、乘用车、客车以及骑车人(包含自行车骑车人和摩托车骑车人)的识别和分类，给出的结果为目标物的边界框以及对应的标签。
车轮检测指检测出车轮的位置，从而确定车辆接地点的位置。本发明实施例利用HOG(Histogram of oriented Gradient，方向梯度直方图)联合SVM(Support VectorMachine，支持向量机)方法进行车轮检测。
行人和骑车人接地点范围估算主要是对行人和骑车人的接地点进行估计，估计结果为一个四边形区域。
利用路侧单目摄像头对乘用车、客车、行人和骑车人这四类交通参与者的精确定位。发明仅依靠视觉方案，不要求车辆装备摄像头，极大降低成本。通过对车辆接地点的精确检测以及对行人、骑车人接地点范围的创造性的估计，利用路侧摄像头相对地面固定的优势，采用坐标转换，实现了对交通参与者的精确定位。经试验验证，对车辆的平均定位精度可达10cm，对行人的定位也是准确有效的。
在一个实施例中，还包括：
检测车身方位，基于霍夫变换提取所述目标物边界框中所有的直线，并对所有所述直线的分布进行统计，取分布最多的直线围城的范围向代表车身方位。
具体的，在本实施例中，车身方位检测中，首先采用霍夫变换检测出目标物边界框内的所有直线，然后再对直线的分布进行统计，如图3中所示，为边界框内直线的分布图。取分布最多的范围代表车身方位，如图4中所示，图4中直线代表检测结果。
还需要进行车轮ROI裁剪，利用前一步获得的车身方位信息，估计车轮在目标物边界框中所处的位置，为下一步车轮检测缩小范围，减少计算量。
在一个实施例中，还包括：
若未检测出车轮，则基于所述车身方位定位一个车轮在目标物边界框中所处的位置，并进行车辆接地点位置计算。
具体的，在本实施例中，当车轮被遮挡而无法检测时，依靠车身方位信息可以估算一个车轮位置传递给最后的进行位置计算。
在一个实施例中，则将所述目标物边界框输入到训练好的车轮检测模型前，还包括：
采集若干车轮图像样本作为正样本；
抠除车辆边界框中的车轮区域，并进行随机剪裁，得到多张与所述正样本大小相同的图片并作为负样本；所述正样本的数量和所述负样本的数量相同；
提取所述正样本和所述负样本中的方向梯度直方图HOG特征，基于所述HOG特征训练支持向量机SVM模型；
将分类错误的所述正样本和/或所述负样本标记为难例，再次训练；
得到训练好的车轮检测模型。
具体的，在本实施例中，车轮检测指检测出车轮的位置，从而确定车辆接地点的位置。本实施例基于HOG联合SVM方法进行车轮检测。首先收集数量足够多(本实施例中约1000张)的车轮样本，作为训练集正样本。然后在车辆的边界框中，抠除车轮区域，随机裁剪出多张与正样本同样大小的图片作为负样本。最终保证正负样本数量基本一致。然后对制作好的正负样本进行HOG特征提取，并利用它们训练SVM模型。在训练过程中，将分类错误的样本标记为难例，再次加入到已生成的模型中进行训练。最终，模型可实现车轮的检测，给出车轮的边界框。取边界框中下边界的中点为车轮接地点，如图5中所示。
在一个实施例中，若判断获知所述目标物为行人或骑车人，则基于预设的步幅或车轮间距获取行人接地点或汽车人接地点，具体包括：
获取行人或骑车人的行人边界框或/骑车人边界框；
取所述行人边界框或/骑车人边界框的下边界作为行人或骑车人的接地区域的第一条边；在所述行人边界框或/骑车人边界框内取第二条边，所述第二条边与所述第一条边平行，所述第二条边与所述第一条边的距离等于预设的步幅或车轮间距；
将所述第一条边与所述第二条边在所述行人边界框或/骑车人边界框内围城的区域作为接地区域，所述接地区域为行人接地点或汽车人接地点所在区域。
具体的，在本实施例中，行人和骑车人接地点范围估算主要是对行人和骑车人的接地点进行估计，估计结果为一个四边形区域。对行人的边界框进行分析，如图6中所示，a为边界框左下角点；b为边界框右下角点；l为与ab平行且距离为行人步幅的直线；bc为l与边界框左右交点，a‘与b’为ad和bc上任意一点，可以得到，行人的第一个接地点位于边界框的下边界上，因此接地点四边形的第一条边为边界框的下边界。由于行人的歩幅在一定范围内，因此接地点四边形的第二条边为与下边界平行且距离一定的直线。该距离为行人的步幅，可设为0.6m。由于行人的接地点一定在行人边界框内，因此边界框的左右边界，可分别作为接地点四边形区域的第三、四条边。由上述四条边构成的四边形区域，将行人的接地点囊括其中，可作为行人接地点区域参与后续计算。骑车人的接地点区域估计方法与行人类似，只是对应的步幅做相应调整，修改为车轮间距。
在一个实施例中，将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标，具体包括：
基于单孔摄像头的小孔成像原理，通过标定单孔摄像头的外参和内参，获取像素坐标系和世界坐标系的转换关系；
基于所述像素坐标系和世界坐标系的转换关系，将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
具体的，在本实施例中，位置检测主要包括像素坐标系到世界坐标系的转化模型及定位计算。如图7中所示，由单目摄像头的小孔成像原理，通过标定摄像头的外参和内参，可以获取像素坐标系到世界坐标系的转化关系。一般情况下，这个一个一对多的关系，即一个像素点对应着多个世界坐标系中的点(一条射线的点)。但如果世界坐标系中某点的任意一个方向的坐标值确定后，该点就确定下来，对应关系变为一对一。对于交通参与者的接地点，由于这些点均在地面上，可垂直与地面建立的世界坐标系，使得地面上点的Z轴坐标值均为0。最终，在已知接地点的像素坐标系的情况下，能够计算得到其对应的世界坐标系中的坐标。
对于车辆，由于两个车轮接地点已经确定，通过估计车宽，可以计算得到车辆中心的位置。同时，通过估计车轮与车辆前后边界的距离，可以得到车辆的位置区域，结果为一个矩形区域。对于行人，已知接地点在像素坐标系中的四边形区域，可以计算得到世界坐标系中的四边形区域，作为对行人的定位结果。骑车人的定位结果计算和行人类似。如图8和图9中所示，其中：O-XwYw为地面的世界坐标系，w1和w2为车辆一侧的两个车轮接地点；w3为另外一侧的一个车轮接地点；b1，b2，b3，b4车辆轮廓的四个角点，w为车宽。其中：O-XwYw为地面的世界坐标系，a，b，c，d，a’，b’，l对应这图3的相同名称点。
本发明实施例还提供一种基于路侧单目摄像头的交通参与者定位***，基于上述各实施例中的基于路侧单目摄像头的交通参与者定位方法，包括交通参与者的检测和分类模块、车轮接地点检测模块、行人和骑车人接地点范围提取模块和位置检测模块；
交通参与者的检测和分类模块，用于获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
车轮接地点检测模块，用于在判断获知所述目标物为乘用车时，将所述目标物边界框输入到训练好的车轮检测模型，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
行人和骑车人接地点范围提取模块，用于在判断获知所述目标物为行人或骑车人时，基于预设的步幅或车轮间距获取行人接地点或汽车人接地点；
位置检测模块，用于将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
在一个实施例中，所述交通参与者的检测和分类模块还用于：
采集若干车轮图像样本作为正样本；
抠除车辆边界框中的车轮区域，并进行随机剪裁，得到多张与所述正样本大小相同的图片并作为负样本；所述正样本和所述负样本数量相同；
提取所述正样本和所述负样本中的方向梯度直方图HOG特征，基于所述HOG特征训练支持向量机SVM模型；
将分类错误的所述正样本和/或所述负样本标记为难例，再次训练；
得到训练好的车轮检测模型。
基于相同的构思，本发明实施例还提供了一种实体结构示意图，如图10所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述基于路侧单目摄像头的交通参与者定位方法的步骤。例如包括：
获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
若判断获知所述目标物为乘用车，则将所述目标物边界框输入到训练好的车轮检测模型中，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
若判断获知所述目标物为行人或骑车人，则基于预设的步幅或车轮间距获取行人接地点或汽车人接地点；
将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述基于路侧单目摄像头的交通参与者定位方法的步骤。例如包括：
获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
若判断获知所述目标物为乘用车，则将所述目标物边界框输入到训练好的车轮检测模型中，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
若判断获知所述目标物为行人或骑车人，则基于预设的步幅或车轮间距获取行人接地点或汽车人接地点；
将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明实施例提供的一种基于路侧单目摄像头的交通参与者定位方法和***，实现了利用路侧单目摄像头对乘用车、客车、行人和骑车人这四类交通参与者的精确定位。仅依靠视觉方案，不要求车辆装备摄像头，极大降低成本。通过对车辆接地点的精确检测以及对行人、骑车人接地点范围的创造性的估计，利用路侧摄像头相对地面固定的优势，采用坐标转换，实现了对交通参与者的精确定位。经试验验证，对车辆的平均定位精度可达10cm，对行人的定位也是准确有效的。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于路侧单目摄像头的交通参与者定位方法，其特征在于，包括：
获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
若判断获知所述目标物为乘用车，则将所述目标物边界框输入到训练好的车轮检测模型，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
则将所述目标物边界框输入到训练好的车轮检测模型前，还包括：
采集若干车轮图像样本作为正样本；
抠除车辆边界框中的车轮区域，并进行随机剪裁，得到多张与所述正样本大小相同的图片并作为负样本；所述正样本的数量和所述负样本的数量相同；
提取所述正样本和所述负样本中的方向梯度直方图HOG特征，基于所述HOG特征训练支持向量机SVM模型；
将分类错误的所述正样本和/或所述负样本标记为难例，再次训练；
得到训练好的车轮检测模型；
若判断获知所述目标物为行人或骑车人，则基于预设的步幅或车轮间距获取行人接地点或汽车人接地点，具体包括：
获取行人或骑车人的行人边界框或/骑车人边界框；
取所述行人边界框或/骑车人边界框的下边界作为行人或骑车人的接地区域的第一条边；在所述行人边界框或/骑车人边界框内取第二条边，所述第二条边与所述第一条边平行，所述第二条边与所述第一条边的距离等于预设的步幅或车轮间距；
将所述第一条边与所述第二条边在所述行人边界框或/骑车人边界框内围城的区域作为接地区域，所述接地区域为行人接地点或汽车人接地点所在区域；
将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
2.根据权利要求1所述的基于路侧单目摄像头的交通参与者定位方法，其特征在于，还包括：
检测车身方位，基于霍夫变换提取所述目标物边界框中所有的直线，并对所有所述直线的分布进行统计，取分布最多的直线围城的范围向代表车身方位。
3.根据权利要求2所述的基于路侧单目摄像头的交通参与者定位方法，其特征在于，还包括：
若未检测出车轮，则基于所述车身方位定位一个车轮在目标物边界框中所处的位置，得到车轮边界框，取所述车轮边界框的中点为车轮接地点。
4.根据权利要求1所述的基于路侧单目摄像头的交通参与者定位方法，其特征在于，将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标，具体包括：
基于单孔摄像头的小孔成像原理，通过标定单孔摄像头的外参和内参，获取像素坐标系和世界坐标系的转换关系；
基于所述像素坐标系和世界坐标系的转换关系，将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
5.一种基于路侧单目摄像头的交通参与者定位***，其特征在于，包括交通参与者的检测和分类模块、车轮接地点检测模块、行人和骑车人接地点范围提取模块和位置检测模块；
交通参与者的检测和分类模块，用于获取路测单目摄像头采集的单目视觉图像，并将所述单目视觉图像输入至训练好的分类模型，得到所述单目视觉图像中目标物的分类结果；所述分类结果包括目标物边界框和目标物分类标签；
则将所述目标物边界框输入到训练好的车轮检测模型前，还包括：
采集若干车轮图像样本作为正样本；
抠除车辆边界框中的车轮区域，并进行随机剪裁，得到多张与所述正样本大小相同的图片并作为负样本；所述正样本的数量和所述负样本的数量相同；
提取所述正样本和所述负样本中的方向梯度直方图HOG特征，基于所述HOG特征训练支持向量机SVM模型；
将分类错误的所述正样本和/或所述负样本标记为难例，再次训练；
得到训练好的车轮检测模型；
车轮接地点检测模块，用于在判断获知所述目标物为乘用车时，将所述目标物边界框输入到训练好的车轮检测模型，得到车轮边界框，取所述车轮边界框的中点为车轮接地点；
行人和骑车人接地点范围提取模块，用于在判断获知所述目标物为行人或骑车人时，基于预设的步幅或车轮间距获取行人接地点或汽车人接地点，具体包括：
获取行人或骑车人的行人边界框或/骑车人边界框；
取所述行人边界框或/骑车人边界框的下边界作为行人或骑车人的接地区域的第一条边；在所述行人边界框或/骑车人边界框内取第二条边，所述第二条边与所述第一条边平行，所述第二条边与所述第一条边的距离等于预设的步幅或车轮间距；
将所述第一条边与所述第二条边在所述行人边界框或/骑车人边界框内围城的区域作为接地区域，所述接地区域为行人接地点或汽车人接地点所在区域；
位置检测模块，用于将所述车轮接地点和/或行人接地点和/或汽车人接地点在单目摄像头中的像素坐标转换为世界坐标。
6.根据权利要求5所述的基于路侧单目摄像头的交通参与者定位***，其特征在于，所述交通参与者的检测和分类模块还用于：
采集若干车轮图像样本作为正样本；
抠除车辆边界框中的车轮区域，并进行随机剪裁，得到多张与所述正样本大小相同的图片并作为负样本；所述正样本和所述负样本数量相同；
提取所述正样本和所述负样本中的方向梯度直方图HOG特征，基于所述HOG特征训练支持向量机SVM模型；
将分类错误的所述正样本和/或所述负样本标记为难例，再次训练；
得到训练好的车轮检测模型。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于路侧单目摄像头的交通参与者定位方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述基于路侧单目摄像头的交通参与者定位方法的步骤。
CN202010879183.4A 2020-08-27 2020-08-27 一种基于路侧单目摄像头的交通参与者定位方法和*** Active CN112183206B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010879183.4A CN112183206B (zh) 2020-08-27 2020-08-27 一种基于路侧单目摄像头的交通参与者定位方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010879183.4A CN112183206B (zh) 2020-08-27 2020-08-27 一种基于路侧单目摄像头的交通参与者定位方法和***

Publications (2)

Publication Number Publication Date
CN112183206A CN112183206A (zh) 2021-01-05
CN112183206B true CN112183206B (zh) 2024-04-05

Family

ID=73923972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010879183.4A Active CN112183206B (zh) 2020-08-27 2020-08-27 一种基于路侧单目摄像头的交通参与者定位方法和***

Country Status (1)

Country Link
CN (1) CN112183206B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063733A (zh) * 2021-02-27 2022-09-16 华为技术有限公司 一种对象检测方法及电子设备
CN116894937B (zh) * 2023-06-25 2024-02-06 德联易控科技(北京)有限公司 获取车轮定位仪参数的方法、***及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201059A (zh) * 2011-05-20 2011-09-28 北京大学深圳研究生院 一种行人检测方法及装置
WO2014112632A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及び方法
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测***
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108209926A (zh) * 2018-01-08 2018-06-29 西安科技大学 基于深度图像的人体身高测量***
CN108335509A (zh) * 2018-03-16 2018-07-27 北京航空航天大学 一种基于机器视觉的车路协同***和方法
CN109949356A (zh) * 2019-03-14 2019-06-28 大连民族大学 等距线单目视觉行人距离估计方法
CN110909705A (zh) * 2019-11-30 2020-03-24 的卢技术有限公司 一种基于车载摄像头的路侧停车位感知方法及***
CN111460919A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201059A (zh) * 2011-05-20 2011-09-28 北京大学深圳研究生院 一种行人检测方法及装置
WO2014112632A1 (ja) * 2013-01-18 2014-07-24 株式会社東芝 動作情報処理装置及び方法
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
CN107730906A (zh) * 2017-07-11 2018-02-23 银江股份有限公司 斑马线车辆不礼让行人行为的视觉检测***
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知***
CN108209926A (zh) * 2018-01-08 2018-06-29 西安科技大学 基于深度图像的人体身高测量***
CN108335509A (zh) * 2018-03-16 2018-07-27 北京航空航天大学 一种基于机器视觉的车路协同***和方法
CN109949356A (zh) * 2019-03-14 2019-06-28 大连民族大学 等距线单目视觉行人距离估计方法
CN110909705A (zh) * 2019-11-30 2020-03-24 的卢技术有限公司 一种基于车载摄像头的路侧停车位感知方法及***
CN111460919A (zh) * 2020-03-13 2020-07-28 华南理工大学 一种基于改进YOLOv3的单目视觉道路目标检测及距离估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Low-Cost Method for Accurate Localization of Traffic Participants;M. Liao等;《2020 IEEE 19th International Conference on Trust, Security and Privacy in Computing and Communications (TrustCom)》;2001-2006 *
Probability estimation for pedestrian crossing intention at signalized crosswalks;Y. Hashimoto等;《2015 IEEE International Conference on Vehicular Electronics and Safety (ICVES)》;114-119 *
Vehicle detection in intelligent transportation systems and its applications under varying environments: A review;Yang Z等;《 Image and Vision Computing》;第69卷;143-154 *
一种前方车辆后轮接地点检测算法;王海等;《现代交通技术》;第8卷(第4期);62-64 *

Also Published As

Publication number Publication date
CN112183206A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN110501018B (zh) 一种服务于高精度地图生产的交通标志牌信息采集方法
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
CN103824066B (zh) 一种基于视频流的车牌识别方法
CN104166973B (zh) 影像动态融合方法与装置
US10699567B2 (en) Method of controlling a traffic surveillance system
CN106571046B (zh) 基于路面网格体系的车路协同辅助驾驶方法
CN106991820B (zh) 违规车辆处理方法及装置
CN110929655B (zh) 一种行驶过程中车道线识别方法、终端设备及存储介质
CN103824452A (zh) 一种轻量级的基于全景视觉的违章停车检测装置
CN110008891B (zh) 一种行人检测定位方法、装置、车载计算设备及存储介质
CN112183206B (zh) 一种基于路侧单目摄像头的交通参与者定位方法和***
CN110942038A (zh) 基于视觉的交通场景识别方法、装置、介质及电子设备
CN111915883A (zh) 一种基于车载摄像的道路交通状况检测方法
CN115331191B (zh) 车型识别方法、装置、***和存储介质
CN112131935A (zh) 一种机动车车厢载人识别方法、装置和计算机设备
CN111931644A (zh) 一种车载人数检测的方法、***、设备及可读存储介质
CN113945219A (zh) 动态地图生成方法、***、可读存储介质及终端设备
CN112384952A (zh) 一种相机的标定方法、标定装置及电子设备
CN110727269A (zh) 车辆控制方法及相关产品
CN113128264B (zh) 一种车辆区域确定方法、装置及电子设备
CN113053127B (zh) 智能化实时状态检测***及方法
CN115019511A (zh) 基于自动驾驶车辆的识别机动车违规变道的方法和装置
CN111161542B (zh) 车辆识别方法及装置
CN114170798A (zh) 消息提醒***以及方法
CN107452230A (zh) 一种障碍物检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant