CN113492850B - 倾斜角检测装置及控制装置 - Google Patents
倾斜角检测装置及控制装置 Download PDFInfo
- Publication number
- CN113492850B CN113492850B CN202110344339.3A CN202110344339A CN113492850B CN 113492850 B CN113492850 B CN 113492850B CN 202110344339 A CN202110344339 A CN 202110344339A CN 113492850 B CN113492850 B CN 113492850B
- Authority
- CN
- China
- Prior art keywords
- wheeled vehicle
- feature extraction
- vehicle
- image
- inclination angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 190
- 238000000605 extraction Methods 0.000 claims abstract description 197
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 description 37
- 238000012545 processing Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000012986 modification Methods 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4026—Cycles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种能够检测在图像上显示的二轮车相对于地面的法线的倾斜角的倾斜角检测装置。倾斜角检测装置具有:物体检测部,其通过将由拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而在图像上检测包含有二轮车的物体区域;特征提取区域设定部,其设定使物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从图像截取多个特征提取区域中的每一个;以及倾斜角检测部,其在多个特征提取区域的每一个中求出二轮车的宽度,并基于针对多个特征提取区域中的每一个的相对于图像的旋转角和二轮车的宽度,对二轮车的宽度成为最小的相对于图像的旋转角进行检测并将该旋转角作为二轮车相对于地面的法线的倾斜角。
Description
技术领域
本发明涉及对在图像上显示的二轮车相对于地面的法线的倾斜角进行检测的倾斜角检测装置及利用这样的倾斜角检测装置并控制车辆的行驶的控制装置。
背景技术
为了预测在本车辆的周围行驶的二轮车的变动,提出了对二轮车相对于地面的法线的倾斜角进行检测的技术(例如参照专利文献1及2)。此外,在本申请中,将从二轮车的正面或背面观察该二轮车时的、从该二轮车相对于地面的接地点起连结至该二轮车的骑乘者的头顶部为止的直线相对于地面的法线的倾斜角度设为该二轮车相对于地面的法线的倾斜角(以下,有时简称为倾斜角)。
例如,专利文献1公开的驾驶支援***在机动二轮车赶超了本车辆的情况下检测该机动二轮车的倾角,并基于检测到的倾角,判定机动二轮车是否***到本车辆的前方。
另外,在专利文献2公开的动作方法中,求出在图像的至少两条线中被分类为二轮车的像素的中间列值,并基于该中间列值而求出二轮车的倾斜角。
在先技术文献
专利文献
专利文献1:日本特开2017-185862号公报
专利文献2:日本特开2017-102928号公报
发明内容
发明要解决的课题
一般而言,由于在二轮车改变行进方向时,二轮车的骑乘者会使二轮车向行进方向侧倾斜,因此,二轮车的倾斜角成为用于预测二轮车的变动的重要信息。因此,要求更准确地检测在图像上显示的二轮车的倾斜角。
因此,本发明的目的在于提供能够检测在图像上显示的二轮车相对于地面的法线的倾斜角的倾斜角检测装置。
用于解决课题的手段
根据一个实施方式,提供一种倾斜角检测装置。该倾斜角检测装置具有:物体检测部,所述物体检测部通过将由拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而在图像上检测包含有二轮车的物体区域;特征提取区域设定部,所述特征提取区域设定部设定使物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从图像截取多个特征提取区域中的每一个;以及倾斜角检测部,所述倾斜角检测部在多个特征提取区域的每一个中求出二轮车的宽度,并基于针对多个特征提取区域中的每一个的相对于图像的旋转角和二轮车的宽度,对二轮车的宽度成为最小的相对于图像的旋转角进行检测并将该旋转角作为二轮车相对于地面的法线的倾斜角。
在该倾斜角检测装置中,优选的是,倾斜角检测部针对多个特征提取区域中的每一个,在将该特征提取区域的尺寸变更为预定的尺寸之后,输入到为了检测二轮车的左端的位置及右端的位置而进行了预先学习的第二识别器,由此,求出多个特征提取区域的每一个中的二轮车的左端的位置及右端的位置,针对多个特征提取区域中的每一个,作为该特征提取区域中的二轮车的左端的位置及右端的位置之差而求出该特征提取区域中的二轮车的宽度。
另外,在该倾斜角检测装置中,优选的是,倾斜角检测部通过对多个特征提取区域的每一个中的二轮车的宽度与该特征提取区域相对于图像的旋转角的组进行拟合,从而求出表示二轮车的宽度的变化相对于旋转角的变化的拟合曲线,并将在该拟合曲线中二轮车的宽度成为最小的旋转角设为二轮车相对于地面的法线的倾斜角。
根据另一实施方式,提供一种倾斜角检测装置。该倾斜角检测装置具有:物体检测部,所述物体检测部通过将由拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而在图像上检测包含有二轮车的物体区域;特征提取区域设定部,所述特征提取区域设定部设定使物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从图像截取多个特征提取区域中的每一个;以及倾斜角检测部,所述倾斜角检测部在多个特征提取区域的每一个中求出二轮车的高度,并基于针对多个特征提取区域中的每一个的相对于图像的旋转角和二轮车的高度,对二轮车的高度成为最大的相对于图像的旋转角进行检测并将该旋转角作为二轮车相对于地面的法线的倾斜角。
根据又一实施方式,提供一种对车辆的行驶进行控制的控制装置。该控制装置具有:物体检测部,所述物体检测部通过将由搭载于车辆的拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而在图像上检测包含有位于车辆的周围的二轮车的物体区域;特征提取区域设定部,所述特征提取区域设定部设定使物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从图像截取多个特征提取区域中的每一个;倾斜角检测部,所述倾斜角检测部在多个特征提取区域的每一个中求出二轮车的宽度,并基于针对多个特征提取区域中的每一个的相对于图像的旋转角和二轮车的宽度,对二轮车的宽度成为最小的相对于图像的旋转角进行检测并将该旋转角作为二轮车相对于地面的法线的倾斜角;驾驶计划部,所述驾驶计划部基于检测出的二轮车的倾斜角来预测二轮车行驶的轨迹,并基于所预测的轨迹来设定车辆的行驶预定路径,以使车辆与二轮车远离预定距离以上;以及车辆控制部,所述车辆控制部对车辆进行控制,以使车辆沿着行驶预定路径行驶。
发明的效果
本发明的倾斜角检测装置可以发挥能够检测在图像上显示的二轮车相对于地面的法线的倾斜角这样的效果。
附图说明
图1是安装有倾斜角检测装置的车辆控制***的概略结构图。
图2是作为倾斜角检测装置的一实施方式的电子控制装置的硬件结构图。
图3是与包含有倾斜角检测处理的车辆控制处理相关的电子控制装置的处理器的功能框图。
图4是示出作为第一识别器而利用的DNN的结构的一例的图。
图5是示出在图像上显示的关于二轮车的物体区域及特征提取区域的一例的图。
图6是示出截取出的特征提取区域与尺寸调整后的特征提取区域的关系的一例的图。
图7是示出由第二识别器进行的二轮车的左右端的检测结果的一例的图。
图8是说明基于每个特征提取区域的二轮车的宽度的检测结果的倾斜角检测的概要的图。
图9是与倾斜角检测处理关联的各部分的处理的时序图。
图10是包含有倾斜角检测处理的车辆控制处理的动作流程图。
附图标记说明
1 车辆控制***
2 相机
3 电子控制装置(倾斜角检测装置)
4 车内网络
21 通信接口
22 存储器
23 处理器
31 物体检测部
32 特征提取区域设定部
33 倾斜角检测部
34 追踪部
35 驾驶计划部
36 车辆控制部
具体实施方式
以下,参照附图,对倾斜角检测装置进行说明。该倾斜角检测装置检测在图像上显示的二轮车相对于地面的法线的倾斜角。因此,该倾斜角检测装置通过将图像输入到为了检测二轮车而进行了预先学***方向上的二轮车的宽度(以下,有时简称为特征提取区域中的二轮车的宽度),基于每个特征提取区域的二轮车的宽度和相对于原始图像的旋转角,对二轮车的宽度成为最小的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
以下,说明将倾斜角检测装置应用于车辆控制***的例子。在该例中,倾斜角检测装置通过对由搭载于车辆的相机获得的时间序列上的一系列的图像执行倾斜角检测处理,从而对存在于车辆的周围的二轮车进行检测,并对检测到的二轮车的倾斜角进行检测。然后,车辆控制***基于检测到的倾斜角预测二轮车的变动,并基于所预测的变动对车辆进行自动驾驶控制。
图1是安装有倾斜角检测装置的车辆控制***的概略结构图。另外,图2是作为倾斜角检测装置的一个实施方式的电子控制装置的硬件结构图。在本实施方式中,搭载于车辆10并控制车辆10的车辆控制***1具有用于对车辆10的周围进行拍摄的相机2和作为倾斜角检测装置的一例的电子控制装置(ECU)3。相机2与ECU3经由控制器局域网这样的遵照标准的车内网络4能够通信地连接。此外,也可以是,车辆控制***1还具有存储用于车辆10的自动驾驶控制的地图的存储装置。而且,也可以是,车辆控制***1具有LiDAR或雷达这样的测距传感器、GPS接收机这样的用于遵照卫星定位***对车辆10的自身位置进行定位的接收机、用于与其他设备进行无线通信的无线终端、以及用于搜索车辆10的行驶预定路线的导航装置等。
相机2是作为用于对存在于预定的检测范围内的物体进行检测的传感器的拍摄部的一例,具有由CCD或C-MOS等对可见光具有灵敏度的光电转换元件的阵列构成的二维检测器和在该二维检测器上对成为拍摄对象的区域的像进行成像的光学成像***。并且,相机2例如以朝向车辆10的前方的方式安装在车辆10的车厢内。并且,相机2每隔预定的拍摄周期(例如1/30秒~1/10秒)对车辆10的前方区域进行拍摄,并生成拍摄到该前方区域的图像。优选的是,由相机2获得的图像为彩色图像。此外,也可以在车辆10设置拍摄方向或焦距不同的多个相机。
相机2每当生成图像时,经由车内网络4向ECU3输出所生成的图像。
ECU3控制车辆10。在本实施方式中,ECU3基于从由相机2获得的时间序列上的一系列的图像中检测出的物体对车辆10进行控制,以便对车辆10进行自动驾驶。因此,ECU3具有通信接口21、存储器22及处理器23。
通信接口21为通信部的一例,具有用于将ECU3连接于车内网络4的接口电路。即,通信接口21经由车内网络4与相机2连接。并且,通信接口21每当从相机2接收到图像时,向处理器23移交接收到的图像。
存储器22是存储部的一例,例如具有易失性的半导体存储器及非易失性的半导体存储器。此外,如后述那样,在处理器23具有多个运算单元的情况下,存储器22也可以按各运算单元具有专用的存储器电路。并且,存储器22存储有在由ECU3的处理器23执行的倾斜角检测处理中使用的各种数据及参数例如从相机2接收到的图像、用于确定在倾斜角检测处理中利用的各识别器的各种参数、以及每个物体的种类的确信度阈值等。而且,存储器22将表示与检测出的物体相关的信息的检测物体列表这样的在倾斜角检测处理的中途生成的各种数据存储一定期间。另外,也可以是,存储器22还存储有地图信息这样的在车辆10的行驶控制中利用的信息。
处理器23为控制部的一例,具有一个或多个CPU(Central Processing Unit:中央处理单元)及其周边电路。也可以是,处理器23还具有逻辑运算单元、数值运算单元或图形处理单元(Graphics Processing Unit、GPU)这样的其他运算电路。并且,在车辆10行驶的期间,每当从相机2接收到图像时,处理器23对接收到的图像执行包含有倾斜角检测处理的车辆控制处理。并且,处理器23基于检测出的车辆10周围的物体特别是二轮车对车辆10进行控制,以便对车辆10进行自动驾驶。
图3是与包含有倾斜角检测处理的车辆控制处理相关的ECU3的处理器23的功能框图。处理器23具有物体检测部31、特征提取区域设定部32、倾斜角检测部33、追踪部34、驾驶计划部35及车辆控制部36。处理器23所具有的上述各部分例如是通过在处理器23上运行的计算机程序来实现的功能模块。或者,处理器23所具有的上述各部分也可以是设置于处理器23的专用的运算电路。另外,处理器23所具有的上述各部分中的物体检测部31、特征提取区域设定部32及倾斜角检测部33执行倾斜角检测处理。此外,在将多个相机设置于车辆10的情况下,处理器23也可以按各相机,基于由该相机获得的图像来执行倾斜角检测处理。
物体检测部31每当从相机2接收到图像时,通过将接收到的最新的图像输入到物体检测用的第一识别器,从而检测在该图像上显示的包含有二轮车这样的检测对象物体的物体区域。此外,除了二轮车以外,检测对象物体还包括影响车辆10的行驶控制的物体例如其他车辆、人、道路标识、信号机、车道区划线等道路标志及道路上的其他物体等。
在本实施方式中,物体检测部31利用如下的DNN作为第一识别器,所述DNN为了对在图像上显示的包含有检测对象物体(包含有二轮车)的物体区域进行检测并识别检测对象物体的种类而进行了预先学习。物体检测部31利用的DNN例如能够设为Single ShotMultiBox Detector(单步多框检测器,SSD)或Faster R-CNN这样的具有卷积神经网络(以下,简称为CNN)型的架构的DNN。
图4是示出作为第一识别器而利用的DNN的结构的一例的图。DNN400具有设置于输入图像的输入侧的主干部401和与主干部401相比设置于输出侧的位置检测部402及种类推定部403。位置检测部402基于来自主干部401的输出,输出在图像上显示的包含有检测对象物体的物体区域。种类推定部403基于来自主干部401的输出,算出在由位置检测部402检测出的物体区域显示的检测对象物体的每个种类的确信度。此外,位置检测部402及种类推定部403也可以一体地形成。
主干部401例如能够设为具有从输入侧朝向输出侧串联连接的多个层的CNN。在这多个层中包括两个以上的卷积层。而且,在主干部401所具有的多个层中也可以包括按一个或多个卷积层设置的池化层。另外,在主干部401所具有的多个层中还可以包括一个以上的全连接层。例如,主干部401能够设为与SSD的基本层相同的结构。或者,主干部401也可以依照VGG-19、Alex Net或NIN(Network-In-Network)这样的其他CNN架构来构成。
在被输入图像时,主干部401通过对该图像执行在各层的运算,从而输出根据该图像算出的特征图(feature map)。此外,主干部401也可以输出分辨率不同的多个特征图。例如,主干部401也可以输出具有与输入的图像的分辨率相同的分辨率的特征图和比输入的图像的分辨率低的分辨率的一个以上的特征图。
分别向位置检测部402及种类推定部403输入从主干部401输出的特征图。并且,位置检测部402及种类推定部403例如分别能够设为具有从输入侧朝向输出侧串联连接的多个层的CNN。对于位置检测部402及种类推定部403中的每一个而言,在CNN所具有的多个层中包括两个以上的卷积层。另外,对于位置检测部402及种类推定部403中的每一个而言,在CNN所具有的多个层中也可以包括按一个或多个卷积层设置的池化层。此外,CNN所具有的卷积层及池化层对于位置检测部402及种类推定部403而言也可以共用化。而且,对于位置检测部402及种类推定部403中的每一个而言,在多个层中也可以包括一个以上的全连接层。在该情况下,优选的是,全连接层与各卷积层相比设置于输出侧。另外,也可以将来自各卷积层的输出直接输入到全连接层。另外,种类推定部403的输出层既可以是依照Softmax函数(Softmax function)来算出各个种类的检测对象物体的确信度的Softmax层,也可以是依照Sigmoid函数(Sigmoid function)来算出各个种类的检测对象物体的确信度的Sigmoid层。
位置检测部402及种类推定部403例如以按图像上的各种位置、各种尺寸及各种纵横比的区域输出各个种类的检测对象物体的确信度的方式进行学习。因此,识别器400通过被输入图像,从而按图像上的各种位置、各种尺寸及各种纵横比的区域输出各个种类的检测对象物体的确信度。并且,位置检测部402及种类推定部403对针对任一种类的检测对象物体的确信度成为预定的确信度阈值以上的区域进行检测,并将其作为显示该种类的检测对象物体的物体区域。
对于在识别器400的学习中利用的指导数据所包含的图像(指导图像)而言,例如标注有检测对象物体的种类(例如普通乘用车、公交车、卡车、二轮车等)和表示检测对象物体的物体区域即该检测对象物体的外接矩形。
识别器400使用上述那样的多个指导图像,例如按照误差反向传播法这样的学习方法进行学习。处理器23通过利用像这样进行了学习的识别器400,从而能够从图像高精度地检测二轮车这样的检测对象物体。
也可以是,物体检测部31通过进一步执行NMS(Non-maximum suppression,非极大值抑制)处理,从而从至少局部重叠的两个以上的物体区域中的、被推定为表示同一物体的物体区域选择一个。
物体检测部31将各物体区域的图像上的位置及范围和该物体区域所包含的物体的种类登记于检测物体列表。然后,物体检测部31将检测物体列表存储于存储器22。
特征提取区域设定部32按检测到的二轮车设定用于求出该二轮车的宽度的多个特征提取区域。由于特征提取区域设定部32对各个二轮车执行相同的处理即可,因此,以下说明对一个二轮车的处理。
特征提取区域设定部32参照检测物体列表,确定表示检测到的二轮车的物体区域,设定使该物体区域相对于原始图像每次旋转彼此不同的预定角度而得到的多个特征提取区域。然后,特征提取区域设定部32从图像截取各特征提取区域。此外,当在检测物体列表中登记有两台以上的二轮车的情况下,特征提取区域设定部32按各个二轮车设定特征提取区域即可。另外,预定角度例如能够设为5°单位、10°单位或20°单位。
图5是示出在图像上显示的关于二轮车的物体区域及特征提取区域的一例的图。在该例中,针对在图像500上显示的包含有二轮车(包含有骑乘者)501的矩形形状的物体区域510,通过使物体区域510每次旋转±20度,从而包含物体区域510本身(即旋转角为0度)在内地设定五个特征提取区域510~514。此外,优选的是,特征提取区域设定部32以在各特征提取区域510~514中包含原来的物体区域510整体的方式设定各特征提取区域510~514。由此,能够抑制二轮车的左右各自的端部的一部分从任一特征提取区域脱离,后述的第二识别器能够准确地检测二轮车的左端及右端各自的位置。
特征提取区域设定部32从原始图像截取所设定的各特征提取区域。在获得的各特征提取区域中包含有成为倾斜角的检测对象的二轮车。由于各特征提取区域相对于对应的物体区域以彼此不同的旋转角度进行设定,所以按各特征提取区域,二轮车相对于该特征提取区域的下端的倾斜不同。另外,一般而言,在从前方或后方观察二轮车的情况下,将二轮车相对于地面的接地点与该二轮车的骑乘者的头顶部连结的方向(以下,为了便于说明,称为中心线方向)上的长度比与中心线方向正交的方向上的长度长。因此,在图5中,如各特征提取区域510~514所示的那样,二轮车的中心线方向与特征提取区域的下端所成的角越大,则特征提取区域的水平方向(即与特征提取区域的下端平行的方向)上的二轮车的宽度变得越小。即,特征提取区域相对于原始图像的旋转角与二轮车的倾斜角之差越小,则特征提取区域的水平方向上的二轮车的宽度变得越小。因此,通过根据这些特征提取区域中的每一个对二轮车的宽度进行检测,从而能够推定二轮车的倾斜角。
特征提取区域设定部32通过针对从图像截取的特征提取区域中的每一个,以使水平方向上的宽度及垂直方向上的宽度成为预定的尺寸(例如64×64像素)的方式执行下采样、上采样、bi-linear(双线性)插补或bi-cubic(双三次)插补等尺寸转换处理,从而进行尺寸调整。由此,不论图像上的二轮车的尺寸及二轮车的倾斜角如何,都将相同尺寸的特征提取区域输入到后述的第二识别器,因此,能够简化第二识别器的构造。
图6是示出从图像截取的特征提取区域与尺寸调整后的特征提取区域的关系的一例的图。在图6中,特征提取区域610~614分别与图5所示的特征提取区域510~514对应,是进行尺寸调整之前的特征提取区域。另一方面,特征提取区域620~624分别是通过将特征提取区域610~614尺寸调整为预定的尺寸而获得的尺寸调整后的特征提取区域。由于尺寸调整前的各特征提取区域610~614相对于原始图像的旋转角彼此不同,且各特征提取区域610~614被设定为包含物体区域整体,因此,各特征提取区域610~614的水平方向及垂直方向上的尺寸彼此不同。但是,尺寸调整后的特征提取区域620~624的水平方向及垂直方向上的尺寸彼此相等。
特征提取区域设定部32向倾斜角检测部33输出进行了尺寸调整的各特征提取区域。而且,特征提取区域设定部32针对各特征提取区域,向倾斜角检测部33通知尺寸调整后的水平方向上的宽度与尺寸调整前的水平方向上的宽度之比(以下,为了便于说明,称为归一化比)。
倾斜角检测部33针对登记在检测物体列表中的二轮车中的每一个,对该二轮车的倾斜角进行检测。由于倾斜角检测部33对各个二轮车执行相同的处理即可,因此,以下说明针对一个二轮车的处理。
倾斜角检测部33通过将包含有尺寸调整后的各特征提取区域的各个像素值的输入数据输入到为了检测二轮车的左端的位置和右端的位置而进行了预先学习的第二识别器,从而按各特征提取区域对在该特征提取区域显示的二轮车的左端的位置和右端的位置进行检测。倾斜角检测部33基于从各特征提取区域检测出的二轮车的左端的位置和右端的位置,求出在各特征提取区域显示的二轮车的宽度。然后,倾斜角检测部33基于针对各特征提取区域的二轮车的宽度和相对于原始图像的旋转角,对二轮车的宽度成为最小的旋转角进行检测并将该旋转角作为二轮车的倾斜角。在本实施方式中,倾斜角检测部33对各特征提取区域中的二轮车的宽度成为最小的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
例如,在尺寸调整后的各个特征提取区域的尺寸为64×64像素、特征提取区域的个数为五个且截取了各特征提取区域的原始图像为用RGB的三通道表示的彩色图像的情况下,对于第二识别器而言,向第二识别器输入尺寸为(5(特征提取区域数)、3(通道数)、64(水平方向像素数)、64(垂直方向像素数))这样的四阶张量的输入数据。
第二识别器例如能够设为具有CNN型的架构的神经网络。在该情况下,第二识别器具有:一个以上的卷积层,所述一个以上的卷积层进行针对水平方向及垂直方向的卷积运算或者针对水平方向、垂直方向及通道方向的卷积运算,并生成特征图;一个以上的全连接层,所述一个以上的全连接层对由卷积层算出的特征图进行全连接运算;以及输出层,所述输出层基于全连接层的运算结果,输出各特征提取区域中的二轮车的左端的位置及右端的位置。而且,第二识别器也可以在多个卷积层之间具有使特征图的分辨率降低的池化层。输出层例如使用sigmoid函数作为激活函数,针对各特征提取区域,按水平方向上的位置,在[0、1]的值域中输出表示二轮车的左端相似度的值。在该情况下,例如,输出值为0的位置表示二轮车的左端的位置,另一方面,输出值为1的位置表示二轮车的右端的位置。或者,输出层也可以不使用激活函数,而针对各特征提取区域,对左端位置和右端位置各自的位置进行回归推定。
第二识别器使用如下的指导数据,依照误差反向传播法进行预先学习,所述指导数据包含多个组,该多个组为上述那样的尺寸调整后的特征提取区域的集合(set)与在该集合所包含的各特征提取区域中表示二轮车的左端的位置及右端的位置的注释信息的组。对于作为指导数据而使用的尺寸调整后的特征提取区域的集合而言,例如通过将指导数据生成用的图像输入到第一识别器来确定表示二轮车的物体区域,并对所确定的物体区域执行与特征提取区域设定部32的处理同样的处理,从而对上述尺寸调整后的特征提取区域的集合进行制作。
图7是示出由第二识别器进行的二轮车的左右端的检测结果的一例的图。如图7所示,第二识别器在尺寸调整后即输入到第二识别器的特征提取区域700上输出二轮车的左端位置xLeftNormalized及右端位置xRightNormalized。
倾斜角检测部33针对尺寸调整后的特征提取区域中的每一个,基于该特征提取区域的归一化比,将从第二识别器输出的二轮车的左端的位置及右端的位置校正为尺寸调整前的特征提取区域的位置。即,倾斜角检测部33针对尺寸调整后的特征提取区域中的每一个,通过使该特征提取区域中的二轮车的左端的位置及右端的位置除以针对该特征提取区域的归一化比,从而能够求出尺寸调整前的特征提取区域中的二轮车的左端的位置及右端的位置。然后,倾斜角检测部33针对尺寸调整前的各特征提取区域算出二轮车的左端的位置与右端的位置之差,并将其作为该特征提取区域中的二轮车的宽度。倾斜角检测部33确定尺寸调整前的各特征提取区域中的二轮车的宽度成为最小的特征提取区域,对所确定的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
例如,在图5所示的例子中,在五个特征提取区域510~514中的使物体区域沿逆时针方向旋转40°而得到的特征提取区域513中,二轮车501的宽度成为最小。因此,倾斜角检测部33将二轮车501的倾斜角检测为沿逆时针方向的40°。
根据变形例,倾斜角检测部33使用非线性最小二乘法等拟合方法,将特征提取区域各自的旋转角与二轮车的宽度的组拟合为用二次曲线等表示的拟合曲线。该拟合曲线表示二轮车的宽度的变化相对于旋转角的变化,所述旋转角的变化是相对于原始图像的旋转角的变化。因此,倾斜角检测部33也可以在拟合曲线中确定二轮车的宽度成为最小的旋转角,并将该确定的旋转角检测为二轮车的倾斜角。
图8是说明该变形例的基于每个特征提取区域的二轮车的宽度的检测结果的倾斜角检测的概要的图。在图8中,横轴表示特征提取区域相对于原始图像的旋转角。此外,在该例中,将使特征提取区域沿顺时针方向旋转的情况下的旋转角表示为负,另一方面,将使特征提取区域沿逆时针方向旋转的情况下的旋转角表示为正。另外,纵轴表示二轮车的宽度。并且,曲线800表示针对按各特征提取区域求出的二轮车的宽度与该特征提取区域的旋转角的组801的拟合曲线。在该例中,在拟合曲线800中,在旋转角为40°时二轮车的宽度成为最小。因此,倾斜角检测部33将二轮车的倾斜角检测为40°。
根据该变形例,即使在任意的特征提取区域的旋转角相对于二轮车的倾斜角均不一致的情况下,倾斜角检测部33也能够准确地检测该二轮车的倾斜角。
倾斜角检测部33按记录在检测物体列表中的二轮车,将检测到的二轮车的倾斜角与该二轮车的信息相关联地存储在存储器22中。
图9是与倾斜角检测处理关联的各部分的处理的时序图。处理器23的各部分的处理例如由在处理器23上运行的调度器(未图示)进行管理,并依照图9所示的时序图来执行。在图9中,横轴表示时间。另外,在图9中,各个区块表示执行在该区块内示出的处理,各个箭头表示各处理之间的数据(图像、检测物体列表、特征提取区域等)的交接。例如,当ECU3在时刻t1从相机2接收到图像时,利用处理器23所具有的GPU执行针对该图像的由物体检测部31进行的检测对象物体的检测处理。此外,在进行检测对象物体的检测处理之前,也可以对图像进行对比度校正或颜色转换这样的前处理。
在进行检测对象物体的检测处理时,利用处理器23所具有的CPU进行检测出的物体的种类及物体区域向检测物体列表的登记等物体检测的后处理,之后,执行由后述的追踪部34进行的追踪处理。另外,与追踪处理并行地对检测出的二轮车执行由特征提取区域设定部32进行的特征提取区域设定处理。并且,在特征提取区域设定处理之后,利用GPU执行各个特征提取区域的尺寸调整、包含有尺寸调整后的各个特征提取区域的倾斜角检测部33向第二识别器的输入数据的生成、以及基于第二识别器的各特征提取区域中的二轮车的左右端的检测处理。然后,基于该检测结果,利用CPU执行二轮车的倾斜角的检测处理。然后,将追踪处理的结果及倾斜角的检测结果用于驾驶计划部35及车辆控制部36的处理。此外,各个特征提取区域的尺寸调整、向第二识别器的输入数据的生成、以及基于第二识别器的旋转角不同的各特征提取区域中的二轮车的左右端的检测处理作为批量处理来执行即可。
追踪部34通过针对从最新的图像检测出的物体区域中的每一个,参照检测物体列表将在该物体区域显示的检测对象物体与从过去的图像检测出的检测对象物体相对应,从而对在该物体区域显示的检测对象物体进行追踪。
追踪部34例如通过将Lucas-Kanade法这样的基于光流的追踪处理应用于最新的图像中的所关注的物体区域及过去的图像中的物体区域,从而对在该物体区域显示的检测对象物体进行追踪。因此,追踪部34例如通过针对所关注的物体区域应用SIFT或Harris算子这样的特征点提取用的滤波器,从而从该物体区域提取多个特征点。并且,追踪部34通过针对多个特征点中的每一个,依照所应用的追踪方法来确定过去的图像的物体区域中的对应的点,从而算出光流即可。或者,追踪部34也可以通过针对最新的图像中的所关注的物体区域及过去的图像中的物体区域,应用在从图像检测出的移动物体的追踪中应用的其他追踪方法,从而对在该物体区域显示的检测对象物体进行追踪。
追踪部34针对从最新的图像检测出的检测对象物体中的不与在过去的图像上显示的检测对象物体相对应的检测对象物体,将其作为新的追踪对象而分配与其他追踪中的检测对象物体不同的识别编号,并将该分配的识别编号登记在检测物体列表中。另一方面,追踪部34针对从最新的图像检测出的检测对象物体中的与在过去的图像上显示的检测对象物体相对应的检测对象物体、即追踪中的检测对象物体,使其同与对该追踪中的检测对象物体分配的识别编号相同的识别编号相对应。
驾驶计划部35参照检测物体列表,以避免存在于车辆10的周围的物体与车辆10碰撞的方式生成一个以上的车辆10的行驶预定路径(轨道)。行驶预定路径例如被表示为从当前时刻起到预定目标时间为止的各时刻的车辆10的目标位置的集合。例如,驾驶计划部35通过参照检测物体列表并使用相机2向车辆10的安装位置等信息来执行视点转换处理,从而将检测物体列表中的物体的图像内坐标转换为俯瞰图像上的坐标(俯瞰坐标)。然后,驾驶计划部35通过针对一系列的俯瞰坐标执行使用了卡尔曼滤波器(Kalman Filter)或粒子滤波器(Particle filter)等的跟踪处理,从而对在检测物体列表中登记的物体进行追踪,根据通过其追踪结果而获得的轨迹,对物体各自的到预定目标时间为止的预测轨迹进行推定。此时,在所关注的检测对象物体为二轮车的情况下,驾驶计划部35将追踪中的各图像的取得时刻的该二轮车的倾斜角用于预测轨迹的推定。例如,在作为所关注的检测对象物体的二轮车相对于地面的法线向逆时针方向倾斜的情况下(即在从车辆10观察向左侧倾斜的情况下),其倾斜角越大,且逆时针方向上的倾斜角随着时间经过越增加,则该二轮车向左侧进行车道变更或左拐的可能性越高。因此,驾驶计划部35针对该二轮车,推定如下的预测轨迹:逆时针方向上的倾斜角越大,且逆时针方向上的倾斜角随着时间经过越增加,则会以越短的时间向左侧进行车道变更或左拐。同样地,在作为所关注的检测对象物体的二轮车相对于地面的法线向顺时针方向倾斜的情况下(即在从车辆10观察向右侧倾斜的情况下),其倾斜角越大,且顺时针方向上的倾斜角随着时间经过越增加,则该二轮车向右侧进行车道变更或右拐的可能性越高。因此,驾驶计划部35针对该二轮车,推定如下的预测轨迹:顺时针方向上的倾斜角越大,且顺时针方向上的倾斜角随着时间经过越增加,则会以越短的时间向右侧进行车道变更或右拐。而且,在作为所关注的检测对象物体的二轮车的倾斜角的绝对值为预定的角度(例如5°)以下的情况下,该二轮车直行的可能性较高。因此,驾驶计划部35针对该二轮车,推定进行直行那样的预测轨迹。
驾驶计划部35基于追踪中的各物体的预测轨迹和车辆10的位置、速度及姿态而生成车辆10的行驶预定路径,以便对于任意的物体而言,到预定目标时间为止的追踪中的物体的每一个与车辆10之间的距离的预测值均成为预定距离以上。此外,驾驶计划部35例如能够基于从搭载于车辆10的GPS接收机(未图示)获得的表示车辆10的当前位置的当前位置信息,对车辆10的位置、速度及姿态进行推定。或者,也可以是,每当利用相机2获得图像时,定位处理部(未图示)根据该图像对车辆10的左右的车道区划线进行检测,并对检测出的车道区划线与存储于存储器22的地图信息进行匹配,由此对车辆10的位置、速度及姿态进行推定。而且,驾驶计划部35例如也可以参照车辆10的当前位置信息和存储于存储器22的地图信息,对可供车辆10行驶的车道的数量进行确认。并且,在可供车辆10行驶的车道存在多个的情况下,驾驶计划部35也可以以变更车辆10行驶的车道的方式生成行驶预定路径。
此外,驾驶计划部35也可以生成多个行驶预定路径。在该情况下,驾驶计划部35也可以选择多个行驶预定路径中的车辆10的加速度的绝对值的总和成为最小的路径。
驾驶计划部35向车辆控制部36通知所生成的行驶预定路径。
车辆控制部36对车辆10的各部分进行控制,以使车辆10沿着所通知的行驶预定路径行驶。例如,车辆控制部36依照所通知的行驶预定路径以及由车速传感器(未图示)测定出的车辆10的当前的车速求出车辆10的加速度,并对加速器开度或制动量进行设定,以便成为该加速度。然后,车辆控制部36依照所设定的加速器开度求出燃料喷射量,并向车辆10的发动机的燃料喷射装置输出与该燃料喷射量相应的控制信号。或者,车辆控制部36向车辆10的制动器输出与所设定的制动量相应的控制信号。
而且,在车辆10为了沿着行驶预定路径行驶而变更车辆10的前进道路的情况下,车辆控制部36依照该行驶预定路径求出车辆10的转向角,并向对车辆10的转向轮进行控制的致动器(未图示)输出与该转向角相应的控制信号。
图10是由处理器23执行的包含有倾斜角检测处理的车辆控制处理的动作流程图。处理器23每当从相机2接收到图像时,依照图10所示的动作流程图执行车辆控制处理。此外,在以下所示的动作流程图中,步骤S101~S105的处理对应于倾斜角检测处理。
处理器23的物体检测部31向第一识别器输入从相机2获得的最新的图像,并对在该图像上显示的检测对象物体进行检测。即,物体检测部31在图像上检测包含有检测对象物体的矩形形状的物体区域(步骤S101)。而且,物体检测部31对该检测对象物体的种类进行识别。然后,物体检测部31将检测出的物体登记在检测物体列表中。
处理器23的特征提取区域设定部32针对从最新的图像检测出的检测对象物体中的二轮车,设定使包含有该二轮车的物体区域相对于原始图像每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从图像截取各特征提取区域(步骤S102)。而且,特征提取区域设定部32将各特征提取区域尺寸调整为预定的尺寸(步骤S103)。
处理器23的倾斜角检测部33针对从最新的图像检测出的检测对象物体中的二轮车,通过将包含有尺寸调整后的各特征提取区域的各个像素值的输入数据输入到第二识别器,从而对每个特征提取区域的二轮车的左右端的位置进行检测(步骤S104)。然后,倾斜角检测部33根据每个特征提取区域的二轮车的左右端的位置,求出每个特征提取区域的二轮车的宽度,对其宽度成为最小的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角(步骤S105)。此外,如上述变形例那样,也可以是,倾斜角检测部33求出基于每个特征提取区域的二轮车的宽度与相对于原始图像的旋转角的组而求出的表示二轮车的宽度的变化相对于旋转角的变化的拟合曲线,对在该拟合曲线中二轮车的宽度成为最小的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
另外,处理器23的追踪部34针对最新的图像中的包含有检测对象物体的物体区域中的每一个,基于该物体区域和过去的图像中的物体区域,对最新的图像中的在该物体区域显示的检测对象物体进行追踪(步骤S106)。
处理器23的驾驶计划部35参照检测物体列表,针对登记在检测物体列表中的各检测对象物体,以与根据该检测对象物体的追踪结果而求出的该检测对象物体的预测轨迹远离预定的距离以上的方式生成车辆10的行驶预定路径(步骤S107)。此外,在如上述那样检测对象物体为二轮车的情况下,驾驶计划部35也将该二轮车的倾斜角用于预测轨迹的推定。然后,处理器23的车辆控制部36对车辆10进行控制,以使车辆10沿着行驶预定路径行驶(步骤S108)。然后,处理器23结束车辆控制处理。
如以上说明的那样,该倾斜角检测装置通过将图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而对在图像上显示的包含有二轮车的物体区域进行检测。并且,该倾斜角检测装置设定通过使物体区域每次旋转预定的角度而获得的多个特征提取区域,并从图像截取各特征提取区域。该倾斜角检测装置通过在将各特征提取区域尺寸调整为预定的尺寸之后,将包含有各特征提取区域的各个像素值的输入数据输入到第二识别器,从而按各特征提取区域求出该特征提取区域中的二轮车的宽度,对宽度成为最小的特征提取区域的旋转角进行检测并将该旋转角作为二轮车的倾斜角。特别是,该倾斜角检测装置通过利用为了检测尺寸调整后的各特征提取区域中的二轮车的左端的位置及右端的位置而进行了预先学习的识别器作为第二识别器,从而能够准确地检测各特征提取区域中的二轮车的宽度。并且,各特征提取区域中的二轮车的宽度根据二轮车相对于该特征提取区域的下端的倾斜角而变化,且二轮车的宽度成为最小时的特征提取区域相对于原始图像的旋转角与二轮车相对于地面的倾斜角大致一致。因此,该倾斜角检测装置通过根据二轮车的宽度成为最小的特征提取区域相对于原始图像的旋转角求出二轮车的倾斜角,从而能够准确地检测二轮车的倾斜角。
再次参照图5,假定二轮车的中心线方向与特征提取区域的下端所成的角越大,则特征提取区域的垂直方向(即与特征提取区域的下端正交的方向)上的二轮车的高度变得越大。因此,根据变形例,也可以是,倾斜角检测部33根据每个特征提取区域的二轮车的上下端的位置,求出每个特征提取区域的二轮车的高度,对其高度成为最大的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角。在该情况下,与上述实施方式同样地,倾斜角检测部33通过将包含有尺寸调整后的各特征提取区域的各个像素值的输入数据输入到为了检测二轮车的上端的位置和下端的位置而进行了预先学习的第二识别器,从而按各特征提取区域,对在该特征提取区域显示的二轮车的上端的位置和下端的位置进行检测即可。
根据另一变形例,物体检测部31也可以利用DNN以外的识别器,根据图像对检测对象物体进行检测。例如,作为第一识别器,物体检测部31也可以使用如下的支持向量机(SVM),所述支持向量机(SVM)以将根据在图像上设定的窗口算出的特征量(例如HOG)作为输入并向该窗口输出表示成为检测对象的物体的确信度的方式进行了预先学习。物体检测部31一边对在图像上设定的窗口的位置、尺寸及纵横比进行各种变更,一边根据该窗口算出特征量并向SVM输入算出的特征量,由此,针对该窗口求出确信度。并且,物体检测部31在针对任一种类的检测对象物体确信度成为预定的确信度阈值以上的窗口中判定为表示该检测对象物体,并将该窗口设为物体区域即可。此外,也可以按成为检测对象的物体的种类准备SVM。在该情况下,物体检测部31通过针对各窗口向各个SVM输入根据该窗口算出的特征量,从而按物体的种类算出确信度即可。
根据又一变形例,在被输入到第二识别器的输入数据中也可以包括从物体检测部31所使用的第一识别器的主干部输出的特征图中的、与尺寸调整后的各特征提取区域的各个像素的位置对应的特征(feature)。
基于上述实施方式或变形例的倾斜角检测装置也可以安装在车载设备以外的设备。例如,基于上述实施方式或变形例的倾斜角检测装置也可以构成为:根据利用以每隔预定周期对屋外的预定的区域进行拍摄的方式设置的监视相机生成的图像来检测二轮车,并对检测到的二轮车的倾斜角进行检测。
另外,实现基于上述实施方式或变形例的倾斜角检测装置的处理器23的各部分的功能的计算机程序也可以以记录在半导体存储器、磁记录介质或光记录介质这样的计算机可读取的便携式的记录介质中的形式提供。
如以上那样,本领域技术人员能够在本发明的范围内与所实施的方式相匹配地进行各种变更。
Claims (5)
1.一种倾斜角检测装置,其中,
所述倾斜角检测装置具有:
物体检测部,所述物体检测部通过将由拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而在所述图像上检测包含有所述二轮车的物体区域;
特征提取区域设定部,所述特征提取区域设定部设定使所述物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从所述图像截取所述多个特征提取区域中的每一个;以及
倾斜角检测部,所述倾斜角检测部在所述多个特征提取区域的每一个中求出所述多个特征提取区域各自的水平方向上的所述二轮车的宽度,并基于针对所述多个特征提取区域中的每一个的相对于所述图像的旋转角和所述二轮车的所述宽度,对所述二轮车的所述宽度成为最小的相对于所述图像的旋转角进行检测并将该旋转角作为所述二轮车相对于地面的法线的倾斜角。
2.根据权利要求1所述的倾斜角检测装置,其中,
所述倾斜角检测部针对所述多个特征提取区域中的每一个,在将该特征提取区域的尺寸变更为预定的尺寸之后,输入到为了检测所述二轮车的左端的位置及右端的位置而进行了预先学习的第二识别器,由此,求出所述多个特征提取区域的每一个中的所述二轮车的左端的位置及右端的位置,针对所述多个特征提取区域中的每一个,作为该特征提取区域中的该左端的位置与该右端的位置之差而求出该特征提取区域中的所述二轮车的所述宽度。
3.根据权利要求1或2所述的倾斜角检测装置,其中,
所述倾斜角检测部通过对所述多个特征提取区域的每一个中的所述二轮车的所述宽度与该特征提取区域相对于所述图像的旋转角的组进行拟合,从而求出表示所述二轮车的所述宽度的变化相对于所述旋转角的变化的拟合曲线,并将在该拟合曲线中所述二轮车的所述宽度成为最小的旋转角设为所述二轮车相对于地面的法线的倾斜角。
4.一种倾斜角检测装置,其中,
所述倾斜角检测装置具有:
物体检测部,所述物体检测部通过将由拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而在所述图像上检测包含有所述二轮车的物体区域;
特征提取区域设定部,所述特征提取区域设定部设定使所述物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从所述图像截取所述多个特征提取区域中的每一个;以及
倾斜角检测部,所述倾斜角检测部在所述多个特征提取区域的每一个中求出所述多个特征提取区域各自的垂直方向上的所述二轮车的高度,并基于针对所述多个特征提取区域中的每一个的相对于所述图像的旋转角和所述二轮车的所述高度,对所述二轮车的所述高度成为最大的相对于所述图像的旋转角进行检测并将该旋转角作为所述二轮车相对于地面的法线的倾斜角。
5.一种控制装置,对车辆的行驶进行控制,其中,
所述控制装置具有:
物体检测部,所述物体检测部通过将由搭载于所述车辆的拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器,从而在所述图像上检测包含有位于所述车辆的周围的所述二轮车的物体区域;
特征提取区域设定部,所述特征提取区域设定部设定使所述物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域,并从所述图像截取所述多个特征提取区域中的每一个;
倾斜角检测部,所述倾斜角检测部在所述多个特征提取区域的每一个中求出所述多个特征提取区域各自的水平方向上的所述二轮车的宽度,并基于针对所述多个特征提取区域中的每一个的相对于所述图像的旋转角和所述二轮车的所述宽度,对所述二轮车的所述宽度成为最小的相对于所述图像的旋转角进行检测并将该旋转角作为所述二轮车相对于地面的法线的倾斜角;
驾驶计划部,所述驾驶计划部基于所述倾斜角来预测所述二轮车行驶的轨迹,并基于所预测的所述轨迹来设定所述车辆的行驶预定路径,以使所述车辆与所述二轮车远离预定距离以上;以及
车辆控制部,所述车辆控制部对所述车辆进行控制,以使所述车辆沿着所述行驶预定路径行驶。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068689A JP7348874B2 (ja) | 2020-04-06 | 2020-04-06 | 傾斜角検出装置及び制御装置 |
JP2020-068689 | 2020-04-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113492850A CN113492850A (zh) | 2021-10-12 |
CN113492850B true CN113492850B (zh) | 2023-11-03 |
Family
ID=77921283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110344339.3A Active CN113492850B (zh) | 2020-04-06 | 2021-03-31 | 倾斜角检测装置及控制装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11726483B2 (zh) |
JP (1) | JP7348874B2 (zh) |
CN (1) | CN113492850B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106575352A (zh) * | 2014-05-12 | 2017-04-19 | 罗伯特·博世有限公司 | 图像识别装置以及其控制方法 |
EP3358547A1 (en) * | 2015-09-29 | 2018-08-08 | Sony Corporation | Information processing device, information processing method, and program |
CN110008918A (zh) * | 2019-04-11 | 2019-07-12 | 成都合纵连横数字科技有限公司 | 一种摩托车模拟器驾驶员姿态识别方法 |
CN110087951A (zh) * | 2017-01-27 | 2019-08-02 | 金泰克斯公司 | 用于机车倾斜的图像补偿 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5606173B2 (ja) * | 2010-06-21 | 2014-10-15 | 三菱重工業株式会社 | 車幅推定装置、車両推定装置、車幅推定方法及びプログラム |
JP2015227082A (ja) * | 2014-05-30 | 2015-12-17 | 日本電産エレシス株式会社 | 車体傾斜角度検出装置および車体傾斜角度検出方法 |
US11352090B2 (en) * | 2014-07-28 | 2022-06-07 | Robert Bosch Gmbh | Information providing device and program for motorcycle |
DE102015224171A1 (de) * | 2015-12-03 | 2017-06-08 | Robert Bosch Gmbh | Neigungserkennung bei Zweirädern |
JP6607126B2 (ja) | 2016-04-04 | 2019-11-20 | スズキ株式会社 | 運転支援システム |
JP6743732B2 (ja) * | 2017-03-14 | 2020-08-19 | トヨタ自動車株式会社 | 画像記録システム、画像記録方法、画像記録プログラム |
US10614310B2 (en) * | 2018-03-22 | 2020-04-07 | Viisights Solutions Ltd. | Behavior recognition |
-
2020
- 2020-04-06 JP JP2020068689A patent/JP7348874B2/ja active Active
-
2021
- 2021-03-31 CN CN202110344339.3A patent/CN113492850B/zh active Active
- 2021-04-01 US US17/220,082 patent/US11726483B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106575352A (zh) * | 2014-05-12 | 2017-04-19 | 罗伯特·博世有限公司 | 图像识别装置以及其控制方法 |
EP3358547A1 (en) * | 2015-09-29 | 2018-08-08 | Sony Corporation | Information processing device, information processing method, and program |
CN110087951A (zh) * | 2017-01-27 | 2019-08-02 | 金泰克斯公司 | 用于机车倾斜的图像补偿 |
CN110008918A (zh) * | 2019-04-11 | 2019-07-12 | 成都合纵连横数字科技有限公司 | 一种摩托车模拟器驾驶员姿态识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113492850A (zh) | 2021-10-12 |
US20210309218A1 (en) | 2021-10-07 |
JP7348874B2 (ja) | 2023-09-21 |
US11726483B2 (en) | 2023-08-15 |
JP2021165916A (ja) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7052663B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US11308717B2 (en) | Object detection device and object detection method | |
US11685405B2 (en) | Vehicle controller, method, and computer program for vehicle trajectory planning and control based on other vehicle behavior | |
JP7077910B2 (ja) | 区画線検出装置及び区画線検出方法 | |
CN113496201B (zh) | 物体状态识别装置、方法、计算机可读取的记录介质及控制装置 | |
CN113435237B (zh) | 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置 | |
JP7226368B2 (ja) | 物体状態識別装置 | |
JP2021120255A (ja) | 距離推定装置及び距離推定用コンピュータプログラム | |
JP2022036726A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
JP2021163432A (ja) | 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置 | |
CN113492850B (zh) | 倾斜角检测装置及控制装置 | |
US20230177844A1 (en) | Apparatus, method, and computer program for identifying state of lighting | |
US20230196588A1 (en) | Device, method, and computer program for tracking | |
JP2022146384A (ja) | 物体検出装置 | |
US20240067168A1 (en) | Vehicle controller, method, and computer program for vehicle control | |
JP2022079954A (ja) | 物体検出装置 | |
JP2024024422A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
JP2021081985A (ja) | 物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |