CN107953828A - 车辆的行人识别方法及车辆的行人识别*** - Google Patents

车辆的行人识别方法及车辆的行人识别*** Download PDF

Info

Publication number
CN107953828A
CN107953828A CN201710958679.9A CN201710958679A CN107953828A CN 107953828 A CN107953828 A CN 107953828A CN 201710958679 A CN201710958679 A CN 201710958679A CN 107953828 A CN107953828 A CN 107953828A
Authority
CN
China
Prior art keywords
pedestrian
vehicle
distance
interest
sensed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710958679.9A
Other languages
English (en)
Other versions
CN107953828B (zh
Inventor
古特什·库马尔·辛格
阿帕蒂·阿瓦斯蒂
什里帕德·阿伦·孔德拉
曺荣厦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Halla Creedong Electronics Co ltd
Original Assignee
Mando Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mando Corp filed Critical Mando Corp
Publication of CN107953828A publication Critical patent/CN107953828A/zh
Application granted granted Critical
Publication of CN107953828B publication Critical patent/CN107953828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种车辆的行人识别方法及车辆的行人识别***。本发明的一个实施例的行人识别方法包括以下步骤：通过向车辆前方发射和接收雷达信号来感测物体；拍摄所述车辆的外部影像；算出与感测到的所述物体的距离，并检测拍摄的所述影像中的感测到的所述物体并设定包括检测到的所述物体的感兴趣区域(Region OfInterest：ROI)；识别(Detection)所述感兴趣区域内的行人。

Description

车辆的行人识别方法及车辆的行人识别***
技术领域
本发明涉及一种基于设置在车辆上的至少一个以上的传感器感测前方的物体，以将识别的物体识别为行人并追踪(Tracking)的***及其控制方法。
背景技术
如今，为了应对驾驶员无法感知外部状况的情况，正在开发设置在车辆前方的摄像头从拍摄的影像中识别行人并向驾驶员告知行人位于车辆前方的***。
例如，由于在夜间驾驶视野急剧减少，可能会发生驾驶员无法看到行人的情况。为了防止这种情况，正在持续进行关于利用如近红外摄像头或远红外摄像头等传感器使得驾驶员能够确保视野或通过夜间行人识别来进行预警的***的研究。
并且，关于行人的保护，正在开发一种利用装载在车辆的摄像头来预先识别行人并通过向驾驶员发出警报或控制车辆来进行制动的结构来事先防止行人事故的***。
不仅如此，还在开发利用设置在车辆前方的雷达来感测车辆前方的物体并向驾驶员告知行人位于车辆前方的***。
但是，与利用三维坐标系(X，Y，Z)来感测物体不同，设置在车辆前方的雷达通过由摄像头获得的影像来获得二维信息，因此，正在持续进行用于通过雷达传感器及摄像头传感器的融合来提高通过包括行人的物体的位置及移动的追踪准确性的技术开发。
发明内容
(一)要解决的技术问题
为此，本发明实施例的目的在于，即使同时使用雷达传感器及摄像头传感器无法感测到物体时，也能够持续地识别及追踪(Tracking)物体。
不仅如此，本发明实施例的目的在于，根据车辆和物体之间的距离执行不同的行人识别方法，从而提高识别行人的准确性。
并且，本发明实施例的目的在于，根据距离执行不同的行人追踪处理方法，从而减少计算量并增加追踪处理速度。
(二)技术方案
根据本发明的一方面，可提供一种行人识别方法，其包括以下步骤：通过向车辆前方发射和接收雷达信号来感测物体；拍摄所述车辆的外部影像；算出与所述感测到的物体的距离，并检测所述拍摄的影像中的所述感测到的物体并设定包括所述检测到的物体的感兴趣区域(Region Of Interest：ROI)；以及识别(Detection)所述感兴趣区域内的行人。
并且，在识别所述感兴趣区域内的行人的步骤中，当与所述感测到的物体的距离小于预先设定的距离时，可基于方向梯度直方图(HOG，Histogram of Oriented Gradient)技法来识别所述行人。
并且，识别所述感兴趣区域内的行人的步骤，还可包括以下步骤：当与所述感测到的物体的距离大于预先设定的距离时，以像素(Pixel)单位识别行人。
并且，识别所述感兴趣区域内的行人的步骤，还可包括以下步骤：在所述影像中感测到的所述行人的外廓上显示边界框(Bounding Box)。
并且，可设定为所述感兴趣区域的大小与所述感测到的物体的距离成反比。
根据本发明的另一方面，可提供一种行人识别***，其包括：雷达传感部，通过向车辆的前方发射和接收雷达信号来感测物体；影像拍摄部，拍摄所述车辆的外部影像；及控制部，算出与所述感测到的物体的距离，并检测所述拍摄的影像中的所述感测到的物体并设定包括所述检测到的物体的感兴趣区域(Region Of Interest：ROI)，识别(Detection)所述感兴趣区域内的行人。
并且，所述控制部还可包括：第一分类器，当与所述感测到的物体的距离小于预先设定的距离时，可基于方向梯度直方图(HOG，Histogramof Oriented Gradient)技法来识别所述行人；及第二分类器，当与所述感测到的物体的距离大于预先设定的距离时，以像素(Pixel)单位识别行人。
并且，所述行人识别***还可包括显示部，在识别到的所述行人的外廓上显示边界框(Bounding Box)并显示给用户。
并且，可设定为所述感兴趣区域的大小与所述感测到的物体的距离成反比。
(三)有益效果
因此，本发明的实施例在即使同时使用雷达传感器及摄像头传感器也无法感测到物体时，也能够持续地识别物体。
不仅如此，根据车辆和物体之间的距离执行不同的行人识别方法，从而能够提高识别行人的准确性。
并且，根据距离执行不同的行人追踪处理方法，从而能够减少计算量。
附图说明
图1是本发明的一个实施例的行人识别***的结构框图。
图2是安装有本发明的一个实施例的行人识别***的车辆的外观立体图。
图3是说明本发明的一个实施例的行人识别***的结构框图。
图4是用于说明本发明的一个实施例的行人识别***的工作的示意图。
图5是用于说明本发明的一个实施例的ROI的示意图。
图6是示出根据本发明的一个实施例识别到行人的显示画面的示意图。
图7是示出本发明的一个实施例的行人识别方法的顺序图。
附图说明标记
1：行人识别***
2：车辆
具体实施方式
下面，参照附图对本发明的实施例进行详细说明。以下实施例为了向本发明所属技术领域的普通技术人员充分传达本发明的思想而提出。本发明并不限定于在此提出的实施例，可以以其他形式具体化。为了明确说明本发明而附图中省略了与说明无关的部分，且有可能为了有助于理解而放大组件的大小。
图1是本发明的行人识别***1的结构框图，图2是安装有本发明一个实施例的行人识别***1的车辆2的外观立体图，图3是说明本发明的一个实施例的行人识别***1的结构框图。
参照图1，行人识别***1包括雷达传感部10、影像拍摄部20、控制部30、显示部40。
如图2所示，雷达传感部10包括雷达模块11，雷达模块11为了感测包括车辆前方的车辆或行人的一个以上的物体而可以位于车辆2前方引擎盖(hood)的下方。
这种雷达模块11感测存在于车辆2前方的车辆或行人，包括雷达传感器(未示出)。此时，雷达传感器通常可使用77GHZ雷达，发射雷达并测定接收其的时间来算出与前方感测到的如车辆或行人等一个以上的物体的距离。
尤其，包括雷达传感器(未示出)的雷达模块11包括对于感测到的前方物体的三维位置信息，具体地，当车辆2的行驶方向为Y轴时，通过Y轴和各水平轴X轴及Z轴来获得物体的位置信息。
例如，当车辆2的行驶方向为Y轴时，能够通过雷达传感器算出识别到的行人的位置信息的X、Y、Z坐标。
此时，雷达模块11只有基于感测到的物体的速度、大小等确保的置信度(Confidence)大于预先设定的临界值时，才能选定为可识别为行人的物体。
C＝α*r+β*v+γ*sd1+ε*sd1+δ*sd2+μ*vcp+ω*vcg
此时，r表示感测到的物体的范围(range)、V表示感测到的物体的速度(velocity)、sd1表示r的标准偏差、sd2表示V的标准偏差、vcp表示过程噪声矩阵速度分量(velocity component of process noise matrix)、vcg表示增益矩阵的速度分量(velocity component of gain matrix)，可基于在雷达模块11中发射和接收的雷达信号算出，置信度(Confidence)C也可通过r、sd1、sd2、vcp、vcg的预定常数的比率之和算出。
即，用于算出置信度所需的α、β、γ、ε、δ、μ、ω是预先设定在行人识别***1中的参数(parameter)，置信度C是通过将所述参数乘以r、sd1、sd2、vcp、vcg得出的。
因此，当算出的置信度大于预先设定的临界值时，视为可识别为行人的物体，向控制部30传送包括感测到的物体的X、Y、Z坐标信息的位置信息。
即，包括通过雷达传感器获得的物体的坐标的位置信息可被传送到控制部30。
其次，影像拍摄部20获得车辆2前方的影像。具体地，影像拍摄部20包括摄像头模块21，如图2所示，摄像头传感器21可设置在位于车辆前窗17后方的后视镜22下端或上端，以拍摄前方的影像。
这种摄像头模块21包括摄像头传感器(未示出)，使用大约一个通道以上的摄像头，一般使用互补金属氧化物半导体(CMOS)为其图像传感器。CMOS图像传感器是将暴露的图像转换为电子形态并传送的半导体元件。但并不限定于此，也可用电荷耦合器件(CCD，Change Coupled Device)图像传感器(未示出)实现。
此时，摄像头模块21可从通过摄像头传感器获得的影像中感测(Detection)物体。具体地，从摄像头传感器(未示出)检测被拍摄的物体的运动，提取物体的区域并区分多个物体。在此，该物体可以是影像处理的识别对象，例如，可以是风景、全景、特定事物、行人等物体，对于成为识别对象的物体没有限制。
首先，利用相邻RGB值的偏差，从获得的图像中提取物体的轮廓，与之前影像进行比较并分析轮廓的变化来辨别物体的移动。
并且，将检出的区域区间作为设定区间的集合，能够求出发生物体移动的区域。
并且，在一个图像中两个以上的物体可能会重合或分开，因此为了正确地区分物体的区域，算出通过对象追踪的物体的推定位置和大小来提取相关物体的位置和区域。
但是，本发明的行人识别***1的目的在于感测并追踪位于车辆2前方的行人。
此时，摄像头模块21将包括获得的影像信息的提取的物体的信息按一定时间间隔传送到控制部30。
因此，摄像头模块21将影像中拍摄的物体移动的检测、物体的区域、多个物体重叠的信息传送到控制部30，可基于获得影像的二维信息算出这种物体的位置信息。
作为一例，通过摄像头模块21获得的影像中包括的行人，例如，可由二维U、V轴坐标信息获得。
其次，本发明的行人识别***1的控制部30综合控制行人识别***1。
具体地，控制部30可包括：主处理器(Main Processor)31，其为行人识别***1所包括的各种构成装置与控制部30之间的数据出入的媒介，基于通过雷达传感部10或影像拍摄部20感测的物体的坐标信息执行追踪；存储器32，存储主处理器、程序及数据。
尤其，图3是说明本发明一个实施例的行人识别***的工作的结构框图。
这种控制部30如图3所示，作为为了将感测到的物体识别为行人而分阶段地执行的控制部30的结构，软件上包括距离变换部33、ROI生成部34、分类器35及包括第一处理器36及第二处理器37的处理器38。
首先，距离变换部33可基于从雷达模块11接收的与物体的距离信息，对与包括存在于车辆2前方的车辆或行人的物体的距离信息和通过影像拍摄部20获得的影像中的物体进行匹配。
例如，如图5所示的显示器中显示，可确认与装载有本发明的物体追踪***1的车辆2的距离越远的物体，位于画面的中心部上侧，距离越近，位于略偏离中心部的位置。
不仅如此，在雷达传感部10感测到的物体的位置信息包括X、Y、Z轴距离信息，从而能够将所述感测到的位置信息与从获得的影像中感测到的物体信息相匹配。
因此，控制部30内的距离变换部33能够对获得的影像和与在雷达传感部10感测到的物体的距离信息进行匹配，从而将雷达传感部10感测的物体信息变换为影像中的二维距离信息。
其次，ROI生成部34对于包括二维距离信息的物体生成ROI(Region OfInterest)。具体地，生成ROI是为了在通过影像拍摄部20获得的影像中设定感兴趣区域(Region Of Interest，以下称为ROI)，当感兴趣区域内感测到行人时，仅在其大小(Height)不超过阈值时识别为行人。
尤其，ROI生成部34可适用金字塔(Pyramid)方式生成感兴趣区域。金字塔方式是指基于雷达传感部10获得的与物体的距离信息来生成候选行人的ROI的方式。
此时，金字塔方式内的级别通过将基于感测的行人大小(height)与预先设定的像素内行人的临界大小(例如，行人的像素内临界大小可被设定为0.84)的比率值进行对数变换的候选行人的值进行舍入来决定。
因此，若雷达传感部10获得的物体与车辆的距离远，则算出的ROI生成部34生成的金字塔级别为较小的值，若雷达传感部10获得的物体与车辆的距离近，则算出的ROI生成部34生成的金字塔级别为较大的值。
具体地，如图4所示，假设行人P1和行人P2为相同的大小(身高)时，根据与车辆2的距离，在车辆2的影像拍摄部20获得的影像内的行人大小变得不同。
即，因行人P1比行人P2距离近而影像拍摄部20显示的行人P1的大小大于行人P2。不仅如此，确认图5中示出的影像可知，距离越近，位于略偏离画面的中心部的位置。
因此，可根据感测到的行人与车辆2的距离，按比例使得能够识别为行人大小的阈值变得不同来生成ROI(Region Of Interest)。
因此，如图4所示，分类器35对感测到的行人，根据ROI生成部34生成的ROI来区分由第一处理器36执行行人处理方法还是由第二处理器37执行行人处理方法。尤其作为一例，分类器35根据金字塔方式，当算出的金字塔级别大于预先设定的级别时，分类为由第一处理器36处理，当算出的金字塔级别小于预先设定的级别时，分类为由第二处理器37处理。
此时，分类器35可根据感兴趣区域(ROI)的大小来区分对所述感测到的物体由第一处理器36还是由第二处理器37进行行人处理。当感测到的物体离得近时，包括在面积宽的ROI而由第一处理器36进行处理，当感测到的物体离得远时，包括在面积较小的ROI而由第二处理器37进行处理。
因此，设定控制部30内感兴趣区域之后，使为了根据分类器35识别ROI内的行人而生成的ROI分别通过第一处理器36或第二处理器37。
此时，决定生成的ROI通过第一处理器36或第二处理器37的中的哪个分类器是根据距离变换部33获得的距离来区分通过。具体地，图4及图5是为了说明区分通过各分类器而示出的示意图。
图4根据距离区分为第一处理器36的处理区域和第二处理器37的处理区域，图5中示出用虚线显示的区域，属于虚线外部区域的部分作为属于图4的第一处理器36的处理区域的距离区域，表示与车辆2的近距离区域，属于虚线内部区域的部分作为属于图4的第二处理器37的处理区域的距离区域，表示与车辆2的远距离区域。
第一处理器36确认到通过雷达传感部10感测到的物体处于比预先设定的临界距离近的位置(第一区域)时，为了检测ROI内的行人而执行按单元(Cell)检测行人的方法。
具体地，执行按单元(Cell)检测行人的方法是指通过基于Haar小波特征(HaarWavelet Feature)方法、方向梯度直方图(HOG，Histogram of Oriented Gradient)方法、区域性感受野(LRF，Local Receptive Field)等技法来检测行人。
即，基于单元(Cell)单位直方图的HOG计算方法具体通过旋转HOG特征的各方向直方图来求出，对于倾斜或大小变化等歪曲，能够较为稳定地表现出对象的特征，当在近距离区域检测行人特征容易时，性能优异。
在这种执行单元单位行人检测方法的第一分类器36中，一个单元(Cell)内存在多个像素。
其次，第二处理器37确认到通过雷达传感部10感测到的物体处于比预先设定的临界距离远的位置(第二区域)时，为了检测ROI内的行人，执行按像素(Pixel)检测行人的方法。这是由于位于远距离区域的行人的大小小，在追踪远距离影像中包括的行人时，按构成单元的像素来检测行人较佳。
因此，本发明的行人识别***1可通过处理器38检测ROI内的行人。具体地，图6是示出在本发明的行人识别***1的控制部30内感测到行人的显示画面。
对于包括图5中感测到的物体的多个ROI，可确认通过分类器35及处理器38检测到ROI区域内包括的行人。
其次，由主处理器31处理的信息可被存储在存储器32。
即，存储器32可临时存储包括用于控制行人识别***1的工作的控制程序及控制数据和由雷达传感部10及影像拍摄部20获得的信息及主处理器31处理的物体追踪信息的各种控制信号等。
尤其，存储器32不仅包括静态随机存储器(S-RAM)、动态随机存储器(D-RAM)等易失性存储器，还可包括闪存存储器、只读存储器(Read Only Memory)、可擦可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、电可擦可编程只读存储器(Electrically Erasable Programmable Read OnlyMemory：EEPROM)等非易失性存储器。
具体地，非易失性存储器可半永久地存储用于控制行人识别***1的工作的控制程序及控制数据，易失性存储器可从非易失性存储器读取控制程序及控制数据并临时存储，可临时存储从影像拍摄部20及雷达传感部10获得的信息及控制部30处理的追踪信息。
其次，显示部40通过显示器向驾驶员显示由控制部30识别并追踪的物体信息，虽然没有示出，但本发明的行人识别***1包括警告部(未示出)，在识别及追踪的物体临近车辆时，能够发出警告，例如，可以是利用音响的警告。
以上对一个实施例的行人识别***1的结构进行了说明。
下面，对一个实施例的行人识别***1的工作进行说明。
图7是示出本发明的一个实施例的行人识别***1的工作方法的顺序图。
如图7所示，以雷达模块11工作来开始本发明的物体追踪控制方法的工作(S10)。
此时，雷达模块11感测车辆前方的物体(S20)。具体地，雷达模块11将雷达发射到前方物体，基于返回所需的时间、方向信息来算出前方物体的三维坐标(S30)。因此，将感测到的前方物体的三维坐标传送到控制部30，行人识别***1基于该物体的位置和速度信息来包括感测到的多个物体而生成ROI(S20)。
此时，确保的ROI的大小根据与车辆的距离而不同地生成(S30)，当生成的ROI和车辆之间的间距距离大于预先设定的临界距离时(S40的是)，按像素检测行人(S50)。
若确保的ROI和车辆之间的间距距离小于预先设定的临界距离时(S40的否)，按单元(Cell)检测行人(S60)。
以上对公开的发明的一个实施例进行示出并说明，但公开的发明并不限定于上述的特定实施例，在不脱离权利要求范围的要旨的情况下，可由本发明所属技术领域的普通技术人员进行多种变形实施，这种变形实施并不独立于公开的发明。

Claims (9)

1.一种行人识别方法，其包括以下步骤：
通过向车辆前方发射和接收雷达信号来感测物体；
拍摄所述车辆的外部影像；
算出与感测到的所述物体的距离，并检测拍摄的所述影像中的感测到的所述物体并设定包括检测到的所述物体的感兴趣区域；
识别所述感兴趣区域内的行人。
2.根据权利要求1所述的行人识别方法，其中，
在识别所述感兴趣区域内的行人的步骤中，
根据与感测到的所述物体的距离执行所述行人的识别技法。
3.根据权利要求2所述的行人识别方法，其中，
在识别所述感兴趣区域内的行人的步骤中，
当与感测到的所述物体的距离小于预先设定的距离时，基于影像内包括的单元来识别所述行人。
4.根据要权利要求2所述的行人识别方法，其中，
识别所述感兴趣区域内的行人的步骤还包括以下步骤，
当与所述感测到的物体的距离大于预先设定的距离时，以像素单位识别行人。
5.根据权利要求4所述的行人识别方法，其中，
设定为所述感兴趣区域的大小与感测到的所述物体的距离成反比。
6.一种行人识别***，其包括：
雷达传感部，通过向车辆的前方发射和接收雷达信号来感测物体；
影像拍摄部，拍摄所述车辆的外部影像；
控制部，算出与感测到的所述物体的距离，并检测拍摄的所述影像中的感测到的所述物体并设定包括检测到的所述物体的感兴趣区域，识别所述感兴趣区域内的行人。
7.根据权利要求6所述的行人识别***，其中，
所述控制部，
根据与感测到的所述物体的距离执行所述行人的识别技法。
8.根据权利要求7所述的行人识别***，其中，
所述控制部还包括：
第一分类器，当与感测到的所述物体的距离小于预先设定的距离时，基于方向梯度直方图技法来识别所述行人；及
第二分类器，当与感测到的所述物体的距离大于预先设定的距离时，以像素单位识别行人。
9.根据权利要求8所述的行人识别***，其中，
设定为所述感兴趣区域的大小与所述感测到的物体的距离成反比。
CN201710958679.9A 2016-10-14 2017-10-16 车辆的行人识别方法及车辆的行人识别*** Active CN107953828B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0133802 2016-10-14
KR1020160133802A KR101967305B1 (ko) 2016-10-14 2016-10-14 차량의 보행자 인식 방법 및 차량의 보행자 인식 시스템

Publications (2)

Publication Number Publication Date
CN107953828A true CN107953828A (zh) 2018-04-24
CN107953828B CN107953828B (zh) 2021-03-09

Family

ID=61764951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710958679.9A Active CN107953828B (zh) 2016-10-14 2017-10-16 车辆的行人识别方法及车辆的行人识别***

Country Status (4)

Country Link
US (1) US10719699B2 (zh)
KR (1) KR101967305B1 (zh)
CN (1) CN107953828B (zh)
DE (1) DE102017218366A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111183430A (zh) * 2018-08-10 2020-05-19 Jvc建伍株式会社 识别处理装置、识别处理方法以及识别处理程序
CN111191603A (zh) * 2019-12-31 2020-05-22 深圳云天励飞技术有限公司 车内人员识别方法、装置、终端设备及介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447305B (zh) * 2018-04-21 2020-09-04 上海交通大学 一种礼让行人预警方法及预警***
EP3588371A3 (en) * 2018-06-25 2020-03-11 Panasonic Intellectual Property Corporation of America Information processing device, information processing method, and program
CN109784216B (zh) * 2018-12-28 2023-06-20 华南理工大学 基于概率图的车载热成像行人检测RoIs提取方法
JP7188325B2 (ja) * 2019-08-27 2022-12-13 トヨタ自動車株式会社 運転支援装置
KR102331000B1 (ko) * 2019-10-01 2021-11-26 (주)오토노머스에이투지 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
US11418773B2 (en) * 2020-04-21 2022-08-16 Plato Systems, Inc. Method and apparatus for camera calibration
CN113163110B (zh) * 2021-03-05 2022-04-08 北京宙心科技有限公司 一种人流密度分析***及分析方法
WO2022104296A1 (en) * 2021-12-29 2022-05-19 Innopeak Technology, Inc. Camera radar fusion for advanced driver assistance system (adas) with radar and mobile phone

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5281949A (en) * 1991-09-20 1994-01-25 C.A.R.E., Inc. Vehicular safety sensor and warning system
US5491464A (en) * 1994-03-14 1996-02-13 Carter; Conrad C. Remotely controlled radar gun and video recording apparatus
US6035053A (en) * 1996-09-30 2000-03-07 Mazda Motor Corporation Moving subject recognizing system for automotive vehicle
EP1403660A1 (en) * 2002-09-24 2004-03-31 Fuji Jukogyo Kabushiki Kaisha Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus
CN1779483A (zh) * 2004-11-26 2006-05-31 欧姆龙株式会社 车载用图像处理装置
WO2008002756A2 (en) * 2006-06-27 2008-01-03 Gm Global Tecgnology Operations, Inc. Rear collision warning system
US20080164985A1 (en) * 2007-01-10 2008-07-10 Omron Corporation Detection device, method and program thereof
US20110037639A1 (en) * 2008-01-04 2011-02-17 Mario Manuel Duran Toro System and method for detecting, locating and identifying objects located above the ground and below the ground in a pre-referenced area of interest
US20110063443A1 (en) * 2009-09-16 2011-03-17 National Kaohsiung University Of Applied Sciences Cruising surveillance system for auto detecting and tracing suspected invaders
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别***
CN102139696A (zh) * 2010-02-02 2011-08-03 通用汽车环球科技运作有限责任公司 疏堵
CN202334744U (zh) * 2011-07-28 2012-07-11 上海高位安全网络管理有限公司 移动式巡逻监视***
WO2012127189A1 (en) * 2011-03-21 2012-09-27 C2Uk Limited Image acquisition apparatus and system
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及***
CN105324275A (zh) * 2013-05-31 2016-02-10 丰田自动车株式会社 移动轨迹预测装置和移动轨迹预测方法
CN105849771A (zh) * 2013-12-19 2016-08-10 Metaio有限公司 移动设备上的同步定位与映射

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) * 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
US8027029B2 (en) 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
JP2010282388A (ja) * 2009-06-04 2010-12-16 Mazda Motor Corp 車両用歩行者検出装置
JP5964108B2 (ja) 2012-03-30 2016-08-03 株式会社メガチップス 物体検出装置
KR101569411B1 (ko) * 2015-04-01 2015-11-27 주식회사 피엘케이 테크놀로지 보행자 인식 장치 및 그 방법
KR102392488B1 (ko) 2015-05-13 2022-04-29 세메스 주식회사 기판 처리 장치 및 기판 처리 방법

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5281949A (en) * 1991-09-20 1994-01-25 C.A.R.E., Inc. Vehicular safety sensor and warning system
US5491464A (en) * 1994-03-14 1996-02-13 Carter; Conrad C. Remotely controlled radar gun and video recording apparatus
US6035053A (en) * 1996-09-30 2000-03-07 Mazda Motor Corporation Moving subject recognizing system for automotive vehicle
EP1403660A1 (en) * 2002-09-24 2004-03-31 Fuji Jukogyo Kabushiki Kaisha Vehicle surroundings monitoring apparatus and traveling control system incorporating the apparatus
CN1779483A (zh) * 2004-11-26 2006-05-31 欧姆龙株式会社 车载用图像处理装置
WO2008002756A2 (en) * 2006-06-27 2008-01-03 Gm Global Tecgnology Operations, Inc. Rear collision warning system
US20080164985A1 (en) * 2007-01-10 2008-07-10 Omron Corporation Detection device, method and program thereof
US20110037639A1 (en) * 2008-01-04 2011-02-17 Mario Manuel Duran Toro System and method for detecting, locating and identifying objects located above the ground and below the ground in a pre-referenced area of interest
US20110063443A1 (en) * 2009-09-16 2011-03-17 National Kaohsiung University Of Applied Sciences Cruising surveillance system for auto detecting and tracing suspected invaders
CN102139696A (zh) * 2010-02-02 2011-08-03 通用汽车环球科技运作有限责任公司 疏堵
CN102096803A (zh) * 2010-11-29 2011-06-15 吉林大学 基于机器视觉的行人安全状态识别***
WO2012127189A1 (en) * 2011-03-21 2012-09-27 C2Uk Limited Image acquisition apparatus and system
CN202334744U (zh) * 2011-07-28 2012-07-11 上海高位安全网络管理有限公司 移动式巡逻监视***
CN105324275A (zh) * 2013-05-31 2016-02-10 丰田自动车株式会社 移动轨迹预测装置和移动轨迹预测方法
CN105849771A (zh) * 2013-12-19 2016-08-10 Metaio有限公司 移动设备上的同步定位与映射
CN105260712A (zh) * 2015-10-03 2016-01-20 上海大学 一种车辆前方行人检测方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111183430A (zh) * 2018-08-10 2020-05-19 Jvc建伍株式会社 识别处理装置、识别处理方法以及识别处理程序
CN111183430B (zh) * 2018-08-10 2023-10-27 Jvc建伍株式会社 识别处理装置、识别处理方法以及记录介质
CN111191603A (zh) * 2019-12-31 2020-05-22 深圳云天励飞技术有限公司 车内人员识别方法、装置、终端设备及介质
CN111191603B (zh) * 2019-12-31 2023-04-18 深圳云天励飞技术有限公司 车内人员识别方法、装置、终端设备及介质

Also Published As

Publication number Publication date
KR20180041524A (ko) 2018-04-24
CN107953828B (zh) 2021-03-09
DE102017218366A1 (de) 2018-04-19
US10719699B2 (en) 2020-07-21
US20180107871A1 (en) 2018-04-19
KR101967305B1 (ko) 2019-05-15

Similar Documents

Publication Publication Date Title
CN107953828A (zh) 车辆的行人识别方法及车辆的行人识别***
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
US11315348B2 (en) Vehicular vision system with object detection
JP4899424B2 (ja) 物体検出装置
US11679635B2 (en) Vehicular trailer hitching assist system with coupler height and location estimation
CN107797107A (zh) 基于摄像头的挂车检测和跟踪
EP3678096A1 (en) Method for calculating a tow hitch position
US20180137376A1 (en) State estimating method and apparatus
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
US8582818B2 (en) Method and system of automatically detecting objects in front of a motor vehicle
US9661319B2 (en) Method and apparatus for automatic calibration in surrounding view systems
JP6808586B2 (ja) 車両用外界認識装置
EP3361446B1 (en) Imu-aided image registration
US20180208115A1 (en) Vehicle display device and vehicle display method for displaying images
CN105049784A (zh) 用于基于图像的视距估计的方法和设备
KR101575954B1 (ko) 3차원 정합을 이용한 증강현실 장치 및 그 방법
JP6815963B2 (ja) 車両用外界認識装置
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
KR101995466B1 (ko) 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치
JP2005157731A (ja) 車線認識装置および車線認識方法
EP3486871B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
CN109923586B (zh) 停车框识别装置
KR20180041525A (ko) 차량의 물체 트래킹 시스템 및 그 제어 방법
JP6886136B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211206

Address after: Gyeonggi Do, South Korea

Patentee after: Wandu Mobile System Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Patentee before: MANDO Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220915

Address after: Inchon, Korea

Patentee after: Halla Creedong Electronics Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Patentee before: Wandu Mobile System Co.,Ltd.