KR101194152B1 - METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION - Google Patents
METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION Download PDFInfo
- Publication number
- KR101194152B1 KR101194152B1 KR1020100096774A KR20100096774A KR101194152B1 KR 101194152 B1 KR101194152 B1 KR 101194152B1 KR 1020100096774 A KR1020100096774 A KR 1020100096774A KR 20100096774 A KR20100096774 A KR 20100096774A KR 101194152 B1 KR101194152 B1 KR 101194152B1
- Authority
- KR
- South Korea
- Prior art keywords
- pedestrian
- image
- collision
- value
- axis coordinate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 239000000284 extract Substances 0.000 claims description 4
- 238000002604 ultrasonography Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims 9
- 230000009466 transformation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 보행자의 인식과 충돌 회피를 위한 기술에 관한 것이다. 더욱 상세하게는, 초음파센서와 카메라를 이용하여 보행자를 인식하고 인식된 보행자와의 충돌을 회피하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a technique for pedestrian recognition and collision avoidance. More particularly, the present invention relates to a method and a system for recognizing a pedestrian using an ultrasonic sensor and a camera and for avoiding a collision with the recognized pedestrian.
Description
본 발명은 보행자의 인식과 충돌 회피를 위한 기술에 관한 것이다. 더욱 상세하게는, 초음파센서와 카메라를 이용하여 보행자를 인식하고 인식된 보행자와의 충돌을 회피하기 위한 방법 및 시스템에 관한 것이다.The present invention relates to a technique for pedestrian recognition and collision avoidance. More particularly, the present invention relates to a method and a system for recognizing a pedestrian using an ultrasonic sensor and a camera and for avoiding a collision with the recognized pedestrian.
종래의 보행자 인식 기술에서는 카메라를 이용하여 보행자를 인식하게 되는데, 운전자가 다른 곳을 응시하고 있을 경우 갑자기 나타나는 보행자에 대해서 인지하지 못하게 되어 사고가 발생할 수 있는 문제점이 있다.In the conventional pedestrian recognition technology, a pedestrian is recognized using a camera. When a driver stares at another place, there is a problem that an accident may occur because the driver may not recognize the sudden pedestrian.
이러한 배경에서, 본 발명의 목적은, 운전자가 다른 곳을 응시하고 있을 경우에도, 갑자기 나타나는 보행자를 인식하여 차량과 보행자 간의 충돌을 방지할 수 있도록 해주는 데 있다. In this background, an object of the present invention is to recognize a pedestrian suddenly appearing even when the driver is staring at another place, thereby preventing collision between the vehicle and the pedestrian.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 초음파센서를 통해 거리 값에 대한 정보를 파악하고, 상기 카메라의 영상 내에서, 상기 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 상기 특정 y축 좌표값을 기준으로 상기 영상에서의 관심영역을 설정하고, 상기 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 보행자 인식부; 상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 충돌 판단부; 및 상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 제동 제어부를 포함하는 보행자 충돌 회피 시스템을 제공한다. In order to achieve the above object, in one aspect, the present invention, by identifying the information on the distance value through the ultrasonic sensor, in the image of the camera, the specific y of the image points representing the actual points apart by the distance value A pedestrian recognition unit configured to obtain an axis coordinate value, set a region of interest in the image based on the specific y-axis coordinate value, and recognize a pedestrian based on a vertical edge extracted in the set region of interest; A collision determination unit that determines whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And a braking control unit controlling the braking device to brake the vehicle when it is determined that there is a possibility of collision with the recognized pedestrian.
다른 측면에서, 본 발명은, 초음파 센서로부터 초음파데이터를 입력받고 카메라로부터 영상을 입력받는 단계; 상기 초음파데이터를 통해 거리 값에 대한 정보를 파악하고, 상기 카메라의 영상 내에서, 상기 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 상기 특정 y축 좌표값을 기준으로 상기 영상에서의 관심영역을 설정하고, 상기 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 단계; 상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 단계; 및 상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 단계를 포함하는 보행자 충돌 회피 시스템의 보행자 충돌 회피 방법을 제공한다. In another aspect, the present invention, the step of receiving the ultrasonic data from the ultrasonic sensor and an image from the camera; The information about the distance value is determined through the ultrasound data, and specific y-axis coordinate values of image points representing actual points separated by the distance value are obtained within the image of the camera, and based on the specific y-axis coordinate value Setting a region of interest in the image and recognizing a pedestrian based on a vertical edge extracted in the set region of interest; Determining whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And if it is determined that there is a possibility of collision with the recognized pedestrian provides a pedestrian collision avoidance method of the pedestrian collision avoidance system comprising the step of controlling the braking device to brake the vehicle.
이상에서 설명한 바와 같이 본 발명에 의하면, 운전자가 다른 곳을 응시하고 있을 경우에도, 갑자기 나타나는 보행자를 인식하여 차량과 보행자 간의 충돌을 방지할 수 있도록 해주는 효과가 있다.As described above, according to the present invention, even when the driver is staring at another place, there is an effect of preventing the collision between the vehicle and the pedestrian by recognizing the pedestrian suddenly appearing.
도 1은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템에서 보행자 충돌 회피를 위한 환경을 예시적으로 나타낸 도면이다.
도 3은 초음파센서를 통해 파악된 거리 값으로부터 영상에서의 특정 y축 좌표값을 구하기 위하여, 영상에서의 영상 좌표를 그라운드(Ground)에서의 실제 좌표로 변환하는 과정을 나타낸 도면이다.
도 4는 초음파센서를 통해 파악된 거리 값으로부터 영상에서의 특정 y축 좌표값을 구하고, 구해진 특정 y축 좌표값과 이를 이용하여 설정된 관심영역을 카메라의 영상에 표시한 도면이다.
도 5는 세로 에지를 추출한 결과를 나타낸 도면이다.
도 6은 세로 에지의 합을 구한 것을 나타낸 도면이다.
도 7은 세로 에지에서 피크 값을 구하고 이를 토대로 생성된 보행자 후보군을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 보행자 충돌 회피 방법에 대한 흐름도이다. 1 is a block diagram of a pedestrian collision avoidance system according to an embodiment of the present invention.
2 is a diagram illustrating an environment for pedestrian collision avoidance in the pedestrian collision avoidance system according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a process of converting image coordinates in an image into actual coordinates in the ground in order to obtain a specific y-axis coordinate value in the image from the distance value detected by the ultrasonic sensor.
4 is a view showing a specific y-axis coordinate value in an image from a distance value detected by an ultrasonic sensor, and displaying the obtained specific y-axis coordinate value and a region of interest set using the same on the image of the camera.
5 is a diagram illustrating a result of extracting a vertical edge.
6 shows the sum of the vertical edges.
7 is a diagram illustrating a pedestrian candidate group generated based on obtaining a peak value at a vertical edge.
8 is a flowchart illustrating a pedestrian collision avoidance method according to an embodiment of the present invention.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."
도 1은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)에 대한 블록도이다. 1 is a block diagram of a pedestrian
도 1은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)은, 초음파센서(101)와 카메라(102)를 이용하여, 보행자 충돌 회피 시스템(100)이 탑재된 차량의 전방 또는 후방에 있는 물체를 인식하고 인식된 물체가 보행자인지를 구별하여 보행자를 인식하고, 차량이 인식된 보행자와의 충돌을 회피하도록 해주는 시스템이다. 1 is a pedestrian
이러한 보행자 충돌 회피 시스템(100)은, 초음파센서(101)와 카메라(102)를 이용하여 보행자를 인식하는 보행자 인식부(110), 인식된 보행자와 해당 차량 간의 충돌 가능성을 판단하는 충돌 판단부(120), 인식된 보행자와 해당 차량 간에 충돌 가능성이 있다고 판단되어 해당 차량을 제동시키기 위하여 제어하는 제동 제어부(130) 등을 포함한다. The pedestrian
보행자 충돌 회피를 위한 환경을 예시적으로 나타낸 도 2를 참조하면, 전술한 보행자 인식부(110)는, 초음파센서(101)를 통해, 보행자 충돌 회피 시스템(100)이 탑재된 차량(200)의 전방 또는 후방에 있는 물체와 떨어진 거리 값에 대한 정보를 파악하고, 카메라(102)의 영상 내에서, 상기 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 특정 y축 좌표값을 기준으로 영상에서의 관심영역(ROI: Region Of Interest)을 설정하고, 설정된 관심영역 내에서 세로 에지를 추출하고 추출된 세로 에지에 근거하여 보행자를 인식한다. Referring to FIG. 2, which illustrates an environment for avoiding pedestrian collision, the
차량(200)의 전방 또는 후방에 있는 물체는, 보행자일 수도 있고 보행자가 아닌 물체일 수도 있으며, 물체가 보행자인지 아닌지를 구별하는 방법은 뒤에서 상세하게 설명한다. 또한 여기서 물체는 초음파센서(101)를 통해 감지되는 물체들(210, 220) 중 가장 가까운 곳에 있는 물체(210)일 수 있다.The object in front of or behind the
위에서 언급한 카메라(102)는 FOV(Field Of View)가 대략 150°정도일 수 있는 피쉬-아이 렌즈(Fish-Eye Lens)라고도 하는 와이드-앵글 렌즈(Wide-Angle Lens)를 이용하기 때문에, 촬영한 영상에서 왜곡이 발생할 수도 있다. Since the
따라서, 보행자 인식부(110)는 카메라(102)를 통해 촬영된 영상을 그대로 이용하지 않고, 촬영된 영상에 대한 왜곡 보정을 하여 얻어진 영상을 보행자 인식에 이용할 수 있다. 이때, 보행자 인식부(110)는, 일 예로서, 카메라 캘리브레이션(Camera Calibration) 기법 등을 이용하여 영상에 대한 왜곡 보정을 할 수 있다. Therefore, the
전술한 바와 같이, 보행자 인식을 더욱 정확하게 하기 위해서는, 초음파센서(101)를 통해 파악된 물체와 떨어진 거리 값을 이용하여 카메라(102)의 영상에서의 상기 물체가 있는 위치를 알아내야 하며, 이를 위해서, 영상좌표와 실제좌표 간의 변환 기술이 필요하다. As described above, in order to more accurately recognize the pedestrian, the position of the object in the image of the
도 3은, 초음파센서(101)를 통해 파악된 거리 값(Vy)으로부터 영상에서의 특정 y축 좌표값(y)을 구하기 위하여, 영상에서의 영상 좌표와 그라운드(Ground)에서의 실제 좌표를 변환하는 과정을 나타낸 도면이다. FIG. 3 illustrates image coordinates in the image and actual coordinates in the ground in order to obtain a specific y-axis coordinate value y in the image from the distance value V y obtained through the
그라운드(Ground)에서의 실제 좌표와 영상에서의 영상 좌표 간의 변환 과정에서, 차량(200)의 전방 또는 후방에 있는 물체(210)가 있는 실제의 P`지점의 실제 좌표 (Vx, Vy, Vz)를 영상에서의 P지점의 영상 좌표 (x, y, z)로 변환하기 위하여, 하기 수학식 1을 이용할 수 있다. In the process of converting between the actual coordinates in the ground and the image coordinates in the image, the actual coordinates (Vx, Vy, Vz) of the actual point P` with the
상기 수학식 1를 참조하면, 초음파센서(101)에 대하여, 물체(210)가 있는 실제의 P`지점의 실제 좌표는 (Vx, Vy, Vz)일 때, Vy는 초음파센서(101)로부터 물체(210)까지의 거리 값이며, 이는 초음파센서(101)를 통해 측정될 수 있는 정보이기 때문에, Vx, Vz, x를 특정 상수 값(예: 0, 1)이라고 설정한다면, 카메라(102)의 영상 내에서, 상기 거리 값 Vy만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값인 y를 구해낼 수 있다. Referring to
이렇게 구해진 특정 y축 좌표값인 y를 이용하여 영상에서의 관심설정을 설정한 것을 나타낸 것이 도 4이다. 4 shows that the interest setting in the image is set using the specific y-axis coordinate value thus obtained.
도 4를 참조하면, 전술한 보행자 인식부(110)는, 음파센서(101)를 통해 전방 또는 후방에 있는 물체(210)와 떨어진 거리 값 Vy만큼 떨어진 실제지점(P'지점)들을 나타내는 영상지점(P지점)들의 영상 내에서의 특정 y축 좌표값을 갖는 제1선분(410)과, 특정 y축 좌표값보다 일정 값(H)만큼 큰 y축 좌표값을 제2선분(420) 사이의 영상을 관심영역으로 설정할 수 있다. Referring to FIG. 4, the above-described
위에서 언급한 일정 값(H)은, 미리 설정된 정보로서, 보행자 신장(키)으로 간주할 수 있는 실제의 값을 해당 영상에서의 값으로 대응시킨 값이다. 예를 들어, 보행자 신장(키)으로 간주할 수 있는 실제의 값이 2m로 가정한다면, 위에서 언급한 일정 값은 2m를 해당 영상에서의 값으로 대응시킨 값이 된다. The above-mentioned constant value H is preset value, and is a value obtained by mapping an actual value which can be regarded as a pedestrian height (key) to a value in a corresponding video. For example, if it is assumed that the actual value that can be regarded as a pedestrian height (key) is 2m, the above-mentioned constant value is a value obtained by mapping 2m to a value in the corresponding image.
전술한 보행자 인식부(110)는, 영상에서 설정된 관심영역 내에서 보행자 인식을 위하여, 여러 가지의 에지 추출 방식을 이용하여 세로 에지를 추출하게 되는데, 이렇게 세로 에지를 추출한 결과는 도 5를 통해 확인할 수 있으며, 이러한 세로 에지를 합한 결과는 도 6을 통해 확인할 수 있다. The above-described
전술한 보행자 인식부(110)는, 영상에서 설정된 관심영역 내에서, 세로 에지를 추출하고 추출된 세로 에지에서 피크(Peak) 값을 구하고 구해진 피크 값에 기초하여 보행자 후보군의 정보를 생성하고, 생성된 정보로부터 보행자 후보군의 특징데이터를 추출하며, 추출된 특징데이터를 분석하여 보행자 존재 여부와 보행자 구별을 통해 보행자로 구별된 물체를 보행자로서 인식할 수 있다. The above-described
여기서, 보행자 후보군의 정보 생성시, 전술한 보행자 인식부(110)는, 영상에서 설정된 관심영역 내에서, 추출된 세로 에지에서 피크 값을 구하고 구해진 피크 값 사이의 부분을 선택하고, 선택된 부분의 넓이 또는 너비가 기준 넓이 범위(이는 보행자의 넓이로 간주할 수 있는 설정 범위) 또는 기준 너비 범위(이는 보행자의 너비로 간주할 수 있는 설정 범위)에 해당하는 부분만을 보행자 후보군으로 선택하여 보행자 후보군의 정보를 줄여서 생성할 수 있다. 이렇게 생성된 보행자 후보군은 도 7에서 확인할 수 있다. Here, when generating the information on the pedestrian candidate group, the aforementioned
전술한 바에 따라, 보행자 인식이 완료되면, 전술한 충돌 판단부(120)는, 보행자 인식부(110)에 의해 인식된 보행자와의 거리 정보(이는 초음파센서(101)를 얻어진 거리 값일 수 있음) 및 차량 상태 정보(예: 차량 속도, 차량 진행 방향 등) 중 하나 이상에 근거하여 인식된 보행자와의 충돌 가능성이 있는지를 판단한다. As described above, when the pedestrian recognition is completed, the aforementioned
전술한 제동 제어부(130)는, 충돌 판단부(120)에 통해서 보행자와의 충돌 가능성이 있다고 판단되면, 해당 차량의 제동장치로 하여금 차량을 제동시키도록 제동명령을 내리는 등의 제어를 수행하는 제동 제어부(130) 등을 포함한다. If the above-described
본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)의 적용 예를 살펴보면, 후진 중 운전자가 다른 곳을 응시하고 있을 경우 갑자기 나타나는 보행자에 대해서 인지하지 못하게 되면 사고가 발생할 수 있는데, 이러한 상황에서, 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)은, 후진 중에, 운전자가 혹시 보지 못하는 보행자를 인식하여 차량을 멈추게 하여 보행자와 차량 간의 충돌을 방지하게 해 줄 수 있다. Looking at the application example of the pedestrian
도 8은 본 발명의 일 실시예에 따른 보행자 충돌 회피 시스템(100)의 보행자 충돌 회피 방법에 대한 흐름도이다.8 is a flowchart illustrating a pedestrian collision avoidance method of the pedestrian
도 8을 참조하면, 본 발명의 일 실시예에 따른 보행자 충돌 회피 방법은, 초음파센서(101)로부터 초음파데이터를 입력받고 카메라(102)로부터 영상을 입력받는 단계(S800)와, 초음파데이터를 통해 거리 값에 대한 정보를 파악하고, 카메라(102)의 영상 내에서, 거리 값만큼 떨어진 실제지점들을 나타내는 영상지점들의 특정 y축 좌표값을 구하며, 특정 y축 좌표값을 기준으로 영상에서의 관심영역을 설정하고, 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 단계(S802)와, 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 단계(S804)와, 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 단계(S806) 등을 포함한다. Referring to FIG. 8, in the pedestrian collision avoidance method according to an exemplary embodiment of the present disclosure, the ultrasound data is input from the
이상에서 설명한 바와 같이 본 발명에 의하면, 운전자가 다른 곳을 응시하고 있을 경우에도, 갑자기 나타나는 보행자를 인식하여 차량과 보행자 간의 충돌을 방지할 수 있도록 해주는 효과가 있다.As described above, according to the present invention, even when the driver is staring at another place, there is an effect of preventing the collision between the vehicle and the pedestrian by recognizing the pedestrian suddenly appearing.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
Claims (5)
상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 충돌 판단부; 및
상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 제동 제어부를 포함하는 보행자 충돌 회피 시스템.Acquire information about the distance value to the object through the ultrasonic sensor, and matrix matrix multiplying the inverse matrix of the conversion matrix between the coordinates and the actual coordinate matrix containing the distance value to the object measured from the ultrasonic sensor as an element Performs arithmetic processing to obtain y-axis coordinate values of image points on which the object is displayed in the camera image, sets an ROI in the image based on the y-axis coordinate value, and extracts the extracted ROI from the set ROI. A pedestrian recognition unit recognizing a pedestrian based on a vertical edge;
A collision determination unit that determines whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And
And a braking control unit for controlling the braking device to brake the vehicle when it is determined that there is a possibility of collision with the recognized pedestrian.
상기 보행자 인식부는,
상기 y축 좌표값 중 특정 y축 좌표값을 갖는 제1선분과, 상기 특정 y축 좌표값보다 일정 값만큼 큰 y축 좌표값을 갖는 제2선분 사이의 영상을 상기 관심영역으로 설정하는 것을 특징으로 하는 보행자 충돌 회피 시스템. The method of claim 1,
The pedestrian recognition unit,
And setting an image between the first line segment having a specific y-axis coordinate value among the y-axis coordinate values and the second line segment having a y-axis coordinate value larger by a predetermined value than the specific y-axis coordinate value as the ROI. Pedestrian collision avoidance system.
상기 보행자 인식부는,
상기 설정된 관심영역 내에서, 상기 추출된 세로 에지에서 피크 값을 구하고 상기 구해진 피크 값에 기초하여 보행자 후보군의 정보를 생성하고, 상기 생성된 정보로부터 상기 보행자 후보군의 특징데이터를 추출하며, 상기 추출된 특징데이터를 분석하여 보행자 존재 여부와 보행자 구별을 통해 상기 보행자를 인식하는 것을 특징으로 하는 보행자 충돌 회피 시스템. The method of claim 1,
The pedestrian recognition unit,
Within the set region of interest, a peak value is obtained at the extracted vertical edge, the information on the pedestrian candidate group is generated based on the obtained peak value, and the feature data of the pedestrian candidate group is extracted from the generated information. Pedestrian collision avoidance system, characterized in that for analyzing the feature data to recognize the pedestrian by distinguishing between the presence and the pedestrian.
상기 보행자 인식부는,
상기 설정된 관심영역 내에서, 상기 추출된 세로 에지에서 피크 값을 구하고 상기 구해진 피크 값 사이의 부분을 선택하고, 상기 선택된 부분의 넓이 또는 너비가 기준 넓이 범위 또는 기준 너비 범위에 해당하는 부분만을 상기 보행자 후보군으로 선택하여 상기 보행자 후보군의 정보를 줄여서 생성하는 것을 특징으로 하는 보행자 충돌 회피 시스템. The method of claim 3,
The pedestrian recognition unit,
Within the set region of interest, a peak value is obtained at the extracted vertical edge and a portion between the obtained peak values is selected, and only the portion whose width or width of the selected portion corresponds to a reference width range or a reference width range is the pedestrian. Selecting a candidate group to reduce the information of the pedestrian candidate group generated by the collision avoidance system.
입력된 상기 초음파 데이터를 토대로 물체까지의 거리 값에 대한 정보를 파악하고, 상기 물체까지의 거리 값을 원소로 포함하는 실제 좌표행렬과, 미리 설정된 좌표 간 변환 행렬의 역 행렬을 행렬 곱 연산 처리를 수행하여, 상기 카메라로부터 입력된 영상 내에서 상기 물체가 표시된 영상지점들의 y축 좌표값을 구하며, 상기 y축 좌표값을 기준으로 상기 영상에서의 관심영역을 설정하고, 상기 설정된 관심영역 내에서 추출된 세로 에지에 근거하여 보행자를 인식하는 단계;
상기 인식된 보행자와의 거리 정보 및 차량 상태 정보 중 하나 이상에 근거하여 상기 인식된 보행자와의 충돌 가능성이 있는지를 판단하는 단계; 및
상기 인식된 보행자와의 충돌 가능성이 있다고 판단되면 제동장치로 하여금 차량을 제동시키도록 제어하는 단계를 포함하는 보행자 충돌 회피 시스템의 보행자 충돌 회피 방법. Receiving ultrasound data from an ultrasound sensor and receiving an image from a camera;
Based on the input ultrasonic data, information about a distance value to an object is determined, and a matrix multiplication operation is performed on an inverse matrix of an actual coordinate matrix including a distance value to the object as an element and a transformation matrix between preset coordinates. Perform y to obtain y-axis coordinate values of image points on which the object is displayed in the image input from the camera, set a region of interest in the image based on the y-axis coordinate value, and extract within the set region of interest. Recognizing a pedestrian based on the vertical longitudinal edges;
Determining whether there is a possibility of collision with the recognized pedestrian based on at least one of distance information of the recognized pedestrian and vehicle state information; And
And controlling the braking device to brake the vehicle if it is determined that there is a possibility of collision with the recognized pedestrian.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100096774A KR101194152B1 (en) | 2010-10-05 | 2010-10-05 | METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100096774A KR101194152B1 (en) | 2010-10-05 | 2010-10-05 | METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120035325A KR20120035325A (en) | 2012-04-16 |
KR101194152B1 true KR101194152B1 (en) | 2012-10-26 |
Family
ID=46137251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100096774A KR101194152B1 (en) | 2010-10-05 | 2010-10-05 | METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101194152B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101427032B1 (en) | 2013-01-28 | 2014-08-05 | 주식회사 만도 | Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2511748B (en) | 2013-03-11 | 2015-08-12 | Jaguar Land Rover Ltd | Emergency braking system for a vehicle |
CN107161100B (en) * | 2017-05-04 | 2019-01-18 | 广东轻工职业技术学院 | A kind of pedestrains safety guard method and system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1134629A (en) * | 1997-07-24 | 1999-02-09 | Honda Motor Co Ltd | Vehicle collision avoidance control device |
JP2005141517A (en) * | 2003-11-07 | 2005-06-02 | Daihatsu Motor Co Ltd | Vehicle detecting method and device |
-
2010
- 2010-10-05 KR KR1020100096774A patent/KR101194152B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1134629A (en) * | 1997-07-24 | 1999-02-09 | Honda Motor Co Ltd | Vehicle collision avoidance control device |
JP2005141517A (en) * | 2003-11-07 | 2005-06-02 | Daihatsu Motor Co Ltd | Vehicle detecting method and device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101427032B1 (en) | 2013-01-28 | 2014-08-05 | 주식회사 만도 | Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof |
Also Published As
Publication number | Publication date |
---|---|
KR20120035325A (en) | 2012-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101283792B1 (en) | Method and apparatus for recognizing parking lot | |
Zaarane et al. | Distance measurement system for autonomous vehicles using stereo camera | |
JP6795027B2 (en) | Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs | |
JP6266238B2 (en) | Approaching object detection system and vehicle | |
US11527077B2 (en) | Advanced driver assist system, method of calibrating the same, and method of detecting object in the same | |
KR101281260B1 (en) | Method and Apparatus for Recognizing Vehicle | |
CN107953828B (en) | Pedestrian recognition method and pedestrian recognition system for vehicle | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
KR20180045745A (en) | Apparatus and method for extracting objects in view point of moving vehicle | |
US9990710B2 (en) | Apparatus and method for supporting computer aided diagnosis | |
US10165246B2 (en) | Method and device for processing stereoscopic data | |
EP2610778A1 (en) | Method of detecting an obstacle and driver assist system | |
JP4937029B2 (en) | Object detection apparatus and program | |
JP2019016116A (en) | Outside recognition device for vehicle | |
KR101995223B1 (en) | System, module and method for detecting pedestrian, computer program | |
WO2018153915A1 (en) | Determining an angular position of a trailer without target | |
KR101302944B1 (en) | Method and Apparatus for Recognizing Vehicle | |
KR101194152B1 (en) | METHOD AND SySTEM FOR AVOIDING PEDESTRIAN COLLISION | |
KR20230095751A (en) | Apparatus for predicting camera sensor failure using deep learning and method thereof | |
KR20130015326A (en) | Camera system and method for recognition distance using the same | |
WO2021204867A1 (en) | A system and method to track a coupled vehicle | |
KR20190134303A (en) | Apparatus and method for image recognition | |
Ćosić et al. | Time to collision estimation for vehicles coming from behind using in-vehicle camera | |
US20210264638A1 (en) | Image processing device, movable device, method, and program | |
JP5785515B2 (en) | Pedestrian detection device and method, and vehicle collision determination device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150923 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160927 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20170922 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20180920 Year of fee payment: 7 |