KR102250800B1 - Apparatus and Method for detecting traffic path based on road object recognition - Google Patents

Apparatus and Method for detecting traffic path based on road object recognition Download PDF

Info

Publication number
KR102250800B1
KR102250800B1 KR1020190112765A KR20190112765A KR102250800B1 KR 102250800 B1 KR102250800 B1 KR 102250800B1 KR 1020190112765 A KR1020190112765 A KR 1020190112765A KR 20190112765 A KR20190112765 A KR 20190112765A KR 102250800 B1 KR102250800 B1 KR 102250800B1
Authority
KR
South Korea
Prior art keywords
lane
road surface
vehicle
road
lanes
Prior art date
Application number
KR1020190112765A
Other languages
Korean (ko)
Other versions
KR20210031163A (en
Inventor
권오철
최인구
김시한
박재형
김성환
김기창
김덕중
Original Assignee
한국도로공사
주식회사유원지리정보시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국도로공사, 주식회사유원지리정보시스템 filed Critical 한국도로공사
Priority to KR1020190112765A priority Critical patent/KR102250800B1/en
Publication of KR20210031163A publication Critical patent/KR20210031163A/en
Application granted granted Critical
Publication of KR102250800B1 publication Critical patent/KR102250800B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • G06K9/00798—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/10—Number of lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량에 탑재되는 카메라로부터 획득되는 촬영 이미지에 기반하여 노면의 객체를 인식하는 차로 검출 장치 및 방법에 관한 것으로서, (a) 이미지 수신부가 차량에 탑재되는 카메라로부터 노면의 촬영 이미지를 수신하는 단계; (b) 차선 인식부가 상기 노면의 촬영 이미지에 영상처리 기법을 적용하여 상기 차량이 주행하는 도로의 차선을 인식하는 단계; (c) 차로 검출부가 상기 인식된 차선에 기반하여 차로를 검출하는 단계; 및 (d) 차로정보 파악부가 상기 검출된 차로에 기반하여 상기 차량이 주행중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, GNSS(Global Navigation Satellite System)의 도움없이 차량에 설치된 카메라만을 이용하여 카메라의 이미지 객체 중 차선을 영상처리기법으로 분석함으로써 보다 정확히 실제 도로의 전체 차로의 개수와 차량이 주행중인 차로의 위치를 인식할 수 있다.The present invention relates to a lane detection apparatus and method for recognizing an object on a road surface based on a photographed image acquired from a camera mounted on a vehicle, wherein (a) an image receiving unit receives a photographed image of the road surface from a camera mounted on the vehicle. step; (b) recognizing a lane of a road on which the vehicle is traveling by applying an image processing technique to the photographed image of the road surface by a lane recognition unit; (c) detecting a lane based on the recognized lane by a lane detection unit; And (d) determining, by the lane information grasping unit, the total number of lanes of the road on which the vehicle is running and information on the driving lane of the vehicle based on the detected lane.
According to the present invention, by analyzing lanes among image objects of the camera using image processing techniques using only a camera installed in the vehicle without the help of GNSS (Global Navigation Satellite System), the number of lanes on the actual road and the lanes the vehicle is traveling on are more accurately analyzed. Can recognize the location of.

Description

노면 객체 인식 기반의 차로 검출 장치 및 방법{Apparatus and Method for detecting traffic path based on road object recognition}Apparatus and Method for detecting traffic path based on road object recognition}

본 발명은 노면 객체 인식 기반의 차로 검출 장치 및 방법에 관한 것으로, 보다 상세하게는 GNSS(Global Navigation Satellite System)의 도움없이 차량에 설치된 카메라만을 이용하여 역변환매핑(IPM, Inverse Perspective Mapping) 등의 영상처리기법을 이용하여 전체 차로수 및 주행 중인 차량의 주행 차로를 검출할 수 있는 노면 객체 인식 기반의 차로 검출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting a lane based on road surface object recognition, and more particularly, to an image such as IPM (Inverse Perspective Mapping) using only a camera installed in a vehicle without the help of a Global Navigation Satellite System (GNSS). The present invention relates to a lane detection apparatus and method based on road surface object recognition capable of detecting the total number of lanes and the driving lane of a vehicle in motion using a processing technique.

일반적으로 차선 인식 기능은 운전자 보조시스템 (ADAS), 자율주행(Autonomous Vehicle), 협력지능형 교통체계(C-ITS) 등에서 필수적으로 필요하다. In general, lane recognition is essential in driver assistance systems (ADAS), autonomous vehicles, and cooperative intelligent transportation systems (C-ITS).

도로의 전체 차로의 개수와 차량이 달리는 차로의 위치를 인식할 수 있다면 차로 이탈 경보, 전방 추돌 경보, 차간거리 모니터링 및 경고, 자동 긴급제동, 보행자 충돌 경보 등의 ADAS기능과 자율주행 그리고 도로장애물(낙하물, 포트홀, 공사지점, 사고지점)등의 감지를 통한 안정적인 대응이 가능한 C-ITS기능을 수행할 수 있다.If the total number of lanes on the road and the location of the lane the vehicle runs on can be recognized, ADAS functions such as lane departure warning, forward collision warning, inter-vehicle distance monitoring and warning, automatic emergency braking, pedestrian collision warning, autonomous driving, and road obstacles ( It can perform the C-ITS function that enables a stable response through detection of falling objects, portholes, construction points, and accident points).

기존 차선 인식 기능 중 하나로 원근감 등에 의하여 차선의 폭이 거리에 따라서 줄어드는 삼각형 형태의 차선을 인식하는 방식이 있다. 그런데 이 경우에 경사로 및 곡선 도로에서의 차선 인식에 어려움이 존재하였다.As one of the existing lane recognition functions, there is a method of recognizing a triangular-shaped lane in which the width of the lane decreases with the distance due to perspective or the like. However, in this case, there was a difficulty in recognizing lanes on slopes and curved roads.

이를 개선하기 위해 한국등록특허 1986166호가 제안되었다. 이는 카메라를 이용하여 경사로 및 곡선 도로에서도 보다 정확하게 차선을 인식하고, 차량이 차선을 이탈하는 경우 운전자에게 경보를 제공하는 차선 인식 장치 및 방법에 관한 것이다. 제안된 기술에서 차선 인식 장치는, 차량의 카메라가 수집한 영상을 수신하는 정보수신부, 수신된 영상을 이용하여 차량의 좌측 차선 및 우측 차선이라 판단되는 부분을 검출하는 차선검출부, 좌측 차선에서 적어도 둘 이상의 서로 다른 지점을 선택하고, 우측 차선 상에서 상기 좌측 차선에서 선택된 상기 적어도 둘 이상의 서로 다른 지점과 가장 가까운 거리에 위치한 지점을 선택하는 지점선택부, 지점들 사이의 거리를 산출하고, 상기 산출된 적어도 둘 이상의 거리의 차의 크기가 기 설정된 임계값을 초과하는지 여부 및 상기 산출된 적어도 둘 이상의 거리가 기 설정된 임계범위 내에 존재하는지 여부를 판단하는 거리판단부 및 거리 판단부의 판단을 이용하여 상기 차량이 차선을 인식하는 차선 인식부를 포함한다.In order to improve this, Korean Patent Registration No. 1986166 has been proposed. This relates to a lane recognition apparatus and method for more accurately recognizing lanes even on slopes and curved roads using a camera and providing an alert to a driver when a vehicle deviates from the lane. In the proposed technology, the lane recognition device includes an information receiving unit that receives an image collected by the vehicle's camera, a lane detection unit that detects a portion determined to be a left lane and a right lane of the vehicle using the received image, and at least two in the left lane. A point selection unit that selects the above different points and selects a point located at the closest distance to the at least two different points selected in the left lane on the right lane, calculates the distance between the points, and calculates the calculated at least Using the determination of the distance determination unit and the distance determination unit to determine whether the size of the vehicle of two or more distances exceeds a preset threshold value and whether the calculated at least two distances exist within a preset threshold range, the vehicle is It includes a lane recognition unit for recognizing a lane.

KRKR 10-2014-002182610-2014-0021826 AA KRKR 10-2014-000646310-2014-0006463 AA

본 발명은 이 같은 기술적 배경에서 도출된 것으로,GNSS(Global Navigation Satellite System)의 도움없이 차량에 설치된 카메라만을 이용하여 카메라의 이미지 객체 중 차선을 영상처리기법으로 분석함으로써 보다 정확히 실제 도로의 전체 차로의 개수와 차량이 주행중인 차로의 위치를 인식할 수 있는 노면 객체 인식 기반의 차로 검출 장치 및 방법을 제공함에 그 목적이 있다.The present invention is derived from such a technical background, and by analyzing the lanes among image objects of the camera using only the camera installed in the vehicle without the help of the Global Navigation Satellite System (GNSS), An object thereof is to provide an apparatus and method for detecting a lane based on road surface object recognition capable of recognizing the number and location of a lane on which a vehicle is running.

상기의 과제를 달성하기 위한 본 발명은 다음과 같은 구성을 포함한다. The present invention for achieving the above object includes the following configurations.

본 발명에 따른 노면 객체 인식 기반의 차로 검출 장치는, 차량에 탑재되는 카메라로부터 노면의 촬영 이미지를 수신하는 이미지 수신부; 상기 노면의 촬영 이미지에 영상처리 기법을 적용하여 상기 차량이 주행하는 도로의 차선을 인식하는 차선 인식부; 상기 인식된 차선에 기반하여 차로를 검출하는 차로 검출부; 및 상기 검출된 차로에 기반하여 상기 차량이 주행중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악하는 차로정보 파악부를 포함하는 것을 특징으로 한다.According to an exemplary embodiment of the present invention, an apparatus for detecting a road surface based on road surface object recognition includes: an image receiving unit configured to receive a photographed image of a road surface from a camera mounted on a vehicle; A lane recognition unit for recognizing a lane of a road on which the vehicle is traveling by applying an image processing technique to the photographed image of the road surface; A lane detection unit that detects a lane based on the recognized lane; And a lane information grasping unit configured to determine the total number of lanes of a road on which the vehicle is running and information on driving lanes of the vehicle based on the detected lane.

상기 차로 검출 장치는, 상기 노면의 촬영 이미지로부터 주행중인 차로의 간격과 주변 차로의 간격의 비율을 미리 저장되어 있는 차로의 간격 비율과 비교하여 상기 인식된 차선에서 불필요한 차선을 제거하거나 인식되지 않은 차선을 생성하는 차로 보정부를 더 포함할 수 있다.The lane detection device compares the ratio of the distance between the driving lane and the distance between the surrounding lanes from the photographed image of the road surface with a pre-stored distance ratio of the lane to remove unnecessary lanes from the recognized lanes or to remove the unrecognized lanes. It may further include a correction unit to generate a difference.

상기 차선 인식부는, 차량의 전방, 후방, 좌측, 및 우측에 탑재되는 카메라 중의 적어도 하나로부터 수신되는 노면의 촬영 이미지를 이용해 차선을 인식할 수 있다.The lane recognition unit may recognize a lane using a photographed image of a road surface received from at least one of cameras mounted on the front, rear, left, and right of the vehicle.

상기 차로 검출 장치는, 노면의 촬영 이미지에 기반하여 다른 차량 존재 여부, 노면표시, 도로 외곽의 물체 존재 여부, 터널이나 일출·일몰에 따른 역광 발생, 우천시 노면의 반사광, 야간 시간의 낮은 조도, 도로의 장애물, 마모된 차선, 미처 지워지지 못한 차선, 및 도로공사 등으로 인한 임시 차선 중 적어도 하나에 해당하는 차선 인식을 방해하는 장애상황의 발생 여부를 검출하는 장애상황 검출부를 더 포함할 수 있다.The lane detection device includes the presence of other vehicles based on the photographed image of the road surface, the road surface indication, the presence of objects outside the road, the generation of backlight according to the tunnel or sunrise/sunset, the reflected light of the road surface in rainy weather, low illumination at night time, and the road It may further include a failure situation detection unit for detecting whether or not a failure situation that interferes with the recognition of the lane corresponding to at least one of the obstacle, a worn lane, a lane that has not been erased, and a temporary lane due to road work.

상기 차로 검출 장치는, 차량의 전방, 후방, 좌측, 및 우측에 탑재되는 카메라 중의 적어도 하나로부터 수신되는 노면의 촬영 이미지를 이용해 하늘에서 아래를 내려다보는 영상을 생성할 수 있다.The lane detection apparatus may generate an image looking down from the sky using a photographed image of a road surface received from at least one of cameras mounted in front, rear, left and right of the vehicle.

한편, 본 발명의 일 실시예에 따른 노면 객체 인식 기반의 차로 검출 방법은, 차량에 탑재되는 카메라로부터 획득되는 촬영 이미지에 기반하여 노면의 객체를 인식하는 차로 검출 장치에서 수행되는 것으로, (a) 이미지 수신부가 차량에 탑재되는 카메라로부터 노면의 촬영 이미지를 수신하는 단계; (b) 차선 인식부가 상기 노면의 촬영 이미지에 영상처리 기법을 적용하여 상기 차량이 주행하는 도로의 차선을 인식하는 단계; (c) 차로 검출부가 상기 인식된 차선에 기반하여 차로를 검출하는 단계; 및 (d) 차로정보 파악부가 상기 검출된 차로에 기반하여 상기 차량이 주행중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악하는 단계를 포함하는 것을 특징으로 한다.On the other hand, the road detection method based on road surface object recognition according to an embodiment of the present invention is performed in a lane detection apparatus that recognizes an object on the road based on a photographed image acquired from a camera mounted on a vehicle, (a) Receiving, by the image receiving unit, a photographed image of the road surface from a camera mounted on the vehicle; (b) recognizing a lane of a road on which the vehicle is traveling by applying an image processing technique to the photographed image of the road surface by a lane recognition unit; (c) detecting a lane based on the recognized lane by a lane detection unit; And (d) determining, by the lane information grasping unit, the total number of lanes of the road on which the vehicle is running and information on the driving lane of the vehicle based on the detected lane.

본 발명에 따르면, GNSS(Global Navigation Satellite System)의 도움없이 차량에 설치된 카메라만을 이용하여 카메라의 이미지 객체 중 차선을 영상처리기법으로 분석함으로써 보다 정확히 실제 도로의 전체 차로의 개수와 차량이 주행중인 차로의 위치를 인식할 수 있다.According to the present invention, by analyzing lanes among image objects of the camera using image processing techniques using only a camera installed in the vehicle without the help of GNSS (Global Navigation Satellite System), the number of lanes on the actual road and the lanes the vehicle is traveling on are more accurately analyzed. Can recognize the location of.

도 1은 본 발명에 따른 노면 객체 인식 기반의 차로 검출 장치의 구성을 도시한 블록도.
도 2는 본 발명에 따른 노면 객체 인식 기반의 차로 검출 방법을 도시한 흐름도.
도 3은 본 발명의 다른 실시예에 따른 노면 객체 인식 기반의 차로 검출 방법을 도시한 흐름도.
도 4는 검출된 차로의 간격을 분석하는 것을 예시한 도면.
도 5a 및 도 5b는 노면의 촬영 이미지를 이용하여 검출된 차로를 보정하는 것을 예시한 도면.
도 6a 및 6b는 카메라 배치에 따른 변화를 예시한 도면.1 is a block diagram showing a configuration of a road detection apparatus based on road surface object recognition according to the present invention.
2 is a flowchart illustrating a method for detecting a road based on road surface object recognition according to the present invention.
3 is a flowchart illustrating a method for detecting a road based on road surface object recognition according to another embodiment of the present invention.
4 is a diagram illustrating an analysis of the distance between the detected lanes.
5A and 5B are diagrams illustrating correction of a detected lane using a photographed image of a road surface.
6A and 6B are diagrams illustrating changes according to camera arrangement.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be interpreted as generally understood by those of ordinary skill in the technical field to which the present invention belongs, unless otherwise defined in the present invention, and is excessively comprehensive. It should not be construed as a human meaning or an excessively reduced meaning.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 따른 노면 객체 인식 기반의 차로 검출 장치의 구성을 도시한 블록도이다. 1 is a block diagram showing a configuration of an apparatus for detecting a road based on road surface object recognition according to the present invention.

본 발명에 따른 차로 검출 장치(10)는 차량에 탑재된 카메라(10)로부터 획득되는 촬영 이미지에 기반하여 노면의 객체를 인식할 수 있다.The lane detection apparatus 10 according to the present invention may recognize an object on a road surface based on a photographed image obtained from a camera 10 mounted on a vehicle.

도 1 에 도시된 바와 같이, 본 발명에 따른 노면 객체 인식 기반의 차로 검출 장치(10)는 이미지 수신부(100), 차선 인식부(110), 차로 검출부(120) 및 차로정보 파악부(130)를 포함하며, 추가적으로 카메라(20), 차로 보정부(125) 및 장애상황 검출부(140) 중의 적어도 하나를 더 포함할 수 있다. As shown in FIG. 1, the road surface object recognition-based lane detection apparatus 10 according to the present invention includes an image receiving unit 100, a lane recognition unit 110, a lane detection unit 120, and a lane information identification unit 130. It includes, and may further include at least one of the camera 20, the lane correction unit 125, and the failure detection unit 140.

이미지 수신부(100)는 차량에 탑재된 적어도 하나의 카메라(20)로부터 노면 도로의 촬영 이미지를 수신한다. 즉, 이미지 수신부(100)는 전방 카메라(20a), 후방 카메라(20b), 좌측 카메라(20c), 우측 카메라(20d) 중의 적어도 하나의 카메라로부터 노면의 촬영 이미지를 수신할 수 있다. The image receiving unit 100 receives a photographed image of a road surface from at least one camera 20 mounted on the vehicle. That is, the image receiving unit 100 may receive a photographed image of the road surface from at least one of the front camera 20a, the rear camera 20b, the left camera 20c, and the right camera 20d.

일 실시예에 있어서 이미지 수신부(100)는 카메라(20a, 20b, 20c, 20d)와 근거리 무선통신 또는 유선통신을 수행하여 촬영 이미지를 수신할 수 있다. In an embodiment, the image receiving unit 100 may receive a photographed image by performing short-range wireless communication or wired communication with the cameras 20a, 20b, 20c, and 20d.

차선 인식부(110)는 이미지 수신부(100)에서 수신된 노면의 촬영 이미지로부터 영상처리 기법을 적용하여 현재 차량이 주행하는 도로의 차선(traffic lane, traffic line)을 인식한다. The lane recognition unit 110 applies an image processing technique from a photographed image of a road surface received by the image reception unit 100 to recognize a traffic lane (traffic line) of a road on which the vehicle is currently traveling.

차선 인식부(110)는 카메라로 촬영된 이미지를 컴퓨터 비젼 영상처리 기법을 적용하여 차선을 인식하고, 차로 검출부(120)는 이러한 차선 인식 결과에 기반하여 차로(traffic path)를 검출할 수 있다. The lane recognition unit 110 may recognize a lane by applying a computer vision image processing technique to an image photographed by a camera, and the lane detection unit 120 may detect a traffic path based on the lane recognition result.

본 발명에 따르면, 차선 인식부(110)는 카메라의 촬영 이미지에 허프변환 (Hough Transform) 방식, 역변환매핑 (IPM, Inverse Perspective Mapping) 방식, RANSAC line Fitting (RAndom SAmple Consensus) 방식, 베이지어 곡선 정합(Beizer Spline Fitting ) 방식 중 적어도 하나 이상의 알고리즘을 적용하여 차선을 인식할 수 있다. 그러나 이에 한정되는 것은 아니며 그 외의 다양한 방식이나 알고리즘을 이용하여 차선을 인식할 수 있음은 물론이다. According to the present invention, the lane recognition unit 110 includes a Hough Transform method, an Inverse Perspective Mapping (IPM) method, a RANSAC line fitting (RAndom SAmple Consensus) method, and a Bayesian curve matching method to a captured image of a camera. Lanes may be recognized by applying at least one algorithm among the (Beizer Spline Fitting) methods. However, it is not limited thereto, and it goes without saying that the lane can be recognized using various other methods or algorithms.

또한, 본 발명에 따르면 차선 인식부(110)는 차량의 전방, 후방, 좌측, 우측에 탑재되는 카메라 중의 적어도 하나로부터 수신되는 노면의 촬영 이미지 중 적어도 하나 이상을 이용하여 차선을 인식할 수 있으며, 이로부터 차량의 상부에서 아래를 내려다보는 영상을 생성할 수도 있다. In addition, according to the present invention, the lane recognition unit 110 may recognize a lane using at least one of a photographed image of a road surface received from at least one of cameras mounted on the front, rear, left, and right of the vehicle, From this, an image looking down from the top of the vehicle may be generated.

한편, 소실점(vanishing point)은 물리공간에서 평행한 직선들이 영상에 투영되어 원근효과(perspective effect)에 의해 마치 한 점에서 만나는 것처럼 보이는 점이다. 그리고, 소실선(vanishing line)은 소실점들이 모여서 이루어진 직선이다. 평행한 평면에 속한 직선들의 소실점들은 일직선을 이룬다. 또한 어떤 평면에 대한 소실선(vanishing line)은 이 평면과 수평이고 카메라 원점을 지나는 평면이 이미지 평면과 만나서 생기는 교선이다. On the other hand, a vanishing point is a point where parallel straight lines in physical space are projected onto an image and appear to meet at one point by a perspective effect. And, the vanishing line is a straight line formed by gathering vanishing points. Vanishing points of straight lines belonging to a parallel plane form a straight line. Also, the vanishing line for a plane is the intersection line that is created when the plane passing through the camera origin meets the image plane and is horizontal with this plane.

즉, 지면 위의 한 직선을 이미지에 투영해 보면 직선을 무한히 확장하였을 경우 결국 소실선 상의 어느 한 점으로 수렴하게 됨을 쉽게 상상할 수 있다.That is, if a straight line on the ground is projected onto an image, it can be easily imagined that if the straight line is infinitely expanded, it will eventually converge to a point on the vanishing line.

영상에서 소실선의 위치는 카메라의 평행이동과는 무관하며 오직 카메라의 자세(3D 회전)에만 영향을 받는다. 따라서 카메라로 촬영된 촬영 이미지에서 소실선의 위치를 알면 캘리브레이션을 하지 않고도 카메라의 팬(pan), 틸트(tilt), 롤(roll)을 알아낼 수 있다. 즉, 소실점/소실선을 이용한 카메라의 3D 자세측정이 가능하다. 그런데, 영상에서 소실점/소실선을 이용하면 이러한 외부 파라미터(extrinsic parameter) 뿐만 아니라 카메라의 내부 파라미터 추정도 가능하다. 즉, 카메라의 초점거리 및 주점의 추정이 가능하다. The position of the vanishing line in the image is independent of the camera's translation and is affected only by the camera's attitude (3D rotation). Therefore, if you know the location of the vanishing line in the captured image taken by the camera, you can find out the pan, tilt, and roll of the camera without performing calibration. That is, it is possible to measure the 3D attitude of the camera using the vanishing point/vanishing line. However, by using the vanishing point/vanishing line in the image, it is possible to estimate not only the extrinsic parameter but also the internal parameter of the camera. That is, it is possible to estimate the focal length and main point of the camera.

결국, 차량에 탑재되는 카메라로 촬영된 촬영 이미지에서 차선 인식부(110)는 차선에 해당하는 객체를 검출하여 인식한 후, 차선이 도로상에서 평행하기 때문에 차선이 소실점으로 모이는 성질을 이용하여 차선의 소실점을 검출할 수 있다.In the end, in the image taken by the camera mounted on the vehicle, the lane recognition unit 110 detects and recognizes the object corresponding to the lane, and then uses the property of the lanes to gather as vanishing points because the lanes are parallel on the road. The vanishing point can be detected.

차로 검출부(120)는 차선 인식부(110)에서 인식된 차선에 기반하여 차로를 검출한다. 차량이 주행하는 도로에서 차선(traffic lane)으로 구분한 차도의 부분을 차로(traffic path)라 한다. 일 실시예에 있어서, 차로 검출부(120)는 차선 인식부(110)에서 인식된 차선 사이 사이를 차로로 판단함으로써 차로를 검출할 수 있다. The lane detection unit 120 detects a lane based on the lane recognized by the lane recognition unit 110. A portion of a roadway divided by a traffic lane on a road on which a vehicle runs is called a traffic path. In an embodiment, the lane detection unit 120 may detect a lane by determining between lanes recognized by the lane recognition unit 110 as a lane.

차로 보정부(125)는 노면의 촬영 이미지를 분석하여 검출된 차로를 보정한다. 차로 보정부(125)는 노면의 촬영 이미지로부터 주행중인 차로의 간격과 주변 차로의 간격의 비를 비교하여 차선 인식부(110)에 의해 인식된 차선에서 불필요한 차선을 제거하거나 제대로 인식되지 않은 차선을 신규로 생성하여 검출된 차로를 보정하는 역할을 수행할 수 있다. The lane correction unit 125 corrects the detected lane by analyzing the photographed image of the road surface. The lane correction unit 125 compares the ratio of the distance between the driving lane and the distance between the surrounding lanes from the photographed image of the road surface, and removes unnecessary lanes from the lane recognized by the lane recognition unit 110 or detects a lane that is not properly recognized. It may play a role of correcting a newly created and detected lane.

차로 보정부(125)는 노면의 촬영 이미지로부터 소실점과 각 차선의 가상선을 생성하고, 노면의 촬영 이미지의 가상기준선(1500)을 기준으로 각 차선의 가상선 간의 간격을 산출하고 이를 비교하여 불필요한 차선을 제거하거나 인식이 안된 차선을 새롭게 생성함으로써, 실제 검출된 차로나 주행 차로정보의 정확도를 높인다. 이에 대한 상세한 설명은 후술하기로 한다.The lane correction unit 125 generates a vanishing point and a virtual line of each lane from the photographed image of the road surface, calculates the distance between the virtual line of each lane based on the virtual reference line 1500 of the photographed image of the road surface, and compares it to be unnecessary. By removing lanes or creating new lanes that are not recognized, the accuracy of information about actually detected lanes or driving lanes is improved. A detailed description of this will be described later.

차로정보 파악부(130)는 차로 검출부(120)에 의해 검출된 차로정보 및 차로 보정부(125)에 의해 보정된 차로정보에 기반하여 차량이 주행중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악할 수 있다.The lane information grasping unit 130 is based on the lane information detected by the lane detection unit 120 and the lane information corrected by the lane correction unit 125, the total number of lanes of the road on which the vehicle is running and the driving lane information of the vehicle. Can grasp.

이때, 차로정보 파악부(130)는 차선 인식부(110)에서 인식된 차선 정보 및 도로의 끝을 참고하여 도로의 전체 차로수를 파악할 수도 있다. 예를들어 차로정보 파악부(130)는 차선들 중 노란색 선이 감지되면 중앙선으로 파악할 수 있고, 연석, 턱, 중앙분리대와 같은 경계구조가 인식되면 도로의 끝으로 파악할 수 있다. At this time, the lane information grasp unit 130 may determine the total number of lanes of the road by referring to the lane information recognized by the lane recognition unit 110 and the end of the road. For example, when a yellow line is detected among the lanes, the lane information grasp unit 130 may recognize it as a center line, and when a boundary structure such as a curb, a chin, and a center divider is recognized, it may recognize it as the end of the road.

이때, 중앙선을 일반 차선과 구분하기 위해서 차선의 색을 파악하거나, 복선(두개의 선이 일정간격 이격되어 인식돔)으로 인식되면 중앙선으로 파악할 수도 있다.At this time, in order to distinguish the center line from the general lane, the color of the lane may be grasped, or if it is recognized as a double track (two lines are spaced apart from each other and a recognition dome), it may be recognized as a center line.

차로정보 파악부(130)는 촬영 이미지에 기반하여 현재 차량이 위치하고 있는 차로의 위치를 정확하게 파악하는 것이 가능하다. The lane information grasping unit 130 may accurately determine the location of a lane in which the vehicle is currently located based on the photographed image.

본 발명의 특징적인 양상에 따르면, 차선 인식부(110)는 차로정보 파악부(130)에서 파악되는 차량의 주행 차로정보에 기반하여, 차량의 우측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지 및 상기 차량의 좌측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지를 이용하여 차량의 상부에서 아래를 내려다보는 영상을 생성할 수도 있다.According to a characteristic aspect of the present invention, the lane recognition unit 110 includes a photographed image of the road surface received from a camera mounted on the right side of the vehicle and An image looking down from the top of the vehicle may be generated by using the photographed image of the road surface received from the camera mounted on the left side of the vehicle.

장애상황 검출부(140)는 노면의 촬영 이미지에 기반하여 다른 차량의 존재 여부, 노면표시, 도로 외곽의 물체 존재 여부, 터널이나 일출·일몰에 따른 역광 발생, 우천시 노면의 반사광, 야간 시간의 낮은 조도, 도로의 장애물, 마모된 차선, 미처 지워지지 못한 차선, 도로공사 등으로 인한 임시 차선 중 하나에 해당하는 장애상황 발생 여부를 검출할 수 있다. Based on the photographed image of the road surface, the failure situation detection unit 140 is based on the presence of other vehicles, road surface indication, existence of objects outside the road, generation of backlight according to tunnels or sunrise/sunset, reflection of the road surface in rainy weather, and low illumination at night time. , It is possible to detect the occurrence of a failure situation corresponding to one of road obstacles, worn lanes, lanes that have not been erased, and temporary lanes due to road construction.

일반적으로 카메라 이미지를 컴퓨터 비젼 영상처리 기법을 적용하여 차선을 인식하며 차로를 검출할 수 있다. 그런데 이때 다른 차량, 노면표시, 도로 바깥 존재 물체, 다차로인 경우에 넓은 화각, 터널이나 일출, 일몰의 역광, 우천시 노면 반사광, 야간의 낮은 조도, 도로의 장애물, 마모된 차선, 미처 지워지지 못한 차선, 도로공사 등으로 인한 임시 차선 등과 같은 요인들이 도로의 차선 인식을 방해하는 요소로 작용할 수 있는 것이다. 그러나 차선 인식이 방해되는 장애상황이 이에 한정되는 것은 아니다. 차선 인식률을 떨어뜨릴 수 있는 다양한 상황들을 포괄하도록 해석된다. In general, by applying a computer vision image processing technique to a camera image, lanes can be recognized and lanes can be detected. However, at this time, other vehicles, road markings, objects outside the road, wide angles of view in the case of multiple lanes, tunnels or sunrises, backlighting at sunset, road reflections in rainy weather, low illumination at night, road obstacles, worn lanes, lanes that could not be erased Factors such as temporary lanes due to road construction, etc. can act as factors that hinder the recognition of lanes on the road. However, the obstacle situation in which lane recognition is hindered is not limited thereto. It is interpreted to cover various situations that can lower the lane recognition rate.

일 실시예에 있어서 장애상황 검출부(140)는 차량에 탑재되는 조도 센서나 빗물 감지 센서, 장애물 감지 센서로부터 센싱되는 결과를 수신하여 터널, 일출, 일몰에 따른 역광발생, 야간시간의 낮은 조도, 우천시 노면의 반사광, 도로의 장애물, 미처 지워지지 못한 차선, 도로공사 등으로 인한 임시 차선, 주변의 다른 차량 존재 여부에 따라 장애상황 발생 여부를 파악할 수도 있다. 즉, 도로장애물이나 여러 상황으로 차선이 잘 인식되지 못하거나 잘못 인식되는 등의 장애상황의 발생 여부를 검출할 수 있도록 장애상황 검출부(140)는 어떠한 제한없이 다양하게 모든 기술적 구성을 포괄하도록 해석된다. In one embodiment, the failure situation detection unit 140 receives a result of sensing from an illuminance sensor, rainwater detection sensor, and obstacle detection sensor mounted on a vehicle, and generates backlight according to tunnel, sunrise, and sunset, low illumination at night time, and rainy weather. It is also possible to determine whether an obstacle has occurred depending on the reflected light from the road surface, obstacles on the road, lanes that have not been cleared, temporary lanes due to road construction, etc., and the presence of other vehicles in the vicinity. That is, the obstacle situation detection unit 140 is interpreted to cover all technical configurations in various ways without any limitation so as to detect whether an obstacle situation such as a road obstacle or various situations such as that a lane is not recognized well or is incorrectly recognized. .

본 발명의 일 실시예에 따른 노면 객체 인식 기반의 차로 검출 장치(10)는 전술한 방해 요소들을 극복하고 정확도 높은 차로 검출을 수행하기 위해서 먼저 기본적으로 전방의 카메라를 이용한 차선 인식을 시도하고, 적어도 하나 이상의 차선 인식 방해 요소들의 존재 유무에 따라 후방, 좌우측 카메라를 통한 촬영 이미지 중의 적어도 하나를 이용하여 차로 검출을 수행하는 것이다.The lane detection apparatus 10 based on road surface object recognition according to an embodiment of the present invention basically attempts lane recognition using a front camera in order to overcome the above-described obstacles and perform lane detection with high accuracy, and at least The lane detection is performed using at least one of images captured by rear and left and right cameras according to the presence or absence of one or more lane recognition obstacles.

차로 검출에 방해 요소들이 없는 일반적인 경우에는 차량의 전방에 탑재되는 전방 카메라(20a)로 촬영되는 노면의 촬영 이미지에 기반으로 차선을 인식하고, 차로를 검출할 수 있다. In a general case in which there are no obstacles in detecting the lane, the lane may be recognized and the lane may be detected based on a photographed image of the road surface photographed by the front camera 20a mounted in front of the vehicle.

예를들어 도로가 너무 넓거나, 조도가 낮거나, 반사광이 존재하거나, 주변의 장애물이 있는 경우를 제외하고, 차량의 전방에 탑재되는 카메라를 이용해서 차선 인식률이 충분히 보장될 수 있는 경우에는 불필요하게 여러대의 카메라로 촬영된 노면의 촬영 이미지를 수신하여 처리하는 과정을 줄일 수 있다. 이에 따라 데이터 효율을 높일 수 있는 것이다. For example, it is not necessary if the lane recognition rate can be sufficiently guaranteed using a camera mounted in front of the vehicle, except when the road is too wide, the illumination is low, there is reflected light, or there are nearby obstacles. Therefore, it is possible to reduce the process of receiving and processing the photographed image of the road surface photographed by multiple cameras. Accordingly, data efficiency can be improved.

그러나 차선을 인식함에 있어서 방해가 되는 장애상황이 발생하여 전방 카메라(20a)를 이용한 차선 인식률이 충분히 보장되지 않는 경우에는 후방, 좌측, 우측 카메라 중의 적어도 하나로 촬영되는 노면의 촬영 이미지를 더 수신하고 이를 이용하여 차선을 인식할 수 있다. However, when an obstacle that interferes with the lane recognition occurs and the lane recognition rate using the front camera 20a is not sufficiently guaranteed, a photographed image of the road surface photographed with at least one of the rear, left, and right cameras is further received and Can be used to recognize the lane.

한편, 본 발명에 따른 노면 객체 인식 기반의 차로 검출 방법은 차량에 탑재되는 카메라로부터 획득되는 촬영 이미지에 기반하여 노면의 객체를 인식하는 차로 검출 장치에서 수행된다. 본 발명의 일 실시예에 따른 노면 객체 인식 기반의 차로 검출 방법은 노면의 객체를 인식하는 차로 검출 장치에서 수행되는 방법으로서 카테고리만 상이할 뿐 실질적으로 동일한 기능을 수행하므로 반복적인 설명은 생략하도록 한다.Meanwhile, the method for detecting a road based on road surface object recognition according to the present invention is performed in a lane detection apparatus that recognizes an object on a road surface based on a photographed image acquired from a camera mounted on a vehicle. The road surface object recognition-based road detection method according to an embodiment of the present invention is a method performed by a road surface detection device that recognizes an object on a road surface, and performs substantially the same function as only different categories, so a repetitive description will be omitted. .

도 2는 본 발명에 따른 노면 객체 인식 기반의 차로 검출 방법을 도시한 흐름도이다. 2 is a flowchart illustrating a method for detecting a road based on road surface object recognition according to the present invention.

먼저, 이미지 수신부(100)가 차량에 탑재되는 카메라로부터 노면의 촬영 이미지를 수신한다(S100). First, the image receiving unit 100 receives a photographed image of the road surface from a camera mounted on a vehicle (S100).

그리고 차선 인식부(110)는 차량의 전면에 탑재된 카메라로부터 수신된 노면의 촬영 이미지에 영상처리 기법을 적용하여 차량이 주행하는 도로의 차선을 인식한다(S110). Further, the lane recognition unit 110 recognizes a lane of a road on which the vehicle is traveling by applying an image processing technique to a photographed image of a road surface received from a camera mounted in the front of the vehicle (S110).

본 발명에서, 차선 인식부(110)는 허프변환 (Hough Transform) 방식, 역변환매핑 (IPM, Inverse Perspective Mapping) 방식, RANSAC line Fitting (RAndom SAmple Consensus) 방식, 베이지어 곡선 정합(Beizer Spline Fitting ) 방식 중 적어도 하나의 알고리즘을 적용하여 차선을 인식한다. In the present invention, the lane recognition unit 110 is a Hough Transform method, an Inverse Perspective Mapping (IPM) method, a RANSAC line fitting (RAndom SAmple Consensus) method, a Beizer Spline Fitting method. At least one of the algorithms is applied to recognize the lane.

일 실시예에 따르면 차량의 전방, 후방, 좌측, 우측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지 중 적어도 하나 이상을 이용하여 차량의 상부에서 아래를 내려다보는 영상을 생성하고 차선을 인식할 수 있다.According to an embodiment, an image looking down from the top of the vehicle may be generated by using at least one or more of a photographed image of a road surface received from a camera mounted on the front, rear, left, and right of the vehicle, and a lane may be recognized. .

이 후에 차로 검출부(120)는 차선 인식부(110)에서 인식된 차선 정보에 기반하여 차로를 검출할 수 있다(S120). 차량이 주행하는 도로에서 차선(traffic lane)으로 구분한 차도의 부분을 차로(trafiic path)라 한다. 일 실시예에 있어서, 차로 검출부는 차선 인식부에서 인식되는 차선 사이 사이의 차로를 검출할 수 있다. After that, the lane detection unit 120 may detect the lane based on the lane information recognized by the lane recognition unit 110 (S120). A portion of a roadway divided by a traffic lane on a road on which a vehicle runs is called a trafiic path. In an embodiment, the lane detection unit may detect a lane between lanes recognized by the lane recognition unit.

그리고 나서, 차로정보 파악부(130)는 검출된 차로 정보에 기반하여 차량이 주행 중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악할 수 있다(S140). Then, the lane information grasp unit 130 may determine the total number of lanes of the road on which the vehicle is running and information on the driving lane of the vehicle based on the detected lane information (S140).

이때, 차로정보 파악부(130)는 차선 인식부(110)에서 인식된 차선 정보 및 감지된 도로의 끝을 참고하여 도로의 전체 차로수를 파악할 수 있다. 예를들어 차로정보 파악부(130)는 차선들 중 노란색 선이 감지되면 중앙선으로 파악할 수 있고, 벽이나 턱과 같은 경계구조가 인식되면 도로의 끝으로 파악할 수 있다. In this case, the lane information grasp unit 130 may determine the total number of lanes of the road by referring to the lane information recognized by the lane recognition unit 110 and the detected end of the road. For example, when a yellow line is detected among lanes, the lane information grasp unit 130 can recognize it as a center line, and when a boundary structure such as a wall or a jaw is recognized, it can recognize it as the end of the road.

그러나 이에 한정되지 않고, 차로정보 파악부(130)는 차선 인식부(110)에서 인식되는 차선의 개수에 따라서 도로 전체가 몇차로인지를 파악할 수도 있다. 이때, 중앙선을 일반 차선과 구분하기 위해서 차선의 색을 파악하거나, 복선(두개의 선이 일정간격 이격되어 인식돔)으로 인식되면 중앙선으로 파악할 수 있다.However, the present invention is not limited thereto, and the lane information determining unit 130 may determine the number of lanes in the entire road according to the number of lanes recognized by the lane recognition unit 110. At this time, in order to distinguish the center line from the general lane, the color of the lane may be recognized, or if it is recognized as a double track (two lines are spaced apart by a certain distance, the recognition dome) may be recognized as the center line.

차로정보 파악부(130)는 촬영 이미지에 기반하여 현재 차량이 위치하고 있는 주행 차로정보를 정확하게 파악하는 것이 가능하다.The lane information grasping unit 130 may accurately identify driving lane information in which the vehicle is currently located based on the photographed image.

한편, 차로 보정부(125)는 S120 단계와 S140 단계 사이에 노면의 촬영 이미지를 분석하여 차선을 보정한 후 검출된 차로를 보정할 수 있다(S520). 차로 보정부(125)는 노면의 촬영 이미지로부터 주행중인 차로의 간격과 주변 차선의 간격의 비를 비교하여 상기 인식된 차선에서 불필요한 차선을 제거하거나 인식되지 못한 차선을 생성하고, 최종적으로 인식된 차선 사이의 차로를 검출할 수 있다. 도 2에서는 S130 단계가 S120 단계와 S140 단계 사이에 수행되는 것으로 도시되었지만, S130 차로 보정 단계는 S140 단계 이후에 수행될 수도 있음은 물론이다.Meanwhile, the lane correction unit 125 may correct the detected lane after analyzing the photographed image of the road surface between steps S120 and S140 (S520). The lane correction unit 125 compares the ratio of the distance between the driving lane and the distance between the surrounding lanes from the photographed image on the road surface, removes unnecessary lanes from the recognized lanes or creates an unrecognized lane, and finally recognizes the recognized lanes. The difference between them can be detected. In FIG. 2, step S130 is shown to be performed between steps S120 and S140, but it is obvious that the step S130 correction may be performed after step S140.

도 3은 본 발명의 다른 실시예에 따른 노면 객체 인식 기반의 차로 검출 방법을 도시한 흐름도이다.3 is a flowchart illustrating a method for detecting a road based on road surface object recognition according to another embodiment of the present invention.

도 3에 따른 단계들은 전방 카메라의 촬영 이미지에서 차선 인식이 방해되는 상황이 발생하는 경우 수행될 수 있는 것으로 도시되었지만, 차선 인식이 방해되는 장애 상황 외에도 차선 인식률을 높이기 위해 언제든지 필요한 때 수행될 수도 있음은 물론이다.Although the steps according to FIG. 3 are shown to be performed when a situation in which lane recognition is disturbed occurs in a photographed image of the front camera, it may be performed at any time necessary to increase the lane recognition rate in addition to the obstacle situation in which lane recognition is hindered. Of course.

장애상황 검출부(140)는 차량의 전방에 탑재된 카메라로부터 수신된 도로의 촬영 이미지에 기반하여 노면표시, 도로 외곽의 물체 존재 여부, 터널이나 일출·일몰에 따른 역광 발생, 우천시 노면의 반사광, 야간 시간의 낮은 조도, 도로의 장애물, 마모된 차선, 미처 지워지지 못한 차선, 도로공사 등으로 인한 임시 차선, 주변의 다른 차량 존재 중 적어도 하나의 이유로 전방 카메라의 촬영 이미지에서 차선 인식이 방해되는 장애상황 발생 여부를 검출할 수 있다(S200).The failure situation detection unit 140 displays the road surface based on the photographed image of the road received from the camera mounted in front of the vehicle, whether there is an object outside the road, the occurrence of backlight according to the tunnel or sunrise or sunset, reflected light from the road surface in case of rain, and at night. An obstacle occurs in which lane recognition is disturbed in the image taken by the front camera due to at least one of: low illumination of time, obstacles on the road, worn lanes, lanes that have not been erased, temporary lanes due to road work, etc., and the presence of other vehicles in the vicinity. Whether or not it can be detected (S200).

장애상황 검출부(140)는 차량에 탑재되는 조도 센서나 빗물 감지 센서, 장애물 감지 센서로부터 센싱되는 결과를 수신하여 터널, 일출, 일몰에 따른 역광발생, 야간시간의 낮은 조도, 우천시 노면의 반사광, 주변의 다른 차량 존재 여부, 도로의 장애물, 마모된 차선, 미처 지워지지 못한 차선, 도로공사 등으로 인한 임시 차선 등 차선의 인식을 방해하는 장애상황 발생 여부를 파악할 수 있다. 즉, 전술한 장애상황이나 이와 유사한 상황으로 인한 차선인식의 방해 여부를 검출할 수 있도록, 장애상황 검출부(140)는 어떠한 제한없이 다양하게 모든 기술적 구성을 포괄하도록 해석된다. The failure situation detection unit 140 receives the result of sensing from the illuminance sensor, rainwater detection sensor, and obstacle detection sensor mounted on the vehicle, and generates backlight according to tunnel, sunrise, and sunset, low illumination at night, reflected light from the road surface in rainy weather, and surroundings. The presence of other vehicles, road obstacles, worn lanes, lanes that have not been erased, temporary lanes due to road construction, etc. That is, the failure condition detection unit 140 is interpreted to cover all technical configurations in various ways without any limitation in order to detect whether the lane recognition is disturbed due to the above-described failure condition or similar condition.

본 발명에 따른 노면 객체 인식 기반의 차로 검출 방법은 전술한 방해 요소들을 극복하고 정확도 높은 차로 검출을 수행하기 위해서 먼저 기본적으로 전방 카메라를 이용하여 차선 인식을 시도하고, 적어도 하나 이상의 차선 인식 방해 요소들의 존재 유무에 따라 순차적으로 또는 독립적으로 후방, 좌우측 카메라를 이용하여 차선 인식을 수행하는 것이다.The lane detection method based on road surface object recognition according to the present invention basically attempts lane recognition using a front camera first in order to overcome the above-described obstacles and perform lane detection with high accuracy. Depending on the presence or absence, lane recognition is performed sequentially or independently using the rear and left and right cameras.

장애상황이 존재하여 전방 카메라의 촬영 이미지로부터 차선 인식이 방해된다고 파악되는 경우에, 차선 인식부(110)는 차량의 전방을 촬영한 이미지 외에도 차량의 후방, 좌측, 및 우측에 탑재된 카메라에서 촬영된 노면의 촬영 이미지 중의 적어도 하나를 더 이용하여 차선을 인식한다(S210). 물론, 전술한 것처럼 후방, 좌우측 카메라의 촬영 이미지는 장애상항에만 이용되는 것이 아니라 언제든지 필요한 경우에 이용되거나 차로 검출의 정확도 향상을 위해 항상 이용될 수 있다.When it is determined that lane recognition is disturbed from the image taken by the front camera due to the presence of an obstacle, the lane recognition unit 110 photographs with cameras mounted on the rear, left, and right of the vehicle in addition to the image photographed in front of the vehicle. The lane is recognized by further using at least one of the photographed images of the road surface (S210). Of course, as described above, the photographed images of the rear and left and right cameras are not only used for obstacles, but can be used whenever necessary or always used to improve the accuracy of lane detection.

또한, 차선 인식부(110)는 차로정보 파악부(130)에서 파악되는 차량의 주행 차로정보에 기반하여, 차량의 우측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지 및 상기 차량의 좌측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지를 이용하여 차량의 상부에서 아래를 내려다보는 영상을 생성할 수도 있다.In addition, the lane recognition unit 110 includes a photographed image of the road surface received from a camera mounted on the right side of the vehicle and mounted on the left side of the vehicle, based on the driving lane information of the vehicle identified by the lane information identification unit 130. An image looking down from the top of the vehicle may be generated by using the photographed image of the road surface received from the camera.

이 후에 차로 검출부(120)는 차선 인식부에서 인식된 차선 정보에 기반하여 차로를 검출한다(S220). After that, the lane detection unit 120 detects a lane based on the lane information recognized by the lane recognition unit (S220).

그리고 차로정보 파악부는 검출된 차로 정보에 기반하여 차량이 주행 중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악한다(S240).Further, the lane information grasp unit determines the total number of lanes of the road on which the vehicle is running and information on the driving lane of the vehicle based on the detected lane information (S240).

S220 단계와 S240 단계 사이에, 전술한 차로 보정 단계(S230)가 더 수행될 수도 있음은 물론이다.It goes without saying that between steps S220 and S240, the aforementioned difference correction step S230 may be further performed.

본 발명의 실시예에 따른 노면 객체 인식 기반의 차로 검출 방법은 차량의 전방에 탑재되는 카메라를 이용해서 차선의 인식률이 충분히 보장될 수 있는 경우에는 불필요하게 여러대의 카메라로 촬영된 노면의 촬영 이미지를 수신하여 처리하는 과정을 줄일 수 있다. In the lane detection method based on road surface object recognition according to an embodiment of the present invention, when the lane recognition rate can be sufficiently guaranteed by using a camera mounted in front of the vehicle, a photographed image of the road surface photographed with multiple cameras is unnecessarily. The process of receiving and processing can be reduced.

그리고 차선 인식률이 충분히 보장되지 않는 경우에는 보조적으로 차량의 후방, 좌우측에 탑재된 카메라로 촬영된 노면의 촬영이미지 중의 적어도 하나를 이용하여 차선을 인식함으로써 차로 검출의 정확도를 높일 수 있을 뿐 아니라 데이터 효율을 높일 수 있는 것이다. In addition, when the lane recognition rate is not sufficiently guaranteed, the accuracy of lane detection can be improved by recognizing the lane using at least one of the photographed images of the road surface photographed with cameras mounted at the rear and left and right of the vehicle as an auxiliary. It is possible to increase.

도 4는 검출된 차로의 간격을 분석하는 것을 예시한 도면이고, 도 5a 및 도 5b는 노면의 촬영 이미지를 이용하여 검출된 차로를 보정하는 것을 예시한 도면이다.4 is a diagram illustrating an analysis of a distance between a detected lane, and FIGS. 5A and 5B are diagrams illustrating an example of correcting a detected lane using a photographed image of a road surface.

우선 차로 보정부(125)는 노면의 촬영 이미지에서 주행중인 차로의 간격과 주변 차로의 간격의 비를 비교하여 상기 인식된 차선에서 불필요한 차선을 제거하거나 미처 인식하지 못한 차선을 생성하는 역할을 수행할 수 있다. 상세하게는, 차로 보정부(125)는 노면의 촬영 이미지로부터 소실점과 각 차선의 가상선을 생성하고, 촬영 이미지에서 임의의 거리만큼 떨어진 가상기준선(150)을 기준으로 각 차선 간의 간격을 산출하고 이를 비교함으로써 실제 검출된 차로나 주행 차로정보의 정확도를 판단한 후, 불필요한 차선을 제거하거나 인식하지 못한 차선을 신규로 생성할 수 있다. 이때, 가상기준선(150)은 각 차선의 가상선과 수직인 차선이다.First, the lane correction unit 125 compares the ratio of the distance between the driving lane and the distance between the surrounding lanes in the photographed image of the road surface to remove unnecessary lanes from the recognized lanes or to generate lanes that have not been recognized yet. I can. In detail, the lane correction unit 125 generates a vanishing point and a virtual line of each lane from the photographed image of the road surface, calculates the distance between each lane based on the virtual reference line 150 separated by a random distance from the photographed image, and By comparing this, after determining the accuracy of the actually detected lane or driving lane information, unnecessary lanes may be removed or a lane that was not recognized may be newly created. In this case, the virtual reference line 150 is a lane perpendicular to the virtual line of each lane.

도 4의 예에서, 편도 5차로를 가진 직선 도로에서 차량이 가운데의 차로인 3차로를 주행하는 경우, 차로 보정부(125)는 노면의 촬영 이미지로부터 인식된 각 차선을 연결하는 가상선과 그 가상선이 만나는 소실점을 생성할 수 있다. 그리고 나서 차로 보정부(125)는 가상기준선(150)을 그리고, 가상기준선(150)을 기준으로 각 차로 간의 간격, 즉, 각 차선 간의 간격(L1, L2, C, R1, R2)을 산출할 수 있다. 중앙에 있는 차로가 차량이 주행중인 차로이므로, 차로 보정부(125)는 주행중인 차로의 간격(C)을 기준으로 주변 차로의 간격(L1, L2, R1, R2)의 비율을 비교분석하여 실제 검출된 차로나 주행 차로정보의 정확도를 판단할 수 있다.In the example of FIG. 4, when a vehicle travels on a three lane that is a middle lane on a straight road with five lanes one way, the lane correction unit 125 includes a virtual line connecting each lane recognized from a photographed image of the road surface and a virtual line thereof. You can create vanishing points where lines meet. Then, the lane correction unit 125 draws a virtual reference line 150 and calculates the distance between each lane based on the virtual reference line 150, that is, the distance between each lane (L1, L2, C, R1, R2). I can. Since the lane in the center is the lane where the vehicle is running, the lane correction unit 125 compares and analyzes the ratio of the intervals (L1, L2, R1, R2) of the surrounding lanes based on the interval (C) of the driving lanes It is possible to determine the accuracy of the detected lane or driving lane information.

일반적으로 주행중인 차로의 간격(C)과 주변 차로의 간격(L1, L2, R1, R2)의 비율은 촬영 이미지에서 일정한 변화량을 유지해야 한다. 따라서, 차로 보정부(125)는 실제 촬영 이미지로부터 산출된 주행중인 차로 간격과 주변 차로 간격의 비율의 변화량이 비교한계값을 초과하면, 검출된 차선 중에서 비교한계값을 초과한 차선을 잘못 인식된 것으로 판단하고 불필요한 차선을 걸러내거나 인식되지 못한 차선을 신규로 생성한다. In general, the ratio of the distance between the driving lane (C) and the distance between the surrounding lanes (L1, L2, R1, R2) should maintain a constant amount of change in the captured image. Therefore, the lane correction unit 125 incorrectly recognizes the lane exceeding the comparison limit value among the detected lanes when the variation of the ratio of the distance between the driving lane and the surrounding lane interval calculated from the actual photographed image exceeds the comparison limit value. It is determined to be, and unnecessary lanes are filtered out or unrecognized lanes are newly created.

주행중인 차로의 위치에 따라 주행중인 차로의 간격(C)과 주변 차로의 간격(L1, L2, R1, R2)의 비율의 변화량은 미리 실험이나 테스트 등으로 용이하게 결정될 수 있다. 예를 들어, 가장 우측 차로로 주행하는 경우 우측에 차로가 없으므로 주행하는 차로를 기준으로 좌측으로 가면서 간격이 줄어들기 때문에 간격 비율도 줄어들 것이다. 또한, 주행하는 차로가 중간에 있는 경우, 주행하는 차로를 기준으로 좌우 측면으로 갈수록 주변 차로의 간격 비율이 일정 비율로 줄어들 것이다. 가상기준선(150)이 차량에서 일정 거리만큼 이격된 지점으로 미리 정해진 경우, 주행중인 차로의 간격(C)을 기준으로 좌측이나 우측의 주변 차로의 간격 비율의 변화량이 미리 계산되어 결정될 수 있으며, 주행중인 차로에서 멀어질수록 일정한 비율로 차로의 간격의 비가 줄어든다.Depending on the location of the driving lane, the amount of change in the ratio of the distance (C) of the driving lane and the distance (L1, L2, R1, R2) of the surrounding lanes can be easily determined in advance through experiments or tests. For example, in the case of driving in the rightmost lane, since there is no lane on the right side, the gap ratio will decrease as the gap decreases while going to the left based on the driving lane. In addition, when the driving lane is in the middle, the distance ratio between the surrounding lanes will decrease by a certain ratio as the driving lane goes to the left and right sides based on the driving lane. When the virtual reference line 150 is predetermined as a point spaced apart from the vehicle by a certain distance, the amount of change in the ratio of the distance between the neighboring lanes on the left or the right side may be calculated and determined in advance based on the distance C of the driving lane. The further away from the roadway, the ratio of the distance between the lanes decreases at a certain rate.

이처럼, 차로 보정부(115)는 주행 차로에 따라 미리 결정된 차로의 간격 비율과 노면의 실제 촬영 이미지로부터 산출된 차로이 간격 비율을 서로 비교함으로써, 실제 검출된 전체 차로수와 차량의 주행 차로정보의 오검출 여부를 판단한다. 그 판단 결과에 따라, 차로 보정부(115)는 불필요한 차선이 있는 경우 차선을 제거하거나 차선이 있어야 할 위치에 차선이 없는 경우 차선을 신규로 생성함으로써 최종적으로 차로를 보정할 수 있다. 물론 차로가 보정되면, 차로정보 파악부(130)는 보정된 차로를 기반으로 전체 차로수와 차량의 주행 차로정보를 재결정할 수 있다.As such, the lane correction unit 115 compares the lane interval ratio calculated from the actual photographed image of the road surface with the lane interval ratio determined in advance according to the driving lane. Determine whether or not it is detected. According to the determination result, the lane correction unit 115 may finally correct the lane by removing the lane when there is an unnecessary lane or by creating a new lane when there is no lane at a position where the lane should be. Of course, when the lane is corrected, the lane information grasp unit 130 may re-determine the total number of lanes and the driving lane information of the vehicle based on the corrected lane.

도 5a는 고속도로의 입출구에서 2개의 도로가 서로 만나는 지점에서 점선과 실선이 함께 그려진 이중 차선을 위에서 바라본 것을 예시한 도면이고, 도 5b는 주행중인 차량에 탑재된 카메라로 이중 차선을 바라본 영상을 예시한 도면이다.FIG. 5A is a diagram illustrating a view from above of a double lane drawn with a dotted line and a solid line at a point where two roads meet each other at the entrance and exit of a highway, and FIG. 5B is an example of an image viewing the double lane with a camera mounted on a driving vehicle. It is a drawing.

예를 들어, 도 5a에서처럼, 고속도로의 입출구에서 2개의 도로가 서로 만나는 지점에는 점선과 실선이 함께 그려진 이중 차선이 있을 수 있으며, 공사 현장에는 기존 차선이 미처 잘 지워지지 못해서 기존 차선과 임시 차선이 동시에 존재할 수 있다. 이러한 경우, 차선 인식부(110)는 촬영 이미지에서 보여지는 모든 차선을 인식하게 되므로, 산출된 차로 간의 간격의 비율값은 미리 저장되어 있는 차로 간의 간격 비율값과 비교할 때 비율 변화량의 비교한계값을 초과하여 많은 차이가 나게 된다. 이때, 이중 차선 중의 어느 한 차선이나 미처 지워지지 못한 희미한 차선이 제거되면, 나머지 차로 간의 간격의 비율은 미리 저장되어 있는 차로 간의 간격 비율값과 비교하여 그 간격 비율의 변화량이 비교한계값 미만을 유지할 수 있다. For example, as shown in FIG. 5A, at a point where two roads meet each other at the entrance and exit of a highway, there may be a double lane drawn with a dotted line and a solid line, and the existing lane and the temporary lane cannot be erased at the construction site at the same time. Can exist. In this case, since the lane recognition unit 110 recognizes all lanes shown in the captured image, the calculated ratio value of the distance between lanes is a comparison limit value of the amount of change in the ratio when compared with the previously stored ratio value of the distance between lanes. Excessively, there will be a lot of difference. At this time, if any one of the double lanes or a faint lane that has not yet been cleared is removed, the ratio of the gap between the remaining lanes is compared with the pre-stored gap ratio value, and the change in the gap ratio can be maintained below the comparison limit. have.

따라서, 실제 촬영 이미지로부터 산출된 차로 간의 간격 비율이 미리 저장되어 있는 차로 간의 간격 비율과 비교하여 비교한계값을 초과하는 간격이 좁은 차로가 검출되면, 차로 보정부(125)는 상대적으로 간격이 좁은 차로에서 어느 하나의 차선을 제거한다. 이때, 차로 보정부(125)는 산출된 차로 간의 간격 비율이 미리 저장되어 있는 차로의 간격 비율과 비숫해지도록 불필요한 차선을 적절하게 제거할 수 있다.Therefore, when a lane with a narrow interval exceeding the comparison limit value is detected by comparing the ratio of the interval between lanes calculated from the actual photographed image with the interval ratio between lanes previously stored, the lane correction unit 125 Remove any lane from the lane. In this case, the lane correction unit 125 may appropriately remove unnecessary lanes so that the calculated interval ratio between lanes is similar to the previously stored interval ratio of lanes.

도 5b에서, 점선 차선(A)과 실선 차선(B)이 인식되면, 소실점(V), 점선 차선(A)에 의한 가상선(X1, X2, X3, X5), 및 실선 차선(B)에 의한 가상선(X4)이 검출될 수 있다.In FIG. 5B, when the dotted lane A and the solid lane B are recognized, the vanishing point V, the virtual lines X1, X2, X3, X5 by the dotted lane A, and the solid lane B An imaginary line X4 may be detected.

차로 보정부(125)는 가상기준선(1500)에서의 차선 간의 간격인 T1, T2, T3, T4의 비율을 산출하고, T3가 다른 간격들(T1, T2, T4)보다 현저히 작아 차로의 간격비의 변화량이 비교한계값을 초과하는 것임을 파악할 수 있다. 결국, 차로 보정부(125)는 차로 간의 간격 비율의 변화량이 비교한계값을 초과하지 않도록 불필요한 실선 차선(X4)을 제거하여 차로를 보정한다.The lane correction unit 125 calculates the ratio of the intervals T1, T2, T3, and T4 between lanes in the virtual reference line 1500, and T3 is significantly smaller than the other intervals (T1, T2, T4). It can be seen that the amount of change in is exceeding the comparison limit value. As a result, the lane correction unit 125 corrects the lane by removing unnecessary solid lane lanes X4 so that the variation in the ratio of the interval between lanes does not exceed the comparison limit value.

그리고 나면, 차로정보 파악부(130)는 보정된 차로를 기반으로 최종적으로 전체 차로수 및 주행 차로정보를 재결정한다.Then, the lane information grasping unit 130 finally re-determines the total number of lanes and driving lane information based on the corrected lane.

한편, 도면에 도시되지는 않았지만, 차선이 마모되거나 여러 가지 장애 상황으로 차선이 미처 인식되지 못하는 경우도 역시 발생할 수 있다. 차선이 인식되지 못한 경우, 차선이 인식되지 못한 차로는 차선이 인식된 차로 간의 간격보다 커지므로, 미리 저장된 차로의 간격 비율과 비교하여 그 비율의 변화량이 비교한계값을 초과하게 된다. Meanwhile, although not shown in the drawings, a case in which the lane is worn out or the lane is not recognized due to various obstacle situations may also occur. When the lane is not recognized, since the lane is greater than the distance between the recognized lanes in the lane where the lane is not recognized, the amount of change in the ratio is compared with the previously stored lane interval ratio and exceeds the comparison limit value.

그러한 경우, 차로 보정부(125)는 비교한계값을 초과한 간격이 넓은 차로에 새로운 신규 차선을 생성하고, 그에 따라 차로를 보정할 수 있다. 이때, 차로 보정부(125)는 생성된 신규 차선에 따른 차로 간의 간격 비율이 미리 저장된 차로의 간격 비율과 비교하여 그 변화량이 비교한계값을 초과하지 않도록 적절한 개수의 신규 차선을 생성할 수 있다.In such a case, the lane correction unit 125 may generate a new lane in a lane having a wide interval exceeding the comparison limit value, and correct the lane accordingly. In this case, the lane correction unit 125 may compare the gap ratio between lanes according to the generated new lane to the previously stored lane gap ratio and generate an appropriate number of new lanes so that the amount of change does not exceed the comparison limit value.

차로 보정부(125)가 불필요한 차선을 제거하거나 인식되지 않은 차선을 새로 생성하여 차로를 보정하면, 차로정보 파악부(130)는 보정된 차로를 기초로 다시 전체 차로수와 차량의 주행 차로정보를 재결정한다.When the lane correction unit 125 corrects the lane by removing unnecessary lanes or by creating a new lane that is not recognized, the lane information grasping unit 130 calculates the total number of lanes and the driving lane information of the vehicle again based on the corrected lane. Re-determine.

도 6a 및 6b는 카메라 배치에 따른 변화를 예시한 도면이다. 6A and 6B are diagrams illustrating changes according to camera arrangement.

일 예로 차량이 주행중인 도로의 차선의 수가 많아질 경우 카메라의 화각에 따라 좌측 혹은 우측 부분은 좁은 영역만 촬영이 되고 IPM을 적용하여 Top-View영상으로 변환을 해도 차선의 일부만 남게 되어 차선검출에 실패할 수 있다. 이러한 문제를 극복하기 위해 전방 카메라의 영상뿐만 아니라 후방, 좌측, 및 우측 카메라 중의 적어도 하나에 의한 영상도 함께 결합하여 차선을 인식함으로써, 전방 카메라 의 영상만 사용했을 때 좁은 화각으로 검출이 안 되는 좌우측 차선과 후방 차선까지도 안정적으로 검출할수 있다.For example, when the number of lanes on the road where the vehicle is driving increases, only a small area is photographed on the left or right depending on the angle of view of the camera, and even if converted into a Top-View image by applying IPM, only a part of the lane remains. It can fail. To overcome this problem, not only images from the front camera but also images from at least one of the rear, left, and right cameras are combined to recognize the lane, so that when only the image from the front camera is used, the left and right side cannot be detected with a narrow angle of view. Even the lane and the rear lane can be reliably detected.

도 6b는 차량의 전방, 후방, 좌측, 우측에 각각 탑재된 카메라로부터 촬영 이미지를 수신하여 차선을 인식한 경우를 도시한 것이다. 6B illustrates a case in which a lane is recognized by receiving a photographed image from a camera mounted on the front, rear, left and right sides of the vehicle.

차량이 좌측 끝 차선을 달릴 때 우측 끝 차선쪽은 전방 카메라나 후방 카메라의 화각에 한계가 있기 때문에 IPM을 적용하더라도 차로 인식에 실패할 확률이 여전히 존재한다. When a vehicle runs in the left-most lane, there is still a possibility of failing to recognize the lane even if IPM is applied because the angle of view of the front or rear camera is limited in the right-most lane.

뿐만 아니라 우측 끝 차선을 달릴 때도 좌측 끝 차선을 인식하는데도 어려움이 따른다. In addition, it is difficult to recognize the left-most lane even when driving in the right-most lane.

이때, 도 6b에서와 같이 차선 인식부(110)는 차로정보 파악부(130)에서 파악되는 차량의 주행 차로정보에 기반하여, 차량이 도로의 좌측이나 좌측 끝의 차로를 주행중이면 차량의 우측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지를 이용하여 차선 인식률을 개선시킬 수 있다. At this time, as shown in FIG. 6B, the lane recognition unit 110 is on the right side of the vehicle when the vehicle is driving on the left or left end of the road based on the driving lane information of the vehicle identified by the lane information identification unit 130. The lane recognition rate can be improved by using the photographed image of the road surface received from the mounted camera.

반면, 차량이 도로의 우측 차로나 우측 끝의 차로를 주행중이면 차량의 좌측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지를 이용하여 차선 인식률을 개선할 수 있다. On the other hand, when the vehicle is driving in a right lane or a lane at the right end of the road, the lane recognition rate may be improved using a photographed image of the road surface received from a camera mounted on the left side of the vehicle.

한편, 4방향의 카메라를 통한 영상을 모두 분석하고 차선을 인식함으로써 차선 인식률을 개선할 수도 있음은 물론이다.On the other hand, it goes without saying that it is possible to improve the lane recognition rate by analyzing all the images through the cameras in four directions and recognizing the lanes.

차선 인식부(110)가 4대의 카메라에서 촬영 이미지들을 수신하고, 이때 4대의 카메라에서 촬영된 노면의 촬영 이미지 중에서 서로 겹치는 영역이나 어떤 카메라에 의해서도 촬영되지 않는 음영 영역이 최소화되도록 차량 주변을 파악할 수 있게 구현될 수 있다. The lane recognition unit 110 receives photographed images from four cameras, and at this time, it is possible to identify the surroundings of the vehicle so that an area that overlaps each other or a shaded region that is not photographed by any camera among the photographed images of the road surface photographed by the four cameras is minimized. Can be implemented.

본 발명의 추가적인 양상에 있어서 일 실시예에 따른 노면 객체 인식 기반의 차로 검출 장치는 카메라에서 촬영된 노면의 촬영 이미지를 사용자 단말의 어플리케이션을 통해 제공해줄 수 있다. 사용자는 자신이 소지하는 사용자 단말을 통해 자신의 차량이 주변 차선 인식을위해 이용하는 촬영 이미지들을 확인하는 것이 가능하다. 이때 사용자 단말에 표시되는 화면은 도 6e에서와 같이 차량의 상부에서 아래를 내려다보도록 생성된 영상으로 제공된다. In an additional aspect of the present invention, the apparatus for detecting a road surface based on road surface object recognition according to an embodiment may provide a photographed image of a road surface captured by a camera through an application of the user terminal. The user can check the photographed images that his vehicle uses to recognize the surrounding lanes through the user terminal he or she possesses. At this time, the screen displayed on the user terminal is provided as an image generated to look down from the top of the vehicle as shown in FIG. 6E.

차량의 전방, 후방, 좌우 양 측면에 탑재되는 카메라로 촬영된 촬영 이미지를 이용하여 차량의 상부에서 아래를 내려다보도록 영상을 생성하는 것은 차로 검출 장치에서 변환하여 차량의 상부에서 아래를 내려다보도록 생성된 영상을 사용자 단말로 제공하거나, 사용자 단말에서 차량의 전방, 후방, 양 측면에 탑재되는 카메라로 촬영된 촬영 이미지를 수신하여 차량의 상부에서 아래를 내려다보도록 영상을 생성하는 방식 모두 가능하다. Generating an image to look down from the top of the vehicle using a photographed image taken with a camera mounted on the front, rear, and left and right sides of the vehicle is converted by the lane detection device and created to look down from the top of the vehicle. It is possible to provide an image to a user terminal, or to generate an image to look down from the top of the vehicle by receiving a photographed image taken by a camera mounted on the front, rear, or both sides of the vehicle from the user terminal.

이에 따라 차량 운전자는 자신이 소지하는 사용자 단말기를 이용하여 현재 차량이 주행하고 있는 도로의 전체 차로정보와 차량이 주행하고 있는 차로의 정보를 가시적인 데이터로 손쉽게 확인가능하다. Accordingly, the vehicle driver can easily check information on the entire lane of the road on which the vehicle is currently running and information on the lane on which the vehicle is running, as visible data by using the user terminal in his/her possession.

또한 사용자가 손쉽게 수시로 차량 주변의 노면 촬영 이미지를 확인하는 것이 가능하여 전방, 후방, 좌측, 우측에 탑재된 노면 촬영을 위한 카메라들의 촬영 화각이 틀어진 경우에 보완하거나, 카메라의 동작여부를 확인하는 것이 가능하여 카메라들의 유지 보수를 용이하게 할수 있는 효과가 도출된다. In addition, it is possible for the user to easily check the image of the road surface around the vehicle from time to time, so it is better to supplement when the angle of view of the cameras for photographing the road surface mounted on the front, rear, left, and right is wrong, or to check the operation of the camera. It is possible, resulting in an effect that can facilitate maintenance of the cameras.

아울러, 전후좌우 4방향의 카메라로 촬영된 노면의 촬영 이미지를 사용자 단말에서 확인 가능하게 제공함으로써 현재 차량의 전방이나 후방에 설치되는 카메라에 의해 기록되는 차량 블랙박스 영상보다 차량의 주행 상황을 더 정확하게 파악할 수 있는 근거 자료로 활용되는 것도 가능하다. In addition, by providing the photographed image of the road surface taken with the front, rear, left and right cameras so that the user terminal can check it, the driving situation of the vehicle is more accurately recorded than the vehicle black box image recorded by the camera installed in the front or rear of the current vehicle. It can also be used as evidence that can be grasped.

전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The above-described method may be implemented as an application or in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, and the like alone or in combination.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded in the computer-readable recording medium may be specially designed and constructed for the present invention, and may be known and usable to those skilled in the computer software field.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks. media), and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the processing according to the present invention, and vice versa.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to embodiments, those skilled in the art will understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention described in the following claims. I will be able to.

10 : 차로 검출 장치 100 : 이미지 수신부
110 : 차선 인식부 120 : 차로 검출부
125 : 차로 보정부 130 : 차로정보 파악부
140 : 장애상황 검출부10: lane detection device 100: image receiving unit
110: lane recognition unit 120: lane detection unit
125: lane correction unit 130: lane information grasp unit
140: failure situation detection unit

Claims (10)

차량에 탑재되는 카메라로부터 획득되는 촬영 이미지에 기반하여 노면의 객체를 인식하는 차로 검출 장치에서 수행되는 차로 검출 방법에 있어서,
(a) 이미지 수신부가 차량에 탑재되는 카메라로부터 노면의 촬영 이미지를 수신하는 단계;
(b) 차선 인식부가 상기 노면의 촬영 이미지에 영상처리 기법을 적용하여 상기 차량이 주행하는 도로의 차선을 인식하는 단계;
(c) 차로 검출부가 상기 인식된 차선에 기반하여 차로를 검출하는 단계; 및
(d) 차로정보 파악부가 상기 검출된 차로에 기반하여 상기 차량이 주행중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악하는 단계를 포함하되,
상기 (d) 단계 이전에,
상기 노면의 촬영 이미지로부터 주행중인 차로의 간격과 주변 차로의 간격의 비율의 변화량이 비교한계값을 초과하면 상기 인식된 차선에서 불필요한 차선을 제거하거나 인식되지 않은 차선을 생성하는 단계를 더 포함하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 방법.
In a lane detection method performed in a lane detection apparatus for recognizing an object on a road surface based on a photographed image acquired from a camera mounted on a vehicle, the method comprising:
(a) receiving, by the image receiving unit, a photographed image of the road surface from a camera mounted on the vehicle;
(b) recognizing a lane of a road on which the vehicle is traveling by applying an image processing technique to the photographed image of the road surface by a lane recognition unit;
(c) detecting a lane based on the recognized lane by a lane detection unit; And
(d) including the step of determining, by a lane information grasping unit, information on the total number of lanes of the road on which the vehicle is running and information on the driving lane of the vehicle based on the detected lane,
Before step (d),
Further comprising the step of removing unnecessary lanes from the recognized lanes or generating unrecognized lanes when a change in the ratio of the distance between the driving lane and the distance between the surrounding lanes from the photographed image of the road surface exceeds the comparison limit value. A lane detection method based on road surface object recognition, characterized by.
 삭제delete 제 1 항에 있어서, 상기 (b) 단계는,
차량의 전방, 후방, 좌측, 및 우측에 탑재되는 카메라 중의 적어도 하나로부터 수신되는 노면의 촬영 이미지를 이용해 차선을 인식하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 방법.
The method of claim 1, wherein step (b),
A lane detection method based on road surface object recognition, characterized in that a lane is recognized using a photographed image of a road surface received from at least one of a camera mounted on a front, rear, left, and right side of a vehicle.
 제 1 항에 있어서, 상기 방법은,
상기 노면의 촬영 이미지에 기반하여 다른 차량 존재 여부, 노면표시, 도로 외곽의 물체 존재 여부, 터널이나 일출·일몰에 따른 역광 발생, 우천시 노면의 반사광, 야간 시간의 낮은 조도, 도로의 장애물, 마모된 차선, 미처 지워지지 못한 차선, 및 도로공사 등으로 인한 임시 차선 중 적어도 하나에 해당하는 차선 인식을 방해하는 장애상황의 발생 여부를 검출하는 단계를 더 포함하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 방법.
The method of claim 1, wherein the method comprises:
Based on the photographed image of the road surface, the presence of other vehicles, road surface indication, presence of objects outside the road, backlight generation due to tunnels or sunrise/sunset, reflected light from the road surface in rainy weather, low illumination at night time, obstacles on the road, worn out Road detection based on road surface object recognition, characterized in that it further comprises the step of detecting whether or not an obstacle situation hindering recognition of a lane corresponding to at least one of a lane, a lane that has not been cleared, and a temporary lane due to road construction, etc. Way.
 제 3 항에 있어서, 상기 방법은,
차량의 전방, 후방, 좌측, 및 우측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지를 이용해 하늘에서 아래를 내려다보는 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 방법.
The method of claim 3, wherein the method comprises:
A method for detecting a road based on road surface object recognition, further comprising the step of generating an image looking down from the sky using a photographed image of the road surface received from a camera mounted on the front, rear, left, and right of the vehicle. .
 차량에 탑재되는 카메라로부터 노면의 촬영 이미지를 수신하는 이미지 수신부;
상기 노면의 촬영 이미지에 영상처리 기법을 적용하여 상기 차량이 주행하는 도로의 차선을 인식하는 차선 인식부;
상기 인식된 차선에 기반하여 차로를 검출하는 차로 검출부;
상기 노면의 촬영 이미지로부터 주행중인 차로의 간격과 주변 차로의 간격의 비율의 변화량이 비교한계값을 초과하면 상기 인식된 차선에서 불필요한 차선을 제거하거나 인식되지 않은 차선을 생성하는 차로 보정부; 및
상기 검출된 차로에 기반하여 상기 차량이 주행중인 도로의 전체 차로수 및 차량의 주행 차로정보를 파악하는 차로정보 파악부를 포함하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 장치.
An image receiving unit for receiving a photographed image of the road surface from a camera mounted on the vehicle;
A lane recognition unit for recognizing a lane of a road on which the vehicle travels by applying an image processing technique to the photographed image of the road surface;
A lane detection unit that detects a lane based on the recognized lane;
A lane correction unit configured to remove unnecessary lanes from the recognized lanes or generate unrecognized lanes when a change in the ratio of the distance between the driving lane and the surrounding lanes from the photographed image of the road surface exceeds a comparison limit value; And
And a lane information grasping unit configured to determine the total number of lanes of the road on which the vehicle is running and information on the driving lane of the vehicle based on the detected lane.
 삭제delete 제 6 항에 있어서, 상기 차선 인식부는,
차량의 전방, 후방, 좌측, 및 우측에 탑재되는 카메라 중의 적어도 하나로부터 수신되는 노면의 촬영 이미지를 이용해 차선을 인식하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 장치.
The method of claim 6, wherein the lane recognition unit,
A lane detection device based on road surface object recognition, characterized in that a lane is recognized using a photographed image of a road surface received from at least one of a camera mounted in front, rear, left, and right of a vehicle.
 제 6 항에 있어서, 상기 장치는,
상기 노면의 촬영 이미지에 기반하여 다른 차량 존재 여부, 노면표시, 도로 외곽의 물체 존재 여부, 터널이나 일출·일몰에 따른 역광 발생, 우천시 노면의 반사광, 야간 시간의 낮은 조도, 도로의 장애물, 마모된 차선, 미처 지워지지 못한 차선, 및 도로공사 등으로 인한 임시 차선 중 적어도 하나에 해당하는 차선 인식을 방해하는 장애상황의 발생 여부를 검출하는 장애상황 검출부를 더 포함하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 장치.
The method of claim 6, wherein the device,
Based on the photographed image of the road surface, the presence of other vehicles, road surface indication, presence of objects outside the road, backlight generation due to tunnels or sunrise/sunset, reflected light from the road surface in rainy weather, low illumination at night time, obstacles on the road, worn out Road surface object recognition-based, characterized in that it further comprises a failure situation detection unit that detects whether a failure situation that hinders recognition of a lane corresponding to at least one of a lane, a lane that has not been erased, and a temporary lane due to road construction, etc. Lane detection device.
 제 8 항에 있어서, 상기 장치는,
차량의 전방, 후방, 좌측, 및 우측에 탑재되는 카메라로부터 수신되는 노면의 촬영 이미지를 이용해 하늘에서 아래를 내려다보는 영상을 생성하는 것을 특징으로 하는 노면 객체 인식 기반의 차로 검출 장치.The method of claim 8, wherein the device,
A road detection device based on road surface object recognition, characterized in that it generates an image looking down from the sky using a photographed image of a road surface received from a camera mounted in front, rear, left and right of a vehicle.
KR1020190112765A 2019-09-11 2019-09-11 Apparatus and Method for detecting traffic path based on road object recognition KR102250800B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190112765A KR102250800B1 (en) 2019-09-11 2019-09-11 Apparatus and Method for detecting traffic path based on road object recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190112765A KR102250800B1 (en) 2019-09-11 2019-09-11 Apparatus and Method for detecting traffic path based on road object recognition

Publications (2)

Publication Number Publication Date
KR20210031163A KR20210031163A (en) 2021-03-19
KR102250800B1 true KR102250800B1 (en) 2021-05-11

Family

ID=75262001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190112765A KR102250800B1 (en) 2019-09-11 2019-09-11 Apparatus and Method for detecting traffic path based on road object recognition

Country Status (1)

Country Link
KR (1) KR102250800B1 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3556766B2 (en) * 1996-05-28 2004-08-25 松下電器産業株式会社 Road white line detector
KR100588563B1 (en) * 2004-04-19 2006-06-14 현대자동차주식회사 Method for a traffic line recognition of using image on vehicle
WO2011064825A1 (en) * 2009-11-27 2011-06-03 トヨタ自動車株式会社 Drive assistance device and drive assistance method
KR20140006463A (en) 2012-07-05 2014-01-16 현대모비스 주식회사 Method and apparatus for recognizing lane
KR101986166B1 (en) 2012-08-09 2019-06-07 현대모비스 주식회사 Lane Recognition Apparatus and Method
KR20150066863A (en) * 2013-12-09 2015-06-17 현대자동차주식회사 Route Guidance Apparatus recognizing Driving Lane and method thereof
KR101605514B1 (en) * 2014-02-28 2016-04-01 주식회사 코아로직 Apparatus and method for recognizing lane

Also Published As

Publication number Publication date
KR20210031163A (en) 2021-03-19

Similar Documents

Publication Publication Date Title
US10643475B2 (en) Lane departure warning device and method
US9713983B2 (en) Lane boundary line recognition apparatus and program for recognizing lane boundary line on roadway
US9460352B2 (en) Lane boundary line recognition device
JP4321821B2 (en) Image recognition apparatus and image recognition method
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
US9740942B2 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
EP3179270A1 (en) Lane extension of lane-keeping system by ranging-sensor for automated vehicle
EP2605185B1 (en) Detection of obstacles at night by analysis of shadows
US9257045B2 (en) Method for detecting a traffic lane by means of a camera
JP5157067B2 (en) Automatic travel map creation device and automatic travel device.
JP6416293B2 (en) Method of tracking a target vehicle approaching a car by a car camera system, a camera system, and a car
US20090192686A1 (en) Method and Driver Assistance System for Sensor-Based Drive-Off Control of a Motor Vehicle
CN107389084B (en) Driving path planning method and storage medium
KR101103526B1 (en) Collision Avoidance Method Using Stereo Camera
KR101240499B1 (en) Device and method for real time lane recogniton and car detection
US20170300764A1 (en) Travel Route Recognition Device, and Travel Assistance System Using Same
JP2008123462A (en) Object detector
US20210070288A1 (en) Driving assistance device
EP3530521B1 (en) Driver assistance method and apparatus
JP6129268B2 (en) Vehicle driving support system and driving support method
US10846546B2 (en) Traffic signal recognition device
CN112455430A (en) Method for detecting inclined parking spaces without parking space lines, parking method and parking system
JP5077088B2 (en) Image processing apparatus and image processing method
JP2008165326A (en) Feature recognition device, own vehicle location recognizing device, navigation device and feature recognition method
JP2005202787A (en) Display device for vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant