KR102671285B1 - 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법 - Google Patents

가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법 Download PDF

Info

Publication number
KR102671285B1
KR102671285B1 KR1020230163025A KR20230163025A KR102671285B1 KR 102671285 B1 KR102671285 B1 KR 102671285B1 KR 1020230163025 A KR1020230163025 A KR 1020230163025A KR 20230163025 A KR20230163025 A KR 20230163025A KR 102671285 B1 KR102671285 B1 KR 102671285B1
Authority
KR
South Korea
Prior art keywords
image
lane
view image
avm
vehicle
Prior art date
Application number
KR1020230163025A
Other languages
English (en)
Inventor
서정구
김진성
김지형
이현성
박종철
박대혁
현영진
Original Assignee
(주)에스유엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에스유엠 filed Critical (주)에스유엠
Priority to KR1020230163025A priority Critical patent/KR102671285B1/ko
Application granted granted Critical
Publication of KR102671285B1 publication Critical patent/KR102671285B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • Z03V10/10—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 내용은 AVM 영상을 기반으로 차량의 차선인식을 위한 시스템에 관한 것으로서, 실시예에 따른 AVM 영상 차선인지 시스템은 차량의 AVM 시스템으로부터 제1 탑뷰 영상을 수집하는 AVM영상취득부, 상기 제1 탑뷰 영상을 좌표변환 행렬을 이용하여 가상의 전방 영상을 생성하는 가상시점변환부, 상기 가상의 전방 영상을 기반으로 딥러닝 알고리즘에 의해 차량 주위의 차선을 인지하는 차선인지부, 상기 차선인지부에서 차량 주위의 상기 차선을 인지한 후 상기 가상의 전방 영상을 차선 정보를 포함하여 상기 좌표변환 행렬의 역변환 행렬을 이용하여 제2 탑뷰 영상을 생성하는 AVM영상복원부, 상기 제2 탑뷰 영상 내에서 상기 제1 탑뷰 영상의 범위 바깥의 오인지된 차선정보를 삭제하여 제3 탑뷰 영상을 생성하는 차선정보필터부, 및 상기 제3 탑뷰 영상을 기반으로 시점 변환으로 불균등하게 생성된 차선 정보를 보간하여 차선 간격을 조절함으로써 제4 탑뷰 영상을 생성하는 차선정보보간부를 포함한다.

Description

가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법{System of Recognizing Drive Lane in AVM(Around View Monitor) Image based on Virtual View-Point Conversion and Its Method}
개시된 내용은 차량의 차선인식을 위한 시스템 및 방법에 관한 것으로서, 더욱 구체적으로는 AVM 영상을 기반으로 차량의 차선인지를 위한 시스템 및 방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
차량의 주행 보조 시스템으로서 차량의 주행 차선을 이탈하는 경우 운전자에게 경고하여, 주행 차선 이탈로 발생할 수 있는 사고를 미연에 방지하여 줄 수 있는 차선이탈 경보 시스템이 제공되고 있다. 또 다른 차량의 주행 보조 시스템으로서 차량이 주행 차선을 이탈하는 경우 경고뿐만 아니라 핸들을 자동으로 조정하여 차량이 주행 차선을 유지하도록 하는 차선유지 시스템이 제공되고 있다.
전술한 차량의 주행 보조 시스템을 위해서는 차량 주위의 차선을 정확하게 인지하는 기술이 매우 중요하다. 차량의 AVM(Around View Monitor) 시스템으로부터 탑뷰(Top View) 영상을 획득할 수 있는데, 도 1의 예시에서 알 수 있는 바와 같이, 탑뷰 영상을 기반으로 Edge 정보를 추출한 후, 차선 검출을 위한 템플릿(Template)을 이용하여 차선을 인지할 수 있다. 그러나, 전술한 기술을 이용하여 차량 주위의 차선을 인지할 경우, 차량 자체 또는 주변 물체에 의한 그림자로 인해 차선을 인지할 수 없는 문제가 발생할 수 있다. 또한 도로의 연석과 같이 차선이 아닌 대상을 차선으로 인지하는 문제가 발생할 수 있다.
대한민국 공개특허 제10-2021-0132496호 (2021.11.04)와 대한민국 등록특허 제10-2395845호 (2022.05.03)에는 차량의 전면부의 카메라로부터 획득한 전방 영상을 기반으로 딥러닝을 통해 차량 주위의 차선을 인지하는 기술이 공지되어 있다. 이와 같이 차량의 전방 영상을 기반으로 딥러닝을 통해 차량 주위의 차선을 인지하는 기술은 많이 연구개발이 진행되고 있으나, 차량의 AVM 시스템으로부터 획득한 탑뷰 영상을 기반으로 딥러닝을 통해 차량 주위의 차선을 인지하는 기술은 연구개발이 진행되고 있지 않고 있다. 또한 새로이 탑뷰 영상을 기반으로 차량 주위의 차선을 인지하는 딥러닝 알고리즘을 개발하기 위해서는 많은 탑뷰 영상을 학습시키기 위해 많은 비용을 소요되는 문제가 있다.
1, 대한민국 공개특허 제10-2021-0132496호 (2021.11.04) 2. 대한민국 등록특허 제10-2395845호 (2022.05.03)
개시된 내용은 전술한 문제점을 해결하기 위해, 차량의 AVM 시스템으로부터 획득한 탑뷰 영상을 가상의 전방 영상으로 변환함으로써, 많이 연구 개발되고 있는 전방 영상을 기반으로 딥러닝을 통해 차량 주위의 차선을 인지하는 기술을 활용할 수 있어 적은 비용으로 탑뷰 영상을 기반으로 차량 주위의 차선을 인지할 수 있는 AVM 영상 차선인지 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 개시의 실시예에 따른 AVM 영상 차선인지 시스템은 차량의 AVM 시스템으로부터 제1 탑뷰 영상을 수집하는 AVM영상취득부, 상기 제1 탑뷰 영상을 좌표변환 행렬을 이용하여 가상의 전방 영상을 생성하는 가상시점변환부, 상기 가상의 전방 영상을 기반으로 딥러닝 알고리즘에 의해 차량 주위의 차선을 인지하는 차선인지부, 상기 차선인지부에서 차량 주위의 상기 차선을 인지한 후 상기 가상의 전방 영상을 차선 정보를 포함하여 상기 좌표변환 행렬의 역변환 행렬을 이용하여 제2 탑뷰 영상을 생성하는 AVM영상복원부, 상기 제2 탑뷰 영상 내에서 상기 제1 탑뷰 영상의 범위 바깥의 오인지된 차선정보를 삭제하여 제3 탑뷰 영상을 생성하는 차선정보필터부, 및 상기 제3 탑뷰 영상을 기반으로 시점 변환으로 불균등하게 생성된 차선 정보를 보간하여 차선 간격을 조절함으로써 제4 탑뷰 영상을 생성하는 차선정보보간부를 포함한다.
상기 가상시점변환부는 상기 제1 탑뷰 영상의 4개 모서리의 좌표 (0,0), (0, height), (width, height), (width, 0)를 얻고, 상기 4개 모서리의 좌표 각각에 대응하는 변환하고자 하는 가상의 전방 영상 내에서의 좌 좌표 (x0', y0', z1'), (x0', yheight', z1'), (xwidth', yheight', z1'), (xwidth', y0', z1')를 결정하고,
(수학식 1), (수학식 2),
(수학식 3), 및 (수학식 4)를 만족하는 3X3의 좌표변환 행렬 M를 구하며,
(수학식 5)
상기 제1 탑뷰 영상 내의 임의의 픽셀 (xi, yi)를 상기 가상의 전방 영상 내의 (xi', yi', zi')으로 상기 (수학식 5)에 의해 변환하는 것을 특징으로 한다.
본 개시의 실시예에 따른 AVM 영상 차선인지 시스템은 상기 제4 탑뷰 영상 내의 픽셀 단위 차선 정보를 실제 차선의 미터단위 차선 정보로 변환하는 차량좌표계변환부를 더 포함할 수 있다.
본 개시의 실시예에 따른 AVM 영상 차선인지 시스템 및 방법은 차량의 AVM 시스템으로부터 획득한 탑뷰 영상을 가상의 전방 영상으로 변환함으로써, 많이 연구 개발되고 있는 전방 영상을 기반으로 딥러닝을 통해 차량 주위의 차선을 인지하는 기술을 활용할 수 있어 적은 비용으로 탑뷰 영상을 기반으로 차량 주위의 차선을 인지할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 AVM 영상을 기반으로 차선을 인지할 경우 문제점.
도 2는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템의 구성도.
도 3은 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템의 가상의 전방 영상을 얻기 위한 좌표변환의 예시도.
도 4는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템의 가상의 전방 영상을 기반으로 차선인지 후 제2 탑뷰 영상을 얻기 위한 좌표변환의 역변환의 예시도.
도 5는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템의 차선인지 실시예.
도 6는 본 개시의 실시예에 따른 AVM 영상 차선인지 방법의 흐름도.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900) 및 방법에 대하여 도면을 참조하여 상세히 설명한다.
도 2는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900)의 구성도이고, 도 3은 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900)의 가상의 전방 영상을 얻기 위한 좌표변환의 예시도이며, 도 4는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900)의 가상의 전방 영상을 기반으로 차선인지 후 제2 탑뷰 영상을 얻기 위한 좌표변환의 역변환의 예시도이고, 도 5는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900)의 차선인지 실시예이다.
도 2의 예시에서 알 수 있는 바와 같이, 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900)은 AVM영상취득부(100), 가상시점변환부(200), 차선인지부(300), AVM영상복원부(400), 차선정보필터부(500), 및 차선정보보간부(600)를 포함한다. 본 개시의 AVM 영상 차선인지 시스템(900)은 CPU 및 플래시 메모리와 같은 메모리 장치를 포함하는 하나의 프로세서 보드이거나, 프로세서 보드의 집합일 수 있다. 또는 본 개시의 AVM 영상 차선인지 시스템(900)은 CPU 및 플래시 메모리와 같은 메모리 장치를 포함하는 하나의 컴퓨팅 장치이거나, 컴퓨팅 장치의 집합일 수 있다.
AVM영상취득부(100)는 차량의 AVM 시스템(10)으로부터 차량의 탑뷰 영상을 획득한다. AVM 시스템(10)이란 차량의 전/후/좌/우 4면에 달린 어안렌즈 카메라의 영상을 종합하여 차량 및 차량 주위를 하늘에서 내려다 본 것과 같은 탑뷰 영상을 제공하는 시스템이다. 차량의 AVM 시스템(10)으로부터 획득한 차량의 탑뷰 영상은 원본 영상에 해당하며, 본 명세서에서는 제1 탑뷰 영상이라 한다. 도 3에는 제1 탑뷰 영상의 예시가 보여진다.
가상시점변환부(200)는 제1 탑뷰 영상을 가상의 전방 영상으로 변환한다. 도 3의 예시에서 알 수 있는 바와 같이, 제1 탑뷰 영상을 가상의 전방 영상으로 변환하는 방법은 좌표변환 행렬 M을 이용하는 것이다. 제1 탑뷰 영상에서 관심영역을 설정한 후 관심영역의 좌측 하단 점 좌표 (0,0), 좌측 상단 점 좌표 (0, height), 우측 상단 점 좌표 (width, height), 및 우측 하단 점 좌표 (width, 0)을 얻는다. 변환하고자 하는 가상의 전방 영상 내에서의 좌표 (x0', y0', z1'), (x0', yheight', z1'), (xwidth', yheight', z1'), 및 (xwidth', y0', z1')를 결정한다. 여기서, x0', y0', z1', xwidth', 및 yheight'는 각각 제1 탑뷰 영상의 x=0, y=0, z=1, x=width 및 y=height인 값에 대응하는 가상의 전방 영상 내에서의 변환된 좌표 값에 해당된다. 즉, (x0', y0', z1'), (x0', yheight', z1'), (xwidth', yheight', z1'), 및 (xwidth', y0', z1')는 관심영역의 좌측 하단 점, 좌측 상단 점, 우측 상단 점, 및 우측 하단 점에 대응하는 가상의 전방 영상 내에서의 좌표에 해당된다.
좌표변환 행렬을 M이라 하면, 다음의 관계식들이 성립된다.
(수학식 1), (수학식 2),
(수학식 3), 및 (수학식 4)
전술한 (수학식 1), (수학식 2), (수학식 3) 및 (수학식 4)을 만족하는 3X3 행력 M을 구할 수 있다. 그리고, 제1 탑뷰 영상의 임의의 픽셀 (xi, yi)에 대응하는 가상의 전방 영상 내에서의 좌표 (xi', yi', zi')는 (수학식 5)에 의해 구할 수 있다.
(수학식 5)
전술한 방법에 의해 생성된 가상의 전방 영상의 예시는 도 3에서 보여진다.
차선인지부(300)는 가상의 전방 영상을 기반으로 딥러닝(Deep Learning) 알고리즘에 의해 차량 주위의 차선을 인지한다. 전술한 바와 같이, 차량의 전방 영상을 기반으로 딥러닝을 통해 차량 주위의 차선을 인지하는 기술은 현재 많은 연구가 진행되고 있다. 본 개시의 실시예로서 차선인지부(300)에서 딥러닝 알고리즘에 의해 차선을 인지하는 예시는 도 4에 보여진다.
딥러닝은 머신 러닝(Machine Learning)의 특정한 한 분야로서 인공 신경망(Artificial Neural Network)의 층을 연속적으로 깊게 쌓아 올려 데이터를 학습하는 방식을 말한다. 신경망은 상호 연결된 일련의 Nodes로 구성되며, 이는 뉴런을 나타낸다. 각 Nodes에는 가중치가 있으며, 가중치는 해당 노드가 네트워크의 출력에 얼마나 많은 영향을 미치는지를 결정하는 값이며, 가중치는 네트워크가 데이터를 학습하면서 시간이 지남에 따라 조정될 수 있다.
딥러닝의 계층은 다음의 그림과 같이 Input layer, Hidden layer, 및 Output layer로 구성된다. Input layer의 노드는 입력데이터를 받아들인다. Hidden layer의 노드는 학습 대상에 대한 특징을 추출한다. Hidden layer는 여러 개의 계층을 포함하며, 각 계층의 노드는 점점 더 높은 수준의 특징을 추출한다. Output layer의 노드는 특정 입력데이터를 학습 대상인지 여부를 출력한다.
그림. 딥러닝의 계층 구조
본 개시의 딥러닝 모델은 ANN(Artificial Neural Network), RNN (Recurrent Neural Network), CNN (Convolution Neural Network) 중 하나이거나, 이들의 조합일 수 있다. ANN은 입력과 출력 사이의 연결된 뉴런 계층으로 구성된 기본적인 인공 신경망으로 입력데이터에서 특징을 학습하고 이를 토대로 분류 등의 작업을 수행하며, 복잡한 비선형 관계를 학습할 수 있다. 입력데이터 간의 순서나 시간적 의존성을 고려하지 않기 때문에, 시계열 등의 데이터 처리에는 한계가 있다.
RNN은 자신의 이전 상태를 입력으로 받고 출력으로 내보내면서 구성되는 순환 구조를 갖는 신경망이다. 이전 시간 단계의 정보를 현재 시간 단계로 전달하여 과거의 정보를 활용할 수 있어, 시계열 데이터 등과 같이 입력 간 순서나 시간적 의존성이 반영되어야 하는 문제에 적합한 특성을 갖는다.
CNN은 입력 데이터에 대해 합성 커널(Convolutional Kernel)을 적용하여 이미지의 특징을 추출하고, 추출한 이미지의 특징은 다시 다중 신경망을 거쳐 요약 되어 출력으로 사용하는 신경망이다. 주로 이미지 처리에 사용되며, 합성곱과 풀링 등의 연산을 통해 공간적인 구조를 파악하고, 이미지의 특징을 활용하여 정확한 예측을 하는 특성을 갖는다.
AVM영상복원부(400)는 차선인지부(300)에서 인지한 차량 주위의 차선 정보를 포함하여 가상의 전방 영상을 좌표변환 행렬 M의 역변환 행렬 M-1을 이용하여 제2 탑뷰 영상을 생성한다. 여기서, 제2 탑뷰 영상이 제1 탑뷰 영상과 다른 점은 차량 주위의 차선 정보를 포함하고 있다는 점이다. 본 개시의 실시예로서 제2 탑뷰의 예시는 도 4에서 보여진다.
차선정보필터부(500)는 제2 탑뷰 영상 내에서 제1 탑뷰 영상의 범위 바깥의 오인지된 차선정보를 삭제하여 제3 탑뷰 영상을 생성한다. 차선정보필터부(500)의 오인지된 차선정보를 삭제하는 과정은 차량을 기준으로 일정 범위의 필터를 설정하고, 필터 외부의 차선으로 인지된 부분을 삭제함으로써 수행될 수 있다.
차선정보보간부(600)는 제3 탑뷰 영상 내에 생성된 차선 정보를 보간하여 차선 간격을 조절함으로써 제4 탑뷰 영상을 생성한다. 차선 정보를 보간한다는 것은 도로의 차선은 일정 간격을 가지고 있는데, 차선정보보간부(600)에는 도로의 차선 간격의 허용 범위가 설정될 수 있다. 제3 탑뷰 영상 내에 생성된 차선 정보가 기 설정된 허용범위를 벗어나는 경우, 차선 간격이 너무 좁으면 차선 간격을 넓히고, 간격이 너무 넓으면 차선 간격을 좁히는 등의 보충하거나 수정하는 것을 의미한다.
본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900)은 제4 탑뷰 영상 내의 픽셀 단위 차선 정보를 실제 차선의 미터단위 차선 정보로 변환하는 차량좌표계변환부(700)를 더 포함할 수 있다.
도 5는 본 개시의 실시예에 따른 AVM 영상 차선인지 시스템(900)을 통해 획득한 가상의 전방 영상의 예시, 가상의 전방 영상 내에서 딥러닝 알고리즘을 통해 차선을 인지한 결과의 예시, 제2 탑뷰 영상의 예시, 및 제2 탑뷰 영상 내의 차선 정보를 획득한 예시를 나타낸다.
도 6는 본 개시의 실시예에 따른 AVM 영상 차선인지 방법의 흐름도이다.
도 6의 예시에서 알 수 있는 바와 같이, 본 개시의 다른 실시 형태로서 AVM 영상 차선인지 방법은 (A) 차량의 AVM 시스템(10)으로부터 제1 탑뷰 영상을 수집하는 단계, (B) 상기 제1 탑뷰 영상을 좌표변환 행렬을 이용하여 가상의 전방 영상을 생성하는 단계, (C) 상기 가상의 전방 영상을 기반으로 딥러닝 알고리즘에 의해 차량 주위의 차선을 인지하는 단계, (D) 차량 주위의 상기 차선을 인지한 후 상기 가상의 전방 영상을 차선 정보를 포함하여 상기 좌표변환 행렬의 역변환 행렬을 이용하여 제2 탑뷰 영상을 생성하는 단계, (E) 상기 제2 탑뷰 영상 내의 상기 제1 탑뷰 영상의 범위 바깥의 오인지된 차선정보를 삭제하여 제3 탑뷰 영상을 생성하는 단계, 및 (F) 상기 제3 탑뷰 영상을 기반으로 시점 변환으로 불균등하게 생성된 차선 정보를 보간하여 차선 간격을 조절함으로써 제4 탑뷰 영상을 생성하는 단계를 포함한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
10: AVM 시스템
100: AVM영상취득부
200: 가상시점변환부
300: 차선인지부
400: AVM영상복원부
500: 차선정보필터부
600: 차선정보보간부
700: 차량좌표계변환부
900: AVM 영상 차선인지 시스템

Claims (4)

  1. 차량의 AVM 시스템으로부터 제1 탑뷰 영상을 수집하는 AVM영상취득부;
    상기 제1 탑뷰 영상을 좌표변환 행렬을 이용하여 가상의 전방 영상을 생성하는 가상시점변환부;
    상기 가상의 전방 영상을 기반으로 딥러닝 알고리즘에 의해 차량 주위의 차선을 인지하는 차선인지부;
    상기 차선인지부에서 차량 주위의 상기 차선을 인지한 후 상기 가상의 전방 영상을 차선 정보를 포함하여 상기 좌표변환 행렬의 역변환 행렬을 이용하여 제2 탑뷰 영상을 생성하는 AVM영상복원부;
    상기 제2 탑뷰 영상 내에서 상기 제1 탑뷰 영상의 범위 바깥의 오인지된 차선정보를 삭제하여 제3 탑뷰 영상을 생성하는 차선정보필터부; 및
    상기 제3 탑뷰 영상을 기반으로 시점 변환으로 불균등하게 생성된 차선 정보를 보간하여 차선 간격을 조절함으로써 제4 탑뷰 영상을 생성하는 차선정보보간부;를 포함하는 AVM 영상 차선인지 시스템에 있어서,
    상기 가상시점변환부는
    상기 제1 탑뷰 영상의 4개 모서리의 좌표 (0,0), (0, height), (width, height), (width, 0)를 얻고,
    상기 4개 모서리의 좌표 각각에 대응하는 변환하고자 하는 가상의 전방 영상 내에서의 좌표 (x0', y0', z1'), (x0', yheight', z1'), (xwidth', yheight', z1'), (xwidth', y0', z1')를 결정하고,
    (수학식 1), (수학식 2),
    (수학식 3), 및 (수학식 4)를 만족하는 3X3의 좌표변환 행렬 M를 구하며,
    (수학식 5)
    상기 제1 탑뷰 영상의 임의의 픽셀 (xi, yi)를 상기 가상의 전방 영상 내의 (xi', yi', zi')으로 상기 (수학식 5)에 의해 변환하는 것을 특징으로 하는 AVM 영상 차선인지 시스템.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제4 탑뷰 영상 내의 픽셀 단위 차선 정보를 실제 차선의 미터단위 차선 정보로 변환하는 차량좌표계변환부;를 더 포함하는 것을 특징으로 하는 AVM 영상 차선인지 시스템.
  4. (A) 차량의 AVM 시스템으로부터 제1 탑뷰 영상을 수집하는 단계;
    (B) 상기 제1 탑뷰 영상을 좌표변환 행렬을 이용하여 가상의 전방 영상을 생성하는 단계;
    (C) 상기 가상의 전방 영상을 기반으로 딥러닝 알고리즘에 의해 차량 주위의 차선을 인지하는 단계;
    (D) 차량 주위의 상기 차선을 인지한 후 상기 가상의 전방 영상을 차선 정보를 포함하여 상기 좌표변환 행렬의 역변환 행렬을 이용하여 제2 탑뷰 영상을 생성하는 단계;
    (E) 상기 제2 탑뷰 영상 내의 상기 제1 탑뷰 영상의 범위 바깥의 오인지된 차선정보를 삭제하여 제3 탑뷰 영상을 생성하는 단계; 및
    (F) 상기 제3 탑뷰 영상을 기반으로 시점 변환으로 불균등하게 생성된 차선 정보를 보간하여 차선 간격을 조절함으로써 제4 탑뷰 영상을 생성하는 단계;를 포함하는 AVM 영상 차선인지 방법에 있어서,
    상기 (B) 단계는
    (B1) 상기 제1 탑뷰 영상의 4개 모서리의 좌표 (0,0), (0, height), (width, height), (width, 0)를 얻는 단계;
    (B2) 상기 4개 모서리의 좌표 각각에 대응하는 변환하고자 하는 가상의 전방 영상 내에서의 좌표 (x0', y0', z1'), (x0', yheight', z1'), (xwidth', yheight', z1'), (xwidth', y0', z1')를 결정하는 단계;
    (B3) (수학식 1), (수학식 2),
    (수학식 3), 및 (수학식 4)를 만족하는 3X3의 좌표변환 행렬 M를 구하는 단계; 및
    (B4) (수학식 5)
    상기 제1 탑뷰 영상의 임의의 픽셀 (xi, yi)를 상기 가상의 전방 영상 내의 (xi', yi', zi')으로 상기 (수학식 5)에 의해 변환하는 단계;를 포함하는 AVM 영상 차선인지 방법.

KR1020230163025A 2023-11-22 2023-11-22 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법 KR102671285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230163025A KR102671285B1 (ko) 2023-11-22 2023-11-22 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230163025A KR102671285B1 (ko) 2023-11-22 2023-11-22 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102671285B1 true KR102671285B1 (ko) 2024-06-03

Family

ID=91496540

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230163025A KR102671285B1 (ko) 2023-11-22 2023-11-22 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102671285B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200000953A (ko) * 2018-06-26 2020-01-06 주식회사 수올리나 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
KR20210132496A (ko) 2020-04-27 2021-11-04 한국전자기술연구원 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치
KR102395845B1 (ko) 2020-12-02 2022-05-09 (주)베라시스 전방영상 기반 차선상태 검출방법
KR20230025550A (ko) * 2021-08-12 2023-02-22 주식회사 넥스트칩 오브젝트 검출 방법 및 그 방법을 수행하는 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200000953A (ko) * 2018-06-26 2020-01-06 주식회사 수올리나 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
KR20210132496A (ko) 2020-04-27 2021-11-04 한국전자기술연구원 영상 기반 차선 검출 및 주행 차로 인식 방법 및 장치
KR102395845B1 (ko) 2020-12-02 2022-05-09 (주)베라시스 전방영상 기반 차선상태 검출방법
KR20230025550A (ko) * 2021-08-12 2023-02-22 주식회사 넥스트칩 오브젝트 검출 방법 및 그 방법을 수행하는 전자 장치

Similar Documents

Publication Publication Date Title
Prabhakar et al. Obstacle detection and classification using deep learning for tracking in high-speed autonomous driving
US20230076266A1 (en) Data processing system, object detection method, and apparatus thereof
Budzan et al. Fusion of 3D laser scanner and depth images for obstacle recognition in mobile applications
CN107545263B (zh) 一种物体检测方法及装置
CN113111887A (zh) 一种基于相机和激光雷达信息融合的语义分割方法及***
WO2020237942A1 (zh) 一种行人3d位置的检测方法及装置、车载终端
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
TW201937405A (zh) 物件標示系統及方法
John et al. So-net: Joint semantic segmentation and obstacle detection using deep fusion of monocular camera and radar
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
Iloie et al. UV disparity based obstacle detection and pedestrian classification in urban traffic scenarios
Alkhorshid et al. Road detection through supervised classification
CN117975436A (zh) 基于多模态融合和可变形注意力的三维目标检测方法
Varagul et al. Simulation of detecting function object for AGV using computer vision with neural network
Dewangan et al. Lane detection for intelligent vehicle system using image processing techniques
Xiao et al. A real-time system for lane detection based on FPGA and DSP
Qiao et al. Vision-based vehicle detection and distance estimation
Wael A comprehensive vehicle-detection-and-tracking technique for autonomous driving
CN110197104B (zh) 基于车辆的测距方法及装置
Cela et al. Lanes detection based on unsupervised and adaptive classifier
Dev et al. Steering angle estimation for autonomous vehicle
KR102671285B1 (ko) 가상시점 변환 기반 AVM(Around View Monitor) 영상 차선인지 시스템 및 방법
Angonese et al. Multiple people detection and identification system integrated with a dynamic simultaneous localization and mapping system for an autonomous mobile robotic platform
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier
Punagin et al. Analysis of lane detection techniques on structured roads using OpenCV

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant