KR101213266B1 - 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템 - Google Patents

차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템 Download PDF

Info

Publication number
KR101213266B1
KR101213266B1 KR1020100100337A KR20100100337A KR101213266B1 KR 101213266 B1 KR101213266 B1 KR 101213266B1 KR 1020100100337 A KR1020100100337 A KR 1020100100337A KR 20100100337 A KR20100100337 A KR 20100100337A KR 101213266 B1 KR101213266 B1 KR 101213266B1
Authority
KR
South Korea
Prior art keywords
lane
information
recognition
recognition result
camera sensor
Prior art date
Application number
KR1020100100337A
Other languages
English (en)
Other versions
KR20120038728A (ko
Inventor
심상균
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020100100337A priority Critical patent/KR101213266B1/ko
Publication of KR20120038728A publication Critical patent/KR20120038728A/ko
Application granted granted Critical
Publication of KR101213266B1 publication Critical patent/KR101213266B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차선유지보조시스템에서 이용되는 카메라센서의 차선인식성능을 더욱 정확하고 세밀하게 평가할 수 있도록 해주는 카메라센서 인식성능 평가 시스템에 관한 것이다.

Description

차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템{SYSTEM FOR ESTIMATING RECOGNITION PERFORMANCE OF CAMERA SENSOR FOR LANE KEEPIN CONTROL}
본 발명은 차선유지보조시스템에서 이용되는 카메라센서의 차선인식성능을 더욱 정확하고 세밀하게 평가할 수 있도록 해주는 카메라센서 인식성능 평가 시스템에 관한 것이다.
카메라센서는 탑재된 차량의 주변을 촬영하고, 촬영결과 얻어진 영상데이터를 토대로 차선인식을 수행하고, 차선유지보조시스템은 카메라센서에 의한 차선인식결과를 이용하여 차량이 차선을 유지하여 주행할 수 있도록 하는 차선유지 제어 기능을 수행한다.
차선유지보조시스템의 차선유지 제어 성능은 카메라센서의 차선인식성능에 따라 큰 영향을 받게 된다. 따라서, 카메라센서의 차선인식 성능에 대한 보다 정확한 평가가 이루어질 필요가 있다.
이러한 배경에서, 본 발명의 목적은, 차선유지보조시스템에서 이용되는 카메라센서의 차선인식성능을 더욱 정확하고 세밀하게 평가할 수 있도록 해주는 데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 카메라센서로부터 복수의 영상프레임으로 이루어진 영상데이터를 입력받는 영상데이터 입력부; 상기 복수의 영상프레임 각각에 대하여, 차선유지보조시스템의 동작조건에 대한 만족여부정보, 차선신뢰도 정보, 차선측정정보 및 GPS정보 중 하나 이상을 포함하는 분류참고정보를 얻고, 상기 얻어진 분류참고정보에 근거하여 상기 복수의 영상프레임 각각에 대한 인식결과 분류정보를 결정하는 인식결과 분류부; 및 상기 복수의 영상프레임 각각에 대하여 결정된 인식결과 분류정보에 근거하여 상기 인식결과 분류정보의 종류별 영상프레임 개수를 파악하고, 상기 파악 결과를 토대로 시스템 이용률 및 차선 정상 인식률 중 하나 이상을 상기 카메라센서의 인식성능 평가 지표로서 산출하는 인식성능 평가 지표 산출부를 포함하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템을 제공한다.
다른 측면에서, 본 발명은, 인식결과 분류정보, 실제 차선 유무, 차선인식결과, 차선신뢰도 및 차선유지보조시스템 상태에 대한 정보를 대응시켜 카메라센서 인식결과 분류 테이블로 저장하는 데이터베이스; 카메라센서를 통해 획득되고 복수의 영상프레임을 포함한 영상데이터에 기반하여 인식된 차선인식결과를 차선인식모듈로부터 입력받는 차선인식결과 입력부; 및 상기 카메라센서 인식결과 분류 테이블을 참조하고 상기 입력받은 차선인식결과를 토대로 시스템 이용률 및 차선 정상 인식률 중 하나 이상을 상기 카메라센서의 인식성능 평가 지표로서 산출하는 인식성능 평가부를 포함하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 차선유지보조시스템에서 이용되는 카메라센서의 차선인식성능을 더욱 정확하고 세밀하게 평가할 수 있도록 해주는 효과가 있다.
도 1은 카메라센서를 이용해 차선을 인식하여 차선유지 제어 기능을 수행하는 차선유지보조시스템과, 카메라센서의 차선인식성능을 평가하는 카메라센서 인식성능 평가 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 카메라센서 인식성능 평가 시스템의 블록도이다.
도 3은 본 발명의 다른 실시예에 따른 카메라센서 인식성능 평가 시스템의 블록도이다.
도 4는 카메라센서 인식결과 분류 테이블을 예시적으로 나타낸 도면이다.
도 5는 카메라센서 인식결과 분류 방법에 대한 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 카메라센서(10)를 이용해 차선을 인식하여 차선유지 제어 기능을 수행하는 차선유지보조시스템(LKAS: Lane Keeping Assist System, 30)과, 카메라센서(10)의 차선인식성능을 평가하는 카메라센서 인식성능 평가 시스템(100)을 나타낸 도면이다.
도 1에 도시된 바와 같이, 카메라센서(10)는 차량의 주변을 촬영하고, 촬영결과 얻어진 영상데이터를 토대로 차선인식을 수행한다. 차선유지보조시스템(20)은 카메라센서(10)에 의한 차선인식결과(차선측정정보를 포함)를 이용하여 차량이 차선을 유지하여 주행할 수 있도록 하는 차선유지 제어 기능을 수행한다. 여기서, 차선유지보조시스템(20)은 조향장치(20)로 하여금 차량의 차선유지를 위한 조향 제어를 수행하도록 하는 차선유지 제어 기능을 수행한다.
차선유지보조시스템(20)의 차선유지 제어 성능은 카메라센서(10)의 차선인식성능에 따라 큰 영향을 받게 된다. 따라서, 카메라센서(10)의 차선인식 성능에 대한 보다 정확한 평가가 이루어질 필요가 있는 것이다.
이에 본 명세서에서는, 카메라센서 인식결과 분류 방법, 이를 이용하여 카메라센서(10)의 차선인식 성능을 평가하는 카메라센서 인식성능 평가 방법과 그 시스템(100)을 개시한다.
이하에서는, 카메라센서 인식성능 평가 시스템(100)에 대한 실시예들을 도 2 및 도 3을 참조하여 설명한다.
도 2는 본 발명의 일 실시예에 따른 카메라센서 인식성능 평가 시스템(100)의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 카메라센서 인식성능 평가 시스템(100)은, 카메라센서(10)로부터 복수의 영상프레임으로 이루어진 영상데이터를 입력받는 영상데이터 입력부(210)와, 영상데이터에 포함된 복수의 영상프레임 각각에 대하여, 차선유지보조시스템(20)의 동작조건에 대한 만족여부정보, 차선신뢰도 정보, 차선측정정보 및 GPS정보 등 중 하나 이상을 포함하는 분류참고정보를 얻고, 이렇게 얻어진 분류참고정보에 근거하여 복수의 영상프레임 각각에 대한 인식결과 분류정보를 결정하는 인식결과 분류부(220)와, 복수의 영상프레임 각각에 대하여 결정된 인식결과 분류정보에 근거하여 인식결과 분류정보의 종류별 영상프레임 개수를 파악하고, 파악 결과를 토대로 시스템 이용률 및 차선 정상 인식률 중 하나 이상을 카메라센서(10)의 인식성능 평가 지표로서 산출하는 인식성능 평가 지표 산출부(230) 등으로 포함한다.
인식결과 분류부(220)는, 차선유지보조시스템(10)의 동작조건(예: 차량속도>일정속도) 만족여부를 확인하고(카메라센서 인식결과 분류 방법을 도시한 도 5의 S500), 불만족한 경우에는 해당 영상프레임에 대한 인식결과 분류정보를 참-음성(TN: True Negative)으로 결정한다.
인식결과 분류부(220)는, 차선유지보조시스템(10)의 동작조건(예: 차량속도>일정속도) 만족여부를 확인하고(도 5의 S500), 만족한 경우에는, 차선신뢰도를 차선인식모듈로부터 얻어서 확인한다(도 5의 S502). 여기서, 차선신뢰도는, 일 예로서, 0(가장 낮은 차선신뢰도), 1, 2, 3(가장 높은 차선신뢰도)의 레벨로 분류될 수 있다.
인식결과 분류부(220)는, 차선신뢰도를 확인한 결과, 확인된 차선신뢰도 정보가 일정 레벨(예: 2) 이상이면, 차선측정정보를 획득하고(S504) 이를 토대로 차선검증방법에 의한 인식결과 분류(S506)를 수행하여 해당 영상프레임에 대한 인식결과 분류정보를 참-양성(TP: True Positive) 및 거짓-양성(FP: False Positive) 중 하나로 결정한다.
인식결과 분류부(220)는, 차선신뢰도를 확인한 결과, 확인된 차선신뢰도 정보가 일정 레벨(예: 2) 미만이면, GPS정보에 의한 분류(S508)를 수행하여, GPS정보를 토대로 해당 영상프레임에 대한 인식결과 분류정보를 참-음성(TN: True Negative) 및 거짓-음성(FN: False Negative) 중 하나로 결정할 수 있다.
전술한 바에 따라, 인식결과 분류부(220)는, 복수의 영상프레임 각각에 대한 인식결과 분류정보를 참-양성(TP), 거짓-양성(FP), 참-음성(TN) 및 거짓-음성(FN) 중 하나로 결정할 수 있다.
전술한 인식결과 분류부(220)는, 차선신뢰도 정보가 일정 레벨 이상인 경우, 차선측정정보에 포함된 차선너비가 미리 설정된 기준 차선너비의 범위(예: 2.7~4.5m)에 포함되지 않으면 해당 영상프레임에 대한 인식결과 분류정보를 거짓-양성으로 결정하되, 거짓-양성(FP)을 더 세분화하여 결정할 수도 있다.
이를 위해, 전술한 인식결과 분류부(220)는, 차선측정정보에 포함된 차선너비가 기준 차선너비의 범위에 포함되지 않는 경우에는 실제 차선은 미인식하고 실제 차선 외부에서 차선 오인식을 한 "차선 외부 오인식"에 해당하는 제1거짓-양성으로 결정하고, 차선측정정보에 포함된 차선너비가 기준 차선너비의 범위 미만(예: 2.7m 미만)인 경우에는 실제 차선은 미인식하고 실제 차선 내부에서 차선 오인식을 한 "차선 내부 오인식"에 해당하는 제2거짓-양성으로 결정할 수 있다.
위에서 언급한 차선 외부 오인식은, 차선측정정보에 포함된 차선너비가 기준 차선너비의 범위를 초과(예: 4.5m 초과)하고 미리 설정된 평균 차선너비의 2배 이상이 되어 복수의 차선이 하나의 차선으로 오인식된 것과, 차선측정정보에 포함된 차선너비가 기준 차선너비의 범위를 초과하고 기준 차선너비의 범위에 속한 임의의 값과 특정 값(예: 1m)을 더한 값 이하가 되어 가드레일 또는 인도분리대 등이 포함되어 하나의 차선으로 오인식된 것을 포함할 수 있다.
또한, 전술한 인식결과 분류부(220)는, 차선신뢰도 정보가 일정 레벨 이상인 경우, 차선측정정보에 포함된 차선너비가 미리 설정된 기준 차선너비의 범위에 포함되지 않으면 해당 영상프레임에 대한 인식결과 분류정보를 거짓-양성으로 결정하되, 차선측정정보에 포함된 좌우차선의 헤딩 각도 오차가 미리 설정된 기준 헤딩 각도 오차 이상이거나, 차선측정정보에 포함된 좌우차선의 도로곡률 또는 도로곡률 오차가 미리 설정된 기준 도로곡률 또는 기준 도로곡률 오차 이상이면, 해당 영상프레임에 대한 인식결과 분류정보를 기타 오인식에 해당하는 거짓-양성으로 결정할 수도 있다.
한편, 전술한 인식결과 분류부(220)는, 차선신뢰도 정보가 상기 일정 레벨 미만인 경우, GPS정보를 토대로 해당 영상프레임에서 미리 설정된 비 차선 부분(예: 톨게이트, 교차로 등)이 있는 것으로 확인되면 해당 영상프레임에 대한 인식결과 분류정보를 상기 참-음성(TN: True Negative)으로 결정하고, GPS정보를 토대로 해당 영상프레임에서 미리 설정된 비 차선 부분이 있는 것으로 확인되지 않으면 사용자 분류 입력 정보를 토대로, 사용자의 눈으로 분류(S510)하여, 참-음성 및 거짓-음성 중 하나로 결정할 수 있다.
차선신뢰도가 0,1,2,3으로 분류된다는 가정하에, 도 4의 카메라센서 인식결과 분류 테이블(400)의 예시를 참조하면, 전술한 인식성능 평가 지표 산출부(230)는, 차선신뢰도가 2 및 3인 영상프레임의 개수를 전체 영상프레임의 개수로 나누어 시스템 이용률을 산출할 수 있다. 즉, 인식성능 평가 지표 산출부(230)는, 참-양성 및 거짓-양성으로 인식결과 분류정보가 결정된 영상프레임의 개수를 영상데이터에 포함된 영상프레임의 전체 개수로 나눈 값을 시스템 이용률로 산출할 수 있다.
차선신뢰도가 0,1,2,3으로 분류된다는 가정하에, 도 4의 카메라센서 인식결과 분류 테이블(400)의 예시를 참조하면, 전술한 인식성능 평가 지표 산출부(230)는, 차선신뢰도가 2 및 3이고 정상 인식된 영상프레임의 개수를 차선신뢰도가 2 및 3이고 정상 인식된 영상프레임의 개수와 차선신뢰도가 0 및 1이면서 미 인식된 영상프레임의 개수의 합으로 나누어 차선 정상 인식률을 산출할 수 있다. 즉, 인식성능 평가 지표 산출부(230)는, 참-양성으로 인식결과 분류정보가 결정된 영상프레임의 개수를 참-양성 및 거짓-음성으로 인식결과가 분류정보가 결정된 영상프레임의 개수로 나눈 값을 차선 정상 인식률로 산출할 수 있다.
위에서 언급한 차선유지보조시스템(20)의 동작조건은, 일 예로서, 차량속도가 일정 속도 이상이라는 조건일 수 있다.
도 3은 본 발명의 다른 실시예에 따른 카메라센서 인식성능 평가 시스템(100)의 블록도이다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 카메라센서 인식성능 평가 시스템(100)은, 인식결과 분류정보(예: TP, FP1, FP2, FP3, TN, FN 등), 실제 차선 유무, 차선인식결과(예: 정상 인식, 차선 외부 오인식, 차선 내부 오인식, 미인식, 정상 미인식, 오인식 등), 차선신뢰도(예: 0, 1, 2, 3 등) 및 차선유지보조시스템 상태(예: 정상 작동, 미작동, 오작동 등)에 대한 정보를 대응시켜 카메라센서 인식결과 분류 테이블(도 4의 400)로 저장하는 데이터베이스(310)와, 카메라센서(10)를 통해 획득되고 복수의 영상프레임을 포함한 영상데이터에 기반하여 인식된 차선인식결과를 차선인식모듈(카메라센서(10)의 내부 또는 차선유지보조시스템(20)의 내부에 있을 수 있음)로부터 입력받는 차선인식결과 입력부(320)와, 카메라센서 인식결과 분류 테이블(도 4의 400)을 참조하고 입력받은 차선인식결과를 토대로 시스템 이용률 및 차선 정상 인식률 중 하나 이상을 카메라센서(10)의 인식성능 평가 지표로서 산출하는 인식성능 평가부(330) 등을 포함한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 차선유지보조시스템에서 이용되는 카메라센서의 차선인식성능을 더욱 정확하고 세밀하게 평가할 수 있도록 해주는 효과가 있다.
또한, 본 발명에 의하면, 평가속도 및 객관성이 떨어지는 사람의 눈을 통한 차선인식결과 분류 방식은 거의 배제시키고, 시스템적으로 이루어지는 차선인식결과 분류 방식을 제공함으로써 보다 객관적이고 자동화에 된 차선인식결과 분류가 가능해지고, 이를 통해 보다 정확하고 세밀한 카메라센서 인식성능 평가를 할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 카메라센서로부터 복수의 영상프레임으로 이루어진 영상데이터를 입력받는 영상데이터 입력부;
    상기 복수의 영상프레임 각각에 대하여, 차선유지보조시스템의 동작조건에 대한 만족여부정보, 차선신뢰도 정보, 차선측정정보 및 GPS정보 중 하나 이상을 포함하는 분류참고정보를 얻고, 상기 얻어진 분류참고정보에 근거하여 상기 복수의 영상프레임 각각에 대한 인식결과 분류정보를 결정하는 인식결과 분류부; 및
    상기 복수의 영상프레임 각각에 대하여 결정된 인식결과 분류정보에 근거하여 상기 인식결과 분류정보의 종류별 영상프레임 개수를 파악하고, 상기 파악 결과를 토대로 시스템 이용률 및 차선 정상 인식률 중 하나 이상을 상기 카메라센서의 인식성능 평가 지표로서 산출하는 인식성능 평가 지표 산출부를 포함하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  2. 제1항에 있어서,
    상기 인식결과 분류부는,
    상기 차선유지보조시스템의 동작조건을 불만족한 경우에는,
    해당 영상프레임에 대한 인식결과 분류정보를 참-음성(TN: True Negative)으로 결정하고,
    상기 차선유지보조시스템의 동작조건을 만족한 경우에는,
    상기 차선신뢰도 정보가 일정 레벨 이상이면 상기 차선측정정보를 토대로 해당 영상프레임에 대한 인식결과 분류정보를 참-양성(TP: True Positive) 및 거짓-양성(FP: False Positive) 중 하나로 결정하고, 상기 차선신뢰도 정보가 상기 일정 레벨 미만이면 상기 GPS정보를 토대로 해당 영상프레임에 대한 인식결과 분류정보를 상기 참-음성(TN: True Negative) 및 거짓-음성(FN: False Negative) 중 하나로 결정함으로써,
    상기 복수의 영상프레임 각각에 대한 인식결과 분류정보를 결정하는 것을 특징으로 하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  3. 제2항에 있어서,
    상기 인식결과 분류부는,
    상기 차선신뢰도 정보가 일정 레벨 이상인 경우,
    상기 차선측정정보에 포함된 차선너비가 미리 설정된 기준 차선너비의 범위에 포함되지 않으면 해당 영상프레임에 대한 인식결과 분류정보를 상기 거짓-양성으로 결정하되,
    상기 차선측정정보에 포함된 상기 차선너비가 상기 기준 차선너비의 범위를 초과한 경우에는 차선 외부 오인식에 해당하는 제1거짓-양성으로 결정하고,
    상기 차선측정정보에 포함된 상기 차선너비가 상기 기준 차선너비의 범위 미만인 경우에는 차선 내부 오인식에 해당하는 제2거짓-양성으로 결정하는 것을 특징으로 하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  4. 제3항에 있어서,
    상기 차선 외부 오인식은,
    상기 차선측정정보에 포함된 상기 차선너비가, 상기 기준 차선너비의 범위를 초과하고, 미리 설정된 평균 차선너비의 2배 이상이 됨으로써, 복수의 차선이 하나의 차선으로 오인식된 것과,
    상기 차선측정정보에 포함된 상기 차선너비가, 상기 기준 차선너비의 범위를 초과하고, 상기 기준 차선너비의 범위에 속하는 값과 특정 값을 더한 값 이하가 됨으로써, 가드레일 또는 인도분리대가 포함되어 하나의 차선으로 오인식된 것을 포함하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  5. 제3항에 있어서,
    상기 인식결과 분류부는,
    상기 차선신뢰도 정보가 일정 레벨 이상인 경우,
    상기 차선측정정보에 포함된 차선너비가 상기 미리 설정된 기준 차선너비의 범위에 포함되지 않으면 해당 영상프레임에 대한 인식결과 분류정보를 상기 거짓-양성으로 결정하되,
    상기 차선측정정보에 포함된 좌우차선의 헤딩 각도 오차가 미리 설정된 기준 헤딩 각도 오차 이상이거나, 상기 차선측정정보에 포함된 좌우차선의 도로곡률 또는 도로곡률 오차가 미리 설정된 기준 도로곡률 또는 기준 도로곡률 오차 이상이면, 해당 영상프레임에 대한 인식결과 분류정보를 기타 오인식에 해당하는 상기 거짓-양성으로 결정하는 것을 특징으로 하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  6. 제2항에 있어서,
    상기 인식결과 분류부는,
    상기 차선신뢰도 정보가 상기 일정 레벨 미만인 경우,
    상기 GPS정보를 토대로 해당 영상프레임에서 미리 설정된 비 차선 부분이 있는 것으로 확인되면 해당 영상프레임에 대한 인식결과 분류정보를 상기 참-음성(TN: True Negative)으로 결정하고,
    상기 GPS정보를 토대로 해당 영상프레임에서 미리 설정된 비 차선 부분이 있는 것으로 확인되지 않으면 사용자 분류 입력 정보를 토대로 상기 참-음성 및 상기 거짓-음성 중 하나로 결정하는 것을 특징으로 하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  7. 제2항에 있어서,
    상기 인식성능 평가 지표 산출부는,
    상기 참-양성 및 상기 거짓-양성으로 인식결과 분류정보가 결정된 영상프레임의 개수를 상기 영상데이터에 포함된 영상프레임의 전체 개수로 나눈 값을 상기 시스템 이용률로 산출하고,
    상기 참-양성으로 인식결과 분류정보가 결정된 영상프레임의 개수를 상기 참-양성 및 상기 거짓-음성으로 인식결과가 분류정보가 결정된 영상프레임의 개수로 나눈 값을 상기 차선 정상 인식률로 산출하는 것을 특징으로 하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  8. 제1항에 있어서,
    상기 차선유지보조시스템의 동작조건은, 차량속도가 일정 속도 이상인 것을 특징으로 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
  9. 인식결과 분류정보, 실제 차선 유무, 차선인식결과, 차선신뢰도 및 차선유지보조시스템 상태에 대한 정보를 대응시켜 카메라센서 인식결과 분류 테이블로 저장하는 데이터베이스;
    카메라센서를 통해 획득되고 복수의 영상프레임을 포함한 영상데이터에 기반하여 인식된 차선인식결과를 차선인식모듈로부터 입력받는 차선인식결과 입력부; 및
    상기 카메라센서 인식결과 분류 테이블을 참조하고 상기 입력받은 차선인식결과를 토대로 시스템 이용률 및 차선 정상 인식률 중 하나 이상을 상기 카메라센서의 인식성능 평가 지표로서 산출하는 인식성능 평가부를 포함하는 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템.
KR1020100100337A 2010-10-14 2010-10-14 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템 KR101213266B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100100337A KR101213266B1 (ko) 2010-10-14 2010-10-14 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100100337A KR101213266B1 (ko) 2010-10-14 2010-10-14 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템

Publications (2)

Publication Number Publication Date
KR20120038728A KR20120038728A (ko) 2012-04-24
KR101213266B1 true KR101213266B1 (ko) 2012-12-18

Family

ID=46139346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100100337A KR101213266B1 (ko) 2010-10-14 2010-10-14 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템

Country Status (1)

Country Link
KR (1) KR101213266B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101490905B1 (ko) * 2012-12-07 2015-02-06 현대자동차 주식회사 차량의 자율 주행 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010070012A (ja) 2008-09-17 2010-04-02 Toyota Motor Corp 車線認識装置
US7765066B2 (en) 2002-04-23 2010-07-27 Robert Bosch Gmbh Method and device for lane keeping support in motor vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765066B2 (en) 2002-04-23 2010-07-27 Robert Bosch Gmbh Method and device for lane keeping support in motor vehicles
JP2010070012A (ja) 2008-09-17 2010-04-02 Toyota Motor Corp 車線認識装置

Also Published As

Publication number Publication date
KR20120038728A (ko) 2012-04-24

Similar Documents

Publication Publication Date Title
US20210213961A1 (en) Driving scene understanding
JP6832504B2 (ja) 物体追跡方法、物体追跡装置およびプログラム
CN109598066B (zh) 预测模块的效果评估方法、装置、设备和存储介质
US20200326667A1 (en) Robust multimodal sensor fusion for autonomous driving vehicles
KR101546137B1 (ko) 인물 인식 장치 및 방법
CN102076531B (zh) 车辆畅通路径检测
CN110751828B (zh) 一种路段拥堵测量方法、装置、计算机设备及存储介质
EP3121791A1 (en) Method and system for tracking objects
CN113111968B (zh) 图像识别模型训练方法、装置、电子设备和可读存储介质
CN111723809B (zh) 评估目标检测模型的方法和***
KR102195317B1 (ko) 비디오 게임을 활용한 차량 사고 예측 방법
KR20170085752A (ko) 자율 주행 차량의 차선 인지 방법 및 장치
JP4937844B2 (ja) 歩行者検出装置
US20220230536A1 (en) Method and device for analyzing a sensor data stream and method for guiding a vehicle
JP6255944B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
WO2018030048A1 (ja) 物体追跡方法、物体追跡装置およびプログラム
CN113450575B (zh) 一种路侧停车的管理方法及装置
KR20160081190A (ko) 카메라를 이용한 보행자 인식 방법 및 그 기록 매체
KR101213266B1 (ko) 차선유지 제어를 위한 카메라센서의 인식성능 평가 시스템
CN111461026B (zh) 车辆姿态识别方法、停车场内车辆状态的检测方法及装置
CN112990009A (zh) 基于端到端的车道线检测方法、装置、设备及存储介质
CN113761981B (zh) 一种自动驾驶视觉感知方法、装置及存储介质
CN113963437A (zh) 一种基于深度学习的步态识别序列获取方法和***
KR20220107920A (ko) 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술
CN113085861A (zh) 自动驾驶车辆的控制方法及装置、自动驾驶车辆

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150923

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 7