KR102310280B1 - 차량 자율 주행 장치 및 차량 자율 주행 방법 - Google Patents

차량 자율 주행 장치 및 차량 자율 주행 방법 Download PDF

Info

Publication number
KR102310280B1
KR102310280B1 KR1020140144323A KR20140144323A KR102310280B1 KR 102310280 B1 KR102310280 B1 KR 102310280B1 KR 1020140144323 A KR1020140144323 A KR 1020140144323A KR 20140144323 A KR20140144323 A KR 20140144323A KR 102310280 B1 KR102310280 B1 KR 102310280B1
Authority
KR
South Korea
Prior art keywords
image
histogram
unit
vehicle
filter
Prior art date
Application number
KR1020140144323A
Other languages
English (en)
Other versions
KR20160047865A (ko
Inventor
강병준
김성완
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140144323A priority Critical patent/KR102310280B1/ko
Publication of KR20160047865A publication Critical patent/KR20160047865A/ko
Priority to KR1020210124323A priority patent/KR102528001B1/ko
Application granted granted Critical
Publication of KR102310280B1 publication Critical patent/KR102310280B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)

Abstract

본 발명은 차량 운전자의 얼굴 영상을 출력하는 영상출력부, 상기 영상을 고주파 필터를 통해 처리하는 필터부, 상기 고주파 필터 처리된 영상의 히스토그램을 추출하는 히스토그램추출부, 상기 추출된 히스토그램을 고려하여 상기 영상의 예외영상 여부를 판단하는 영상판단부 및 상기 영상이 상기 예외영상일 때, 상기 차량이 자동으로 주행 되도록 하는 자율주행부를 포함하는 차량 자율 주행 장치에 관한 것이다.

Description

차량 자율 주행 장치 및 차량 자율 주행 방법 {Apparatus and method for self-driving}
본 발명은 차량 자율 주행 장치 및 차량 자율 주행 방법에 관한 것으로, 보다 상세하게는 차량 운전자의 얼굴을 촬영한 영상을 고주파필터를 통해 처리하여 영상의 히스토그램을 추출하며, 히스토그램을 고려하여 예외영상 여부를 판단하여 차량이 자동 주행 되도록 하는 차량 자율 주행 장치 및 차량 자율 주행 방법에 관한 것이다.
운전자의 상태를 감지하여 운전자가 졸음운전을 하거나 부주의한 운전을 할 때 운전자에게 알려주는 다양한 기술이 차량에 적용되고 있다. 운전자가 졸음 운전을 하거나 부주의한 운전을 할 경우 보행자나 운전자에게 심각한 상황을 초래하므로 많은 차량에 운전자에게 알려주는 기술이 적용된다.
운전자의 상태를 감지하기 위해 일반적으로 카메라가 운전자의 얼굴을 촬영하거나 적외선필터를 이용한다.. 그런데 차량의 히터 또는 에어컨의 사용 시 카메라나 적외선필터에 습기가 형성되어 운전자 얼굴의 검출이 방해 될 수 있다. 또한 햇빛이 카메라나 적외선필터에 과도하게 비추어 운전자 얼굴의 검출이 방해될 수도 있다.
이에 최근에 운전자의 상태를 감지하는 카메라나 적외선 필터가 다양한 이유로 오염된 경우 운전자 및 보행자를 보호하기 위해 자율주행 시스템(Self-driving system) 등의 대응방안이 실시되도록 하는 기술이 연구 중에 있다.
본 발명이 해결하고자 하는 과제는 차량 운전자의 얼굴을 촬영한 영상을 고주파필터를 통해 처리하여 영상의 히스토그램을 추출하며, 히스토그램을 고려하여 예외영상 여부를 판단하여 차량이 자동 주행 되도록 하는 차량 자율 주행 방법 및 차량 자율 주행 장치를 제공함에 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 일실시례에 따른 차량 자율 주행 장치는, 차량 운전자의 얼굴 영상을 출력하는 영상출력부, 상기 영상을 고주파 필터를 통해 처리하는 필터부, 상기 고주파 필터 처리된 영상의 히스토그램을 추출하는 히스토그램추출부, 상기 추출된 히스토그램을 고려하여 상기 영상의 예외영상 여부를 판단하는 영상판단부 및 상기 영상이 상기 예외영상일 때, 상기 차량이 자동으로 주행 되도록 하는 자율주행부를 포함한다.
상기 필터부의 상기 고주파 필터는 상기 영상에서 모든 화소에 대하여 밝기 변화가 큰 성분을 통과시킨다.
상기 고주파 필터가 상기 밝기 변화가 큰 성분을 통과시키는 것은 상기 영상의 모든 화소에 대해 상기 필터의 값을 컨벌루션(Convolution) 연산하는 것이다.
상기 영상판단부는 상기 히스토그램의 설정된 구간의 빈도수를 계산하여 예외영상으로 판단한다.
상기 과제를 달성하기 위하여, 본 발명의 일실시례에 따른 차량 자율 주행 방법은, 차량 운전자의 얼굴 영상을 출력하는 단계, 상기 영상을 고주파 필터를 통해 처리하는 단계, 상기 고주파 필터 처리된 영상의 히스토그램을 추출하는 단계, 상기 히스토그램을 고려하여 상기 영상의 예외영상 여부를 판단하는 단계 및 상기 영상이 상기 예외영상일 때, 상기 차량이 자동 주행 되도록 하는 단계를 포함한다.
상기 고주파 필터는 상기 영상에서 모든 화소에 대하여 밝기 변화가 큰 성분을 통과시킨다.
상기 밝기 변화가 큰 성분을 통과시키는 것은 상기 영상의 모든 화소에 대해 상기 필터의 값을 컨벌루션(Convolution) 연산하는 것이다.
상기 영상판단부는 상기 히스토그램의 설정된 구간의 빈도수를 계산하여 예외영상으로 판단한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 차량 자율 주행 장치 및 차량 자율 주행 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째,　차량 운전자의 얼굴 영상을 고주파 필터를 통해 처리하여 영상에서 값의 변화가 큰 부분을 필터링(filtering)하는 장점이 있다.
둘째,　영상판단부는 상기 히스토그램의 설정된 구간의 빈도수를 계산하여 예외영상을 판단하는 장점도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시례에 따른 차량 자율 주행 장치의 구성을 도시한 구성도이다.
도 2는 운전자의 얼굴 영상과 도 1의 차량 자율 주행 장치의 구성 중 히스토그램추출부가 추출한 히스토그램 그래프를 도시한 것이다.
도 3은 도 1의 일실시례에 따른 차량 자율 주행 장치의 구성에 의한 차량 자율 주행 방법의 제어 흐름을 나타낸 제어 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 실시예들에 의하여 차량 자율 주행 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일실시례에 따른 차량 자율 주행 장치의 구성을 도시한 구성도이다. 본 발명의 일실시례에 따른 차량 자율 주행 장치는 영상출력부(100), 필터부(200), 메모리부(300), 히스토그램추출부(400), 영상판단부(500), 통신부(600), 자율주행부(700), 운전자상태감지부(800) 및 운전자상태알림부(900)를 포함한다.
영상출력부(100)는 차량 운전자의 얼굴 영상을 출력한다. 영상출력부(100)는 차량 운전자의 얼굴을 촬영하는 복수의 카메라일 수 있다. 영상출력부(100)는 차량 운전자의 얼굴 영상을 필터부(200)에 출력한다.
필터부(200)는 영상을 고주파 필터를 통해 처리한다. 필터부(200)의 고주파 필터는 영상에서 모든 화소에 대하여 밝기 변화가 큰 성분을 통과시킨다. 필터부(200)의 고주파 필터가 밝기 변화가 큰 성분을 통과시키는 것은 영상의 모든 화소에 대해 상기 필터의 값을 컨벌루션(Convolution) 연산하는 것이다.
메모리부(300)는 필터부(200)가 처리한 영상을 저장한다. 메모리부(300)는 저장된 영상을 히스토그램추출부(400)에 출력한다.
히스토그램추출부(400)는 메모리부(300)가 출력한 영상을 수신한다. 히스토그램추출부(400)는 고주파 필터 처리된 영상의 히스토그램을 추출한다. 히스토그램추출부(400)는 영상 내 픽셀들을 소정의 단위로 그룹핑하여 다수의 블록을 구성한다. 히스토그램추출부(400)는 각 블록별로 적어도 두 개의 영상특징정보를 추출한다. 히스토그램추출부(400)는 각 블록별로 추출된 상기 적어도 두 개의 영상특징정보를 이용하여, 해당 블록의 복합 히스토그램 빈을 생성한다. 히스토그램추출부(400)는 영상에서 적어도 하나의 상기 블록을 하위레벨의 블록으로 정의하고, 적어도 하나보다 많은 하위레벨 블록을 모아 상위레벨 블록을 정한다. 히스토그램추출부(400)는 각 하위레벨 블록에서 추출된 상기 적어도 두 개의 영상특징정보를 병합하여 상기 각 상위레벨 블록에 대한 적어도 두 개의 영상특징정보를 생성한다. 히스토그램추출부(400)는 생성된 적어도 두 개의 영상특징정보를 이용하여 상기 상위레벨 블록의 복합 히스토그램 빈을 생성한다.
히스토그램추출부(400)는 생성된 블록 단위의 복합 히스토그램 빈을 이용하여, 영역별로 복합 히스토그램 빈을 갱신한다. 히스토그램추출부(400)는 영상 내의 모든 블록에 대해 상기 다수 블록 구성, 상기 영상특징정보 추출, 상기 복합 히스토그램빈 생성 및 빈의 갱신을 반복 수행한다.
히스토그램추출부(400)는 블록들을 하위레벨의 블록으로 정의하고 적어도 하나보다 많은 하위레벨 블록을 모아 상위레벨 블록을 정한다. 히스토그램추출부(400)는 각 하위레벨 블록에서 추출된 상기 적어도 두 개의 영상특징정보를 병합하여 각 상위레벨 블록에 대한 적어도 두 개의 영상특징정보를 생성한다. 히스토그램추출부(400)는 생성된 각 상위레벨 블록에 대한 적어도 두 개의 영상특징정보를 이용하여 상위레벨 블록의 복합 히스토그램 빈을 생성한다. 히스토그램추출부(400)는 생성된 복합 히스토그램 빈을 이용하여 영역별로 복합 히스토그램 빈을 갱신한다. 히스토그램추출부(400)의 하위레벨 블록은 영상의 크기에 비례하여 크기가 결정되는 가변크기 블록이다. 히스토그램추출부(400)의 영상특징정보는 영상의 밝기, 색상, 에지, 질감 정보 중 적어도 두 개를 포함한다.
히스토그램추출부(400)가 영상의 에지 영상특징정보를 추출하는 과정은 상기 블록을 수평 및 수직 방향으로 등분하여 서브 블록으로 나누는 과정, 각 서브 블록들의 밝기 대표값들을 구하는 과정 및 인접한 서브 블록 사이의 밝기차와 소정의 임계값을 비교하여, 블록내의 에지 존재여부와 에지 종류를 검출하는 과정을 포함할 수 있다. 히스토그램추출부(400)의 블록 내의 에지 존재 여부와 에지 종류를 검출하는 과정은 인접한 서브 블록 사이의 밝기차가 소정의 임계값을 넘으면 해당 서브 블록들 사이에 에지가 존재하는 것으로 판정하여 에지의 종류를 검출하며, 인접한 서브 블록 사이의 밝기차가 상기 소정의 임계값을 넘지 않으면 상기 블록을 에지가 존재하지 않는 것으로 판정하는 것이다.
히스토그램추출부(400)에서 영상의 에지 영상특징정보를 추출하는 과정은, 블록을 수평 및 수직 방향으로 등분하여 서브 블록으로 나누는 과정, 각 서브 블록들의 밝기 대표값들을 구하는 과정, 각 서브 블록들의 밝기 대표값들과 필터 계수값들을 컨볼루션(convolution)하여 혼합 에지값을 포함하는 복수의 에지값을 각각 구하는 과정 및 복수의 에지값 중 최대 에지값과 소정의 임계값을 비교하여, 블록내의 에지 존재 여부와 에지 종류를 검출하는 과정을 포함한다.
히스토그램추출부(400)에서 복수의 에지값 중 최대 에지값과 소정의 임계값을 비교하여, 블록내의 에지 존재 여부와 에지 종류를 검출하는 과정은, 최대 에지값이 상기 소정의 임계값보다 크면 최대값의 에지를 상기 블록의 대표 에지로 판정하고, 상기 최대 에지값이 소정의 임계값보다 작으면 상기 블록에 에지가 존재하지 않는 것으로 판정하는 것이다. 히스토그램추출부(400)에서 영상특징정보가 색상 혹은 밝기 영상특징정보를 포함하며, 각 히스토그램 빈 사이의 거리에 따라 선형가중치를 적용하여 히스토그램 빈을 갱신한다. 히스토그램추출부(400)에서 색상 영상특징정보를 포함하는 색상 히스토그램 빈을 갱신하는 과정은, 주어진 색공간을 이용하여 색조와 색농도를 나타내는 과정, 색조와 상기 색농도를 이용하여 유채색의 대표 색조들 사이의 제1 선형 가중치와, 유채색과 무채색 사이의 제2 선형 가중치를 구하는 과정, 색농도값을 이용하여 상기 블록의 색상이 순수 색상인지 혹은 무채색을 포함한 어두운 유채색인지를 판별하는 과정, 순수색상인지 어두운 유채색인지 판별하는 과정의 판별 결과, 블록의 색상이 순수 색상이면, 제1 선형 가중치를 이용하여 해당 색상 히스토그램 빈의 증가분을 계산하여 해당 색상 히스토그램을 갱신하는 과정 및 순수 색상 및 어두운 유채색 판별 과정의 판별 결과, 블록의 색상이 어두운 유채색이면, 상기 제1 선형 가중치와 상기 제2 선형 가중치를 이용하여, 해당 색상 히스토그램 빈의 증가분과 밝기 히스토그램 빈의 증가분을 계산하여 해당 색상 히스토그램과 밝기 히스토그램을 갱신하는 과정을 포함한다. 히스토그램추출부(400)에서 영상특징정보가 에지와 밝기 영상특징정보를 포함하며, 에지와 밝기 영상특징정보를 포함하는 복합 히스토그램 빈을 갱신하는 과정은 수평, 수직, 혼합 에지의 강도가 이용된다.
히스토그램추출부(400)에서 영역별 복합 히스토그램은, 영상을 기본블록들로 나누고, 각 기본블록에서 추출되는 영상특징정보를 이용하여 기본블록 단위의 히스토그램을 생성한 후, 기본블록 단위의 히스토그램을 이용하여 영상의 전체적인 특징을 표현하는 전체영역 복합 히스토그램과, 기본블록들을 모아서 영상의 전체영역을 적어도 두 개의 국부영역들로 나누고 각 국부영역별로 각 기본블록에서 추출된 영상특징정보를 이용하여 국부영역의 특징으로 표현하는 국부영역 복합 히스토그램과, 국부영역의 수평 및 수직 방향의 히스토그램을 누적하여 부분적전체영역의 특징을 표현하는 부분적전체영역 복합 히스토그램을 포함한다. 히스토그램추출부(400)에서 전체영역 복합 히스토그램 및 상기 국부영역 복합 히스토그램과 부분적전체영역 복합 히스토그램은, 해당 영역별 발생 블록수를 이용하여, 각 복합 히스토그램이 영역별로 정규화된다.
영상판단부(500)는 추출된 히스토그램을 고려하여 영상의 예외영상 여부를 판단한다. 영상판단부(500)는 설정된 구간에서의 히스토그램의 차이를 비교하여 영상의 예외영상 여부를 판단한다. 영상판단부(500)는 히스토그램의 설정된 구간의 빈도수를 계산하여 예외영상으로 판단한다. 영상판단부(500)가 판단하는 예외영상은 습도가 높은 환경, 직사광이 강한 환경일 수 있다. 또한 영상판단부(500)가 판단하는 예외영상은 운전자가 카메라 화각을 벗어난 상황 또는 운전자가 머리를 숙여 운전자의 얼굴이 검출되지 않는 상황일 수 있다. 영상판단부는 차량 운전자의 얼굴 영상에서 운전자의 얼굴이 검출되는지 여부를 판단하여 예외영상을 판단한다.
영상판단부(500)는 설정된 구간에서 히스토그램을 합산한 빈도수가 설정된 임계값보다 작을 때 예외영상으로 판단한다. 영상판단부(500)는 설정된 구간에서 히스토그램을 합산한 빈도수가 설정된 임계값보다 클 때 예외영상으로 판단할 수 있다. 영상판단부(500)가 예외영상을 판단하는 과정은 도 2에서 추후 설명한다.
영상판단부(500)는 운전자의 선택에 의해 자율주행부(700) 및 운전자상태감지부(800) 중 적어도 어느 하나가 작동되게 하거나 작동되는 것이 배제되도록 할 수 있다.
통신부(600)는 영상이 예외영상이면 일실시례에 따른 자율주행부(700)에 운전자가 예외환경에 있다는 것을 알려 자율 주행 시스템(Self-driving system)이 실시되도록 한다.
자율주행부(700)는 영상이 예외영상일 때, 차량이 자동으로 주행 되도록 한다. 자율주행부(700)는 일실시례에 따른 자율 주행 시스템(Self-driving system)일 수 있다.
운전자상태감지부(800)는 운전자의 상태를 감지한다. 운전자상태감지부(800)는 운전자의 얼굴 영상에서 운전자의 눈 개폐 정보, 얼굴 방향 정보를 산출하여 운전자의 부주의 상태를 인식한다. 운전자상태감지부(800)는 일실시례에 따른 운전자 졸음운전 방지 장치 또는 운전자 부주의 감지 장치일 수 있다.
운전자상태알림부(900)는 운전자의 졸음운전 또는 운전자의 부주의가 감지되면 운전자에게 화면이나 음향으로 졸음운전 상황 또는 부주의 상황을 알려준다.
도 2는 운전자의 얼굴 영상과 도 1의 차량 자율 주행 장치의 구성 중 히스토그램추출부(400)가 추출한 히스토그램 그래프를 도시한 것이다. 필터부(200)가 처리한 영상 중 A 영상은 정상적인 상태의 영상이고, B 영상은 습기 환경의 예외영상이며, C 영상은 직사광에 의한 예외영상이다. 히스토그램추출부(400)는 A 영상, B 영상, C 영상은 영상 내의 모든 화소에 대해 같은 밝기인 화소의 빈도수를 계산하여 히스토그램을 추출한다. 도 2의 그래프는 A 영상, B 영상 및 C 영상에 대해 히스토그램을 추출한 후 그래프에 도시한 것이다. 영상판단부(500)는 설정된 구간에서 히스토그램을 합산한 빈도수가 설정된 임계값보다 작을 때 예외영상으로 판단한다. 영상판단부(500)가 그래프에서 설정하는 구간은 히스토그램 그래프의 특징을 나타내는 부분을 구간으로 설정할 수 있다. 영상판단부(500)는 각각의 그래프의 히스토그램 빈도수가 '0'이 되는 지점을 기준으로 구간을 설정할 수 있다. 영상판단부(500)는 각각의 그래프의 히스토그램 빈도수가 차이가 설정된 값 차이가 나는 부분을 구간으로 설정할 수도 있다. 영상판단부(500)는 설정된 구간에서 히스토그램을 합산한 빈도수가 설정된 임계값보다 클 때 예외영상으로 판단할 수 있다. 영상판단부(500)는 일실시례에 따라 (수학식 1)에서 정상환경, 습기 예외환경 및 직사광 예외환경의 그래프에서 a와 b 사이의 구간에서 각각 히스토그램을 합산한다.
Figure 112014101576605-pat00001
영상판단부(500)는 일실시례에 따라 (수학식 2)에서 정상환경, 습기 예외환경 및 직사광 예외환경의 그래프에서 b와 c 사이의 구간에서 각각 히스토그램을 합산한다.
Figure 112014101576605-pat00002
영상판단부(500)는 (수학식 1)에서 산출된 m1이 특정 임계치 보다 작을 때 예외영상으로 판단한다. 영상판단부(500)는 (수학식 2)에서 산출된 m2가 특정 임계치 보다 클 때 예외영상으로 판단할 수 있다.
영상판단부(500)에서 m1은 (수학식 3)에 의해 산출될 수도 있다.
Figure 112014101576605-pat00003
영상판단부(500)에서 m2는 (수학식 4)에 의해 산출 될 수도 있다.
Figure 112014101576605-pat00004
상기와 같이 구성되는 본 발명에 따른 차량 자율 주행 방법의 작용을 설명하면 다음과 같다. 도 3은 도 1의 일실시례에 따른 차량 자율 주행 장치의 구성에 의한 차량 자율 주행 방법의 제어 흐름을 나타낸 제어 흐름도이다.
영상출력부(100)가 차량 운전자의 얼굴 영상을 출력한다(S100). 영상출력부(100)는 차량 운전자의 얼굴을 촬영하는 복수의 카메라일 수 있다. 영상출력부(100)는 차량 운전자의 얼굴 영상을 필터부(200)에 출력한다.
필터부(200)는 운전자의 얼굴 영상을 고주파 필터를 통해 처리한다(S110). 필터부(200)의 고주파 필터는 영상에서 모든 화소에 대하여 밝기 변화가 큰 성분을 통과시킨다. 필터부(200)의 고주파 필터가 밝기 변화가 큰 성분을 통과시키는 것은 영상의 모든 화소에 대해 필터의 값을 컨벌루션(Convolution) 연산하는 것이다.
히스토그램추출부(400)는 고주파 필터 처리된 영상의 히스토그램을 추출한다(S120). 히스토그램추출부(400)는 메모리부(300)가 출력한 영상을 수신한다. 히스토그램추출부(400)는 고주파 필터 처리된 영상의 히스토그램을 추출한다. 히스토그램추출부(400)는 영상 내 픽셀들을 소정의 단위로 그룹핑하여 다수의 블록을 구성한다. 히스토그램추출부(400)는 각 블록별로 적어도 두 개의 영상특징정보를 추출한다. 히스토그램추출부(400)에서 영상특징정보는 설정된 영역의 밝기에 대한 것일 수 있다. 히스토그램추출부(400)는 각 블록별로 추출된 상기 적어도 두 개의 영상특징정보를 이용하여, 해당 블록의 복합 히스토그램 빈을 생성한다. 히스토그램추출부(400)는 영상에서 적어도 하나의 상기 블록을 하위레벨의 블록으로 정의하고, 적어도 하나보다 많은 하위레벨 블록을 모아 상위레벨 블록을 정한다. 히스토그램추출부(400)는 각 하위레벨 블록에서 추출된 상기 적어도 두 개의 영상특징정보를 병합하여 상기 각 상위레벨 블록에 대한 적어도 두 개의 영상특징정보를 생성한다. 히스토그램추출부(400)는 생성된 적어도 두 개의 영상특징정보를 이용하여 상기 상위레벨 블록의 복합 히스토그램 빈을 생성한다. 히스토그램추출부(400)가 고주파 필터 처리된 영상의 히스토그램을 추출하는 자세한 과정은 도 1에서 설명하였다.
영상판단부(500)는 히스토그램을 고려하여 영상의 예외영상 여부를 판단한다(S130). 영상판단부(500)는 히스토그램의 설정된 구간의 빈도수를 계산하여 예외영상으로 판단한다. 영상판단부(500)는 설정된 구간에서 히스토그램을 합산한 빈도수가 설정된 임계값보다 작을 때 예외영상으로 판단한다. 영상판단부(500)는 설정된 구간에서 히스토그램을 합산한 빈도수가 설정된 임계값보다 클 때 예외영상으로 판단할 수 있다.
영상이 예외영상으로 판단되면 자율주행부(700)는 차량이 자동으로 주행 되도록 한다(S140). 자율주행부(700)는 영상이 예외영상일 때, 차량이 자동으로 주행 되도록 한다. 자율주행부(700)는 일실시례에 따른 자율 주행 시스템(Self-driving system)일 수 있다.
영상이 예외영상이 아닌 것으로 판단되면 운전자상태감지부(800)는 운전자의 상태를 감지한다(S150). 운전자상태감지부(800)는 운전자의 얼굴 영상에서 운전자의 눈 개폐 정보, 얼굴 방향 정보를 산출하여 운전자의 부주의 상태를 인식한다. 운전자상태감지부(800)는 일실시례에 따른 운전자 졸음운전 방지 장치 또는 운전자 부주의 감지 장치일 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100 : 영상출력부
200 : 필터부
300 : 메모리부
400 : 히스토그램추출부
500 : 영상판단부
600 : 통신부
700 : 자율주행부
800 : 운전자상태감지부
900 : 운전자상태알림부

Claims (8)

  1. 차량 운전자의 얼굴 영상을 출력하는 영상출력부;
    상기 영상을 고주파 필터를 통해 처리하는 필터부;
    상기 고주파 필터 처리된 영상의 히스토그램을 추출하는 히스토그램추출부;
    상기 추출된 히스토그램을 고려하여 상기 영상의 예외영상 여부를 판단하는 영상판단부; 및
    상기 영상이 상기 예외영상일 때, 상기 차량이 자동으로 주행 되도록 하는 자율주행부; 를 포함하는 차량 자율 주행 장치.
  2. 제 1 항에 있어서
    상기 필터부의 상기 고주파 필터는 상기 영상에서 모든 화소에 대하여 밝기 변화가 큰 성분을 통과시키는 차량 자율 주행 장치.
  3. 제 2 항에 있어서
    상기 고주파 필터가 상기 밝기 변화가 큰 성분을 통과시키는 것은 상기 영상의 모든 화소에 대해 상기 필터의 값을 컨벌루션(Convolution) 연산하는 것인 차량 자율 주행 장치.
  4. 제 1 항에 있어서
    상기 영상판단부는 상기 히스토그램의 설정된 구간의 빈도수를 계산하여 예외영상으로 판단하는 차량 자율 주행 장치.
  5. 차량 운전자의 얼굴 영상을 출력하는 단계;
    상기 영상을 고주파 필터를 통해 처리하는 단계;
    상기 고주파 필터 처리된 영상의 히스토그램을 추출하는 단계
    상기 히스토그램을 고려하여 상기 영상의 예외영상 여부를 판단하는 단계; 및
    상기 영상이 상기 예외영상일 때, 상기 차량이 자동 주행 되도록 하는 단계; 를 포함하는 차량 자율 주행 방법.
  6. 제 5 항에 있어서
    상기 고주파 필터는 상기 영상에서 모든 화소에 대하여 밝기 변화가 큰 성분을 통과시키는 차량 자율 주행 방법.
  7. 제 6 항에 있어서
    상기 밝기 변화가 큰 성분을 통과시키는 것은 상기 영상의 모든 화소에 대해 상기 필터의 값을 컨벌루션(Convolution) 연산하는 것인 차량 자율 주행 방법.
  8. 제 5 항에 있어서
    상기 예외영상 여부를 판단하는 단계는 상기 히스토그램의 설정된 구간의 빈도수를 계산하여 예외영상으로 판단하는 것인 차량 자율 주행 방법.
KR1020140144323A 2014-10-23 2014-10-23 차량 자율 주행 장치 및 차량 자율 주행 방법 KR102310280B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140144323A KR102310280B1 (ko) 2014-10-23 2014-10-23 차량 자율 주행 장치 및 차량 자율 주행 방법
KR1020210124323A KR102528001B1 (ko) 2014-10-23 2021-09-16 차량 자율 주행 장치 및 차량 자율 주행 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140144323A KR102310280B1 (ko) 2014-10-23 2014-10-23 차량 자율 주행 장치 및 차량 자율 주행 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210124323A Division KR102528001B1 (ko) 2014-10-23 2021-09-16 차량 자율 주행 장치 및 차량 자율 주행 방법

Publications (2)

Publication Number Publication Date
KR20160047865A KR20160047865A (ko) 2016-05-03
KR102310280B1 true KR102310280B1 (ko) 2021-10-07

Family

ID=56022541

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140144323A KR102310280B1 (ko) 2014-10-23 2014-10-23 차량 자율 주행 장치 및 차량 자율 주행 방법
KR1020210124323A KR102528001B1 (ko) 2014-10-23 2021-09-16 차량 자율 주행 장치 및 차량 자율 주행 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210124323A KR102528001B1 (ko) 2014-10-23 2021-09-16 차량 자율 주행 장치 및 차량 자율 주행 방법

Country Status (1)

Country Link
KR (2) KR102310280B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207563A (ja) 1999-01-20 2000-07-28 Fujitsu Ten Ltd 画像認識装置
JP2005143083A (ja) 2003-10-15 2005-06-02 Fujitsu Ten Ltd 画像処理装置、運転支援装置および運転支援システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3221291B2 (ja) * 1995-07-26 2001-10-22 ソニー株式会社 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法
JP2009166783A (ja) * 2008-01-18 2009-07-30 Toyota Motor Corp 症状推定装置
KR101196321B1 (ko) * 2009-03-20 2012-11-01 한국전자통신연구원 차선 인식 장치 및 그 방법
JP2010264856A (ja) * 2009-05-14 2010-11-25 Toyota Motor Corp 画像処理装置
KR101245846B1 (ko) * 2010-11-17 2013-03-20 전자부품연구원 졸음 인식 장치 및 방법
KR20120058230A (ko) * 2010-11-29 2012-06-07 한국전자통신연구원 이동체 안전운행 장치 및 방법
KR20130015739A (ko) * 2011-08-04 2013-02-14 엘지전자 주식회사 운전자 상태 기반의 자율 이동 방법 및 그 장치
KR101771461B1 (ko) 2015-04-24 2017-08-25 엘지전자 주식회사 반도체 발광 소자를 이용한 디스플레이 장치 및 이의 제조방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207563A (ja) 1999-01-20 2000-07-28 Fujitsu Ten Ltd 画像認識装置
JP2005143083A (ja) 2003-10-15 2005-06-02 Fujitsu Ten Ltd 画像処理装置、運転支援装置および運転支援システム

Also Published As

Publication number Publication date
KR20210119929A (ko) 2021-10-06
KR102528001B1 (ko) 2023-05-02
KR20160047865A (ko) 2016-05-03

Similar Documents

Publication Publication Date Title
US10854062B2 (en) Fire monitoring system
US9646211B2 (en) System and method for crowd counting and tracking
US10032283B2 (en) Modification of at least one parameter used by a video processing algorithm for monitoring of a scene
TW201737134A (zh) 用於藉由機器學習訓練物件分類器之系統及方法
KR101546700B1 (ko) 영상을 활용한 도로 포트홀 영역 인식 장치 및 방법
US20120092495A1 (en) Object detection apparatus, object detection method, monitoring camera system and storage medium
US20130128080A1 (en) Image analysis device and method thereof
KR101021994B1 (ko) 물체 검출방법
KR101750094B1 (ko) 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법
CN114648630A (zh) 用于在作物图像中检测马铃薯病毒的方法、介质和***
CN112270253A (zh) 一种高空抛物的检测方法及装置
KR102066290B1 (ko) 차량의 영상인식장치 및 그 방법
KR101125936B1 (ko) 엘리베이터 보안을 위한 지능형 영상 감시시스템 및 그 방법
US20130236056A1 (en) Event detection system and method using image analysis
KR101552344B1 (ko) 폭력 상황을 검출하는 장치 및 방법
KR102310280B1 (ko) 차량 자율 주행 장치 및 차량 자율 주행 방법
JP2018107665A (ja) 撮像装置、汚れ検知システム、及び、汚れ検知方法
US11250553B2 (en) Deposit detection device and deposit detection method
US20210089818A1 (en) Deposit detection device and deposit detection method
JP5222908B2 (ja) 崩落検知システム及び崩落検知方法
JP2018526922A (ja) グレア検出方法及び装置
KR101454541B1 (ko) 감시카메라 시스템 및 모니터링 방법
KR101592732B1 (ko) 카메라 영상에서의 눈비 영상 제거 장치 및 이를 이용한 눈비 영상 제거 방법
KR102174000B1 (ko) 차량 표지판 인식 시스템 및 그를 위한 방법
EP2953344A1 (en) Method for improving live video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant