KR20130038443A - 차량 안전장치 제어 시스템 및 그 제어 방법 - Google Patents

차량 안전장치 제어 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20130038443A
KR20130038443A KR1020110102808A KR20110102808A KR20130038443A KR 20130038443 A KR20130038443 A KR 20130038443A KR 1020110102808 A KR1020110102808 A KR 1020110102808A KR 20110102808 A KR20110102808 A KR 20110102808A KR 20130038443 A KR20130038443 A KR 20130038443A
Authority
KR
South Korea
Prior art keywords
information
occupant
vehicle
camera
generating
Prior art date
Application number
KR1020110102808A
Other languages
English (en)
Inventor
김명우
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020110102808A priority Critical patent/KR20130038443A/ko
Publication of KR20130038443A publication Critical patent/KR20130038443A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 탑승자의 위치 및 움직임을 기초로 하는 차량 안전장치 제어 시스템 및 그 제어 방법에 관한 것으로서, TOF 카메라를 이용하여 차량 내부에 대한 3차원 컬러 영상을 생성하고, 상기 3차원 컬러 영상으로부터 차량 내부의 탑승자 상태에 관한 정보를 보다 정밀하게 파악하므로써 차량에 설치된 안전장치를 더욱 정확하게 제어할 수 있는 차량 안전장치 제어 시스템 및 제어 방법을 제공한다.
또한, 차량의 안전장치를 하나의 통합 시스템으로 관리함으로써 안전장치를 제어하는데 있어 시간, 비용적인 측면에서 효율성을 높일 수 있게 된다.

Description

차량 안전장치 제어 시스템 및 그 제어 방법{CONTROL SYSTEM FOR CAR SAFETY APPARATUS AND CONTROL METHOD FOR THE SAME}
본 발명은 차량 내부의 탑승자의 움직임을 인지하여 안전장치를 제어하는 차량 안전장치 제어 시스템 그 제어 방법에 관한 것이다.
차량에 구비된 안전장치에 있어서, 액티브 에어백, 졸음운전 방지 장치, 액티브 헤드 레스트 등의 장치는 탑승자의 움직임에 따른 제어를 필요로 한다.
액티브 에어백 또는 스마트 에어백은, 탑승자의 머리가 에어백에 가까이 있을 때 에어백이 전개되면 탑승자가 에어백에 의한 추가적인 부상을 입을 수 있으므로 탑승자의 체구 및 머리 위치에 따라 에어백의 전개 유무 또는 전개 강도를 자동으로 제어하는 안전장치이다. 또한, 졸음운전 감시장치는 적외선 CCD(Charge Coupled Device) 카메라를 통해 운전자의 졸음운전 상태를 판단하고 경고음 출력, 공기 제어 등의 방법으로 졸음운전을 방지하도록 하는 안전장치이고, 액티브 헤드 레스트는 탑승자의 목과 머리를 받쳐주어 편안한 승차감을 제공하고 충돌 시에는 머리가 뒤로 젖혀지는 것을 방지하는 기존의 기능에 더하여, 충돌 시 탑승자의 머리와 헤드 레스트 사이의 공간을 줄여줌으로써 탑승자의 상해를 능동적으로 방지하는 안전장치이다.
상술한 안전장치들을 제어함에 있어서, 탑승자의 움직임이나 체형 등을 감지하는데 있어서 차량용 단일 흑백 카메라, 컬러 카메라, 또는 적외선 카메라를 사용하는 바, 단일 카메라를 사용할 경우 탑승자의 머리와 목의 위치를 정확하게 판별할 수 없어 안전장치를 제어함에 있어서도 정확도가 떨어지는 문제점이 있다.
또한, 적외선 LED 및 적외선 거리센서를 구비한 적외선 비디오 카메라 장치를 사용할 경우에는 별도의 부가적인 설치가 필요하게 되고 그 해상도와 신뢰도가 떨어져 정밀한 에어백 제어가 어렵게 된다.
또한, 탑승자의 머리와 목의 위치를 계산하는데 근접 센서를 이용하는 경우에는 연산시간이 많이 소요되어 차량에 직접 적용하기가 힘들다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여, TOF 카메라를 이용하여 차량 내부의 탑승자의 움직임 또는 위치를 더 정확하게 판단할 수 있는 차량 안전 제어 시스템 및 그 제어 방법을 제공하며, 또한, 본 발명은 에어백과 헤드 레스트 등의 안전장치를 하나의 시스템으로 통합하여 제어함으로써 더 높은 안정성 및 경제성을 얻을 수 있도록 한다.
상기 문제점을 해결하기 위해 본 발명의 일 측면에 따른 차량 안전장치 제어 시스템은 차량 내부에 설치되어 상기 차량 내부의 탑승자에 대한 3차원 영상을 생성하는 TOF(Time Of Flight) 카메라; 상기 TOF 카메라로부터 상기 3차원 영상을 전송 받아 상기 탑승자의 움직임 정보 및 위치 정보를 생성하는 상태 정보 추출부; 및 상기 상태 정보 추출부로부터 상기 탑승자의 움직임 정보 및 위치 정보를 전송받고, 상기 전송받은 정보들을 이용하여 상기 차량에 설치된 안전장치를 제어하는 안전장치 제어부;를 포함한다.
상기 TOF 카메라는 피사체에 대한 깊이(depth) 영상을 생성하는 적외선 카메라, 피사체에 대한 컬러 영상을 생성하는 RGB(Red Green Blue) 카메라 및 피사체에 적외선을 조사하는 적외선 광원를 포함한다.
또한, 상기 TOF 카메라는 상기 적외선 카메라에서 생성한 깊이(depth) 영상과 상기 RGB 카메라에서 생성한 컬러 영상을 결합하여 3차원 영상을 생성하는 3차원 영상 생성부를 더 포함한다.
상기 적외선 광원은 사각무늬 패턴의 적외선을 조사하고, 상기 적외선 카메라는 피사체에 반사되어 돌아오는 상기 사각무늬 패턴의 적외선을 인식하여 깊이 영상을 생성한다.
상기 상태 정보 추출부는 상기 차량 내부에 탑승자가 존재하는지에 관한 정보, 상기 탑승자가 고개를 끄덕이는지 여부에 관한 정보, 상기 탑승자와 에어백 사이의 거리에 관한 정보, 및 상기 탑승자와 헤드 레스트(head rest) 사이의 거리에 관한 정보 중 적어도 하나의 정보를 생성한다.
상기 안전장치 제어부는 졸음운전 방지 제어부, 에어백 제어부, 헤드 레스트 제어부, 보안 시스템 제어부 및 HMI(Human Machine Interface) 제어부 중 적어도 하나를 포함한다.
본 발명의 일 측면에 따른 차량 안전장치 제어 방법은 차량 내부에 설치되는 TOF(Time Of Flight) 카메라를 이용하여 상기 차량 내부의 탑승자에 대한 3차원 영상을 생성하고; 상기 생성된 3차원 영상으로부터 상기 탑승자의 움직임 정보 및 위치 정보를 생성하고; 상기 탑승자의 움직임 정보 및 위치 정보를 이용하여 상기 차량에 설치된 안전장치를 제어한다.
상기 TOF 카메라는 피사체에 대한 깊이(depth) 영상을 생성하는 적외선 카메라, 피사체에 대한 컬러 영상을 생성하는 RGB(Red Green Blue) 카메라 및 피사체에 적외선을 조사하는 적외선 광원를 포함한다.
상기 차량 내부의 탑승자에 대한 3차원 영상을 생성하는 것은, 상기 적외선 카메라에서 깊이(depth) 영상을 생성하고; 상기 RGB 카메라에서 컬러 영상을 생성하고; 상기 깊이 영상과 상기 컬러 영상을 결합하는 것이다.
상기 적외선 카메라에서 깊이 영상을 생성하는 것은, 상기 적외선 광원에서 사각무늬 패턴의 적외선을 조사하고; 상기 적외선 카메라에서 피사체에 반사되어 돌아오는 상기 사각무늬 패턴의 적외선을 인식하여 깊이 정보를 추출하는 것이다.
상기 탑승자의 움직임 정보 및 위치 정보를 생성하는 것은, 상기 차량 내부에 탑승자가 존재하는지에 관한 정보, 상기 탑승자가 고개를 끄덕이는지 여부에 관한 정보, 상기 탑승자와 에어백 사이의 거리에 관한 정보 및 상기 탑승자와 헤드 레스트(head rest) 사이의 거리에 관한 정보 중 적어도 하나의 정보를 생성하는 것이다.
본 발명의 일 측면에 따른 차량 안전장치 제어 시스템 및 그 제어 방법에 의하면, TOF 카메라에 제공되는 3차원 컬러 정보를 이용하여 차량 내부의 정보를 보다 정밀하게 파악할 수 있게 되고 이를 기초로 하여 차량 안전장치를 더욱 정확하게 제어할 수 있게 된다.
또한, 차량 안전장치를 하나의 통합 시스템으로 관리함으로써 안전장치를 제어하는데 있어 시간, 비용적으로 효율성을 높일 수 있게 된다.
도 1은 본 발명의 일 실시예에 의한 차량 안전장치 제어 시스템에 대한 제어 블록도이다.
도 2는 본 발명의 일 실시예에 의한 TOF(Time Of Flight) 카메라에 대한 제어 블록도이다.
도 3은 본 발명의 일 실시예에 의한 TOF 카메라의 외관 구성도이다.
도 4는 본 발명의 일 실시예에 의한 TOF 카메라에서 생성하는 깊이 영상을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 의해 제어되는 헤드 레스트에 관한 도면이다.
도 6은 본 발명의 일 실시예에 의한 차량 안전장치 제어 방법에 대한 순서도이다.
도 7은 본 발명의 일 실시예에 의한 차량용 에어백 제어 방법에 대한 순서도이다.
이하에서는 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명하도록 한다.
도 1에는 본 발명의 일 실시예에 따른 차량 안전장치 제어 시스템의 제어 블록도가 도시되어 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 안전장치 제어 시스템은 차량 내부의 3차원 영상을 생성하는 TOF(Time Of Flight) 카메라(100), 차량 내부의 탑승자의 위치 및 움직임에 관한 상태 정보 추출부(200), 차량 내부의 탑승자의 상태 정보에 기초하여 안전장치를 제어하는 안전장치 제어부(300)를 포함한다.
도 2에 본 발명의 일 실시예에서 사용되는 TOF 카메라(100)의 제어 블록도가 도시되어 있다.
도 2를 참조하면, TOF 카메라(100)는 적외선 발광부(110), 깊이(Depth) 영상 생성부(120), 2차원 컬러 영상 생성부(130), 3차원 영상 생성부(140) 및 송신부(150)를 포함한다.
적외선 발광부(110)는 피사체에 적외선을 조사하는 구성요소로서, 탐지하고자 하는 피사체까지의 거리를 고려하여 조사되는 적외선의 주파수를 조절함으로써 높을 정확도를 얻을 수 있다. 적외선 발광부(110)는 적외선을 조사할 수 있는 장치이면 무엇이든 가능하고 그 구성에 제한은 없는 바, 일 예로서 적외선 프로젝터를 사용할 수 있다.
깊이 영상 생성부(120)는 TOF 카메라(100)와 피사체 사이의 거리를 측정하고 이를 입체적으로 표현한다. 구체적으로, 깊이 영상 생성부(120)는 적외선 수광부(121), 거리 계산부(122), 영상 생성부(123)를 포함한다. 적외선 수광부(121)에서는 적외선 발광부(110)에서 조사된 후 피사체에 반사되어 돌아오는 적외선을 수광하고, 거리 계산부(122)는 적외선이 조사된 후 적외선 수광부(121)에 도달할 때까지의 시간(Time of flight)을 측정하여 피사체와 TOF 카메라(100) 사이의 거리를 계산한다. 그리고 영상 생성부(123)는 피사체까지의 거리 정보를 포함하는 깊이 영상을 생성한다. 깊이 영상 생성부(120)는 상술한 기능을 수행하는 것이면 그 구성에 제한이 없는 바, 일 예로서 적외선 카메라를 사용할 수 있다.
2차원 컬러 영상 생성부(130)는 피사체를 일반적인 컬러 영상으로 표현하는 바, RGB(Red Green Blue) 카메라 또는 WDR(Wide Dynamic Range) 카메라가 이에 해당한다.
3차원 영상 생성부(140)는 깊이 영상 생성부(120)에서 생성한 깊이 영상과 2차원 컬러 영상 생성부(130)에서 생성한 컬러 영상을 결합하여 차량 내부에 대한 최종적인 3차원 영상을 얻는다. 이 3차원 영상에는 일반적인 컬러 영상에 더하여 TOF 카메라(100)와 피사체 사이의 거리 정보까지 포함되어 있다.
도 3에 본 발명의 일 실시예에 의한 TOF 카메라(100)의 구성도가 도시되어 있다. 당해 실시예에서는 적외선 발광부(110)는 적외선 프로젝터, 깊이 영상 생성부는 적외선 카메라, 컬러 영상 생성부는 RGB 카메라 인 것으로 한다.
TOF 카메라(100)는 차량 내부의 후방 미러(rear-view mirror)(30)에 장착될 수 있는 바, 적외선 프로젝터(110)는 후방 미러(30)의 위쪽에 오도록 하고 적외선 카메라(120)와 RGB 카메라(130)는 각각 후방 미러(30)의 아래쪽에 오도록 설치할 수 있다.
도 3과 같이 설치하여 차량 내부에 대한 3차원 컬러 영상을 획득하면 이로부터 탑승자와 에어백(20) 사이의 거리, 탑승자의 머리와 헤드 레스트(11) 사이의 거리 등에 관한 정보를 추출할 수 있다.
후방 미러(30) 위쪽에서 적외선 프로젝터(110)가 차량 내부를 향해 적외선을 조사하면, 조사된 적외선은 차량 내부의 탑승자, 차량 시트(10) 등의 피사체에 반사되어 돌아오고 적외선 카메라(120)가 반사되어 돌아오는 적외선을 수광한다. 피사체가 TOF 카메라(100)로부터 멀리 있으면 적외선이 반사되어 돌아가는데 상대적으로 긴 시간이 걸리고, 피사체가 TOF 카메라(100)로부터 가까이에 있으면 상대적으로 짧은 시간이 걸린다.
적외선 카메라(100)의 거리 계산부(122)는 적외선이 돌아오는데 걸린 시간에 기초하여 피사체의 거리를 계산하고 영상 생성부(123)에서는 계산된 거리 정보를 이용하여 피사체와 TOF 카메라(100) 사이의 거리를 표현할 수 있는 입체 영상, 즉 깊이 영상을 생성한다.
RGB 카메라(130)는 차량 내부에 대한 일반적인 2차원 컬러 영상을 생성하고, 3차원 영상 생성부는 RGB 카메라에서 생성한 2차원 컬러 영상과 적외선 카메라에서 생성한 깊이 영상을 결합하여 피사체와 TOF 카메라(100) 사이의 거리 정보를 포함하는 3차원 영상을 생성한다.
상술한 TOF 카메라(100)는 본 발명의 일 실시예에 불과하며, 적외선 발광부(110), 깊이 영상 생성부(120), 2차원 컬러 영상 생성부(130)를 구비하는 것이면 그 구성에 제한이 없고 그 설치 위치 또한, 차량 내부의 피사체의 영상을 생성할 수 있는 위치이면 되고 후방 미러(30)에 설치되는 것으로 한정되는 것은 아니다.
도 4에 깊이 영상 생성부에서 생성한 깊이 영상의 일 예가 도시되어 있다.
적외선 프로젝터(110)가 차량 내부에 사각무늬 패턴의 적외선을 조사하고, 적외선 카메라가 차량 내부의 피사체에 반사되어 돌아오는 사각무늬 패턴을 인식하여 깊이 정보를 추출하면 도 4와 같은 깊이 영상을 생성할 수 있다. 도 4의 깊이 영상은 탑승자를 포함한 차량 내부의 피사체가 TOF 카메라(100)로부터 얼마나 먼 거리에 있는지에 관한 정보를 포함한 입체 영상이다.
도 4의 깊이 영상에 RGB 카메라(130)에서 생성한 2차원 컬러 영상을 결합하면 3차원 컬러 영상을 얻을 수 있다. 3차원 컬러 영상에는 탑승자의 위치, 탑승자의 움직임 등이 세밀하게 표현되므로 이를 이용하여 탑승자의 위치 또는 움직임에 따라 제어되는 안전장치를 정확하게 제어할 수 있게 된다.
상태 정보 추출부(200)는 TOF 카메라(100)로부터 3차원 컬러 영상을 전송받아 차량 내부의 상태 정보를 추출한다. 상태 정보 추출부(200)에서 생성하는 정보는 차량 내부에 탑승자가 존재하는지 여부, 각 탑승자의 위치, 탑승자의 체구, 탑승자와 운전대 또는 에어백 사이의 거리, 생체인식을 위한 탑승자의 얼굴 정보(face biometrics), 탑승자의 머리 또는 목의 위치, 탑승자가 졸면서 고개를 끄덕거리는지 등을 포함하는 탑승자의 움직임, 탑승자의 손의 위치 등이 될 수 있는 바, 탑승자의 상태를 나타낼 수 있는 정보이면 되고 그 내용에 제한은 없다.
안전장치 제어부(300)는 상태 정보 추출부(200)에서 생성된 차량 내부의 정보에 기초하여 차량에 설치된 각종 안전장치를 통합적으로 제어할 수 있는 구성요소이다. 본 발명의 일 실시예에 의한 안전장치 제어부(300)는 에어백 제어부(310), 헤드 레스트 제어부(320), 졸음운전방지 제어부(330)를 포함할 수 있으나, 이에 한정되는 것은 아니고 차량 내부의 상태에 따라 제어되는 안전장치이면 그 구성에 제한이 없다.
이하 안전장치 제어부(300)의 기능에 대해 상세하게 설명하도록 한다.
에어백 제어부(310)는 탑승자와 에어백 사이의 거리에 기초하여 에어백의 전개를 제어한다. 에어백은 차량의 충돌 시에 전개되어 탑승자가 운전대나 창문, 앞좌석 등에 부딪혀 받게 되는 충격을 완화시켜준다. 그러나 에어백이 탑승자와 매우 가까운 거리에서, 특히 탑승자의 머리와 매우 가까운 거리에서 전개되면 이로 인한 충격으로 심각한 부상을 입을 수 있게 되는 바, 본 발명의 일 실시예에 따른 에어백 제어부(310)는 상태 정보 추출부(200)에서 생성한 탑승자와 에어백 사이의 거리에 관한 정보에 기초하여 에어백의 전개를 제어한다. 일 예로, 탑승자와 에어백 사이의 거리를 정확하게 측정하여 상기 측정된 거리에서 적절한 수준으로 에어백의 공기압을 조절할 수 있고, 탑승자의 체구에 따라서도 이를 다르게 할 수 있는 바, 기존의 스마트 에어백보다 더 세밀한 제어가 가능하게 된다.
헤드 레스트 제어부(320)는 탑승자의 머리 위치 또는 사이즈에 기초하여 헤드 레스트의 위치를 조절한다. 도 5에 헤드 레스트의 제어에 관한 도면이 도시되어 있다. 주행(정차 포함) 중에는 탑승자의 목이 편안한 상태를 유지할 수 있도록 탑승자의 목과 머리의 위치 또는 그 사이즈에 맞게 헤드 레스트(11)를 상하 또는 전후로 조절할 수 있고, 차량의 충돌 시에는 탑승자의 머리가 뒤로 젖혀지면서 큰 충격을 받지 않도록 헤드 레스트를 적절한 위치로 이동시킨다. 이러한 제어를 위하여 헤드 레스트를 포함하는 차량 시트(10)에는 별도의 구동부가 구비되어 있다.
졸음 운전 방지 제어부(330)는 운전자가 졸고 있는지 여부를 판단하고, 운전자가 졸고 있는 것으로 판단된 경우 경고음을 출력하거나 공기조화기를 제어하는 등의 방법으로 운전자의 졸음 운전을 방지한다.
본 발명의 일 실시예에서는 3차원 영상 생성부에서 생성된 3차원 영상에서 운전자의 얼굴 부분을 중점적으로 분석하여 운전자의 고개가 미리 설정된 일정 횟수 이상으로 끄덕거려지는 경우, 운전자가 졸음 운전을 하는 것으로 판단할 수 있다.
또 다른 예로서는, 운전자의 눈꺼풀이 미리 설정된 일정 횟수 이상으로 깜빡거리는 경우에 졸음 운전으로 판단하는 것도 가능하고, 운전자가 미리 설정된 일정 시간 이상 눈을 감고 있는 경우 졸음 운전을 하는 것으로 판단하는 것도 가능하다.
미리 설정된 일정 횟수 또는 일정 시간은 설계자 또는 사용자가 통계적으로 또는 임의적으로 설정할 수 있다.
본 발명의 일 실시예에 따른 안전장치 제어부(300)는 상술한 에어백 제어부(310), 헤드 레스트 제어부(320) 및 졸음운전 방지 제어부(330) 이외에 보안 시스템 제어부, HMI 제어부, 공기 조화기 제어부 등을 포함할 수 있는 바, 탑승자에 관한 상태 정보를 안전장치 제어부(300)로 전송하면 안전장치 제어부(300)에서 차량에 설치된 각각의 안전장치를 통합적으로 관리할 수 있게 되어 비용 또는 시간적인 측면에서 효율적인 제어가 가능하게 된다.
보안 시스템은 차량의 도난을 방지하기 위해 운전자 이외의 사람이 운전석에 탑승했을 경우 차량 외부로 경고음을 출력하거나 운전자가 소지하고 있는 차량의 스마트 키를 통해 시각 또는 청각적으로 외부인이 차량에 탑승한 사실을 알리는 기능을 하는 시스템이다.
보안 시스템 제어부는 상태 정보 추출부(200)로부터 운전석에 탑승한 탑승자의 얼굴 정보(face biometric)를 전송받아 미리 저장되어 있던 차량 소유자의 얼굴 정보와 비교하여 외부인의 차량 탑승 여부를 판단한다. 탑승자의 얼굴 정보가 차량 소유자의 얼굴 정보와 일치하지 않는 경우에는 외부인이 운전석에 탑승했다는 정보를 차량 보안 시스템으로 전송하여 경고음 출력 또는 운전자에게의 공지가 이뤄지도록 한다. 차량의 도난 이외에 차량의 소유자가 승인한 외부인의 운전석 탑승도 있을 수 있으므로 이러한 경우에는 소유자가 미리 경고음 발생을 차단할 수 있다.
공기 조화기 제어부는 상태 정보 추출부(200)로부터 차량 내부의 탑승자의 수에 관한 정보를 전송받아 이를 기초로 하여 공기 조화기를 제어할 수 있다. 일 예로, 탑승자의 수가 많으면 공기 조화기의 목표 온도를 낮추어 냉방을 하더라도 차량 내부의 공기 온도가 낮아지는 데까지 시간이 많이 소요되고 탑승자의 호흡에 의한 이산화탄소 배출량도 많아지므로, 차량 내부에 탑승자가 많을수록 공기 조화기의 풍량을 세게 하거나 더 낮은 온도의 바람을 내보낼 수 있도록 할 수 있고, 공기 청정 기능을 가동하도록 제어할 수도 있다.
이하 본 발명의 일 실시예에 따른 차량 안전장치의 제어 방법에 관하여 설명하도록 한다.
도 6에 본 발명의 일 실시예에 따른 차량 안전장치의 제어 방법에 대한 순서도가 도시되어 있다.
먼저, 차량의 시동이 켜졌는지를 판단하고(500) 시동이 켜진 경우에는(500단계의 ‘예’) 차량의 후방 미러에 장착된 TOF 카메라(100)에서 차량 내부를 향하여 적외선을 조사하고 2차원 컬러 영상을 촬영한다(510). 후방 미러는 TOF 카메라(100)가 장착될 수 있는 위치 중 하나에 불과하며, TOF 카메라(100)의 설치 위치가 후방 미러에 한정되는 것은 아니다. 2차원 컬러 영상은 RGB 카메라 또는 WDR 카메라에 의하여 얻을 수 있다.
조사된 적외선은 탑승자, 차량 시트 등을 포함하는 피사체에 반사되어 다시 TOF 카메라(100)로 돌아간다(520). TOF 카메라(100)는 적외선이 다시 되돌아오는데 걸린 시간을 계산하고 이에 기초하여 깊이 영상(Depth image)을 생성한다(530).
그리고 생성된 깊이 영상을 2차원 컬러 영상과 결합하여 3차원 컬러 영상을 생성한다(540). 3차원 컬러 영상에는 기존의 2차원 컬러 영상에 피사체의 깊이 정보까지 더해졌기 때문에 차량 내부에 대한 정보가 세밀하게 표현되어 있다.
상태 정보 추출부(200)는 3차원 컬러 영상으로부터 탑승자에 관한 상태 정보를 추출한다(550). 탑승자에 관한 상태 정보는 탑승자의 얼굴 정보(face biometrics), 탑승자의 수에 관한 정보, 탑승자의 위치에 관한 정보, 탑승자의 움직임에 관한 정보, 탑승자의 머리와 목의 위치 및 사이즈에 관한 정보, 탑승자의 손의 위치에 관한 정보, 탑승자의 고개 또는 눈꺼풀의 움직임에 관한 정보 등이 해당할 수 있으며 탑승자의 상태를 나타내는 정보이면 되고 그 내용에 제한이 없다.
안전장치 제어부(300)에서 탑승자의 상태를 나타내는 정보를 이용하여 차량에 설치된 각종 안전장치를 제어한다(560). 차량에 설치되는 안전장치는 에어백, 헤드 레스트, 졸음 운전 방지장치, 차량 보안 시스템, 차량 내부의 공기를 조절하는 공기 조화기, HMI(Human Machine Interfae) 등 탑승자의 상태에 기초하여 제어되면서 탑승자에게 안전과 편의를 제공하는 장치이면 되고 그 구성에 제한은 없다.
이하, 에어백을 안전장치의 일 예로 하여 본 발명의 일 실시예를 설명하도록 한다.
도 7에는 본 발명에 대한 일 실시예로서, 탑승자의 상태 정보에 기초하여 에어백을 제어하는 과정에 대한 순서도가 도시되어 있다.
먼저, 차량에 시동이 켜졌는지 여부를 판단하여(600) 시동이 켜졌으면(600단계의 ‘예’) TOF 카메라(100)의 적외선 발광부(110)에서 차량 내부로 사각무늬 패턴의 적외선을 조사하고 TOF 카메라(100)의 RGB 카메라는 차량 내부의 RGB 컬러 영상을 촬영한다(610). 조사된 적외선은 차량 내부의 탑승자, 차량 시트 등의 피사체에 반사되어 다시 TOF 카메라(100)로 돌아간다.
반사되어 돌아온 적외선은 TOF 카메라(100)의 적외선 카메라로 수광된다(620). 적외선 카메라는 사각무늬 패턴의 적외선이 다시 돌아오는데 걸린 시간을 계산하고 이를 기초로 하여 깊이 영상을 생성한다(630). 깊이 영상은 TOF 카메라(100)와 차량 내부의 피사체 사이의 거리 정보를 포함하는 입체 영상이다.
그리고 적외선 카메라에서 생성된 깊이 영상을 RGB 컬러 영상과 결합하여 3차원 컬러 영상을 생성한다(640). 상태 정보 추출부(200)는 3차원 컬러 영상으로부터 차량 내부의 탑승자의 위치, 특히 머리의 위치 및 탑승자의 체구에 관한 정보를 생성하여 이를 에어백 제어부(310)로 전송한다(650).
에어백 제어부(310)는 상태 정보 추출부(200)로부터 전송받은 탑승자의 머리의 위치 및 탑승자의 체구에 따라서 에어백의 전개 특히, 에어백의 공기압을 제어한다(660). 일 예로, 탑승자의 머리와 에어백 장착 위치 사이의 거리가 미리 설정된 한계치 이하로 가까운 경우에는 에어백의 공기압을 낮춰서 탑승자가 에어백과의 충돌로 입게 되는 부상을 방지한다. 또한, 에어백 장착 위치와의 거리가 같더라도 탑승자의 체구가 더 작은 경우에는 에어백의 전개에 의한 충격이 더 클 수 있으므로 탑승자의 체구에 따라 에어백의 공기압을 조절하는 것도 가능하다.
상술한 바와 같이, TOF 카메라(100)를 이용하여 차량 내부, 특히 탑승자의 상태에 관한 정보를 생성하여 이를 기초로 차량 안전장치를 제어하게 되면, 탑승자의 상태에 관한 정보를 3차원 컬러 영상으로부터 추출할 수 있기 때문에 탑승자의 상태를 더 세밀하고 정확하게 판단할 수 있으며 더 정확학 제어가 가능하게 된다.
TOF 카메라 : 100
상태 정보 추출부 : 200
안전장치 제어부 : 300
에어백 제어부 : 310
헤드 레스트 제어부 : 320
졸음운전 방지 제어부 : 330

Claims (12)

  1. 차량 내부에 대한 3차원 영상을 생성하는 TOF(Time Of Flight) 카메라;
    상기 TOF 카메라로부터 상기 3차원 영상을 전송 받아 상기 탑승자의 상태에 관한 정보를 추출하는 상태 정보 추출부; 및
    상기 상태 정보 추출부로부터 상기 탑승자의 상태에 관한 정보를 전송받고, 상기 전송받은 정보를 이용하여 상기 차량에 설치된 안전장치를 제어하는 안전장치 제어부;를 포함하는 차량 안전장치 제어 시스템.
  2. 제 1 항에 있어서,
    상기 TOF 카메라는 피사체에 적외선을 조사하는 적외선 발광부, 피사체에 대한 깊이 영상(depth image)을 생성하는 깊이 영상 생성부 및 피사체에 대한 2차원 컬러 영상을 생성하는 2차원 컬러 영상 생성부를 포함하는 차량 안전장치 제어 시스템.
  3. 제 2 항에 있어서,
    상기 적외선 발광부는 적외선 프로젝터이고, 상기 깊이 영상 생성부는 적외선 카메라이고, 상기 2차원 컬러 영상 생성부는 RGB 카메라인 차량 안전장치 제어 시스템.
  4. 제 2 항에 있어서,
    상기 TOF 카메라는 상기 깊이 영상 생성부에서 생성한 깊이 영상과 상기 2차원 컬러 영상 생성부에서 생성한 2차원 컬러 영상을 결합하여 3차원 컬러 영상을 생성하는 3차원 영상 생성부를 더 포함하는 차량 안전장치 제어 시스템.
  5. 제 2 항에 있어서,
    상기 적외선 발광부는 사각무늬 패턴의 적외선을 조사하고,
    상기 깊이 영상 생성부는 피사체에 반사되어 돌아오는 상기 사각무늬 패턴의 적외선을 인식하여 깊이 영상을 생성하는 차량 안전장치 제어 시스템.
  6. 제 1 항에 있어서,
    상기 상태 정보 추출부는 상기 차량 내부에 탑승자가 존재하는지에 관한 정보, 상기 탑승자의 움직임에 관한 정보, 상기 탑승자와 에어백 사이의 거리에 관한 정보, 상기 탑승자의 얼굴 정보(face biometrics), 상기 탑승자의 손의 위치에 관한 정보 및 상기 탑승자와 헤드 레스트(head rest) 사이의 거리에 관한 정보 중 적어도 하나의 정보를 추출하는 차량 안전장치 제어 시스템.
  7. 제 1 항에 있어서,
    상기 안전장치 제어부는 졸음운전 방지 제어부, 에어백 제어부, 헤드 레스트 제어부, 보안 시스템 제어부 및 HMI(Human Machine Interface) 제어부 중 적어도 하나를 포함하는 차량 안전장치 제어 시스템.
  8. TOF(Time Of Flight) 카메라를 이용하여 차량 내부에 대한 3차원 컬러 영상을 생성하고;
    상기 생성된 3차원 컬러 영상으로부터 상기 탑승자의 상태에 관한 정보를 추출하고;
    상기 탑승자의 상태에 관한 정보에 기초하여 상기 차량에 설치된 안전장치를 제어하는 차량 안전장치 제어 방법.
  9. 제 8 항에 있어서,
    상기 TOF 카메라는 피사체에 대한 깊이(depth) 영상을 생성하는 적외선 카메라, 피사체에 대한 2차원 컬러 영상을 생성하는 RGB(Red Green Blue) 카메라 및 피사체에 적외선을 조사하는 적외선 발광부를 포함하는 차량 안전장치 제어 방법.
  10. 제 8 항에 있어서,
    상기 차량 내부에 대한 3차원 영상을 생성하는 것은,
    상기 차량 내부에 대한 깊이 영상(depth image)을 생성하고;
    상기 차량 내부에 대한 2차원 컬러 영상을 생성하고;
    상기 깊이 영상과 상기 2차원 컬러 영상을 결합하는 것인 차량 안전장치 제어 방법.
  11. 제 9 항에 있어서,
    상기 깊이 영상을 생성하는 것은,
    상기 적외선 발광부에서 사각무늬 패턴의 적외선을 조사하고;
    상기 적외선 카메라에서 피사체에 반사되어 돌아오는 상기 사각무늬 패턴의 적외선을 인식하여 상기 피사체까지의 거리를 계산하고;
    상기 계산된 거리에 기초하여 깊이 영상을 생성하는 것인 차량 안전장치 제어 방법.
  12. 제 8 항에 있어서,
    상기 탑승자의 상태에 관한 정보를 추출하는 것은,
    상기 상기 차량 내부에 탑승자가 존재하는지에 관한 정보, 상기 탑승자의 움직임에 관한 정보, 상기 탑승자와 에어백 사이의 거리에 관한 정보, 상기 탑승자의 얼굴 정보(face biometrics), 상기 탑승자의 손의 위치에 관한 정보 및 상기 탑승자와 헤드 레스트(head rest) 사이의 거리에 관한 정보 중 적어도 하나의 정보를 추출하는 것인 차량 안전장치 제어 방법.
KR1020110102808A 2011-10-10 2011-10-10 차량 안전장치 제어 시스템 및 그 제어 방법 KR20130038443A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110102808A KR20130038443A (ko) 2011-10-10 2011-10-10 차량 안전장치 제어 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110102808A KR20130038443A (ko) 2011-10-10 2011-10-10 차량 안전장치 제어 시스템 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20130038443A true KR20130038443A (ko) 2013-04-18

Family

ID=48438958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110102808A KR20130038443A (ko) 2011-10-10 2011-10-10 차량 안전장치 제어 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20130038443A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507014B1 (ko) * 2013-07-10 2015-03-30 주식회사 도담시스템스 운송장치 시뮬레이션 시스템 및 그 제어방법
KR101960723B1 (ko) * 2018-12-18 2019-03-21 코어다 주식회사 모션인식을 이용한 스마트 자동차 제어 시스템
WO2021215559A1 (ko) * 2020-04-23 2021-10-28 엘지전자 주식회사 차량을 모니터링하는 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507014B1 (ko) * 2013-07-10 2015-03-30 주식회사 도담시스템스 운송장치 시뮬레이션 시스템 및 그 제어방법
KR101960723B1 (ko) * 2018-12-18 2019-03-21 코어다 주식회사 모션인식을 이용한 스마트 자동차 제어 시스템
WO2021215559A1 (ko) * 2020-04-23 2021-10-28 엘지전자 주식회사 차량을 모니터링하는 방법 및 장치

Similar Documents

Publication Publication Date Title
US11935248B2 (en) System, device, and methods for detecting and obtaining information on objects in a vehicle
CN111417990B (zh) 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的***和方法
US7607509B2 (en) Safety device for a vehicle
CN113335146B (zh) 自动调节驾驶员相关车载设备的调节方法、装置和***
CN105636829B (zh) 车辆辅助***以及车辆
EP0885782B1 (en) Apparatus for detecting the presence of an occupant in a motor vehicle
CN111344750A (zh) 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的***和方法
US20190225186A1 (en) Seatbelt buckling detection
CN113302076A (zh) 用于车辆碰撞后支持的***、装置和方法
CN113459982B (zh) 用于乘员分类和基于此调节气囊展开的***和方法
US20140319895A1 (en) Device and Method for Adjusting a Seat Position
JP5753509B2 (ja) 被測定物情報取得装置
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
JP2006527354A (ja) 画像センサのキャリブレーションのための装置及び方法
EP4002301A1 (en) Method, device and system for controlling at least one drive assistance system of a motor vehicle
KR20130038443A (ko) 차량 안전장치 제어 시스템 및 그 제어 방법
CN106458092B (zh) 用于车辆的用于借助电子显示器的后视视觉的装置和方法
US20230138431A1 (en) Systems and methods for driver warnings upon child identification and bypass options based on gesture and posture detection
CN104118384B (zh) 安全气囊启动控制***及方法
KR20200066706A (ko) 자동차의 시트 시스템을 위한 안전 시스템을 작동하기 위한 방법, 및 자동차의 시트 시스템을 위한 안전 시스템
KR101336332B1 (ko) 졸음운전 방지 시스템 및 그 제어방법
JP2004534343A (ja) 所定の領域内の人間の実際位置を識別するための方法及び装置並びに方法及び／又は装置の使用
US11447093B1 (en) Safety belt D-ring positioning
CN117719454A (zh) 一种自动调整安全带位置的方法及***
CN115123141A (zh) 一种基于视觉的乘员安全带提醒装置及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application