KR101774692B1 - 에어백 제어 장치 및 방법 - Google Patents

에어백 제어 장치 및 방법 Download PDF

Info

Publication number
KR101774692B1
KR101774692B1 KR1020160059562A KR20160059562A KR101774692B1 KR 101774692 B1 KR101774692 B1 KR 101774692B1 KR 1020160059562 A KR1020160059562 A KR 1020160059562A KR 20160059562 A KR20160059562 A KR 20160059562A KR 101774692 B1 KR101774692 B1 KR 101774692B1
Authority
KR
South Korea
Prior art keywords
image
airbag
deployment
unit
image capturing
Prior art date
Application number
KR1020160059562A
Other languages
English (en)
Inventor
김선아
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160059562A priority Critical patent/KR101774692B1/ko
Priority to US15/356,986 priority patent/US10131309B2/en
Priority to CN201611089762.9A priority patent/CN107380111B/zh
Priority to DE102016123231.9A priority patent/DE102016123231B4/de
Application granted granted Critical
Publication of KR101774692B1 publication Critical patent/KR101774692B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0136—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to actual contact with an obstacle, e.g. to vehicle deformation, bumper displacement or bumper velocity relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B60R21/23—Inflatable members
    • B60R21/231—Inflatable members characterised by their shape, construction or spatial configuration
    • B60R21/2334—Expansion control features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/02—Occupant safety arrangements or fittings, e.g. crash pads
    • B60R21/16—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags
    • B60R21/26—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags characterised by the inflation fluid source or means to control inflation fluid flow
    • B60R21/263—Inflatable occupant restraints or confinements designed to inflate upon impact or impending impact, e.g. air bags characterised by the inflation fluid source or means to control inflation fluid flow using a variable source, e.g. plural stage or controlled output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/217—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01286—Electronic control units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Fluid Mechanics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Air Bags (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 에어백 제어 장치 및 방법에 관한 것으로, 하나 이상의 카메라와 하나 이상의 조명을 구비하는 영상 촬영부, 상기 영상 촬영부를 통해 획득한 영상에 대해 영상 처리를 수행하는 영상 처리부, 차량의 충돌을 감지하는 충돌 감지부, 에어백을 작동시키는 에어백 구동부, 및 상기 영상 처리부에 의해 영상 처리된 영상으로부터 탑승자의 얼굴 정보를 추출하고 추출된 얼굴 정보에 근거하여 에어백 제어정보를 결정한 후 상기 차량의 충돌이 예측되면 결정된 에어백 제어정보에 근거하여 상기 에어백 구동부를 제어하는 제어부를 포함한다.

Description

에어백 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING AIRBAG}
본 발명은 에어백 제어 장치 및 방법에 관한 것으로, 더욱 상세하게는 카메라를 이용하여 탑승자의 얼굴 정보를 추출하고 이를 고려하여 에어백의 전개각도(방향), 전개속도 및 전개압력을 제어하는 에어백 제어 장치 및 방법에 관한 것이다.
일반적으로, 에어백(airbag)은 차량의 충돌 사고 시 가해지는 충격으로부터 운전자나 승객을 보호하기 위한 안전장치이다. 이러한 에어백 시스템은 조향 핸들(steering wheel)이나 대시보드(dashboard)에 장착되어 차량 충돌이 감지되면 에어백을 전개한다.
종래에는 시트에 장착된 센서를 이용하여 탑승자(운전자 및/또는 승객 등)의 몸무게를 측정하고 그 측정된 탑승자의 몸무게에 근거하여 에어백의 전개압력을 조정하여 에어백을 전개하는 에어백 시스템이 제안되었다.
또한, 종래에는 탑승자의 안면 위치 및 시트 위치에 근거하여 에어백의 압력을 조정하는 기술이 제안되었다.
이러한 종래의 에어백제어시스템(Airbag Control Unit, ACU)은 탑승자의 안경 착용여부에 상관없이 에어백을 전개하므로 2차 상해가 발생한다.
KR 101440964 B1 KR 100507187 B1
본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 카메라를 이용하여 탑승자의 얼굴 정보를 추출하고 이를 고려하여 에어백의 전개각도(방향), 전개속도 및 전개압력을 제어하는 에어백 제어 장치 및 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 에어백 제어 장치는 하나 이상의 카메라와 하나 이상의 조명을 구비하는 영상 촬영부, 상기 영상 촬영부를 통해 획득한 영상에 대해 영상 처리를 수행하는 영상 처리부, 차량의 충돌을 감지하는 충돌 감지부, 에어백을 작동시키는 에어백 구동부, 및 상기 영상 처리부에 의해 영상 처리된 영상으로부터 탑승자의 얼굴 정보를 추출하고 추출된 얼굴 정보에 근거하여 에어백 제어정보를 결정한 후 상기 차량의 충돌이 예측되면 결정된 에어백 제어정보에 근거하여 상기 에어백 구동부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
상기 영상 촬영부는 운전자상태감시장치(DSM)로 구현되는 것을 특징으로 한다.
상기 제어부는 상기 영상 촬영부가 둘 이상의 카메라를 구비하는 경우, 영상 촬영부가 장착되면 한 번 이상의 카메라 캘리브레이션을 수행하는 것을 특징으로 한다.
상기 얼굴 정보는 얼굴 위치, 안경 착용유무 및 카메라와 얼굴 간의 거리를 포함하는 것을 특징으로 한다.
상기 에어백 제어정보는 에어백의 전개각도, 전개압력 및 전개속도를 포함하는 것을 특징으로 한다.
상기 영상 처리부는 상기 획득한 영상을 이진 영상으로 변환한 후 마스크를 이용하여 노이즈를 제거하는 것을 특징으로 한다.
상기 영상 처리부는 시트에 탑승자가 존재하지 않는 상태에서 상기 영상 촬영부를 통해 획득한 영상을 이진 처리하여 마스크를 생성하고 생성된 마스크를 메모리에 저장하는 것을 특징으로 한다.
상기 영상 처리부는 상기 영상 촬영부의 장착 위치 및 각도가 변경된 경우, 탑승자가 존재하지 않을 때 차량 내부 영상을 촬영하고 촬영된 영상을 이진 처리하여 마스크를 생성하여 메모리에 저장된 이전 마스크를 업데이트하는 것을 특징으로 한다.
상기 제어부는 획득한 영상 내 기준 크기 이상의 조명반사점이 검출되는지 여부에 따라 탑승자의 안경 착용여부를 결정하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 에어백 제어 방법은 영상 촬영부를 통해 영상을 획득하는 단계, 획득한 영상으로부터 탑승자의 얼굴 정보를 추출하는 단계, 상기 얼굴 정보에 근거하여 에어백 제어정보를 결정하는 단계, 상기 에어백 제어정보를 결정한 후, 차량의 충돌 감지하는 단계, 및 상기 차량의 충돌을 감지하면 상기 에어백 제어정보에 따라 에어백을 전개하는 단계를 포함하는 것을 특징으로 한다.
상기 에어백 제어 방법은 상기 영상 촬영부가 둘 이상의 카메라를 구비하는 경우, 상기 영상을 획득하기 전 카메라 캘리브레이션을 수행하는 단계를 더 포함하는 것을 특징으로 한다.
상기 얼굴 정보를 추출하는 단계는 상기 획득한 영상 내 얼굴 위치를 확인하는 단계, 및 상기 획득한 영상으로부터 탑승자의 안경 착용유무를 확인하는 단계를 포함하는 것을 특징으로 한다.
상기 얼굴 위치를 확인하는 단계는 상기 획득한 영상을 이진 영상으로 전환하는 단계, 지정된 마스크를 이용하여 상기 이진 영상 내 노이즈를 제거하는 단계, 및 상기 노이즈가 제거된 이진 영상에 대해 열 누적 그래프 및 행 누적 그래프를 산출하여 상기 얼굴 위치를 확인하는 단계를 포함하는 것을 특징으로 한다.
상기 안경 착용유무를 확인하는 단계는 상기 획득한 영상 내 검출되는 조명반사점을 이용하여 탑승자의 안경 착용유무를 확인하는 것을 특징으로 한다.
상기 얼굴 정보를 추출하는 단계는 상기 얼굴 위치를 확인한 후, 카메라와 탑승자의 얼굴 간의 거리를 연산하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명은 카메라를 이용하여 탑승자의 얼굴 정보를 추출하고 이를 고려하여 에어백의 전개각도(방향), 전개속도 및 전개압력을 제어하므로, 효과적으로 탑승자를 보호할 수 있다.
도 1은 본 발명의 일 실시예에 따른 에어백 제어 장치를 도시한 블록구성도.
도 2는 본 발명의 일 실시예에 따른 에어백 제어 방법을 도시한 흐름도.
도 3은 도 2에 도시된 얼굴 위치 확인과정을 도시한 흐름도.
도 4a 내지 도 4c는 얼굴 위치를 확인하는 일 예.
도 5는 본 발명의 일 실시예에 따른 마스크 생성과정을 도시한 흐름도.
도 6은 본 발명의 일 실시예에 따른 마스크 보정과정을 도시한 흐름도.
도 7은 도 2에 도시된 안경 착용여부를 확인하는 과정을 도시한 흐름도.
도 8은 본 발명의 다른 실시예에 따른 에어백 제어 방법을 도시한 흐름도.
본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 에어백 제어 장치를 도시한 블록구성도이다.
도 1에 도시된 바와 같이, 에어백 제어 장치는 영상 촬영부(110), 영상 처리부(120), 메모리(130), 충돌 감지부(140), 제어부(150) 및 에어백 구동부(160)를 포함한다.
영상 촬영부(110)는 차량 내 영상을 촬영한다. 영상 촬영부(110)는 카메라(111)와 조명(112)을 포함할 수 있다. 카메라(111)는 적외선 카메라로 구현되고, 조명(112)는 적외선 LED(Light Emitting Diode)로 구현될 수 있다. 본 실시예에서는 영상 촬영부(110)가 하나의 카메라(111)과 하나의 조명(112)을 구비하는 것을 예로 들어 설명하고 있으나, 이에 한정되지 않고 영상 촬영부(110)는 둘 이상의 카메라(111)와 둘 이상의 조명(112)을 포함하도록 구성될 수도 있다.
또한, 영상 촬영부(110)는 운전자 상태 모니터링 시스템(Driver State Monitoring, DSM) 내 구비된 카메라와 조명으로 구현될 수 있다. 다시 말해서, 에어백 제어 장치는 차량 내 운전자 상태 모니터링 시스템이 탑재된 경우, 별도의 영상 촬영부(110)를 구현하지 않고 운전자 상태 모니터링 시스템의 조명 및 카메라를 이용하여 탑승자(예: 운전자 및 승객 등)의 영상을 획득할 수 있다.
영상 촬영부(110)는 차량 내 각 좌석(운전석, 조수석 및 뒷좌석)의 전방에 각각 배치될 수 있다. 예를 들어, 영상 촬영부(110)는 운전대(steering wheel) 또는 계기판(instrument panel), 대시보드(dashboard) 또는 시트의 헤드레스트(headrest) 등에 장착될 수 있다.
영상 처리부(120)는 영상 촬영부(110)를 통해 촬영한 영상(image data)에 대해 영상 처리를 수행한다. 다시 말해서, 영상 처리부(120)는 영상 촬영부(110)를 통해 영상을 획득하면, 획득한 영상을 이진화한다. 예컨대, 영상 처리부(120)는 영상의 각 픽셀의 값(픽셀값)이 임계치(threshold) 이상인지를 확인하고, 그 확인결과 픽셀값이 임계치 이상이면 해당 픽셀의 픽셀값을 '1'로 설정하고 픽셀값이 임계치 미만이면 해당 픽셀의 픽셀값을 '0'으로 설정한다.
또한, 영상 처리부(120)는 지정된 마스크(mask)를 이용하여 이진화된 영상(이진 영상)에서 노이즈(예: 차량 윈도우 영역)를 제거한다. 이후, 영상 처리부(120)는 노이즈가 제거된 이진 영상을 제어부(150)에 전달한다.
영상 처리부(120)는 노이즈 제거를 위한 마스크를 생성하여 메모리(130)에 저장한다. 영상 처리부(120)는 차종 및 영상 촬영부(110)의 장착 위치가 확정된 후 영상 촬영부(110)가 차량 내 확정된 위치에 장착되면, 탑승자가 없는 상태에서 영상 촬영부(110)를 통해 영상을 획득(촬영)한다. 영상 처리부(120)는 획득한 영상을 이진 처리하여 마스크를 생성한다.
영상 처리부(120)는 영상 촬영부(110)의 위치 및 각도가 변경된 경우, 마스크 보정(업데이트)모드 진입조건을 만족하는지를 확인한다. 영상 처리부(120)는 영상 촬영부(110)의 위치 및 각도가 조정되면 영상 촬영부(110)와의 통신을 통해 이를 인식한다.
영상 처리부(120)는 마스크 보정모드 진입조건을 만족하면, 마스크 보정모드로 진입한다. 예를 들어, 영상 처리부(120)는 운전자가 시동을 끄고 차량에서 내리거나 또는 시트의 무게 센서를 이용하여 탑승자의 자리를 비운 경우, 마스크 보정 모드로 진입한다.
영상 처리부(120)는 마스크 보정 모드로 진입하면 영상 촬영부(110)를 통해 탑승자가 없는 상태에서의 영상을 획득한다. 영상 처리부(120)는 저장된 최근 소정 개의 영상에 대해 평균 영상을 계산한다. 영상 처리부(120)는 최근 영상들 간에 대응되는 각 픽셀별로 평균 픽셀값을 연산한다.
영상 처리부(120)는 평균 영상을 이진 영상으로 변환하여 마스크를 생성한다. 그리고, 영상 처리부(120)는 생성된 마스크로 메모리(130)에 저장된 이전 마스크를 업데이트한다.
또한, 영상 처리부(120)는 영상 촬영부(110)에 의해 촬영된 영상에서 얼굴 영역(얼굴 영상)을 추출하고, 그 추출한 얼굴 영역(얼굴 영상)에서 조명반사점을 검출한다. 이때, 영상 처리부(120)는 얼굴 영역에서 특정 영역(눈 영역)을 추출하고 그 추출된 특정 영역의 영상(예: 눈 영상)을 이진화하여 조명반사점을 검출한다. 얼굴 영역 및/또는 눈 영역 검출은 공지된 얼굴 영역 및/또는 눈 영역 검출 기법들 중 어느 하나의 기법을 이용하여 수행되므로, 본 실시예에서는 이에 대한 상세한 설명을 생략한다.
메모리(130)는 제어부(150)의 동작을 위한 프로그램, 마스크, 영상 촬영부(110)에 의해 촬영된 영상, 얼굴 정보에 따른 에어백 제어정보가 기록된 룩업 테이블 등을 저장할 수 있다.
또한, 메모리(130)는 에어백 제어 장치의 동작에 따라 입/출력되는 데이터들을 임시 저장할 수도 있다. 이러한 메모리(130)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), 롬(Read Only Memory, ROM), 웹 스토리지(web storage) 등의 저장매체 중 어느 하나 이상의 저장매체로 구현될 수 있다.
충돌 감지부(140)는 차량의 위험 상황(예: 충돌)을 감지한다. 충돌 감지부(140)는 충격을 감지하는 복수 개의 충격센서로 구현되거나 또는 충돌예방시스템(collision Avoidance System, CAS) 등으로 구현될 수 있다. 충돌 감지부(140)가 CAS로 구현되는 경우, 충돌 감지부(140)는 충돌 시점 및 충돌 위치 등을 미리 예측할 수 있다.
제어부(150)는 영상 처리부(120)에 의해 영상 처리된 영상의 행 누적 그래프 및 열 누적 그래프를 이용하여 얼굴 위치를 파악한다. 다시 말해서, 영상 처리부(120)는 각 행마다 모든 열의 픽셀값을 더하여 열 누적 그래프를 산출하고, 각 열마다 모든 행의 픽셀 값을 더하여 행 누적 그래프를 산출한다.
제어부(150)는 각 그래프의 분포도를 통해 가장 높은 값(누적된 픽셀값)을 지니는 값을 얼굴 중점으로 결정한다. 그리고, 제어부(150)는 각 그래프에서 일정 값 이상의 값(누적된 픽셀값)을 가지는 지점부터 일정 값 이하의 값으로 떨어지는 지점까지를 얼굴 영역이라 지정한다. 제어부(150)는 둘 이상의 얼굴 영역이 검출되는 경우, 가장 긴 영역을 얼굴 영역으로 정의한다.
제어부(150)는 영상 처리부(120)에 의해 검출된 조명반사점의 크기에 근거하여 안경 착용유무를 결정한다. 예컨대, 제어부(150)는 검출된 조명반사점들 중 설정된 기준 크기 이상인 조명반사점이 존재하면 탑승자가 안경을 착용한 것으로 결정하고, 기준 크기 이상의 조명반사점이 존재하지 않으면 탑승자가 안경을 미착용한 상태로 결정한다. 이때, 기준 크기는 영상 내 최고 픽셀값의 10% 이내로 결정한다.
제어부(150)는 영상 처리부(120)로부터 출력되는 영상으로부터 탑승자 얼굴 정보를 검출한다. 여기서, 탑승자 얼굴 정보는 탑승자의 얼굴 위치, 안경 착용유무 및 카메라(111)로부터 얼굴까지의 거리(이하, 얼굴 거리)를 포함한다.
제어부(150)는 메모리(130)에 기저장된 룩업 테이블을 활용하여 탑승자 얼굴 정보에 따른 에어백 제어정보를 결정한다. 여기서, 에어백 제어정보는 에어백의 전개각도(전개방향), 전개압력, 전개속도, 및 복수 개의 에어백들 중 전개할 에어백위치 등을 포함한다.
제어부(150)는 충돌 감지부(140)를 통해 차량의 충돌을 감지하면, 결정된 에어백 제어정보를 에어백 구동부(160)에 전달한다. 즉, 제어부(150)는 결정된 에어백 제어정보에 따라 에어백을 전개하도록 에어백 구동부(160)를 제어한다.
에어백 구동부(160)는 제어부(150)의 제어에 따라 에어백의 위치를 이동시킨 후 에어백을 정해진 전개압력으로 에어백을 전개한다. 즉, 에어백 구동부(160)는 제어부(150)에 의해 결정된 에어백의 전개압력, 전개속도 및 전개방향(전개각도)으로 에어백을 전개한다. 에어백은 운전대의 혼(horn) 영역, 차량 내 각 좌석의 전방 및 측방에 고정되어 장착된다. 이러한 에어백들은 선택적으로 전개될 수 있다. 에어백은 전개 방향 제어를 위해 연결 부분에 6축 운동(x, y, z, x축 회전, y축 회전 및 z축 회전)이 가능하도록 모터를 연결한다.
도 2는 본 발명의 일 실시예에 따른 에어백 제어 방법을 도시한 흐름도이다.
도 2에 도시된 바와 같이, 제어부(150)는 영상 촬영부(110)를 통해 영상을 촬영한다(S110). 제어부(150)는 영상 촬영부(110)가 차량 내 확정된 위치에 장착되면, 영상 처리부(120)를 통해 영상 촬영부(110)에 의해 촬영된 영상을 획득한다.
제어부(150)는 영상 촬영부(110)를 통해 획득한 영상에서 탑승자의 얼굴 위치를 확인한다(S120). 이때, 영상 처리부(120)는 영상 촬영부(110)로부터 전달받은 영상을 영상 처리하여 제어부(150)로 전달한다. 제어부(150)는 영상 처리부(120)에 의해 영상 처리된 영상으로부터 탑습장의 얼굴 위치를 확인한다.
제어부(150)는 획득한 영상에서 안경 착용유무를 확인한다(S130). 제어부(150)는 안경렌즈에서 반사되는 조명반사점(글린트)을 이용하여 탑승자의 안경 착용유무를 결정한다.
제어부(150)는 얼굴 위치 및 안경 착용유무에 따라 에어백 제어정보를 결정한다(S140). 이때, 제어부(150)는 메모리(130)에 저장된 룩업테이블을 활용하여 에어백의 전개각도, 전개압력 및 전개속도 등의 에어백 제어정보를 결정한다.
이후, 제어부(150)는 차량의 충돌 발생 여부를 확인한다(S150). 즉, 제어부(150)는 충돌 감지부(140)를 통해 차량의 위험 상황을 감지한다.
제어부(150)는 차량의 충돌이 감지되면 결정된 에어백 제어정보에 따라 에어백을 전개한다(S160). 에어백 구동부(160)는 제어부(150)의 제어에 따라 결정된 전개각도, 전개압력 및 전개속도로 에어백을 작동시킨다.
도 3은 도 2에 도시된 얼굴 위치 확인과정을 도시한 흐름도이고, 도 4a 내지 도 4c는 얼굴 위치를 확인하는 일 예를 도시한다.
영상 처리부(120)는 제어부(150)의 제어에 따라 영상 촬영부(110)로부터 획득한 영상을 이진 처리를 통해 이진 영상으로 전환한다(S121). 예를 들어, 도 4a에 도시된 바와 같이, 영상 처리부(120)는 임계치(threshold)를 이용하여 획득한 영상을 이진화한다.
영상 처리부(120)는 지정된 마스크를 이용하여 이진 영상 내 노이즈를 제거한다(S123). 도 4b에 도시된 바와 같이, 영상 처리부(120)는 지정된 마스크를 이용하여 이진 영상에서 차량 윈도우에 의한 노이즈를 제거한다. 이후, 영상 처리부(120)는 영상 처리된 이진 영상을 제어부(150)에 전달한다.
제어부(150)는 각 행마다 모든 열을 더한 열 누적 그래프와 각 열마다 모든 행의 값을 더한 행 누적 그래프를 산출하고 그 산출된 열 누적 그래프와 행 누적 그래프를 이용하여 얼굴 위치를 파악한다(S125)(도 4c 참조).
도 5는 본 발명의 일 실시예에 따른 마스크 생성과정을 도시한 흐름도이다.
도 5에 도시된 바와 같이, 제어부(150)는 영상 촬영부(110)의 장착 위치 및 차종이 확정되면, 영상 촬영부(110)를 통해 차량 내부 영상을 획득한다(S210, S220). 이때, 영상 촬영부(110)는 밝은 실내 또는 한낮에 해당 시트에 탑승자가 없는 상태에서 영상을 촬영한다.
영상 처리부(120)는 영상 촬영부(110)를 통해 획득한 영상을 이진화하여 마스크를 생성한다(S230). 영상 처리부(120)는 생성된 마스크를 메모리(130)에 저장한다(S240).
도 6은 본 발명의 일 실시예에 따른 마스크 보정과정을 도시한 흐름도이다.
제어부(150)는 영상 촬영부(110)의 위치 및 각도가 변경되면 마스크 보정모드 진입조건을 만족하는지를 확인한다(S310). 예를 들어, 제어부(150)는 영상 촬영부(110)의 장착 위치 및 각도가 조정된 경우 해당 시트에 탑승자가 존재하는지를 확인하여 마스크 보정모드 진입조건 만족여부를 결정한다.
제어부(150)는 마스크 보정모드 진입조건을 만족하면 마스크 보정모드로 진입한다(S320).
이어서, 제어부(150)는 영상 촬영부(110)를 통해 영상을 획득한다(S330). 예컨대, 제어부(150)는 운전자가 시동을 끄고 차량에서 내릴 때마다 또는 시트의 무게 센서를 통해 탑승자가 자리를 비울 때마다 영상 촬영부(110)를 통해 영상을 획득한다. 제어부(150)는 획득한 영상을 메모리(130)에 저장한다.
제어부(150)는 영상 처리부(120)를 제어하여 메모리(130)에 저장된 최근 일정 개의 영상들의 평균 영상을 산출한다(S340). 영상 처리부(120)는 각 영상들간의 대응되는 픽셀별로 평균값을 연산한다.
영상 처리부(120)는 산출된 평균 영상을 이진 처리하여 마스크를 생성한다(S350). 영상 처리부(120)는 생성된 마스크로 메모리(130)에 저장된 이전 마스크를 업데이트한다(S360).
도 7은 도 2에 도시된 안경 착용여부를 확인하는 과정을 도시한 흐름도이다.
도 7에 도시된 바와 같이, 제어부(150)는 영상 처리부(120)를 제어하여 영상 촬영부(110)를 통해 획득한 영상에서 얼굴 영역(얼굴 영상)을 검출한다(S131). 이때, 영상 처리부(120)는 검출된 얼굴 영역에서 눈 영역(눈 영상)을 추출할 수도 있다. 이 경우, 영상 처리부(120)는 눈 영상에서 조명반사점을 검출한다.
영상 처리부(120)는 검출된 얼굴 영역에서 조명반사점을 검출한다(S133). 본 실시예에서는 공지된 조명반사점 검출방식을 이용하여 조명반사점을 검출하므로, 이에 대한 상세한 설명은 생략한다.
제어부(150)는 영상 처리부(120)에 의해 검출된 하나 이상의 조명반사점들 중 설정된 기준 크기 이상의 조명반사점이 존재하는지를 확인한다(S135).
제어부(150)는 기준 크기 이상의 조명반사점이 존재하는 경우, 탑승자가 안경을 착용한 상태로 결정한다(S137). 한편, 제어부(150)는 기준 크기 이상의 조명반사점이 존재하지 않는 경우, 탑승자가 안경을 미착용한 상태로 결정한다(S139).
도 8은 본 발명의 다른 실시예에 따른 에어백 제어 방법을 도시한 흐름도이다. 본 실시예는 영상 촬영부(110)에 둘 이상의 카메라가 구비된 경우를 예로 들어 설명한다.
제어부(150)는 영상 촬영부(110) 내 구비된 둘 이상의 카메라(111)들을 캘리브레이션한다(S410). 제어부(150)는 둘 이상의 카메라(111)들의 위치가 확정된 후 한 번 이상 카메라 캘리브레이션(camera calibration)을 수행한다.
제어부(150)는 카메라 캘리브레이션 후, 영상 촬영부(110)를 제어하여 영상을 촬영한다(S420). 이때, 영상 촬영부(110)는 둘 이상의 카메라(111)들을 이용하여 둘 이상의 영상들을 촬영한다.
제어부(150)는 영상 촬영부(110)를 통해 획득한 영상에서 얼굴 위치를 확인한다(S430). 영상 처리부(120)는 제어부(150)의 제어에 따라 영상 촬영부(110)로부터 획득한 둘 이상의 영상들 각각을 이진 영상으로 변환하고 지정된 마스크를 이용하여 영상 내 노이즈를 제거한다. 그리고, 제어부(150)는 영상 처리부(120)로부터 출력되는 노이즈가 제거된 이진 영상들 각각에 대한 행 누적 그래프와 열 누적 그래프를 산출하고 이를 이용하여 탑승자의 얼굴 위치를 확인한다.
제어부(150)는 획득한 영상을 이용하여 탑승자의 안경 착용유무를 확인한다(S440). 제어부(150)는 영상 처리부(120)에 의해 영상 처리된 영상에서 조명반사점을 검출하고 검출된 조명반사점들 중 설정된 기준 크기 이상의 조명반사점이 존재하는지를 확인한다. 제어부(150)는 설정된 기준 크기 이상의 조명반사점의 검출여부에 따라 탑승자의 안경 착용유무를 결정한다.
제어부(150)는 영상 촬영부(110)의 카메라 정보를 이용하여 카메라(111)와 탑승자의 얼굴 간의 거리(얼굴 거리)를 연산한다(S450).
제어부(150)는 얼굴 위치, 안경 착용유무 및 얼굴 거리에 근거하여 에어백 제어정보를 결정한다(S460). 여기서, 에어백 제어정보는 에어백의 전개각도, 전개압력 및 전개속도 등을 포함한다.
이후, 제어부(150)는 충돌 감지부(140)를 통해 차량 충돌이 감지되는지를 확인한다(S470). 예를 들어, 제어부(150)는 충돌예방시스템(collision Avoidance System, CAS)와 연동하여 차량의 위험 상황(충돌 위치 및 충돌 시간 등)을 예측할 수 있다.
제어부(150)는 차량 충돌이 감지되면 에어백 제어정보에 따라 에어백 구동부(160)를 제어하여 에어백을 전개한다(S480). 에어백 구동부(160)는 결정된 전개각도, 전개압력 및 전개속도로 에어백을 작동시킨다.
본 발명은 저해상도 카메라의 적용이 가능하며, 탑승자의 얼굴이 한쪽으로 기울어진 경우 사이드 에어백을 전개하여 효과적으로 탑승자를 보호할 수 있다.
또한, 본 발명은 적외선 LED와 적외선 카메라를 사용하는 경우, 카메라 수에 따라 탑승자의 얼굴 거리 및 방향, 및 안경 착용유무까지 확인할 수 있다.
또한, 본 발명은 계산 복잡도가 높지 않아 차량 제어기를 이용하여 구현할 수도 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
110: 영상 촬영부 111: 카메라
112: 조명 120: 영상 처리부
130: 메모리 140: 충돌 감지부
150: 제어부 160: 에어백 구동부

Claims (15)

  1. 하나 이상의 카메라와 하나 이상의 조명을 구비하는 영상 촬영부;
    상기 영상 촬영부를 통해 획득한 영상에 대해 영상 처리를 수행하는 영상 처리부;
    차량의 충돌을 감지하는 충돌 감지부;
    에어백을 작동시키는 에어백 구동부; 및
    상기 영상 처리부에 의해 영상 처리된 영상으로부터 탑승자의 안경 착용 유무를 확인하고, 상기 탑승자가 안경을 착용하고 있으면 안경 착용에 따른 에어백의 전개각도와 전개압력 및 전개속도를 결정하는 제어부
    를 포함하는 에어백 제어 장치.
  2. 제1항에 있어서,
    상기 영상 촬영부는,
    운전자상태감시장치(DSM)로 구현되는 것을 특징으로 하는 에어백 제어 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 영상 촬영부가 둘 이상의 카메라를 구비하는 경우, 영상 촬영부가 장착되면 한 번 이상의 카메라 캘리브레이션을 수행하는 것을 특징으로 하는 에어백 제어 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는,
    상기 획득한 영상을 이진 영상으로 변환한 후 마스크를 이용하여 노이즈를 제거하는 것을 특징으로 하는 에어백 제어 장치.
  5. 제4항에 있어서,
    상기 영상 처리부는,
    시트에 탑승자가 존재하지 않는 상태에서 상기 영상 촬영부를 통해 획득한 영상을 이진 처리하여 마스크를 생성하고 생성된 마스크를 메모리에 저장하는 것을 특징으로 하는 에어백 제어 장치.
  6. 제5항에 있어서,
    상기 영상 처리부는,
    상기 영상 촬영부의 장착 위치 및 각도가 변경된 경우, 탑승자가 존재하지 않을 때 차량 내부 영상을 촬영하고 촬영된 영상을 이진 처리하여 마스크를 생성하여 메모리에 저장된 이전 마스크를 업데이트하는 것을 특징으로 하는 에어백 제어 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    획득한 영상 내 기준 크기 이상의 조명반사점이 검출되는지 여부에 따라 탑승자의 안경 착용여부를 결정하는 것을 특징으로 하는 에어백 제어 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 탑승자의 얼굴 위치를 더 고려하여 에어백의 전개각도와 전개압력 및 전개속도를 결정하는 제어부
    를 포함하는 에어백 제어 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 카메라로부터 얼굴까지의 거리를 더 고려하여 에어백의 전개각도와 전개압력 및 전개속도를 결정하는 제어부
    를 포함하는 에어백 제어 장치.
  10. 영상 촬영부를 통해 영상을 획득하는 단계;
    상기 획득한 영상으로부터 탑승자의 안경 착용 유무를 확인하는 단계;
    상기 탑승자가 안경을 착용하고 있으면 안경 착용에 따른 에어백의 전개각도와 전개압력 및 전개속도를 결정하는 단계; 및
    충돌을 감지하면 상기 결정된 에어백의 전개각도와 전개압력 및 전개속도에 기초하여 에어백을 전개하는 단계
    를 포함하는 에어백 제어 방법.
  11. 제10항에 있어서,
    상기 영상 촬영부가 둘 이상의 카메라를 구비하는 경우, 상기 영상을 획득하기 전 카메라 캘리브레이션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 에어백 제어 방법.
  12. 제10항에 있어서,
    상기 안경 착용유무를 확인하는 단계는,
    상기 획득한 영상 내 검출되는 조명반사점을 이용하여 탑승자의 안경 착용유무를 확인하는 것을 특징으로 하는 에어백 제어 방법.
  13. 삭제
  14. 삭제
  15. 삭제
KR1020160059562A 2016-05-16 2016-05-16 에어백 제어 장치 및 방법 KR101774692B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160059562A KR101774692B1 (ko) 2016-05-16 2016-05-16 에어백 제어 장치 및 방법
US15/356,986 US10131309B2 (en) 2016-05-16 2016-11-21 Apparatus and method for controlling airbag
CN201611089762.9A CN107380111B (zh) 2016-05-16 2016-12-01 用于控制气囊的装置和方法
DE102016123231.9A DE102016123231B4 (de) 2016-05-16 2016-12-01 Vorrichtung und Verfahren zum Steuern eines Airbags

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160059562A KR101774692B1 (ko) 2016-05-16 2016-05-16 에어백 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101774692B1 true KR101774692B1 (ko) 2017-09-04

Family

ID=59924108

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160059562A KR101774692B1 (ko) 2016-05-16 2016-05-16 에어백 제어 장치 및 방법

Country Status (4)

Country Link
US (1) US10131309B2 (ko)
KR (1) KR101774692B1 (ko)
CN (1) CN107380111B (ko)
DE (1) DE102016123231B4 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005746B1 (ko) * 2018-01-16 2019-07-31 아우토리브 디벨롭먼트 아베 자율주행 자동차의 에어백 장치
KR20200028755A (ko) * 2018-09-07 2020-03-17 현대자동차주식회사 차량 및 그 제어방법
WO2021172762A1 (ko) * 2020-02-28 2021-09-02 임상진 생명 보호 장치 시스템
KR102425389B1 (ko) * 2021-04-29 2022-07-27 한국전자기술연구원 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210295384A1 (en) 2016-06-23 2021-09-23 State Farm Mutual Automobile Insurance Company Systems and methods for environmental analysis based upon vehicle sensor data
JP6667743B2 (ja) 2018-01-25 2020-03-18 三菱電機株式会社 乗員検知装置、乗員検知システム及び乗員検知方法
US10776644B1 (en) 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
US10275670B1 (en) 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
US11254270B1 (en) * 2018-05-02 2022-02-22 State Farm Mutual Automobile Insurance Company Technologies for using image analysis to facilitate adjustments of vehicle components
JP7314486B2 (ja) * 2018-09-06 2023-07-26 株式会社アイシン カメラキャリブレーション装置
JP7222642B2 (ja) * 2018-09-26 2023-02-15 株式会社Subaru 車両の乗員監視装置、および乗員保護システム
CN109733280B (zh) * 2018-12-05 2021-07-20 江苏大学 基于驾驶员面部特征的车辆安全装置及其控制方法
CN109733314B (zh) * 2018-12-05 2021-08-03 江苏大学 机动车智能安全装置及其控制方法
US11390230B2 (en) 2019-10-24 2022-07-19 GM Global Technology Operations LLC System and method to establish a deployment force for an airbag
JP2022140026A (ja) * 2021-03-12 2022-09-26 本田技研工業株式会社 画像処理装置、画像処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630842B1 (ko) * 2005-06-08 2006-10-02 주식회사 현대오토넷 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
JP2008307987A (ja) * 2007-06-13 2008-12-25 Sumitomo Electric Ind Ltd エアバッグ制御方法、エアバッグ制御装置及びエアバッグシステム
JP5638139B2 (ja) * 2011-08-10 2014-12-10 本田技研工業株式会社 乗員検知装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60152904A (ja) * 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
JPH10315906A (ja) 1997-05-21 1998-12-02 Zexel Corp 乗員認識方法と乗員認識装置及びエアバック制御方法とエアバック装置
DE19932520A1 (de) 1999-07-12 2001-02-01 Hirschmann Austria Gmbh Rankwe Vorrichtung zur Steuerung eines Sicherheitssystems
US6904347B1 (en) 2000-06-29 2005-06-07 Trw Inc. Human presence detection, identification and tracking using a facial feature image sensing system for airbag deployment
US6724920B1 (en) 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
US6493620B2 (en) * 2001-04-18 2002-12-10 Eaton Corporation Motor vehicle occupant detection system employing ellipse shape models and bayesian classification
EP1772321A3 (en) * 2002-02-02 2007-07-11 Qinetiq Limited Method of Identifying and Tracking Objects
JP2004053324A (ja) * 2002-07-17 2004-02-19 Denso Corp 自動車用衝突安全制御装置
DE60236461D1 (de) * 2002-07-26 2010-07-01 Mitsubishi Electric Corp Bildverarbeitungsvorrichtung
KR100507187B1 (ko) 2003-05-09 2005-08-10 현대자동차주식회사 승객 감지 시스템 및 그의 방법
US7379559B2 (en) * 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
JP2005067281A (ja) * 2003-08-20 2005-03-17 Toshiba Corp 距離検出装置、エアバッグ制御装置および距離検出方法
JP4539348B2 (ja) * 2004-09-07 2010-09-08 日産自動車株式会社 衝突時間算出装置および障害物検出装置
JP4658899B2 (ja) * 2006-10-24 2011-03-23 本田技研工業株式会社 車両の乗員検知装置
JP5262570B2 (ja) 2008-10-22 2013-08-14 トヨタ自動車株式会社 車両デバイス制御装置
JP5500183B2 (ja) 2012-01-12 2014-05-21 株式会社デンソー 車両用衝突安全制御装置
JP5867355B2 (ja) * 2012-10-02 2016-02-24 株式会社デンソー 状態監視装置及び状態監視プログラム
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
KR101646349B1 (ko) * 2014-10-07 2016-08-08 현대자동차주식회사 차량용 후석 에어백 장치 및 그 제어방법
KR102332272B1 (ko) 2014-11-18 2021-12-01 삼성디스플레이 주식회사 이방성 도전 필름 및 이를 갖는 표시장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630842B1 (ko) * 2005-06-08 2006-10-02 주식회사 현대오토넷 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
JP2008307987A (ja) * 2007-06-13 2008-12-25 Sumitomo Electric Ind Ltd エアバッグ制御方法、エアバッグ制御装置及びエアバッグシステム
JP5638139B2 (ja) * 2011-08-10 2014-12-10 本田技研工業株式会社 乗員検知装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005746B1 (ko) * 2018-01-16 2019-07-31 아우토리브 디벨롭먼트 아베 자율주행 자동차의 에어백 장치
KR20200028755A (ko) * 2018-09-07 2020-03-17 현대자동차주식회사 차량 및 그 제어방법
KR102591195B1 (ko) * 2018-09-07 2023-10-20 현대자동차주식회사 차량 및 그 제어방법
WO2021172762A1 (ko) * 2020-02-28 2021-09-02 임상진 생명 보호 장치 시스템
KR102425389B1 (ko) * 2021-04-29 2022-07-27 한국전자기술연구원 자전거도로 및 산책로 차선인식 알고리즘의 성능강화 및 주행제어 방법

Also Published As

Publication number Publication date
CN107380111A (zh) 2017-11-24
US20170327069A1 (en) 2017-11-16
DE102016123231A1 (de) 2017-11-16
CN107380111B (zh) 2021-07-16
DE102016123231B4 (de) 2021-10-21
US10131309B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
KR101774692B1 (ko) 에어백 제어 장치 및 방법
US6005958A (en) Occupant type and position detection system
US7196305B2 (en) Vehicle imaging processing system and method having obstructed image detection
JP4658899B2 (ja) 車両の乗員検知装置
JP6485234B2 (ja) 路面表示装置
US20030076981A1 (en) Method for operating a pre-crash sensing system in a vehicle having a counter-measure system
US20040220705A1 (en) Visual classification and posture estimation of multiple vehicle occupants
KR100630842B1 (ko) 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
US7370975B2 (en) Image processing apparatus
EP2214121B1 (en) Safety system for a motor vehicle
JP4469508B2 (ja) シーン内の物体の位置を求めるための方法および装置
JP2016215786A (ja) 保護制御装置
WO2017065045A1 (ja) 保護制御装置
JP2005199814A (ja) 車載アプリケーション選択システム及び車載アプリケーション選択装置
EP3560770A1 (en) Occupant information determination apparatus
JP6318183B2 (ja) 画像処理装置
US20050151053A1 (en) Infrared proximity sensor for air bag safety
JP6841725B2 (ja) 他車監視システム
JP4799236B2 (ja) 車載表示システム
JP2007022428A (ja) 車両デバイス制御装置、および車両デバイス制御方法
JP2005278898A (ja) 視線検出装置
US20040249567A1 (en) Detection of the change of position of a vehicle occupant in an image sequence
KR101028284B1 (ko) 차량 충돌 방지 방법
KR101643875B1 (ko) 경보발생장치가 구비된 블랙박스
JP2019074964A (ja) 運転不能状態予測装置及び運転不能状態予測システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant