KR102673306B1 - 운전자 모니터링 장치 및 방법 - Google Patents

운전자 모니터링 장치 및 방법 Download PDF

Info

Publication number
KR102673306B1
KR102673306B1 KR1020190091755A KR20190091755A KR102673306B1 KR 102673306 B1 KR102673306 B1 KR 102673306B1 KR 1020190091755 A KR1020190091755 A KR 1020190091755A KR 20190091755 A KR20190091755 A KR 20190091755A KR 102673306 B1 KR102673306 B1 KR 102673306B1
Authority
KR
South Korea
Prior art keywords
driver
resistance value
sensor
posture
change
Prior art date
Application number
KR1020190091755A
Other languages
English (en)
Other versions
KR20210013924A (ko
Inventor
안대윤
김균하
김응환
서상경
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190091755A priority Critical patent/KR102673306B1/ko
Priority to US16/744,588 priority patent/US10977507B2/en
Publication of KR20210013924A publication Critical patent/KR20210013924A/ko
Application granted granted Critical
Publication of KR102673306B1 publication Critical patent/KR102673306B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/12—Construction of belts or harnesses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204—Actuation parameters of safety arrangents
    • B60R2021/01252—Devices other than bags
    • B60R2021/01265—Seat belts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Textile Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자 모니터링 장치 및 방법에 관한 것으로, 시트 벨트에 적어도 하나 이상이 장착되어 운전자의 움직임에 따른 저항값을 측정하는 센서, 및 상기 센서에 의해 측정되는 저항값의 변화에 근거하여 상기 운전자의 자세를 추정하는 제어기를 포함한다.

Description

운전자 모니터링 장치 및 방법{DRIVER MONITORING APPARATUS AND METHOD}
본 발명은 운전자 모니터링 장치 및 방법에 관한 것이다.
운전자 모니터링 시스템(Driver Monitoring System, DMS)은 운전자가 전방을 주시하지 않거나 졸음 운전을 하는 경우, 이를 미리 감지하여 운전자에게 주의를 주는 장치이다. 운전자 모니터링 장치는 운전자의 피로도 및/또는 부주의 운전을 판단하기 위해 운전 패턴 또는 차량 내부에 설치되는 카메라를 활용한다. 그러나, 운전 패턴은 간접적으로 추정하는 방식하고, 카메라는 외란광 및/또는 운전 자세 등과 같은 환경 조건에 영향을 많이 받아 운전자의 피로도 및/또는 부주의 운전을 판단하는데 있어 오류가 발생할 수 있다.
KR 1020190044818 A
본 발명은 시트 벨트(seat belt)에 스트레치 센서(stretch sensor)를 내장하고 스트레치 센서를 통해 운전자의 움직임을 감지하여 운전자 상태 및 자세를 추정하는 운전자 모니터링 장치 및 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따른 운전자 모니터링 장치는 시트 벨트에 적어도 하나 이상이 장착되어 운전자의 움직임에 따른 저항값을 측정하는 센서, 및 상기 센서에 의해 측정되는 저항값의 변화에 근거하여 상기 운전자의 자세를 추정하는 제어기를 포함한다.
상기 센서는 스트레치 센서로 구현되는 것을 특징으로 한다.
상기 센서는, 상기 운전자의 어깨를 지지하는 상기 시트 벨트의 제1지점에 장착되는 제1센서, 상기 운전자의 허리를 지지하는 상기 시트 벨트의 제2지점에 장착되는 제2센서, 및 상기 운전자의 허리를 지지하며 상기 제2지점에 대향하는 상기 시트 벨트의 제3지점에 장착되는 제3센서를 포함하는 것을 특징으로 한다.
상기 제어기는 차량 주행 시작 시 상기 제1센서, 상기 제2센서 및 상기 제3센서를 통해 제1초기 저항값, 제2초기 저항값 및 제3초기 저항값을 측정하여 저장하는 것을 특징으로 한다.
상기 제어기는 상기 제1초기 저항값, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제1센서, 상기 제2센서 및 상기 제3센서에 의해 측정되는 제1저항값, 제2저항값 및 제3저항값 각각의 변화가 제1기준 저항 이하이면 '자세 변화 없음'으로 판단하는 것을 특징으로 한다.
상기 제어기는 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 제2저항값 및 제3저항값 각각의 변화가 제2기준 저항 이상이며 상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정되는 저항값의 변화가 제3기준 저항 이하이면 '요추 불안정 자세'로 판단하는 것을 특징으로 한다.
상기 제어기는 상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정된 제1저항값의 변화가 상기 제2기준 저항 이상이며, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 제2저항값 및 제3저항값 각각의 변화가 상기 제3기준 저항 이하이면 '경추 불안정 자세'로 판단하는 것을 특징으로 한다.
상기 제어기는 상기 운전자의 자세에 따라 차내기기와 연계하여 운전자에게 피드백을 제공하는 것을 특징으로 한다.
상기 차내기기는 클러스터, 시트 제어 장치, AVN 및 시트 벨트 제어 장치 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
상기 운전자 모니터링 장치는 차량 내 장착되어 운전자의 영상을 취득하는 카메라를 더 포함하고, 상기 제어기는 상기 카메라에 의해 취득된 영상을 분석하여 상기 운전자의 눈감음 여부를 판단하고, 상기 운전자의 눈감음 여부와 상기 운전자의 자세에 근거하여 상기 운전자의 졸음 상태를 판단하는 것을 특징으로 한다.
한편, 본 발명의 일 실시 예에 따른 운전자 모니터링 방법은 차량이 주행하는 동안 시트 벨트에 장착된 적어도 하나의 센서를 통해 저항값을 측정하는 단계, 및 상기 적어도 하나의 센서에 의해 측정되는 저항값의 변화에 근거하여 운전자의 자세를 추정하는 단계를 포함한다.
상기 저항값을 측정하는 단계 이전에, 상기 차량이 주행을 시작할 때 운전자의 어깨를 지지하는 상기 시트 벨트의 제1지지점에 장착되는 제1센서를 통해 제1초기 저항값을 측정하고, 상기 운전자의 허리를 지지하는 상기 시트 벨트의 제2지지점 및 제3지지점에 각각 장착되는 제2센서 및 제3센서를 통해 제2초기 저항값 및 제3초기 저항값을 측정하여 저장하는 단계를 더 포함하는 것을 특징으로 한다.
상기 운전자의 자세를 추정하는 단계는, 상기 제1초기 저항값 내지 상기 제3초기 저항값을 기반으로 상기 제1센서, 상기 제2센서 및 상기 제3센서 각각에 의해 측정되는 제1저항값, 제2저항값 및 제3저항값의 변화를 산출하는 단계, 및 상기 제1저항값, 상기 제2저항값 및 상기 제3저항값의 변화에 근거하여 상기 운전자의 자세를 판정하는 단계를 포함하는 것을 특징으로 한다.
상기 운전자의 자세를 판정하는 단계는, 상기 제1초기 저항값, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제1센서, 상기 제2센서 및 상기 제3센서에 의해 측정되는 제1저항값, 제2저항값 및 제3저항값 각각의 변화가 제1기준 저항 이하이면 '자세 변화 없음'으로 결정하는 것을 특징으로 한다.
상기 운전자의 자세를 판정하는 단계는, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 상기 제2저항값 및 상기 제3저항값 각각의 변화가 제2기준 저항 이상이고, 상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정되는 제1저항값의 변화가 제3기준 저항 이하이면 '요추 불안정 자세'로 판단하는 것을 특징으로 한다.
상기 운전자의 자세를 판정하는 단계는, 상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정되는 제1저항값의 변화가 상기 제2기준 저항 이상이고, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 상기 제2저항값 및 상기 제3저항값 각각의 변화가 상기 제3기준 저항 이하이면 '경추 불안정 자세'로 판단하는 것을 특징으로 한다.
상기 운전자의 자세를 추정하는 단계 이후, 상기 운전자의 자세에 따라 차내기기와의 연계를 통해 운전자에게 피드백을 제공하는 단계를 더 포함하는 것을 특징으로 한다.
상기 피드백은 운전자의 휴식 또는 자세 교정을 유도하는 정보를 포함하는 것을 특징으로 한다.
상기 저항값을 측정하는 단계에서, 차량 내 장착된 카메라를 통해 운전자의 영상을 취득하는 것을 특징으로 한다.
상기 운전자의 자세를 추정하는 단계에서, 상기 카메라에 의해 취득된 영상을 분석하여 운전자의 눈감음 여부를 판단하고, 상기 운전자의 눈감음 여부 및 상기 운전자의 자세를 기반으로 운전자의 졸음 상태를 판정하는 것을 특징으로 한다.
본 발명에 따르면, 시트 벨트에 스트레치 센서를 내장하고 스트레치 센서를 통해 운전자의 움직임을 감지하여 운전자 상태 및 자세를 추정하므로, 운전자의 움직임 감지를 위한 별도의 기구 또는 장치를 추가하지 않아도 되어 적은 비용으로 구현이 가능하다.
또한, 본 발명에 따르면, 스트레치 센서를 통해 운전자의 움직임을 직접 감지하므로 외부광, 진동 및 소리 등의 환경 요인에 영향을 받지 않는다.
또한, 본 발명에 따르면, 운전자 상태 및 자세를 기반으로 차량 내 기능과 연계하여 피드백을 제공하므로, 졸음운전 및/또는 요통 등의 유발을 방지할 수 있어 운전자의 안전과 건강을 지켜줄 수 있다.
도 1은 본 발명의 일 실시 예에 따른 운전자 모니터링 장치를 도시한 블록구성도.
도 2는 본 발명의 일 실시 예에 따른 스트레치 센서의 배치 예를 도시한 도면.
도 3은 본 발명의 일 실시 예에 따른 운전자 모니터링 방법을 도시한 흐름도.
도 4는 본 발명의 일 실시 예에 따른 운전자 모니터링 결과에 따른 피드백을 출력하는 일 예.
도 5는 본 발명의 다른 실시 예에 따른 운전자 모니터링 장치를 도시한 블록구성도.
이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 시트 벨트(seat belt) 즉, 안전 벨트(safety belt)에 스트레치 센서(stretch sensor)를 내장하여 운전자의 움직임을 직접 측정하는 방식으로 운전자의 졸음 또는 자세 변화를 측정하는 기술이다.
도 1은 본 발명의 일 실시 예에 따른 운전자 모니터링 장치를 도시한 블록구성도이다.
도 1을 참조하면, 운전자 모니터링 장치는 차량 내 네트워크(In-Vehicle Network, IVN)를 통해 연결되는 센서(110: 110a, 110b 및 110c), 차내기기(in-vehicle device)(120) 및 제어기(130)를 포함한다. IVN은 CAN(Controller Area Network), MOST(Media Oriented Systems Transport) 네트워크, LIN(Local Interconnect Network), 또는 X-by-Wire(Flexray) 등으로 구현된다.
센서(110)는 시트 벨트에 내장되어 사용자(예: 운전자 및/또는 탑승자 등)의 움직임에 따른 변형량(strain, 또는 변위량) 즉, 저항값(electrical resistance)을 계측한다. 이러한 센서(110)는 전도성 나노소재와 고무소재의 복합소재 기반의 박막으로 구현될 수 있다. 센서(110)는 사용자의 움직임에 따라 외부에서 가해지는 인장으로 박막이 늘어나게 되면 박막의 늘어나는 정도(stretch)에 따른 저항값을 출력한다. 센서(110)로는 변형력(deformation force) 및 신장력(stretching force)을 측정하는 스트레치 센서가 이용될 수 있다. 시트 벨트는 운전자의 움직임에 따라 1차적으로 센서(110)의 영향을 받고, 기준 이상의 큰 힘이 작용하면 안전벨트로써 작용하게 된다.
센서(110)는 시트 벨트의 지지점(고정점)에 각각 장착된다. 예를 들어, 차량에 3점식 시트 벨트가 장착된 경우, 센서(110)는 도 2에 도시된 바와 같이 시트 벨트의 지지점이 위치하는 세 지점 A, B 및 C에 각각 설치된다. 다시 말해서, 제1센서(110a)는 운전자의 어깨를 지지하는 A 지점에 설치되고, 제2센서(110b) 및 제3센서(110c)는 운전자의 허리를 지지하는 B 지점 및 C 지점에 설치된다. 본 실시 예에서는 3점식 시트 벨트의 지지점 3 군데에 센서(110)가 배치되는 것을 예로 들어 설명하고 있으나, 이에 한정되지 않고 차량에 5점식 시트 벨트가 적용된 경우 5개의 지지점에 각각 센서(110)를 배치하고, 차량에 6점식 시트 벨트가 적용된 경우 6개의 지지점에 각각 센서(110)를 배치할 수 있다.
차내기기(120)는 차량에 탑재되어 정해진 기능을 수행하는 전자기기로, 클러스터(121), 시트 제어 장치(122), AVN(Audio Video Navigation)(123) 및 시트 벨트 제어 장치(124) 등을 포함할 수 있다.
클러스터(121)는 차량의 주행 상태 및 차량 내 각종 장치의 작동에 대한 정보를 표시하는 역할을 한다. 클러스터(121)는 정보를 표시할 때 텍스트 및/또는 이미지 등의 형태로 출력할 수 있다. 예를 들어, 클러스터(121)는 휴식 추천 및/또는 자세 변화 추천 등을 메시지 및/또는 이미지 등의 시각 정보로 출력한다.
시트 제어 장치(122)는 마사지 기능(전동 기능), 등받이, 럼버 서포트(lumbar support), 및/또는 에어 쿠션 등을 작동시킨다. 시트 제어 장치(122)는 시트의 등받이, 럼버 서포트 및/또는 에어 쿠션 등의 움직임을 조정할 수 있다. 또한, 시트 제어 장치(122)는 시트의 쿠션 및/또는 등받이로 바람을 일으킬 수도 있다.
AVN(123)은 휴식 추천, 자세 변화 추천, 자세 교정 가이드 및/또는 바른 자세 가이드 등을 시각 정보 및/또는 청각 정보 등의 형태로 출력한다. AVN(123)은 시각 정보를 디스플레이에 표시하고 스피커를 통해 청각 정보를 출력할 수 있다.
시트 벨트 제어 장치(124)는 시트 벨트를 점진적으로 당겨 자세 교정과 운전자가 스스로 자세 불안정을 인지할 수 있도록 한다. 또한, 시트 벨트 제어 장치(124)는 시트 벨트에 진동을 발생시켜 운전자가 자세 불안정을 인지할 수 있게 할 수도 있다.
제어기(130)는 센서(110)에 의해 측정되는 저항값들의 변화에 근거하여 운전자의 상태 및/또는 자세(posture)를 추정할 수 있다. 여기서, 운전자의 상태는 운전자의 피로한 상태 및/또는 졸림 상태 등을 의미한다. 예컨대, 제어기(130)는 정해진 시간이 경과될 때까지 저항값들의 변화가 없는 경우 운전자에게 휴식이 필요한 상태로 판단할 수 있다. 제어기(130)는 저항값들이 서서히 변화하면 운전자가 피로한 상태로 판단할 수 있다. 또한, 제어기(130)는 저항값들의 변화가 지속적으로 발생하면 불안정한 자세로 판단할 수 있다. 제어기(130)는 운전자의 상태 및/또는 자세에 따라 차내기기(120)와 연계하여 운전자에게 피드백을 제공할 수 있다. 이러한 제어기(130)는 아날로그 디지털 변환기(Analog Digital Converter, ADC)(131), 메모리(132) 및 프로세서(133)를 포함한다.
ADC(131)는 아날로그 신호를 디지털 신호로 변환하는 변환기로, 센서(110)로부터 출력되는 센싱 신호를 수신하여 디지털 데이터 즉, 저항값으로 변환한다.
메모리(132)는 프로세서(133)가 정해진 동작을 수행하도록 프로그래밍된 소프트웨어를 저장할 수 있다. 메모리(132)는 제1기준 저항(R1), 제2기준 저항(R2), 제3기준 저항(R3) 등과 같은 설정 정보를 저장할 수 있다(여기서, R1 < R3 < R2). 또한, 메모리(132)는 운전자의 상태 및/또는 자세에 따른 피드백이 정의된 참조테이블(lookup table)를 저장할 수 있다. 예를 들어, 참조테이블은 [표 1]과 같이 구현될 수 있다.
자세 변화 없음 요추 불안정 자세 경추 불안정 자세
클러스터 자세 변화 추천 알림 자세 교정 필요 알림 자세 교정 필요 알림
시트 시트의 움직임 미세 조정 럼버 서포트 조정 -
AVN - 바른 자세 가이드 바른 자세 가이드
시트 벨트 시트 벨트 진동 시트 벨트 당김(자세 교정) 시트 벨트 당김
(자세 교정)
또한, 메모리(132)는 운전자 상태 분석 알고리즘 등을 저장할 수 있다. 메모리(132)는 플래시 메모리(flash memory), 하드디스크(hard disk), SD 카드(Secure Digital Card), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), PROM(Programmable Read Only Memory), EEPROM(Electrically Erasable and Programmable ROM), EPROM(Erasable and Programmable ROM), 레지스터, 및 착탈형 디스크 등의 저장매체 중 적어도 하나 이상의 저장매체(기록매체)로 구현될 수 있다.프로세서(133)는 제어기(130)의 전반적인 동작을 제어한다. 프로세서(133)는 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), PLD(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), CPU(Central Processing unit), 마이크로 컨트롤러(microcontrollers) 및 마이크로 프로세서(microprocessors) 중 적어도 하나 이상으로 구현될 수 있다.
프로세서(133)는 차량이 주행을 시작할 때 제1센서(110a), 제2센서(110b) 및 제3센서(110c)를 통해 제1초기 저항값, 제2초기 저항값 및 제3초기 저항값을 각각 획득하여 메모리(132)에 저장한다.
프로세서(133)는 차량이 주행하는 동안 기설정된 주기로 제1센서(110a), 제2센서(110b) 및 제3센서(110c)를 통해 측정되는 제1저항값, 제2저항값 및 제3저항값을 수집한다. 프로세서(133)는 제1초기 저항값, 제2초기 저항값 및 제3초기 저항값을 기반으로 제1저항값, 제2저항값 및 제3저항값의 변화량(변화)을 산출할 수 있다. 예를 들어, 프로세서(133)는 제1저항값에서 제1초기 저항값을 차감하므로 제1초기 저항값에 대비한 제1저항값의 변화량을 산출할 수 있다. 프로세서(133)는 제1저항값의 변화량을 산출하는 방식으로 제2저항값 및 제3저항값의 변화량을 산출할 수 있다.
프로세서(133)는 제1저항값, 제2저항값 및 제3저항값의 변화를 기반으로 운전자의 상태 및 자세를 추정(estimation)할 수 있다. 프로세서(133)는 제1저항값, 제2저항값 및 제3저항값의 변화가 기정해진 시간(예: 30분 또는 10분 등) 이상 유지되는 경우 운전자의 상태 및 자세를 판정한다. 여기서, 기정해진 시간은 시스템 설계자 또는 사용자에 의해 변경 설정될 수 있다.
운전자의 자세는 '자세 변화 없음', '요추 불안정 자세' 및 '경추 불안정 자세'로 구분할 수 있다. '자세 변화 없음'은 같은 자세를 유지하는 상태를 의미하며, 자세 변화 없이 장시간 운전 시 경추 및 요추 등에 하중이 증가하게 되어 운전자의 피로도를 증가시킨다. 요추 불안정 자세는 장시간 운전을 하는 경우 엉덩이가 앞으로 빠지면서 신체 무게 중심이 바뀌어 요추에 하중에 증가하게 되는 자세를 말한다. 경추 불안전 자세는 경추 및 어깨에 많은 하중이 가해지는 거북목 자세로, 해당 자세로 운전하는 경우 운전자의 피로도가 상승하게 된다.
프로세서(133)는 제1저항값, 제2저항값 및 제3저항값의 변화가 제1기준 저항(R1)(예: 125Ω) 이하 이면, 운전자의 자세를 '자세변화 없음'으로 판단(결정)한다. 프로세서(133)는 운전자의 자세가 '자세변화 없음'으로 판단되면 운전자에게 자세 변화가 필요하다고 판단할 수 있다.
프로세서(133)는 제2센서(110b) 및 제3센서(110c)를 통해 측정되는 제2저항값 및 제3저항값이 기준 시간(예: 10분) 동안 점진적으로 변화하되, 제2초기 저항값 및 제3초기 저항값에 대비하여 증가하고, 제1센서(110a)에 의해 측정된 제1저항값이 제1초기 저항값에 대비하여 변화가 적으면 '요추 불안정 자세'로 판단한다. 다시 말해서, 프로세서(133)는 제2센서(110b) 및 제3센서(110c)에 의해 측정된 제2저항값 및 제3저항값의 변화(변화량)가 제2기준 저항(R2) 이상이며 제1센서(110a)에 의해 측정된 제1저항값의 변화가 제3기준 저항(R3) 이하이면 운전자의 자세를 '요추 불안정 자세'로 판단한다.
프로세서(133)는 제1센서(110a)에 의해 측정되는 제1저항값의 변화가 제2기준 저항(R2) 이상이며 제2센서(110b) 및 제3센서(110c)에 의해 측정되는 제2저항값 및 제3저항값의 변화가 제3기준 저항(R3) 이하이면 운전자의 자세를 '경추 불안정 자세'로 판단한다.
프로세서(133)는 운전자의 자세가 판단되면 운전자의 자세에 따라 차내기기(120)와의 연동을 통해 운전자에게 피드백을 제공한다. 피드백은 시각 정보, 청각 정보 및 촉각 정보 등의 형태도 제공될 수 있다.
보다 구체적으로, 프로세서(133)는 운전자의 자세 변화가 필요한 상태로 판단되면 운전자에게 휴식을 제안하는 알림을 차내기기(120)와 연계하여 운전자에게 제공할 수 있다. 예를 들어, 프로세서(133)는 '잠시 휴식을 취하십시오'와 같은 메시지 및/또는 이미지 등을 클러스터(121)에 출력할 수 있다. 또한, 프로세서(133)는 시트 제어 장치(122)와 연동하여 시트의 등받이, 럼버 서포트 및/또는 에어 쿠션 등의 움직임을 미세하게 조정하여 운전자의 자세 변화를 유도할 수 있다. 프로세서(133)는 시트 벨트 제어 장치(124)와의 연동을 통해 시트 벨트에 진동을 발생시켜 운전자가 자세 변화가 필요함을 인지하도록 할 수 있다. 프로세서(133)는 AVN(123)을 통해 스트레칭 영상을 재생하여 출력하거나 또는 시트 제어 장치(122)를 통해 시트에 탑재된 마사지(진동) 기능을 작동시킬 수 있다. 또한, 프로세서(133)는 공조장치와의 연계(연동)를 통해 환기를 시키거나 또는 미디어 재생 장치(미도시)와의 연동을 통해 라디오를 플레이(play)할 수 있다.
프로세서(133)는 운전자의 자세가 '요추 불안정 자세'로 판단되는 경우, 클러스터(121) 및/또는 AVN(123)에 자세 교정 필요를 알리는 메시지 및/또는 이미지 등을 출력할 수 있다. 예를 들어, 프로세서(133)는 '자세가 불안정합니다'와 같은 메시지를 출력할 수 있다. 또한, 프로세서(133)는 시트 제어 장치(122)와 연계하여 럼버 서포트를 전방으로 이동시켜 운전자의 요추를 지지할 수 있게 한다. 또한, 프로세서(133)는 AVN(123)을 통해 바른 자세 가이드를 출력할 수 있다. AVN(123)은 바른 자세 가이드 영상을 재생하여 디스플레이에 표시하며 스피커를 통해 안내 음성을 함께 출력할 수 있다. 프로세서(133)는 시트 벨트 제어 장치(124)와 연동하여 시트 벨트를 점진적으로 당겨 운전자의 자세를 교정하며 동시에 운전자가 스스로 자세 불안정을 인지할 수 있도록 한다.
프로세서(133)는 운전자의 자세가 '경추 불안정 자세'인 경우, 클러스터(121) 및/또는 AVN(123)에 자세 교정이 필요함을 알리는 알림을 출력할 수 있다. 또한, 프로세서(133)는 AVN(123)을 통해 거북목 교정 가이드 및/또는 바른 자세 가이드 등을 출력할 수 있다. 프로세서(133)는 시트 벨트 제어 장치(124)와 연동하여 시트 벨트를 점진적으로 당겨 운전자가 자세를 교정할 수 있게 한다.
도 3은 본 발명의 일 실시 예에 따른 운전자 모니터링 방법을 도시한 흐름도이고, 도 4는 본 발명의 일 실시 예에 따른 운전자 모니터링 결과에 따른 피드백을 출력하는 일 예이다.
제어기(130)는 차량이 주행을 시작하면 각 센서의 초기 저항값을 측정하여 저장한다(S110). 제어기(130)는 시트 벨트의 각 지지점에 장착되는 제1센서(110a), 제2센서(110b) 및 제3센서(110c)를 통해 각각의 초기 저항값(제1초기 저항값, 제2초기 저항값 및 제3초기 저항값)을 측정한다. 제어기(130)는 측정된 초기 저항값들을 메모리(132)에 저장한다.
제어기(130)는 설정 시간이 경과하면(S120), 각 센서의 저항값 변화를 산출한다(S130). 제어기(130)는 제1센서(110a), 제2센서(110b) 및 제3센서(110c)를 이용하여 각 센서의 저항값 즉, 제1저항값, 제2저항값 및 제3저항값을 측정하고, 각 센서의 초기 저항값에 대비한 각 센서의 저항값 변화를 연산한다. 다시 말해서, 제어기(130)는 제1센서(110a)에 의해 측정된 제1저항값에서 제1초기 저항값을 차감하여 제1저항값 변화량 즉, 제1센서(110a)의 저항값 변화를 산출한다. 제어기(130)는 제2센서(110b) 및 제3센서(110c)에 의해 측정된 제2저항값 및 제3저항값에서 제2초기 저항값 및 제3초기 저항값을 각각 차감하여 제2저항값 변화량 및 제3저항값 변화량을 산출할 수 있다.
제어기(130)는 각 센서의 저항값 변화에 근거하여 운전자의 자세를 판정한다(S140). 제어기(130)는 제1저항값 변화량, 제2저항값 변화량 및 제3저항값 변화량이 각각 제1기준 저항(R1) 이하인 상태가 기설정된 시간 동안 유지되면 운전자의 자세를 '자세 변화 없음'으로 판정한다. 제어기(130)는 제2저항값 변화량 및 제3저항값 변화량이 각각 제2기준 저항 이상이며, 제1저항값 변화량이 제3기준 저항 이하인 상태가 기설정된 시간 동안 유지되면 운전자의 자세를 '요추 불안정 자세'로 판정한다. 제어기(130)는 제1저항값 변화량이 제2기준 저항 이상이며 제2저항값 변화량 및 제3저항값 변화량이 각각 제3기준 저항 이하인 상태가 기설정된 시간 동안 유지되면 운전자의 자세를 '경추 불안정 자세'로 판정한다. 기설정된 시간은 시스템 설계자 또는 운전자(즉, 사용자)에 의해 변경될 수 있다.
제어기(130)는 운전자의 자세에 따라 차내기기(120)와 연동하여 운전자에게 피드백을 제공한다(S150). 제어기(130)는 클러스터(121), 시트 제어 장치(122), AVN(123) 및 시트 벨트 제어 장치(124) 중 적어도 하나 이상을 이용하여 피드백을 출력할 수 있다. 제어기(130)는 클러스터(121) 및/또는 AVN(123)을 통해 자세 변화 필요, 자세 교정 필요 또는 휴식 필요 등을 알리는 메시지 및/또는 이미지 등을 출력할 수 있다. 예컨대, 도 4에 도시된 바와 같이, 클러스터(121)는 제어기(130)의 제어에 따라 '자세가 불안전합니다'와 같은 메시지 및 이모티콘과 같은 이미지를 출력할 수 있다. 또한, 제어기(130)는 시트 제어 장치(122)와 연동하여 시트의 등받이, 럼버 서포트 및/또는 에어 쿠션 등의 움직임을 조정하여 운전자의 자세를 교정할 수 있다. 제어기(130)는 시트 벨트 제어 장치(124)와 연계하여 시트 벨트에 진동을 발생시키거나 시트 벨트가 운전자에게 밀착되도록 점진적으로 당겨 운전자의 자세를 교정할 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 운전자 모니터링 장치를 도시한 블록구성도이다. 본 실시 예에서는 도 1에 도시된 운전자 모니터링 장치와 상이한 구성 및 기능을 위주로 설명한다.
도 5를 참조하면, 운전자 모니터링 장치는 센서(110), 차내기기(120), 제어기(130) 및 카메라(140)를 포함한다.
센서(110)는 시트 벨트의 각 지지점에 장착되어 운전자(즉, 사용자)의 움직임에 따른 저항값을 출력한다. 센서(110)는 스트레치 센서로 구현될 수 있다. 센서(110)에 의해 측정되는 저항값은 운전자의 자세를 판정하는 사용된다.
차내기기(120)는 운전자 모니터링 결과 즉, 운전자의 상태 및/또는 자세에 근거하여 피드백을 출력한다. 차내기기(120)는 클러스터(121), 시트 제어 장치(122), AVN(123) 및/또는 시트 벨트 제어 장치(124) 등을 포함할 수 있다.
제어기(130)는 센서(110) 및 카메라(140)를 통해 운전자를 모니터링하고 그 모니터링 결과를 기반으로 차내기기(120)와 연동하여 운전자에게 피드백을 제공한다. 제어기(130)는 ADC(131), 메모리(132) 및 프로세서(133) 등을 포함할 수 있다.
카메라(140)는 차량이 주행하는 동안 운전자의 영상을 취득한다. 카메라(140)는 클러스터(121), C/PAD(CRESH PAD) 또는 A 필러(pilla) 등에 배치될 수 있다. 카메라(140)는 CCD(charge coupled device) 이미지 센서(image sensor), CMOS(complementary metal oxide semi-conductor) 이미지 센서, CPD(charge priming device) 이미지 센서 및 CID(charge injection device) 이미지 센서 등과 같은 이미지 센서들 중 적어도 하나 이상의 이미지 센서로 구현될 수 있다. 카메라(140)는 이미지 센서를 통해 획득한 영상에 대해 노이즈(noise) 제거, 컬러재현, 파일 압축, 화질 조절 및 채도 조절 등의 이미지 처리를 수행하는 이미지 처리기를 포함할 수 있다.
제어기(130)는 카메라(140)에 의해 획득되는 운전자 영상을 분석하여 운전자의 상태를 판단한다. 제어기(130)는 메모리(132)에 저장된 영상 처리 알고리즘을 이용하여 카메라(140)로부터 제공되는 운전자 영상을 수신하여 영상 처리한다. 제어기(130)는 메모리(132)에 기 저장된 운전자 상태 판단 알고리즘을 이용하여 운전자 영상으로부터 운전자의 눈감음 여부를 판단한다. 제어기(130)는 운전자의 눈감음 여부 및 자세에 근거하여 운전자가 졸음 상태인지 아닌지를 판단한다. 제어기(130)는 운전자가 눈감은 상태이며 자세 변화가 없는 경우 운전자의 상태를 졸음 상태로 판단한다.
제어기(130)는 운전자가 졸음 상태로 판단되면 차내기기(120)와의 연동을 통해 운전자에게 피드백을 제공한다. 제어기(130)는 클러스터(121) 및/또는 AVN(123)를 통해 운전자에게 휴식을 추천하는 메시지 및/또는 이미지 등을 출력할 수 있다. 또한, 제어기(130)는 시트 제어 장치(122)와 연동하여 시트의 쿠션, 등받이 및/또는 럼버 서포트 등의 움직임을 조정하여 운전자에게 피드백할 수 있다. 제어기(130)는 시트 제어 장치(122)를 통해 시트에 바람을 일으켜 운전자에게 피드백할 수도 있다. 또한, 제어기(130)는 시트 벨트 제어 장치(124)를 통해 시트 벨트에 진동을 발생시키거나 또는 시트 벨트를 당겨 운전자가 졸음 상태를 인지할 수 있게 한다.
이상과 같이, 본 실시 예에서는 카메라(140)를 통해 운전자의 눈 상태를 인식하고, 센서(110)를 이용하여 운전자의 움직임 변화를 인식한 후 운전자의 눈 상태 및 움직임 변화를 고려하여 운전자의 졸음 여부를 판단하므로, 운전자의 졸음 판단 정확도를 향상시킬 수 있다.
상기한 실시 예들에 따르면, 운전자의 상태 및/또는 자세에 기반하여 차량 내 기능과 연동하여 운전자에게 피드백 하므로, 운전자의 졸음 운전을 방지할 수 있으며, 장시간 운전 및/또는 잘못된 자세로 운전하는 경우 신체의 특정 부위에 가해지는 하중으로 인한 통증 유발을 예방할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110, 110a, 110b, 110c: 센서
120: 차내기기
130: 제어기
140: 카메라

Claims (20)

  1. 시트 벨트에서 운전자의 어깨, 및 상기 운전자의 허리를 지지하는 지점에 적어도 둘 이상이 장착되어 상기 운전자의 움직임에 따른 저항값을 측정하는 복수의 센서, 및
    상기 센서에 의해 측정되는 저항값의 변화에 근거하여 상기 운전자의 자세를 추정하는 제어기를 포함하고,
    상기 제어기는,
    상기 복수의 센서 각각의 초기 저항값을 측정하고,
    상기 측정된 초기 저항값을 기반으로, 상기 복수의 센서에 의해 측정되는 상기 움직임에 따른 저항값의 변화를 산출하고,
    상기 산출된 변화에 근거하여 상기 운전자의 자세를 추정하는 운전자 모니터링 장치.
  2. 제1항에 있어서,
    상기 센서는 스트레치 센서로 구현되는 것을 특징으로 하는 운전자 모니터링 장치.
  3. 제2항에 있어서,
    상기 센서는,
    상기 운전자의 어깨를 지지하는 상기 시트 벨트의 제1지점에 장착되는 제1센서,
    상기 운전자의 허리를 지지하는 상기 시트 벨트의 제2지점에 장착되는 제2센서, 및
    상기 운전자의 허리를 지지하며 상기 제2지점에 대향하는 상기 시트 벨트의 제3지점에 장착되는 제3센서를 포함하는 것을 특징으로 하는 운전자 모니터링 장치.
  4. 제3항에 있어서,
    상기 제어기는 차량 주행 시작 시 상기 제1센서, 상기 제2센서 및 상기 제3센서를 통해 제1초기 저항값, 제2초기 저항값 및 제3초기 저항값을 측정하여 저장하는 것을 특징으로 하는 운전자 모니터링 장치.
  5. 제4항에 있어서,
    상기 제어기는 상기 제1초기 저항값, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제1센서, 상기 제2센서 및 상기 제3센서에 의해 측정되는 제1저항값, 제2저항값 및 제3저항값 각각의 변화가 제1기준 저항 이하이면 '자세 변화 없음'으로 판단하는 것을 특징으로 하는 운전자 모니터링 장치.
  6. 제4항에 있어서,
    상기 제어기는 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 제2저항값 및 제3저항값 각각의 변화가 제2기준 저항 이상이며 상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정되는 저항값의 변화가 제3기준 저항 이하이면 '요추 불안정 자세'로 판단하는 것을 특징으로 하는 운전자 모니터링 장치.
  7. 제6항에 있어서,
    상기 제어기는 상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정된 제1저항값의 변화가 상기 제2기준 저항 이상이며, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 제2저항값 및 제3저항값 각각의 변화가 상기 제3기준 저항 이하이면 '경추 불안정 자세'로 판단하는 것을 특징으로 하는 운전자 모니터링 장치.
  8. 제1항에 있어서,
    상기 제어기는 상기 운전자의 자세에 따라 차내기기와 연계하여 운전자에게 피드백을 제공하는 것을 특징으로 하는 운전자 모니터링 장치.
  9. 제8항에 있어서,
    상기 차내기기는 클러스터, 시트 제어 장치, AVN 및 시트 벨트 제어 장치 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 운전자 모니터링 장치.
  10. 제1항에 있어서,
    차량 내 장착되어 운전자의 영상을 취득하는 카메라를 더 포함하고,
    상기 제어기는 상기 카메라에 의해 취득된 영상을 분석하여 상기 운전자의 눈감음 여부를 판단하고, 상기 운전자의 눈감음 여부와 상기 운전자의 자세에 근거하여 상기 운전자의 졸음 상태를 판단하는 것을 특징으로 하는 운전자 모니터링 장치.
  11. 차량이 주행하는 동안 시트 벨트에서 운전자의 어깨, 및 상기 운전자의 허리를 지지하는 지점에 장착된 복수의 센서를 통해 상기 운전자의 움직임에 따른 저항값을 측정하는 단계, 및
    상기 복수의 센서에 의해 측정되는 저항값의 변화에 근거하여 운전자의 자세를 추정하는 단계를 포함하고,
    상기 운전자의 자세를 추정하는 단계는,
    상기 복수의 센서 각각의 초기 저항값을 측정하는 단계,
    상기 측정된 초기 저항값을 기반으로, 상기 복수의 센서에 의해 측정되는 상기 움직임에 따른 저항값의 변화를 산출하는 단계, 및
    상기 산출된 변화에 근거하여 상기 운전자의 자세를 추정하는 단계를 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  12. 제11항에 있어서,
    상기 저항값을 측정하는 단계 이전에,
    상기 차량이 주행을 시작할 때 운전자의 어깨를 지지하는 상기 시트 벨트의 제1지지점에 장착되는 제1센서를 통해 제1초기 저항값을 측정하고, 상기 운전자의 허리를 지지하는 상기 시트 벨트의 제2지지점 및 제3지지점에 각각 장착되는 제2센서 및 제3센서를 통해 제2초기 저항값 및 제3초기 저항값을 측정하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  13. 제12항에 있어서,
    상기 운전자의 자세를 추정하는 단계는,
    상기 제1초기 저항값 내지 상기 제3초기 저항값을 기반으로 상기 제1센서, 상기 제2센서 및 상기 제3센서 각각에 의해 측정되는 제1저항값, 제2저항값 및 제3저항값의 변화를 산출하는 단계, 및
    상기 제1저항값, 상기 제2저항값 및 상기 제3저항값의 변화에 근거하여 상기 운전자의 자세를 판정하는 단계를 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  14. 제13항에 있어서,
    상기 운전자의 자세를 판정하는 단계는,
    상기 제1초기 저항값, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제1센서, 상기 제2센서 및 상기 제3센서에 의해 측정되는 제1저항값, 제2저항값 및 제3저항값 각각의 변화가 제1기준 저항 이하이면 '자세 변화 없음'으로 결정하는 것을 특징으로 하는 운전자 모니터링 방법.
  15. 제14항에 있어서,
    상기 운전자의 자세를 판정하는 단계는,
    상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 상기 제2저항값 및 상기 제3저항값 각각의 변화가 제2기준 저항 이상이고, 상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정되는 제1저항값의 변화가 제3기준 저항 이하이면 '요추 불안정 자세'로 판단하는 것을 특징으로 하는 운전자 모니터링 방법.
  16. 제15항에 있어서,
    상기 운전자의 자세를 판정하는 단계는,
    상기 제1초기 저항값에 대비하여 상기 제1센서에 의해 측정되는 제1저항값의 변화가 상기 제2기준 저항 이상이고, 상기 제2초기 저항값 및 상기 제3초기 저항값에 대비하여 상기 제2센서 및 상기 제3센서에 의해 측정되는 상기 제2저항값 및 상기 제3저항값 각각의 변화가 상기 제3기준 저항 이하이면 '경추 불안정 자세'로 판단하는 것을 특징으로 하는 운전자 모니터링 방법.
  17. 제11항에 있어서,
    상기 운전자의 자세를 추정하는 단계 이후,
    상기 운전자의 자세에 따라 차내기기와의 연계를 통해 운전자에게 피드백을 제공하는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  18. 제17항에 있어서,
    상기 피드백은 운전자의 휴식 또는 자세 교정을 유도하는 정보를 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
  19. 제11항에 있어서,
    상기 저항값을 측정하는 단계에서,
    차량 내 장착된 카메라를 통해 운전자의 영상을 취득하는 것을 특징으로 하는 운전자 모니터링 방법.
  20. 제19항에 있어서,
    상기 운전자의 자세를 추정하는 단계에서,
    상기 카메라에 의해 취득된 영상을 분석하여 운전자의 눈감음 여부를 판단하고, 상기 운전자의 눈감음 여부 및 상기 운전자의 자세를 기반으로 운전자의 졸음 상태를 판정하는 것을 특징으로 하는 운전자 모니터링 방법.
KR1020190091755A 2019-07-29 2019-07-29 운전자 모니터링 장치 및 방법 KR102673306B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190091755A KR102673306B1 (ko) 2019-07-29 2019-07-29 운전자 모니터링 장치 및 방법
US16/744,588 US10977507B2 (en) 2019-07-29 2020-01-16 Driver monitoring apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091755A KR102673306B1 (ko) 2019-07-29 2019-07-29 운전자 모니터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210013924A KR20210013924A (ko) 2021-02-08
KR102673306B1 true KR102673306B1 (ko) 2024-06-10

Family

ID=74260430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091755A KR102673306B1 (ko) 2019-07-29 2019-07-29 운전자 모니터링 장치 및 방법

Country Status (2)

Country Link
US (1) US10977507B2 (ko)
KR (1) KR102673306B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109496309B (zh) * 2018-08-07 2022-05-03 深圳市汇顶科技股份有限公司 疲劳状态的检测方法、装置及设备
US11405926B2 (en) * 2020-02-26 2022-08-02 Qualcomm Incorporated Vision-aided channel sensing and access
US11724703B2 (en) * 2021-07-01 2023-08-15 Harman International Industries, Incorporated Method and system for driver posture monitoring
JP2023086452A (ja) * 2021-12-10 2023-06-22 パナソニックＩｐマネジメント株式会社 運転者監視装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040044293A1 (en) * 1999-01-27 2004-03-04 David Burton Vigilance monitoring system
US20170274906A1 (en) * 2016-03-23 2017-09-28 Magna Electronics Inc. Vehicle driver monitoring system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662670B2 (en) * 2000-10-02 2003-12-16 Siemens Vdo Automotive Corporation Seatbelt force sensor with overload protection
US20070096447A1 (en) * 2003-10-07 2007-05-03 Tabe Joseph A Smart seatbelt control system
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
WO2017132323A1 (en) * 2016-01-29 2017-08-03 Janssen Pharmaceutica Nv Sensor device and carriers
KR101836651B1 (ko) * 2016-06-13 2018-03-09 현대자동차주식회사 연료전지차량의 절연저항 측정 시스템 및 방법
KR102417890B1 (ko) * 2016-12-08 2022-07-07 현대자동차주식회사 운전자 상태 감시 장치 및 방법
KR102288753B1 (ko) 2017-10-23 2021-08-11 현대모비스 주식회사 운전자 모니터링 장치 및 방법
US10339401B2 (en) * 2017-11-11 2019-07-02 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US10572745B2 (en) * 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040044293A1 (en) * 1999-01-27 2004-03-04 David Burton Vigilance monitoring system
US20170274906A1 (en) * 2016-03-23 2017-09-28 Magna Electronics Inc. Vehicle driver monitoring system

Also Published As

Publication number Publication date
KR20210013924A (ko) 2021-02-08
US10977507B2 (en) 2021-04-13
US20210034890A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
KR102673306B1 (ko) 운전자 모니터링 장치 및 방법
US11623516B2 (en) Device and method for controlling a display device in a motor vehicle
JP6581128B2 (ja) 最適車両部品設定を決定するためのシステムおよび方法
CN106956619A (zh) 用于车辆座椅监控的***和方法
US11195405B2 (en) Dozing alert apparatus
US20160236591A1 (en) Method for presetting a vehicle seat
US10664712B2 (en) Eyelid opening/closing determination apparatus and drowsiness detection apparatus
KR101519748B1 (ko) 운전자 부주의 판단 방법 및 이를 위한 판단 장치
KR101926921B1 (ko) 운전자 모니터링 장치 및 방법
WO2023142382A1 (zh) 一种基于卷积神经网络的电动座椅调节方法、装置及车辆
JP2023093454A (ja) 異常検知装置
JP7328089B2 (ja) 閉眼判定装置
CN109955740B (zh) 用于测量车辆中的驾驶员的面部的方向的***和方法
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
WO2018096913A1 (ja) 運転者体調検知装置
JP7320188B2 (ja) ドライバ異常姿勢検出装置
US20210034049A1 (en) Remote driving system and remote driving method
WO2022097185A1 (ja) 眠気検知装置および眠気検知方法
CN115071632B (zh) 一种安全带导向板位置调节方法、装置及车辆
JP2018160151A (ja) 運転支援装置
JP2021189851A (ja) 覚醒制御装置
JP2005143895A (ja) 運転者心理状態判定装置
WO2022180706A1 (ja) 体格判定装置および体格判定方法
JP2024083848A (ja) 眠気検出装置及び眠気検出用のプログラム
KR102339171B1 (ko) 차량의 졸음 방지장치 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant