KR20200051632A - 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량 - Google Patents

운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량 Download PDF

Info

Publication number
KR20200051632A
KR20200051632A KR1020207007113A KR20207007113A KR20200051632A KR 20200051632 A KR20200051632 A KR 20200051632A KR 1020207007113 A KR1020207007113 A KR 1020207007113A KR 20207007113 A KR20207007113 A KR 20207007113A KR 20200051632 A KR20200051632 A KR 20200051632A
Authority
KR
South Korea
Prior art keywords
driver
detection
distraction
result
driving
Prior art date
Application number
KR1020207007113A
Other languages
English (en)
Other versions
KR102391279B1 (ko
Inventor
페이 왕
첸 키안
Original Assignee
베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 filed Critical 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Publication of KR20200051632A publication Critical patent/KR20200051632A/ko
Application granted granted Critical
Publication of KR102391279B1 publication Critical patent/KR102391279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/087—Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00281—
    • G06K9/00355—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

본 출원의 실시예들은 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량을 개시한다. 운전 상태 모니터링 방법은, 운전자 이미지에 대해 운전자 상태 검출을 진행하는 단계; 및 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하고 및/또는 지능형 운전 제어를 진행하는 단계를 포함한다. 본 출원의 실시예는, 운전자의 운전 상태를 실시간으로 모니터링하여 운전자의 운전 상태가 나쁠 경우 즉시 대응되는 조치를 취하므로, 안전한 운전을 보장하고, 도로 교통 사고의 발생을 방지할 수 있다.

Description

운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량
본 출원은 2017년 8월 10일에 중국 특허청에 제출된 국제 출원번호가 PCT/CN2017/096957이고 발명의 명칭이 "운전 상태 모니터링 방법, 장치 및 전자 기기"인 국제 출원의 우선권을 주장하는 바, 이의 모든 내용은 참조로서 본원 발명에 인용된다.
본 출원은 컴퓨터 시각 기술에 관한 것으로, 특히 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량에 관한 것이다.
운전자의 운전 상태는 안전 주행에 매우 심각한 영향을 미치므로, 운전자는 가능한 한 양호한 운전 상태에 있어야 한다. 운전자가 운전 과정에서 휴대폰 등 다른 사물에 집중하여 휴대폰 등 다른 사물에 주의를 분산시킬 경우, 운전자가 도로 상황을 제때에 알 수 없게 된다.
운전자의 운전 상태가 나쁠 경우, 판단 능력이 떨어질 수 있고, 심지어 정신 혼미 또는 일시적인 기억 상실을 초래하여, 지연 또는 조기 운전 동작, 운전 동작의 일시 중지 또는 부적절한 정정 시간 등 안전하지 않은 요인을 초래할 수 있으며, 도로 교통 사고가 발생할 가능성이 매우 높다.
본 출원의 실시예는 운전 상태 모니터링의 기술적 해결수단을 제공한다.
본 출원의 실시예의 일 양태에 따른 운정 상태 모니터링 방법은,
운전자 이미지에 대해 운전자 상태 검출을 진행하는 단계; 및
운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하고 및/또는 지능형 운전 제어를 진행하는 단계를 포함하는 운전 상태 모니터링 방법을 제공한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 이미지에 대해 운전자 피로 상태 검출을 진행하는 단계는,
상기 운전자 이미지 중 운전자 안면의 적어도 일부 영역을 검출하여, 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함하는 안면의 적어도 일부 영역의 상태 정보를 획득하는 단계;
소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법 실시예에서, 상기 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 이미지에 대해 운전자 산만 상태 검출을 진행하는 단계는,
상기 운전자 이미지 중 운전자에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하는 단계;
소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함하는 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하는 단계; 및
상기 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계는,
상기 운전자 이미지의 안면 키 포인트를 검출하는 단계; 및
상기 안면 키 포인트에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 안면 키 포인트에 대해 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는,
상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 및
상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계, 상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 단계는,
제1 신경망을 통해 상기 안면 키 포인트에 기반하여 머리 자세의 특징 정보를 추출하는 단계; 및
제2 신경망을 통해 상기 머리 자세의 특징 정보에 기반하여 안면 방향 추측을 진행하여 안면 방향 정보를 획득하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 안면 키 포인트에 따라 시선 방향 검출을 진행하여 시선 방향 정보를 획득하는 단계는,
상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하고, 상기 동공 가장자리 위치에 따라 동공 중심 위치를 산출하는 단계; 및
상기 동공 중심 위치와 눈 중심 위치에 따라 상기 시선 방향 정보를 산출하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하는 단계는,
제3 신경망에 기반하여, 상기 안면 키 포인트에 따라 분할된 상기 이미지 중의 눈 영역 이미지에 대해 동공 가장자리 위치의 검출을 진행하고, 제3 신경망에 의해 출력된 정보에 따라 동공 가장자리 위치를 획득하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 예정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 이미지에 대해 예정된 산만 동작 검출을 진행하는 단계는,
운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임(detection frame)를 획득하는 단계; 및
상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
산만 동작이 발생되면, 소정의 시간 내 상기 예정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 산만 정도를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
상기 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 예정된 산만 동작 검출의 결과를 결정하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 산만 정도의 파라미터 값은 예정된 산만 동작의 횟수, 예정된 산만 동작의 지속 시간, 예정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 예정된 산만 동작이 흡연 동작일 경우, 운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고, 상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정하는 단계는,
제4 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하여 안면 검출 프레임을 획득하고, 상기 안면 검출 프레임의 특징 정보를 추출하는 단계; 및
상기 제4 신경망을 통해 상기 안면 검출 프레임의 특징 정보에 따라 흡연 동작의 발생 여부를 결정하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 예정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작일 경우, 운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고, 상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정하는 단계는,
제5 신경망을 통해 상기 운전자 이미지에 대해 상기 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작에 대응되는 기설정된 타겟 객체의 검출을 진행하여 기설정된 타겟 객체의 검출 프레임을 획득하는 단계로서, 기설정된 타겟 객체는, 손, 입, 눈, 타겟 물체를 포함하고 상기 타겟 물체는 용기, 음식, 전자 기기 중 임의의 한 가지 또는 여러 가지를 포함하고;
상기 기설정된 타겟 객체의 검출 프레임에 따라, 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작의 미발생, 음식을 먹는 동작의 발생, 물을 마시는 동작의 발생, 전화하는 동작의 발생, 오락하는 동작의 발생 중 하나를 포함하는, 산만 동작의 검출 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 기설정된 타겟 객체의 검출 프레임에 따라 산만 동작의 검출 결과를 결정하는 단계는,
손의 검출 프레임, 입의 검출 프레임, 눈의 검출 프레임 및 타겟 물체의 검출 프레임이 검출되었는지의 여부에 따라, 또한 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 상기 타겟 물체의 타입 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 거리가 기설정된 조건을 만족시키는지의 여부에 따라, 예정된 산만 동작의 검출 결과를 결정하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 위치 관계가 기설정된 조건을 만족시키는지의 여부에 따라, 산만 동작의 검출 결과를 결정하는 단계는,
상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 용기 또는 음식이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이가 중첩될 경우, 음식을 먹는 동작 또는 물을 마시는 동작이 발생한다는 것으로 결정하는 단계; 및/또는,
상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 전자 기기이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작을 경우, 오락하는 동작 또는 전화하는 동작이 발생한다는 것으로 결정하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
손의 검출 프레임, 입의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았고, 손의 검출 프레임, 눈의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하는 단계; 및/또는,
손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하는 단계; 및/또는,
상기 타겟 물체의 타입이 용기 또는 음식이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이는 중첩되지 않거나, 및/또는, 상기 타겟 물체의 타입이 전자 기기이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작지 않거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
운전자의 예정된 산만 동작 검출의 결과가 예정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
운전자 산만 상태 검출의 결과 및/또는 운전자의 예정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하는 단계는,
운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 예정된 산만 동작 검출의 결과가 만족시키는 기설정된 조건에 따라 운전 상태 레벨을 결정하는 단계; 및
결정된 운전 상태 레벨을 운전 상태 모니터링 결과로서 사용하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
상기 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행하는 단계는,
결정된 상기 운전 상태 모니터링 결과가 리마인드/경고의 예정된 조건을 만족시키면, 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하는 단계; 및/또는,
결정된 상기 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
상기 운전자 이미지에 대해 안면 인식을 진행하는 단계; 및
안면 인식의 결과에 따라 인증 제어를 진행하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 이미지에 대해 안면 인식을 진행하는 단계는,
제6 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하는 단계;
상기 안면 특징과 데이터베이스 중의 안면 특징 템플릿에 대해 안면 매칭을 진행하는 단계; 및
상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하면, 상기 안면 특징과 매칭되는 안면 특징 템플릿에 대응되는 신분 정보를 출력하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하지 않으면, 등록하도록 운전자를 리마인드하는 단계;
운전자의 등록 요청을 수신한 것에 응답하여, 제6 신경망을 통해, 수집된 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하는 단계; 및
상기 안면 특징을 상기 운전자의 안면 특징 템플릿으로 사용하여 상기 데이터베이스에 상기 운전자의 사용자 정보를 구축하는 단계를 더 포함하고, 상기 사용자 정보는 상기 운전자의 안면 특징 템플릿 및 상기 운전자에 의해 입력된 신분 정보를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
상기 운전 상태 모니터링 결과를 상기 데이터베이스 중 상기 운전자의 사용자 정보에 저장하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
적외선 카메라를 통해 이미지를 수집하여 상기 운전자 이미지를 획득하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 적외선 카메라를 통해 이미지를 수집하는 단계는,
차량 내 적어도 하나의 위치에 배치된 상기 적외선 카메라를 통해 이미지를 수집하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 적어도 하나의 위치는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러(pillar) 또는 부근 위치, 백미러 또는 부근 위치 중 적어도 하나 또는 다수의 위치를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서,
상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계; 및
운전자 제스처 검출의 결과에 따라 제어 명령을 생성하는 단계를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계는,
현재 프레임의 운전자 이미지 중의 손 키 포인트를 검출하는 단계; 및
검출된 손 키 포인트에 따라 결정된 정적 제스처를 상기 운전자 제스처 검출의 결과로서 사용하는 단계를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 방법의 실시예에서, 상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계는,
운전자 비디오 중 멀티 프레임 운전자 이미지의 손 키 포인트를 검출하는 단계; 및
검출된 멀티 프레임 운전자 이미지의 손 키 포인트에 따라 결정된 동적 제스처를 상기 운전자 제스처 검출의 결과로서 사용하는 단계를 포함한다.
본 출원의 실시예의 다른 일 양태에 따르면,
운전자 이미지에 대해 운전자 상태 검출을 진행하는 상태 검출 모듈;
운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하는 출력 모듈; 및/또는
운전자 상태 검출의 결과에 따라, 지능형 운전 제어를 진행하는 지능형 운전 제어 모듈을 포함하는 운전 상태 모니터링 장치를 제공한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 운전자 이미지에 대해 운전자 피로 상태 검출을 진행할 경우,
상기 운전자 이미지 중 운전자 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하고, 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함하며;
소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하고;
운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 운전자 이미지에 대해 운전자 산만 상태 검출을 진행할 경우,
상기 운전자 이미지 중 운전자에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하고;
소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하며, 상기 운전자 산만 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함하고;
상기 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행할 경우, 상기 운전자 이미지의 안면 키 포인트를 검출하고; 상기 안면 키 포인트에 대해 안면 방향 및/또는 시선 방향 검출을 진행한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 상기 안면 키 포인트에 따라 안면 방향 검출을 진행할 경우, 상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하고; 상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하고, 상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득할 경우, 제1 신경망을 통해 상기 안면 키 포인트에 기반하여 머리 자세의 특징 정보를 추출하고; 제2 신경망을 통해 상기 머리 자세의 특징 정보에 기반하여 안면 방향 추측을 진행하여 안면 방향 정보를 획득한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 상기 안면 키 포인트에 따라 시선 방향 검출을 진행할 경우, 상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하고, 상기 동공 가장자리 위치에 따라 동공 중심 위치를 산출하며; 상기 동공 중심 위치와 눈 중심 위치에 따라 상기 시선 방향 정보를 산출한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정할 경우, 제3 신경망에 기반하여, 상기 안면 키 포인트에 따라 분할된 상기 이미지 중의 눈 영역 이미지에 대해 동공 가장자리 위치의 검출을 진행하고, 제3 신경망에 의해 출력된 정보에 따라 동공 가장자리 위치를 획득한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 예정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 운전자 이미지에 대해 예정된 산만 동작 검출을 진행할 경우, 운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고; 상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 또한, 산만 동작이 발생되면, 소정의 시간 내 상기 예정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 산만 정도를 나타내는 지표의 파라미터 값을 획득하고; 상기 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 예정된 산만 동작 검출의 결과를 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 산만 정도의 파라미터 값은 예정된 산만 동작의 횟수, 예정된 산만 동작의 지속 시간, 예정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 예정된 산만 동작이 흡연 동작일 경우, 상기 상태 검출 모듈은 운전자 이미지에 대해 예정된 산만 동작 검출을 진행할 경우, 제4 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하여 안면 검출 프레임을 획득하고, 상기 안면 검출 프레임의 특징 정보를 추출하며; 상기 제4 신경망을 통해 상기 안면 검출 프레임의 특징 정보에 따라 흡연 동작의 발생 여부를 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 예정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작일 경우, 상기 상태 검출 모듈은 운전자 이미지에 대해 예정된 산만 동작 검출을 진행할 경우, 제5 신경망을 통해 상기 운전자 이미지에 대해 상기 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작에 대응되는 기설정된 타겟 객체 검출을 진행하여 기설정된 타겟 객체의 검출 프레임을 획득하고; 상기 기설정된 타겟 객체는 손, 입, 눈, 타겟 물체를 포함하며, 상기 타겟 물체는 용기, 음식, 전자 기기 중 임의의 한 가지 또는 여러 가지를 포함하고; 상기 기설정된 타겟 객체의 검출 프레임에 따라 산만 동작의 검출 결과를 결정하며; 상기 산만 동작의 검출 결과는 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작의 미발생, 음식을 먹는 동작의 발생, 물을 마시는 동작의 발생, 전화하는 동작의 발생, 오락하는 동작의 발생 중 하나를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 상기 기설정된 타겟 객체의 검출 프레임에 따라 산만 동작의 검출 결과를 결정할 경우, 손의 검출 프레임, 입의 검출 프레임, 눈의 검출 프레임 및 타겟 물체의 검출 프레임이 검출되었는지의 여부에 따라, 또한 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 상기 타겟 물체의 타입 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 거리가 기설정된 조건을 만족시키는지의 여부에 따라, 예정된 산만 동작의 검출 결과를 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 위치 관계가 기설정된 조건을 만족시키는지의 여부에 따라, 산만 동작의 검출 결과를 결정할 경우,
상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 용기 또는 음식이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이가 중첩될 경우, 음식을 먹는 동작 또는 물을 마시는 동작이 발생한다는 것으로 결정하는 단계; 및/또는,
상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 전자 기기이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작을 경우, 오락하는 동작 또는 전화하는 동작이 발생한다는 것으로 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 상태 검출 모듈은 또한,
손의 검출 프레임, 입의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았고, 손의 검출 프레임, 눈의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하고; 및/또는,
손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하고; 및/또는,
상기 타겟 물체의 타입이 용기 또는 음식이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이는 중첩되지 않거나, 및/또는, 상기 타겟 물체의 타입이 전자 기기이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작지 않거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서,
운전자의 예정된 산만 동작 검출의 결과가 예정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 제1 리마인드 모듈을 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서,
운전자 산만 상태 검출의 결과 및/또는 운전자의 예정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 제2 리마인드 모듈을 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 출력 모듈은 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력할 경우, 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 예정된 산만 동작 검출의 결과가 만족시키는 기설정된 조건에 따라 운전 상태 레벨을 결정하고; 결정된 운전 상태 레벨을 운전 상태 모니터링 결과로 한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서,
상기 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행하는 제1 제어 모듈을 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 제1 제어 모듈은,
결정된 상기 운전 상태 모니터링 결과가 리마인드/경고의 예정된 조건을 만족시키면, 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하고; 및/또는,
결정된 상기 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시킨다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서,
상기 운전자 이미지에 대해 안면 인식을 진행하는 안면 인식 모듈; 및
안면 인식의 결과에 따라 인증 제어를 진행하는 제2 제어 모듈을 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 안면 인식 모듈은, 제6 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하며; 상기 안면 특징과 데이터베이스 중의 안면 특징 템플릿에 대해 안면 매칭을 진행하고; 상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하면, 상기 안면 특징과 매칭되는 안면 특징 템플릿에 대응되는 신분 정보를 출력한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 제2 제어 모듈은 또한,
상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하지 않으면, 등록하도록 운전자를 리마인드하고; 상기 안면 인식 모듈이 송신한 안면 특징을 상기 운전자의 안면 특징 템플릿으로 사용하여 상기 데이터베이스에 상기 운전자의 사용자 정보를 구축하며, 상기 사용자 정보는 상기 운전자의 안면 특징 템플릿 및 상기 운전자에 의해 입력된 신분 정보를 포함하고;
상기 안면 인식 모듈은 또한, 운전자의 등록 요청을 수신한 것에 응답하여, 제6 신경망을 통해, 수집된 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하여 상기 제2 제어 모듈에 송신한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 출력 모듈은 또한, 상기 운전 상태 모니터링 결과를 상기 데이터베이스 중 상기 운전자의 사용자 정보에 저장한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서,
차량 내 적어도 하나의 위치에 대응되게 배치되고, 이미지를 수집하여 상기 운전자 이미지를 획득하는 적어도 하나의 적외선 카메라를 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 적어도 하나의 위치는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 중 적어도 하나 또는 다수의 위치를 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서,
상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 제스처 검출 모듈; 및
운전자 제스처 검출의 결과에 따라 제어 명령을 생성하는 명령 생성 모듈을 더 포함한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 제스처 검출 모듈은, 현재 프레임의 운전자 이미지 중의 손 키 포인트를 검출하고; 검출된 손 키 포인트에 따라 결정된 정적 제스처를 상기 운전자 제스처 검출의 결과로 한다.
선택 가능하게, 상기 각각의 운전 상태 모니터링 장치의 실시예에서, 상기 제스처 검출 모듈은, 운전자 비디오 중 멀티 프레임 운전자 이미지의 손 키 포인트를 검출하고; 검출된 멀티 프레임 운전자 이미지의 손 키 포인트에 따라 결정된 동적 제스처를 상기 운전자 제스처 검출의 결과로 한다.
본 출원의 실시예의 또 다른 일 양태에 따르면,
운전자 이미지, 및 운전자의 운전 상태 모니터링 결과를 표시하는 표시 모듈; 및
상기 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과에 따라 운전자의 상기 운전 상태 모니터링 결과를 출력하는 운전자 상태 검출 모듈을 포함하고,
상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함하는, 운전자 모니터링 시스템을 제공한다.
선택 가능하게, 상기 각각의 운전자 모니터링 시스템의 실시예에서, 상기 표시 모듈은,
운전자 이미지, 및 상기 운전 상태 모니터링 결과에 대응되는 리마인드/경고 정보를 표시하는 제1 표시 영역; 및
예정된 산만 동작을 표시하는 제2 표시 영역을 포함한다.
선택 가능하게, 상기 각각의 운전자 모니터링 시스템의 실시예에서, 상기 운전자 상태 검출 모듈은 또한, 상기 운전자 이미지에 대해 안면 인식을 진행하고;
상기 제1 표시 영역은 또한, 안면 인식의 결과를 표시한다.
선택 가능하게, 상기 각각의 운전자 모니터링 시스템의 실시예에서, 상기 운전자 상태 검출 모듈은 또한, 상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하고;
상기 표시 모듈은, 제스처 검출의 결과를 표시하는 제3 표시 영역을 더 포함하며, 상기 제스처 검출의 결과는 정적 제스처 또는 동적 제스처를 포함한다.
본 출원의 실시예의 또 다른 일 양태에 따르면,
컴퓨터 프로그램을 저장하는 메모리; 및
상기 메모리에 저장된 컴퓨터 프로그램을 실행하고, 상기 컴퓨터 프로그램이 실행될 경우, 본 출원의 어느 하나의 실시예에 따른 운전 상태 모니터링 방법을 구현하는 프로세서를 포함하는 전자 기기를 제공한다.
본 출원의 실시예의 또 다른 일 양태에 따르면, 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 본 출원의 어느 하나의 실시예에 따른 운전 상태 모니터링 방법을 구현한다.
본 출원의 실시예의 또 다른 일 양태에 따르면, 컴퓨터 명령을 포함하는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 명령이 기기의 프로세서에서 실행될 경우, 본 출원의 어느 하나의 실시예에 따른 운전 상태 모니터링 방법을 구현한다.
본 출원의 실시예의 또 다른 일 양태에 따르면, 중앙 제어 시스템을 포함하는 차량을 제공하고, 상기 차량은 본 출원의 어느 하나의 실시예에 따른 운전 상태 모니터링 장치, 또는 본 출원의 어느 하나의 실시예에 따른 운전자 모니터링 시스템을 더 포함한다.
선택 가능하게, 상기 각 차량 실시예에서, 상기 중앙 제어 시스템은,
상기 운전 상태 모니터링 장치 또는 상기 운전자 모니터링 시스템이 출력한 운전자 상태 검출의 결과에 따라, 지능형 운전 제어를 진행하고; 및/또는,
상기 운전 상태 모니터링 장치 또는 상기 운전자 모니터링 시스템이 출력한 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시킬 경우, 운전 모드를 자동 운전 모드로 전환시키고, 자동 운전 모드에서 상기 차량에 대해 자동 운전 제어를 진행하고; 및/또는,
운전 상태 모니터링 결과가 기설정된 리마인드/경고의 예정된 조건을 만족시킬 경우, 상기 차량 중의 오락 시스템 또는 상기 차량 외부의 오락 시스템이 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하도록 호출한다.
선택 가능하게, 상기 각각의 차량의 실시예에서, 상기 중앙 제어 시스템은 또한, 상기 운전 상태 모니터링 장치 또는 상기 운전자 모니터링 시스템이 출력한 제스처 검출의 결과에 의해 생성된 제어 명령에 따라, 상기 차량을 대응되게 제어한다.
선택 가능하게, 상기 각각의 차량의 실시예에서, 상기 중앙 제어 시스템은 또한, 수동 운전으로 전환시키는 운전 명령을 수신할 경우, 운전 모드를 수동 운전 모드로 전환시킨다.
선택 가능하게, 상기 각각의 차량의 실시예에서,
상기 중앙 제어 시스템의 제어 명령에 따라, 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하고; 및/또는, 상기 중앙 제어 시스템의 제어 명령에 따라, 리마인드/경고 정보의 경보 효과, 또는 오락 이벤트의 재생 효과를 조정하는 오락 시스템을 더 포함한다.
선택 가능하게, 상기 각각의 차량의 실시예에서,
이미지를 수집하는 적어도 하나의 적외선 카메라를 더 포함한다.
선택 가능하게, 상기 각각의 차량의 실시예에서, 상기 적외선 카메라는 상기 차량 내 적어도 하나의 위치에 배치되고, 상기 적어도 하나의 위치는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 중 적어도 하나 또는 다수의 위치를 포함한다.
본 출원의 상기 실시예에 의해 제공되는 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템, 차량, 전자 기기, 프로그램 및 매체에 기반하여, 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과에 따라 운전자의 운전 상태 모니터링 결과를 출력할 수 있음으로써, 운전자의 운전 상태를 실시간으로 모니터링하여 운전자의 운전 상태가 나쁠 경우 즉시 대응되는 조치를 취하므로, 안전 운전을 보장하고, 도로 교통 사고의 발생을 방지한다.
이하, 도면들과 실시예들을 통해 본 출원의 기술적 해결수단을 더 상세하게 설명하도록 한다.
첨부된 도면들은 명세서의 일부분을 구성하고 본 출원의 실시예들을 설명하는 상세한 설명과 함께 본 출원의 원리를 해석한다.
도면들을 참조하여 아래의 상세한 설명에 따라 본 출원을 보다 명확하게 이해할 수 있다.
도 1은 본 출원의 운전 상태 모니터링 방법의 일 실시예의 흐름도이다.
도 2는 본 출원의 실시예 중 운전자 이미지에 대해 운전자 피로 상태 검출을 진행하는 단계의 일 실시예의 흐름도이다.
도 3은 본 출원의 실시예 중 운전자 이미지에 대해 운전자 산만 상태 검출을 진행하는 단계의 일 실시예의 흐름도이다.
도 4는 본 출원의 실시예 중 운전자 이미지에 대해 예정된 산만 동작 검출을 진행하는 단계의 일 실시예의 흐름도이다.
도 5는 본 출원의 운전 상태 모니터링 방법의 다른 일 실시예의 흐름도이다.
도 6은 본 출원의 운전 상태 모니터링 장치의 일 실시예의 구성도이다.
도 7은 본 출원의 운전 상태 모니터링 장치의 다른 일 실시예의 구성도이다.
도 8은 본 출원의 운전자 모니터링 시스템의 일 실시예의 구성도이다.
도 9는 본 출원의 운전자 모니터링 시스템 중 표시 모듈의 표시 영역의 일 실시예의 구조성도이다.
도 10은 본 출원의 차량의 일 실시예의 구성도이다.
도 11은 본 출원의 전자 기기의 하나의 응용 실시예의 구성도이다.
아래, 도면들을 참조하여 본 출원의 각각의 예시적 실시예들을 상세하게 설명하도록 한다. 달리 설명되지 않은 한, 이러한 실시예에서 설명된 부재들과 단계들의 상대적 배치, 숫자 표현식 및 수치는 본 출원의 범위를 한정하지 않음을 유의해야 한다.
아울러, 설명의 편의를 위해, 도면들에 도시된 각각의 부재들의 사이즈는 실제 비율 관계에 따라 제작된 것이 아님을 이해해야 한다.
이하, 적어도 하나의 예시적 실시예들에 대한 설명은 실제적으로 설명적인 것이고, 본 출원 및 그 응용 또는 용도에 대해 어떠한 한정도 하지 않는다.
관련 분야의 통상의 기술자가 이미 알고 있는 기술, 방법, 기기를 상세하게 설명하지 않을 수 있지만, 적절한 상황 하에, 상기 기술, 방법, 기기는 명세서의 일부분으로 간주되어야 한다.
유사한 참조부호 및 알파벳은 아래의 도면에서 유사한 항목을 나타내므로, 일단 어느 하나의 항목이 하나의 도면에서 정의되면, 그 뒤의 도면에서 이에 대해 더 설명될 필요가 없다.
본 출원의 실시예들은 다른 다양한 범용 또는 전용 컴퓨터 시스템 환경 또는 구성과 함께 조작될 수 있는 단말 기기, 컴퓨터 시스템, 서버 등 전자 기기에 응용될 수 있다. 단말 기기, 컴퓨터 시스템, 서버 등 전자 기기와 함께 사용하기에 적합한 공지된 다양한 단말 기기, 컴퓨터 시스템, 환경 및/또는 구성의 예들은 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 신 클라이언트, 팻 클라이언트, 휴대용 또는 랩톱 기기, 마이크로프로세서 기반의 시스템, 셋톱박스, 프로그래밍 소비자 전자제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 대형 컴퓨터 시스템, 및 상기 임의의 시스템을 포함하는 분산식 클라우드 컴퓨팅 기술 환경 등을 포함하지만 이에 한정되지 않는다.
단말 기기, 컴퓨터 시스템, 서버 등 전자 기기는 컴퓨터 시스템에 의해 실행되는 컴퓨터 시스템이 실행 가능한 명령(예를 들어, 프로그램 모듈)의 일반 언어 환경에서 설명될 수 있다. 일반적으로, 프로그램 모듈은 예제 프로그램, 프로그램, 타겟 프로그램, 컴포넌트, 로직, 데이터 구조 등을 포함할 수 있고, 이들은 특정된 태스크를 실행하거나 특정된 추상적 데이터 타입을 구현한다. 컴퓨터 시스템/서버는 분산식 클라우드 컴퓨팅 환경에서 실시될 수 있고, 분산식 클라우드 컴퓨팅 환경에서, 태스크는 통신 네트워크를 통해 연결된 원격 처리 기기에 의해 실행된다. 분산식 클라우드 컴퓨팅 환경에서, 프로그램 모듈은 저장 기기를 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치할 수 있다.
도 1은 본 출원의 운전 상태 모니터링 방법의 일 실시예의 흐름도이다. 본 출원의 실시예의 운전 상태 모니터링 방법은 하나의 장치(본 출원의 실시예에서, '운전 상태 모니터링 장치'라고 함) 또는 하나의 시스템(본 출원의 실시예에서. ' 운전자 모니터링 시스템'이라고 함)을 통해 구현될 수 있다. 도 1에 도시된 바와 같이, 상기 실시예의 운전 상태 모니터링 방법은 하기와 같은 단계들을 포함한다.
단계 102에서, 운전자 이미지에 대해 운전자 상태 검출을 진행한다.
하나의 선택 가능한 예에서, 상기 단계 102는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 모듈에 의해 수행될 수도 있다.
단계 104에서, 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하고 및/또는 지능형 운전 제어를 진행한다.
일부 실시예에서, 상기 단계 104에서, 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력할 수 있다.
일부 실시예에서, 상기 단계 104에서, 운전자 상태 검출의 결과에 따라, 대(對)차량지능형 운전 제어를 진행할 수 있다.
일부 실시예에서, 상기 단계 104에서, 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하는 동시에, 차량에 대해 지능형 운전 제어를 진행할 수 있다.
일부 실시예에서, 상기 단계 104에서, 운전자의 운전 상태 모니터링 결과를 출력하는 단계는, 운전 상태 모니터링 결과를 로컬 출력하거나 및/또는 운전 상태 모니터링 결과를 원격 출력하는 단계를 포함할 수 있다. 여기서, 운전 상태 모니터링 결과를 로컬 출력하는 것은 운전 상태 모니터링 장치 또는 운전자 모니터링 시스템을 통해 운전 상태 모니터링 결과를 출력하거나, 또는 차량 중의 중앙 제어 시스템에 운전 상태 모니터링 결과를 출력하여, 차량이 상기 운전 상태 모니터링 결과에 기반하여 차량에 대해 지능형 운전 제어를 진행하도록 하는 것이다. 운전 상태 모니터링 결과를 원격 출력하는 것은, 예를 들어 클라우드 서버 또는 관리 노드에 운전 상태 모니터링 결과를 송신하여 클라우드 서버 또는 관리 노드에 의해 운전자 운전 상태 모니터링 결과의 수집, 분석 및/또는 관리를 진행하도록 하거나, 또는 상기 운전 상태 모니터링 결과에 기반하여 차량에 대해 원격 제어를 진행하도록 하는 것이다.
하나의 선택 가능한 예에서, 상기 단계 104는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 출력 모듈 및/또는 지능형 운전 제어 모듈에 의해 수행될 수도 있다.
하나의 선택 가능한 예에서, 상기 단계 102 내지 단계 104는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 운전자 상태 검출 모듈에 의해 수행될 수도 있다.
일부 실시형태에서, 운전자 상태 검출은 예를 들어, 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 운전자 상태 검출의 결과 또한 대응되게 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과, 운전자의 예정된 산만 동작 검출의 결과 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
본 출원의 실시예 중의 예정된 산만 동작은 운전자의 주의력을 분산시킬 수 있는 임의의 산만 동작일 수 있는데, 예를 들어, 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 등일 수 있다. 여기서, 음식을 먹는 동작은 예컨대, 간식, 과일 등을 먹는 동작이고, 오락하는 동작은 예컨대, 메시지를 전송하는 동작, 게임하는 동작, 노래하는 동작 등 전자 기기를 통해 실행되는 임의의 동작이다. 여기서, 전자 기기는 예컨대, 휴대폰 단말기, 팜톱 컴퓨터, 게임기 등이다.
본 출원의 상기 실시예에 의해 제공되는 운전 상태 모니터링 방법에 기반하여, 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과에 따라 운전자의 운전 상태 모니터링 결과를 출력할 수 있음으로써, 운전자의 운전 상태를 실시간으로 모니터링하여 운전자의 운전 상태가 나쁠 경우 즉시 대응되는 조치를 취하므로, 안전 운전을 보장하고, 도로 교통 사고의 발생을 방지한다.
도 2는 본 출원의 실시예들 중 운전자 이미지에 대해 운전자 피로 상태 검출을 진행하는 단계의 일 실시예의 흐름도이다. 하나의 선택 가능한 예에서, 도 2에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 모듈에 의해 수행될 수도 있다. 도 2에 도시된 바와 같이, 일부 실시예에서, 운전자 이미지에 대해 운전자 피로 상태 검출을 진행하는 단계는 하기와 같은 단계들을 포함한다.
단계 202에서, 운전자 이미지 중 운전자 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득한다.
하나의 선택 가능한 예에서, 상기 안면의 적어도 일부 영역은 운전자 안면 눈 영역, 운전자 안면 입 영역 및 운전자 안면의 전체 영역 등 중 적어도 하나를 포함할 수 있다. 여기서, 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함할 수 있다.
상기 눈 개폐 상태 정보는 예컨대, 운전자가 눈을 반쯤 감았는지의 여부("반쯤"은 졸음 상태에서 눈을 가늘게 뜨는 등과 같이 눈을 완전히 감지 않은 상태를 나타냄), 눈을 감았는지의 여부, 눈감는 횟수, 눈감는 폭 등 운전자에 대해 눈감는 검출을 진행할 수 있다. 눈 개폐 상태 정보는 선택 가능하게 눈을 뜬 높이에 대해 정규화 처리를 진행한 후의 정보일 수 있다. 상기 입 개폐 상태 정보는 운전자에 대해 하품하는 검출을 진행할 수 있는데, 예를 들어, 운전자가 하품하는지의 여부, 하품하는 횟수 등을 검출할 수 있다. 입 개폐 상태 정보는 선택 가능하게 입을 벌리는 높이에 대해 정규화 처리를 진행한 후의 정보일 수 있다.
하나의 선택 가능한 예에서, 운전자 이미지에 대해 안면 키 포인트 검출을 진행하고, 검출된 안면 키 포인트 중의 눈 키 포인트를 이용하여 산출함으로써, 산출 결과에 따라 눈 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 먼저 안면 키 포인트 중의 눈 키 포인트(예를 들어, 운전자 이미지에서의 눈 키 포인트의 좌표 정보)를 이용하여 운전자 이미지 중의 눈 위치를 결정하여 눈 이미지를 획득하고, 상기 눈 이미지를 이용하여 상부 눈꺼풀 라인과 하부 눈꺼풀 라인을 획득하며, 상부 눈꺼풀 라인과 하부 눈꺼풀 라인 사이의 간격을 산출하여 눈 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 안면 키 포인트 중의 입 키 포인트를 직접 이용하여 산출함으로써, 산출 결과에 따라 입 개폐 상태 정보를 획득할 수 있다.
하나의 선택 가능한 예에서, 먼저 안면 키 포인트 중의 입 키 포인트(예를 들어, 운전자 이미지에서의 입 키 포인트의 좌표 정보)를 이용하여 운전자 이미지 중의 입 위치 결정하여, 절취 등의 방식을 통해 입 이미지를 획득하고, 상기 입 이미지를 이용하여 윗입술선과 아랫입술선을 획득하며, 윗입술선과 아랫입술선 사이의 간격을 산출하여 입 개폐 상태 정보를 획득할 수 있다.
소정의 시간 내에 수집된 멀티 프레임 운전자 이미지에 대해 단계 202를 수행하여 상기 소정의 시간 내의 다수의 안면의 적어도 일부 영역의 상태 정보를 획득한다.
단계 204에서, 소정의 시간 내의 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득한다.
일부 선택 가능한 예에서, 운전자 피로 상태를 나타내는 지표는 예컨대, 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
여기서, 눈감는 정도의 파라미터 값은 예컨대, 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않거나; 및/또는, 하품하는 정도의 파라미터 값은 예컨대, 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
단계 206에서, 상기 운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정한다.
상기 운전자 피로 상태 검출의 결과는 피로 상태 및 피로 운전 상태가 검출되지 않은 것일 수 있다. 또는, 상기 운전자 피로 상태 검출의 결과는 피로 운전 정도일 수도 있고, 여기서 피로 운전 정도는 정상적 운전 레벨(비-피로 운전 레벨이라고도 함) 및 피로 운전 레벨을 포함할 수 있으며; 여기서 피로 운전 레벨은 하나의 레벨일 수 있고, 다수의 상이한 레벨들로 구분될 수도 있는데, 예를 들어, 상기 피로 운전 레벨은 리마인드 피로 운전 레벨(경도 피로 운전 레벨이라고도 할 수 있음) 및 경고 피로 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)로 구분될 수 있지만, 물론, 피로 운전 정도는 더 많은 레벨들로 구분될 수도 있는데, 예를 들어, 경도 피로 운전 레벨, 중등 피로 운전 레벨 및 고도 피로 운전 레벨 등으로 나뉠 수 있다. 본 출원은 피로 운전 정도에 포함되는 상이한 레벨들을 한정하지 않는다.
하나의 선택 가능한 예에서, 피로 운전 정도에 포함되는 각각의 레벨에 모두 기설정된 조건이 대응되고, 운전자 피로 상태를 나타내는 지표의 파라미터 값이 만족시키는 기설정된 조건에 대응되는 레벨을 피로 운전 정도로 결정할 수 있다.
하나의 선택 가능한 예에서, 정상적 운전 레벨(비-피로 운전 레벨이라고도 할 수 있음)에 대응되는 기설정된 조건은,
눈을 반쯤 감는 현상 및 눈감는 현상이 존재하지 않는 조건 20a; 및
하품하는 현상이 존재하지 않는 조건 20b를 포함할 수 있고,
상기 조건 20a 및 조건 20b를 모두 만족시킬 경우, 운전자는 현재 정상적 운전 레벨(비-피로 운전 레벨이라고도 할 수 있음)에 있다.
하나의 선택 가능한 예에서, 리마인드 피로 운전 레벨에 대응되는 기설정된 조건은,
눈을 반쯤 감는 현상이 존재하는 조건 20c; 및
하품하는 현상이 존재하는 조건 20d를 포함할 수 있고,
상기 조건 20c 및 조건 20d 중의 어느 하나의 조건을 만족시킬 경우, 운전자는 현재 리마인드 피로 운전 레벨에 있다.
하나의 선택 가능한 예에서, 경고 피로 운전 레벨에 대응되는 기설정된 조건은,
눈감는 현상이 존재하거나 소정의 시간 내의 눈감는 횟수가 기설정된 횟수 또는 소정의 시간 내의 눈감는 시간이 기설정된 시간에 도달하는 조건 20d; 및
소정의 시간 내의 하품하는 횟수가 기설정된 횟수에 도달하는 조건 20e를 포함할 수 있고,
상기 조건 20d 및 조건 20e 중의 어느 하나의 조건을 만족시킬 경우, 운전자는 현재 경고 피로 운전 레벨에 있다.
도 3은 본 출원의 실시예들 중 운전자 이미지에 대해 운전자 산만 상태 검출을 진행하는 단계의 일 실시예의 흐름도이다. 하나의 선택 가능한 예에서, 도 3에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 모듈에 의해 수행될 수도 있다. 도 3에 도시된 바와 같이, 일부 실시예에서, 운전자 이미지에 대해 운전자 산만 상태 검출을 진행하는 단계는 하기와 같은 단계들을 포함할 수 있다.
단계 302에서, 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득한다.
여기서, 안면 방향 정보는 운전자의 안면 방향이 정상인 지를 결정할 수 있는데, 예를 들어, 운전자가 얼굴을 옆으로 돌렸거나 머리를 뒤로 돌렸는지의 여부 등을 결정할 수 있다. 안면 방향 정보는 선택 가능하게 운전자 안면의 정면과 운전자가 운전하고 있는 차량의 정면 사이의 협각일 수 있다. 상기 시선 방향 정보는 운전자의 시선 방향이 정상인 지를 결정할 수 있는데, 예를 들어, 운전자가 전방을 주시하고 있는지의 여부 등을 결정할 수 있고, 시선 방향 정보는 운전자의 시선이 이탈 현상 등이 발생하였는지의 여부를 판단할 수 있다. 시선 방향 정보는 선택 가능하게 운전자의 시선과 운전자가 운전하고 있는 차량의 정면 사이의 협각일 수 있다.
단계 304에서, 소정의 시간 내 운전자의 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정한다.
여기서, 운전자 산만 상태를 나타내는 지표는 예컨대, 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 일부 선택 가능한 예에서, 안면 방향 이탈 정도의 파라미터 값은 예컨대, 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않거나; 및/또는, 시선 이탈 정도의 파라미터 값은 예컨대, 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
상기 시선 이탈 정도는 예컨대, 시선이 이탈되었는지의 여부 및 시선이 심각하게 이탈되었는지의 여부 중 적어도 하나를 포함할 수 있고; 상기 안면 방향 이탈 정도(얼굴을 돌리는 정도 또는 머리를 돌리는 정도라고도 할 수 있음)는 예컨대, 머리를 돌렸는지의 여부, 단시간 동안 머리를 돌렸는지의 여부 및 장시간 동안 머리를 돌렸는지의 여부 중 적어도 하나를 포함할 수 있다.
하나의 선택 가능한 예에서, 안면 방향 정보가 제1 방향보다 크고, 제1 방향보다 큰 이러한 현상이 N1 프레임(예를 들어, 9 프레임 또는 10 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 장시간 동안 큰 각도로 머리를 돌리는 현상이 발생되었음을 결정하고, 한 번의 장시간 동안 큰 각도로 머리를 돌린 것으로 기록할 수 있으며, 이번의 머리 돌림 지속 시간을 기록할 수도 있고; 안면 방향 정보가 제1 방향보다 크지 않고 제2 방향보다 크며, 제1 방향보다 크지 않고 제2 방향보다 큰 이러한 현상이 N1 프레임(예를 들어, 9 프레임 또는 10 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 장시간 동안 작은 각도로 머리를 돌리는 현상이 발생되었음을 결정하고, 한 번의 작은 각도로 머리를 돌려 이탈된 것으로 기록할 수 있으며, 이번의 머리 돌림 지속 시간을 기록할 수도 있다.
하나의 선택 가능한 예에서, 시선 방향 정보와 차량 정면 사이의 협각이 제1 협각보다 크고, 제1 협각보다 큰 이러한 현상이 N2 프레임(예를 들어, 8 프레임 또는 9 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 시선이 심각하게 이탈되는 현상이 발생되었음을 결정하고, 한 번의 시선이 심각하게 이탈된 것으로 기록할 수 있으며, 이번의 시선이 심각하게 이탈되는지속 시간을 기록할 수도 있고; 시선 방향 정보와 차량 정면 사이의 협각이 제1 협각보다 크지 않고 제2 협각보다 크며, 제1 협각보다 크지 않고 제2 협각보다 큰 이러한 현상이 N2 프레임(예를 들어, 8 프레임 또는 9 프레임 등 동안 지속됨) 동안 지속되는 것으로 판단되면, 운전자가 한 번의 시선이 이탈되는 현상이 발생되었음을 결정하고, 한 번의 시선이 이탈된 것으로 기록할 수 있으며, 이번의 시선이 이탈되는지속 시간을 기록할 수도 있다.
하나의 선택 가능한 예에서, 상기 제1 방향, 제2 방향, 제1 협각, 제2 협각, N1 및 N2의 값은 실제 상황에 따라 설정될 수 있고, 본 출원은 값의 크기를 한정하지 않는다.
단계 306에서, 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정한다.
여기서, 운전자 산만 상태 검출의 결과는 예컨대, 운전자 주의력 집중(운전자의 주의력이 분산되지 않음), 운전자 주의력 분산을 포함할 수 있거나; 또는, 운전자 산만 상태 검출의 결과는 운전자 주의력 분산 레벨일 수 있는데, 예를 들어, 운전자 주의력 집중(운전자의 주의력이 분산되지 않음), 운전자 주의력 경도 분산, 운전자 주의력 중등 분산, 운전자 주의력 고도 분산 등을 포함할 수 있다. 여기서의 운전자 주의력 분산 레벨은 운전자 산만 상태를 나타내는 지표의 파라미터 값이 만족시키는 기설정된 조건을 통해 결정될 수 있다. 예를 들어, 시선 방향 이탈 각도와 안면 방향 이탈 각도가 모두 제1 기설정된 각도보다 작으면, 운전자 주의력 분산 레벨은 운전자 주의력 집중이고; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 기설정된 각도보다 작고, 지속 시간이 제1 기설정된 지속 시간보다 크지 않으며, 제2 기설정된 지속 시간보다 작으면, 운전자 주의력 경도 분산이며; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 기설정된 각도보다 작지 않고, 지속 시간이 제2 기설정된 지속 시간보다 크지 않으며, 제3 기설정된 지속 시간보다 작으면, 운전자 주의력 중등 분산이고; 시선 방향 이탈 각도와 안면 방향 이탈 각도 중 어느 하나가 기설정된 각도보다 작지 않고, 지속 시간이 제3 기설정된 지속 시간보다 작지 않으면, 운전자 주의력 고도 분산이다.
본 실시예는 운전자 이미지의 안면 방향 및/또는 시선 방향을 검출하여 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하고, 이에 따라 운전자 산만 상태 검출의 결과를 결정하여 운전자가 주의력을 집중하여 운전하는지의 여부를 판단하며, 운전자 산만 상태의 지표를 계량화하여 운전 집중 정도를 시선 이탈 정도 및 머리 돌림 정도의 지표 중 적어도 하나로 계량화함으로써, 운전자의 집중 운전 상태를 즉시 객관적으로 판단하는데 유리하다.
일부 실시형태에서, 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계 302는,
운전자 이미지의 안면 키 포인트를 검출하는 단계; 및
안면 키 포인트에 따라 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함할 수 있다.
안면 키 포인트에 일반적으로 머리 자세 특징 정보가 포함되는데, 일부 선택 가능한 예에서, 안면 키 포인트에 따라 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는, 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 머리 자세의 특징 정보에 따라 안면 방향(머리 자세라고도 함) 정보를 획득하는 단계를 포함하고, 여기서 안면 방향 정보는 예컨대, 안면이 회전하는 방향 및 각도를 나타낼 수 있으며, 여기서 회전하는 방향은 왼쪽으로 회전, 오른쪽으로 회전, 아래로 회전 및/또는 위로 회전 등일 수 있다.
하나의 선택 가능한 예에서, 안면 방향을 통해 운전자가 주의력을 집중하여 운전하는지의 여부를 판단할 수 있다. 안면 방향(머리 자세)은 요(yaw)와 피치(pitch)로 나타낼 수 있고, 여기서, 요와 피치는 각각 정규화 구면 좌표(카메라가 위치한 사진기 좌표계)에서의 머리의 수평 편향 각도(요 각도)와 수직 편향 각도(피치 각도)를 나타낸다. 수평 편향 각도 및/또는 수직 편향 각도가 하나의 기설정된 각도 임계값보다 크고 지속 시간이 하나의 기설정된 시간 임계값보다 클 경우 운전자 산만 상태 검출의 결과가 주의력 불집중인 것으로 결정할 수 있다.
하나의 선택 가능한 예에서, 대응되는 신경망을 이용하여 각각의 운전자 이미지의 안면 방향 정보를 획득할 수 있다. 예를 들어, 상기 검출된 안면 키 포인트를 제1 신경망에 입력하고, 제1 신경망을 통해, 수신된 안면 키 포인트에 기반하여 머리 자세의 특징 정보를 추출하여 제2 신경망에 입력할 수 있으며; 제2 신경망에 의해 상기 머리 자세의 특징 정보에 기반하여 머리 자세 평가를 진행하여 안면 방향 정보를 획득한다.
발전이 비교적 성숙되고 우수한 실시간성을 구비하는 기존의, 머리 자세의 특징 정보를 추출하기 위한 신경망과 안면 방향을 추측하기 위한 신경망을 사용하여 안면 방향 정보를 획득할 경우, 카메라가 촬영한 비디오에 대해 비디오 중 각 이미지 프레임(즉, 각각의 프레임 운전자 이미지)에 대응되는 안면 방향 정보를 정확하고 신속하게 검출할 수 있음으로써, 운전자 주의력 정도의 정확성 향상에 유리하다.
일부 선택 가능한 예에서, 안면 키 포인트에 따라 시선 방향 검출을 진행하여 시선 방향 정보를 획득하는 단계는, 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하고, 동공 가장자리 위치에 따라 동공 중심 위치를 산출하는 단계; 동공 중심 위치와 눈 중심 위치에 따라 시선 방향 정보를 산출하는 단계를 포함한다. 예를 들어, 동공 중심 위치와 눈 이미지 중의 눈 중심 위치의 벡터를 산출하고, 상기 벡터는 시선 방향 정보로 사용될 수 있다.
하나의 선택 가능한 예에서, 시선 방향을 통해 운전자가 주의력을 집중하여 운전하는지의 여부를 판단할 수 있다. 시선 방향은 요(yaw)와 피치(pitch)로 나타낼 수 있고, 여기서, 요와 피치는 각각 정규화 구면 좌표(카메라가 위치한 사진기 좌표계)에서의 시선의 수평 편향 각도(요 각도)와 수직 편향 각도(피치 각도)를 나타낸다. 수평 편향 각도 및/또는 수직 편향 각도가 하나의 기설정된 각도 임계값보다 크고 지속 시간이 하나의 기설정된 시간 임계값보다 클 경우 운전자 산만 상태 검출의 결과가 주의력 불집중인 것으로 결정할 수 있다.
여기서, 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하는 단계는, 상기 제3 신경망에 기반하여, 안면 키 포인트에 따라 분할된 이미지 중의 눈 영역 이미지에 대해 동공 가장자리 위치의 검출을 진행하고, 제3 신경망에 의해 출력된 정보에 따라 동공 가장자리 위치를 획득하는 단계를 통해 구현될 수 있다.
하나의 선택 가능한 예로서, 운전자 이미지로부터 눈 이미지를 절취하여 확대할 수 있고, 상기 절취하여 확대된 눈 이미지를 동공은 위치결정하기 위한 제3 신경망에 제공되어 동공 키 포인트 검출이 진행되고, 검출된 동공 키 포인트를 출력하고, 제3 신경망에 의해 출력된 동공 키 포인트에 따라 동공 가장자리 위치를 획득하며, 동공 가장자리 위치를 산출(예를 들어, 원심 위치를 산출)하여 동공 중심 위치를 획득할 수 있다.
하나의 선택 가능한 예로서, 상기 상부 눈꺼풀 라인과 하부 눈꺼풀 라인에 기반하여 눈 중심 위치를 획득할 수 있는데, 예를 들어, 상부 눈꺼풀 라인과 하부 눈꺼풀 라인의 모든 키 포인트의 좌표 정보를 더하고 상부 눈꺼풀 라인과 하부 눈꺼풀 라인의 모든 키 포인트의 개수로 나누며, 나누어 얻어진 좌표 정보를 눈 중심 위치로 한다. 물론, 다른 방식을 통해 눈 중심 위치를 획득할 수도 있는데, 예를 들어, 검출된 안면 키 포인트 중의 눈 키 포인트를 산출함으로써, 눈 중심 위치를 획득한다. 본 출원은 눈 중심 위치를 획득하는 실시예에 한정되지 않는다.
본 실시예는 동공 키 포인트를 검출한 기초 상에서 동공 중심 위치를 획득하여, 보다 정확한 동공 중심 위치를 획득할 수 있고; 눈꺼풀을 위치결정한 기초 상에서 눈 중심 위치를 획득하여, 보다 정확한 눈 중심 위치를 획득할 수 있음으로써, 동공 중심 위치와 눈 중심 위치를 이용하여 시선 방향을 결정할 경우, 비교적 정확한 시선 방향 정보를 획득할 수 있다. 이 밖에, 동공 키 포인트를 이용하여 검출하는 방식을 통해 동공 중심 위치를 결정하고, 동공 중심 위치와 눈 중심 위치를 이용하여 시선 방향을 결정하여, 시선 방향의 실시예가 정확성을 구비하도록 하고, 구현에 용이한 특징을 겸비하도록 한다.
하나의 선택 가능한 예에서, 본 출원은 기존의 신경망을 사용하여 동공 가장자리 위치의 검출 및 눈 중심 위치의 검출을 구현할 수 있다.
도 4는 본 출원의 실시예들 중 운전자 이미지에 대해 예정된 산만 동작 검출을 진행하는 단계의 일 실시예의 흐름도이다. 하나의 선택 가능한 예에서, 도 4에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 상태 검출 모듈에 의해 수행될 수도 있다. 도 4에 도시된 바와 같이, 일부 예에서, 운전자 이미지에 대해 예정된 산만 동작 검출을 진행하는 단계는 하기와 같은 단계들을 포함한다.
단계 402에서, 운전자 이미지에 대해 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임(detection frame)를 획득한다.
단계 404에서, 상기 타겟 객체의 검출 프레임에 따라, 예정된 산만 동작의 발생 여부를 결정한다.
본 실시예는 운전자에 대해 예정된 산만 동작 검출을 진행하는 해결 수단이 제공되고, 예정된 산만 동작에 대응되는 타겟 객체를 검출하고, 검출된 타겟 객체의 검출 프레임에 따라 산만 동작의 발생 여부를 결정함으로써, 운전자의 산만 여부를 판단하므로, 정확한 운전자의 예정된 산만 동작 검출의 결과 획득에 유리함으로써, 운전 상태 모니터링 결과의 정확성의 향상에 유리하다.
예를 들어, 예정된 산만 동작이 흡연 동작일 경우, 상기 단계 402 내지 단계 404는, 제4 신경망을 통해 운전자 이미지에 대해 안면 검출을 진행하여 안면 검출 프레임을 획득하고, 안면 검출 프레임의 특징 정보를 추출하는 단계; 제4 신경망을 통해 안면 검출 프레임의 특징 정보에 따라 흡연 동작의 발생 여부를 결정하는 단계를 포함할 수 있다.
또한, 예를 들어, 예정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작(즉, 음식을 먹는 동작 및/또는 물을 마시는 동작 및/또는 전화하는 동작 및/또는 오락하는 동작)일 경우, 상기 단계 402 내지 단계 404는, 제5 신경망을 통해 운전자 이미지에 대해 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작에 대응되는 기설정된 타겟 객체 검출을 진행하여, 손, 입, 눈, 예컨대, 용기, 음식, 전자 기기 중 임의의 한 가지 또는 여러 가지를 포함할 수 있지만 이에 한정되지 않는 타겟 물체를 포함하는 기설정된 타겟 객체의 검출 프레임을 획득하는 단계; 기설정된 타겟 객체의 검출 프레임에 따라, 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작의 미발생, 음식을 먹는 동작의 발생, 물을 마시는 동작의 발생, 전화하는 동작의 발생, 오락하는 동작의 발생 중 하나를 포함할 수 있는, 예정된 산만 동작의 검출 결과를 획득하는 단계를 포함할 수 있다.
일부 선택 가능한 예에서, 예정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작(즉, 음식을 먹는 동작 및/또는 물을 마시는 동작 및/또는 전화하는 동작 및/또는 오락하는 동작)일 경우, 기설정된 타겟 객체의 검출 프레임에 따라 예정된 산만 동작의 검출 결과를 결정하는 단계는, 손의 검출 프레임, 입의 검출 프레임, 눈의 검출 프레임 및 타겟 물체의 검출 프레임이 검출되었는지의 여부에 따라, 또한 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 타겟 물체의 타입 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 거리가 기설정된 조건을 만족시키는지의 여부에 따라, 예정된 산만 동작의 검출 결과를 결정하는 단계를 포함할 수 있다.
선택 가능하게, 손의 검출 프레임과 타겟 물체의 검출 프레임이 중첩되고, 타겟 물체의 타입이 용기 또는 음식이며, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이가 중첩될 경우, 음식을 먹는 동작 또는 물을 마시는 동작이 발생한다는 것으로 결정하고; 및/또는, 손의 검출 프레임과 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 전자 기기이며, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작거나, 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작을 경우, 오락하는 동작 또는 전화하는 동작이 발생한다는 것으로 결정한다.
이 밖에, 손의 검출 프레임, 입의 검출 프레임 및 어느 하나의 타겟 물체의 검출 프레임이 동시에 검출되지 않았고, 손의 검출 프레임, 눈의 검출 프레임 및 어느 하나의 타겟 물체의 검출 프레임이 동시에 검출되지 않았을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하고; 및/또는, 손의 검출 프레임과 타겟 물체의 검출 프레임이 중첩되지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하고; 및/또는, 타겟 물체의 타입이 용기 또는 음식이고, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이는 중첩되지 않거나, 및/또는, 타겟 물체의 타입이 전자 기기이고, 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작지 않거나, 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정한다.
이 밖에, 상기 운전자 이미지에 대해 예정된 산만 동작 검출을 진행하는 실시예에서, 운전자 산만 상태 검출의 결과가 예정된 산만 동작이 검출된 것이면, 산만 동작이 검출된 것을 리마인드하는데, 예를 들어, 흡연 동작이 검출될 경우, 흡연하는 것이 검출된 것을 리마인드하고; 물을 마시는 동작이 검출될 경우, 물을 마시는 것이 검출된 것을 리마인드하며; 전화하는 동작이 검출될 경우, 전화하는 것이 검출된 것을 리마인드한다.
하나의 선택 가능한 예에서, 산만 동작이 검출된 것을 리마인드하는 상기 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 제1 리마인드 모듈에 의해 수행될 수도 있다.
이 밖에, 다시 도 4를 참조하면, 운전자 이미지에 대해 운전자의 예정된 산만 동작 검출을 진행하는 다른 일 실시예에서, 하기와 같은 단계를 선택적으로 더 포함할 수 있다.
단계 406에서, 예정된 산만 동작이 발생되면, 소정의 시간 내 예정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 운전자 산만 정도를 나타내는 지표는 예컨대, 예정된 산만 동작의 횟수, 예정된 산만 동작의 지속 시간, 예정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 예를 들어, 흡연 동작의 횟수, 지속 시간, 빈도; 물을 마시는 동작의 횟수, 지속 시간, 빈도; 전화하는 동작의 횟수, 지속 시간, 빈도 등 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
단계 408에서, 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 예정된 산만 동작 검출의 결과를 결정한다.
상기 운전자의 예정된 산만 동작 검출의 결과는 예정된 산만 동작이 검출되지 않은 것, 예정된 산만 동작이 검출된 것을 포함할 수 있다. 이 밖에, 상기 운전자의 예정된 산만 동작 검출의 결과는 산만 레벨일 수 있다. 예를 들어, 상기 산만 레벨은 예컨대, 비-산만 레벨(집중 운전 레벨이라고도 할 수 있음), 리마인드 산만 운전 레벨(경도 산만 운전 레벨이라고도 할 수 있음) 및 경고 산만 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)로 구분될 수 있다. 또한 산만 레벨은, 예를 들어, 비-산만 운전 레벨, 경도 산만 운전 레벨, 중등 산만 운전 레벨 및 고도 산만 운전 레벨 등과 같이 더 많은 레벨들로 구분될 수 있다. 물론, 본 출원의 각각의 실시예의 산만 레벨은 다른 상황에 따라 구분될 수도 있고, 레벨을 구분하는 상기 상황에 한정되는 것은 아니다.
여기서, 산만 레벨은 산만 정도를 나타내는 지표의 파라미터 값이 만족시키는 기설정된 조건에 의해 결정될 수 있다. 예를 들어, 예정된 산만 동작이 검출되지 않으면, 산만 레벨은 비-산만 레벨(집중 운전 레벨이라고도 할 수 있음)이고; 예정된 산만 동작의 지속 시간이 제1 기설정된 지속 시간보다 작고 빈도가 제1 기설정된 빈도보다 작은 것으로 검출되면, 산만 레벨은 경도 산만 운전 레벨이며; 예정된 산만 동작의 지속 시간이 제1 기설정된 지속 시간보다 크거나, 및/또는 빈도가 제1 기설정된 빈도보다 크면, 산만 레벨은 고도 산만 운전 레벨이다.
이 밖에, 본 출원의 운전 상태 모니터링 방법의 다른 일 실시예에서, 운전자 산만 상태 검출의 결과 및/또는 운전자의 예정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 단계를 더 포함할 수 있다.
운전자 산만 상태 검출의 결과가 운전자 주의력 분산 또는 운전자 주의력 분산 레벨이거나, 및/또는 운전자의 예정된 산만 동작 검출의 결과가 예정된 산만 동작이 검출된 것이면, 산만 리마인드 정보를 출력하여 운전자가 주의력을 집중하여 운전하도록 알릴 수 있다.
하나의 선택 가능한 예에서, 상기 운전자 산만 상태 검출의 결과 및/또는 운전자의 예정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 제2 리마인드 모듈에 의해 수행될 수도 있다.
도 5를 참조하면, 본 출원의 운전 상태 모니터링 방법의 다른 일 실시예는 하기와 같은 단계들을 포함한다.
단계 502에서, 운전자 이미지에 대해 운전자 피로 상태 검출, 운전자 산만 상태 검출 및 운전자의 예정된 산만 동작 검출을 진행하여 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과, 운전자의 예정된 산만 동작 검출의 결과를 획득한다.
단계 504에서, 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 예정된 산만 동작 검출의 결과가 만족시키는 기설정된 조건에 따라 운전 상태 레벨을 결정한다.
단계 506에서, 결정된 운전 상태 레벨을 운전 상태 모니터링 결과로서 사용한다.
하나의 선택 가능한 예에서, 각각의 운전 상태 레벨에 모두 기설정된 조건이 대응되고, 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 예정된 산만 동작 검출의 결과가 만족시키는 기설정된 조건을 실시간으로 판단할 수 있으며, 만족되는 기설정된 조건에 대응되는 운전 상태 레벨을 운전자의 운전 상태 모니터링 결과로 결정할 수 있다. 여기서 운전 상태 레벨은 예컨대, 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음), 리마인드 운전 상태(운전 상태가 비교적 나쁨), 경고 운전 상태(운전 상태가 아주 나쁨)를 포함할 수 있다.
하나의 선택 가능한 예에서, 상기 도 5에 도시된 실시예는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 출력 모듈에 의해 수행될 수도 있다.
예를 들어, 하나의 선택 가능한 예에서, 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음)에 대응되는 기설정된 조건은,
운전자 피로 상태 검출의 결과가 피로 상태 또는 비-피로 운전 레벨이 검출되지 않은 것인 조건 1;
운전자 산만 상태 검출의 결과가 운전자 주의력 집중인 조건 2; 및
운전자의 예정된 산만 동작 검출의 결과가 예정된 산만 동작 또는 비-산만 레벨이 검출되지 않은 조건 3을 포함할 수 있다.
상기 조건 1, 조건 2 및 조건 3을 모두 만족시킬 경우, 운전 상태 레벨은 정상적 운전 상태(집중 운전 레벨이라고도 할 수 있음)이다.
예를 들어, 하나의 선택 가능한 예에서, 리마인드 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 기설정된 조건은,
운전자 피로 상태 검출의 결과가 리마인드 피로 운전 레벨(경도 피로 운전 레벨이라고도 할 수 있음)인 조건 11;
운전자 산만 상태 검출의 결과가 운전자 주의력 경도 분산인 조건 22; 및
운전자의 예정된 산만 동작 검출의 결과가 리마인드 산만 운전 레벨(경도 산만 운전 레벨이라고도 할 수 있음)인 조건 33을 포함할 수 있다.
상기 조건 11, 조건 22 및 조건 33 중의 어느 하나의 조건을 만족시키고, 다른 조건 중의 결과가 더 심각한 피로 운전 레벨, 주의력 분산 레벨, 산만 레벨에 대응되는 기설정된 조건에 도달하지 못할 경우, 운전 상태 레벨은 리마인드 운전 상태(운전 상태가 비교적 나쁨)이다.
예를 들어, 하나의 선택 가능한 예에서, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 기설정된 조건은,
운전자 피로 상태 검출의 결과가 경고 피로 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)인 조건 111;
운전자 산만 상태 검출의 결과가 운전자 주의력 고도 분산인 조건 222; 및
운전자의 예정된 산만 동작 검출의 결과가 경고 산만 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)인 조건 333을 포함할 수 있다.
상기 조건 111, 조건 222 및 조건 333 중의 어느 하나의 조건을 만족시킬 경우, 운전 상태 레벨은 경고 운전 상태(운전 상태가 아주 나쁨)이다.
또한, 본 출원의 운전 상태 모니터링 방법의 또 다른 일 실시예에서, 하기와 같은 단계들을 더 포함할 수 있다.
단계 508에서, 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행한다.
하나의 선택 가능한 예에서, 상기 단계 508은 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 제1 제어 모듈에 의해 수행될 수도 있다.
일부 선택 가능한 예에서, 단계 508은 하기와 같은 단계들 중 적어도 하나를 포함할 수 있다.
운전 상태 모니터링 결과가 리마인드/경고의 예정된 조건을 만족시키면, 예를 들어, 리마인드 운전 상태(운전 상태가 비교적 나쁨)에 대응되는 기설정된 조건을 만족시키거나 운전 상태 레벨이 리마인드 운전 상태(운전 상태가 비교적 나쁨)이면, 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하고, 예를 들어, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임)/진동 등 방식을 통해 운전자를 리마인드하여, 운전자가 주의하도록 알리고, 운전자가 분산된 주의력을 운전에 되돌리도록 하거나 운전자가 휴식 등을 취하도록 함으로써, 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하며; 또한 예를 들어,
및/또는, 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시키고, 경고 운전 상태(운전 상태가 아주 나쁨)에 대응되는 기설정된 조건을 만족시키거나 운전 상태 레벨이 경고 산만 운전 레벨(고도 피로 운전 레벨이라고도 할 수 있음)이면, 운전 모드를 자동 운전 모드로 전환시켜 안전 운전을 구현하고, 도로 교통 사고의 발생을 방지하며; 동시에, 소리(예를 들어, 음성 또는 벨소리 등)/빛(등을 키거나 깜빡임)/진동 등 방식을 통해 운전자를 리마인드하여, 운전자가 주의하도록 알리고, 운전자가 분산된 주의력을 운전에 되돌리도록 하거나 운전자가 휴식 등을 취하도록 한다.
이 밖에, 본 출원의 운전 상태 모니터링 방법의 또 다른 실시예에서, 적외선 카메라를 통해 이미지를 수집하는 단계를 더 포함할 수 있고, 예를 들어, 차량 내 적어도 하나의 위치에 배치된 적외선 카메라를 통해 이미지를 수집하여 운전자 이미지를 획득한다.
본 출원의 실시예 중의 운전자 이미지는 일반적으로 적외선 카메라(근적외선 카메라 등)를 통해 운전실을 촬영하여 얻은 비디오 중의 이미지 프레임이다.
여기서, 적외선 카메라의 파장은 940 nm 또는 850 num을 포함할 수 있다. 여기서, 적외선 카메라는 차량 운전실 내에서 운전자의 위치를 촬영할 수 있는 임의의 위치에 설치될 수 있는데, 예를 들어, 적외선 카메라는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 중 임의의 하나 또는 다수의 위치에 배치될 수 있다. 예를 들어, 일부 선택 가능한 예에서, 적외선 카메라는 계기판 상측(예를 들어, 바로 상측 위치), 전면을 향한 위치에 설치될 수 있고; 센터 콘솔 상측(예를 들어, 바로 중간 위치), 전면을 향한 위치에 설치될 수 있으며; A필러(예를 들어, A필러에 근접한 유리에 부착될 수 있음), 운전자 얼굴을 향한 위치에 설치될 수도 있다. 여기서, 적외선 카메라가 계기판 상측, 센터 콘솔 상측 위치에 설치될 경우, 카메라의 시각 및 운전자의 위치에 따라 그 구체적인 위치를 결정할 수 있는데, 예를 들어, 계기판 상측 위치에 설치될 경우, 적외선 카메라가 운전자를 향할 수 있음으로써, 카메라 시각이 핸들에 의해 가려지지 않도록 보장하고; 센터 콘솔 상측 위치에 설치될 경우, 카메라의 시각이 충분히 크면, 후방을 조준할 수 있음으로써, 운전자가 카메라 시야 내에 있도록 보장하며, 시각이 충분히 크지 않으면, 운전자를 향할 수 있음으로써, 운전자가 적외선 카메라의 시각에 나타나도록 보장한다.
운전자가 위치한 영역(예를 들어, 차 내 또는 운전실 등)의 광선은 흔히 비교적 복잡하고, 적외선 카메라에 의해 촬영된 운전자 이미지의 품질은 흔히 일반 카메라에 의해 촬영된 운전자 이미지의 품질보다 우수한데, 특히 밤 또는 흐린 날씨 또는 터널 내 등 외부 광선이 비교적 어두운 환경에서, 적외선 카메라에 의해 촬영된 운전자 이미지는 일반적으로 일반 카메라에 의해 촬영된 운전자 이미지의 품질보다 현저히 우수하므로, 운전자 산만 상태 검출 및 산만 동작 검출의 정확성 향상에 유리함으로써, 운전 상태 모니터링의 정확성 향상에 유리하다.
선택 가능하게, 실제 응용에서, 카메라에 의해 획득된 원본 이미지는 여러 가지 조건의 제한과 무작위의 간섭으로 인해 흔히 직접 사용될 수 없으므로, 본 출원의 일부 선택 가능한 예에서, 적외선 카메라에 의해 촬영된 운전자 이미지에 대해 그레이 스케일화 전처리를 진행하여 레드/그린/블루(RGB) 3 채널의 이미지를 그레이 스케일 이미지로 전환시킨 다음, 운전자의 신분 인증, 산만 상태 검출 및 산만 동작 검출 등의 단계를 수행함으로써, 신분 인증, 산만 상태 검출 및 산만 동작 검출의 정확성을 향상시킨다.
이 밖에, 본 출원의 각각의 실시예들에서, 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계; 운전자 제스처 검출의 결과에 따라 제어 명령을 생성하는 단계를 더 포함할 수 있다.
하나의 선택 가능한 예에서, 상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 제스처 검출 모듈에 의해 수행될 수도 있다. 하나의 선택 가능한 예에서, 상기 운전자 제스처 검출의 결과에 따라 제어 명령을 생성하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 명령 생성 모듈에 의해 수행될 수도 있다.
일부 실시형태에서, 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계는, 현재 프레임의 운전자 이미지 중의 손 키 포인트를 검출하는 단계; 검출된 손 키 포인트에 따라 결정된 정적 제스처를 운전자 제스처 검출의 결과로서 사용하는 단계를 포함할 수 있고, 즉, 이때 검출된 운전자 제스처는 정적 제스처이다.
일부 실시형태에서, 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계는, 적외선 카메라에 의해 수집된 운전자 비디오 중 멀티 프레임 운전자 이미지의 손 키 포인트를 검출하는 단계; 검출된 멀티 프레임 운전자 이미지의 손 키 포인트에 따라 결정된 동적 제스처를 운전자 제스처 검출의 결과로서 사용하는 단계를 포함할 수 있고, 즉, 이때 검출된 운전자 제스처는 동적 제스처이다.
운전자 제스처 검출의 결과에 따라 생성된 제어 명령은 차량 또는 차량의 부재 또는 애플리케이션 등 상태, 작업 상태를 제어할 수 있는데, 예를 들어, 창문을 올리고 내리는 것, 음량을 조절하는 것, 에어컨을 작동시키는 것, 에어컨 작동을 정지시키는 것, 에어컨 공기를 조절하는 것, 전화를 거는 것, 전화를 받는 것, 애플리케이션(예를 들어, 음악, 라디오, 블루투스)을 실행하거나 실행 정지하는 것 등을 제어할 수 있다.
이 밖에, 본 출원의 각각의 실시예에서, 운전자 이미지에 대해 안면 인식을 진행하는 단계; 안면 인식의 결과에 따라 인증 제어를 진행하는 단계를 더 포함할 수 있다.
하나의 선택 가능한 예에서, 상기 운전자 이미지에 대해 안면 인식을 진행하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 안면 인식 모듈에 의해 수행될 수도 있다. 상기 안면 인식의 결과에 따라 인증 제어를 진행하는 단계는 프로세서에 의해 메모리에 저장된 대응되는 명령을 호출하여 수행될 수 있고, 프로세서에 의해 실행되는 제2 제어 모듈에 의해 수행될 수도 있다.
일부 실시형태에서, 운전자 이미지에 대해 안면 인식을 진행하는 단계는 하기와 같은 단계들을 포함할 수 있다.
제6 신경망을 통해 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득한다. 예를 들어, 제6 신경망은 입력된 각각의 프레임 운전자 이미지에 대해 안면 위치 검출을 진행하고, 안면 검출 프레임을 출력하며, 상기 안면 검출 프레임 중의 안면에 대해 특징 추출을 진행한다.
상기 안면 특징과 데이터베이스 중의 안면 특징 템플릿에 대해 안면 매칭을 진행한다. 예를 들어, 하나의 임계값을 미리 설정하여, 추출된 안면 특징과 데이터베이스에 저장된 안면 특징 템플릿에 대해 검색 매칭을 진행하고, 추출된 안면 특징과 데이터베이스 중 어느 하나의 안면 특징 템플릿 사이의 유사도가 이 기설정된 임계값을 초과하면, 양자가 매칭되는 것으로 인정하고, 상기 운전자가 등록된 사용자이며, 데이터베이스에 상기 운전자의 사용자 정보가 존재하고, 안면 특징 템플릿 및 신분 정보(예를 들어, 성명, 등록명 등)를 포함함을 설명하며; 추출된 안면 특징과 데이터베이스 중 임의의 안면 특징 템플릿 사이의 유사도가 모두 이 기설정된 값을 초과하지 않으면, 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하지 않는 것으로 인정하고, 상기 운전자가 등록되지 않은 사용자임을 설명한다.
데이터베이스에 안면 특징과 매칭되는 안면 특징 템플릿이 존재하면, 안면 특징과 매칭되는 안면 특징 템플릿에 대응되는 신분 정보를 출력하고,
및/또는, 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하지 않으면, 등록하도록 운전자를 리마인드할 수 있고; 운전자의 등록 요청을 수신한 것에 응답하여, 제6 신경망을 통해, 수집된 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하며; 상기 안면 특징을 운전자의 안면 특징 템플릿으로 사용하여 데이터베이스에 운전자의 사용자 정보를 구축하고, 상기 사용자 정보는 운전자의 안면 특징 템플릿 및 운전자에 의해 입력된 신분 정보를 포함한다.
또한, 상기 실시예에서, 운전 상태 모니터링 결과를 데이터베이스 중 상기 운전자의 사용자 정보에 저장하고, 상기 운전자의 운전 상태 모니터링 결과를 기록하여, 후속적으로 운전자의 운전 상태 모니터링 결과를 조회하거나, 운전자의 운전 행위에 대해 습관적으로 분석, 통계 등을 진행하는 단계를 더 포함할 수 있다.
본 실시예는 안면 인식을 통해 운전자의 신분 인증 및 등록을 구현하여 운전자의 신분 정보를 인식하고, 운전자의 운전 상태 모니터링 결과를 기록 및 분석함으로써, 운전자의 운전 행위 습관 등의 이해에 유리하다.
일부 응용 상황에서, 운전자가 차량 시동을 할 경우, 운전 모니터링 장치 또는 운전자 모니터링 시스템을 작동시킬 경우, 적외선 카메라에 의해 수집된 운전자 이미지에 대해 안면 인식을 진행하기 시작하고, 상기 운전자가 등록된 사용자인지의 여부의 안면 인식의 결과에 따라, 대응되는 인증 제어 동작을 진행할 수 있는데, 예를 들어, 상기 운전자가 등록된 사용자인 지의 여부에 따라, 차량이 시동되고 운전 모니터링 장치 또는 운전자 모니터링 시스템에 대한 사용을 허용한다.
또는, 다른 일부 응용 상황에서, 운전자가 제스처 제어 기능에 대한 사용을 요청할 경우, 적외선 카메라에 의해 수집된 운전자 이미지에 대해 안면 인식을 진행하기 시작하고, 상기 운전자가 등록된 사용자인지의 여부의 안면 인식의 결과에 따라, 대응되는 인증 제어 동작을 진행할 수 있는데, 예를 들어, 상기 운전자가 등록된 사용자인지의 여부에 따라, 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하고, 운전자 제스처 검출의 결과에 따라 제어 명령을 생성한다.
본 출원의 상기 실시예의 운전 상태 모니터링 방법은 적외선(근적외선 포함) 카메라에 의해 이미지를 수집하여 운전자 이미지를 획득한 후, 신경망이 로딩된 단일 칩 마이크로컴퓨터, FPGA, ARM, CPU, GPU, 마이크로프로세서, 스마트폰, 노트북, 태블릿 PC(PAD), 데스크톱 컴퓨터 또는 서버 등 전자 기기에 송신하여 구현될 수 있고, 상기 전자 기기는 컴퓨터 프로그램(프로그램 코드라고도 할 수 있음)을 실행할 수 있으며, 상기 컴퓨터 프로그램은 플래시 메모리, 캐시, 하드 디스크 또는 광 디스크 등 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
본 출원의 실시예에 의해 제공되는 어느 하나의 운전 상태 모니터링 방법은 임의의 적절한, 데이터 처리 능력을 구비하는 단말 기기 및 서버 등을 포함하지만 이에 한정되지 않는 기기에 의해 수행될 수 있다. 또는, 본 출원의 실시예에 의해 제공되는 어느 하나의 운전 상태 모니터링 방법은 프로세서에 의해 수행될 수 있는데, 예를 들어, 프로세서는 메모리에 저장된 대응되는 명령을 호출하여 본 출원의 실시예에 따른 어느 하나의 운전 상태 모니터링 방법을 수행할 수 있다. 아래에서 더 이상 설명하지 않도록 한다.
본 기술분야의 통상의 기술자는 상기 방법 실시예의 모든 또는 부분 단계들의 구현은 프로그램 명령과 관련되는 하드웨어를 통해 완성될 수 있고, 상술한 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 수행하고, 상술한 저장 매체는 ROM, RAM, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함함을 이해할 수 있다.
도 6은 본 출원의 운전 상태 모니터링 장치의 일 실시예의 구성이다. 상기 실시예의 운전 상태 모니터링 장치는 본 출원의 각각의 운전 상태 모니터링 방법의 실시예를 구현할 수 있다. 도 6에 도시된 바와 같이, 상기 실시예의 운전 상태 모니터링 장치는 상태 검출 모듈, 및 출력 모듈 및/또는 지능형 운전 제어 모듈을 포함한다.
상태 검출 모듈은, 운전자 이미지에 대해 운전자 상태 검출을 진행한다.
본 실시예 중 상태 검출 모듈이 운전자 이미지에 대해 운전자 상태 검출을 진행하는 선택 가능한 해결수단은 본 출원의 어느 하나의 실시예에 따른 운전 상태 모니터링 방법 중 대응되는 단계를 참조할 수 있으므로, 여기서 더 이상 설명하지 않도록 한다.
출력 모듈은, 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력한다.
본 실시예 중 출력 모듈이 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하는 선택 가능한 해결수단은 본 출원의 어느 하나의 실시예에 따른 운전 상태 모니터링 방법 중 대응되는 단계를 참조할 수 있으므로, 여기서 더 이상 설명하지 않도록 한다.
지능형 운전 제어 모듈은, 운전자 상태 검출의 결과에 따라, 차량에 대해 지능형 운전 제어를 진행한다.
일부 실시형태에서, 운전자 상태 검출 예컨대, 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다. 운전자 상태 검출의 결과도 대응되게 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과, 운전자의 예정된 산만 동작 검출의 결과 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
일부 실시형태에서, 출력 모듈은 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력할 경우, 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 예정된 산만 동작 검출의 결과가 만족시키는 기설정된 조건에 따라 운전 상태 레벨을 결정하고; 결정된 운전 상태 레벨을 운전 상태 모니터링 결과로서 사용한다.
본 출원의 실시예 중의 예정된 산만 동작은 운전자의 주의력을 분산시킬 수 있는 임의의 산만 동작일 수 있는데, 예를 들어, 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 등일 수 있다. 여기서, 음식을 먹는 동작은 예컨대, 과일, 간식 등을 먹는 동작이고, 오락하는 동작은 예컨대, 메시지를 전송하는 동작, 게임하는 동작, 노래하는 동작 등 전자 기기를 통해 실행되는 임의의 동작이다. 여기서, 전자 기기는 예컨대, 휴대폰 단말기, 팜톱 컴퓨터, 게임기 등이다.
본 출원의 상기 실시예에 의해 제공되는 운전 상태 모니터링 장치에 기반하여, 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과에 따라 운전자의 운전 상태 모니터링 결과를 출력할 수 있음으로써, 운전자의 운전 상태를 실시간으로 모니터링하여 운전자의 운전 상태가 나쁠 경우 즉시 대응되는 조치를 취하므로, 안전 운전을 보장하고, 도로 교통 사고의 발생을 방지한다.
도 7은 본 출원의 운전 상태 모니터링 장치의 다른 일 실시예의 구성도이다. 도 7에 도시된 바와 같이, 도 6에 도시된 실시예에 비해, 상기 실시예의 운전 상태 모니터링 장치는 운전자의 예정된 산만 동작 검출의 결과가 예정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 제1 리마인드 모듈을 더 포함한다.
다시 도 7을 참조하면, 본 출원의 운전 상태 모니터링 장치의 다른 일 실시예에서, 운전자 산만 상태 검출의 결과 및/또는 운전자의 예정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 제2 리마인드 모듈을 더 포함할 수 있다.
이 밖에, 다시 도 7을 참조하면, 본 출원의 운전 상태 모니터링 장치의 또 다른 일 실시예에서, 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행하는 제1 제어 모듈을 더 포함할 수 있다.
일부 실시형태에서, 제1 제어 모듈은, 결정된 운전 상태 모니터링 결과가 리마인드/경고의 예정된 조건을 만족시키면, 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하고; 및/또는, 결정된 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시킨다.
이 밖에, 본 출원의 운전 상태 모니터링 장치의 또 다른 일 실시예에서, 운전자 이미지에 대해 안면 인식을 진행하는 안면 인식 모듈; 안면 인식의 결과에 따라 인증 제어를 진행하는 제2 제어 모듈을 더 포함할 수 있다.
일부 실시형태에서, 안면 인식 모듈은, 제6 신경망을 통해 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하며; 안면 특징과 데이터베이스 중의 안면 특징 템플릿에 대해 안면 매칭을 진행하고; 데이터베이스에 안면 특징과 매칭되는 안면 특징 템플릿이 존재하면, 안면 특징과 매칭되는 안면 특징 템플릿에 대응되는 신분 정보를 출력한다.
다른 일부 실시형태에서, 제2 제어 모듈은 또한, 데이터베이스에 안면 특징과 매칭되는 안면 특징 템플릿이 존재하지 않으면, 등록하도록 운전자를 리마인드하고; 안면 인식 모듈이 송신한 안면 특징을 운전자의 안면 특징 템플릿으로 사용하여 데이터베이스에 운전자의 사용자 정보를 구축할 수 있으며, 사용자 정보는 운전자의 안면 특징 템플릿 및 운전자에 의해 입력된 신분 정보를 포함하고; 대응되게, 안면 인식 모듈은 또한, 운전자의 등록 요청을 수신한 것에 응답하여, 제6 신경망을 통해, 수집된 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하여 제2 제어 모듈에 송신할 수 있다.
다른 일부 실시형태에서, 출력 모듈은 또한, 운전 상태 모니터링 결과를 데이터베이스 중 운전자의 사용자 정보에 저장할 수 있다.
이 밖에, 다시 도 7을 참조하면, 본 출원의 운전 상태 모니터링 장치의 또 다른 일 실시예에서, 차량 내 적어도 하나의 위치에 대응되게 배치되고, 이미지를 수집하여 운전자 이미지를 획득하는 적어도 하나의 적외선 카메라를 더 포함할 수 있다.
여기서, 적어도 하나의 위치는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 중 적어도 하나 또는 다수의 위치를 포함할 수 있지만 이에 한정되지 않는다.
이 밖에, 본 출원의 운전 상태 모니터링 장치의 또 다른 일 실시예에서, 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 제스처 검출 모듈; 운전자 제스처 검출의 결과에 따라 제어 명령을 생성하는 명령 생성 모듈을 더 포함할 수 있다.
일부 실시형태에서, 제스처 검출 모듈은, 현재 프레임의 운전자 이미지 중의 손 키 포인트를 검출하고; 검출된 손 키 포인트에 따라 결정된 정적 제스처를 운전자 제스처 검출의 결과로서 사용한다.
일부 실시형태에서, 제스처 검출 모듈은, 운전자 비디오 중 멀티 프레임 운전자 이미지의 손 키 포인트를 검출하고; 검출된 멀티 프레임 운전자 이미지의 손 키 포인트에 따라 결정된 동적 제스처를 운전자 제스처 검출의 결과로서 사용한다.
도 8은 본 출원의 운전자 모니터링 시스템의 일 실시예의 구성도이다. 상기 실시예의 운전자 모니터링 시스템은 본 출원의 각각의 운전 상태 모니터링 방법의 실시예를 구현할 수 있다. 도 8에 도시된 바와 같이, 상기 실시예의 운전자 모니터링 시스템은 표시 모듈 및 운전자 상태 검출 모듈을 포함한다.
표시 모듈은, 운전자 이미지, 및 운전자의 운전 상태 모니터링 결과를 표시한다.
상태 검출 모듈은, 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과에 따라 운전자의 운전 상태 모니터링 결과를 출력한다.
여기서, 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함할 수 있지만 이에 한정되지 않는다.
본 출원의 상기 실시예에 의해 제공되는 운전자 모니터링 시스템에 기반하여, 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과에 따라 운전자의 운전 상태 모니터링 결과를 출력할 수 있음으로써, 운전자의 운전 상태를 실시간으로 모니터링하여 운전자의 운전 상태가 나쁠 경우 즉시 대응되는 조치를 취하므로, 안전 운전을 보장하고, 도로 교통 사고의 발생을 방지한다.
일부 실시형태에서, 표시 모듈은, 운전자 이미지, 및 운전 상태 모니터링 결과에 대응되는 리마인드/경고 정보를 표시하는 제1 표시 영역; 예정된 산만 동작을 표시하는 제2 표시 영역을 포함한다.
일부 실시형태에서, 운전자 상태 검출 모듈은 또한, 운전자 이미지에 대해 안면 인식을 진행할 수 있다. 대응되게, 제1 표시 영역은 또한, 안면 인식의 결과를 표시할 수 있다.
일부 실시형태에서, 운전자 상태 검출 모듈은 또한, 운전자 이미지에 기반하여 운전자 제스처 검출을 진행할 수 있다. 대응되게, 표시 모듈은, 제스처 검출의 결과를 표시하는 제3 표시 영역을 더 포함하며, 제스처 검출의 결과는 정적 제스처 또는 동적 제스처를 포함한다.
도 9에 도시된 바와 같이, 본 출원의 운전자 모니터링 시스템 중 표시 모듈의 표시 영역의 일 실시예의 구성도이다.
도 10은 본 출원차량의 일 실시예의 구조 모식도이다. 도 10에 도시된 바와 같이, 상기 실시예의 차량은 중앙 제어 시스템을 포함하고, 본 출원의 상기 어느 하나의 실시예에 따른 운전 상태 모니터링 장치 또는 운전자 모니터링 시스템을 더 포함한다.
일부 실시형태에서, 중앙 제어 시스템은, 운전 상태 모니터링 장치 또는 운전자 모니터링 시스템이 출력한 운전자 상태 검출의 결과에 따라, 지능형 운전 제어를 진행하고; 및/또는, 운전 상태 모니터링 장치 또는 운전자 모니터링 시스템이 출력한 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시킬 경우, 운전 모드를 자동 운전 모드로 전환시키고, 자동 운전 모드에서 차량에 대해 자동 운전 제어를 진행하고; 및/또는, 운전 상태 모니터링 결과가 기설정된 리마인드/경고의 예정된 조건을 만족시킬 경우, 차량 중의 오락 시스템(예를 들어, 스피커, 버저, 조명 기기 등) 또는 차량 외부의 오락 시스템(예를 들어, 스피커, 버저, 조명 기기 등)이 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하도록 호출한다.
다른 일부 실시형태에서, 중앙 제어 시스템은 또한, 운전 상태 모니터링 장치 또는 운전자 모니터링 시스템이 출력한 제스처 검출의 결과에 의해 생성된 제어 명령에 따라, 차량 또는 차량의 부재(예를 들어, 창문, 에어컨, 플레이어 등), 애플리케이션(예를 들어, 음악, 라디오, 블루투스)을 대응되게 제어할 수 있다.
다른 일부 실시형태에서, 중앙 제어 시스템은 또한, 수동 운전으로 전환시키는 운전 명령을 수신할 경우, 운전 모드를 수동 운전 모드로 전환시킬 수 있다.
다시 도 10을 참조하면, 상기 실시예의 차량은, 중앙 제어 시스템의 제어 명령에 따라, 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하고; 및/또는, 중앙 제어 시스템의 제어 명령에 따라, 리마인드/경고 정보의 경보 효과, 또는 오락 이벤트의 재생 효과를 조정하는 오락 시스템을 더 포함할 수 있다.
오락 시스템은 예컨대,스피커, 버저, 조명 기기 등을 포함할 수 있다.
다시 도 10을 참조하면, 상기 실시예의 차량은, 이미지를 수집하는 적어도 하나의 적외선 카메라를 더 포함할 수 있다.
일부 실시형태에서, 차량 중의 적외선 카메라는 차량 내 적어도 하나의 위치에 배치될 수 있는데, 예를 들어, 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 등 중 임의의 하나 또는 다수의 위치에 배치될 수 있다.
도 11은 본 출원의 전자 기기의 하나의 응용 실시예의 구성도이다. 도 11을 참조하면, 이는 본 출원의 실시예를 구현하기 위한 단말 기기 또는 서버에 적용되는 전자 기기의 구성도를 나타낸다. 도 11에 도시된 바와 같이, 상기 전자 기기는 하나 또는 다수의 프로세서, 통신부 등을 포함하고, 상기 하나 또는 다수의 프로세서는 예컨대, 하나 또는 다수의 중앙 처리 장치(CPU), 및/또는 하나 또는 다수의 이미지 프로세서(GPU) 등이며, 프로세서는 판독 전용 메모리(ROM)에 저장된 실행 가능한 명령 또는 저장 부분으로부터 랜덤 액세스 메모리(RAM)에 로딩된 실행 가능한 명령에 따라 다양한 적절한 동작 및 프로세스를 실행할 수 있다. 통신부는 랜 카드를 포함할 수 있지만 이에 한정되지 않고, 상기 랜 카드는 IB(Infiniband) 랜 카드를 포함할 수 있지만 이에 한정되지 않으며, 프로세서는 판독 전용 메모리 및/또는 랜덤 액세스 메모리와 통신하여 실행 가능한 명령을 실행하고, 버스를 통해 통신부와 연결되어 통신부를 통해 다른 타겟 기기와 통신할 수 있음으로써, 본 출원의 실시예에 의해 제공되는 어느 하나의 방법에 대응되는 동작을 완성할 수 있는데, 예를 들어, 운전자 이미지에 대해 운전자 상태 검출을 진행하고; 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하거나 및/또는 지능형 운전 제어를 진행한다,
이 밖에, RAM에 장치 조작에 필요한 다양한 프로그램과 데이터가 저장될 수 있다. CPU, ROM 및 RAM은 버스를 통해 서로 연결된다. RAM이 존재할 경우, ROM은 선택 가능한 모듈이다. RAM은 실행 가능한 명령을 저장하거나, 또는 실행 시 ROM에 실행 가능한 명령을 쓰기 하고, 실행 가능한 명령은 프로세서로 하여금 본 출원의 상기 어느 하나의 방법에 대응되는 동작을 실행하도록 한다. 입력/출력(I/O) 인터페이스도 버스에 연결된다. 통신부는 집적되어 설치될 수 있고, 다수의 서브 모듈(예를 들어, 다수의 IB 랜 카드)을 구비하고 버스에 연결되도록 설치될 수도 있다.
키보드, 마우스 등을 포함하는 입력 부분; 음극선관(CRT), 액정 표시 장치(LCD) 및 스피커 등을 포함하는 출력 부분; 하드 디스크 등을 포함하는 저장 부분; 및 LAN 카드, 모뎀 등과 같은 네트워크 인터페이스 카드를 포함하는 통신 부분은 I/O 인터페이스에 연결된다. 예컨대, 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등 탈착 가능한 매체는 필요에 따라 드라이버에 장착되어, 탈착 가능한 매체로부터 판독된 컴퓨터 프로그램이 필요에 따라 저장 부분에 장착되도록 한다.
도 11에 도시된 구조는 하나의 선택 가능한 실시형태일 뿐, 구체적인 구현 과정에서, 실제 필요에 따라 도 11의 부재의 개수 및 타입을 선택, 삭감, 추가 또는 대체할 수 있고, 상이한 기능 부재에서, 분리 설치 또는 집적 설치 등 실시형태를 사용할 수도 있는데, 예를 들어, GPU와 CPU는 분리되어 설치될 수 있거나 GPU가 CPU에 집적될 수 있고, 통신부는 분리되어 설치될 수 있으며, CPU 또는 GPU에 집적될 수도 있음을 유의해야 한다. 이러한 대체적인 실시형태는 모두 본 출원이 개시한 보호범위에 속한다.
특히, 본 출원의 실시예에 따르면, 위에서 흐름도를 참조하여 설명한 과정은 컴퓨터 소프트웨어 프로그램으로 구현될 수 있다. 예를 들어, 본 출원의 실시예는 기계 판독 가능 매치에 유형적으로 포함되는 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 포함하고, 컴퓨터 프로그램은 흐름도에 도시된 방법을 수행하기 위한 프로그램 코드를 포함하며, 프로그램 코드는 본 출원의 어느 하나의 실시예에 의해 제공되는 운전 상태 모니터링 방법의 단계를 대응되게 수행하는 대응되는 명령을 포함할 수 있다. 이러한 실시예에서, 상기 컴퓨터 프로그램은 통신부를 통해 네트워크로부터 다운로드 되거나 네트워크에 설치될 수 있거나, 및/또는 탈착 가능한 매체에 설치될 수 있다. 상기 컴퓨터 프로그램이 CPU에 의해 실행될 경우, 본 출원의 방법에서 한정된 상기 기능을 수행한다.
이 밖에, 본 출원의 실시예는 컴퓨터 명령을 포함하는 컴퓨터 프로그램을 더 제공하고, 컴퓨터 명령이 기기의 프로세서에서 실행될 경우, 본 출원의 상기 어느 하나의 실시예에 따른 운전 상태 모니터링 방법을 구현한다.
이 밖에, 본 출원의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 본 출원의 상기 어느 하나의 실시예에 따른 운전 상태 모니터링 방법을 구현한다.
본 명세서의 각 실시예는 모두 차례로 설명되었고, 각각의 실시예에서 중점적으로 설명된 것은 모두 다른 실시예와 상이한 부분이며, 각각의 실시예 사이의 동일하거나 유사한 부분은 서로 참조할 수 있다. 시스템의 실시예는 방법의 실시예와 기본적으로 대응되므로, 비교적 간단하게 설명되었고, 관련 부분은 방법의 실시예의 부분적 설명을 참조할 수 있다.
본 출원의 방법, 장치, 시스템, 기기는 아주 다양한 방식으로 구현될 수 있다. 예를 들어, 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어, 펌웨어의 임의의 조합으로 본 출원의 방법, 장치, 시스템, 기기를 구현할 수 있다. 상기 방법의 단계들에 사용되는 상기 순서는 설명하기 위한 것일 뿐, 다른 방식으로 특별히 설명되지 않은 한, 본 출원의 방법의 단계들은 위의 설명 순서에 한정되지 않는다. 이 밖에, 일부 실시예에서, 본 출원을 기록 매체에 기록되는 프로그램으로 실시할 수 있고, 이러한 프로그램은 본 출원에 따른 방법을 구현하기 위한 기계 판독 가능 명령을 포함한다. 따라서, 본 출원은 또한 본 출원에 따른 방법을 수행하기 위한 프로그램을 저장하는 기록 매체를 더 포함한다.
본 출원의 설명은 예시 및 설명을 위한 것이고, 누락이 없거나 본 출원을 개시된 형태에 한정하는 것이 아니다. 많은 수정 및 변경은 본 기술분야의 통상의 기술자에게 있어서 자명한 것이다. 실시예를 선택하고 설명하는 것은 본 출원의 원리 및 실제 응용을 보다 명확하게 설명하기 위한 것이고, 본 기술분야의 통상의 기술자가 본 출원을 이해할 수 있도록 함으로써 설계가 특정된 용도의 다양하게 수정되는 다양한 실시예에 적용되도록 한다.

Claims (85)

  1. 운전 상태 모니터링 방법으로서,
    운전자 이미지에 대해 운전자 상태 검출을 진행하는 단계; 및
    상기 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하고 및/또는 지능형 운전 제어를 진행하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  2. 청구항 1에 있어서,
    상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  3. 청구항 2에 있어서,
    상기 운전자 이미지에 대해 운전자 피로 상태 검출을 진행하는 단계는,
    상기 운전자 이미지 중 운전자 안면의 적어도 일부 영역을 검출하여, 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함하는, 안면의 적어도 일부 영역의 상태 정보를 획득하는 단계;
    소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
    운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  4. 청구항 3에 있어서,
    상기 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  5. 청구항 4에 있어서,
    상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
    상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 운전자 이미지에 대해 운전자 산만 상태 검출을 진행하는 단계는,
    상기 운전자 이미지 중 운전자에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하는 단계;
    소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함하는, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하는 단계; 및
    상기 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  7. 청구항 6에 있어서,
    상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
    상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  8. 청구항 6 또는 청구항 7에 있어서,
    상기 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계는,
    상기 운전자 이미지의 안면 키 포인트를 검출하는 단계; 및
    상기 안면 키 포인트에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  9. 청구항 8에 있어서,
    상기 안면 키 포인트에 대해 안면 방향 검출을 진행하여 안면 방향 정보를 획득하는 단계는,
    상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계; 및
    상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  10. 청구항 9에 있어서,
    상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하는 단계, 및 상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 단계는,
    제1 신경망을 통해 상기 안면 키 포인트에 기반하여 머리 자세의 특징 정보를 추출하는 단계; 및
    제2 신경망을 통해 상기 머리 자세의 특징 정보에 기반하여 안면 방향 추측을 진행하여 안면 방향 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  11. 청구항 8 내지 청구항 10 중 어느 한 항에 있어서,
    상기 안면 키 포인트에 따라 시선 방향 검출을 진행하여 시선 방향 정보를 획득하는 단계는,
    상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하고, 상기 동공 가장자리 위치에 따라 동공 중심 위치를 산출하는 단계; 및
    상기 동공 중심 위치와 눈 중심 위치에 따라 상기 시선 방향 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  12. 청구항 11에 있어서,
    상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하는 단계는,
    제3 신경망에 기반하여, 상기 안면 키 포인트에 따라 분할된 상기 이미지 중의 눈 영역 이미지에 대해 동공 가장자리 위치의 검출을 진행하고, 제3 신경망에 의해 출력된 정보에 따라 동공 가장자리 위치를 획득하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  13. 청구항 2 내지 청구항 12 중 어느 한 항에 있어서,
    상기 예정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  14. 청구항 13에 있어서,
    상기 운전자 이미지에 대해 예정된 산만 동작 검출을 진행하는 단계는,
    운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하는 단계; 및
    상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  15. 청구항 14에 있어서,
    산만 동작이 발생되면, 소정의 시간 내 상기 예정된 산만 동작의 발생 여부의 결정 결과를 획득하고, 산만 정도를 나타내는 지표의 파라미터 값을 획득하는 단계; 및
    상기 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 예정된 산만 동작 검출의 결과를 결정하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  16. 청구항 15에 있어서,
    상기 산만 정도의 파라미터 값은 예정된 산만 동작의 횟수, 예정된 산만 동작의 지속 시간, 예정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  17. 청구항 14 내지 청구항 16 중 어느 한 항에 있어서,
    상기 예정된 산만 동작이 흡연 동작일 경우, 운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고, 상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정하는 단계는,
    제4 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하여 안면 검출 프레임을 획득하고, 상기 안면 검출 프레임의 특징 정보를 추출하는 단계; 및
    상기 제4 신경망을 통해 상기 안면 검출 프레임의 특징 정보에 따라 흡연 동작의 발생 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  18. 청구항 14 내지 청구항 16 중 어느 한 항에 있어서,
    상기 예정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작일 경우, 운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고, 상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정하는 단계는,
    제5 신경망을 통해 상기 운전자 이미지에 대해 상기 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작에 대응되는 용기, 음식, 전자 기기 중 임의의 한 가지 또는 여러 가지를 포함하는 타겟 물체를 포함하는 기설정된 타겟 객체 검출을 진행하여, 손, 입, 눈, 상기 타겟 물체를 포함하는 기설정된 타겟 객체의 검출 프레임을 획득하는 단계; 및
    상기 기설정된 타겟 객체의 검출 프레임에 따라, 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작의 미발생, 음식을 먹는 동작의 발생, 물을 마시는 동작의 발생, 전화하는 동작의 발생, 오락하는 동작의 발생 중 하나를 포함하는, 산만 동작의 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  19. 청구항 18에 있어서,
    상기 기설정된 타겟 객체의 검출 프레임에 따라 산만 동작의 검출 결과를 결정하는 단계는,
    손의 검출 프레임, 입의 검출 프레임, 눈의 검출 프레임 및 타겟 물체의 검출 프레임이 검출되었는지의 여부에 따라, 또한 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 상기 타겟 물체의 타입 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 거리가 기설정된 조건을 만족시키는지의 여부에 따라, 예정된 산만 동작의 검출 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  20. 청구항 19에 있어서,
    상기 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 위치 관계가 기설정된 조건을 만족시키는지의 여부에 따라, 산만 동작의 검출 결과를 결정하는 단계는,
    상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 용기 또는 음식이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이가 중첩될 경우, 음식을 먹는 동작 또는 물을 마시는 동작이 발생한다는 것으로 결정하는 단계; 및/또는,
    상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 전자 기기이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작을 경우, 오락하는 동작 또는 전화하는 동작이 발생한다는 것으로 결정하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  21. 청구항 19 또는 청구항 20에 있어서,
    손의 검출 프레임, 입의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았고, 손의 검출 프레임, 눈의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하는 단계; 및/또는,
    손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하는 단계; 및/또는,
    상기 타겟 물체의 타입이 용기 또는 음식이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이는 중첩되지 않거나, 및/또는, 상기 타겟 물체의 타입이 전자 기기이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작지 않거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  22. 청구항 13 내지 청구항 21 중 어느 한 항에 있어서,
    운전자의 예정된 산만 동작 검출의 결과가 예정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  23. 청구항 2 내지 청구항 22 중 어느 한 항에 있어서,
    운전자 산만 상태 검출의 결과 및/또는 운전자의 예정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  24. 청구항 2 내지 청구항 23 중 어느 한 항에 있어서,
    상기 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하는 단계는,
    운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 예정된 산만 동작 검출의 결과가 만족시키는 기설정된 조건에 따라 운전 상태 레벨을 결정하는 단계; 및
    결정된 운전 상태 레벨을 운전 상태 모니터링 결과로서 사용하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  25. 청구항 1 내지 청구항 24 중 어느 한 항에 있어서,
    상기 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  26. 청구항 25에 있어서,
    상기 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행하는 단계는,
    결정된 상기 운전 상태 모니터링 결과가 리마인드/경고의 예정된 조건을 만족시키면, 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하는 단계; 및/또는,
    결정된 상기 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  27. 청구항 1 내지 청구항 26 중 어느 한 항에 있어서,
    상기 운전자 이미지에 대해 안면 인식을 진행하는 단계; 및
    안면 인식의 결과에 따라 인증 제어를 진행하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  28. 청구항 27에 있어서,
    상기 운전자 이미지에 대해 안면 인식을 진행하는 단계는,
    제6 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하는 단계;
    상기 안면 특징과 데이터베이스 중의 안면 특징 템플릿에 대해 안면 매칭을 진행하는 단계; 및
    상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하면, 상기 안면 특징과 매칭되는 안면 특징 템플릿에 대응되는 신분 정보를 출력하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  29. 청구항 28에 있어서,
    상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하지 않으면, 등록하도록 운전자를 리마인드하는 단계;
    운전자의 등록 요청을 수신한 것에 응답하여, 제6 신경망을 통해, 수집된 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하는 단계; 및
    상기 안면 특징을 상기 운전자의 안면 특징 템플릿으로 사용하여 상기 데이터베이스에 상기 운전자의 사용자 정보를 구축하는 단계를 더 포함하고,
    상기 사용자 정보는 상기 운전자의 안면 특징 템플릿 및 상기 운전자에 의해 입력된 신분 정보를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  30. 청구항 28 또는 청구항 29에 있어서,
    상기 운전 상태 모니터링 결과를 상기 데이터베이스 중 상기 운전자의 사용자 정보에 저장하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  31. 청구항 1 내지 청구항 30 중 어느 한 항에 있어서,
    적외선 카메라를 통해 이미지를 수집하여 상기 운전자 이미지를 획득하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  32. 청구항 31에 있어서,
    상기 적외선 카메라를 통해 이미지를 수집하는 단계는,
    차량 내 적어도 하나의 위치에 배치된 상기 적외선 카메라를 통해 이미지를 수집하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  33. 청구항 32에 있어서,
    상기 적어도 하나의 위치는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 중 적어도 하나 또는 다수의 위치를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  34. 청구항 1 내지 청구항 33 중 어느 한 항에 있어서,
    상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계; 및
    운전자 제스처 검출의 결과에 따라 제어 명령을 생성하는 단계를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  35. 청구항 34에 있어서,
    상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계는,
    현재 프레임의 운전자 이미지 중의 손 키 포인트를 검출하는 단계; 및
    검출된 손 키 포인트에 따라 결정된 정적 제스처를 상기 운전자 제스처 검출의 결과로서 사용하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  36. 청구항 34에 있어서,
    상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 단계는,
    운전자 비디오 중 멀티 프레임 운전자 이미지의 손 키 포인트를 검출하는 단계; 및
    검출된 멀티 프레임 운전자 이미지의 손 키 포인트에 따라 결정된 동적 제스처를 상기 운전자 제스처 검출의 결과로서 사용하는 단계를 포함하는 것을 특징으로 하는 운전 상태 모니터링 방법.
  37. 운전 상태 모니터링 장치로서,
    운전자 이미지에 대해 운전자 상태 검출을 진행하는 상태 검출 모듈;
    운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력하는 출력 모듈; 및/또는
    운전자 상태 검출의 결과에 따라, 지능형 운전 제어를 진행하는 지능형 운전 제어 모듈을 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  38. 청구항 37에 있어서,
    상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  39. 청구항 38에 있어서,
    상기 상태 검출 모듈은 운전자 이미지에 대해 운전자 피로 상태 검출을 진행할 경우,
    상기 운전자 이미지 중 운전자 안면의 적어도 일부 영역을 검출하여 안면의 적어도 일부 영역의 상태 정보를 획득하고, 상기 안면의 적어도 일부 영역의 상태 정보는 눈 개폐 상태 정보, 입 개폐 상태 정보 중 임의의 하나 또는 다수를 포함하며;
    소정의 시간 내의 상기 안면의 적어도 일부 영역의 상태 정보에 따라, 운전자 피로 상태를 나타내는 지표의 파라미터 값을 획득하고;
    운전자 피로 상태를 나타내는 지표의 파라미터 값에 따라 운전자 피로 상태 검출의 결과를 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  40. 청구항 39에 있어서,
    상기 운전자 피로 상태를 나타내는 지표는 눈감는 정도, 하품하는 정도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  41. 청구항 40에 있어서,
    상기 눈감는 정도의 파라미터 값은 눈감는 횟수, 눈감는 빈도, 눈감는 지속 시간, 눈감는 폭, 눈을 반쯤 감는 횟수, 눈을 반쯤 감는 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
    상기 하품하는 정도의 파라미터 값은 하품하는 상태, 하품하는 횟수, 하품하는 지속 시간, 하품하는 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  42. 청구항 37 내지 청구항 41 중 어느 한 항에 있어서,
    상기 상태 검출 모듈은 운전자 이미지에 대해 운전자 산만 상태 검출을 진행할 경우,
    상기 운전자 이미지 중 운전자에 대해 안면 방향 및/또는 시선 방향 검출을 진행하여 안면 방향 정보 및/또는 시선 방향 정보를 획득하고;
    소정의 시간 내의 상기 안면 방향 정보 및/또는 시선 방향 정보에 따라, 운전자 산만 상태를 나타내는 지표의 파라미터 값을 결정하며, 상기 운전자 산만 상태를 나타내는 지표는 안면 방향 이탈 정도, 시선 이탈 정도 중 임의의 하나 또는 다수를 포함하고;
    상기 운전자 산만 상태를 나타내는 지표의 파라미터 값에 따라 운전자 산만 상태 검출의 결과를 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  43. 청구항 42에 있어서,
    상기 안면 방향 이탈 정도의 파라미터 값은 머리 돌림 횟수, 머리 돌림 지속 시간, 머리 돌림 빈도 중 임의의 하나 또는 다수를 포함하고; 및/또는,
    상기 시선 이탈 정도의 파라미터 값은 시선 방향 이탈 각도, 시선 방향 이탈 지속 시간, 시선 방향 이탈 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  44. 청구항 42 또는 청구항 43에 있어서,
    상기 상태 검출 모듈은 운전자 이미지에 대해 안면 방향 및/또는 시선 방향 검출을 진행할 경우, 상기 운전자 이미지의 안면 키 포인트를 검출하고; 상기 안면 키 포인트에 대해 안면 방향 및/또는 시선 방향 검출을 진행하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  45. 청구항 44에 있어서,
    상기 상태 검출 모듈은 상기 안면 키 포인트에 따라 안면 방향 검출을 진행할 경우, 상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하고; 상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  46. 청구항 45에 있어서,
    상기 상태 검출 모듈은 상기 안면 키 포인트에 따라 머리 자세의 특징 정보를 획득하고, 상기 머리 자세의 특징 정보에 따라 안면 방향 정보를 획득할 경우, 제1 신경망을 통해 상기 안면 키 포인트에 기반하여 머리 자세의 특징 정보를 추출하고; 제2 신경망을 통해 상기 머리 자세의 특징 정보에 기반하여 안면 방향 추측을 진행하여 안면 방향 정보를 획득하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  47. 청구항 44 내지 청구항 46 중 어느 한 항에 있어서,
    상기 상태 검출 모듈은 상기 안면 키 포인트에 따라 시선 방향 검출을 진행할 경우, 상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정하고, 상기 동공 가장자리 위치에 따라 동공 중심 위치를 산출하며; 상기 동공 중심 위치와 눈 중심 위치에 따라 상기 시선 방향 정보를 산출하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  48. 청구항 47에 있어서,
    상기 상태 검출 모듈은 상기 안면 키 포인트 중의 눈 키 포인트에 의해 위치결정된 눈 이미지에 따라 동공 가장자리 위치를 결정할 경우, 제3 신경망에 기반하여, 상기 안면 키 포인트에 따라 분할된 상기 이미지 중의 눈 영역 이미지에 대해 동공 가장자리 위치의 검출을 진행하고, 제3 신경망에 의해 출력된 정보에 따라 동공 가장자리 위치를 획득하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  49. 청구항 37 내지 청구항 48 중 어느 한 항에 있어서,
    상기 예정된 산만 동작은 흡연 동작, 물을 마시는 동작, 음식을 먹는 동작, 전화하는 동작, 오락하는 동작 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  50. 청구항 49에 있어서,
    상기 상태 검출 모듈은 운전자 이미지에 대해 예정된 산만 동작 검출을 진행할 경우, 운전자 이미지에 대해 상기 예정된 산만 동작에 대응되는 타겟 객체 검출을 진행하여 타겟 객체의 검출 프레임을 획득하고; 상기 타겟 객체의 검출 프레임에 따라, 상기 예정된 산만 동작의 발생 여부를 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  51. 청구항 50에 있어서,
    상기 상태 검출 모듈은 또한, 예정된 산만 동작이 발생되면, 소정의 시간 내 상기 예정된 산만 동작의 발생 여부의 결정 결과에 따라, 산만 정도를 나타내는 지표의 파라미터 값을 획득하고; 상기 산만 정도를 나타내는 지표의 파라미터 값에 따라 운전자의 예정된 산만 동작 검출의 결과를 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  52. 청구항 51에 있어서,
    상기 산만 정도의 파라미터 값은 예정된 산만 동작의 횟수, 예정된 산만 동작의 지속 시간, 예정된 산만 동작의 빈도 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  53. 청구항 50 내지 청구항 52 중 어느 한 항에 있어서,
    상기 예정된 산만 동작이 흡연 동작일 경우, 상기 상태 검출 모듈은 운전자 이미지에 대해 예정된 산만 동작 검출을 진행할 경우, 제4 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하여 안면 검출 프레임을 획득하고, 상기 안면 검출 프레임의 특징 정보를 추출하며; 상기 제4 신경망을 통해 상기 안면 검출 프레임의 특징 정보에 따라 흡연 동작의 발생 여부를 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  54. 청구항 50 내지 청구항 52 중 어느 한 항에 있어서,
    상기 예정된 산만 동작이 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작일 경우, 상기 상태 검출 모듈은 운전자 이미지에 대해 예정된 산만 동작 검출을 진행할 경우, 제5 신경망을 통해 상기 운전자 이미지에 대해 상기 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작에 대응되는, 손, 입, 눈, 용기, 음식, 전자 기기 중 임의의 한 가지 또는 여러 가지를 포함하는, 타겟 물체를 포함하는, 기설정된 타겟 객체 검출을 진행하여 기설정된 타겟 객체의 검출 프레임을 획득하고; 상기 기설정된 타겟 객체의 검출 프레임에 따라 산만 동작의 검출 결과를 결정하며; 상기 산만 동작의 검출 결과는 음식을 먹는 동작/물을 마시는 동작/전화하는 동작/오락하는 동작의 미발생, 음식을 먹는 동작의 발생, 물을 마시는 동작의 발생, 전화하는 동작의 발생, 오락하는 동작의 발생 중 하나를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  55. 청구항 54에 있어서,
    상기 상태 검출 모듈은 상기 기설정된 타겟 객체의 검출 프레임에 따라 산만 동작의 검출 결과를 결정할 경우, 손의 검출 프레임, 입의 검출 프레임, 눈의 검출 프레임 및 타겟 물체의 검출 프레임이 검출되었는지의 여부에 따라, 또한 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 상기 타겟 물체의 타입 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 거리가 기설정된 조건을 만족시키는지의 여부에 따라, 예정된 산만 동작의 검출 결과를 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  56. 청구항 55에 있어서,
    상기 상태 검출 모듈은 손의 검출 프레임과 타겟 물체의 검출 프레임의 중첩 여부, 및 타겟 물체의 검출 프레임과 입의 검출 프레임 또는 눈의 검출 프레임 사이의 위치 관계가 기설정된 조건을 만족시키는지의 여부에 따라, 산만 동작의 검출 결과를 결정할 때,
    상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 용기 또는 음식이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이가 중첩될 경우, 음식을 먹는 동작 또는 물을 마시는 동작이 발생한다는 것으로 결정하고; 및/또는,
    상기 손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되고, 상기 타겟 물체의 타입이 전자 기기이며, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작을 경우, 오락하는 동작 또는 전화하는 동작이 발생한다는 것으로 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  57. 청구항 55 또는 청구항 56에 있어서,
    상기 상태 검출 모듈은 또한,
    손의 검출 프레임, 입의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았고, 손의 검출 프레임, 눈의 검출 프레임 및 어느 하나의 상기 타겟 물체의 검출 프레임이 동시에 검출되지 않았을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하고; 및/또는,
    손의 검출 프레임과 상기 타겟 물체의 검출 프레임이 중첩되지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하고; 및/또는,
    상기 타겟 물체의 타입이 용기 또는 음식이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이는 중첩되지 않거나, 및/또는, 상기 타겟 물체의 타입이 전자 기기이고, 상기 타겟 물체의 검출 프레임과 입의 검출 프레임 사이의 최소 거리가 제1 기설정된 거리보다 작지 않거나, 상기 타겟 물체의 검출 프레임과 눈의 검출 프레임 사이의 최소 거리가 제2 기설정된 거리보다 작지 않을 경우, 산만 동작의 검출 결과가 음식을 먹는 동작, 물을 마시는 동작, 전화하는 동작 및 오락하는 동작이 검출되지 않은 것으로 결정하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  58. 청구항 49 내지 청구항 57 중 어느 한 항에 있어서,
    운전자의 예정된 산만 동작 검출의 결과가 예정된 산만 동작이 검출된 것이면, 검출된 산만 동작을 리마인드하는 제1 리마인드 모듈을 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  59. 청구항 37 내지 청구항 58 중 어느 한 항에 있어서,
    운전자 산만 상태 검출의 결과 및/또는 운전자의 예정된 산만 동작 검출의 결과에 따라, 산만 리마인드 정보를 출력하는 제2 리마인드 모듈을 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  60. 청구항 37 내지 청구항 59 중 어느 한 항에 있어서,
    상기 출력 모듈은 운전자 상태 검출의 결과에 따라, 운전자의 운전 상태 모니터링 결과를 출력할 경우, 운전자 피로 상태 검출의 결과, 운전자 산만 상태 검출의 결과 및 운전자의 예정된 산만 동작 검출의 결과가 만족시키는 기설정된 조건에 따라 운전 상태 레벨을 결정하고; 결정된 운전 상태 레벨을 운전 상태 모니터링 결과로서 사용하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  61. 청구항 37 내지 청구항 60 중 어느 한 항에 있어서,
    상기 운전 상태 모니터링 결과에 대응되는 제어 동작을 실행하는 제1 제어 모듈을 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  62. 청구항 61에 있어서,
    상기 제1 제어 모듈은,
    결정된 상기 운전 상태 모니터링 결과가 리마인드/경고의 예정된 조건을 만족시키면, 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하고; 및/또는,
    결정된 상기 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시키면, 운전 모드를 자동 운전 모드로 전환시키는 것을 특징으로 하는 운전 상태 모니터링 장치.
  63. 청구항 37 내지 청구항 62 중 어느 한 항에 있어서,
    상기 운전자 이미지에 대해 안면 인식을 진행하는 안면 인식 모듈; 및
    안면 인식의 결과에 따라 인증 제어를 진행하는 제2 제어 모듈을 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  64. 청구항 63에 있어서,
    상기 안면 인식 모듈은, 제6 신경망을 통해 상기 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하며; 상기 안면 특징과 데이터베이스 중의 안면 특징 템플릿에 대해 안면 매칭을 진행하고; 상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하면, 상기 안면 특징과 매칭되는 안면 특징 템플릿에 대응되는 신분 정보를 출력하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  65. 청구항 64에 있어서,
    상기 제2 제어 모듈은 또한, 상기 데이터베이스에 상기 안면 특징과 매칭되는 안면 특징 템플릿이 존재하지 않으면, 등록하도록 운전자를 리마인드하고; 상기 안면 인식 모듈이 송신한 안면 특징을 상기 운전자의 안면 특징 템플릿으로 사용하여 상기 데이터베이스에 상기 운전자의 사용자 정보를 구축하며, 상기 사용자 정보는 상기 운전자의 안면 특징 템플릿 및 상기 운전자에 의해 입력된 신분 정보를 포함하고;
    상기 안면 인식 모듈은 또한, 운전자의 등록 요청을 수신한 것에 응답하여, 제6 신경망을 통해, 수집된 운전자 이미지에 대해 안면 검출을 진행하고, 검출된 안면에 대해 특징 추출을 진행하여 안면 특징을 획득하여 상기 제2 제어 모듈에 송신하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  66. 청구항 64 또는 청구항 65에 있어서,
    상기 출력 모듈은 또한, 상기 운전 상태 모니터링 결과를 상기 데이터베이스 중 상기 운전자의 사용자 정보에 저장하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  67. 청구항 37 내지 청구항 66 중 어느 한 항에 있어서,
    차량 내 적어도 하나의 위치에 대응되게 배치되고, 이미지를 수집하여 상기 운전자 이미지를 획득하는 적어도 하나의 적외선 카메라를 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  68. 청구항 67에 있어서,
    상기 적어도 하나의 위치는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 중 적어도 하나 또는 다수의 위치를 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  69. 청구항 37 내지 청구항 68 중 어느 한 항에 있어서,
    상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하는 제스처 검출 모듈; 및
    운전자 제스처 검출의 결과에 따라 제어 명령을 생성하는 명령 생성 모듈을 더 포함하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  70. 청구항 69에 있어서,
    상기 제스처 검출 모듈은, 현재 프레임의 운전자 이미지 중의 손 키 포인트를 검출하고; 검출된 손 키 포인트에 따라 결정된 정적 제스처를 상기 운전자 제스처 검출의 결과로서 사용하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  71. 청구항 70에 있어서,
    상기 제스처 검출 모듈은, 운전자 비디오 중 멀티 프레임 운전자 이미지의 손 키 포인트를 검출하고; 검출된 멀티 프레임 운전자 이미지의 손 키 포인트에 따라 결정된 동적 제스처를 상기 운전자 제스처 검출의 결과로서 사용하는 것을 특징으로 하는 운전 상태 모니터링 장치.
  72. 운전자 모니터링 시스템으로서,
    운전자 이미지 및 운전자의 운전 상태 모니터링 결과를 표시하는 표시 모듈; 및
    상기 운전자 이미지에 대해 운전자 상태 검출을 진행하고, 운전자 상태 검출의 결과에 따라 운전자의 상기 운전 상태 모니터링 결과를 출력하는 운전자 상태 검출 모듈을 포함하고,
    상기 운전자 상태 검출은 운전자 피로 상태 검출, 운전자 산만 상태 검출, 운전자의 예정된 산만 동작 검출 중 임의의 하나 또는 다수를 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  73. 청구항 72에 있어서,
    상기 표시 모듈은,
    운전자 이미지 및 상기 운전 상태 모니터링 결과에 대응되는 리마인드/경고 정보를 표시하는 제1 표시 영역; 및
    예정된 산만 동작을 표시하는 제2 표시 영역을 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  74. 청구항 72에 있어서,
    상기 운전자 상태 검출 모듈은 또한, 상기 운전자 이미지에 대해 안면 인식을 진행하고;
    상기 제1 표시 영역은 또한, 안면 인식의 결과를 표시하는 것을 특징으로 하는 운전자 모니터링 시스템.
  75. 청구항 72 내지 청구항 74 중 어느 한 항에 있어서,
    상기 운전자 상태 검출 모듈은 또한, 상기 운전자 이미지에 기반하여 운전자 제스처 검출을 진행하고;
    상기 표시 모듈은 제스처 검출의 결과를 표시하는 제3 표시 영역을 더 포함하며, 상기 제스처 검출의 결과는 정적 제스처 또는 동적 제스처를 포함하는 것을 특징으로 하는 운전자 모니터링 시스템.
  76. 전자 기기로서,
    컴퓨터 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 컴퓨터 프로그램을 실행하고, 상기 컴퓨터 프로그램이 실행될 경우, 상기 청구항 1 내지 청구항 36 중 어느 한 항에 따른 운전 상태 모니터링 방법을 구현하는 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
  77. 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 상기 청구항 1 내지 청구항 36 중 어느 한 항에 따른 운전 상태 모니터링 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  78. 컴퓨터 명령을 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 명령이 기기의 프로세서에서 실행될 경우, 상기 청구항 1 내지 청구항 36 중 어느 한 항에 따른 운전 상태 모니터링 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.
  79. 중앙 제어 시스템을 포함하는 차량으로서,
    청구항 37 내지 청구항 71 중 어느 한 항에 따른 운전 상태 모니터링 장치, 또는 청구항 72 내지 청구항 75 중 어느 한 항에 따른 운전자 모니터링 시스템을 더 포함하는 것을 특징으로 하는 차량.
  80. 청구항 79에 있어서,
    상기 중앙 제어 시스템은,
    상기 운전 상태 모니터링 장치 또는 상기 운전자 모니터링 시스템이 출력한 운전자 상태 검출의 결과에 따라, 지능형 운전 제어를 진행하고; 및/또는,
    상기 운전 상태 모니터링 장치 또는 상기 운전자 모니터링 시스템이 출력한 운전 상태 모니터링 결과가 예정된 운전 모드 전환 조건을 만족시킬 경우, 운전 모드를 자동 운전 모드로 전환시키고, 자동 운전 모드에서 상기 차량에 대해 자동 운전 제어를 진행하고; 및/또는,
    운전 상태 모니터링 결과가 기설정된 리마인드/경고의 예정된 조건을 만족시킬 경우, 상기 차량 중의 오락 시스템 또는 상기 차량 외부의 오락 시스템이 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하도록 호출하는 것을 특징으로 하는 차량.
  81. 청구항 80에 있어서,
    상기 중앙 제어 시스템은 또한, 상기 운전 상태 모니터링 장치 또는 상기 운전자 모니터링 시스템이 출력한 제스처 검출의 결과에 의해 생성된 제어 명령에 따라, 상기 차량을 대응되게 제어하는 것을 특징으로 하는 차량.
  82. 청구항 79 내지 청구항 81 중 어느 한 항에 있어서,
    상기 중앙 제어 시스템은 또한, 수동 운전으로 전환시키는 운전 명령을 수신할 경우, 운전 모드를 수동 운전 모드로 전환시키는 것을 특징으로 하는 차량.
  83. 청구항 79 내지 청구항 82 중 어느 한 항에 있어서,
    상기 중앙 제어 시스템의 제어 명령에 따라, 상기 리마인드/경고의 예정된 조건에 대응되는 리마인드/경고 정보를 출력하고; 및/또는, 상기 중앙 제어 시스템의 제어 명령에 따라, 리마인드/경고 정보의 경보 효과, 또는 오락 이벤트의 재생 효과를 조정하는 오락 시스템을 더 포함하는 것을 특징으로 하는 차량.
  84. 청구항 79 내지 청구항 83 중 어느 한 항에 있어서,
    이미지를 수집하는 적어도 하나의 적외선 카메라를 더 포함하는 것을 특징으로 하는 차량.
  85. 청구항 84에 있어서,
    상기 적외선 카메라는 상기 차량 내 적어도 하나의 위치에 배치되고, 상기 적어도 하나의 위치는 계기판 상측 또는 부근 위치, 센터 콘솔 상측 또는 부근 위치, A필러 또는 부근 위치, 백미러 또는 부근 위치 중 적어도 하나 또는 다수의 위치를 포함하는 것을 특징으로 하는 차량.
KR1020207007113A 2017-08-10 2018-04-25 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량 KR102391279B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/096957 WO2019028798A1 (zh) 2017-08-10 2017-08-10 驾驶状态监控方法、装置和电子设备
CNPCT/CN2017/096957 2017-08-10
PCT/CN2018/084526 WO2019029195A1 (zh) 2017-08-10 2018-04-25 驾驶状态监测方法和装置、驾驶员监控***、车辆

Publications (2)

Publication Number Publication Date
KR20200051632A true KR20200051632A (ko) 2020-05-13
KR102391279B1 KR102391279B1 (ko) 2022-04-26

Family

ID=65273075

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207007113A KR102391279B1 (ko) 2017-08-10 2018-04-25 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량
KR1020207027781A KR20200124278A (ko) 2017-08-10 2019-12-27 차량 내 인원의 위험 동작 인식 방법 및 장치, 전자 기기, 저장 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207027781A KR20200124278A (ko) 2017-08-10 2019-12-27 차량 내 인원의 위험 동작 인식 방법 및 장치, 전자 기기, 저장 매체

Country Status (8)

Country Link
US (5) US10853675B2 (ko)
EP (1) EP3666577A4 (ko)
JP (2) JP6933668B2 (ko)
KR (2) KR102391279B1 (ko)
CN (3) CN109803583A (ko)
SG (2) SG11202002549WA (ko)
TW (1) TWI758689B (ko)
WO (3) WO2019028798A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230040849A (ko) * 2021-09-16 2023-03-23 국민대학교산학협력단 손 추적 기반 행위 분류 방법 및 장치
KR20230145614A (ko) 2022-04-07 2023-10-18 한국기술교육대학교 산학협력단 운전자 안전 모니터링 시스템 및 방법

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
JP6906717B2 (ja) * 2018-12-12 2021-07-21 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム
US11170240B2 (en) * 2019-01-04 2021-11-09 Cerence Operating Company Interaction system and method
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens
CN111626087A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、***及电子设备
CN110001652B (zh) * 2019-03-26 2020-06-23 深圳市科思创动科技有限公司 驾驶员状态的监测方法、装置及终端设备
KR102610759B1 (ko) * 2019-04-03 2023-12-08 현대자동차주식회사 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법
CN111845749A (zh) * 2019-04-28 2020-10-30 郑州宇通客车股份有限公司 一种自动驾驶车辆的控制方法及***
CN109977930B (zh) * 2019-04-29 2021-04-02 中国电子信息产业集团有限公司第六研究所 疲劳驾驶检测方法及装置
GB2583742B (en) * 2019-05-08 2023-10-25 Jaguar Land Rover Ltd Activity identification method and apparatus
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
US11281920B1 (en) * 2019-05-23 2022-03-22 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating a vehicle driver signature
CN110188655A (zh) * 2019-05-27 2019-08-30 上海蔚来汽车有限公司 驾驶状态评价方法、***及计算机存储介质
CN110582437A (zh) * 2019-05-31 2019-12-17 驭势（上海）汽车科技有限公司 驾驶提醒方法、驾驶状态检测方法和计算设备
CN112241645A (zh) * 2019-07-16 2021-01-19 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其***、电子设备
JP7047821B2 (ja) * 2019-07-18 2022-04-05 トヨタ自動車株式会社 運転支援装置
US10991130B2 (en) * 2019-07-29 2021-04-27 Verizon Patent And Licensing Inc. Systems and methods for implementing a sensor based real time tracking system
FR3100640B1 (fr) * 2019-09-10 2021-08-06 Faurecia Interieur Ind Procédé et dispositif de détection de bâillements d’un conducteur d’un véhicule
CN112758098B (zh) * 2019-11-01 2022-07-22 广州汽车集团股份有限公司 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置
CN110942591B (zh) * 2019-11-12 2022-06-24 博泰车联网科技(上海)股份有限公司 驾驶安全提醒***以及方法
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、***、电子设备和存储介质
CN110837815A (zh) * 2019-11-15 2020-02-25 济宁学院 一种基于卷积神经网络的驾驶员状态监测方法
CN110968718B (zh) * 2019-11-19 2023-07-14 北京百度网讯科技有限公司 目标检测模型负样本挖掘方法、装置及电子设备
CN110909715B (zh) * 2019-12-06 2023-08-04 重庆商勤科技有限公司 基于视频图像识别吸烟的方法、装置、服务器及存储介质
CN111160126B (zh) * 2019-12-11 2023-12-19 深圳市锐明技术股份有限公司 驾驶状态确定方法、装置、车辆及存储介质
JP2021096530A (ja) * 2019-12-13 2021-06-24 トヨタ自動車株式会社 運転支援装置、運転支援プログラムおよび運転支援システム
CN111160237A (zh) * 2019-12-27 2020-05-15 智车优行科技（北京）有限公司 头部姿态估计方法和装置、电子设备和存储介质
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN113128295A (zh) * 2019-12-31 2021-07-16 湖北亿咖通科技有限公司 一种车辆驾驶员危险驾驶状态识别方法及装置
CN113126296B (zh) * 2020-01-15 2023-04-07 未来（北京）黑科技有限公司 一种提高光利用率的抬头显示设备
CN111243236A (zh) * 2020-01-17 2020-06-05 南京邮电大学 一种基于深度学习的疲劳驾驶预警方法及***
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
CN115188183A (zh) * 2020-02-25 2022-10-14 华为技术有限公司 特殊路况的识别方法、装置、电子设备和存储介质
JP7402084B2 (ja) * 2020-03-05 2023-12-20 本田技研工業株式会社 乗員行動判定装置
US11912307B2 (en) 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
CN111783515A (zh) * 2020-03-18 2020-10-16 北京沃东天骏信息技术有限公司 行为动作识别的方法和装置
CN111460950B (zh) * 2020-03-25 2023-04-18 西安工业大学 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
JP7380380B2 (ja) * 2020-03-26 2023-11-15 いすゞ自動車株式会社 運転支援装置
CN111626101A (zh) * 2020-04-13 2020-09-04 惠州市德赛西威汽车电子股份有限公司 一种基于adas的吸烟监测方法及***
JP7289406B2 (ja) * 2020-05-27 2023-06-09 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
WO2021240668A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
CN111611970B (zh) * 2020-06-01 2023-08-22 城云科技（中国）有限公司 一种基于城管监控视频的乱扔垃圾行为检测方法
CN111652128B (zh) * 2020-06-02 2023-09-01 浙江大华技术股份有限公司 一种高空电力作业安全监测方法、***和存储装置
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、***及存储介质
JP7359087B2 (ja) * 2020-07-02 2023-10-11 トヨタ自動車株式会社 ドライバモニタ装置及びドライバモニタ方法
CN111785008A (zh) * 2020-07-04 2020-10-16 苏州信泰中运物流有限公司 一种基于gps和北斗定位的物流监控管理方法、装置及计算机可读存储介质
CN113920576A (zh) * 2020-07-07 2022-01-11 奥迪股份公司 车上人员的丢物行为识别方法、装置、设备及存储介质
US20220414796A1 (en) * 2020-07-08 2022-12-29 Pilot Travel Centers, LLC Computer implemented oil field logistics
CN111797784B (zh) * 2020-07-09 2024-03-05 斑马网络技术有限公司 驾驶行为监测方法、装置、电子设备及存储介质
US11776319B2 (en) * 2020-07-14 2023-10-03 Fotonation Limited Methods and systems to predict activity in a sequence of images
CN111860280A (zh) * 2020-07-15 2020-10-30 南通大学 一种基于深度学习的驾驶员违章行为识别***
CN111860292B (zh) * 2020-07-16 2024-06-07 科大讯飞股份有限公司 基于单目相机的人眼定位方法、装置以及设备
CN111832526B (zh) * 2020-07-23 2024-06-11 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN112061065B (zh) * 2020-07-27 2022-05-10 大众问问(北京)信息科技有限公司 一种车内行为识别报警方法、设备、电子设备及存储介质
CN111931653B (zh) * 2020-08-11 2024-06-11 沈阳帝信人工智能产业研究院有限公司 安全监测方法、装置、电子设备和可读存储介质
US11651599B2 (en) * 2020-08-17 2023-05-16 Verizon Patent And Licensing Inc. Systems and methods for identifying distracted driver behavior from video
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控***
CN112016457A (zh) * 2020-08-27 2020-12-01 青岛慕容信息科技有限公司 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN114201985A (zh) * 2020-08-31 2022-03-18 魔门塔(苏州)科技有限公司 一种人体关键点的检测方法及装置
CN112084919A (zh) * 2020-08-31 2020-12-15 广州小鹏汽车科技有限公司 目标物检测方法、装置、车辆及存储介质
CN112163470A (zh) * 2020-09-11 2021-01-01 高新兴科技集团股份有限公司 基于深度学习的疲劳状态识别方法、***、存储介质
CN112307920B (zh) * 2020-10-22 2024-03-22 东云睿连(武汉)计算技术有限公司 一种高风险工种作业人员行为预警装置及方法
CN112149641A (zh) * 2020-10-23 2020-12-29 北京百度网讯科技有限公司 监控驾驶状态的方法、装置、设备和存储介质
CN112347891B (zh) * 2020-10-30 2022-02-22 南京佑驾科技有限公司 基于视觉的舱内喝水状态检测方法
CN112270283A (zh) * 2020-11-04 2021-01-26 北京百度网讯科技有限公司 异常驾驶行为确定方法、装置、设备、车辆和介质
CN112356839A (zh) * 2020-11-06 2021-02-12 广州小鹏自动驾驶科技有限公司 一种驾驶状态监测方法、***及汽车
JP2022077282A (ja) * 2020-11-11 2022-05-23 株式会社コムテック 警報システム
KR102443980B1 (ko) * 2020-11-17 2022-09-21 주식회사 아르비존 차량 제어 방법
TWI739675B (zh) * 2020-11-25 2021-09-11 友達光電股份有限公司 影像辨識方法及裝置
CN112455452A (zh) * 2020-11-30 2021-03-09 恒大新能源汽车投资控股集团有限公司 驾驶状态的检测方法、装置及设备
CN112528792B (zh) * 2020-12-03 2024-05-31 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112766050B (zh) * 2020-12-29 2024-04-16 富泰华工业（深圳）有限公司 着装及作业检查方法、计算机装置及存储介质
CN112660141A (zh) * 2020-12-29 2021-04-16 长安大学 一种通过驾驶行为数据的驾驶员驾驶分心行为识别方法
CN112754498B (zh) * 2021-01-11 2023-05-26 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
CN112668548B (zh) * 2021-01-15 2024-07-12 重庆大学 一种驾驶员发呆检测方法及***
JP2022130086A (ja) * 2021-02-25 2022-09-06 トヨタ自動車株式会社 タクシー車両およびタクシーシステム
CN114005104A (zh) * 2021-03-23 2022-02-01 深圳市创乐慧科技有限公司 一种基于人工智能的智能驾驶方法、装置及相关产品
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、***及相关设备
CN113298041B (zh) * 2021-06-21 2024-07-02 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及***
CN113139531A (zh) * 2021-06-21 2021-07-20 博泰车联网(南京)有限公司 困倦状态检测方法及装置、电子设备、可读存储介质
CN113486759B (zh) * 2021-06-30 2023-04-28 上海商汤临港智能科技有限公司 危险动作的识别方法及装置、电子设备和存储介质
CN113537135A (zh) * 2021-07-30 2021-10-22 三一重机有限公司 一种驾驶监测方法、装置、***及可读存储介质
CN113734173B (zh) * 2021-09-09 2023-06-20 东风汽车集团股份有限公司 车辆智能监控方法、设备及存储介质
FR3127355B1 (fr) * 2021-09-20 2023-09-29 Renault Sas procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale
KR102634012B1 (ko) * 2021-10-12 2024-02-07 경북대학교 산학협력단 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치
CN114162130B (zh) * 2021-10-26 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质
CN114187581B (zh) * 2021-12-14 2024-04-09 安徽大学 一种基于无监督学习的驾驶员分心细粒度检测方法
CN114005105B (zh) * 2021-12-30 2022-04-12 青岛以萨数据技术有限公司 驾驶行为检测方法、装置以及电子设备
JP7509157B2 (ja) * 2022-01-18 2024-07-02 トヨタ自動車株式会社 ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法
CN114582090A (zh) * 2022-02-27 2022-06-03 武汉铁路职业技术学院 一种轨道车辆驾驶监测预警***
CN114666378A (zh) * 2022-03-03 2022-06-24 武汉科技大学 一种重型柴油车车载远程监控***
CN115035502A (zh) * 2022-07-08 2022-09-09 北京百度网讯科技有限公司 驾驶员的行为监测方法、装置、电子设备及存储介质
CN114898341B (zh) * 2022-07-14 2022-12-20 苏州魔视智能科技有限公司 疲劳驾驶预警方法、装置、电子设备及存储介质
CN115601709B (zh) * 2022-11-07 2023-10-27 北京万理软件开发有限公司 煤矿员工违规统计***、方法、装置以及存储介质
CN116311181B (zh) * 2023-03-21 2023-09-12 重庆利龙中宝智能技术有限公司 一种异常驾驶的快速检测方法及***
CN116052136B (zh) * 2023-03-27 2023-09-05 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质
CN116645732B (zh) * 2023-07-19 2023-10-10 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150186714A1 (en) * 2013-12-30 2015-07-02 Alcatel-Lucent Usa Inc. Driver behavior monitoring systems and methods for driver behavior monitoring

Family Cites Families (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2546415B2 (ja) * 1990-07-09 1996-10-23 トヨタ自動車株式会社 車両運転者監視装置
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
JP3843513B2 (ja) * 1996-12-24 2006-11-08 トヨタ自動車株式会社 車両用警報装置
JPH11161798A (ja) * 1997-12-01 1999-06-18 Toyota Motor Corp 車両運転者監視装置
JP3383594B2 (ja) * 1998-09-29 2003-03-04 沖電気工業株式会社 眼の開度測定装置
JP3495934B2 (ja) * 1999-01-08 2004-02-09 矢崎総業株式会社 事故防止システム
US20120231773A1 (en) * 1999-08-27 2012-09-13 Lipovski Gerald John Jack Cuboid-based systems and methods for safe mobile texting.
WO2001084380A1 (en) * 2000-05-04 2001-11-08 Song Jin Ho Automatic vehicle management apparatus and method using wire and wireless communication network
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
US6926429B2 (en) * 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
JP4603264B2 (ja) * 2002-02-19 2010-12-22 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法
US6873714B2 (en) * 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
JP2004017939A (ja) * 2002-06-20 2004-01-22 Denso Corp 車両用情報報知装置及びプログラム
JP3951231B2 (ja) * 2002-12-03 2007-08-01 オムロン株式会社 安全走行情報仲介システムおよびそれに用いる安全走行情報仲介装置と安全走行情報の確認方法
CN1802273B (zh) * 2003-06-06 2010-05-12 沃尔沃技术公司 根据被解释的驾驶员活动控制车辆子***的方法和装置
KR100494848B1 (ko) 2004-04-16 2005-06-13 에이치케이이카 주식회사 차량 탑승자가 차량 내부에서 수면을 취하는지 여부를감지하는 방법 및 장치
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
JP4564320B2 (ja) * 2004-09-29 2010-10-20 アイシン精機株式会社 ドライバモニタシステム
CN1680779A (zh) * 2005-02-04 2005-10-12 江苏大学 驾驶员疲劳监测方法及装置
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
CA2611408A1 (en) * 2005-06-09 2006-12-14 Drive Diagnostics Ltd. System and method for displaying a driving profile
US20070041552A1 (en) * 2005-06-13 2007-02-22 Moscato Jonathan D Driver-attentive notification system
JP2007237919A (ja) * 2006-03-08 2007-09-20 Toyota Motor Corp 車両用入力操作装置
WO2008007781A1 (fr) * 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
US20130150004A1 (en) * 2006-08-11 2013-06-13 Michael Rosen Method and apparatus for reducing mobile phone usage while driving
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101030316B (zh) * 2007-04-17 2010-04-21 北京中星微电子有限公司 一种汽车安全驾驶监控***和方法
JP2008302741A (ja) * 2007-06-05 2008-12-18 Toyota Motor Corp 運転支援装置
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
JP5208711B2 (ja) * 2008-12-17 2013-06-12 アイシン精機株式会社 眼開閉判別装置及びプログラム
CN101540090B (zh) * 2009-04-14 2011-06-15 华南理工大学 基于多元信息融合的驾驶员疲劳监测方法
US10019634B2 (en) * 2010-06-04 2018-07-10 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
CN101692980B (zh) 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
CN101877051A (zh) * 2009-10-30 2010-11-03 江苏大学 驾驶人注意力状态监测方法和装置
US20110224875A1 (en) * 2010-03-10 2011-09-15 Cuddihy Mark A Biometric Application of a Polymer-based Pressure Sensor
US10592757B2 (en) * 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10074024B2 (en) * 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
CN101950355B (zh) * 2010-09-08 2012-09-05 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
JP5755012B2 (ja) 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US11270699B2 (en) * 2011-04-22 2022-03-08 Emerging Automotive, Llc Methods and vehicles for capturing emotion of a human driver and customizing vehicle response
CN102985302A (zh) * 2011-07-11 2013-03-20 丰田自动车株式会社 车辆的紧急避险装置
US8744642B2 (en) * 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
CN102436715B (zh) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 疲劳驾驶检测方法
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
JP2014048760A (ja) * 2012-08-29 2014-03-17 Denso Corp 車両の運転者に情報を提示する情報提示システム、情報提示装置、および情報センター
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US20140272811A1 (en) * 2013-03-13 2014-09-18 Mighty Carma, Inc. System and method for providing driving and vehicle related assistance to a driver
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
JP5939226B2 (ja) 2013-10-16 2016-06-22 トヨタ自動車株式会社 運転支援装置
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
JP6150258B2 (ja) * 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
JP6213282B2 (ja) * 2014-02-12 2017-10-18 株式会社デンソー 運転支援装置
US20150310758A1 (en) * 2014-04-26 2015-10-29 The Travelers Indemnity Company Systems, methods, and apparatus for generating customized virtual reality experiences
US20160001785A1 (en) * 2014-07-07 2016-01-07 Chin-Jung Hsu Motion sensing system and method
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US9796391B2 (en) * 2014-10-13 2017-10-24 Verizon Patent And Licensing Inc. Distracted driver prevention systems and methods
TW201615457A (zh) * 2014-10-30 2016-05-01 鴻海精密工業股份有限公司 車用安全識別反應系統及方法
CN104408879B (zh) * 2014-11-19 2017-02-01 湖南工学院 疲劳驾驶预警处理方法、装置及***
US10614726B2 (en) * 2014-12-08 2020-04-07 Life Long Driver, Llc Behaviorally-based crash avoidance system
CN104574817A (zh) * 2014-12-25 2015-04-29 清华大学苏州汽车研究院（吴江） 一种适用于智能手机的基于机器视觉疲劳驾驶预警***
JP2016124364A (ja) * 2014-12-26 2016-07-11 本田技研工業株式会社 覚醒装置
US10705521B2 (en) 2014-12-30 2020-07-07 Visteon Global Technologies, Inc. Autonomous driving interface
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
FR3033303B1 (fr) * 2015-03-03 2017-02-24 Renault Sas Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile.
EP3286057B1 (en) * 2015-04-20 2021-06-09 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for controlling a user situation awareness modification of a user of a vehicle, and a user situation awareness modification processing system
CN105139583A (zh) * 2015-06-23 2015-12-09 南京理工大学 基于便携式智能设备的车辆危险提醒方法
CN106327801B (zh) * 2015-07-07 2019-07-26 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN204915314U (zh) * 2015-07-21 2015-12-30 戴井之 一种汽车安全驾驶装置
CN105096528B (zh) * 2015-08-05 2017-07-11 广州云从信息科技有限公司 一种疲劳驾驶检测方法及***
JP7011578B2 (ja) * 2015-08-31 2022-01-26 エスアールアイ インターナショナル 運転行動を監視する方法及びシステム
CN105261153A (zh) * 2015-11-03 2016-01-20 北京奇虎科技有限公司 车辆行驶监控方法和装置
CN105354985B (zh) * 2015-11-04 2018-01-12 中国科学院上海高等研究院 疲劳驾驶监控装置及方法
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
CN105574487A (zh) * 2015-11-26 2016-05-11 中国第一汽车股份有限公司 基于面部特征的驾驶人注意力状态检测方法
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及***
CN105769120B (zh) * 2016-01-27 2019-01-22 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
FR3048544B1 (fr) * 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
US10108260B2 (en) * 2016-04-01 2018-10-23 Lg Electronics Inc. Vehicle control apparatus and method thereof
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US20180012090A1 (en) * 2016-07-07 2018-01-11 Jungo Connectivity Ltd. Visual learning system and method for determining a driver's state
JP2018022229A (ja) * 2016-08-01 2018-02-08 株式会社デンソーテン 安全運転行動通知システム及び安全運転行動通知方法
CN106218405A (zh) * 2016-08-12 2016-12-14 深圳市元征科技股份有限公司 疲劳驾驶监控方法及云端服务器
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
JP6940612B2 (ja) * 2016-09-14 2021-09-29 ナウト, インコーポレイテッドNauto, Inc. ニアクラッシュ判定システムおよび方法
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和***
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的***和方法
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
CN106709420B (zh) * 2016-11-21 2020-07-10 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
CN106585629B (zh) * 2016-12-06 2019-07-12 广东泓睿科技有限公司 一种车辆控制方法和装置
CN106585624B (zh) * 2016-12-07 2019-07-26 深圳市元征科技股份有限公司 驾驶员状态监控方法及装置
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警***
CN106909879A (zh) * 2017-01-11 2017-06-30 开易（北京）科技有限公司 一种疲劳驾驶检测方法及***
CN106985750A (zh) * 2017-01-17 2017-07-28 戴姆勒股份公司 用于车辆的车内安全监控***及汽车
FR3063557B1 (fr) * 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
US20190370580A1 (en) * 2017-03-14 2019-12-05 Omron Corporation Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method
US10922566B2 (en) * 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
US10402687B2 (en) * 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US10592785B2 (en) * 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6666892B2 (ja) * 2017-11-16 2020-03-18 株式会社Ｓｕｂａｒｕ 運転支援装置及び運転支援方法
CN107933471B (zh) * 2017-12-04 2019-12-20 惠州市德赛西威汽车电子股份有限公司 事故主动呼叫救援的方法及车载自动求救***
CN108407813A (zh) * 2018-01-25 2018-08-17 惠州市德赛西威汽车电子股份有限公司 一种基于大数据的车辆抗疲劳安全驾驶方法
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
US10776644B1 (en) * 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
JP6870660B2 (ja) * 2018-06-08 2021-05-12 トヨタ自動車株式会社 ドライバ監視装置
CN108961669A (zh) * 2018-07-19 2018-12-07 上海小蚁科技有限公司 网约车的安全预警方法及装置、存储介质、服务器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150186714A1 (en) * 2013-12-30 2015-07-02 Alcatel-Lucent Usa Inc. Driver behavior monitoring systems and methods for driver behavior monitoring

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joel Goncalves and Klaus Bengler, ‘Driver State Monitoring Systems-Transferable Knowledge manual driving to HAD’, 6th International Conference on Applied Factors and Ergonomics and the Affiliated Conf* *
Sinan Kaplan et al, ‘Driver Behavior Analysis for Safe Driving: A Survey’, IEEE Transactions on Intelligent Transportation Systems, 2015* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230040849A (ko) * 2021-09-16 2023-03-23 국민대학교산학협력단 손 추적 기반 행위 분류 방법 및 장치
KR20230145614A (ko) 2022-04-07 2023-10-18 한국기술교육대학교 산학협력단 운전자 안전 모니터링 시스템 및 방법

Also Published As

Publication number Publication date
TW202033395A (zh) 2020-09-16
WO2020173213A1 (zh) 2020-09-03
US20210049387A1 (en) 2021-02-18
CN109803583A (zh) 2019-05-24
CN109937152A (zh) 2019-06-25
US20210049386A1 (en) 2021-02-18
US20210049388A1 (en) 2021-02-18
SG11202009720QA (en) 2020-10-29
JP6933668B2 (ja) 2021-09-08
TWI758689B (zh) 2022-03-21
US10853675B2 (en) 2020-12-01
JP2019536673A (ja) 2019-12-19
JP2021517313A (ja) 2021-07-15
US20190065873A1 (en) 2019-02-28
EP3666577A4 (en) 2020-08-19
EP3666577A1 (en) 2020-06-17
CN110399767A (zh) 2019-11-01
WO2019029195A1 (zh) 2019-02-14
KR102391279B1 (ko) 2022-04-26
WO2019028798A1 (zh) 2019-02-14
SG11202002549WA (en) 2020-04-29
US20210009150A1 (en) 2021-01-14
KR20200124278A (ko) 2020-11-02
CN109937152B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
KR102391279B1 (ko) 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량
CN111079476B (zh) 驾驶状态分析方法和装置、驾驶员监控***、车辆
JP7146959B2 (ja) 運転状態検出方法及び装置、運転者監視システム並びに車両
WO2019232972A1 (zh) 驾驶管理方法和***、车载智能***、电子设备、介质
US10915769B2 (en) Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
TWI741512B (zh) 駕駛員注意力監測方法和裝置及電子設備
JP6916307B2 (ja) 車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
CN113095108A (zh) 一种疲劳驾驶检测方法及装置
P Mathai A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers
CN118155192A (zh) 疲劳驾驶检测方法、车辆、设备、存储介质及程序产品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant