KR20230164398A - 차량 및 그 제어 방법 - Google Patents

차량 및 그 제어 방법 Download PDF

Info

Publication number
KR20230164398A
KR20230164398A KR1020220064106A KR20220064106A KR20230164398A KR 20230164398 A KR20230164398 A KR 20230164398A KR 1020220064106 A KR1020220064106 A KR 1020220064106A KR 20220064106 A KR20220064106 A KR 20220064106A KR 20230164398 A KR20230164398 A KR 20230164398A
Authority
KR
South Korea
Prior art keywords
vehicle
user
voice command
voice
microphone
Prior art date
Application number
KR1020220064106A
Other languages
English (en)
Inventor
함정훈
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220064106A priority Critical patent/KR20230164398A/ko
Priority to US18/078,201 priority patent/US20230382349A1/en
Publication of KR20230164398A publication Critical patent/KR20230164398A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B60R25/257—Voice recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/10—Multimodal systems, i.e. based on the integration of multiple recognition engines or fusion of expert systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/09—Reducing the workload of driver
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Lock And Its Accessories (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 차량 제어 방법은, 미탑승 상태인 사용자의 안면 인식을 통해 사용자 인증을 수행하는 단계와; 상기 미탑승 상태인 사용자의 발화에 의해 발생한 음성 명령을 수신하는 단계와; 수신된 상기 음성 명령의 음성 인식을 수행하는 단계와; 상기 음성 인식의 결과로서 상기 음성 명령에 해당하는 차량 제어를 수행하는 단계를 포함한다.

Description

차량 및 그 제어 방법{VEHICLE AND CONTROL METHOD THEREOF}
본 발명은 차량에 관한 것으로, 차량의 사용자 인증 및 제어에 관한 것이다.
사용자가 차량의 도어의 잠금을 해제하고 차량을 대상으로 필요한 조작을 수행하는 방법으로는, 기본적으로 차량의 키를 이용하여 도어의 잠금을 해제하고 운전석 등에 탑승하여 버튼이나 터치 스크린 등을 통해 목적하는 대상을 조작하는 것이 있다.
근래에는, 차량의 키를 이용하여 도어의 잠금을 해제하는 대신, 안면 인식 기술을 이용한 사용자 인증을 통해 자동으로 도어의 잠금이 해제되도록 하는 기술이 사용되고 있다.
그러나, 안면 인식을 통한 사용자 인증이 기존의 키 사용을 대체하더라도, 사용자가 차량의 특정 기능을 조작하기 위해서는 사용자가 차량 내에 탑승하여 필요한 버튼이나 터치 스크린 등을 조작하는 과정이 필요하다.
본 발명의 실시 예에 따르면, 안면 인식을 통해 사용자 인증이 완료되면 차량에 미 탑승한 상태에서도 음성 명령 또는 제스처를 통해 차량의 외부에서 차량을 대상으로 사용자가 원하는 조작을 수행할 수 있도록 하는데 그 목적이 있다.
상술한 목적의 본 발명에 따른 차량 제어 방법은, 미탑승 상태인 사용자의 안면 인식을 통해 사용자 인증을 수행하는 단계와; 상기 미탑승 상태인 사용자의 발화에 의해 발생한 음성 명령을 수신하는 단계와; 수신된 상기 음성 명령의 음성 인식을 수행하는 단계와; 상기 음성 인식의 결과로서 상기 음성 명령에 해당하는 차량 제어를 수행하는 단계를 포함한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되면, 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되고, 상기 사용자의 얼굴이 상기 안면 인식을 위한 영상 내의 안면 인식 위치를 유지하면 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되고, 상기 안면 인식을 위해 촬영된 영상에서 상기 사용자가 미리 약속된 특정 제스처를 취한 경우 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
상술한 차량 제어 방법은, 딥러닝 또는 인공 지능 가운데 적어도 하나에 기초하여 상기 음성 인식을 수행한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되고, 차량 도어의 열림 후 닫힘이 발생하지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되면, 차량 내 탑승객 검출을 수행하고, 차량 내 탑승객이 검출되지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 음성 인식이 완료되면, 상기 인식된 음성이 이미 등록되어 있는 사용자의 음성과 일치하는지를 확인하는 단계를 더 포함하고, 상기 인식된 음성이 상기 이미 등록되어 있는 사용자의 음성과 일치할 때 상기 음성 명령의 유효성을 인정하여 상기 음성 명령에 대응하는 상기 차량 제어를 수행한다.
상술한 차량 제어 방법은, 상기 음성 인식이 완료되면, 상기 인식된 음성 명령의 입 모양과 상기 사용자의 발화 시 실제 입 모양이 일치하는지를 확인하는 단계를 더 포함하고, 상기 인식된 음성 명령의 입 모양과 상기 사용자의 발화 시 실제 입 모양이 일치할 때 상기 음성 명령의 유효성을 인정하여 상기 음성 명령에 대응하는 상기 차량 제어를 수행한다.
상술한 차량 제어 방법은, 상기 음성 인식이 완료되면, 상기 인식된 음성의 음량이 미리 설정된 기준 음량보다 더 큰지를 확인하는 단계를 더 포함하고, 상기 인식된 음성의 음량이 상기 미리 설정된 기준 음량보다 더 클 때 상기 음성 명령의 유효성을 인정하여 상기 음성 명령에 대응하는 상기 차량 제어를 수행한다.
상술한 차량 제어 방법은, 상기 음성 명령을 수신하도록 마련되는 마이크로폰이 활성화되면, 미리 설정된 시간 동안 상기 마이크로폰의 활성화 상태를 유지하는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 마이크로폰이 활성화되어 있는 동안 표시부를 통해 상기 마이크로폰의 활성화 상태를 표시하는 단계를 더 포함한다.
상술한 목적의 본 발명에 따른 차량은, 미탑승 상태인 사용자의 안면 인식과 제스처 인식, 음성 인식을 수행하도록 차량에 마련되는 안면 인식 모듈을 포함하고, 상기 안면 인식 모듈은, 상기 미탑승 상태인 사용자의 얼굴과 제스처를 촬영하도록 마련되는 카메라와; 상기 미탑승 상태인 사용자의 발화에 의해 발생하는 음성을 수신하도록 마련되는 마이크로폰과; 미탑승 상태인 사용자의 안면 인식을 통해 사용자 인증을 수행하고, 상기 미탑승 상태인 사용자의 발화에 의해 발생한 음성 명령을 수신하며, 수신된 상기 음성 명령의 음성 인식을 수행하고, 상기 음성 인식의 결과로서 상기 음성 명령에 해당하는 차량 제어를 수행하는 제어부를 포함한다.
상술한 차량에서, 상기 제어부는, 상기 안면 인식을 통한 사용자 인증이 완료되면, 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시킨다.
상술한 차량에서, 상기 제어부는, 상기 마이크로폰이 활성화되면, 미리 설정된 시간 동안 상기 마이크로폰의 활성화 상태를 유지한다.
상술한 차량에서, 상기 안면 인식 모듈은, 상기 마이크로폰이 활성화되어 있는 동안 상기 마이크로폰의 활성화 상태를 표시하도록 마련되는 표시부를 더 포함한다.
상술한 목적의 본 발명에 따른 또 다른 차량 제어 방법은, 미탑승 상태인 사용자의 안면 인식을 통해 사용자 인증을 수행하는 단계와; 상기 안면 인식을 통한 사용자 인증이 완료되면, 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시켜서 미리 설정된 시간 동안 상기 마이크로폰의 활성화 상태를 유지하는 단계와; 상기 마이크로폰이 활성화되어 있는 동안 표시부를 통해 상기 마이크로폰의 활성화 상태를 표시하는 단계와; 상기 미탑승 상태인 사용자의 발화에 의해 발생한 음성 명령을 수신하는 단계와; 수신된 상기 음성 명령의 음성 인식을 수행하는 단계와; 상기 음성 인식의 결과로서 상기 음성 명령에 해당하는 차량 제어를 수행하는 단계를 포함한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되고, 상기 안면 인식을 위해 촬영된 영상에서 상기 사용자가 미리 약속된 특정 제스처를 취한 경우 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되고, 차량 도어의 열림 후 닫힘이 발생하지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
상술한 차량 제어 방법은, 상기 안면 인식을 통한 사용자 인증이 완료되면, 차량 내 탑승객 검출을 수행하고, 차량 내 탑승객이 검출되지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함한다.
본 발명의 실시 예에 따르면, 안면 인식을 통해 사용자 인증이 완료되면 차량에 미 탑승한 상태에서도 음성 명령 또는 제스처를 통해 차량의 외부에서 차량을 대상으로 사용자가 원하는 조작을 수행할 수 있도록 한다.
도 1은 본 발명의 일 실시 예에 따른 차량을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 차량의 안면 인식을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 다른 차량의 안면 인식 모듈을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 차량의 제어 계통을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 차량의 또 다른 제어 계통을 나타낸 도면이다.
도 6은 본 발명의 제 1 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 7은 본 발명의 제 2 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 8은 본 발명의 제 3 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 9는 본 발명의 제 4 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 10은 본 발명의 제 5 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 11은 본 발명의 제 6 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 12는 본 발명의 제 7 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 13은 본 발명의 제 8 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 14는 본 발명의 제 9 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 15는 본 발명의 제 10 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술 분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성 요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성 요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성 요소를 다른 구성 요소로부터 구별하기 위해 사용되는 것으로, 구성 요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별 부호는 설명의 편의를 위하여 사용되는 것으로 식별 부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.
사용자 단말은 네트워크를 통해 차량에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 차량을 나타낸 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시 예에 따른 차량(100)의 운전석 도어 프레임(118)에는 안면 인식 모듈(120)이 마련된다. 안면 인식 모듈(120)은 사용자(피사체)의 얼굴을 촬영하여 등록하고, 등록 이후 탑승하고자 하는 사용자(피사체)의 얼굴을 인식하여 인증하기 위한 장치이다. 또한, 안면 인식 모듈(120)의 촬영 기능을 이용하여 사용자의 제스처를 등록 또는 인식할 수도 있다. 본 발명의 실시 예에 따른 안면 인식 모듈(120)에 대해서는 후술하는 도 3을 통해 더 자세히 설명하고자 한다.
도 2는 본 발명의 실시 예에 따른 차량의 안면 인식을 나타낸 도면이다.
도 2에 나타낸 바와 같이, 안면 인식 모듈(120)의 카메라(도 3의 302)를 이용하여 사용자의 안면을 촬영하거나 또는 사용자가 취하는 제스처를 촬영할 수 있다. 안면 인식 모듈(120)의 카메라(도 3의 302)는 일정 각도의 화각(202)을 갖기 때문에, 사용자가 어느 위치에 서서 얼굴을 촬영하는지에 따라 얼굴이 너무 크게 촬영되거나 너무 작게 촬영될 수 있다. 또는 사용자의 얼굴이 촬영 범위를 벗어날 수도 있다.
도 3은 본 발명의 실시 예에 다른 차량의 안면 인식 모듈을 나타낸 도면이다.
도 3에 나타낸 바와 같이, 본 발명의 실시 예에 따른 차량(100)의 안면 인식 모듈(120)은 카메라(302)와 LED 인디케이터(304), 마이프로폰(306)을 포함한다.
카메라(302)는 사용자의 안면 등록/인식을 위해 사용자의 얼굴을 촬영하기 위한 장치이다. 카메라(302)는 렌즈와 이미지 센서, 제어 회로 등을 포함할 수 있다. 카메라(302)는 적외선 카메라일 수 있다.
LED 인디케이터(304)는 표시부로서, 링 모양의 LED 광원일 수 있다. LED 인디케이터(304)는 복수의 서로 다른 색상으로 점등될 수 있다. 예를 들면, 안면 인식/등록에 성공한 경우 녹색으로 점등되어 안면 인식/등록에 성공하였음을 사용자가 알 수 있도록 한다. 또는, 안면 인식/등록에 실패한 경우 적색으로 점등되어 안면 인식/등록에 실패하였음을 사용자가 알 수 있도록 한다. 또는, 링 모양의 LED 인디케이터(304)의 상/하/좌/우 중 일부분이 점등되고 나머지 부분이 소등됨으로써 촬영 시 사용자의 얼굴이 촬영 영역의 어느 한 쪽으로 치우쳐진 것을 사용자가 알 수 있도록 한다. 또는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수도 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
마이크로폰(306)은 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신하기 위한 장치이다. 사용자는, 본 발명의 실시 예에 따른 차량(100)의 외부에서 미탑승 상태로 음성 명령을 발생시켜서 차량(100)의 미리 약속된 소정의 동작이 이루어지도록 할 수 있다.
도 4는 본 발명의 실시 예에 따른 차량의 제어 계통을 나타낸 도면이다.
도 4에 나타낸 바와 같이, 안면 인식 모듈(120)은 도 1 내지 도 3에서 이미 설명한 카메라(302)와 LED 인디케이터(304), 마이크로폰(306) 외에 안면 & 제스처 인식 제어부(410)를 더 포함한다. 안면 & 제어스 인식 제어부(410)는 마이크로프로세서로서, 사용자의 안면 등록과 안면 인식, 제스처 등록, 제스처 인식을 위한 동작 전반을 제어한다. 안면 & 제스처 인식 제어부(410)는 안면 인식 모듈(120) 자체의 동작은 물론 차량(100)의 다른 ECU(Electronic Control Unit)와의 협업을 통해 음성 인식부(420)를 통해 차체 제어부(Body Control Unit, BCU)과 통신하여 차량(100)의 제어를 수행한다.
도 5는 본 발명의 실시 예에 따른 차량의 또 다른 제어 계통을 나타낸 도면이다.
도 5에 나타낸 바와 같이, 안면 인식 모듈(120)은 도 1 내지 도 3에서 이미 설명한 카메라(302)와 LED 인디케이터(304), 마이크로폰(306) 외에 안면 & 제스처 인식 제어부(510)를 더 포함한다. 안면 & 제어스 인식 제어부(510)는 마이크로프로세서로서, 사용자의 안면 등록과 안면 인식, 제스처 등록, 제스처 인식을 위한 동작 전반을 제어한다. 안면 & 제스처 인식 제어부(510)는 안면 인식 모듈(120) 자체의 동작은 물론 차량(100)의 다른 ECU(Electronic Control Unit)와의 협업을 통해 차체 제어부(Body Control Unit, BCU)와 직접 통신하여 차량(100)의 제어를 수행할 수 있다. 즉, 도 5의 실시 예에 따른 제어 계통에서는, 음성 인식 기능을 배제하고 안면 인식 모듈(120)과 차제 제어부(530)가 직접 통신하여 차량(100)의 제어를 수행한다.
이하의 설명에서는 '안면 & 제스처 인식 제어부(410)(510)'를 간단히 '제어부(410)(510)'로 칭하고자 한다.
안면 인식 및 제스처 인식을 위한 제어부(120)는 차량 내 구성 요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
통신부는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 무선 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 제어부의 제어에 따라 무선 통신 인터페이스를 통해 제어부로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변환 모듈을 더 포함할 수 있다.
무선 통신 모듈은 무선 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 신호 변환 모듈을 더 포함할 수 있다.
저장부는 캐쉬(Cache), ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부는 제어부와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
디스플레이부는 음극선관(Cathode Ray Tube: CRT), 디지털 광원 처리(Digital Light Processing: DLP) 패널, 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.
입력부는 유저의 입력을 위해 각종 버튼이나 스위치, 페달(pedal), 키보드, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있다.
또한, 입력부는 유저 입력을 위해 터치 패드(touch pad) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패드는 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 디스플레이부와 상호 레이어 구조를 이룰 수 있다.
터치 패드와 상호 레이어 구조를 이루는 터치 스크린 패널(TSP)로 구성되는 경우, 디스플레이부는 입력부로도 사용될 수 있다.
도 1에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성 요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 4 및 도 5에서 도시된 각각의 구성 요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미한다.
도 6은 본 발명의 제 1 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 6에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(620). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
사용자 인증이 완료되면, 제어부(410)는 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시켜서 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(640). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(660). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
음성 명령의 유효성 및 내용의 파악이 완료되면, 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(680). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
도 7은 본 발명의 제 2 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 7에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(720). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(730의 '예'), 제어부(410)는 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(736). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(738). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(740). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(760). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
음성 명령의 유효성 및 내용의 파악이 완료되면, 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(780). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 안면 인식을 통한 사용자 인증 후 마이크로폰(306)이 자동으로 활성화되고, 활성화된 이후 미리 설정된 시간 동안만 활성화 상태를 유지한 후 자동으로 비활성화됨으로써, 인증된 사용자 이외의 타인이 무단으로 음성 명령을 입력할 수 없도록 제한할 수 있다.
도 8은 본 발명의 제 3 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 8에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(820). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(830의 '예'), 제어부(410)는 카메라(302)를 통해 촬영되는 사용자의 얼굴의 위치가 안면 인식 범위 내의 정상적인 위치를 미리 설정된 시간 동안 유지하는지를 확인한다(834). 제어부(410)는, 카메라(302)를 통해 촬영되는 사용자의 얼굴의 위치가 안면 인식 범위 내의 정상적인 위치를 미리 설정된 시간 동안 유지되는 경우에만(834의 '예') 사용자가 음성 명령을 발생시킬 의사가 있다고 판단하여 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(836). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(838). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
반대로, 카메라(302)를 통해 촬영되는 사용자의 얼굴의 위치가 미리 설정된 시간이 경과하기 전에 안면 인식 범위 내의 정상적인 위치를 벗어나면(834의 '아니오'), 제어부(410)는 사용자가 음성 명령을 발생시킬 의사가 없다고 판단하여 마이크로폰(306)의 비활성화 상태를 그대로 유지한다(850).
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(840). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(860). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
음성 명령의 유효성 및 내용의 파악이 완료되면, 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(880). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 카메라(302)를 통해 촬영되는 사용자의 얼굴의 위치가 안면 인식 범위 내의 정상적인 위치를 미리 설정된 시간 동안 유지하는지 또는 벗어나는지를 통해 사용자의 음성 명령 발생 의사를 판단하여 마이크로폰(306)의 활성화/비활성화 여부를 결정함으로써 필요한 경우에만 마이크로폰(306)을 제한적으로 활성화시킴으로써, 인증된 사용자 이외의 타인이 무단으로 음성 명령을 입력할 수 없도록 제한할 수 있다.
도 9는 본 발명의 제 4 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 9에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(920). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(930의 '예'), 제어부(410)는 카메라(302)를 통해 촬영되는 사용자의 행위 가운데 음성 명령 입력 의사를 나타내는 미리 설정된 특정 제스처가 포함되어 있는지를 확인한다(934). 예를 들면, 손가락 두 개를 펼치는 제스처가 음성 명령 입력 의사를 나타낸 제스처로 미리 약속되어 있다면, 제어부(410)는 카메라(302)를 통해 촬영되는 영상에서 사용자가 손가락 두 개를 펼치는 제스처를 취하는지를 확인한다. 제어부(410)는, 카메라(302)를 통해 촬영되는 영상에서 사용자가 음성 명령 입력 의사를 나타내는 미리 설정된 특정 제스처를 취하는 경우에만(934의 '예') 사용자가 음성 명령을 발생시킬 의사가 있다고 판단하여 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(936). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(938). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
반대로, 카메라(302)를 통해 촬영되는 영상에서 사용자가 음성 명령 입력 의사를 나타내는 미리 설정된 특정 제스처를 취하지 않으면(934의 '아니오'), 제어부(410)는 사용자가 음성 명령을 발생시킬 의사가 없다고 판단하여 마이크로폰(306)의 비활성화 상태를 그대로 유지한다(950).
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(940). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(960). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
음성 명령의 유효성 및 내용의 파악이 완료되면, 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(980). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 카메라(302)를 통해 촬영되는 영상에서 사용자가 음성 명령 입력 의사를 나타내는 미리 설정된 특정 제스처를 취하는 경우에만 마이크로폰(306)을 제한적으로 활성화시킴으로써, 인증된 사용자 이외의 타인이 무단으로 음성 명령을 입력할 수 없도록 제한할 수 있다.
도 10은 본 발명의 제 5 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 10에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(1020). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(1030의 '예'), 제어부(410)는 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(1036). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(1038). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(1040). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 딥러닝 또는 인공 지능을 이용하여 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(1060). 즉, 제어부(410)는 딥러닝 또는 인공 지능을 이용하여, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다. 예를 들면, 제어부(410)는, 입력된 음성 신호(사용자의 목소리)의 크기와 높낮이 등을 딥러닝 또는 인공 지능 기술을 통해 분석하여 기존에 입력되었던 음성 명령과 크기와 높낮이 등이 일치하는 경우에만 해당 음성 명령의 제어가 이루어지도록 한다. 또는, 제어부(410)는, 해당 사용자가 평소 사용하던 명령어들의 사용 빈도를 딥러닝 또는 인공 지능 기술을 통해 분석하여, 일정 빈도 이상 사용 이력이 있는 음성 명령어의 제어만 수행되도록 할 수도 있다. 또는, 제어부(410)는, 사용자가 음성 명령 발화 시, 눈동자의 방향 또는 얼굴의 방향 등을 딥러닝 또는 인공 지능 기술을 통해 분석하여 음성 명령과 연동하여 해당 제어가 이루어지도록 할 수도 있다. 예를 들면, 제어부(410)는, 엔진룸 커버 개방 명령 발생 시 사용자의 시선 또는 얼굴의 방향이 엔진룸 커버 쪽을 향하는지를 통해 해당 명령의 수행 여부를 결정할 수 있다.
음성 명령의 유효성 및 내용의 파악이 완료되면, 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(1080). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 음성 명령을 인식하는 단계에서 딥러닝 또는 인공 지능의 판단에 기초하여 음성 인식을 수행함으로써, 사용자의 특징을 더욱 반영한 더욱 정확한 음성 명령의 수행이 이루어질 수 있다.
도 11은 본 발명의 제 6 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 11에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(1120). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(1130의 '예'), 제어부(410)는 사용자가 차량(100)에 탑승하는지를 확인한다(1134). 예를 들면, 차량(100)의 운전석 도어의 열림 후 닫힘이 발생하면 사용자가 차량(100)의 운전석에 탑승한 것으로 판단할 수 있다. 제어부(410)는, 사용자가 차량(100)에 탑승하지 않은 경우에만(1134의 '아니오') 사용자가 음성 명령을 발생시킬 의사가 있다고 판단하여 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(1136). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(1138). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
반대로, 차량(100)의 도어가 열린 후 닫힘으로써 사용자가 차량(100)에 탑승한 것으로 판단되면(1134의 '예'), 제어부(410)는 사용자가 음성 명령을 발생시킬 의사가 없다고 판단하여 마이크로폰(306)의 비활성화 상태를 그대로 유지한다(1150).
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(1140). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(1160). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
음성 명령의 유효성 및 내용의 파악이 완료되면, 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(1180). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 사용자가 차량(100)에 탑승하지 않는 경우에만 마이크로폰(306)을 제한적으로 활성화시킴으로써, 사용자가 차량(100)에 탑승한 이후 차량(100)의 외부에서 타인이 무단으로 음성 명령을 입력할 수 없도록 제한할 수 있다.
도 12는 본 발명의 제 7 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 12에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(1220). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(1230의 '예'), 제어부(410)는 차량(100) 내부에 탑승객이 존재하는지를 확인한다(1234). 차량(100) 내부의 탑승객의 존재는 탑승객 검출 시스템(Occupant Detection System, ODS) 등을 이용하여 검출할 수 있다. 또는 레이더(미도시)나 실내 카메라(미도시)를 이용하여 차량(100) 내부에 탑승객이 존재하는지를 검출할 수도 있다. 제어부(410)는, 차량(100) 내부에 탑승객이 존재하지 않은 경우에만(1234의 '아니오') 사용자가 음성 명령을 발생시킬 의사가 있다고 판단하여 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(1236). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(1238). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
반대로, 차량(100) 내부에 탑승객이 존재하는 것으로 판단되면(1234의 '예'), 제어부(410)는 사용자가 음성 명령을 발생시킬 의사가 없다고 판단하여 마이크로폰(306)의 비활성화 상태를 그대로 유지한다(1250). 사용자가 차량(100)에 탑승한 상태라면 굳이 외부의 음성 인식 기능을 이용하여 차량(100)을 제어할 필요가 없기 때문이다.
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(1240). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(1260). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
음성 명령의 유효성 및 내용의 파악이 완료되면, 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(1280). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 사용자가 차량(100)에 탑승하지 않는 경우에만 마이크로폰(306)을 제한적으로 활성화시키고, 사용자가 차량(100)에 탑승한 상태에서는 외부의 음성 인식 기능을 활성화시키지 않음으로써 차량(100)의 외부에서 타인이 무단으로 음성 명령을 입력할 수 없도록 제한할 수 있다.
도 13은 본 발명의 제 8 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 13에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(1320). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(1330의 '예'), 제어부(410)는 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(1336). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(1338). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(1340). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(1360). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
또한, 제어부(410)는 음성 인식 결과와 미리 등록되어 있는 음성 데이터를 비교하여, 현재 사용자의 음성이 이미 등록되어 있는 사용자의 음성인지를 확인한다(1370). 즉, 이미 안면 인식을 통해 사용자 인증을 거쳤더라도, 음성 인식의 비교(인증)를 통해 사용자 인증의 신뢰도를 더욱 개선한다. 제어부(410)는 현재 사용자의 음성과 등록된 사용자의 음성 각각의 톤과 높낮이 등을 비교하고, 일치하면 동일 사용자인 것으로 인증한다.
음성 명령의 유효성 및 내용의 파악이 완료되고 음성 비교를 통한 인증까지 완료되면(1370의 '예'), 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(1380). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
반대로, 음성 명령의 유효성 및 내용의 파악이 완료되더라도, 음성 비교를 통한 인증이 완료되지 않으면(1370의 '아니오'), 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행하지 않은 채 차량(100)의 제어를 종료한다(1390).
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 안면 인식을 통한 사용자 인증 후 음성 비교를 통한 사용자 인증을 한 단계 더 수행함으로써, 인증된 사용자 이외의 타인이 무단으로 음성 명령을 입력할 수 없도록 더욱 제한할 수 있다.
도 14는 본 발명의 제 9 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 14에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(1420). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(1430의 '예'), 제어부(410)는 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(1436). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(1438). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(1440). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(1460). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
또한, 제어부(410)는 내용이 파악된 음성 명령과 사용자의 발화 시 입 모양이 일치하는지를 확인한다(1470). 즉, 카메라(302)를 통해 촬영되는 사용자의 안면의 영상 분석을 통해 사용자의 입 모양의 변화를 검출하여, 현재 인식된 음성 명령이 현재 안면 인증된 사용자의 실제 발화에 의한 것인지를 확인함으로써, 이미 안면 인식을 통해 사용자 인증을 거쳤더라도, 음성 인식의 비교(인증)를 통해 사용자 인증의 신뢰도를 더욱 개선한다.
음성 명령의 유효성 및 내용의 파악이 완료되고 입 모양 비교를 통한 인증까지 완료되면(1470의 '예'), 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(1480). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
반대로, 음성 명령의 유효성 및 내용의 파악이 완료되더라도, 입 모양 비교를 통한 인증이 완료되지 않으면(1470의 '아니오'), 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행하지 않은 채 차량(100)의 제어를 종료한다(1490).
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 안면 인식을 통한 사용자 인증 후 입 모양 비교를 통한 사용자 인증을 한 단계 더 수행함으로써, 인증된 사용자 이외의 타인이 무단으로 음성 명령을 입력할 수 없도록 더욱 제한할 수 있다.
도 15는 본 발명의 제 10 실시 예에 따른 차량 제어 방법을 나타낸 도면이다.
도 15에 나타낸 바와 같이, 차량(100)의 사용자는 운전석 도어 프레임(118)에 마련되어 있는 안면 인식 모듈(120)을 이용하여 차량(100)의 외부에서(미탑승 상태로) 안면 인식을 통한 사용자 인증을 수행할 수 있다(1520). 즉, 사용자가 차량(100) 외부의 운전석 도어 앞에 위치한 상태에서 안면 인식 모듈(120)의 카메라(302)에 자신의 얼굴을 일정 거리 이내로 가까이 가져가면 카메라(302)에 의해 사용자의 얼굴이 촬영된다. 제어부(410)는 카메라(302)를 통해 촬영된 영상의 분석을 통해 사용자의 얼굴 특징을 추출하고, 추출된 얼굴 특징과 미리 등록되어 있는 얼굴 데이터의 비교를 통해 일치 여부를 확인함으로써 사용자 인증이 이루어지도록 한다. 추출된 얼굴 특징과 동일한 특징을 가진 얼굴이 이미 등록되어 있다면, 해당 얼굴의 사용자는 등록 사용자로서 인증이 이루어지고, 차량(100)의 도어의 잠금 해제가 자동으로 이루어질 수 있다.
안면 인식을 통한 사용자 인증이 완료되면(1530의 '예'), 제어부(410)는 안면 인식 모듈(120)의 마이크로폰(306)을 활성화시킨 후 미리 설정된 시간 동안 마이크로폰(306)의 활성화 상태를 유지한다(1536). 또한, 제어부(410)는 안면 인식 모듈(120)의 LED 인디케이터(304)를 통해 마이크로폰(306)이 활성화되어 있음을 표시한다(1538). 예를 들면, 제어부(410)는, 링 모양의 LED 인디케이터(304)의 일부분이 점등되어 그 점등 부분이 링 모양을 따라 회전시킴으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다. 또는 LED 인디케이터(304)를 미리 설정된 특정 색상으로 미리 설정된 시간 동안 점등함으로써 현재 마이크로폰(306)을 통한 음성 명령의 수신이 이루어지고 있음을 나타낼 수 있다.
사용자 인증 완료 후 마이크로폰(306)이 활성화되어 있는 동안, 제어부(410)는 차량(100)의 외부에 위치한 사용자의 발화에 의해 발생하는 음성 명령을 수신한다(1540). 즉, 안면 인식을 통해 현재의 사용자가 등록된 사용자인 것으로 인증되면, 사용자는 차량(100)에 탑승할 필요 없이 차량(100)의 외부에 위치한 상태에서도 음성 명령을 통해 차량(100)의 제어가 이루어지도록 할 수 있다.
사용자의 발화에 의한 음성 명령의 수신이 완료되면, 제어부(410)는 음성 인식을 수행하여 해당 음성 명령의 내용(실질적 의미)을 파악한다(1560). 즉, 제어부(410)는, 해당 음성 명령이 유효한 것인지, 유효하다면 어떤 내용의 명령인지를 파악한다.
또한, 제어부(410)는 현재 수신되어 있는 음성 신호의 음량과 미리 등록되어 있는 기준 음량을 비교하여, 현재 사용자의 음성의 음량이 기준 음량 이상의 크기를 갖는지를 확인한다(1570). 즉, 이미 안면 인식을 통해 사용자 인증을 거쳤더라도, 음량의 비교(인증)를 통해 사용자 인증의 신뢰도를 더욱 개선한다. 제어부(410)는 현재 사용자의 음성의 음량과 기준 음량을 비교하고, 일치하면 유효한 음성 명령으로 인증한다. 이를 통해 차량(100) 주변의 타인들의 목소리가 마이크로폰(306)으로 유입되어 마치 음성 명령인 것처럼 잘 못 인식되는 것을 방지할 수 있다.
음성 명령의 유효성 및 내용의 파악이 완료되고 음량 비교를 통한 인증까지 완료되면(1570의 '예'), 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행한다(1580). 예를 들면, 해당 음성 명령이 '엔진룸 커버 열림'이면, 음성 인식부(420)에서 '엔진룸 커버 열림'에 해당하는 제어 명령이 차체 제어부(430)로 전달되고, 차체 제어부(430)는 차량(100)의 엔진룸 커버를 열기 위한 제어 신호를 발생시켜서 차량(100)의 엔진룸 커버가 열리도록 할 수 있다.
반대로, 음성 명령의 유효성 및 내용의 파악이 완료되더라도, 음량 비교를 통한 인증이 완료되지 않으면(1570의 '아니오'), 제어부(410)는 해당 음성 명령에 대응하는 차량(100)의 제어를 수행하지 않은 채 차량(100)의 제어를 종료한다(1590).
이와 같이, 사용자는, 차량(100)에 탑승하지 않은 상태에서도, 안면 인식을 통한 사용자 인증 및 음성 명령을 통한 차량(100)의 제어를 모두 수행할 수 있다. 즉, 본 발명의 실시 예에서와 같이 차량(100)에 미 탑승한 상태에서 사용자 인증 및 음성 명령을 통한 차량 제어를 수행하는 것이 사용자가 인증 후 차량(100)에 탑승하여 운전석에 착석한 상태에서 엔진룸 커버 열림을 위한 조작을 수행하는 것에 비해 상대적으로 더 편리함을 알 수 있다. 만약, 사용자가 차량(100)을 운전하지 않고 단지 엔진룸 커버를 개방하는 것이 목표라면 굳이 차량(100)에 탑승할 필요가 없으므로, 사용자는 본 발명의 실시 예에서와 같이 차량(100)에 탑승하지 않은 상태에서도 사용자 인증 및 음성 명령을 통해 목적하는 차량 제어가 수행되도록 함으로써 더욱 편리하게 차량(100)을 제어할 수 있다.
또한, 안면 인식을 통한 사용자 인증 후 음량 비교를 통한 사용자 인증을 한 단계 더 수행함으로써, 인증된 사용자 이외의 타인이 무단으로 음성 명령을 입력할 수 없도록 더욱 제한할 수 있다.
한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록 매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시 예들의 동작을 수행할 수 있다. 기록 매체는 컴퓨터로 읽을 수 있는 기록 매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 차량
118: 운전석 도어 프레임
120: 안면 인식 모듈
302: 카메라
304: LED 인디케이터(표시부)
306: 마이크로폰
410, 510: 안면 & 제스처 인식 제어부
420: 음성 인식부
430, 530: BCU

Claims (20)

  1. 미탑승 상태인 사용자의 안면 인식을 통해 사용자 인증을 수행하는 단계와;
    상기 미탑승 상태인 사용자의 발화에 의해 발생한 음성 명령을 수신하는 단계와;
    수신된 상기 음성 명령의 음성 인식을 수행하는 단계와;
    상기 음성 인식의 결과로서 상기 음성 명령에 해당하는 차량 제어를 수행하는 단계를 포함하는 차량 제어 방법.
  2. 제 1 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되면, 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.
  3. 제 1 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되고, 상기 사용자의 얼굴이 상기 안면 인식을 위한 영상 내의 안면 인식 위치를 유지하면 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.
  4. 제 1 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되고, 상기 안면 인식을 위해 촬영된 영상에서 상기 사용자가 미리 약속된 특정 제스처를 취한 경우 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.
  5. 제 1 항에 있어서,
    딥러닝 또는 인공 지능 가운데 적어도 하나에 기초하여 상기 음성 인식을 수행하는 차량 제어 방법.
  6. 제 1 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되고, 차량 도어의 열림 후 닫힘이 발생하지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.
  7. 제 1 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되면, 차량 내 탑승객 검출을 수행하고, 차량 내 탑승객이 검출되지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.
  8. 제 1 항에 있어서,
    상기 음성 인식이 완료되면, 상기 인식된 음성이 이미 등록되어 있는 사용자의 음성과 일치하는지를 확인하는 단계를 더 포함하고,
    상기 인식된 음성이 상기 이미 등록되어 있는 사용자의 음성과 일치할 때 상기 음성 명령의 유효성을 인정하여 상기 음성 명령에 대응하는 상기 차량 제어를 수행하는 차량 제어 방법.
  9. 제 1 항에 있어서,
    상기 음성 인식이 완료되면, 상기 인식된 음성 명령의 입 모양과 상기 사용자의 발화 시 실제 입 모양이 일치하는지를 확인하는 단계를 더 포함하고,
    상기 인식된 음성 명령의 입 모양과 상기 사용자의 발화 시 실제 입 모양이 일치할 때 상기 음성 명령의 유효성을 인정하여 상기 음성 명령에 대응하는 상기 차량 제어를 수행하는 차량 제어 방법.
  10. 제 1 항에 있어서,
    상기 음성 인식이 완료되면, 상기 인식된 음성의 음량이 미리 설정된 기준 음량보다 더 큰지를 확인하는 단계를 더 포함하고,
    상기 인식된 음성의 음량이 상기 미리 설정된 기준 음량보다 더 클 때 상기 음성 명령의 유효성을 인정하여 상기 음성 명령에 대응하는 상기 차량 제어를 수행하는 차량 제어 방법.
  11. 제 1 항에 있어서,
    상기 음성 명령을 수신하도록 마련되는 마이크로폰이 활성화되면, 미리 설정된 시간 동안 상기 마이크로폰의 활성화 상태를 유지하는 단계를 더 포함하는 차량 제어 방법.
  12. 제 11 항에 있어서,
    상기 마이크로폰이 활성화되어 있는 동안 표시부를 통해 상기 마이크로폰의 활성화 상태를 표시하는 단계를 더 포함하는 차량 제어 방법.
  13. 미탑승 상태인 사용자의 안면 인식과 제스처 인식, 음성 인식을 수행하도록 차량에 마련되는 안면 인식 모듈을 포함하고,
    상기 안면 인식 모듈은,
    상기 미탑승 상태인 사용자의 얼굴과 제스처를 촬영하도록 마련되는 카메라와;
    상기 미탑승 상태인 사용자의 발화에 의해 발생하는 음성을 수신하도록 마련되는 마이크로폰과;
    미탑승 상태인 사용자의 안면 인식을 통해 사용자 인증을 수행하고, 상기 미탑승 상태인 사용자의 발화에 의해 발생한 음성 명령을 수신하며, 수신된 상기 음성 명령의 음성 인식을 수행하고, 상기 음성 인식의 결과로서 상기 음성 명령에 해당하는 차량 제어를 수행하는 제어부를 포함하는 차량.
  14. 제 13 항에 있어서, 상기 제어부는,
    상기 안면 인식을 통한 사용자 인증이 완료되면, 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 차량.
  15. 제 14 항에 있어서, 상기 제어부는,
    상기 마이크로폰이 활성화되면, 미리 설정된 시간 동안 상기 마이크로폰의 활성화 상태를 유지하는 차량.
  16. 제 15 항에 있어서, 상기 안면 인식 모듈은,
    상기 마이크로폰이 활성화되어 있는 동안 상기 마이크로폰의 활성화 상태를 표시하도록 마련되는 표시부를 더 포함하는 차량.
  17. 미탑승 상태인 사용자의 안면 인식을 통해 사용자 인증을 수행하는 단계와;
    상기 안면 인식을 통한 사용자 인증이 완료되면, 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시켜서 미리 설정된 시간 동안 상기 마이크로폰의 활성화 상태를 유지하는 단계와;
    상기 마이크로폰이 활성화되어 있는 동안 표시부를 통해 상기 마이크로폰의 활성화 상태를 표시하는 단계와;
    상기 미탑승 상태인 사용자의 발화에 의해 발생한 음성 명령을 수신하는 단계와;
    수신된 상기 음성 명령의 음성 인식을 수행하는 단계와;
    상기 음성 인식의 결과로서 상기 음성 명령에 해당하는 차량 제어를 수행하는 단계를 포함하는 차량 제어 방법.
  18. 제 17 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되고, 상기 안면 인식을 위해 촬영된 영상에서 상기 사용자가 미리 약속된 특정 제스처를 취한 경우 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.
  19. 제 17 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되고, 차량 도어의 열림 후 닫힘이 발생하지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.
  20. 제 17 항에 있어서,
    상기 안면 인식을 통한 사용자 인증이 완료되면, 차량 내 탑승객 검출을 수행하고, 차량 내 탑승객이 검출되지 않으면 상기 사용자가 탑승하지 않은 것으로 판단하여 상기 음성 명령의 수신을 위해 마이크로폰을 자동으로 활성화시키는 단계를 더 포함하는 차량 제어 방법.

KR1020220064106A 2022-05-25 2022-05-25 차량 및 그 제어 방법 KR20230164398A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220064106A KR20230164398A (ko) 2022-05-25 2022-05-25 차량 및 그 제어 방법
US18/078,201 US20230382349A1 (en) 2022-05-25 2022-12-09 Vehicle and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220064106A KR20230164398A (ko) 2022-05-25 2022-05-25 차량 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20230164398A true KR20230164398A (ko) 2023-12-04

Family

ID=88877723

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220064106A KR20230164398A (ko) 2022-05-25 2022-05-25 차량 및 그 제어 방법

Country Status (2)

Country Link
US (1) US20230382349A1 (ko)
KR (1) KR20230164398A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing

Also Published As

Publication number Publication date
US20230382349A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
CN108473109B (zh) 无缝车辆访问***
CN111332252B (zh) 车门解锁方法、装置、***、电子设备和存储介质
US10305895B2 (en) Multi-factor and multi-mode biometric physical access control device
EP2945137B1 (en) Mobile terminal and vehicle control
US9030291B2 (en) Apparatus for controlling vehicle opening/closing element
KR20220070581A (ko) 차량의 도어 잠금 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체
US20170193723A1 (en) Door-Lock Using Iris Recognition and System Thereof, Mobile Communication Terminal and Network Gateway Used Therein, And User Authentication Method
CN104778390A (zh) 身份认证***及其方法
US10108334B2 (en) Gesture device, operation method for same, and vehicle comprising same
KR20200057979A (ko) 차량 및 차량의 제어방법
KR20200055974A (ko) 차량 및 차량의 제어방법
KR20230164398A (ko) 차량 및 그 제어 방법
CN110853187A (zh) 解锁车门的方法和装置、存储介质和车辆
CN112399935A (zh) 使用运载工具内相机连同受信移动计算装置进行无缝驾驶员认证
US9639684B2 (en) Remote control method with identity verification mechanism and wearable device for performing the method
KR20180074434A (ko) 홍채인식을 이용한 감성도어락 제어방법
KR101947040B1 (ko) 테일 게이트 작동 시스템 및 그 방법
JP2016016813A (ja) 車両制御システム
KR102255804B1 (ko) 모바일 단말기의 기능 제한 장치 및 그 방법
KR20200053964A (ko) 차량 및 차량의 제어방법
CN115066714A (zh) 多重身份验证电子锁***及其使用方法
KR20160133962A (ko) 근거리 무선 통신을 이용한 엘리베이터 조작 패널 장치
JP2021091274A (ja) ウィンドウ表示システムおよびそれを含む車両システム
US11279320B2 (en) Entry support system, entry support method, and storage medium
KR20240040327A (ko) 단말기, 단말기와 통신하는 차량 및 차량 제어 시스템