KR20200085970A - 자동차 및 그 제어 방법 - Google Patents

자동차 및 그 제어 방법 Download PDF

Info

Publication number
KR20200085970A
KR20200085970A KR1020190001745A KR20190001745A KR20200085970A KR 20200085970 A KR20200085970 A KR 20200085970A KR 1020190001745 A KR1020190001745 A KR 1020190001745A KR 20190001745 A KR20190001745 A KR 20190001745A KR 20200085970 A KR20200085970 A KR 20200085970A
Authority
KR
South Korea
Prior art keywords
driver
voice command
operation target
voice
target
Prior art date
Application number
KR1020190001745A
Other languages
English (en)
Inventor
신희원
김신구
김동우
지상우
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190001745A priority Critical patent/KR20200085970A/ko
Priority to US16/701,254 priority patent/US11535268B2/en
Publication of KR20200085970A publication Critical patent/KR20200085970A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/085—Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1468—Touch gesture
    • B60K2360/1476—Handwriting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 자동차 및 그 제어 방법에 관한 것으로, 운전자의 제스처와 음성 명령을 조합하여 사용자 인터페이스를 구현함으로써 자동차의 개선된 사용자 인터페이스를 제공하는데 그 목적이 있다. 이를 위해 본 발명에 따른 자동차는, 조작 대상을 지시하는 운전자의 제스처를 검출하도록 마련되는 제스처 검출부와; 지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식부와; 상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어부를 포함한다.

Description

자동차 및 그 제어 방법{VEHCLE AND CONTROL METHOD THEREOF}
본 발명은 자동차에 관한 것으로, 자동차의 인터페이스에 관한 것이다.
자동차의 사용자 인터페이스는 운전자가 자동차를 운전하고 있는 동안에 조작이 이루어지는 경우가 많다. 따라서 자동차의 사용자 인터페이스는 안전 운전을 충분히 고려하여 구현할 필요가 있다. 자동차의 사용자 인터페이스는 크게 물리적 버튼(스위치) 방식과 디스플레이 패널을 통한 터치 방식, 음성 명령 방식으로 구분할 수 있다.
물리적 버튼(스위치)은 자동차 내부의 한정된 공간(면적)에 구현해야 하기 때문에 그 확장성이 매우 제한적이다. 디스플레이 패널을 통한 터치 방식은 제한된 디스플레이 면적에 많은 메뉴를 구현하기 위해서는 복잡하고 많은 단계의 화면 전환이 수반되기 때문에 안전 운전을 고려하면 역시 확장성이 제한적이라 할 수 있다. 음성 명령 방식은 물리적 버튼(스위치) 방식이나 터치 방식에 비해 상대적으로 확장성이 매우 높지만, 음성 명령의 수가 너무 많으면 운전자가 이를 숙지하여 정확히 활용하는데 제약이 따르므로 음성 명령 방식의 높은 확장성이 오히려 음성 명령 방식의 활용도를 떨어뜨리는 원인이 될 수 있다.
본 발명의 일 측면에 따르면, 운전자의 제스처와 음성 명령을 조합하여 사용자 인터페이스를 구현함으로써 자동차의 개선된 사용자 인터페이스를 제공하는데 그 목적이 있다.
상술한 목적의 본 발명에 따른 자동차는, 조작 대상을 지시하는 운전자의 제스처를 검출하도록 마련되는 제스처 검출부와; 지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식부와; 상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어부를 포함한다.
상술한 자동차에서, 상기 제스처 검출부는, 상기 운전자의 위치와 자세를 검출하기 위한 3D 카메라이다.
상술한 자동차에서, 상기 제스처 검출부는, 상기 운전자의 서로 다른 두 부분의 신체 부위의 위치와 자세를 검출하도록 마련된다.
상술한 자동차에서, 상기 제스처 검출부는, 상기 운전자의 상기 서로 다른 두 부분의 신체 부위를 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하도록 마련된다.
상술한 자동차에서, 상기 운전자의 상기 서로 다른 두 부분의 신체 부위는 상기 운전자의 눈과 상기 운전자의 손을 포함한다.
상술한 목적의 본 발명에 따른 자동차의 제어 방법은, 조작 대상을 지시하는 운전자의 제스처를 검출하도록 마련되는 제스처 검출 단계와; 지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식 단계와; 상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어 단계를 포함한다.
상술한 자동차의 제어 방법에서, 상기 제스처 검출 단계는, 3D 카메라를 이용하여 상기 운전자의 위치와 자세를 검출하는 것을 포함한다.
상술한 자동차의 제어 방법에서, 상기 제스처 검출 단계는, 상기 운전자의 서로 다른 두 부분의 신체 부위의 위치와 자세를 검출하는 것을 포함한다.
상술한 자동차의 제어 방법에서, 상기 제스처 검출 단계는, 상기 운전자의 상기 서로 다른 두 부분의 신체 부위를 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하는 것을 포함한다.
상술한 자동차의 제어 방법에서, 상기 운전자의 상기 서로 다른 두 부분의 신체 부위는 상기 운전자의 눈과 상기 운전자의 손을 포함한다.
상술한 자동차의 제어 방법은, 상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 음성 명령을 다시 수신하는 단계를 더 포함한다.
상술한 자동차의 제어 방법은, 상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 운전자의 제스처를 다시 검출하는 단계를 더 포함한다.
상술한 자동차의 제어 방법은, 상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 조작 대상에 관련된 음성 명령을 상기 운전자에게 가이드하는 단계를 더 포함한다.
상술한 자동차의 제어 방법은, 상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 조작 대상에 관련된 음성 명령을 상기 운전자에게 가이드하고, 운전자에게 상기 음성 명령의 재수신과 상기 제스처의 재검출 가운데 어느 하나를 선택하도록 가이드하는 단계를 더 포함한다.
상술한 목적의 본 발명에 따른 또 다른 자동차는, 운전자의 눈과 손을 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하도록 마련되는 3D 카메라와; 지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식부와; 상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어부를 포함한다.
상술한 목적의 본 발명에 따른 자동차의 또 다른 제어 방법은, 음성 인식을 시작하는 단계와; 운전자의 눈과 손을 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하도록 마련되는 제스처 검출 단계와; 지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식 단계와; 상기 조작 대상에 관련된 음성 명령을 상기 운전자에게 가이드하고, 운전자에게 상기 음성 명령의 재수신과 상기 제스처의 재검출 가운데 어느 하나를 선택하도록 가이드 함으로써, 상기 제스처와 상기 음성 인식 단계와 상기 제스처 검출 단계 가운데 적어도 하나를 재실시하는 단계와; 상기 조작 대상과 상기 음성 명령이 서로 대응하면 상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어 단계를 포함한다.
본 발명의 일 측면에 따르면, 운전자의 제스처와 음성 명령을 조합하여 사용자 인터페이스를 구현함으로써 자동차의 개선된 사용자 인터페이스를 제공하는데 그 목적이 있다.
도 1은 본 발명의 일 실시 예에 따른 자동차의 제어 계통을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 자동차의 제스처 검출부의 동작을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 자동차의 제어 방법을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 자동차의 또 다른 제어 방법을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 자동차의 또 다른 제어 방법을 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 자동차의 또 다른 제어 방법을 나타낸 도면이다.
도 1은 본 발명의 일 실시 예에 따른 자동차의 제어 계통을 나타낸 도면이다. 도 1에 나타낸 자동차의 제어 계통은, 본 발명의 실시 예에 따른 멀티 모달 인터페이스를 구현하기 위한 것이다. 도 1에 나타낸 바와 같이, 제어부(ECU)(102)의 입력 측에는 음성 인식부(112)와 제스처 검출부(114)가 통신 가능하도록 연결된다.
음성 인식부(112)는 운전자의 발화에 의해 생성되는 음성 신호를 분석하여 해당 음성 명령을 인식하고, 인식된 음성 명령을 제어부(102)로 전달한다. 음성 인식부(112)는 운전자의 발성에 의해 생성되는 음성 명령을 음성 인식 기술을 이용하여 인지한다. 음성 인식 기술은 마이크와 같은 소리 센서를 통해 얻은 음향학적 신호(acoustic　speech　signal)를 단어나 문장으로 변환시키는 기술이다. 음성 인식 기술은 일반적으로, 음향 신호를 추출한 후 잡음을 제거하는 작업을 하게 되며, 이후 음성 신호의 특징을 추출하여 음성 모델 데이터베이스와 비교하는 방식으로 음성인식을 수행한다. 음성 인식부(112)의 음성 인식에 의해 생성되는 음성 명령은 본 발명의 실시 예에 따른 자동차의 여러 장치들을 제어할 수 있도록 한다.
제스처 검출부(114)는 운전자의 위치와 자세를 검출하여 운전자의 위치 및 자세에 기초한 조작 대상 정보를 생성하고, 생성된 조작 대상 정보를 제어부(102)로 전달한다. 제스처 검출부(114)는, 운전자의 위치와 자세의 분석을 통해 자동차에서 운전자가 조작하고자 하는 조작 대상이 무엇인지를 인지한다. 예를 들면, 운전자가 제스처를 통해 자동차의 멀티미디어 장치를 지시하는지 아니면 도어에 마련되어 있는 윈도우 조작 스위치를 지시하는지를 운전자의 위치와 자세의 분석을 통해 인지한다. 제스처 검출부(114)는 3D 카메라(3D Camera 또는 3d Depth camera)일 수 있다. 제스처 검출부(114)를 구성하는 3D 카메라는, 스테레오 방식과 ToF(Time-of-Flight) 방식, 스트럭처드 패턴 방식 중 어느 하나 방식 또는 두 개 이상의 방식의 조합으로 구현될 수 있다. 제스처 검출부(114)의 운전자 검출 동작에 대해서는 후술하는 도 2를 통해 더 자세히 설명하고자 한다.
제어부(102)는 제스처 검출부(114)에서 발생하는 조작 대상 정보와 음성 인식부(212)에서 발생하는 음성 명령에 기초하여 해당 조작 대상을 음성 명령대로 제어하기 위한 제어 신호를 발생시켜서 조작 대상으로 전달한다. 이를 위해 제어부(102)는 조작 대상 별 음성 명령들을 데이터베이스의 형태로 저장한다.
도 2는 본 발명의 실시 예에 따른 자동차의 제스처 검출부의 동작을 나타낸 도면이다. 앞서 설명한 것처럼, 제스처 검출부(114)는 3D 카메라일 수 있다.
도 2에 나타낸 바와 같이, 본 발명의 실시 예에 따른 자동차의 멀티 모달 인터페이스에서는, 운전자(202)의 위치와 자세로부터 운전자(202)가 목적하는 조작 대상(윈도우 업/다운 버튼 252)을 확인하고, 운전자(202)의 발화에 의해 생성되는 음성 명령으로부터 운전자가 목적하는 조작의 양태를 확인한다. 조작 대상은, 예를 들면, 운전자의 눈과 특정 손가락의 끝부분을 가상으로 연결한 직선의 연장선 상에 위치하는 장치일 수 있다. 이를 위해 운전자(202)의 제스처를 통해 지정할 수 있는 조작 대상 및 그 위치(좌표)를 미리 설정하여 운용할 필요가 있다. 예를 들면, 멀티미디어 장치와 도어 잠금 스위치, 윈도우 업/다운 버튼, 실내 조명 스위치, 공조 스위치 등의 위치(좌표)를 미리 확보하여 등록해 두고, 운전자(202)의 제스처를 통해 해당 장치들을 목적하는 조작 대상으로 지시할 수 있도록 한다.
예를 들면, 제스처 검출부(114)는, 운전자(202)가 지정하는 조작 대상을 확인하기 위해 운전자의 위치와 자세를 3D 영상을 통해 검출한다. 예를 들면, 제스처 검출부(114)는 운전자의 눈(204)과 특정 손가락(206)의 끝(206)의 위치를 3D 영상의 분석을 통해 검출하고, 또 운전자의 특정 손가락(206)이 어떤 자세를 취하고 있는지를 검출한다. 도 2에서, 운전자(202)는 자신의 오른 손 검지 손가락(206)를 위로 향하도록 세운 상태에서 자신의 눈(204)과 검지 손가락(206)의 끝 부분, 윈도우 업/다운 버튼(252)을 가상의 일직선 상에 일치시킨다. 윈도우 업/다운 버튼(252)은 운전자가 목적하는 조작 대상이다.
위치 검출부(114)는 운전자(202)의 위치와 자세, 더욱 구체적으로는 운전자(202)의 눈과 위로 향상한 오른손 검지 손가락(206)의 끝 부분을 3D 영상을 통해 검출하고, 이와 같은 운전자(202)의 위치와 자세의 정보로부터 운전자(202)의 눈(204)과 오른손 검지 손가락(206)의 끝 부분을 가상으로 연결한 직선의 연장 선의 끝에 위치한 윈도우 업/다운 버튼(252)이 운전자(202)가 목적하는 조작 대상임을 인지한다. 위치 검출부(114)에 의해 생성된 조작 대상 정보는 제어부(102)로 전달된다.
운전자(202)가 목적하는 조작 대상을 확인하기 위한 운전자(202)의 위치와 자세는 운전자(202)의 눈(204)과 특정 손가락(206)의 특정 자세로 제한되지 않고, 운전자(202)의 다른 신체 부분의 위치와 자세로 대체될 수 있다. 예를 들면 운전자(202)의 왼손 엄지를 위쪽으로 향하도록 하거나, 또는 오른손 검지를 지시하고자 하는 대상을 향하도록 뻗는 것을 통해 목적하는 조작 대상을 지시할 수도 있다.
이와 같이, 운전자(202)의 제스처를 통해 목적하는 조작 대상의 지시가 이루어지면, 운전자(202)는 발화를 통해 음성 명령을 발생시켜서 조작 대상이 음성 명령대로 동작되도록 할 수 있다.
도 3은 본 발명의 실시 예에 따른 자동차의 제어 방법을 나타낸 도면이다. 도 3에 나타낸 바와 같이, 본 발명의 실시 예에 따른 자동차의 제어 방법은, 운전자의 위치 및 자세로부터 획득한 조작 대상 정보에 기초하여 조작 대상을 인지하고, 운전자의 발화로부터 획득한 음성 명령에 기초하여 조작 대상을 제어하는 방법을 나타낸다.
운전자(202)는 조작 대상을 지정하고 관련 음성 명령을 발생시키기 위해 음성 인식이 시작되도록 한다(300). 운전자(202)는, 음성 명령 관련 버튼(미도시)을 조작하거나, 또는 음성 명령이 시작됨을 나타내는 미리 설정된 음성 인식 시작 관련 예약어를 발화함으로써 음성 인식 모드를 활성화시켜서 음성 인식이 시작되도록 할 수 있다.
음성 인식 모드가 활성화되면, 제스처 검출부(114)는 3D 영상의 분석을 통해 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)를 검출한다(302).
또한 제스처 검출부(114)는 3D 영상의 분석을 통해 획득한 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)에 기초하여 조작 대상(252)을 판단한다(304). 예를 들면, 앞서 설명한 도 2에 나타낸 것처럼, 위치 검출부(114)는 운전자(202)의 위치와 자세, 더욱 구체적으로는 운전자(202)의 눈과 위로 향상한 오른손 검지 손가락(206)의 끝 부분을 3D 영상을 통해 검출하고, 이와 같은 운전자(202)의 위치와 자세의 정보로부터 운전자(202)의 눈(204)과 오른손 검지 손가락(206)의 끝 부분을 가상으로 연결한 직선의 연장 선의 끝에 위치한 윈도우 업/다운 버튼(252)이 운전자(202)가 목적하는 조작 대상임을 인지한다.
운전자(202)의 위치와 자세(제스처)의 분석을 통해 목적하는 조작 대상의 인지가 완료되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 조작 대상 관련 명령어 그룹을 로딩한다(306). 예를 들면 윈도우 업/다운 버튼(252)이 조작 대상으로 인지되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 윈도우 업/다운 버튼(152)에 관련된 음성 명령 그룹을 로딩한다. 윈도우 업/다운 버튼(152)에 관련된 음성 명령으로는 '올려(닫아)'와 '내려(열어)' 등을 포함할 수 있다.
운전자(202)가 발화를 통해 조작 대상을 제어하기 위한 음성 신호를 발생시키면, 음성 인식부(212)는 운전자(202)가 발생시킨 음성 신호를 수신하여 분석함으로써 음성 명령을 인식하고, 인식한 음성 명령을 제어부(102)로 전달한다(308).
제어부(102)는, 제스처 검출부(114)로부터 제공되는 조작 대상 정보와 음성 인식부(112)로부터 제공되는 음성 명령에 기초하여, 음성 인식부(112)로부터 전달된 음성 명령이 현재 지정되어 있는 조작 대상(예를 들면 윈도우 업/다운 버튼)에 관련된 음성 명령인지를 확인한다(310).
만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이면(310의 '예'), 제어부(102)는 조작 대상으로 제어 명령을 전달함으로써 음성 명령에 해당하는 조작 대상의 제어가 이루어지도록 한다(312). 예를 들면, 조작 대상이 윈도우 업/다운 버튼(252)이고, 음성 명령이 '내려(열어)'이면, 제어부(102)는 윈도우 업/다운 버튼(252)으로 제어 명령을 전달하여 자동차의 윈도우가 열릴 수 있도록 한다.
반대로, 만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이 아니면(310의 '아니오'), 제어부(102)는 음성 명령 인식 단계(308)로 복귀하여 음성 명령의 재입력을 위해 대기한다.
도 3에 나타낸 이와 같은 일련의 과정을 통해 운전자(202)의 위치와 자세 즉 제스처를 통해 운전자(202)가 지시하는 조작 대상을 인지하고, 운전자의 발화를 통해 발생하는 음성 명령을 인식하여 운전자(202)가 지시한 조작 대상이 음성 명령에 따라 제어되도록 할 수 있다.
도 4는 본 발명의 실시 예에 따른 자동차의 또 다른 제어 방법을 나타낸 도면이다. 도 4에 나타낸 바와 같이, 본 발명의 실시 예에 따른 자동차의 제어 방법은, 운전자의 위치 및 자세로부터 획득한 조작 대상 정보에 기초하여 조작 대상을 인지하고, 운전자의 발화로부터 획득한 음성 명령에 기초하여 조작 대상을 제어하는 방법을 나타낸다.
운전자(202)는 조작 대상을 지정하고 관련 음성 명령을 발생시키기 위해 음성 인식이 시작되도록 한다(400). 운전자(202)는, 음성 명령 관련 버튼(미도시)을 조작하거나, 또는 음성 명령이 시작됨을 나타내는 미리 설정된 음성 인식 시작 관련 예약어를 발화함으로써 음성 인식 모드를 활성화시켜서 음성 인식이 시작되도록 할 수 있다.
음성 인식 모드가 활성화되면, 제스처 검출부(114)는 3D 영상의 분석을 통해 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)를 검출한다(402).
또한 제스처 검출부(114)는 3D 영상의 분석을 통해 획득한 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)에 기초하여 조작 대상(252)을 판단한다(404). 예를 들면, 앞서 설명한 도 2에 나타낸 것처럼, 위치 검출부(114)는 운전자(202)의 위치와 자세, 더욱 구체적으로는 운전자(202)의 눈과 위로 향상한 오른손 검지 손가락(206)의 끝 부분을 3D 영상을 통해 검출하고, 이와 같은 운전자(202)의 위치와 자세의 정보로부터 운전자(202)의 눈(204)과 오른손 검지 손가락(206)의 끝 부분을 가상으로 연결한 직선의 연장 선의 끝에 위치한 윈도우 업/다운 버튼(252)이 운전자(202)가 목적하는 조작 대상임을 인지한다.
운전자(202)의 위치와 자세(제스처)의 분석을 통해 목적하는 조작 대상의 인지가 완료되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 조작 대상 관련 명령어 그룹을 로딩한다(406). 예를 들면 윈도우 업/다운 버튼(252)이 조작 대상으로 인지되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 윈도우 업/다운 버튼(152)에 관련된 음성 명령 그룹을 로딩한다. 윈도우 업/다운 버튼(152)에 관련된 음성 명령으로는 '올려(닫아)'와 '내려(열어)' 등을 포함할 수 있다.
운전자(202)가 발화를 통해 조작 대상을 제어하기 위한 음성 신호를 발생시키면, 음성 인식부(212)는 운전자(202)가 발생시킨 음성 신호를 수신하여 분석함으로써 음성 명령을 인식하고, 인식한 음성 명령을 제어부(102)로 전달한다(408).
제어부(102)는, 제스처 검출부(114)로부터 제공되는 조작 대상 정보와 음성 인식부(112)로부터 제공되는 음성 명령에 기초하여, 음성 인식부(112)로부터 전달된 음성 명령이 현재 지정되어 있는 조작 대상(예를 들면 윈도우 업/다운 버튼)에 관련된 음성 명령인지를 확인한다(410).
만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이면(410의 '예'), 제어부(102)는 조작 대상으로 제어 명령을 전달함으로써 음성 명령에 해당하는 조작 대상의 제어가 이루어지도록 한다(412). 예를 들면, 조작 대상이 윈도우 업/다운 버튼(252)이고, 음성 명령이 '내려(열어)'이면, 제어부(102)는 윈도우 업/다운 버튼(252)으로 제어 명령을 전달하여 자동차의 윈도우가 열릴 수 있도록 한다.
반대로, 만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이 아니면(410의 '아니오'), 제어부(102)는 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치를 검출하는 단계(402) 즉 운전자(202)의 제스처 검출 단계로 복귀하여 음성 명령의 재입력을 위해 대기한다. 음성 명령과 조작 대상이 일치하지 않는 것은 음성 명령이 잘 못 발생한 것이거나 또는 조작 대상이 잘 못 지시된 것 중 어느 하나일 수 있으므로, 운전자(202)가 지시하는 조작 대상을 인지하기 위한 단계(402)로 복귀하여 운전자(202)의 제스처 검출과 음성 명령의 수신 모두를 다시 실시함으로써 정확한 조작 대상의 지시 및 음성 명령의 발생이 이루어지도록 하는 것이 바람직하다.
도 4에 나타낸 이와 같은 일련의 과정을 통해 운전자(202)의 위치와 자세 즉 제스처를 통해 운전자(202)가 지시하는 조작 대상을 인지하고, 운전자의 발화를 통해 발생하는 음성 명령을 인식하여 운전자(202)가 지시한 조작 대상이 음성 명령에 따라 제어되도록 할 수 있다.
도 5는 본 발명의 실시 예에 따른 자동차의 또 다른 제어 방법을 나타낸 도면이다. 도 5에 나타낸 바와 같이, 본 발명의 실시 예에 따른 자동차의 제어 방법은, 운전자의 위치 및 자세로부터 획득한 조작 대상 정보에 기초하여 조작 대상을 인지하고, 운전자의 발화로부터 획득한 음성 명령에 기초하여 조작 대상을 제어하는 방법을 나타낸다.
운전자(202)는 조작 대상을 지정하고 관련 음성 명령을 발생시키기 위해 음성 인식이 시작되도록 한다(500). 운전자(202)는, 음성 명령 관련 버튼(미도시)을 조작하거나, 또는 음성 명령이 시작됨을 나타내는 미리 설정된 음성 인식 시작 관련 예약어를 발화함으로써 음성 인식 모드를 활성화시켜서 음성 인식이 시작되도록 할 수 있다.
음성 인식 모드가 활성화되면, 제스처 검출부(114)는 3D 영상의 분석을 통해 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)를 검출한다(502).
또한 제스처 검출부(114)는 3D 영상의 분석을 통해 획득한 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)에 기초하여 조작 대상(252)을 판단한다(504). 예를 들면, 앞서 설명한 도 2에 나타낸 것처럼, 위치 검출부(114)는 운전자(202)의 위치와 자세, 더욱 구체적으로는 운전자(202)의 눈과 위로 향상한 오른손 검지 손가락(206)의 끝 부분을 3D 영상을 통해 검출하고, 이와 같은 운전자(202)의 위치와 자세의 정보로부터 운전자(202)의 눈(204)과 오른손 검지 손가락(206)의 끝 부분을 가상으로 연결한 직선의 연장 선의 끝에 위치한 윈도우 업/다운 버튼(252)이 운전자(202)가 목적하는 조작 대상임을 인지한다.
운전자(202)의 위치와 자세(제스처)의 분석을 통해 목적하는 조작 대상의 인지가 완료되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 조작 대상 관련 명령어 그룹을 로딩한다(506). 예를 들면 윈도우 업/다운 버튼(252)이 조작 대상으로 인지되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 윈도우 업/다운 버튼(152)에 관련된 음성 명령 그룹을 로딩한다. 윈도우 업/다운 버튼(152)에 관련된 음성 명령으로는 '올려(닫아)'와 '내려(열어)' 등을 포함할 수 있다.
운전자(202)가 발화를 통해 조작 대상을 제어하기 위한 음성 신호를 발생시키면, 음성 인식부(212)는 운전자(202)가 발생시킨 음성 신호를 수신하여 분석함으로써 음성 명령을 인식하고, 인식한 음성 명령을 제어부(102)로 전달한다(508).
제어부(102)는, 제스처 검출부(114)로부터 제공되는 조작 대상 정보와 음성 인식부(112)로부터 제공되는 음성 명령에 기초하여, 음성 인식부(112)로부터 전달된 음성 명령이 현재 지정되어 있는 조작 대상(예를 들면 윈도우 업/다운 버튼)에 관련된 음성 명령인지를 확인한다(510).
만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이면(510의 '예'), 제어부(102)는 조작 대상으로 제어 명령을 전달함으로써 음성 명령에 해당하는 조작 대상의 제어가 이루어지도록 한다(512). 예를 들면, 조작 대상이 윈도우 업/다운 버튼(252)이고, 음성 명령이 '내려(열어)'이면, 제어부(102)는 윈도우 업/다운 버튼(252)으로 제어 명령을 전달하여 자동차의 윈도우가 열릴 수 있도록 한다.
반대로, 만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이 아니면(510의 '아니오'), 제어부(102)는 음성 명령 인식 단계(508)로 복귀하여 음성 명령의 재입력을 위해 대기한다. 단, 음성 명령 인식 단계(508)로 복귀하기 앞서, 운전자(202)에게 조작 대상에 관련된 음성 명령의 가이드를 제공한다(552). 만약 현재 지정된 조작 대상이 윈도우 업/다운 버튼(252)임에도 불구하고 운전자(202)가 발생시킨 음성 명령이 윈도우의 업/다운에 관련되지 않은 음성 명령이거나, 또는 윈도우의 업/다운에 관련된 음성 명령과 유사하지만 올바르지 않은 형태일 때, 제어부(102)는 운전자(202)가 윈도우의 업/다운에 관련된 올바른 음성 명령을 발생시킬 수 있도록 가이드할 수 있다. 예를 들면, 현재 지정된 조작 대상이 윈도우 업/다운 버튼(252)임을 운전자(202)에게 상기시키고, 윈도우 업/다운 버튼(252)을 대상으로 하는 음성 명령의 예시를 들려주어 운전자(202)가 윈도우 업/다운 버튼(252)의 제어를 위해 올바른 음성 명령을 발생시킬 수 있도록 가이드한다. 운전자(202)는 제어부(102)의 가이드를 참조하여 윈도우 업/다운 버튼(252)의 제어를 위한 올바른 음성 명령을 발생시킬 수 있다.
도 5에 나타낸 이와 같은 일련의 과정을 통해 운전자(202)의 위치와 자세 즉 제스처를 통해 운전자(202)가 지시하는 조작 대상을 인지하고, 운전자의 발화를 통해 발생하는 음성 명령을 인식하여 운전자(202)가 지시한 조작 대상이 음성 명령에 따라 제어되도록 할 수 있다.
도 6은 본 발명의 실시 예에 따른 자동차의 또 다른 제어 방법을 나타낸 도면이다. 도 6에 나타낸 바와 같이, 본 발명의 실시 예에 따른 자동차의 제어 방법은, 운전자의 위치 및 자세로부터 획득한 조작 대상 정보에 기초하여 조작 대상을 인지하고, 운전자의 발화로부터 획득한 음성 명령에 기초하여 조작 대상을 제어하는 방법을 나타낸다.
운전자(202)는 조작 대상을 지정하고 관련 음성 명령을 발생시키기 위해 음성 인식이 시작되도록 한다(600). 운전자(202)는, 음성 명령 관련 버튼(미도시)을 조작하거나, 또는 음성 명령이 시작됨을 나타내는 미리 설정된 음성 인식 시작 관련 예약어를 발화함으로써 음성 인식 모드를 활성화시켜서 음성 인식이 시작되도록 할 수 있다.
음성 인식 모드가 활성화되면, 제스처 검출부(114)는 3D 영상의 분석을 통해 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)를 검출한다(602).
또한 제스처 검출부(114)는 3D 영상의 분석을 통해 획득한 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치(좌표)에 기초하여 조작 대상(252)을 판단한다(604). 예를 들면, 앞서 설명한 도 2에 나타낸 것처럼, 위치 검출부(114)는 운전자(202)의 위치와 자세, 더욱 구체적으로는 운전자(202)의 눈과 위로 향상한 오른손 검지 손가락(206)의 끝 부분을 3D 영상을 통해 검출하고, 이와 같은 운전자(202)의 위치와 자세의 정보로부터 운전자(202)의 눈(204)과 오른손 검지 손가락(206)의 끝 부분을 가상으로 연결한 직선의 연장 선의 끝에 위치한 윈도우 업/다운 버튼(252)이 운전자(202)가 목적하는 조작 대상임을 인지한다.
운전자(202)의 위치와 자세(제스처)의 분석을 통해 목적하는 조작 대상의 인지가 완료되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 조작 대상 관련 명령어 그룹을 로딩한다(606). 예를 들면 윈도우 업/다운 버튼(252)이 조작 대상으로 인지되면, 제어부(102)는 음성 인식 명령 데이터베이스로부터 윈도우 업/다운 버튼(152)에 관련된 음성 명령 그룹을 로딩한다. 윈도우 업/다운 버튼(152)에 관련된 음성 명령으로는 '올려(닫아)'와 '내려(열어)' 등을 포함할 수 있다.
운전자(202)가 발화를 통해 조작 대상을 제어하기 위한 음성 신호를 발생시키면, 음성 인식부(212)는 운전자(202)가 발생시킨 음성 신호를 수신하여 분석함으로써 음성 명령을 인식하고, 인식한 음성 명령을 제어부(102)로 전달한다(608).
제어부(102)는, 제스처 검출부(114)로부터 제공되는 조작 대상 정보와 음성 인식부(112)로부터 제공되는 음성 명령에 기초하여, 음성 인식부(112)로부터 전달된 음성 명령이 현재 지정되어 있는 조작 대상(예를 들면 윈도우 업/다운 버튼)에 관련된 음성 명령인지를 확인한다(610).
만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이면(610의 '예'), 제어부(102)는 조작 대상으로 제어 명령을 전달함으로써 음성 명령에 해당하는 조작 대상의 제어가 이루어지도록 한다(612). 예를 들면, 조작 대상이 윈도우 업/다운 버튼(252)이고, 음성 명령이 '내려(열어)'이면, 제어부(102)는 윈도우 업/다운 버튼(252)으로 제어 명령을 전달하여 자동차의 윈도우가 열릴 수 있도록 한다.
반대로, 만약 음성 명령이 해당 조작 대상에 관련된 음성 명령이 아니면(610의 '아니오'), 제어부(102)는 음성 명령 인식 단계(608)로 복귀하여 음성 명령의 재입력을 위해 대기한다. 단, 음성 명령 인식 단계(608)로 복귀하기 앞서, 운전자(202)에게 조작 대상에 관련된 음성 명령의 가이드를 제공한다(652). 만약 현재 지정된 조작 대상이 윈도우 업/다운 버튼(252)임에도 불구하고 운전자(202)가 발생시킨 음성 명령이 윈도우의 업/다운에 관련되지 않은 음성 명령이거나, 또는 윈도우의 업/다운에 관련된 음성 명령과 유사하지만 올바르지 않은 형태일 때, 제어부(102)는 운전자(202)가 윈도우의 업/다운에 관련된 올바른 음성 명령을 발생시킬 수 있도록 가이드할 수 있다. 예를 들면, 현재 지정된 조작 대상이 윈도우 업/다운 버튼(252)임을 운전자(202)에게 상기시키고, 윈도우 업/다운 버튼(252)을 대상으로 하는 음성 명령의 예시를 들려주어 운전자(202)가 윈도우 업/다운 버튼(252)의 제어를 위해 올바른 음성 명령을 발생시킬 수 있도록 가이드한다. 운전자(202)는 제어부(102)의 가이드를 참조하여 윈도우 업/다운 버튼(252)의 제어를 위한 올바른 음성 명령을 발생시킬 수 있다.
또한, 제어부(102)는, 운전자(202)가 조작 대상에 관련된 올바른 음성 명령을 발생시킬 수 있도록 가이드한 다음, 운전자(202)에게 조작 대상을 재선택할 것인지를 확인한다(654). 만약 운전자(202)가 조작 대상을 재선택하고자 하는 경우에는(654의 '예'), 제어부(102)는 운전자(202)의 눈(204)과 손 끝(206) 각각의 위치를 검출하는 단계(402) 즉 운전자(202)의 제스처 검출 단계로 복귀하여 음성 명령의 재입력을 위해 대기한다. 반대로 운전자(202)가 조작 대상을 재선택하지 않고자 하는 경우에는(654의 '아니오'), 제어부(102)는 음성 명령 인식 단계(608)로 복귀하여 음성 명령의 재입력을 위해 대기한다. 즉, 음성 명령과 조작 대상이 일치하지 않는 것은 음성 명령이 잘 못 발생한 것이거나 또는 조작 대상이 잘 못 지시된 것 중 어느 하나일 수 있으므로, 운전자(202)가 조작 대상을 재설정하거나 또는 음성 명령을 재발생시키는 것을 선택할 수 있도록 함으로써, 조작 대상의 재 지정과 음성 명령의 재발생 가운데 어느 하나의 단계가 좀 더 신속하고 정확하게 이루어질 수 있게 된다.
도 6에 나타낸 이와 같은 일련의 과정을 통해 운전자(202)의 위치와 자세 즉 제스처를 통해 운전자(202)가 지시하는 조작 대상을 인지하고, 운전자의 발화를 통해 발생하는 음성 명령을 인식하여 운전자(202)가 지시한 조작 대상이 음성 명령에 따라 제어되도록 할 수 있다.
위의 설명은 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서 위에 개시된 실시 예 및 첨부된 도면들은 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 기술적 사상의 범위가 한정되는 것은 아니다. 그 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
102 : 제어부
112 : 음성 인식부
114 : 제스처 검출부
202 : 운전자
204 : (운전자의) 눈
206 : (운전자의) 손가락
252 : 윈도우 업/다운 버튼(조작 대상)

Claims (16)

  1. 조작 대상을 지시하는 운전자의 제스처를 검출하도록 마련되는 제스처 검출부와;
    지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식부와;
    상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어부를 포함하는 자동차.
  2. 제 1 항에 있어서, 상기 제스처 검출부는,
    상기 운전자의 위치와 자세를 검출하기 위한 3D 카메라인 자동차.
  3. 제 2 항에 있어서, 상기 제스처 검출부는,
    상기 운전자의 서로 다른 두 부분의 신체 부위의 위치와 자세를 검출하도록 마련되는 자동차.
  4. 제 3 항에 있어서, 상기 제스처 검출부는,
    상기 운전자의 상기 서로 다른 두 부분의 신체 부위를 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하도록 마련되는 자동차.
  5. 제 3 항에 있어서,
    상기 운전자의 상기 서로 다른 두 부분의 신체 부위는 상기 운전자의 눈과 상기 운전자의 손을 포함하는 자동차.
  6. 조작 대상을 지시하는 운전자의 제스처를 검출하도록 마련되는 제스처 검출 단계와;
    지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식 단계와;
    상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어 단계를 포함하는 자동차의 제어 방법.
  7. 제 6 항에 있어서, 상기 제스처 검출 단계는,
    3D 카메라를 이용하여 상기 운전자의 위치와 자세를 검출하는 것을 포함하는 자동차의 제어 방법.
  8. 제 7 항에 있어서, 상기 제스처 검출 단계는,
    상기 운전자의 서로 다른 두 부분의 신체 부위의 위치와 자세를 검출하는 것을 포함하는 자동차의 제어 방법.
  9. 제 8 항에 있어서, 상기 제스처 검출 단계는,
    상기 운전자의 상기 서로 다른 두 부분의 신체 부위를 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하는 것을 포함하는 자동차의 제어 방법.
  10. 제 8 항에 있어서,
    상기 운전자의 상기 서로 다른 두 부분의 신체 부위는 상기 운전자의 눈과 상기 운전자의 손을 포함하는 자동차의 제어 방법.
  11. 제 6 항에 있어서,
    상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 음성 명령을 다시 수신하는 단계를 더 포함하는 자동차의 제어 방법.
  12. 제 6 항에 있어서,
    상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 운전자의 제스처를 다시 검출하는 단계를 더 포함하는 자동차의 제어 방법.
  13. 제 6 항에 있어서,
    상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 조작 대상에 관련된 음성 명령을 상기 운전자에게 가이드하는 단계를 더 포함하는 자동차의 제어 방법.
  14. 제 6 항에 있어서,
    상기 조작 대상과 상기 음성 명령이 서로 대응하지 않으면 상기 조작 대상에 관련된 음성 명령을 상기 운전자에게 가이드하고, 운전자에게 상기 음성 명령의 재수신과 상기 제스처의 재검출 가운데 어느 하나를 선택하도록 가이드하는 단계를 더 포함하는 자동차의 제어 방법.
  15. 운전자의 눈과 손을 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하도록 마련되는 3D 카메라와;
    지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식부와;
    상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어부를 포함하는 자동차.
  16. 음성 인식을 시작하는 단계와;
    운전자의 눈과 손을 가상으로 연결하는 직선의 연장선 상에 위치하는 조작 대상을 검출하도록 마련되는 제스처 검출 단계와;
    지시된 상기 조작 대상을 제어하기 위해 상기 운전자가 발생시키는 음성 명령을 인식하도록 마련되는 음성 인식 단계와;
    상기 조작 대상에 관련된 음성 명령을 상기 운전자에게 가이드하고, 운전자에게 상기 음성 명령의 재수신과 상기 제스처의 재검출 가운데 어느 하나를 선택하도록 가이드 함으로써, 상기 제스처와 상기 음성 인식 단계와 상기 제스처 검출 단계 가운데 적어도 하나를 재실시하는 단계와;
    상기 조작 대상과 상기 음성 명령이 서로 대응하면 상기 음성 명령에 상응하는 제어 신호를 상기 조작 대상으로 전달하여 상기 조작 대상이 상기 음성 명령에 해당하는 동작을 수행하도록 하는 제어 단계를 포함하는 자동차의 제어 방법.
KR1020190001745A 2019-01-07 2019-01-07 자동차 및 그 제어 방법 KR20200085970A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190001745A KR20200085970A (ko) 2019-01-07 2019-01-07 자동차 및 그 제어 방법
US16/701,254 US11535268B2 (en) 2019-01-07 2019-12-03 Vehicle and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190001745A KR20200085970A (ko) 2019-01-07 2019-01-07 자동차 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20200085970A true KR20200085970A (ko) 2020-07-16

Family

ID=71404916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190001745A KR20200085970A (ko) 2019-01-07 2019-01-07 자동차 및 그 제어 방법

Country Status (2)

Country Link
US (1) US11535268B2 (ko)
KR (1) KR20200085970A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11590929B2 (en) * 2020-05-05 2023-02-28 Nvidia Corporation Systems and methods for performing commands in a vehicle using speech and image recognition

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US20120260284A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv personalized for multiple viewers
EP2751646A4 (en) * 2011-08-31 2015-06-17 Qoros Automotive Co Ltd INTERACTIVE VEHICLE SYSTEM
US9625993B2 (en) * 2012-01-11 2017-04-18 Biosense Webster (Israel) Ltd. Touch free operation of devices by use of depth sensors
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US10352498B2 (en) * 2015-07-16 2019-07-16 Elephino, LLC Tool for multi-positioning and holding a device
US11023049B2 (en) * 2015-11-24 2021-06-01 Ford Global Technologies, Llc Methods and systems for enabling gesture control for a vehicle feature
US10913463B2 (en) * 2016-09-21 2021-02-09 Apple Inc. Gesture based control of autonomous vehicles
US10981540B2 (en) * 2019-08-07 2021-04-20 Keep Technologies, Inc. Remote engagement of coupling mechanism for vehicle intrusion detection device

Also Published As

Publication number Publication date
US11535268B2 (en) 2022-12-27
US20200216088A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
US8532871B2 (en) Multi-modal vehicle operating device
EP2933130B1 (en) Vehicle control apparatus and method thereof
KR101459441B1 (ko) 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
US9104243B2 (en) Vehicle operation device
US20160170494A1 (en) Method and device for remote control of a function of a vehicle
EP1082671B1 (en) Handwritten and voice control of vehicle appliance
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
US11023786B2 (en) Device control apparatus
JP2018150043A (ja) 自動車における情報伝送のためのシステム
KR101621369B1 (ko) 제스처 인식 장치, 이를 포함하는 차량, 및 제스처 인식 방법
JP5172485B2 (ja) 入力装置及び入力装置の制御方法
KR101438615B1 (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
CN108762477A (zh) 手势检测装置及其运行方法
CN105739679A (zh) 转向盘控制***
US9949107B2 (en) Method and system for detecting an input to a device
JP5776544B2 (ja) ロボットの制御方法、ロボットの制御装置、及びロボット
JP3933139B2 (ja) コマンド入力装置
US9841745B2 (en) Machine controller and method for controlling a machine
KR20200085970A (ko) 자동차 및 그 제어 방법
KR20140079025A (ko) 차량 내 다리 제스처 인식을 이용한 사용자 인터페이스 조작 방법
KR101500412B1 (ko) 차량용 제스처 인식 장치
JP2006312346A (ja) コマンド入力装置
KR20130068587A (ko) 운전자 제스처를 기반으로 하는 차량 내 편의 기능의 실행 장치 및 방법
KR101500413B1 (ko) 차량용 제스처 인식 장치

Legal Events

Date Code Title Description
A201 Request for examination