KR20140070861A - 멀티 모달 ｈｍｉ 제어 장치 및 방법 - Google Patents

멀티 모달 ｈｍｉ 제어 장치 및 방법 Download PDF

Info

Publication number
KR20140070861A
KR20140070861A KR1020120136196A KR20120136196A KR20140070861A KR 20140070861 A KR20140070861 A KR 20140070861A KR 1020120136196 A KR1020120136196 A KR 1020120136196A KR 20120136196 A KR20120136196 A KR 20120136196A KR 20140070861 A KR20140070861 A KR 20140070861A
Authority
KR
South Korea
Prior art keywords
user
information
multimodal
vehicle
recognizing
Prior art date
Application number
KR1020120136196A
Other languages
English (en)
Inventor
김진우
한태만
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120136196A priority Critical patent/KR20140070861A/ko
Priority to US14/012,461 priority patent/US20140145931A1/en
Publication of KR20140070861A publication Critical patent/KR20140070861A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 음성에 대한 음성 정보 및 사용자의 제스처에 대한 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하며, 멀티 모달 제어 신호를 이용하여 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택하며, 멀티 모달 제어 신호에 따라 선택된 객체에 대한 객체 관련 정보를 표시하는 멀티 모달 HMI 제어 장치 및 방법을 제공한다.

Description

멀티 모달 ＨＭＩ 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING MULTI MODAL HUMAN-MACHINE INTERFACE}
본 발명의 실시예들은 승차한 차량의 주행 중 음성 및 제스처를 통합하여 HMI(Human-Machine Interface)를 제어하는 장치 및 방법에 관한 것이다.
기존의 차량 HMI(Human-Machine Interface)의 멀티 모달 인터페이스는 음성 인식과 제스처 인식 기반의 사용자 인터페이스가 서로 다른 목적에 초점을 맞추어 적용되었다.
이는 특정 소수 멀티 미디어 콘텐츠의 제어만 가능했기 때문에 이 두 개의 사용자 인터페이스가 조합되어 효율적인 사용자 경험(UX: User eXperience)를 사용자에게 제공하지 못 할 수 있다.
또한, 스마트 기기 및 가상현실, 웨어러블 컴퓨팅 기술 분야에서는 음성 인식과 제스처 인식에 대한 융합에 대한 개념이 적용되고 있지만, 안전을 최우선시 하는 차량용 음성, 제스처 조합의 인터렉션 사용자 인터페이스는 아직 미구현 상태이다.
최근에는, HUD(Head Up Display) 및 투명 디스플레이 기반의 차량 전방 유리창에 3D 객체를 증강시켜 운전자 및 사용자에게 정보를 직관적으로 전달하고자 하는 차량용 증강현실 연구가 활발하며, 차량 HMI 를 접목하여 차량 운전자에게 직관적인 차량 운행 정보를 제공하는 기술이 필요한 실정이다.
차량용 증강 현실이 실현되기 위해서는 기존의 음성 인식의 독립적인 방식 또는 운전자와 인터렉션 없는 상태에서 일방적으로 정보 제공만 되는 방식의 변화가 필요하다.
본 발명의 일실시예는 운전자로 하여금 NUI(Natural User Interface)를 통해서 전방 차량 유리에 표현된 콘텐츠를 주행 중 시선을 빼앗기지 않고 초점이 흐트러지지 않도록 실시간 랜더링 기술을 제공한다.
본 발명의 일실시예는 운전자의 시선 추적, 실시간 초점 거리 계산, 제스처 인식, 음성 인식, 차량 외부 환경 인식을 통합할 수 있는 통합형 HMI 엔진을 제공한다.
본 발명의 일실시예는 운전자에게 적응형 HMI 정보를 제공하고, 이를 조작하기 위한 HMI UI(User Interface) 및 HMI UX(User eXperience)를 제공한다.
본 발명의 일실시예에 따른 멀티 모달 HMI 제어 장치는 사용자의 음성에 대한 음성 정보를 인식하는 음성 인식부, 상기 사용자의 제스처에 대한 제스처 정보를 인식하는 제스처 인식부, 상기 음성 정보 및 상기 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하는 멀티 모달 엔진부, 상기 멀티 모달 제어 신호를 이용하여 상기 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택하는 객체 선택부, 및 상기 멀티 모달 제어 신호에 따라 상기 선택된 객체에 대한 객체 관련 정보를 표시하는 표시부를 포함한다.
본 발명의 일측에 따른 멀티 모달 HMI 제어 장치는 상기 사용자의 시선을 인지하는 시선 인식부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 시선 인식부는 상기 선택된 객체의 이동 속도를 고려하여, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산할 수 있다.
본 발명의 일측에 따르면, 상기 시선 인식부는 상기 사용자가 승차한 차량과 상기 선택된 객체 간의 거리를 기반으로, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산할 수 있다.
본 발명의 일측에 따른 멀티 모달 HMI 제어 장치는 상기 사용자가 승차한 차량의 전방에 위치한 객체를 인식하는 객체 인식부, 및 상기 객체에 대응하는 차량이 주행 중인 도로의 차선을 인식하는 차선 인식부를 더 포함할 수 있다.
본 발명의 일측에 따른 멀티 모달 HMI 제어 장치는 상기 멀티 모달 제어 신호를 수집하여 사용자 경험(UX: User Experience) 정보를 분석하는 사용자 경험 분석부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 멀티 모달 엔진부는 상기 사용자 경험 정보를 고려하여 상기 객체를 선택 및 이동 시키기 위한 상기 멀티 모달 제어 정보를 생성할 수 있다.
본 발명의 일측에 따르면, 상기 객체 선택부는 상기 음성 정보가 인식된 시점에 상기 제스처 정보에 대응하는 객체를 선택할 수 있다.
본 발명의 일측에 따르면, 상기 표시부는 상기 객체 관련 정보를 증강 현실 기법을 이용하여 표시할 수 있다.
본 발명의 일측에 따르면, 상기 객체 관련 정보는 상기 사용자가 승차한 차량과 상기 객체와의 거리, 상기 객체의 이동 속도, 및 상기 객체가 운행 중인 차선 중 어느 하나 이상을 포함할 수 있다.
본 발명의 일실시예에 따른 멀티 모달 HMI 제어 방법은 사용자의 음성에 대한 음성 정보를 인식하는 단계, 상기 사용자의 제스처에 대한 제스처 정보를 인식하는 단계, 상기 음성 정보 및 상기 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하는 단계, 상기 멀티 모달 제어 신호를 이용하여 상기 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택하는 단계, 및 상기 멀티 모달 제어 신호에 따라 상기 선택된 객체에 대한 객체 관련 정보를 표시하는 단계를 포함한다.
본 발명의 일실시예에 따르면 운전자로 하여금 NUI(Natural User Interface)를 통해서 전방 차량 유리에 표현된 콘텐츠를 주행 중 시선을 빼앗기지 않고 초점이 흐트러지지 않도록 실시간 랜더링 기술을 제공할 수 있다.
본 발명의 일실시예에 따르면 운전자의 시선 추적, 실시간 초점 거리 계산, 제스처 인식, 음성 인식, 차량 외부 환경 인식을 통합할 수 있는 통합형 HMI 엔진을 제공할 수 있다.
본 발명의 일실시예에 따르면 운전자에게 적응형 HMI 정보를 제공하고, 이를 조작하기 위한 HMI UI(User Interface) 및 HMI UX(User eXperience)를 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 멀티 모달 HMI 제어 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일측에 따른 멀티 모달 HMI 제어 장치의 상세 구성을 도시한 블록도이다.
도 3은 본 발명의 일측에 따른 멀티 모달 HMI 제어 장치가 설치된 차량 전방의 객체를 선택하고, 선택된 객체의 객체 관련 정보를 디스플레이한 예를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 멀티 모달 HMI 제어 방법을 도시한 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 멀티 모달 HMI 제어 장치의 구성을 도시한 블록도이다.
본 발명의 일실시예에 따른 멀티 모달 HMI 제어 장치는 음성 인식부(110), 제스처 인식부(120), 멀티 모달 엔진부(130), 객체 선택부(140), 및 표시부(150)를 포함한다.
음성 인식부(120)는 사용자의 음성에 대한 음성 정보를 인식하고, 제스처 인식부(130)는 사용자의 제스처에 대한 제스처 정보를 인식한다.
멀티 모달 엔진부(130)는 음성 정보 및 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하며, 객체 선택부(1400는 멀티 모달 제어 신호를 이용하여 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택한다.
표시부(150)는 멀티 모달 제어 신호에 따라 선택된 객체에 대한 객체 관련 정보를 표시한다. 이때, 표시부(150)는 사용자가 승차한 차량과 객체와의 거리, 객체의 이동 속도, 및 객체가 운행 중인 차선 등의 객체 관련 정보를 증강 현실 기법을 이용하여 표시할 수 있다.
도 2는 본 발명의 일측에 따른 멀티 모달 HMI 제어 장치의 상세 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일측에 따른 멀티 모달 HMI 제어 장치의 멀티 모달 엔진부(210)는 음성 인식부(220) 와 제스처 인식부(230)로부터 인식되는 음성 정보 및 제스처 정보를 수신하여, 멀티 모달 제어 정보를 생성할 수 있다.
또한, 멀티 모달 HMI 제어 장치는 시선 인식부(240)를 더 포함할 수 있으며, 시선 인식부(240)는 사용자의 시선을 인지하여 멀티 모달 엔진부(210)에 제공할 수 있다.
시선 인식부(240)는 선택된 객체의 이동 속도를 고려하여, 사용자가 선택된 객체를 응시하고 있는 초점 거리를 연산할 수 있으며, 사용자가 승차한 차량과 선택된 객체 간의 거리를 기반으로, 사용자가 선택된 객체를 응시하고 있는 초점 거리를 연산할 수도 있다.
또한, 멀티 모달 HMI 제어 장치는 사용자가 승차한 차량의 전방에 위치한 객체를 인식하는 객체 인식부(250) 및 객체에 대응하는 차량이 주행 중인 도로의 차선을 인식하는 차선 인식부(260)를 더 포함할 수 있다. 상기 인식된 전방 객체 및 도로의 차선 등의 정보는 멀티 모달 엔진부(210)로 제공되어, 객체를 선택하거나 이동시키는 정보로 사용될 수 있다.
또한, 멀티 모달 HMI 제어 장치는 멀티 모달 제어 신호를 수집하여 사용자 경험(UX: User Experience) 정보를 분석하는 사용자 경험 분석부(260)를 더 포함할 수 있으며, 사용자 경험 분석부(260)는 분석된 사용자 경험 정보를 객체 선택부(270)에 제공하여, 객체를 선택하는 기준 정보로 사용하게 할 수 있다.
이때, 멀티 모달 엔진부(210)는 사용자 경험 정보를 고려하여 객체를 선택 및 이동 시키기 위한 멀티 모달 제어 정보를 생성할 수 있다. 객체 선택부(270)는 음성 정보가 인식된 시점에 제스처 정보에 대응하는 객체를 선택할 수 있다.
차량용 증강 현실을 구현하는데 있어서, HUD, 프로젝트 방식, 투명 디스플레이 방식을 통하여 3D 콘텐츠를 증강 시키는 이유는 운전자의 시선을 전방 몇 미터에서 수십 미터까지 연장하기 위함이다.
본 발명의 일측에 따른 멀티 모달 HMI 제어 장치는 운전자의 시선이 현재 바라보는 위치에서, 운전자의 손을 통해 차량 전방의 객체(예를 들어, 차량, 사람, 사물 등)를 포인팅 또는 특정 정지 손동작으로 가리킬 수 있는 원리를 적용할 수 있다.
본 발명의 일측에 따르면, 운전자는 주행 중에 시선이 거의 고정된 상태이며 환경적으로 급박하나 복잡한 상황에서, 차량 내의 HMI를 주행이 안정된 상태에서 제어 할 수 있다. 운전자는 시선이 안정된 위치에 있는 객체를 손으로 가리키면, 손과 시선이 일치된 지점에서 가장 가까운 전방 차량 혹은 사물에 증강이 되도록 할 수 있다.
멀티 모달 HMI 제어 장치는 손으로 포인팅 한 지점과 전방 차량의 위치 선 상에 위치하는 디스플레이의 거리를 계산하여, 운전자의 초기 시선에 대한 초점 거리를 도출할 수 있다.
멀티 모달 HMI 제어 장치는 전방 차량 혹은 지정해 둔 특정 객체가 급격하게 X, Y 방향으로 전환하는 등의 객체가 이동하는 경우, 다양한 모드로 동작할 수 있다.
예를 들어, 멀티 모달 HMI 제어 장치는 전방 투시 화면(perspective View) 상 차선(lane)에 있는 이전 차량을 추적하거나 초점 위치를 유지시킬 수 있다. 멀티 모달 HMI 제어 장치는 HUD가 일괄적으로 전방 몇 미터에 위치하도록 객체를 증강시키는 것과 유사한 패턴과 같이, 속도에 따른 운전자의 시선을 동시에 계산하도록 제어할 수 있다.
멀티 모달 HMI 제어 장치는 사라진 전방 차량 이외의 차량이 발견되는 경우 전방 차량을 다시 추적하고, 전방 차량과의 거리를 새로운 변수로 두고 초점 거리를 계산할 수도 있다.
운전자는 전방의 환경과 차량 주변 환경을 동시에 확인하면서 주행해야 하기 때문에, HUD에 표시된 주행 관련 정보 또는 증강된 객체 관련 정보를 지속적으로 보면서 주행하지 않을 수 있으므로, 멀티 모달 HMI 제어 장치는 운전자가 차량 주행에 집중하다가 차량 전면에 증강된 객체에 시선을 주었을 경우, 전방 차량의 실제 위치에 객체를 증강시킴으로써 주행 중 시선 분산과 이질감을 최소화시킬 수 있다. 이때, 운전자는 전방 차량을 보면서 주행할 수 있으며, 전방 차량 주변의 물체를 동시에 확인하면서 시선을 분산시키지 않을 수 있다.
또한, 멀티 모달 HMI 제어 장치는 전방 차량 또는 다른 객체의 위치가 변경되는 경우 윈드 실드에 표시된 증강 객체가 급격하게 흔들리는 점 등을 예측하여, 표시되는 객체 관련 정보를 보정하는 기능을 수행할 수도 있다. 예를 들어, 멀티 모달 HMI 제어 장치는 전방 차량과 차선을 객체로 한 경우, 전방 객체가 가까워 운전자의 차량에 가까워지는 상황을 선형적인 추정하여, 객체 관련 정보를 보정할 수 있다.
멀티 모달 HMI 제어 장치는 사용자의 시선이 선택 객체와 대응하는 초기 순간을 지정할 수 있으며, 운전자의 직관적인 사용자 경험을 기반으로 객체를 선택하거나 이동시킬 수 있다.
예를 들어, 멀티 모달 HMI 제어 장치는 사용자가 객체를 포인팅하거나 정지 제스처 동작을 취함과 동시에, 사용자가 음성 인식 모드를 통하여 음성으로 객체 인식을 지시함으로써, 해당 객체를 추적할 수 있다. 이때, 멀티 모달 HMI 제어 장치는 인식된 사용자의 제스처와 음성으로 순간적인 초점 거리를 계산할 수 있으며, 전방 차량의 속도 정보를 고려하여 초점 거리를 계산함으로써, 계산된 초점 거리에 대한 정확도를 높일 수 있다.
도 3은 본 발명의 일측에 따른 멀티 모달 HMI 제어 장치가 설치된 차량 전방의 객체를 선택하고, 선택된 객체의 객체 관련 정보를 디스플레이한 예를 도시한 도면이다.
도 3을 참조하면, 사용자는 직관적으로 전방 차량(311, 312)을 응시하면서 차량을 주행시키는 상태에서, 정지 손동작으로 원하는 객체(311)를 가리키면 그에 따른 증강될 객체의 객체 관련 정보(320)를 파악할 수 있다.
또한, 멀티 모달 HMI 제어 장치는 전방 차량간의 거리를 차량 외부 인식 시스템으로부터 제공받아, 선택한 차량과 거리를 서로 매칭시켜 실제로 운전자가 바라보고 있는 초점 거리를 계산할 수도 있다.
도 4는 본 발명의 일실시예에 따른 멀티 모달 HMI 제어 방법을 도시한 흐름도이다.
도 4를 참조하면, 멀티 모달 HMI 제어 장치는 사용자의 음성에 대한 음성 정보를 인식하고(410), 사용자의 제스처에 대한 제스처 정보를 인식한다(420).
멀티 모달 HMI 제어 장치는 음성 정보 및 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하며(430), 멀티 모달 제어 신호를 이용하여 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택한다(440).
멀티 모달 HMI 제어 장치는 멀티 모달 제어 신호에 따라 선택된 객체에 대한 객체 관련 정보를 표시한다(450).
멀티 모달 HMI 제어 장치는 운전자의 시선과 운전 방향에 따라 가장 가운데 전방에 위치한 차량을 검출하여 운전자의 시선 거리를 최적화하기 한 사용자 경험 기반의 엔진 구조를 제공할 수 있다.
멀티 모달 HMI 제어 장치는 운전자 제스처 동작 인식과 음성 인식을 통합 제어하는 멀티 모달 엔진부와, 차량 내 외부, 운전자의 시선 인식을 통해서 차량 전면 유리에 투영될 운전자와 객체 간의 초점 거리를 계산하여 표시하는 렌더링 엔진을 더 포함할 수 있다.
멀티 모달 HMI 제어 장치는 운전자가 사용자 인터페이스(UI)를 조작할 때, 실시간 사용자 경험 분석부를 통하여 사용자 경험 정보를 수집 및 분석하여, 증강된 객체 또는 디스플레이에 표시할 객체 관련 정보를 직관적으로 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 음성 인식부
120: 제스처 인식부
130: 멀티 모달 엔진부
140: 객체 선택부
150: 표시부

Claims (20)

  1. 사용자의 음성에 대한 음성 정보를 인식하는 음성 인식부;
    상기 사용자의 제스처에 대한 제스처 정보를 인식하는 제스처 인식부;
    상기 음성 정보 및 상기 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하는 멀티 모달 엔진부;
    상기 멀티 모달 제어 신호를 이용하여 상기 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택하는 객체 선택부; 및
    상기 멀티 모달 제어 신호에 따라 상기 선택된 객체에 대한 객체 관련 정보를 표시하는 표시부
    를 포함하는 멀티 모달 HMI 제어 장치.
  2. 제1항에 있어서,
    상기 사용자의 시선을 인지하는 시선 인식부
    를 더 포함하는 멀티 모달 HMI 제어 장치.
  3. 제2항에 있어서,
    상기 시선 인식부는,
    상기 선택된 객체의 이동 속도를 고려하여, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 멀티 모달 HMI 제어 장치.
  4. 제2항에 있어서,
    상기 시선 인식부는,
    상기 사용자가 승차한 차량과 상기 선택된 객체 간의 거리를 기반으로, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 멀티 모달 HMI 제어 장치.
  5. 제1항에 있어서,
    상기 사용자가 승차한 차량의 전방에 위치한 객체를 인식하는 객체 인식부; 및
    상기 객체에 대응하는 차량이 주행 중인 도로의 차선을 인식하는 차선 인식부
    를 더 포함하는 멀티 모달 HMI 제어 장치.
  6. 제1항에 있어서,
    상기 멀티 모달 제어 신호를 수집하여 사용자 경험(UX: User Experience) 정보를 분석하는 사용자 경험 분석부
    를 더 포함하는 멀티 모달 HMI 제어 장치.
  7. 제6항에 있어서,
    상기 멀티 모달 엔진부는,
    상기 사용자 경험 정보를 고려하여 상기 객체를 선택 및 이동 시키기 위한 상기 멀티 모달 제어 정보를 생성하는 멀티 모달 HMI 제어 장치.
  8. 제1항에 있어서,
    상기 객체 선택부는,
    상기 음성 정보가 인식된 시점에 상기 제스처 정보에 대응하는 객체를 선택하는 멀티 모달 HMI 제어 장치.
  9. 제1항에 있어서,
    상기 표시부는,
    상기 객체 관련 정보를 증강 현실 기법을 이용하여 표시하는 멀티 모달 HMI 제어 장치.
  10. 제1항에 있어서,
    상기 객체 관련 정보는,
    상기 사용자가 승차한 차량과 상기 객체와의 거리, 상기 객체의 이동 속도, 및 상기 객체가 운행 중인 차선 중 어느 하나 이상을 포함하는 멀티 모달 HMI 제어 장치.
  11. 사용자의 음성에 대한 음성 정보를 인식하는 단계;
    상기 사용자의 제스처에 대한 제스처 정보를 인식하는 단계;
    상기 음성 정보 및 상기 제스처 정보를 기반으로 멀티 모달 제어 신호를 생성하는 단계;
    상기 멀티 모달 제어 신호를 이용하여 상기 사용자의 시선 방향에 인지되는 하나 이상의 객체 중 어느 하나의 객체를 선택하는 단계; 및
    상기 멀티 모달 제어 신호에 따라 상기 선택된 객체에 대한 객체 관련 정보를 표시하는 단계
    를 포함하는 멀티 모달 HMI 제어 방법.
  12. 제11항에 있어서,
    상기 사용자의 시선을 인지하는 단계
    를 더 포함하는 멀티 모달 HMI 제어 방법.
  13. 제12항에 있어서,
    상기 사용자의 시선을 인지하는 단계는,
    상기 선택된 객체의 이동 속도를 고려하여, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 단계
    를 포함하는 멀티 모달 HMI 제어 방법.
  14. 제12항에 있어서,
    상기 사용자의 시선을 인지하는 단계는,
    상기 사용자가 승차한 차량과 상기 선택된 객체 간의 거리를 기반으로, 상기 사용자가 상기 선택된 객체를 응시하고 있는 초점 거리를 연산하는 단계
    를 포함하는 멀티 모달 HMI 제어 방법.
  15. 제11항에 있어서,
    상기 사용자가 승차한 차량의 전방에 위치한 객체를 인식하는 단계; 및
    상기 객체에 대응하는 차량이 주행 중인 도로의 차선을 인식하는 단계
    를 더 포함하는 멀티 모달 HMI 제어 방법.
  16. 제11항에 있어서,
    상기 멀티 모달 제어 신호를 수집하여 사용자 경험(UX: User Experience) 정보를 분석하는 단계
    를 더 포함하는 멀티 모달 HMI 제어 방법.
  17. 제16항에 있어서,
    상기 사용자 경험 정보를 고려하여 상기 객체를 선택 및 이동 시키기 위한 상기 멀티 모달 제어 정보를 생성하는 단계
    를 더 포함하는 멀티 모달 HMI 제어 방법.
  18. 제11항에 있어서,
    상기 객체를 선택하는 단계는,
    상기 음성 정보가 인식된 시점에 상기 제스처 정보에 대응하는 객체를 선택하는 단계
    를 포함하는 멀티 모달 HMI 제어 방법.
  19. 제11항에 있어서,
    상기 객체 관련 정보를 표시하는 단계는,
    상기 객체 관련 정보를 증강 현실 기법을 이용하여 표시하는 단계
    를 포함하는 멀티 모달 HMI 제어 방법.
  20. 제11항에 있어서,
    상기 객체 관련 정보는,
    상기 사용자가 승차한 차량과 상기 객체와의 거리, 상기 객체의 이동 속도, 및 상기 객체가 운행 중인 차선 중 어느 하나 이상을 포함하는 멀티 모달 HMI 제어 방법.
KR1020120136196A 2012-11-28 2012-11-28 멀티 모달 ｈｍｉ 제어 장치 및 방법 KR20140070861A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120136196A KR20140070861A (ko) 2012-11-28 2012-11-28 멀티 모달 ｈｍｉ 제어 장치 및 방법
US14/012,461 US20140145931A1 (en) 2012-11-28 2013-08-28 Apparatus and method for controlling multi-modal human-machine interface (hmi)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120136196A KR20140070861A (ko) 2012-11-28 2012-11-28 멀티 모달 ｈｍｉ 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140070861A true KR20140070861A (ko) 2014-06-11

Family

ID=50772809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120136196A KR20140070861A (ko) 2012-11-28 2012-11-28 멀티 모달 ｈｍｉ 제어 장치 및 방법

Country Status (2)

Country Link
US (1) US20140145931A1 (ko)
KR (1) KR20140070861A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101588184B1 (ko) * 2014-10-22 2016-01-25 현대자동차주식회사 차량용 제어 장치, 차량, 및 차량의 제어방법
KR20160134075A (ko) * 2015-05-14 2016-11-23 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
KR102017884B1 (ko) * 2013-02-06 2019-10-22 한국전자통신연구원 운전자 집중도 분석 장치 및 방법
KR102329444B1 (ko) * 2014-07-04 2021-11-24 주식회사 만도모빌리티솔루션즈 자동차의 제어 시스템 및 제어방법
EP4254145A3 (en) 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
IL243422B (en) * 2015-12-30 2018-04-30 Elbit Systems Ltd Information management is displayed according to the directions of the user's gaze
US10055867B2 (en) * 2016-04-25 2018-08-21 Qualcomm Incorporated Accelerated light field display
US10497346B2 (en) * 2017-01-04 2019-12-03 2236008 Ontario Inc. Three-dimensional simulation system
US10634913B2 (en) 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
US10943400B2 (en) * 2019-01-07 2021-03-09 Cerence Operating Company Multimodal user interface for a vehicle
KR20210131129A (ko) * 2020-04-23 2021-11-02 현대자동차주식회사 이동 수단용 ui 생성 장치 및 ui 생성 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
DE112008001396B4 (de) * 2007-06-05 2015-12-31 Mitsubishi Electric Corp. Fahrzeugbedienungsvorrichtung
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
US9046924B2 (en) * 2009-03-04 2015-06-02 Pelmorex Canada Inc. Gesture based interaction with traffic data
US9665344B2 (en) * 2010-02-24 2017-05-30 GM Global Technology Operations LLC Multi-modal input system for a voice-based menu and content navigation service
KR101544524B1 (ko) * 2010-12-16 2015-08-17 한국전자통신연구원 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법
KR20120127830A (ko) * 2011-05-16 2012-11-26 삼성전자주식회사 차량용 단말을 위한 사용자 인터페이스 방법 및 장치
US20130030811A1 (en) * 2011-07-29 2013-01-31 Panasonic Corporation Natural query interface for connected car
US8660735B2 (en) * 2011-12-14 2014-02-25 General Motors Llc Method of providing information to a vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101588184B1 (ko) * 2014-10-22 2016-01-25 현대자동차주식회사 차량용 제어 장치, 차량, 및 차량의 제어방법
KR20160134075A (ko) * 2015-05-14 2016-11-23 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Also Published As

Publication number Publication date
US20140145931A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
KR20140070861A (ko) 멀티 모달 ｈｍｉ 제어 장치 및 방법
US11640812B2 (en) Visual content overlay system
Langlois et al. Augmented reality versus classical HUD to take over from automated driving: An aid to smooth reactions and to anticipate maneuvers
US9605971B2 (en) Method and device for assisting a driver in lane guidance of a vehicle on a roadway
CN105829994B (zh) 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法
JP2016216029A (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
US9285587B2 (en) Window-oriented displays for travel user interfaces
KR20140100629A (ko) 운전자 집중도 분석 장치 및 방법
KR101519290B1 (ko) 차량용 헤드 업 디스플레이 제어방법
EP3147630A1 (en) 3d helicopter view at destination
US11214279B2 (en) Controlling the operation of a head-up display apparatus
CN111937044A (zh) 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
US10482667B2 (en) Display unit and method of controlling the display unit
WO2016170773A1 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、運転支援プログラム
JP5866498B2 (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
KR20170107767A (ko) 차량 단말기 조작 시스템 및 그 방법
You et al. Using eye-tracking to help design HUD-based safety indicators for lane changes
JP6579183B2 (ja) 運転支援装置
KR20220015807A (ko) 증강현실 콘텐츠 기반 차량기능 안내 및 가상 시험주행 경험 제공 시스템 및 방법
US12017530B2 (en) Human-machine interaction in a motor vehicle
US20220250474A1 (en) Human-machine interaction in a motor vehicle
JP6384794B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP6645489B2 (ja) 運転支援装置
CN115158344A (zh) 显示方法、装置、车辆及介质
CN117596380A (zh) 增强现实设备显示方法、增强现实设备和可读存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid