KR20220062165A - User interface device, Vehicle having the user interface device and method for controlling the vehicle - Google Patents

User interface device, Vehicle having the user interface device and method for controlling the vehicle Download PDF

Info

Publication number
KR20220062165A
KR20220062165A KR1020200147571A KR20200147571A KR20220062165A KR 20220062165 A KR20220062165 A KR 20220062165A KR 1020200147571 A KR1020200147571 A KR 1020200147571A KR 20200147571 A KR20200147571 A KR 20200147571A KR 20220062165 A KR20220062165 A KR 20220062165A
Authority
KR
South Korea
Prior art keywords
image
unit
output
vehicle
reference point
Prior art date
Application number
KR1020200147571A
Other languages
Korean (ko)
Inventor
장병진
김세아
오선미
이강선
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020200147571A priority Critical patent/KR20220062165A/en
Publication of KR20220062165A publication Critical patent/KR20220062165A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B60K37/06—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention discloses a user interface device, a vehicle having the same, and a method for controlling the vehicle. The user interface device of the present invention includes an image acquisition unit, a haptic unit, and an image output unit. The vehicle having the user interface device is configured to: output an image of a reference point through the image output unit, generate a circle based on the location information of the reference point, acquire an image of a hand within the generated circle, recognize a gesture based on the acquired image of the hand, recognize a user command corresponding to the recognized gesture, control an operation of a steering device based on a recognized user command, and control an operation of the haptic unit in response to gesture recognition. Therefore, it is possible to reduce the cost of the vehicle and reduce the weight of the vehicle.

Description

사용자 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법 {User interface device, Vehicle having the user interface device and method for controlling the vehicle} User interface device, Vehicle having the user interface device and method for controlling the vehicle}

본 발명은 차량의 주행 명령 및 각종 장치의 사용자 명령을 수신하기 위한 사용자 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.The present invention relates to a user interface device for receiving a driving command of a vehicle and a user command of various devices, a vehicle having the same, and a control method thereof.

기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 내비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 부가적인 기능을 더 포함한다.In addition to the basic driving functions, it includes additional functions for user convenience such as audio functions, video functions, navigation functions, air conditioning control, seat control, and lighting control.

이러한 차량은 각종 기능의 동작 명령을 입력하고 각종 기능의 동작 상태를 출력하기 위한 사용자 인터페이스(User Interface) 장치를 더 포함하고, 이 사용자 인터페이스 장치는 차량에 마련된 각종 장치와 사용자 간에 상호 작용이 가능하도록 한다. Such a vehicle further includes a user interface device for inputting operation commands of various functions and outputting operation states of various functions, and the user interface device is configured to enable interaction between various devices provided in the vehicle and a user. do.

사용자 인터페이스 장치에는 물리적 사용자 인터페이스 (PUI: Physical User Interface) 장치와, 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 장치가 있다.The user interface device includes a physical user interface (PUI) device and a graphic user interface (GUI) device.

물리적 사용자 인터페이스 장치(PUI)는 키패드, 리모컨, 터치패드 등과 같이 물리적인 방법으로 사용자 명령을 입력 받는 장치이고, 그래픽 사용자 인터페이스 장치(GUI)는 디스플레이 상에 표시되는 아이콘이나 메뉴가 선택됨으로서 사용자 명령을 입력 받는 장치이다.A physical user interface device (PUI) is a device that receives user commands in a physical way, such as a keypad, a remote control, or a touchpad, and a graphical user interface device (GUI) receives a user command by selecting an icon or menu displayed on the display. It is an input device.

즉 사용자는 그래픽 사용자 인터페이스 장치를 통해 표시되는 메뉴, 리스트, 아이콘 등을 참조하여 커서를 이동시키고, 커서가 위치한 항목을 선택할 수 있는데, 이때 사용자는 물리적 사용자 인터페이스 장치를 통해서 커서를 이동시켜 선택하고자 하는 항목을 선택할 수 있다.That is, the user can move the cursor by referring to menus, lists, and icons displayed through the graphical user interface device and select an item on which the cursor is located. You can select an item.

물리적 사용자 인터페이스 장치는 조작 대상이나 조작 기능에 따라 크기가 크게 설계될 수 있다. The physical user interface device may be designed to be large in size according to a manipulation target or manipulation function.

이러한, 물리적 사용자 인터페이스 장치는 내부 공간의 크기가 제한된 차량에 배치될 경우, 차량 내부에서 넓은 공간을 차지하는 문제가 있었다.When the physical user interface device is disposed in a vehicle having a limited internal space, there is a problem in that it occupies a large space inside the vehicle.

일 측면은 손의 영상에 기초하여 촉각 신호를 출력하고 전자 장치의 동작 영상을 출력하는 사용자 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.One aspect provides a user interface device for outputting a tactile signal based on an image of a hand and outputting a motion image of an electronic device, a vehicle having the same, and a control method thereof.

다른 측면은 손의 영상에 기초하여 조향 명령을 획득하고 획득된 조향 명령에 대응하는 홀로그램 영상 또는 전방 시현 영상을 표시하는 차량 및 그 제어 방법을 제공한다.Another aspect provides a vehicle that acquires a steering command based on an image of a hand and displays a holographic image or a forward vision image corresponding to the acquired steering command, and a control method thereof.

일 측면에 따른 사용자 인터페이스 장치는, 적어도 하나의 전자 장치를 제어하기 위한 사용자 명령을 전송하는 사용자 인터페이스 장치에 있어서, 사용자의 영상을 획득하는 영상 획득부; 조작계 영상을 출력하는 영상 출력부; 획득된 영상에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 사용자 명령을 인식하고 인식된 사용자 명령을 적어도 하나의 전자 장치에 전송하는 제어부; 및 제어부의 제어 명령에 대응하여 제스처 인식에 대한 촉각 신호를 출력하는 햅틱부를 포함한다.According to an aspect, a user interface device for transmitting a user command for controlling at least one electronic device includes: an image acquisition unit configured to acquire an image of a user; an image output unit for outputting an operation system image; a controller for recognizing a gesture based on the acquired image, recognizing a user command corresponding to the recognized gesture, and transmitting the recognized user command to at least one electronic device; and a haptic unit for outputting a tactile signal for gesture recognition in response to a control command from the controller.

일 측면에 따른 사용자 인터페이스 장치의 제어부는, 기준 점의 영상을 출력하도록 영상 출력부를 제어하고, 영상 획득부에 의해 획득된 사용자의 영상이 출력된 기준 점의 영상을 터치하는 영상이라고 판단되면 기준 점의 영상을 조작계 영상으로 변경하도록 영상 출력부를 제어한다.The control unit of the user interface device according to one aspect controls the image output unit to output an image of the reference point, and when it is determined that the image of the user obtained by the image acquisition unit is an image touching the image of the output reference point, the reference point The image output unit is controlled to change the image of the operation system to the image of the operation system.

일 측면에 따른 사용자 인터페이스 장치의 영상 출력부는 홀로그램 영상을 출력하고, 제어부는 홀로그램의 영상이 표시되는 위치 정보에 기초하여 햅틱부를 통해 출력되는 촉각 신호의 출력 위치를 설정한다.The image output unit of the user interface device according to one aspect outputs a holographic image, and the controller sets an output position of a tactile signal output through the haptic unit based on position information at which the holographic image is displayed.

일 측면에 따른 사용자 인터페이스 장치의 제어부는, 기준 점의 영상을 출력하도록 영상 출력부를 제어하고, 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 생성하고 생성된 영 영상이 출력되도록 영상 출력부를 제어하고, 영상 획득부를 통해 획득된 원 영상 내의 손바닥의 영상에 기초하여 원 영상 내의 손바닥의 면적을 획득하고, 원 영상의 면적과 손바닥의 면적에 기초하여 제스처를 인식한다.The controller of the user interface device according to an aspect may control the image output unit to output an image of a reference point, generate an original image based on location information of the reference point and a preset radius, and output an image to output the generated zero image control unit, acquire the area of the palm in the original image based on the image of the palm in the original image obtained through the image acquisition unit, and recognize the gesture based on the area of the original image and the area of the palm.

일 측면에 따른 사용자 인터페이스 장치의 햅틱부는, 초음파 신호를 출력하는 복수 개의 압전 소자 어레이를 포함한다.The haptic unit of the user interface device according to one aspect includes a plurality of piezoelectric element arrays for outputting ultrasonic signals.

일 측면에 따른 사용자 인터페이스 장치의 제어부는 영상 획득부를 통해 획득된 사용자의 영상 중 손 가락의 영상에 기초하여 손 가락의 수를 인식하고 인식된 손가락의 수를 제스처로 인식한다.The control unit of the user interface device according to an aspect recognizes the number of fingers based on the image of the fingers among the images of the user obtained through the image acquisition unit, and recognizes the recognized number of fingers as a gesture.

일 측면에 따른 사용자 인터페이스 장치의 제어부는, 기준 점의 영상을 출력하도록 영상 출력부를 제어하고, 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 출력하고, 영상 획득부에 의해 획득된 원 영상의 테두리의 명암 대비의 수에 기초하여 원 영상의 테두리에 걸치는 손 가락의 수를 인식하고 인식된 손가락의 수를 제스처로 인식한다.The control unit of the user interface device according to an aspect may control the image output unit to output an image of a reference point, output an original image based on location information of the reference point and a preset radius, and output a circle obtained by the image acquisition unit The number of fingers spanning the edge of the original image is recognized based on the number of contrasts of the edge of the image, and the number of recognized fingers is recognized as a gesture.

다른 측면에 따른 차량은, 조향 장치; 사용자의 영상을 획득하는 영상 획득부; 조작계 영상을 출력하는 영상 출력부; 획득된 영상에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 사용자 명령을 인식하고 인식된 사용자 명령에 기초하여 조향 장치의 동작을 제어하는 제어부; 및 제어부의 제어 명령에 대응하여 제스처 인식에 대한 촉각 신호를 출력하는 햅틱부를 포함한다.A vehicle according to another aspect includes a steering device; an image acquisition unit for acquiring an image of a user; an image output unit for outputting an operation system image; a controller for recognizing a gesture based on the acquired image, recognizing a user command corresponding to the recognized gesture, and controlling an operation of the steering device based on the recognized user command; and a haptic unit for outputting a tactile signal for gesture recognition in response to a control command from the controller.

다른 측면에 따른 차량은 시트의 위치를 조절하는 시트 조절부를 더 포함하고, 제어부는 기준 점의 영상을 출력하도록 영상 출력부의 동작을 제어하고, 영상 획득부에 의해 획득된 사용자의 영상 중 손의 영상과 기준 점의 영상에 기초하여 시트 조절부의 동작을 제어한다.The vehicle according to another aspect further includes a seat adjustment unit for adjusting the position of the seat, the control unit controlling the operation of the image output unit to output an image of a reference point, and an image of a hand of the user's image obtained by the image obtaining unit Controls the operation of the seat adjuster based on the image of the and reference point.

다른 측면에 따른 차량의 영상 출력부는, 홀로그램 영상을 출력하고, 제어부는 기준 점의 영상을 출력하도록 영상 출력부를 제어하고, 영상 획득부에 의해 획득된 사용자의 영상이 출력된 기준 점의 영상을 터치하는 영상이라고 판단되면 기준 점의 영상을 홀로그램의 조작계 영상으로 변경하도록 영상 출력부를 제어한다.The image output unit of the vehicle according to another aspect outputs a holographic image, the controller controls the image output unit to output an image of a reference point, and touches the image of the reference point to which the image of the user obtained by the image acquisition unit is output If it is determined that it is an image, the image output unit is controlled to change the image of the reference point to the image of the hologram manipulation system.

다른 측면에 따른 차량의 영상 출력부는 전방 시현기를 포함하고, 제어부는 영상 획득부에 의해 획득된 사용자의 영상에 기초하여 햅틱부에서 출력되는 촉각 신호의 출력 위치를 설정한다.According to another aspect, the image output unit of the vehicle includes a front display unit, and the control unit sets an output position of the tactile signal output from the haptic unit based on the user's image acquired by the image acquisition unit.

다른 측면에 따른 차량은 입력부; 및 사운드 출력부 및 표시부 중 적어도 하나를 더 포함하고, 제어부는 기준 점의 영상을 출력하도록 영상 출력부의 동작을 제어하고, 시트 조절에 대한 안내 정보를 출력하도록 사운드 출력부 및 표시부 중 적어도 하나의 동작을 제어하고, 입력부에 수신된 시트 조절 명령에 기초하여 시트의 위치를 조절하도록 시트의 동작을 제어한다.A vehicle according to another aspect includes an input unit; and at least one of a sound output unit and a display unit, wherein the control unit controls an operation of the image output unit to output an image of a reference point, and operates at least one of a sound output unit and a display unit to output guide information for sheet adjustment and controls the operation of the seat to adjust the position of the seat based on the seat adjustment command received from the input unit.

다른 측면에 따른 차량은 영상 출력부 및 햅틱부 중 적어도 하나의 설정 정보를 수신하는 입력부를 더 포함하고, 설정 정보는 조작계 영상의 타입, 조작계 영상의 크기, 조작계 영상의 모양, 조작계 영상이 표시되는 위치 정보, 조작계의 용도 정보 및 햅틱부의 촉각 신호가 출력되는 위치 정보 중 적어도 하나를 포함하고, 제어부는 입력부에 입력된 적어도 하나의 설정 정보에 기초하여 영상 출력부 및 햅틱부 중 적어도 하나를 제어한다.The vehicle according to another aspect further includes an input unit for receiving setting information of at least one of an image output unit and a haptic unit, and the setting information is a type of an operation system image, a size of an operation system image, a shape of an operation system image, and an operation system image. It includes at least one of location information, usage information of the operation system, and location information to which a tactile signal of the haptic unit is output, and the control unit controls at least one of the image output unit and the haptic unit based on at least one setting information input to the input unit. .

다른 측면에 따른 차량의 햅틱부는 초음파 신호를 출력하는 복수 개의 압전 소자 어레이와 초음파 스피커를 포함하고, 복수 개의 압력 소자 어레이는 제어부의 제어 명령에 대응하는 입력 주파수에 대응하는 진동 압력으로 촉각신호를 출력하고, 초음파 스피커는 제어부의 제어 명령에 대응하는 사운드로 촉각 신호를 출력한다.According to another aspect, a haptic unit of a vehicle includes a plurality of piezoelectric element arrays for outputting ultrasonic signals and an ultrasonic speaker, and the plurality of pressure element arrays output tactile signals with vibration pressure corresponding to an input frequency corresponding to a control command of the controller. and the ultrasonic speaker outputs a tactile signal as a sound corresponding to a control command of the controller.

다른 측면에 따른 차량의 햅틱부는, 초음파 신호를 출력하는 복수 개의 압전 소자 어레이를 포함한다.A haptic unit of a vehicle according to another aspect includes a plurality of piezoelectric element arrays for outputting ultrasonic signals.

다른 측면에 따른 차량의 제어부는, 기준 점의 영상을 출력하도록 영상 출력부를 제어하고, 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 생성하고 생성된 원 영상이 출력되도록 영상 출력부를 제어하고, 영상 획득부를 통해 획득된 영상에 기초하여 원 형상 내의 손바닥의 면적을 획득하고, 생성된 원의 면적과 손바닥의 면적에 기초하여 제스처를 인식한다.The control unit of the vehicle according to another aspect controls the image output unit to output an image of a reference point, generates an original image based on location information of the reference point and a preset radius, and controls the image output unit to output the generated original image and acquires the area of the palm in the circle shape based on the image obtained through the image acquisition unit, and recognizes the gesture based on the area of the generated circle and the area of the palm.

다른 측면에 따른 차량의 제어부는, 기준 점의 영상을 출력하도록 영상 출력부를 제어하고, 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 생성하고 생성된 원 영상이 출력되도록 영상 출력부를 제어하고, 영상 획득부에 의해 획득된 원 영상의 테두리의 명암 대비의 수에 기초하여 원 영상의 테두리에 걸치는 손 가락의 수를 인식하고 인식된 손가락의 수를 제스처로 인식한다.The control unit of the vehicle according to another aspect controls the image output unit to output an image of a reference point, generates an original image based on location information of the reference point and a preset radius, and controls the image output unit to output the generated original image and, based on the number of contrasts of the edges of the original image acquired by the image acquisition unit, the number of fingers spanning the edge of the original image is recognized, and the number of recognized fingers is recognized as a gesture.

다른 측면에 따른 차량의 제어 방법은, 영상 출력부를 통해 기준 점의 영상을 출력하고, 기준 점의 위치 정보에 기초하여 원을 생성하고, 생성된 원 내의 손의 영상을 획득하고, 획득된 손의 영상에 기초하여 제스처를 인식하고, 인식된 제스처에 대응하는 사용자 명령을 인식하고, 인식된 사용자 명령에 기초하여 조향 장치의 동작을 제어하고, 제스처의 인식에 대응하여 햅틱부의 동작을 제어한다.A vehicle control method according to another aspect includes outputting an image of a reference point through an image output unit, generating a circle based on position information of the reference point, acquiring an image of a hand within the generated circle, and A gesture is recognized based on an image, a user command corresponding to the recognized gesture is recognized, an operation of the steering device is controlled based on the recognized user command, and an operation of the haptic unit is controlled in response to the recognition of the gesture.

다른 측면에 따른 차량의 제어 방법은 인식된 사용자 명령에 기초하여 파킹, 후진, 전진 및 중립의 동작을 제어하는 것을 더 포함한다.A method of controlling a vehicle according to another aspect further includes controlling operations of parking, reversing, forward and neutral based on the recognized user command.

햅틱부의 동작을 제어하는 것은, 초음파 신호를 출력하는 것을 포함한다.Controlling the operation of the haptic unit includes outputting an ultrasound signal.

본 발명은 차량의 필수구성 부품이었던 스티어링 휠을 제거할 수 있어 차량의 원가를 절감할 수 있고, 차량의 중량을 감소시킬 수 있으며 운전석 공간의 공간 활용성을 높일 수 있어 실내 인테리어 디자인 자유도를 증대시킬 수 있다.The present invention can reduce the cost of the vehicle by removing the steering wheel, which was an essential component of the vehicle, reduce the weight of the vehicle, and increase the space utilization of the driver's seat space, thereby increasing the degree of freedom in interior design. can

본 발명은 시각, 청각 및 촉각 등의 감각 기술을 차량에 접목시킴으로써 인체공학적인 차세대 모빌리티의 설계가 가능할 뿐만 아니라, 고급화 감성에도 어필할 수 있다.The present invention can not only design ergonomic next-generation mobility, but also appeal to high-end sensibility, by grafting sensory technologies such as sight, hearing, and touch to a vehicle.

본 발명은 가상 영상인 홀로그램 영상과 햅틱 피드백을 융합시킴으로써 사용자에게 새로운 경험을 제공할 수 있고, 정형화되지 않은 사용자 인터페이스 장치로 제한된 공간에서 서로 다른 가치를 창출할 수 있다.The present invention can provide a new experience to a user by fusing a holographic image, which is a virtual image, and haptic feedback, and can create different values in a limited space with a non-standardized user interface device.

이와 같이 본 발명은 사용자 인터페이스 장치 및 차량의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 제품의 경쟁력을 확보할 수 있다.As described above, the present invention can improve the quality and marketability of the user interface device and vehicle, and further increase user satisfaction, and secure product competitiveness.

도 1은 실시 예에 따른 사용자 인터페이스 장치를 가지는 차량의 내부 예시도로, 차량의 뒷좌석에서 바라본 내부 예시도이다.
도 2 및 도 3은 실시 예에 따른 사용자 인터페이스 장치를 가지는 차량의 내부 예시도로, 차량의 조수석에서 바라본 내부 예시도이다.
도 4는 실시 예에 따른 사용자 인터페이스 장치의 햅틱부의 예시도이다.
도 5는 실시 예에 따른 사용자 인터페이스 장치의 햅틱부의 동작 예시도이다.
도 6은 실시 예에 따른 사용자 인터페이스 장치의 영상 출력부의 예시도이다.
도 7은 실시 예에 따른 사용자 인터페이스 장치의 영상 출력부 중 전방 시현기의 예시도이다.
도 8은 실시 예에 따른 사용자 인터페이스 장치의 예시도이다.
도 9는 실시 예에 따른 사용자 인터페이스 장치를 가지는 차량의 제어 구성도이다.
도 10은 실시 예에 따른 사용자 인터페이스 장치를 가지는 차량에서의 제스처 인식 예시도이다.
도 11은 실시 예에 따른 사용자 인터페이스 장치를 가지는 차량의 제어 순서도이다.1 is an exemplary interior view of a vehicle having a user interface device according to an embodiment, and is an exemplary interior view viewed from a rear seat of the vehicle.
2 and 3 are exemplary interior views of a vehicle having a user interface device according to an embodiment, and are exemplary interior views viewed from a passenger seat of the vehicle.
4 is an exemplary diagram of a haptic unit of a user interface device according to an embodiment.
5 is a diagram illustrating an operation of a haptic unit of a user interface device according to an embodiment.
6 is an exemplary diagram of an image output unit of a user interface device according to an embodiment.
7 is an exemplary view of a front display unit among the image output units of the user interface device according to the embodiment.
8 is an exemplary diagram of a user interface device according to an embodiment.
9 is a control configuration diagram of a vehicle having a user interface device according to an exemplary embodiment.
10 is a diagram illustrating gesture recognition in a vehicle having a user interface device according to an embodiment.
11 is a control flowchart of a vehicle having a user interface device according to an exemplary embodiment.

이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 장치'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부, 모듈, 장치'가 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 장치'가 복수의 구성요소들을 포함하는 것도 가능하다.Like reference numerals refer to like elements throughout. This specification does not describe all elements of the embodiments, and general content in the technical field to which the present invention pertains or content that overlaps among the embodiments is omitted. The term 'unit, module, device' used in this specification may be implemented in software or hardware, and according to embodiments, a plurality of 'part, module, device' may be implemented as one component, or one 'unit, It is also possible for a module or device' to include a plurality of components.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is "connected" to another part, it includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.

또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, when a part "includes" a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated.

제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. Terms such as first, second, etc. are used to distinguish one component from another, and the component is not limited by the above-mentioned terms.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.The singular expression includes the plural expression unless the context clearly dictates otherwise.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. In each step, the identification code is used for convenience of description, and the identification code does not describe the order of each step, and each step may be performed differently from the specified order unless the specific order is clearly stated in the context. there is.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다. Hereinafter, the working principle and embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 실시 예에 따른 차량의 내부 예시도로, 차량의 뒷좌석에서 바라본 내부 예시도이고, 도 2는 실시 예에 따른 차량의 내부 예시도로, 차량의 조수석에서 바라본 내부 예시도이다.1 is an exemplary interior view of a vehicle according to an embodiment, an exemplary interior view viewed from the rear seat of the vehicle, FIG. 2 is an exemplary interior view of the vehicle according to the embodiment, an exemplary interior view viewed from the passenger seat of the vehicle.

차량(1)은 내장과 외장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.The vehicle 1 includes a body having an interior and exterior, and a chassis in which mechanical devices necessary for driving are installed as the remaining parts except for the body.

도 1에 도시된 바와 같이, 차체의 내장은 탑승자가 앉는 시트(101)와, 대시 보드(102)와, 대시 보드 상에 배치되고 주행과 관련된 정보를 출력하는 속도계, 연료계기, 자동변속 선택레버 표시등, 타코미터, 구간 거리계 등과 같은 클러스터와, 오디오와 공기조화기의 조절판이 있는 센터 페시아(103) 등으로 이루어진다.1, the interior of the vehicle body includes a seat 101 on which the occupant sits, a dashboard 102, a speedometer disposed on the dashboard and outputting driving-related information, a fuel gauge, and an automatic transmission selection lever It consists of a cluster such as an indicator light, a tachometer, an odometer, and the like, and a center fascia 103 having a control panel for audio and air conditioner.

여기서 시트(101)는 운전자가 앉는 운전석(101a), 동승자가 앉는 조수석(101b), 차량 내 후방에 위치하는 뒷좌석을 포함한다.Here, the seat 101 includes a driver's seat 101a on which the driver sits, a passenger seat 101b on which a passenger sits, and a rear seat positioned at the rear of the vehicle.

센터 페시아(103)는 대시 보드(102) 중에서 운전석(101a)과 조수석(101b) 사이에 위치하고 헤드 유닛(104)이 마련된 부분으로, 오디오 기기, 공기 조화기 및 히터를 조정하기 위한 조작부, 송풍구, 시거잭 등이 설치될 수 있다.The center fascia 103 is located between the driver's seat 101a and the passenger seat 101b of the dashboard 102 and includes a head unit 104, and includes an audio device, an air conditioner and a heater for controlling an operation unit, a vent; A cigar jack and the like may be installed.

헤드 유닛(104)에는 사용자 명령을 수신하기 위한 입력부(105)가 마련될 수 있고, 각종 기능에 대한 동작 정보를 표시하기 위한 표시부(106)가 마련될 수 있다.An input unit 105 for receiving a user command may be provided in the head unit 104 , and a display unit 106 for displaying operation information for various functions may be provided.

입력부(105)는 각종 기능의 온 명령, 오프 명령, 일시 정지 명령 등을 수신할 수 있다. 입력부(105)는 버튼, 키, 스위치, 페달, 레버, 조그 다이얼(미도시) 또는 터치 패드를 포함하는 것도 가능하다. The input unit 105 may receive an on command, an off command, a pause command, and the like of various functions. The input unit 105 may include a button, a key, a switch, a pedal, a lever, a jog dial (not shown) or a touch pad.

입력부(105)는 자율 주행 모드 또는 수동 주행 모드 등의 주행 모드의 선택 명령을 수신할 수 있다.표시부(106)는 차량에서 수행되는 각종 기능의 동작 정보를 표시할 수 있다.The input unit 105 may receive a command for selecting a driving mode such as an autonomous driving mode or a manual driving mode. The display unit 106 may display operation information of various functions performed in the vehicle.

표시부(106)는 수동 주행 모드, 자율 주행 모드를 표시할 수 있다.The display unit 106 may display a manual driving mode and an autonomous driving mode.

표시부(106)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 또는 OLED(Organic Light Emitting Diode)와 같은 디스플레이 패널로 마련되거나 터치 스크린으로 마련될 수 있다. The display unit 106 may be provided as a display panel such as a liquid crystal display (LCD), a plasma display panel (PDP), an organic light emitting diode (OLED), or a touch screen.

차량의 차대는 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 전후좌우 차륜 등을 포함한다.The chassis of the vehicle includes a power generating device, a power transmitting device, a traveling device, a steering device, a braking device, a suspension device, a transmission device, a fuel device, front and rear left and right wheels, and the like.

차량은 제동 장치에 사용자 명령을 전달하기 위한 브레이크 페달과, 동력 발생 장치 및 동력 전달 장치에 사용자 명령을 전달하기 위한 엑셀러레이터 페달을 더 포함할 수 있다.The vehicle may further include a brake pedal for transmitting a user command to the braking device, and an accelerator pedal for transmitting a user command to the power generating device and the power transmitting device.

차량에는 운전자 및 탑승자의 안전을 위하여 여러 가지 안전장치 및 편의 장치들이 마련되어 있다. Various safety devices and convenience devices are provided in the vehicle for the safety of the driver and passengers.

편의 장치의 예로서, 핸즈프리 장치, GPS, 오디오 기기 및 블루투스 장치, 후방 카메라 등이 있다. 또한 편의 장치의 예로서, 자율 주행 제어 장치가 있을 수 있다.Examples of the convenient device include a hands-free device, a GPS, an audio device and a Bluetooth device, and a rear view camera. Also, as an example of the convenience device, there may be an autonomous driving control device.

편의 장치로서 오디오, 비디오 및 내비게이션 기능을 수행하는 차량용 단말기(107)가 있을 수 있다. As a convenient device, there may be a vehicle terminal 107 that performs audio, video and navigation functions.

차량용 단말기(107)는 내비게이션, 디엠비(방송 출력 기능), 라디오, 통화, 미디어, 옵션 등의 메뉴 항목을 표시할 수 있고, 사용자에 선택된 기능에 대한 영상을 표시할 수 있다.The vehicle terminal 107 may display menu items such as navigation, DMB (broadcast output function), radio, call, media, options, and the like, and may display an image for a function selected by the user.

차량용 단말기(107)는 내비게이션 기능 수행 시, 지도 정보, 경로 정보, 현재 위치 정보, 주행 속도 정보, 목적지 정보, 교통 정보 중 적어도 하나의 정보를 영상으로 표시할 수 있다. 차량용 단말기(107)는 주행 시간, 목적지까지 남은 시간, 현재 시간 등을 표시할 수 있다.When performing a navigation function, the vehicle terminal 107 may display at least one of map information, route information, current location information, driving speed information, destination information, and traffic information as an image. The vehicle terminal 107 may display the driving time, the remaining time to the destination, the current time, and the like.

차량용 단말기(107)는 그래픽 사용자 인터페이스(GUI: Graphical User Interface) 장치를 포함할 수 있고, 물리적 사용자 인터페이스(PUI: Physical User Interface) 장치를 포함할 수도 있다.The vehicle terminal 107 may include a Graphical User Interface (GUI) device or a Physical User Interface (PUI) device.

도 1 및 도 2에 도시된 바와 같이, 차량(1)은 각종 정보를 입출력하기 위한 사용자 인터페이스 장치(200)를 더 포함한다. 1 and 2 , the vehicle 1 further includes a user interface device 200 for inputting and outputting various types of information.

사용자 인터페이스 장치(200)는 차량의 조향 조작에 대응하는 사용자 명령을 수신할 수 있다.The user interface device 200 may receive a user command corresponding to a steering operation of the vehicle.

사용자 인터페이스 장치(200)는 차량의 오디오, 공기 조화기, 차량용 단말기 등의 동작에 대한 사용자 명령을 수신할 수도 있다.The user interface device 200 may receive a user command for operation of vehicle audio, an air conditioner, a vehicle terminal, and the like.

사용자 인터페이스 장치(200)는 운전자의 손의 활동 영역 및 시야 영역에 마련될 수 있다.The user interface device 200 may be provided in an active area and a viewing area of the driver's hand.

사용자 인터페이스 장치(200)는 사용자 명령을 획득하기 위한 영상 획득부(210)와, 획득된 사용자 명령에 대한 피드백 신호를 출력하기 위한 햅틱부(220)와, 획득된 사용자 명령에 대한 동작 정보를 출력하기 위한 영상 출력부(230)를 포함할 수 있다.The user interface device 200 outputs an image acquisition unit 210 for acquiring a user command, a haptic unit 220 for outputting a feedback signal for the acquired user command, and operation information for the acquired user command. It may include an image output unit 230 for

영상 획득부(210)는 사용자의 손의 활동 영역 내에 마련되고 햅틱부(220)와 인접하게 마련될 수 있다.The image acquisition unit 210 may be provided in an active area of the user's hand and may be provided adjacent to the haptic unit 220 .

영상 획득부(210)는 암 레스트(108)의 단부에 마련될 수도 있고, 센터 페시아(103)에 마련되되 변속 레버와 인접하게 마련될 수도 있다.The image acquisition unit 210 may be provided at the end of the arm rest 108 or may be provided on the center fascia 103 and adjacent to the shift lever.

사용자는 팔을 암 레스트(108)에 올려놓은 상태에서 손(H)을 이용하여 제스처를 취함으로써 스티어링 휠의 조작에 대한 사용자 명령을 입력할 수 있다. 이때 영상 획득부(210)는 사용자의 손에 대한 영상을 획득할 수 있다.The user may input a user command for manipulation of the steering wheel by making a gesture using the hand H with the arm placed on the arm rest 108 . In this case, the image acquisition unit 210 may acquire an image of the user's hand.

영상 획득부(210)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있다.The image acquisition unit 210 is a camera and may include a CCD or CMOS image sensor.

영상 획득부(210)는 적외선 카메라일 수 있다.The image acquisition unit 210 may be an infrared camera.

영상 획득부(210)는 물체 정보를 검출하여 전기적인 영상 신호로 변환하는 장치로, 획득된 영상 정보에 대한 영상 신호를 제어부()에 전송한다.The image acquisition unit 210 is a device that detects object information and converts it into an electrical image signal, and transmits an image signal for the acquired image information to the controller ( ).

햅틱부(220)에 운전석(101a)과 조수석(101b) 사이에 마련될 수 있다.The haptic unit 220 may be provided between the driver's seat 101a and the passenger seat 101b.

햅틱부(220)는 사용자의 손의 활동 영역 내에 배치될 수 있다. The haptic unit 220 may be disposed within an active area of the user's hand.

햅틱부(220)는 대시 보드(102)의 중앙 영역인 센터 페시아(103)에 마련될 수 있다.The haptic unit 220 may be provided in the center fascia 103 that is the central area of the dashboard 102 .

햅틱부(220)는 암 레스트(arm rest, 108)의 일 측 단부에 연장된 형태로 마련될 수 있다.The haptic unit 220 may be provided in a form extending from one end of an arm rest 108 .

햅틱부(220)의 표면은 암 레스트(108)의 표면과 동일한 높이일 수 있고, 암 레스트의 표면보다 일정 높이 낮은 위치일 수도 있다.The surface of the haptic unit 220 may be at the same height as the surface of the arm rest 108 , or may be at a position lower than the surface of the arm rest by a predetermined height.

도 3에 도시된 바와 같이, 차량에 마련된 암 레스트(108)의 일부와 사용자 인터페이스 장치(200)의 영상 획득부(210)와 햅틱부(220)는 상하로 이동 가능하게 마련될 수 있다. 아울러 영상 획득부(210)는 햅틱부(220)에 마련되되 카메라의 시야가 상측(즉 차량의 헤드 라이닝)을 향하도록 마련될 수도 있다.As shown in FIG. 3 , a part of the arm rest 108 provided in the vehicle and the image acquisition unit 210 and the haptic unit 220 of the user interface device 200 may be provided to be movable up and down. In addition, the image acquisition unit 210 may be provided on the haptic unit 220 so that the field of view of the camera faces upward (ie, the headlining of the vehicle).

햅틱부(220)는 사용자가 신체로 느낄 수 있는 촉각 신호를 발생시킨다.The haptic unit 220 generates a tactile signal that the user can feel through the body.

햅틱부(220)는 진동 발생부를 포함할 수 있다.The haptic unit 220 may include a vibration generating unit.

햅틱부(220)는 초음파 발생부를 포함할 수 있다.The haptic unit 220 may include an ultrasonic wave generator.

햅틱부(220)는 초음파 신호를 출력하는 복수 개의 압전 소자 어레이와, 초음파의 사운드를 출력하는 초음파 스피커를 포함할 수 있다.The haptic unit 220 may include a plurality of piezoelectric element arrays for outputting ultrasonic signals and an ultrasonic speaker for outputting sound of ultrasonic waves.

햅틱부(220)는 소형의 스티어링 휠 형상, 휠 마우스의 형성, 구 형상, 평면 형상으로 마련될 수 있다.The haptic unit 220 may be provided in a small steering wheel shape, a wheel mouse shape, a spherical shape, or a flat shape.

도 4에 도시된 바와 같이, 햅틱부(220)는 몸체(221)와, 몸체에 배치되고 사용자가 촉각으로 진동을 느낄 수 있도록 진동을 발생시키는 복수 개의 압전 소자(222)를 포함할 수 있다. 여기서 복수 개의 압전 소자(222)는 초음파를 발생시킬 수 있고, 어레이 형태로 마련될 수 있다.As shown in FIG. 4 , the haptic unit 220 may include a body 221 and a plurality of piezoelectric elements 222 disposed on the body and generating vibrations so that the user can feel the vibrations by tactile sense. Here, the plurality of piezoelectric elements 222 may generate ultrasonic waves and may be provided in an array form.

예를 들어, 햅틱부(220)는 다수의 픽셀이 배치된 기판과, 기판 상에 배치되고 다수의 픽셀 각각에 배치된 복수의 박막 트랜지스터와, 박막 트랜지스터 상에 배치되고, 복수의 컨택홀을 포함하는 평탄화층과, 평탄화층 상에 배치되고, 다수의 픽셀 각각에 배치된 픽셀 전극과, 픽셀 전극 상에 배치된 압전 물질; 및 압전 물질 상에 배치된 공통 전극을 포함할 수 있다.For example, the haptic unit 220 includes a substrate on which a plurality of pixels are disposed, a plurality of thin film transistors disposed on the substrate and disposed in each of the plurality of pixels, and a plurality of contact holes disposed on the thin film transistors. a planarization layer comprising: a planarization layer disposed on the planarization layer, a pixel electrode disposed on each of a plurality of pixels, and a piezoelectric material disposed on the pixel electrode; and a common electrode disposed on the piezoelectric material.

햅틱부(220)는 박막 트랜지스터 어레이에 배치된 픽셀 전극과 공통 전극에 인가되는 전압에 의해 압전 소자를 진동시켜 초음파를 발생시킬 수 있다.The haptic unit 220 may generate ultrasonic waves by vibrating the piezoelectric element by a voltage applied to the pixel electrode and the common electrode disposed in the thin film transistor array.

도 5에 도시된 바와 같이, 복수 개의 압전소자 어레이는 제어부의 제어 명령에 대응하는 입력 주파수에 대응하는 진동 압력으로 초음파를 발생시킨다.As shown in FIG. 5 , the plurality of piezoelectric element arrays generate ultrasonic waves with a vibration pressure corresponding to an input frequency corresponding to a control command of the controller.

햅틱부는 초음파 스피커를 더 포함할 수 있고, 이 초음파 스피커는 제어부의 제어 명령에 대응하는 초음파 사운드를 출력하여 사용자 피드백을 수행하는 것도 가능하다.The haptic unit may further include an ultrasonic speaker, and the ultrasonic speaker may output an ultrasonic sound corresponding to a control command of the controller to perform user feedback.

각 압전소자와 초음파 스피커에서 생성하는 초음파 신호의 주파수에 따라 사용자는 피드백을 진동과 사운드를 통해 촉각과 청각을 통해 전달받게 된다. 사용자 피드백은 운전자의 설정에 따라 조절 가능하다.According to the frequency of the ultrasonic signal generated by each piezoelectric element and the ultrasonic speaker, the user receives feedback through tactile and auditory senses through vibration and sound. User feedback can be adjusted according to the driver's settings.

사용자는 조향 동작에 대한 피드백으로 홀로그램 영상뿐만 아니라 진동압력과 사운드를 동시에 받을 수 있다. The user can receive not only a holographic image but also vibration pressure and sound as feedback on the steering operation.

아울러 사용자는 조향 동작에 대한 피드백으로 홀로그램 영상과 진동압력을 받는 것도 가능하다.In addition, it is possible for the user to receive a holographic image and vibration pressure as feedback on the steering operation.

사용자는 조향 동작에 대한 피드백으로 홀로그램 영상과 사운드를 동시에 받는 것도 가능하다.It is also possible for the user to simultaneously receive a holographic image and sound as feedback on the steering operation.

영상 출력부(230)는 사용자의 시야 영역 내에 마련될 수 있으며, 햅틱부(220)와 인접하게 마련되는 것도 가능하다.The image output unit 230 may be provided within the user's viewing area, or may be provided adjacent to the haptic unit 220 .

영상 출력부(230)는 영상 획득부(210)에서 획득된 사용자 명령에 대응하는 조향 정보를 표시할 수 있다.The image output unit 230 may display steering information corresponding to the user command acquired by the image acquisition unit 210 .

영상 출력부(230)는 조향 정보에 대응하는 스티어링 휠의 동작에 대응하는 영상을 표시할 수 있다.The image output unit 230 may display an image corresponding to the operation of the steering wheel corresponding to the steering information.

도 2에 도시된 바와 같이, 영상 출력부(230)는 스티어링 휠의 동작에 대응하는 영상을 홀로그램 영상으로 표시하는 홀로그램 영상 출력부를 포함할 수 있다.As shown in FIG. 2 , the image output unit 230 may include a holographic image output unit that displays an image corresponding to the operation of the steering wheel as a holographic image.

영상 출력부(230)가 홀로그램 영상 출력부인 경우, 영상 출력부(230)의 구성을 도 6를 참조하여 설명한다.When the image output unit 230 is a holographic image output unit, the configuration of the image output unit 230 will be described with reference to FIG. 6 .

도 6에 도시된 바와 같이, 영상 출력부(230)는 스티어링 휠에 대한 영상 광을 투영하는 영상 투영부(231)와, 영상 투영부(231)에서 투영된 영상 광을 반사시키는 반사부(232)와, 반사부(232)에서 반사된 영상 광을 투과시켜 투과된 영상 광이 홀로그램 영상으로 형성되도록 하는 투명 스크린부(233)를 포함한다.As shown in FIG. 6 , the image output unit 230 includes an image projection unit 231 for projecting image light on the steering wheel and a reflection unit 232 for reflecting the image light projected from the image projection unit 231 . ) and a transparent screen unit 233 that transmits the image light reflected by the reflection unit 232 so that the transmitted image light is formed into a holographic image.

영상 투영부(231)는 프로젝터로, 입체(3D)의 홀로그램 영상을 생성하기 위한 홀로그램 프로젝터를 포함할 수 있다. 이러한 영상 투영부(231)는 스티어링 휠의 3차원의 영상을 영상 광으로 출력한다.The image projector 231 is a projector and may include a hologram projector for generating a stereoscopic (3D) holographic image. The image projection unit 231 outputs a three-dimensional image of the steering wheel as image light.

이러한 투명 스크린부(233)의 일 측면에는 스티어링 휠의 홀로그램 영상이 형성될 수 있다.A hologram image of the steering wheel may be formed on one side of the transparent screen unit 233 .

영상 투영부(231)는 센터페시아의 영역 중 헤드 유닛의 주변 또는 센터페시아의 내부에 마련될 수 있다.The image projection unit 231 may be provided around the head unit in the area of the center fascia or inside the center fascia.

반사부(232)는 센터페시아의 영역 중 헤드 유닛의 주변 또는 센터페시아의 내부에서 외부로 돌출되도록 마련될 수 있다. 이러한 반사부(232)는 센터페시아 내부에 마련된 영상 투영부(231)의 영상광을 수신할 수 있도록 영상 투영부(231)와 인접하게 마련될 수 있다.The reflective part 232 may be provided to protrude from the inside of the center fascia to the periphery of the head unit in the area of the center fascia. The reflection unit 232 may be provided adjacent to the image projection unit 231 to receive the image light from the image projection unit 231 provided inside the center fascia.

투명 스크린부(233)는 수신된 영상 광을 투과시킴으로써 햅틱부의 초음파 발생 방향에 홀로그램 영상이 형성되도록 한다.The transparent screen unit 233 transmits the received image light to form a holographic image in the ultrasonic wave generating direction of the haptic unit.

여기서 투명 스크린부는 생략 가능하다.Here, the transparent screen part may be omitted.

즉 사용자는 투명 스크린부(233)의 일 측에 형성된 홀로그램 영상을 볼 수 있다. 아울러 사용자의 눈에는 투명스크린과 반사부가 보여지지 않는다. That is, the user can view the holographic image formed on one side of the transparent screen unit 233 . In addition, the transparent screen and the reflector are not visible to the user's eyes.

도 7에 도시된 바와 같이, 영상 출력부(230)는 스티어링 휠의 동작에 대응하는 영상을 프런트 윈드 글래스에 투영 영상으로 표시하는 전방 시현용 영상 출력부를 포함할 수 있다. 즉 영상 출력부(230)는 전방 시현기(HUD: Head Up Display)일 수 있다.As shown in FIG. 7 , the image output unit 230 may include an image output unit for front view that displays an image corresponding to the operation of the steering wheel as a projection image on the windshield. That is, the image output unit 230 may be a head-up display (HUD).

영상 출력부(230)는 대시 보드에 마련된 플로팅 디스플레이(Floating display)를 포함할 수 있다.The image output unit 230 may include a floating display provided on the dashboard.

영상 출력부(230)는 차량용 단말기의 표시부를 포함할 수 있다.The image output unit 230 may include a display unit of the vehicle terminal.

영상 출력부(230)가 홀로그램 영상 출력부인 경우, 사용자 인터페이스 장치(200)는 도 8과 같이 마련될 수 있다.When the image output unit 230 is a holographic image output unit, the user interface device 200 may be provided as shown in FIG. 8 .

영상 획득부(210)의 일 측에 영상 출력부(230)가 마련될 수 있다.An image output unit 230 may be provided on one side of the image acquisition unit 210 .

영상 출력부(230)에 의해 형성되는 홀로그램 영상의 위치에 초음파가 도달될 수 있도록, 영상 출력부(230)와 인접한 위치에 햅틱부(220)가 마련될 수 있다.The haptic unit 220 may be provided at a position adjacent to the image output unit 230 so that the ultrasound can reach the position of the holographic image formed by the image output unit 230 .

영상 출력부(230)의 영상 형성 위치 정보에 기초하여 햅틱부(220)의 위치 정보가 결정될 수 있다.Position information of the haptic unit 220 may be determined based on image formation position information of the image output unit 230 .

자율 주행 모드를 수행할 때와 같이 사용자 인터페이스 장치(200)의 사용이 불필요할 때, 사용자 인터페이스 장치는 오프될 수 있다. 이때 차량은 사용자 인터페이스 장치(200)와 암 레스트(108) 간의 일체감을 부여할 수 있다.When the use of the user interface device 200 is unnecessary, such as when performing an autonomous driving mode, the user interface device may be turned off. In this case, the vehicle may provide a sense of unity between the user interface device 200 and the arm rest 108 .

도 9는 실시 예에 따른 사용자 인터페이스 장치를 가지는 차량의 제어 구성도이다.9 is a diagram illustrating a control configuration of a vehicle having a user interface device according to an exemplary embodiment.

차량은 입력부(105), 표시부(106), 제어부(110), 저장부(111), 통신부(120), 사운드 출력부(130), 조향 구동부(140), 램프 구동부(150), 시트 조절부(160) 및 사용자 인터페이스 장치(200)를 더 포함할 수 있다.The vehicle has an input unit 105 , a display unit 106 , a control unit 110 , a storage unit 111 , a communication unit 120 , a sound output unit 130 , a steering driving unit 140 , a lamp driving unit 150 , and a seat adjustment unit. 160 and the user interface device 200 may be further included.

입력부(105)는 사용자의 식별 정보를 수신할 수 있다. 예를 들어, 사용자의 식별 정보는 숫자일 수 있고, 알파벳일 수 있으며, 또는 사용자의 이름일 수 있다.The input unit 105 may receive user identification information. For example, the user's identification information may be a number, an alphabet, or the user's name.

입력부(105)는 시트의 위치 정보를 수신할 수 있다.The input unit 105 may receive position information of the sheet.

여기서 시트의 위치 정보는, 운전석의 전후 위치 및 상하 위치에 대한 정보를 포함할 수 있다.Here, the seat position information may include information on the front and rear positions and the vertical positions of the driver's seat.

입력부(105)는 사용자 인터페이스 장치(200)의 설정에 대한 사용자 입력을 수신한다.The input unit 105 receives a user input for setting of the user interface device 200 .

사용자 인터페이스 장치의 설정은, 홀로그램의 영상의 크기, 홀로그램의 영상의 모양(즉 타입), 홀로그램의 영상을 이용한 사용자 인터페이스 장치의 사용용도, 홀로그램의 영상이 표시되는 위치에 대한 영상 위치 정보, 용도별 영상 설정 및 햅틱부에서 출력되는 촉각 신호의 출력 위치에 대한 촉각 위치 정보를 포함할 수 있다. The setting of the user interface device includes the size of the hologram image, the shape (ie type) of the hologram image, the purpose of using the user interface device using the hologram image, image location information on the position where the hologram image is displayed, and images for each purpose. It may include tactile position information regarding the setting and the output position of the tactile signal output from the haptic unit.

사용자 인터페이스 장치의 설정은, 사용자별로 설정 가능하다.The setting of the user interface device may be set for each user.

아울러, 햅틱부에서 출력되는 촉각 신호의 출력 위치에 대한 위치 정보는, 홀로그램의 영상이 표시되는 위치에 대한 위치 정보에 따라 자동으로 설정 가능하다.In addition, the position information on the output position of the tactile signal output from the haptic unit can be automatically set according to the position information on the position where the hologram image is displayed.

조향 조작계 모양에 대한 조작계 영상 타입은 상하버튼과 같은 버튼 타입, 스티어링 휠 타입, 휠 마우스 타입, 구 타입 및 평면 티입을 포함할 수 있다.The manipulation system image type for the shape of the steering system may include a button type such as an up/down button, a steering wheel type, a wheel mouse type, a sphere type, and a flat tee type.

입력부(105)는 촉각을 느낄 수 있는 촉각의 위치 정보를 수신할 수 있다.The input unit 105 may receive tactile location information that can feel the tactile sense.

입력부(105)는 사용자 인터페이스 장치의 용도에 대한 정보를 수신할 수 있다. 여기서 사용자 인터페이스 장치의 용도는 차량의 기능 선택, 차량 내 전자 장치의 동작 선택을 포함할 수 있다.The input unit 105 may receive information on the purpose of the user interface device. Here, the use of the user interface device may include function selection of a vehicle and operation selection of an electronic device in the vehicle.

예를 들어, 사용자 인터페이스 장치의 용도는 조향 조작, 문자 입력, 변속 레버(P, N, R, D) 조작, 볼륨 조작 등을 포함할 수 있다.For example, the use of the user interface device may include steering manipulation, character input, shift lever (P, N, R, D) manipulation, volume manipulation, and the like.

용도별 영상 설정은, 조향 조작계 영상, 볼륨 버튼 영상 등을 포함할 수 있다.The image setting for each use may include a steering operation system image, a volume button image, and the like.

입력부(105)는 차량의 주행 명령을 수신할 수 있다.The input unit 105 may receive a driving command of the vehicle.

여기서 주행 명령은, 제1방향으로의 조향 명령과, 제1방향과 다른 방향인 제2방향으로의 조향 명령과, 가속 명령과, 감속 명령을 포함한다.Here, the driving command includes a steering command in a first direction, a steering command in a second direction different from the first direction, an acceleration command, and a deceleration command.

제1방향으로의 조향 명령은 왼쪽으로의 이동 명령을 포함하고, 제2방향으로의 조향 명령은 오른쪽으로의 이동 명령을 포함할 수 있다.The command to steer in the first direction may include a command to move to the left, and the command to steer in the second direction may include a command to move to the right.

가속 명령은 전방으로 주행 시 속도 증가 명령을 포함하고, 감속 명령은 전방으로 주행 시 속도 감소 명령을 포함한다. The acceleration command includes a speed increase command when driving forward, and the deceleration command includes a speed decrease command when driving forward.

표시부(106)는 입력부에 수신된 사용자 명령에 대한 정보를 영상으로 표시할 수 있다.The display unit 106 may display information about the user command received in the input unit as an image.

표시부(106)는 사용자 인터페이스 장치를 통해 입력된 조향 동작에 대한 조향 정보를 영상으로 표시할 수 있다.The display unit 106 may display steering information for a steering operation input through the user interface device as an image.

제어부(110)는 입력부(105)에 입력된 사용자 명령에 대응하여 차량에서 수행되는 각종 기능을 제어한다.The control unit 110 controls various functions performed in the vehicle in response to a user command input to the input unit 105 .

제어부(110)는 입력부(105)에 입력된 사용자 명령에 대응하여 사용자 인터페이스 장치의 설정을 변경할 수 있다.The controller 110 may change the settings of the user interface device in response to a user command input to the input unit 105 .

제어부(110)는 입력부(105)에 입력된 사용자 명령에 대응하는 정보를 표시부를 통해 표시하도록 표시부를 제어할 수 있다.The controller 110 may control the display unit to display information corresponding to a user command input to the input unit 105 through the display unit.

제어부(110)는 영상 획득부(210)로부터 영상 신호가 수신되면 수신된 영상 신호에 대하여 클리어링 처리 및 노이즈 제거 처리를 수행하여 영상 정보를 생성하고 영상 정보에서 물체를 분해하는 비전기술들을 적용하여 영상 정보로부터 손의 제스처들을 결과물로 추출한다.When an image signal is received from the image acquisition unit 210, the controller 110 generates image information by performing clearing and noise removal processing on the received image signal, and applies vision technologies for decomposing an object from the image information to obtain an image. We extract hand gestures from information as results.

제어부(110)는 손의 제스처에 대응하는 조향 정보를 획득하고 획득된 조향 정보에 기초하여 조향 장치의 동작을 제어할 수 있다.The controller 110 may acquire steering information corresponding to the gesture of the hand and control the operation of the steering device based on the acquired steering information.

제어부(110)는 차량의 시동 신호가 수신되면 사용자 인터페이스 장치(200)의 활성화를 제어할 수 있다.When a vehicle start signal is received, the controller 110 may control activation of the user interface device 200 .

제어부(110)는 사용자 인터페이스 장치(200)가 활성화되면 영상 출력부(230)를 통해 기준 점의 영상을 출력하도록 하고, 영상 획득부(210)를 통해 획득된 사용자의 손의 영상에 기초하여 시트의 위치를 자동으로 조절할 수 있다.When the user interface device 200 is activated, the control unit 110 outputs an image of a reference point through the image output unit 230 , and based on the image of the user's hand acquired through the image acquisition unit 210 , the sheet position can be adjusted automatically.

제어부(110)는 사용자의 손이 위치하는 손 위치와 점의 출력 위치에 기초하여 시트의 상하 높이 및 전후 거리를 조절할 수 있다.The controller 110 may adjust the vertical height and the front-back distance of the sheet based on the position of the hand where the user's hand is located and the output position of the point.

아울러 제어부(110)는 사용자 인터페이스 장치(200)가 활성화되면 영상 출력부(230)를 통해 기준 점의 영상을 출력하도록 하고, 입력부(105)를 통해 시트 조절 명령이 수신되면 수신된 시트 조절 명령에 기초하여 시트의 위치를 조정하는 것도 가능하다.In addition, when the user interface device 200 is activated, the control unit 110 outputs an image of the reference point through the image output unit 230, and when a seat adjustment command is received through the input unit 105, the received seat adjustment command It is also possible to adjust the position of the seat based on it.

제어부(110)는 홀로그램 영상이 출력되는 위치 정보에 기초하여 시트의 위치를 조절할 수 있도록 시트 조절 안내 정보를 출력하도록 사운드 출력부를 제어하는 것도 가능하고, 표시부를 제어하는 것도 가능하다.The control unit 110 may control the sound output unit to output sheet adjustment guide information so that the position of the sheet can be adjusted based on the position information at which the holographic image is output, and it is also possible to control the display unit.

제어부(110)는 영상 획득부(210)에 의해 획득된 손의 영상이 기준 점 영상을 터치하는 터치 제스처로 인식되면 기준 점 영상을 조향 조작계 영상으로 변경하도록 영상 출력부(230)를 제어할 수 있다.When the image of the hand acquired by the image acquisition unit 210 is recognized as a touch gesture for touching the reference point image, the controller 110 may control the image output unit 230 to change the reference point image to a steering operation system image. there is.

여기서 조향 조작계 영상은, 스티어링 휠 영상, 버튼 영상 등을 포함할 수 있다.Here, the steering control system image may include a steering wheel image, a button image, and the like.

제어부(110)는 시트 조절이 완료되었다고 판단되면 영상 획득부(210)를 통해 사용자의 손의 움직임을 인식하고, 인식된 손의 움직임에 기초하여 손의 제스처를 인식할 수 있다. 이를 도 10을 참조하여 좀 더 구체적으로 설명한다.When it is determined that the seat adjustment is complete, the controller 110 may recognize the user's hand movement through the image acquisition unit 210 and recognize a hand gesture based on the recognized hand movement. This will be described in more detail with reference to FIG. 10 .

제어부(110)는 기준 점 영상의 위치 정보를 기준 위치 정보로 설정하고, 기준 위치 정보에 대한 좌표 값을 기준 좌표값으로 설정한다.The controller 110 sets the position information of the reference point image as the reference position information, and sets the coordinate value for the reference position information as the reference coordinate value.

도 10의 (a)에 도시된 바와 같이, 제어부(110)는 기준 좌표값(RP)을 기준으로 영상 획득부(210)에서 획득된 영상의 반경(M)을 설정하고 설정된 반경에 기초하여 원을 생성한다. 여기서 설정된 반경은 미리 설정된 반경일 수 있다.As shown in (a) of FIG. 10 , the controller 110 sets the radius M of the image acquired by the image acquisition unit 210 based on the reference coordinate value RP, and based on the set radius, the circle create The radius set here may be a preset radius.

기준 좌표값(RP)은 (0.0)으로, 기준 점의 위치 정보일 수 있다.The reference coordinate value RP is (0.0), which may be location information of the reference point.

기준 좌표값(RP)을 기준으로 영상 획득부(210)에서 획득된 영상은, 기준 점을 기준으로 하는 사용자의 손의 영상일 수 있다.The image acquired by the image acquisition unit 210 based on the reference coordinate value RP may be an image of the user's hand based on the reference point.

제어부(110)는 생성된 원의 영상을 출력하도록 영상 출력부를 제어할 수 있다. 여기서 원의 영상은 적외선의 원 영상으로 출력될 수 있다.The controller 110 may control the image output unit to output the generated original image. Here, the original image may be output as an infrared original image.

제어부(110)는 생성된 원 내의 영상에 대한 제스처를 인식한다.The controller 110 recognizes a gesture with respect to the generated image within the circle.

도 10의 (b)에 도시된 바와 같이, 제어부(110)는 생성된 원의 전체 면적 중에 손 바닥이 차지하는 손바닥 면적을 확인하고, 확인된 손바닥 면적에 기초하여 제스처를 인식할 수 있다.As shown in (b) of FIG. 10 , the controller 110 may identify the palm area occupied by the palm of the total area of the generated circle, and recognize a gesture based on the confirmed palm area.

A<손바닥 면적/전체 면적<B, A와 B는 0 내지 1 범위이다.A<palm area/total area<B, where A and B range from 0 to 1.

도 10의 (c)에 도시된 바와 같이, 제어부(110)는 기준 점을 중심으로 생성된 원의 테두리에 걸치는 손가락의 개수를 확인하고 확인된 손가락의 개수에 기초하여 제스처를 인식한다. 여기서 손가락은 명암 대비 수일 수 있다.As shown in (c) of FIG. 10 , the controller 110 checks the number of fingers spanning the edge of a circle created around a reference point, and recognizes a gesture based on the confirmed number of fingers. Here, the finger may be a number for contrast.

C< 손가락 수(또는 명암 대비수) <D, C와 D는 0 내지 6이다. C<Number of fingers (or contrast) <D, C and D are 0 to 6.

아울러 제어부는 인식된 제스처에 기초하여 변속 레버의 조작 명령을 인식하는 것도 가능하다. 예를 들어, 인식된 제스처가 원의 테두리에 손가락 하나가 걸치는 손가락 하나에 대응하는 제스처이면 변속 레버의 조작 명령을 파킹 명령으로 인식하고, 인식된 제스처가 원의 테두리에 손가락 두 개가 걸치는 손가락 두 개에 대응하는 제스처이면 변속 레버의 조작 명령을 후진 명령으로 인식하며, 인식된 제스처가 원의 테두리에 손가락 세 개가 걸치는 손가락 세 개에 대응하는 제스처이면 변속 레버의 조작 명령을 중립 명령으로 인식하고, 인식된 제스처가 원의 테두리에 손가락 네 개가 걸치는 손가락 네 개에 대응하는 제스처이면 변속 레버의 조작 명령을 전진 명령으로 인식할 수 있다.In addition, the control unit may recognize an operation command of the shift lever based on the recognized gesture. For example, if the recognized gesture corresponds to one finger spanning one finger on the edge of the circle, the shift lever operation command is recognized as a parking command, and the recognized gesture is two fingers crossing the edge of the circle. If the gesture corresponds to , the operation command of the shift lever is recognized as a reverse command. If the gesture is a gesture corresponding to four fingers spanning four fingers on the edge of the circle, the operation command of the shift lever may be recognized as a forward command.

제어부(110)는 생성된 원 내의 손바닥의 면적과 생성된 원의 테두리에 걸치는 손가락의 수에 기초하여 조향 명령을 인식하는 것도 가능하다.The controller 110 may also recognize the steering command based on the area of the palm in the generated circle and the number of fingers crossing the edge of the generated circle.

제어부(110)는 제스처 인식에 대응하여 햅틱부(220)의 동작을 제어할 수 있다. 제어부(110)는 햅틱부(220)의 동작을 제어할 때, 제스처 인식에 대응하여 압전 소자 어레이 각각에 대한 초음파 발생을 제어할 수 있다. 이에 따라 사용자가 압전소자 어레이에서 출력되는 복수개의 초음파 신호에 의해 공중에서 촉감을 느낄 수 있도록 할 수 있다.The controller 110 may control the operation of the haptic unit 220 in response to gesture recognition. When controlling the operation of the haptic unit 220 , the controller 110 may control the generation of ultrasonic waves for each of the piezoelectric element arrays in response to gesture recognition. Accordingly, the user can feel the touch in the air by the plurality of ultrasonic signals output from the piezoelectric element array.

본 실시 예는 복수 개의 압전소자 어레이에 의한 촉각 피드백을 이용하여 공중에서의 제스처 컨트롤을 보다 현실감 있게 할 수 있다.According to the present embodiment, gesture control in the air can be more realistically performed by using tactile feedback by a plurality of piezoelectric element arrays.

즉 사용자는 홀로그램 영상으로 허공에 형상화된 조향 조작 버튼을 누르는 동안 초음파 햅틱으로 촉감 피드백이 구현되며 차량의 조향을 조작할 수 있다.That is, while the user presses the steering operation button shaped in the air with a holographic image, tactile feedback is implemented with ultrasonic haptics and the vehicle steering can be operated.

제어부(110)는 인식된 제스처에 대응하는 조향 명령을 판단하고 판단된 조향 명령에 기초하여 조향 장치의 동작을 제어할 수 있다.The controller 110 may determine a steering command corresponding to the recognized gesture and control the operation of the steering device based on the determined steering command.

영상 출력부가 전방 시현기인 경우, 제어부(110)는 조향 동작에 대응하는 스티어링 휠의 영상의 출력을 제어함으로써 프런트 윈도 글래스에 스티어링 휠의 영상이 투영되도록 할 수 있다. 이때 사용자는 프론트 윈도 글래스를 통해 스티어링 휠이 돌아가는 영상을 볼 수 있다.When the image output unit is the front display unit, the controller 110 may control the output of the image of the steering wheel corresponding to the steering operation so that the image of the steering wheel is projected on the front window glass. At this time, the user can see the image of the steering wheel rotating through the front window glass.

이에 따라 영상 출력부(230)를 통해 출력되는 기준 점의 영상이 사용자의 손에 위치하도록 할 수 있다.Accordingly, the image of the reference point output through the image output unit 230 may be positioned in the user's hand.

제어부(110)는 운전석 전방에 스티어링 휠의 영상을 출력하도록 영상 출력부의 동작을 제어하거나, 프론트 윈드 글래스에 스티어링 휠의 영상을 출력하도록 영상 출력부의 동작을 제어할 수 있다.The controller 110 may control an operation of the image output unit to output an image of the steering wheel in front of the driver's seat, or may control an operation of the image output unit to output an image of the steering wheel to the front windshield.

제어부(110)는 획득된 조향 정보에 기초하여 햅틱부를 촉각 신호의 발생을 제어하고, 영상 출력부의 홀로그램 영상의 출력을 제어하되, 조향 정보에 기초하여 홀로그램 영상의 변화를 제어할 수 있다.The controller 110 may control the generation of a tactile signal by the haptic unit based on the obtained steering information, control the output of the holographic image of the image output unit, and control the change of the holographic image based on the steering information.

제어부(140)는 차량(1) 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.The controller 140 performs the above-described operation using a memory (not shown) that stores data for an algorithm for controlling the operation of components in the vehicle 1 or a program reproducing the algorithm, and the data stored in the memory. It may be implemented by a processor (not shown). In this case, the memory and the processor may be implemented as separate chips. Alternatively, the memory and the processor may be implemented as a single chip.

저장부(111)는 제스처 정보에 대응하는 조향 동작 정보를 저장한다.The storage unit 111 stores steering operation information corresponding to the gesture information.

조향 동작 정보는, 차량의 회전 방향과, 차량의 회전 각도에 대한 정보를 포함할 수 있다.The steering operation information may include information on a rotation direction of the vehicle and a rotation angle of the vehicle.

저장부(111)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(141)는 제어부(140)와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다. The storage unit 111 is a nonvolatile memory device or RAM such as a cache, read only memory (ROM), programmable ROM (PROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), and flash memory. It may be implemented as at least one of a volatile memory device such as (Random Access Memory), a hard disk drive (HDD), or a storage medium such as a CD-ROM, but is not limited thereto. The storage unit 141 may be a memory implemented as a chip separate from the processor described above with respect to the controller 140 , or may be implemented as a single chip with the processor.

제어부(110)는 사용자 인터페이스 장치 내 영상 획득부(210)와 햅틱부(220) 사이에서 통신을 제어하는 것도 가능하다.The controller 110 may also control communication between the image acquisition unit 210 and the haptic unit 220 in the user interface device.

통신부(120)는 차량의 내부 구성 요소 간 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.The communication unit 120 may include one or more components that enable communication between internal components of the vehicle, and may include, for example, at least one of a short-range communication module, a wired communication module, and a wireless communication module.

근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.The short-distance communication module transmits signals using a wireless communication network in a short distance such as a Bluetooth module, an infrared communication module, an RFID (Radio Frequency Identification) communication module, a WLAN (Wireless Local Access Network) communication module, an NFC communication module, and a Zigbee communication module. It may include various short-distance communication modules for transmitting and receiving.

유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다. The wired communication module includes various wired communication modules such as a Controller Area Network (CAN) communication module, a Local Area Network (LAN) module, a Wide Area Network (WAN) module, or a Value Added Network (VAN) module. Various cable communication such as USB (Universal Serial Bus), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard232), power line communication, or POTS (plain old telephone service) as well as communication module It can contain modules.

유선 통신 모듈은 LIN(Local Interconnect Network)를 더 포함할 수 있다.The wired communication module may further include a Local Interconnect Network (LIN).

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.In addition to the Wi-Fi module and the Wireless broadband module, the wireless communication module includes a global system for mobile communication (GSM), a code division multiple access (CDMA), a wideband code division multiple access (WCDMA), and a universal mobile telecommunications system (UMTS). ), Time Division Multiple Access (TDMA), Long Term Evolution (LTE), etc. may include a wireless communication module supporting various wireless communication methods.

사운드 출력부(130)는 초음파 발생에 대응하는 사운드를 출력한다.The sound output unit 130 outputs a sound corresponding to the generation of ultrasonic waves.

사운드 출력부(130)는 햅틱부(220)에 마련될 수 있다.The sound output unit 130 may be provided in the haptic unit 220 .

사운드 출력부(130)는 제어부(110)의 제어 명령에 대응하여 차량(1)에서 수행 중인 기능에 대응하는 사운드를 출력한다. 예를 들어, 사운드 출력부(130)는 내비게이션 기능 수행 시 내비게이션 정보를 사운드로 출력할 수 있다. The sound output unit 130 outputs a sound corresponding to a function being performed in the vehicle 1 in response to a control command of the controller 110 . For example, the sound output unit 130 may output navigation information as a sound when performing a navigation function.

사운드 출력부(130)는 제어부(110)의 제어 명령에 대응하는 사운드 볼륨으로 사운드를 출력할 수 있다.The sound output unit 130 may output a sound with a sound volume corresponding to a control command of the controller 110 .

사운드 출력부(130)는 하나 또는 복수 개의 스피커를 포함할 수 있다. 여기서 스피커는 증폭된 저주파의 음성 신호를 오리지널의 음파로 변환시키고 공기에 소밀파를 발생시켜 음파를 복사함으로써 오디오 데이터들을 사용자가 들을 수 있는 사운드로 출력한다.The sound output unit 130 may include one or a plurality of speakers. Here, the speaker converts the amplified low-frequency voice signal into an original sound wave, generates a small wave in the air, and copies the sound wave, thereby outputting audio data as sound that the user can hear.

조향 구동부(140)는 제어부(110)의 제어 명령에 대응하여 조향 장치를 구동시킴으로써 차량의 주행 방향을 조절한다.The steering driving unit 140 controls the driving direction of the vehicle by driving the steering device in response to a control command from the control unit 110 .

램프 구동부(150)는 제어부(110)의 제어 명령에 대응하여 램프를 온 동작시키거나, 램프를 오프 동작시킨다.The lamp driver 150 turns the lamp on or turns off the lamp in response to a control command from the controller 110 .

여기서 램프는 UV-C 파장의 램프를 포함할 수 있고 영상 출력부(230)와 인접하게 마련될 수 있다.Here, the lamp may include a UV-C wavelength lamp and may be provided adjacent to the image output unit 230 .

시트 조절부(160)는 제어부(110)의 제어 명령에 대응하여 운전석의 시트(101)의 전후 방향 및 상하 방향을 조절한다.The seat adjustment unit 160 adjusts the front-rear direction and the vertical direction of the seat 101 of the driver's seat in response to a control command from the control unit 110 .

차량은 시트를 전후 방향으로 움직이도록 하는 제1이동부재와, 시트를 상하 방향으로 움직이도록 하는 제2이동 부재를 포함할 수 있다.The vehicle may include a first moving member for moving the seat in a front-rear direction and a second moving member for moving the seat in a vertical direction.

전방 방향은 주행 방향일 수 있고, 후방 방향은 후진 방향일 수 있다.The forward direction may be a traveling direction, and the rearward direction may be a reverse direction.

상측 방향은 헤드라이닝을 향하는 방향일 수 있고, 하측 방향은 지면을 향하는 방향일 수 있다.The upper direction may be a direction facing the headlining, and the lower direction may be a direction facing the ground.

사용자 인터페이스 장치(200)는 제어부(110)의 제어 명령에 대응하여 영상 획득부, 햅틱부 및 영상 출력부를 활성화 또는 비활성화시킨다.The user interface device 200 activates or deactivates the image acquisition unit, the haptic unit, and the image output unit in response to a control command from the controller 110 .

사용자 인터페이스 장치(200)는 영상 획득부(210)에서 획득된 영상을 제어부(110)에 전송한다.The user interface device 200 transmits the image acquired by the image acquisition unit 210 to the control unit 110 .

사용자 인터페이스 장치(200)는 제어부(110)의 제어 명령에 대응하여 햅틱부(220)를 동작시키고, 영상 출력부(230)를 동작시킬 수 있다. 사용자 인터페이스 장치에 대한 구체적인 설명은 도 2 내지 도 7을 참조하여 설명한 바, 생략하도록 한다.The user interface device 200 may operate the haptic unit 220 in response to a control command of the controller 110 and may operate the image output unit 230 . A detailed description of the user interface device has been described with reference to FIGS. 2 to 7 , and thus will be omitted.

도 8에 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.At least one component may be added or deleted according to the performance of the components of the vehicle in FIG. 8 . In addition, it will be readily understood by those of ordinary skill in the art that the mutual positions of the components may be changed corresponding to the performance or structure of the system.

한편, 도 8에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다. Meanwhile, each component illustrated in FIG. 8 refers to a hardware component such as software and/or a Field Programmable Gate Array (FPGA) and an Application Specific Integrated Circuit (ASIC).

사용자 인터페이스 장치를 이용하여 조향을 조작하는 예에 대해 설명하였지만, 사용자 인터페이스 장치를 이용하여 차량 내에서 수행되는 각종 기능을 조작하거나 각종 기기를 조작하는 입력부로 사용하는 것도 가능하다.Although an example of manipulating steering using the user interface device has been described, it is also possible to use the user interface device as an input unit for operating various functions performed in a vehicle or operating various devices.

도 11은 실시 예에 따른 사용자 인터페이스 장치를 가지는 차량의 제어 순서도이다.11 is a control flowchart of a vehicle having a user interface device according to an exemplary embodiment.

차량은 시동 신호가 수신되면 사용자 인터페이스 장치(200)를 활성화(171)시킨다.The vehicle activates (171) the user interface device 200 when the start signal is received.

차량은 사용자 인터페이스 장치(200)가 활성화되면 사용자 인터페이스 장치의 영상 출력부(230)를 통해 기준 점의 영상을 출력(172)한다.When the user interface device 200 is activated, the vehicle outputs (172) an image of a reference point through the image output unit 230 of the user interface device.

다음 차량은 영상 획득부(210)를 통해 획득된 사용자의 손의 영상을 획득하고 획득된 사용자의 손의 위치와 기준 점의 영상의 위치에 기초하여 시트의 위치를 자동으로 조절(173)한다.Next, the vehicle acquires the image of the user's hand acquired through the image acquisition unit 210 and automatically adjusts the position of the seat based on the acquired position of the user's hand and the position of the image of the reference point ( 173 ).

차량은 영상 획득부(210)를 통해 기준 점의 영상과 사용자 손의 영상을 함께 획득할 수 있고, 획득된 영상 내 기준 점의 위치와 사용자 손의 위치에 기초하여 시트의 위치를 자동으로 조절할 수 있다.The vehicle can acquire the image of the reference point and the image of the user's hand together through the image acquisition unit 210, and the position of the seat can be automatically adjusted based on the position of the reference point and the position of the user's hand in the acquired image. there is.

아울러 차량은 영상 출력부(230)를 통해 기준 점의 영상을 출력한 후 기준 점의 위치에 기초하여 시트를 조절할 것을 사용자에게 요청하는 것도 가능하다.In addition, the vehicle may output an image of the reference point through the image output unit 230 and then request the user to adjust the seat based on the position of the reference point.

이때 차량은 기준 점의 위치와 손의 위치에 따라 시트를 조절하는 방법에 대한 안내 정보를 표시부를 통해 영상으로 표시하거나, 사운드 출력부를 통해 안내음으로 출력하도록 할 수 있다. In this case, the vehicle may display guide information on how to adjust the seat according to the position of the reference point and the position of the hand as an image through the display unit or output as a guide sound through the sound output unit.

즉 차량은 입력부(105)를 통해 시트 조절 명령이 수신되면 수신된 시트 조절 명령에 기초하여 시트의 위치를 조절하는 것도 가능하다.That is, when a seat adjustment command is received through the input unit 105 , the vehicle may adjust the position of the seat based on the received seat adjustment command.

사용자는 기준점의 위치에 기초하여 손을 위치시키기 용이한 위치가 되도록 시트를 직접 조절할 수 있다.The user may directly adjust the seat to a position where it is easy to place the hand based on the position of the reference point.

시트의 위치를 조절할 때, 시트의 상하 높이 및 전후 거리를 조절할 수 있다.When adjusting the position of the seat, it is possible to adjust the vertical height and the front and rear distance of the seat.

차량은 사용자 인터페이스 장치의 영상 획득부(210)에 의해 획득된 손의 영상에 기초하여 제스처를 인식하고 인식된 제스처가 기준 점 영상을 터치하는 터치 제스처로 인식되면 기준 점 영상을 조향 조작계 영상으로 변경한다. 이때 영상 출력부(230)를 통해 출력되는 영상을 변경할 수 있다.The vehicle recognizes a gesture based on the image of the hand acquired by the image acquisition unit 210 of the user interface device, and when the recognized gesture is recognized as a touch gesture that touches the reference point image, the reference point image is changed to a steering operation system image do. In this case, the image output through the image output unit 230 may be changed.

즉 차량은 스티어링 휠의 영상을 홀로그램 영상으로 출력(174)할 수 있다.That is, the vehicle may output (174) the image of the steering wheel as a hologram image.

여기서 조향 조작계 영상은, 스티어링 휠 영상, 버튼 영상 등을 포함할 수 있다.Here, the steering control system image may include a steering wheel image, a button image, and the like.

차량은 조향 조작계 영상을 출력한 후 영상 획득부(210)를 통해 사용자의 손의 영상을 획득(175)하고 획득된 영상에 기초하여 제스처를 인식하고 인식된 제스처에 기초하여 조향 명령을 인식(176)하고 인식된 조향 명령에 기초하여 조향 장치를 구동(177)시킨다. After outputting the steering control system image, the vehicle acquires an image of the user's hand through the image acquisition unit 210 (175), recognizes a gesture based on the acquired image, and recognizes a steering command based on the recognized gesture (176) ) and drives (177) the steering device based on the recognized steering command.

차량은 기준 점 영상의 위치 정보를 기준 위치 정보로 설정하고, 기준 위치 정보에 대한 좌표 값을 기준 좌표값으로 설정한다. 그리고 차량은 기준 좌표값(RP)을 기준으로 영상 획득부(210)에서 획득된 영상의 반경(M)을 설정하고 설정된 반경에 기초하여 원을 생성한다.The vehicle sets the position information of the reference point image as the reference position information, and sets the coordinate value for the reference position information as the reference coordinate value. And the vehicle sets the radius M of the image acquired by the image acquisition unit 210 based on the reference coordinate value RP, and generates a circle based on the set radius.

차량은 기준 좌표값(RP)을 기준으로 미리 설정된 반경을 가진 원을 생성하고 생성된 원의 영상이 출력되도록 영상 출력부를 제어할 수 있다. The vehicle may generate a circle having a preset radius based on the reference coordinate value RP and control the image output unit to output an image of the generated circle.

기준 좌표값(RP)을 기준으로 영상 획득부(210)에서 획득된 영상은, 기준 좌표값을 원의 중심값으로 가지는 원과 사용자의 손의 영상일 수 있다.The image acquired by the image acquisition unit 210 based on the reference coordinate value RP may be an image of the user's hand and a circle having the reference coordinate value as the center value of the circle.

제스처를 인식할 때, 차량은 생성된 원 내의 영상에 대한 제스처를 인식한다.When recognizing the gesture, the vehicle recognizes the gesture for the image within the generated circle.

일 예로, 차량은 생성된 원의 전체 면적 중에 손 바닥이 차지하는 손바닥 면적을 확인하고, 확인된 손바닥 면적에 기초하여 제스처를 인식할 수 있다.As an example, the vehicle may identify a palm area occupied by the palm of the hand among the total area of the generated circle, and recognize a gesture based on the confirmed palm area.

다른 예로, 차량은 기준 점을 중심으로 생성된 원의 테두리에 걸치는 손가락의 개수를 확인하고 확인된 손가락의 개수에 기초하여 제스처를 인식한다. 여기서 손가락의 수는 원의 테두리를 기준으로 하는 영상의 명암 대비 수일 수 있다.As another example, the vehicle checks the number of fingers spanning the edge of a circle generated around the reference point, and recognizes a gesture based on the checked number of fingers. Here, the number of fingers may be the number of contrasts of the image based on the edge of the circle.

또 다른 예로, 차량은 생성된 원의 전체 면적 중에 손 바닥이 차지하는 손바닥 면적을 확인하고, 기준 점을 중심으로 생성된 원에 걸치는 손가락의 개수를 확인하고 확인된 손가락의 개수와 손바닥의 면적에 기초하여 제스처를 인식한다.As another example, the vehicle checks the palm area occupied by the palm of the total area of the generated circle, checks the number of fingers spanning the circle generated around the reference point, and determines the number of fingers based on the identified number of fingers and the area of the palm to recognize gestures.

예를 들어, 차량은 전체 면적 대비 손바닥의 면적이 제1기준값 이하이면 좌회전을 제어하고 전체 면적 대비 손바닥의 면적이 제1기준값을 초과하면 우회전을 제어할 수 있다.For example, the vehicle may control left rotation when the area of the palm relative to the total area is equal to or less than the first reference value, and control the right rotation when the area of the palm relative to the total area exceeds the first reference value.

다른 예로, 차량은 인식된 제스처가 엄지 손가락을 굽힌 제스처이면 좌회전을 제어하고 인식된 제스처가 새끼 손가락을 굽힌 제스처이면 우회전을 제어할 수 있다.As another example, the vehicle may control a left turn if the recognized gesture is a gesture in which the thumb is bent, and may control a right turn if the recognized gesture is a gesture in which the little finger is bent.

또 다른 예로, 차량은 인식된 제스처가 굽힌 손가락의 개수에 대응하여 조향 각도를 조절하는 것도 가능하다.As another example, the vehicle may adjust the steering angle in response to the number of fingers bent by the recognized gesture.

또 다른 예로, 차량은 인식된 제스처가 손가락을 굽힌 제스처일 때, 손가락을 굽힌 시간에 기초하여 조향 각도를 조절하는 것도 가능하다.As another example, when the recognized gesture is a finger bent gesture, the vehicle may adjust the steering angle based on the finger bent time.

차량은 제스처 인식에 대응하여 햅틱부(220)의 동작을 제어할 수 있다.The vehicle may control the operation of the haptic unit 220 in response to gesture recognition.

즉 차량은 햅틱부(220)의 동작을 제어할 때, 제스처 인식에 대응하여 압전 소자 어레이 각각에 대한 초음파 발생을 제어할 수 있다. That is, when the vehicle controls the operation of the haptic unit 220 , the vehicle may control the generation of ultrasonic waves for each of the piezoelectric element arrays in response to gesture recognition.

여기서 초음파를 발생시키는 것은, 촉각 신호를 출력(178)하는 것을 포함한다.Here, generating the ultrasound includes outputting 178 a tactile signal.

이에 따라 사용자가 압전소자 어레이에서 출력되는 복수개의 초음파 신호에 의해 공중에서 촉감을 느낄 수 있도록 할 수 있다.Accordingly, the user can feel the touch in the air by the plurality of ultrasonic signals output from the piezoelectric element array.

본 실시 예는 복수 개의 압전소자 어레이에 의한 촉각 피드백을 이용하여 공중에서의 제스처 컨트롤을 보다 현실감 있게 할 수 있다.According to the present embodiment, gesture control in the air can be more realistically performed using tactile feedback by a plurality of piezoelectric element arrays.

즉 사용자는 홀로그램 영상으로 허공에 형상화된 조향 조작 버튼을 누르는 동안 초음파 햅틱으로 촉감 피드백이 구현되며 차량의 조향을 조작할 수 있다.That is, while the user presses the steering operation button shaped in the air with a holographic image, tactile feedback is implemented with ultrasonic haptics and the vehicle steering can be operated.

한편, 개시된 실시 예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create a program module to perform the operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. The computer-readable recording medium includes any type of recording medium in which instructions readable by the computer are stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.As described above, the disclosed embodiments have been described with reference to the accompanying drawings. Those of ordinary skill in the art to which the present invention pertains, without changing the technical spirit or essential features of the present invention, form different from the disclosed embodiments It will be understood that the present invention may be practiced with The disclosed embodiments are illustrative and should not be construed as limiting.

1: 차량 105: 입력부
106: 표시부 108: 암레스트
110: 제어부 200: 사용자 인터페이스 장치
210: 영상 획득부 220: 햅틱부
230: 영상 출력부1: vehicle 105: input
106: display unit 108: armrest
110: control unit 200: user interface device
210: image acquisition unit 220: haptic unit
230: video output unit

Claims (20)

적어도 하나의 전자 장치를 제어하기 위한 사용자 명령을 전송하는 사용자 인터페이스 장치에 있어서,
사용자의 영상을 획득하는 영상 획득부;
조작계 영상을 출력하는 영상 출력부;
상기 획득된 영상에 기초하여 제스처를 인식하고 인식된 제스처에 대응하는 사용자 명령을 인식하고 인식된 사용자 명령을 상기 적어도 하나의 전자 장치에 전송하는 제어부; 및
상기 제어부의 제어 명령에 대응하여 상기 제스처 인식에 대한 촉각 신호를 출력하는 햅틱부를 포함하는 사용자 인터페이스 장치.A user interface device for transmitting a user command for controlling at least one electronic device, the user interface device comprising:
an image acquisition unit for acquiring an image of a user;
an image output unit for outputting an operation system image;
a controller for recognizing a gesture based on the acquired image, recognizing a user command corresponding to the recognized gesture, and transmitting the recognized user command to the at least one electronic device; and
and a haptic unit configured to output a tactile signal for the gesture recognition in response to a control command from the controller. 제 1 항에 있어서,
상기 제어부는, 기준 점의 영상을 출력하도록 상기 영상 출력부를 제어하고, 상기 영상 획득부에 의해 획득된 사용자의 영상이 상기 출력된 기준 점의 영상을 터치하는 영상이라고 판단되면 상기 기준 점의 영상을 상기 조작계 영상으로 변경하도록 상기 영상 출력부를 제어하는 사용자 인터페이스 장치.The method of claim 1,
The control unit controls the image output unit to output an image of a reference point, and when it is determined that the image of the user acquired by the image acquisition unit is an image touching the output image of the reference point, the image of the reference point A user interface device for controlling the image output unit to change to the operation system image. 제 1 항에 있어서,
상기 영상 출력부는, 홀로그램 영상을 출력하고,
상기 제어부는, 상기 홀로그램의 영상이 표시되는 위치 정보에 기초하여 상기 햅틱부를 통해 출력되는 촉각 신호의 출력 위치를 설정하는 사용자 인터페이스 장치.The method of claim 1,
The image output unit outputs a holographic image,
The control unit may be configured to set an output position of a tactile signal output through the haptic unit based on position information at which the hologram image is displayed. 제 1 항에 있어서, 상기 제어부는,
기준 점의 영상을 출력하도록 상기 영상 출력부를 제어하고, 상기 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 생성하고 상기 생성된 영 영상이 출력되도록 상기 영상 출력부를 제어하고, 상기 영상 획득부를 통해 획득된 원 영상 내의 손바닥의 영상에 기초하여 상기 원 영상 내의 손바닥의 면적을 획득하고, 상기 원 영상의 면적과 상기 손바닥의 면적에 기초하여 상기 제스처를 인식하는 사용자 인터페이스 장치.According to claim 1, wherein the control unit,
controlling the image output unit to output an image of a reference point, generating an original image based on location information of the reference point and a preset radius, and controlling the image output unit to output the generated zero image, and acquiring the image A user interface device configured to obtain an area of the palm in the original image based on an image of the palm in the original image obtained through the unit, and recognize the gesture based on the area of the original image and the area of the palm. 제 1 항에 있어서, 상기 햅틱부는,
초음파 신호를 출력하는 복수 개의 압전 소자 어레이를 포함하는 사용자 인터페이스 장치.According to claim 1, wherein the haptic unit,
A user interface device comprising a plurality of piezoelectric element arrays for outputting ultrasonic signals. 제 1 항에 있어서, 상기 제어부는,
상기 영상 획득부를 통해 획득된 상기 사용자의 영상 중 손 가락의 영상에 기초하여 상기 손 가락의 수를 인식하고 상기 인식된 손가락의 수를 제스처로 인식하는 사용자 인터페이스 장치.According to claim 1, wherein the control unit,
A user interface device for recognizing the number of fingers based on an image of a finger among the images of the user obtained through the image acquisition unit and recognizing the recognized number of fingers as a gesture. 제 1 항에 있어서, 상기 제어부는,
기준 점의 영상을 출력하도록 상기 영상 출력부를 제어하고, 상기 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 출력하고, 상기 영상 획득부에 의해 획득된 상기 원 영상의 테두리의 명암 대비의 수에 기초하여 상기 원 영상의 테두리에 걸치는 손 가락의 수를 인식하고 상기 인식된 손가락의 수를 제스처로 인식하는 사용자 인터페이스 장치.According to claim 1, wherein the control unit,
The image output unit is controlled to output an image of a reference point, and an original image is output based on the position information of the reference point and a preset radius, and the contrast of the edge of the original image acquired by the image acquisition unit is A user interface device for recognizing the number of fingers spanning the edge of the original image based on the number and recognizing the recognized number of fingers as a gesture. 조향 장치;
사용자의 영상을 획득하는 영상 획득부;
조작계 영상을 출력하는 영상 출력부;
상기 획득된 영상에 기초하여 제스처를 인식하고 상기 인식된 제스처에 대응하는 사용자 명령을 인식하고 상기 인식된 사용자 명령에 기초하여 상기 조향 장치의 동작을 제어하는 제어부; 및
상기 제어부의 제어 명령에 대응하여 상기 제스처 인식에 대한 촉각 신호를 출력하는 햅틱부를 포함하는 차량.steering gear;
an image acquisition unit for acquiring an image of a user;
an image output unit for outputting an operation system image;
a controller for recognizing a gesture based on the acquired image, recognizing a user command corresponding to the recognized gesture, and controlling an operation of the steering device based on the recognized user command; and
and a haptic unit configured to output a tactile signal for the gesture recognition in response to a control command from the controller. 제 8 항에 있어서,
시트의 위치를 조절하는 시트 조절부를 더 포함하고,
상기 제어부는, 기준 점의 영상을 출력하도록 상기 영상 출력부의 동작을 제어하고, 상기 영상 획득부에 의해 획득된 사용자의 영상 중 손의 영상과 상기 기준 점의 영상에 기초하여 상기 시트 조절부의 동작을 제어하는 차량.9. The method of claim 8,
Further comprising a seat adjustment unit for adjusting the position of the seat,
The control unit controls the operation of the image output unit to output the image of the reference point, and performs the operation of the seat adjustment unit based on the image of the hand and the image of the reference point among the images of the user acquired by the image acquisition unit controlling vehicle. 제 8 항에 있어서,
상기 영상 출력부는, 홀로그램 영상을 출력하고,
상기 제어부는, 기준 점의 영상을 출력하도록 상기 영상 출력부를 제어하고, 상기 영상 획득부에 의해 획득된 사용자의 영상이 상기 출력된 기준 점의 영상을 터치하는 영상이라고 판단되면 상기 기준 점의 영상을 홀로그램의 조작계 영상으로 변경하도록 상기 영상 출력부를 제어하는 차량.9. The method of claim 8,
The image output unit outputs a holographic image,
The control unit controls the image output unit to output an image of a reference point, and when it is determined that the image of the user acquired by the image acquisition unit is an image touching the output image of the reference point, the image of the reference point A vehicle that controls the image output unit to change the hologram into an operation system image. 제 8 항에 있어서,
상기 영상 출력부는, 전방 시현기를 포함하고,
상기 제어부는, 상기 영상 획득부에 의해 획득된 사용자의 영상에 기초하여 상기 햅틱부에서 출력되는 촉각 신호의 출력 위치를 설정하는 차량.9. The method of claim 8,
The image output unit includes a front display device,
The controller is configured to set an output position of a tactile signal output from the haptic unit based on the user's image acquired by the image acquiring unit. 제 8 항에 있어서,
입력부; 및
사운드 출력부 및 표시부 중 적어도 하나를 더 포함하고,
상기 제어부는, 기준 점의 영상을 출력하도록 상기 영상 출력부의 동작을 제어하고, 시트 조절에 대한 안내 정보를 출력하도록 상기 사운드 출력부 및 상기 표시부 중 적어도 하나의 동작을 제어하고, 상기 입력부에 수신된 시트 조절 명령에 기초하여 시트의 위치를 조절하도록 상기 시트의 동작을 제어하는 차량.9. The method of claim 8,
input unit; and
Further comprising at least one of a sound output unit and a display unit,
The control unit controls an operation of the image output unit to output an image of a reference point, controls an operation of at least one of the sound output unit and the display unit to output guide information for sheet adjustment, A vehicle controlling an operation of the seat to adjust a position of the seat based on a seat adjustment command. 제 8 항에 있어서,
상기 영상 출력부 및 상기 햅틱부 중 적어도 하나의 설정 정보를 수신하는 입력부를 더 포함하고,
상기 설정 정보는, 상기 조작계 영상의 타입, 상기 조작계 영상의 크기, 상기 조작계 영상의 모양, 상기 조작계 영상이 표시되는 위치 정보, 조작계의 용도 정보 및 상기 햅틱부의 촉각 신호가 출력되는 위치 정보 중 적어도 하나를 포함하고,
상기 제어부는, 상기 입력부에 입력된 적어도 하나의 설정 정보에 기초하여 상기 영상 출력부 및 상기 햅틱부 중 적어도 하나를 제어하는 차량.9. The method of claim 8,
Further comprising an input unit for receiving setting information of at least one of the image output unit and the haptic unit,
The setting information may include at least one of a type of the manipulation system image, a size of the manipulation system image, a shape of the manipulation system image, location information at which the manipulation system image is displayed, usage information of the manipulation system, and position information at which the tactile signal of the haptic unit is output. including,
The control unit may control at least one of the image output unit and the haptic unit based on at least one setting information input to the input unit. 제 8 항에 있어서,
상기 햅틱부는, 초음파 신호를 출력하는 복수 개의 압전 소자 어레이와 초음파 스피커를 포함하고,
상기 복수 개의 압력 소자 어레이는, 상기 제어부의 제어 명령에 대응하는 입력 주파수에 대응하는 진동 압력으로 촉각신호를 출력하고,
상기 초음파 스피커는, 상기 제어부의 제어 명령에 대응하는 사운드로 촉각 신호를 출력하는 차량.9. The method of claim 8,
The haptic unit includes a plurality of piezoelectric element arrays for outputting ultrasonic signals and an ultrasonic speaker,
The plurality of pressure element arrays output a tactile signal as a vibration pressure corresponding to an input frequency corresponding to a control command of the control unit,
The ultrasonic speaker outputs a tactile signal as a sound corresponding to a control command of the controller. 제 8 항에 있어서, 상기 햅틱부는,
초음파 신호를 출력하는 복수 개의 압전 소자 어레이를 포함하는 차량.The method of claim 8, wherein the haptic unit,
A vehicle including a plurality of piezoelectric element arrays for outputting ultrasonic signals. 제 8 항에 있어서, 상기 제어부는,
기준 점의 영상을 출력하도록 상기 영상 출력부를 제어하고, 상기 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 생성하고 생성된 원 영상이 출력되도록 상기 영상 출력부를 제어하고, 상기 상기 영상 획득부를 통해 획득된 영상에 기초하여 상기 원 형상 내의 손바닥의 면적을 획득하고, 상기 생성된 원의 면적과 상기 손바닥의 면적에 기초하여 상기 제스처를 인식하는 차량.The method of claim 8, wherein the control unit,
controlling the image output unit to output an image of a reference point, generating an original image based on location information of the reference point and a preset radius, and controlling the image output unit to output the generated original image, and obtaining the image A vehicle that acquires an area of the palm in the circular shape based on an image obtained through a portion, and recognizes the gesture based on the generated area of the circle and the area of the palm. 제 8 항에 있어서, 상기 제어부는,
기준 점의 영상을 출력하도록 상기 영상 출력부를 제어하고, 상기 기준 점의 위치 정보와 미리 설정된 반경에 기초하여 원 영상을 생성하고 상기 생성된 원 영상이 출력되도록 상기 영상 출력부를 제어하고, 상기 영상 획득부에 의해 획득된 상기 원 영상의 테두리의 명암 대비의 수에 기초하여 상기 원 영상의 테두리에 걸치는 손 가락의 수를 인식하고 상기 인식된 손가락의 수를 제스처로 인식하는 차량.The method of claim 8, wherein the control unit,
controlling the image output unit to output an image of a reference point, generating an original image based on location information of the reference point and a preset radius, and controlling the image output unit to output the generated original image, and acquiring the image A vehicle for recognizing the number of fingers spanning the rim of the original image based on the number of contrasts of the rim of the original image obtained by the unit and recognizing the recognized number of fingers as a gesture. 영상 출력부를 통해 기준 점의 영상을 출력하고,
상기 기준 점의 위치 정보에 기초하여 원을 생성하고,
상기 생성된 원 내의 손의 영상을 획득하고,
상기 획득된 손의 영상에 기초하여 제스처를 인식하고,
상기 인식된 제스처에 대응하는 사용자 명령을 인식하고,
상기 인식된 사용자 명령에 기초하여 조향 장치의 동작을 제어하고,
상기 제스처의 인식에 대응하여 햅틱부의 동작을 제어하는 차량의 제어 방법.Outputs the image of the reference point through the image output unit,
Create a circle based on the location information of the reference point,
Obtaining an image of the hand in the generated circle,
Recognizing a gesture based on the obtained image of the hand,
Recognizing a user command corresponding to the recognized gesture,
controlling the operation of the steering device based on the recognized user command,
A vehicle control method for controlling an operation of a haptic unit in response to the recognition of the gesture. 제18항에 있어서,
상기 인식된 사용자 명령에 기초하여 파킹, 후진, 전진 및 중립의 동작을 제어하는 것을 더 포함하는 차량의 제어 방법.19. The method of claim 18,
The method of controlling a vehicle further comprising controlling operations of parking, reverse, forward, and neutral based on the recognized user command. 제19항에 있어서, 상기 햅틱부의 동작을 제어하는 것은,
초음파 신호를 출력하는 것을 포함하는 차량의 제어 방법.
The method of claim 19, wherein controlling the operation of the haptic unit comprises:
A method of controlling a vehicle comprising outputting an ultrasonic signal.
KR1020200147571A 2020-11-06 2020-11-06 User interface device, Vehicle having the user interface device and method for controlling the vehicle KR20220062165A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200147571A KR20220062165A (en) 2020-11-06 2020-11-06 User interface device, Vehicle having the user interface device and method for controlling the vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200147571A KR20220062165A (en) 2020-11-06 2020-11-06 User interface device, Vehicle having the user interface device and method for controlling the vehicle

Publications (1)

Publication Number Publication Date
KR20220062165A true KR20220062165A (en) 2022-05-16

Family

ID=81802762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147571A KR20220062165A (en) 2020-11-06 2020-11-06 User interface device, Vehicle having the user interface device and method for controlling the vehicle

Country Status (1)

Country Link
KR (1) KR20220062165A (en)

Similar Documents

Publication Publication Date Title
EP3299208B1 (en) Human machine interface (hmi) control unit for multiple vehicle display devices
JP6136627B2 (en) Vehicle information display device
US20200057546A1 (en) User interface and methods for inputting and outputting information in a vehicle
JP2019197575A (en) System and method for controlling plural displays by using one controller and user interface which can use haptic effects
US20220055482A1 (en) Systems And Methods For Horizon Digital Virtual Steering Wheel Controller
JP5124397B2 (en) I / O devices for automobiles
US10042432B2 (en) Programmable onboard interface
US10179510B2 (en) Vehicle arrangement, method and computer program for controlling the vehicle arrangement
JP2007106353A (en) Vehicular information display device, and vehicular information display system
JP6244822B2 (en) In-vehicle display system
US10268675B2 (en) Vehicle and control method for the vehicle
JP6119456B2 (en) Vehicle information display device
JP7032950B2 (en) Vehicle remote control device, vehicle remote control system and vehicle remote control method
KR20220062165A (en) User interface device, Vehicle having the user interface device and method for controlling the vehicle
US10732713B2 (en) Vehicle and control method thereof
US10331241B2 (en) Vehicle and a method for controlling same
US10325432B2 (en) Method for setting up multi remote control in vehicle and vehicle thereof
WO2019176787A1 (en) Operation image display device, operation image display system, and operation image display program
CN111163967B (en) Vehicle operating system with three-dimensional display
JP7512976B2 (en) Vehicle display control device, vehicle display device, vehicle display control method and program
KR101638543B1 (en) Display appratus for vehicle
KR20240007387A (en) User interface device, vehicle having the user interface device and method for controlling the vehicle
US20230221913A1 (en) Console display interlocking method and vehicle system using the same
KR101720941B1 (en) A display apparatus, a vehicle which the display apparatus installed in and a method of controlling the display apparatus
WO2019171904A1 (en) Menu display control device for vehicle, vehicle-mounted equipment operating system, and gui program

Legal Events

Date Code Title Description
A201 Request for examination