KR20180025378A - System and method for provision of head up display information based on driver's gesture - Google Patents

System and method for provision of head up display information based on driver's gesture Download PDF

Info

Publication number
KR20180025378A
KR20180025378A KR1020160110588A KR20160110588A KR20180025378A KR 20180025378 A KR20180025378 A KR 20180025378A KR 1020160110588 A KR1020160110588 A KR 1020160110588A KR 20160110588 A KR20160110588 A KR 20160110588A KR 20180025378 A KR20180025378 A KR 20180025378A
Authority
KR
South Korea
Prior art keywords
driver
target device
gesture
control target
control
Prior art date
Application number
KR1020160110588A
Other languages
Korean (ko)
Other versions
KR102025434B1 (en
Inventor
박선홍
오영달
류동운
Original Assignee
자동차부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자동차부품연구원 filed Critical 자동차부품연구원
Priority to KR1020160110588A priority Critical patent/KR102025434B1/en
Publication of KR20180025378A publication Critical patent/KR20180025378A/en
Application granted granted Critical
Publication of KR102025434B1 publication Critical patent/KR102025434B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a system and a method for extracting information to provide on a head up display (HUD) based on a gesture of a driver. The system for providing HUD information based on a driver gesture according to the present invention comprises: a target device recognition part determining a control target device corresponding to the gesture of the driver; and a control part transmitting a display control signal so as to express at least one of an image projected into the control target device and available control information of the control target device to an HUD display part.

Description

운전자 제스처 기반 HUD 정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVISION OF HEAD UP DISPLAY INFORMATION BASED ON DRIVER'S GESTURE}TECHNICAL FIELD [0001] The present invention relates to a system and a method for providing a driver gesture-based HUD information,

본 발명은 운전자의 행동(제스처)을 기반으로 헤드 업 디스플레이(HUD, Head Up Display)를 통해 정보를 제공하는 시스템 및 방법에 관한 것이다. The present invention relates to a system and method for providing information through a Head Up Display (HUD) based on driver behavior (gestures).

자동차 유리(Windshield, 윈드실드)는 단순히 외부를 보여주고 비바람을 막아주는 역할에서 벗어나 첨단 전자 기술이 적용된 스마트 윈도로 거듭나고 있다. Automotive glass (Windshield) is being reborn as a smart window with advanced electronic technology, simply out of the way and preventing the wind and rain.

대표적인 스마트 윈도 기술인 헤드 업 디스플레이는 차량의 현재 속도, 연료 잔량, 내비게이션 길 안내 정보 등을 표시하고 있으나, 주행 중(특히 고속 주행 중) 운전자가 AVN, 공조 장치 등을 다루기 위해서는 직접 AVN 또는 공조 장치의 기능 버튼을 육안으로 확인하여 버튼 조작을 수행하여야 하는 바, 안전성 및 편의성이 떨어지는 문제점이 있다. The head-up display, which is a representative smart window technology, displays the current speed of the vehicle, the amount of remaining fuel, navigation information, etc. However, in order to handle the AVN and the air conditioner during driving (especially during high speed driving) It is necessary to check the function button with the naked eye to perform the button operation, resulting in poor safety and convenience.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 운전자의 행동(제스처)을 기반으로 운전자가 조작하고자 하는 대상 기기(예: 내비게이션, 오디오, 공조 장치 등)를 파악하고, 해당 대상 기기의 가용 제어 정보 또는 해당 대상 기기의 이미지를 헤드업 디스플레이를 통해 제공함으로써, 주행 중 운전자가 시선 분산 없이 원하는 차량 내 장치의 기능을 원활히 실행시키는 것이 가능한 운전자 제스처 기반 HUD 정보 제공 시스템 및 방법을 제공하는 데 목적이 있다. SUMMARY OF THE INVENTION The present invention has been proposed in order to solve the above-described problems, and it is an object of the present invention to provide a navigation device capable of recognizing a target device (e.g., navigation, audio, air conditioner, The present invention provides a system and method for providing a driver-based gesture-based HUD information capable of smoothly executing a function of a desired in-vehicle device without distracting a driver during a driving by providing control information or an image of the target device through a head-up display .

본 발명에 따른 운전자 제스처 기반 HUD 정보 제공 시스템은 운전자의 제스처에 대응되는 제어 대상 기기를 판별하는 대상 기기 인식부 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 가용 제어 정보 중 적어도 어느 하나를 HUD 디스플레이부에 표출하도록 디스플레이 제어 신호를 전송하는 제어부를 포함하는 것을 특징으로 한다. The driver's gesture-based HUD information providing system according to the present invention may include at least one of a target device recognizing unit for identifying a control target device corresponding to a driver's gesture, and at least one of an image projected on the control target device and available control information of the control target device, And a control unit for transmitting a display control signal to display on the display unit.

본 발명에 따른 운전자 제스처 기반 HUD 정보 제공 방법은 운전자의 제스처를 인식하는 단계와, 인식한 제스처에 대응되는 제어 대상 기기를 판별하는 단계 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 기능을 실행하는 제어 정보 리스트 중 적어도 어느 하나를 디스플레이하는 단계를 포함하는 것을 특징으로 한다. A method for providing driver's gesture-based HUD information according to the present invention comprises the steps of recognizing a gesture of a driver, discriminating a control target device corresponding to a recognized gesture, executing a function of an image projected on a control target device, And displaying at least one of a list of control information to be displayed.

본 발명에 따른 운전자 제스처 기반 HUD 정보 제공 시스템 및 방법은 운전자의 시선 움직임, 손동작 등을 기반으로 운전자가 조작 또는 확인하고자 하는 대상 기기를 명확히 판별하고, 해당 대상 기기를 통해 제공 가능한 기능 또는 해당 대상 기기의 이미지 자체를 HUD를 통해 투영함으로써, 주행 중 운전자의 시선 분산 없이 원하는 기능을 실행할 수 있도록 지원하는 것이 가능한 효과가 있다. The system and method for providing driver's gesture-based HUD information according to the present invention clearly discriminates a target device to be operated or checked by a driver based on a driver's gaze movement, a hand gesture, etc., It is possible to support a desired function without dispersing the gaze of the driver during driving by projecting the image of the driver itself through the HUD.

본 발명에 따르면 운전자는 자신의 제스처를 통해 제어 대상 기기를 선택하고, 해당 대상 기기의 가용 제어 정보 및 그에 대한 명령어 리스트를 HUD를 통해 제공 받음으로써, 후속 명령어(예: 공조 장치의 온도 상승/하강, 오디오 채널 변경 등을 위한 명령어)의 입력에 있어서 어떠한 사전 학습 없이도 HUD를 통해 제공되는 정보를 이용한 직관적인 후속 명령어 입력이 가능한 효과가 있다. According to the present invention, the driver selects the control target device through his / her gesture, and receives the available control information of the target device and a list of commands for the target device via the HUD, so that the subsequent commands (for example, , Audio channel change, etc.), it is possible to input an intuitive subsequent command using information provided through the HUD without any prior learning.

본 발명에 따르면 운전자가 확인하고자 하는 대상 기기의 이미지(예: 사이드 미러에 투영되는 이미지, 현재 공조 장치의 설정 정보 등)를 HUD에 투영함으로써, 운전자는 전방을 주시한 가운데 원하는 정보를 획득할 수 있어, 안전한 주행을 지원하는 효과가 있다. According to the present invention, by projecting an image of a target device to be checked by the driver (e.g., an image projected on the side mirror, setting information of the present air conditioner, etc.) to the HUD, the driver can acquire desired information It is effective to support safe driving.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템이 적용된 차량 내부를 나타내는 개념도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 제어 대상 기기 판별을 나타내는 개념도이다.
도 5는 본 발명의 실시예에 따른 제어 대상 기기 판별을 위한 제스처 및 일반 행동에 따른 제스처의 구분을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 제어 대상 기기 명칭 디스플레이를 나타내는 개념도이다.
도 7은 본 발명의 실시예에 따른 제어 대상 기기 및 그 위의 손 위치를 오버랩하여 디스플레이하는 것을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 가용 제어 정보 디스플레이를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 운전자의 시선 이동에 따른 제어 대상 기기 판별 및 제어 대상 기기에 투영되는 이미지를 HUD를 통해 디스플레이하는 것을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 방법을 나타내는 순서도이다. 1 is a block diagram illustrating a driver gesture-based HUD information providing system according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a vehicle interior to which a driver's gesture-based HUD information providing system according to an embodiment of the present invention is applied.
FIG. 3 and FIG. 4 are conceptual diagrams showing control target device discrimination according to an embodiment of the present invention.
FIG. 5 is a diagram showing a gesture for distinguishing a control target device and a gesture according to a general action according to an embodiment of the present invention. FIG.
Fig. 6 is a conceptual diagram showing a control target device name display according to an embodiment of the present invention.
7 is a view showing overlapping and displaying the control target device and the hand position thereon according to the embodiment of the present invention.
8 is a diagram illustrating an available control information display according to an embodiment of the present invention.
FIG. 9 is a view showing a control target device discrimination according to a driver's gaze movement and displaying an image projected on a control target device through the HUD according to an embodiment of the present invention.
10 is a flowchart illustrating a driver gesture-based HUD information providing method according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention and methods of achieving them will be apparent from the following detailed description of embodiments thereof taken in conjunction with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the exemplary embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, And advantages of the present invention are defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. &Quot; comprises "and / or" comprising ", as used herein, unless the recited component, step, operation, and / Or added.

도 1을 참조하면, 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템은 운전자의 제스처에 대응되는 제어 대상 기기(예: 내비게이션, 오디오, 공조 장치, 사이드 미러 등)를 판별하는 대상 기기 인식부(100) 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 가용 제어 정보 중 적어도 어느 하나를 HUD 디스플레이부(300)에 표출하도록 디스플레이 제어 신호를 전송하는 제어부(200)를 포함한다. Referring to FIG. 1, a system for providing a driver's gesture-based HUD information according to an embodiment of the present invention includes a target device recognition device for identifying a control target device (e.g., navigation device, audio device, air conditioning device, side mirror device, etc.) corresponding to a gesture of a driver And a controller 200 for transmitting a display control signal to the HUD display unit 300 so as to display at least one of the image projected on the control unit 100 and the control target device and the available control information of the control target equipment.

도 2는 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 시스템이 적용된 차량 내부를 도시하는 도면이다. FIG. 2 is a view showing a vehicle interior to which a driver's gesture-based HUD information providing system according to an embodiment of the present invention is applied.

운전자 전방 유리에는 HUD 디스플레이부(300)를 통해 그래픽 이미지가 투영되는 HUD 영역(300a)이 배치된다. In the driver's windshield, a HUD area 300a through which the graphic image is projected is arranged through the HUD display unit 300. [

본 발명의 실시예에 따른 HUD 디스플레이부(300)는 LCD나 OLED 등의 투명 디스플레이를 차량 전방 유리창 면이나 운전자와 차량 전방 유리창 사이에 설치하는 디스플레이 패널 방식, 자동차 전면 유리창에 발광 물질을 도포한 후 레이저 빔을 쏘는 레이저 방식, 차량 대시보드 안에 프로젝션 광학 장치를 매립한 후 차량 전면 유리창을 향해 상방향으로 영상을 투사하고 투사된 영상의 일부가 유리창에 반사되어 운전자에게 보여지는 프로젝션 방식 등으로 구현된다. The HUD display unit 300 according to the embodiment of the present invention is a display panel system in which a transparent display such as an LCD or an OLED is installed between a front window of a vehicle or a driver and a front window of a vehicle, A laser method for shooting a laser beam, a projection method in which an image is projected upward toward a front window of a vehicle after embedding a projection optical device in a vehicle dashboard, and a part of the projected image is reflected to a window and displayed to a driver .

대상 기기 인식부(100)는 운전자의 시선 이동, 손 동작 및 행동 패턴 중 적어도 어느 하나를 특정 기기를 조작하고자 하는 운전자의 의도가 포함된 제스처로 인식한다. The target device recognition unit 100 recognizes at least one of the driver's gaze movement, hand movement, and behavior pattern as a gesture including the driver's intention to operate the specific device.

본 발명의 상세한 설명에서는 당업자의 이해를 돕기 위하여 대상 기기 인식부(100)가 손 동작 및 행동 패턴을 인식하여 제어 대상 기기(내비게이션, 오디오, 공조 장치)를 판별하는 실시예를 도 3 내지 도 8과 관련한 설명으로 서술하고, 대상 기기 인식부(100)가 운전자의 시선 이동을 통해 제어 대상 기기(사이드 미러)를 판별하는 실시예를 도 9와 관련된 설명으로 서술한다. In the detailed description of the present invention, an embodiment in which the target device recognition unit 100 recognizes a hand operation and a behavior pattern to determine a control target device (navigation, audio, air conditioner) is shown in FIGS. 3 to 8 And a description will be given of an embodiment in which the target device recognition unit 100 discriminates the device to be controlled (side mirror) through the driver's gaze movement, with reference to FIG. 9. FIG.

이는 당업자의 이해를 돕기 위한 것으로, 운전자의 시선 이동을 인식함으로써 내비게이션, 오디오 또는 공조 장치를 조작하고자 하는 운전자의 의도를 파악하여 제어 대상 기기를 판별하는 것과, 운전자의 손 동작 또는 행동 패턴(추월 또는 차선 변경을 위한 행동 패턴, 예컨대 스티어링 휠 파지 상태 또는 방향 지시등 작동 상태 등)을 인식하여 사이드 미러를 제어 대상 기기로 판별하는 것 역시 가능하다. It is intended to assist those skilled in the art to understand the intentions of the driver who intends to operate the navigation, audio or air conditioner by recognizing the movement of the driver's gaze to discriminate the control target device, It is also possible to recognize the side mirror as the control target device by recognizing the behavior pattern for changing the lane, for example, the steering wheel holding state or the direction indicator operation state).

본 발명의 실시예에 따른 대상 기기 인식부(100)는 도 2에 도시한 바와 같이, 차량 내부에 배치된 카메라(100a) 및 제어 대상 기기의 각 영역에 배치된 동작 인식 센서(100b, 100c, 100d) 중 적어도 어느 하나를 포함하여 구성된다. 2, the target device recognizing unit 100 according to the embodiment of the present invention includes a camera 100a disposed inside the vehicle and motion recognition sensors 100b, 100c, And 100d.

카메라(100a)의 경우 내비게이션(400), 오디오(500) 및 공조 장치(600)의 각 영역에 운전자의 손이 위치하게 되는 경우 깊이 정보 등을 이용하여 운전자의 손이 위치한 해당 제어 대상 기기의 제스처 인식 영역을 판별하게 되고, 동작 인식 센서(100b, 100c, 100d)의 경우 대표적으로 적외선 센서로 구성되며 각 제어 대상 기기의 해당 영역에서 발생되는 운전자의 손 동작(제스처)을 인식한다. In the case of the camera 100a, when the driver's hand is located in each area of the navigation system 400, the audio system 500, and the air conditioner 600, the gesture of the corresponding control target device in which the driver's hand is located And recognizes the hand gesture of the driver generated in the corresponding area of each control target device. In the case of the motion recognition sensors 100b, 100c, and 100d, infrared sensors are typically used.

이하에서는 도 3 내지 도 5를 참조하여, 대상 기기 인식부(100)의 운전자 제스처 인식 및 제어 대상 기기 판별 과정을 설명한다. Hereinafter, the driver gesture recognition and control target device discrimination process of the target device recognition unit 100 will be described with reference to FIGS. 3 to 5. FIG.

본 발명의 실시예에 따른 대상 기기 인식부(100)는 운전자의 제스처(손동작)의 이동 궤적을 인식하고, 운전자의 손이 제어 대상 기기의 영역에 일정 시간 이상 위치하는 경우, 해당 영역의 제어 대상 기기를 운전자가 조작하고자 하는 대상 기기로 인식하게 된다. The target device recognition unit 100 according to the embodiment of the present invention recognizes the movement trajectory of the driver's gesture (hand movement), and when the hands of the driver are located in the area of the control target device for a predetermined time or more, The device is recognized as a target device to be operated by the driver.

도 3 (a)에 도시한 바와 같이, 운전자의 손(10)이 인식 영역 밖에 있다가(t1), 인식 영역 안으로 들어오게 되는 경우(t2), 해당 대상 기기 인식부(전술한 공조 장치에 위치한 동작 인식 센서 또는 카메라)는 운전자의 손 동작이 해당 영역 내에서 기설정된 시간(예: 2초) 이상 정지(pause)되는 경우에 그 영역에 대응되는 기기(공조 장치, 600)를 제어 대상 기기로 판별한다. As shown in Fig. 3 (a), when the driver's hand 10 is located outside the recognition area (t1) and enters the recognition area (t2), the target device recognition unit The operation recognition sensor or the camera) transmits the device (air conditioner 600) corresponding to the area of the driver's hand to the control target device when the operation is paused for a predetermined time (for example, 2 seconds) .

또한, 도 3 (b)에 도시한 바와 같이, 운전자의 손이 공조 장치(600)의 제스처 인식 영역 안에 있다가(t1), 오디오(500)의 제스처 인식 영역으로 들어오게 되는 경우(t2), 오디오(500)의 제스처 인식 영역에서 기설정된 시간(예: 2초) 이상 정지(pause)되는 경우에 오디오(500)를 제어 대상 기기로 판별한다. 3 (b), when the driver's hand is in the gesture recognition area of the air conditioner 600 (t1) and enters the gesture recognition area of the audio 500 (t2) When the audio 500 is paused for more than a predetermined time (for example, 2 seconds) in the gesture recognition area of the audio 500, the audio 500 is determined as the control target device.

본 발명에 따르면 운전자의 의도(조작하고자 하는 대상 기기에 대한 의도)를 보다 명확하게 판단하기 위하여, 해당 영역에서 제스처가 기설정된 시간 이상 포즈(pause)되는 경우에 제어 대상 기기를 판별함으로써 판별의 정확도를 향상시키는 효과가 있다. According to the present invention, in order to more clearly determine the driver's intention (the intention of the target device to be operated), in the case where the gesture is paused for a predetermined time or longer in the corresponding area, . ≪ / RTI >

도 2 및 도 3에 도시한 바와 같이, 차량 내 센터페시아에는 내비게이션(400), 오디오(500) 및 공조 장치(600)의 각 영역이 충분히 이격되어 배치될 수도 있으나, 운전자의 제스처(손동작)가 여러 영역에 걸쳐 포즈(pause) 되는 경우가 발생할 수도 있다. 2 and 3, the respective areas of the navigation system 400, the audio system 500, and the air conditioner 600 may be sufficiently spaced apart from each other in the in-vehicle center fascia, but the gesture of the driver It may happen that a pause occurs in various areas.

본 발명에 따르면, 운전자의 손의 전체 면적 중 상대적으로 많은 면적이 인식되는 영역에 해당하는 제어 대상 기기를 판별하거나, 통상 버튼 조작에 익숙한 운전자는 검지 손가락으로 버튼을 누르므로, 운전자의 검지가 위치하는 영역에 해당하는 제어 대상 기기를 판별하는 것이 바람직하다. According to the present invention, since the driver who is familiar with the normal button operation presses the button with the index finger or the control target device corresponding to the area in which a relatively large area is recognized among the entire area of the driver's hand, It is preferable to determine the control target device corresponding to the area to be controlled.

도 4는 본 발명의 다른 실시예에 따른 대상 기기 인식부(100)의 제어 대상 기기 판별을 도시하는 것으로, 대상 기기 인식부(100)는 운전자의 제스처(손동작)의 이동에 후속하여 입력되는 기설정된 선택 제스처를 인식하여, 제어 대상 기기를 판별하는 것이 가능하다. FIG. 4 shows the discrimination of the control target device of the target device recognizing unit 100 according to another embodiment of the present invention. The target device recognizing unit 100 recognizes the target device following the movement of the driver's gesture (hand movement) It is possible to recognize the selected gesture and discriminate the control target device.

도 4의 (a)에 도시한 바와 같이, 운전자의 손(10)은 제스처 인식 영역 밖에서(t1), 공조 장치(600)의 제스처 인식 영역으로 진입하고(t2), 이후 도 4의 (b)에 도시한 바와 같이 기설정된 선택 제스처로서 주먹을 쥐게 되는 경우, 이를 선택 신호로 수신하여 공조 장치(600)를 제어 대상 기기로 판별하게 된다. 4 (a), the driver's hand 10 enters the gesture recognition area of the air conditioner 600 (t2) outside the gesture recognition area (t1), and then enters the gesture recognition area of the air conditioner 600, When the user holds the fist as a predetermined selection gesture as shown in FIG. 6A, the air conditioner 600 is received as a selection signal, and the air conditioner 600 is determined as the control target device.

본 실시예에 따르면, 사전에 설정된 선택 제스처를 운전자가 취하게 되면, 이를 대상 기기에 대한 선택 신호로 인식하여 해당 영역에 대응되는 기기(공조 장치)를 제어 대상 기기로 판별한다. According to the present embodiment, when the driver picks up a predetermined selection gesture, the controller recognizes the selected gesture as a selection signal for the target device, and determines the device (air conditioner) corresponding to the target area as the control target device.

도 5는 본 발명의 실시예에 따른 제어 대상 기기 판별을 위한 제스처와 일반 행동에 따른 제스처를 구분하는 양태를 나타내는 개념도이다. FIG. 5 is a conceptual diagram showing a mode for distinguishing a gesture for discriminating a control target device from a gesture according to a general action according to an embodiment of the present invention.

본 발명은 운전자의 제스처를 기반으로 제어 대상 기기를 판별하고, 해당 제어 대상 기기의 가용 제어 정보 또는 제어 대상 기기의 이미지를 HUD를 통해 제공하는 것을 기술적 요지로 하는 것으로, 운전자의 기기 조작 의도가 포함되지 않은 일반 행동을 제어 대상 기기 판별을 위한 제스처 입력으로 인식하지 않아야 할 필요성이 있다. The present invention is characterized in that the control target device is discriminated based on the gesture of the driver and the available control information of the control target device or the image of the control target device is provided through the HUD. There is a need to not recognize the general behavior as a gesture input for discriminating the control target device.

따라서, 대상 기기 인식부(100)는 운전자의 행동 패턴 또는 제스처가 발생되는 지점과 자신의 이격 거리를 고려하여, 운전자의 제스처를 일반 행동에 따른 제스처와 제어 대상 기기 판별을 위한 제스처로 구분하여 인식한다. Accordingly, the target device recognition unit 100 classifies the gesture of the driver into a gesture according to the general behavior and a gesture for the determination of the control target device in consideration of the driver's behavior pattern or the point where the gesture is generated, do.

도 5에 도시한 바와 같이, 기설정 거리 이상 이격된 지점(L1)에서 발생되는 운전자의 제스처는 일반 행동(예: 글로브 박스에서 물건을 꺼내기 위한 손 동작 등)으로 인식하여 제어 대상 기기 판별을 수행하지 아니하고, 기설정 거리 미만 이격된 지점(L2)에서 발생되는 운전자의 제스처는 제어 대상 기기 판별을 위한 제스처로 인식한다. As shown in FIG. 5, the driver's gesture generated at the position (L1) apart from the predetermined distance is recognized as a general action (for example, a hand action for taking out the object from the glove box, etc.) , The driver's gesture generated at the position (L2) spaced below the predetermined distance is recognized as a gesture for discriminating the control target device.

이는 앞서 설명한 운전자의 제스처가 기설정 시간 이상 정지(pause)되는 경우(도 3 관련 실시예) 및 기설정된 선택 제스처가 입력되는 경우(도 4 관련 실시예)의 대상 기기 인식 과정을 통해서도 달성될 수 있는 것이나, 운전자의 일반 행동이 기설정 시간 이상 포즈되거나 의도치 않게 선택 제스처가 취하여 지는 경우도 발생될 수 있는 바, 제스처 발생 지점 및 대상 기기 인식부(100) 간의 이격 거리를 기반으로 한 제스처 구분 인식에 관련된 본 실시예를 통해 더욱 정확하게 대상 기기를 판별하는 것이 가능하다. This can also be achieved through the target device recognition process in the case where the gesture of the driver described above is paused for more than the preset time (embodiment related to Fig. 3) and when a predetermined selection gesture is inputted The gesture classification based on the distance between the gesture generation point and the target device recognition unit 100 may be performed because the gesture classification based on the distance between the gesture generation point and the target device recognition unit 100 may occur, It is possible to more accurately determine the target device through this embodiment related to recognition.

도 6은 본 발명의 실시예에 따른 제어 대상 기기 명칭을 HUD를 통해 제공하는 것을 나타내는 개념도이다. FIG. 6 is a conceptual diagram showing that the control target device name according to the embodiment of the present invention is provided through the HUD; FIG.

본 발명에 따르면 운전자는 HUD 디스플레이부의 디스플레이 영역(300a)을 통해 제어 대상 기기의 가용 제어 정보 또는 제어 대상 기기의 이미지를 육안으로 확인할 수 있게 되는데, 이에 앞서 운전자의 제스처를 기반으로 제어 대상 기기 판별이 운전자 의도에 맞게 이루어졌는지 확인하여야 할 필요가 있다. According to the present invention, the driver can visually check the available control information of the control target device or the image of the control target device through the display area 300a of the HUD display unit. However, before the control target device is discriminated based on the gesture of the driver It is necessary to confirm whether it is done in accordance with the driver's intention.

따라서 제어부(200)는 대상 기기 인식부(100)의 제어 대상 기기 판별 결과, 제어 대상 기기의 명칭을 디스플레이하도록 제어한다. Accordingly, the control unit 200 controls the display unit 100 to display the name of the control target device as a result of the determination of the control target equipment.

도 6의 (a)에 따르면, 도 4에서 전술한 바와 같이 대상 기기 인식부(100)가 공조 장치(600)를 제어 대상 기기로 판별한 결과에 따라, "공조기(air conditioner)"에 대한 문자 정보가 디스플레이 영역(300a)에 표출된다. According to Fig. 6 (a), as described above with reference to Fig. 4, the target device recognizing unit 100 recognizes the character "air conditioner" according to the result of discriminating the air conditioner 600 as the control target device Information is displayed in the display area 300a.

또한 도 6의 (b)에 도시한 바와 같이, 현재 제스처 인식에 따라 판별된 제어 대상 기기의 명칭(공조기, air conditioner)를 상대적으로 큰 폰트의 문자 정보로 도시하고, 센터페시아에 배치된 물리적 배치 관계에 따라 오디오, 내비게이션을 점차 작은 폰트의 문자 정보로 도시한다. 6 (b), the name (air conditioner) of the control target device determined according to the current gesture recognition is shown as character information of a relatively large font, and the physical arrangement Audio and navigation are gradually displayed as character information of a small font according to the relationship.

이를 통해 운전자는 현재 자신이 입력한 제스처에 따라 판별된 제어 대상 기기가 무엇인지 디스플레이 영역(300a)을 통해 직관적으로 확인할 수 있게 되고, 예컨대 오디오(500)를 조작하고자 하는 운전자가 제스처 입력 결과 도 6의 (b) 화면을 확인하게 되는 경우, 제스처(손 동작)을 상대적으로 높은 위치에서 수행함으로써, 오디오(500)를 제어 대상 기기로 선택하는 것이 가능하다. Accordingly, the driver can intuitively confirm the control target device determined according to the gesture currently input by the driver through the display area 300a. For example, when the driver operating the audio 500 inputs the gesture input result 6 It is possible to select the audio 500 as the control target device by performing the gesture (hand operation) at a relatively high position.

도 7은 본 발명의 실시예에 따른 제어 대상 기기 및 그 위의 손 위치 표시를 오버랩하여 디스플레이하는 것을 나타내는 도면이다. FIG. 7 is a view showing overlapping and display of a control target device and a hand position display thereon according to an embodiment of the present invention. FIG.

전술한 도 4의 (b)와 같이 공조 장치(600)가 제어 대상 기기로 판별된 경우, 해당 공조 장치(600)의 물리적 버튼의 이미지와 운전자의 손 이미지(10)를 디스플레이 영역(300a)에 표출한다. When the air conditioner 600 is determined to be the control target device as shown in FIG. 4 (b), the image of the physical button of the air conditioner 600 and the hand image 10 of the driver are displayed on the display area 300a And

운전자는 디스플레이 영역(300a)을 통해 자신의 손의 위치가 공조 장치(600)의 어느 버튼 상에 있는지 확인할 수 있고, 손의 위치를 조정하여 원하는 기능을 실행하도록 해당 버튼 상에 위치시킴으로써, 해당 기능을 수행하도록 한다. The driver can confirm which button of his / her hand is on the button of the air conditioner 600 through the display area 300a and position the hand on the corresponding button to adjust the position of the hand to perform a desired function, .

도 7의 (a)에 도시한 바와 같이 운전자는 자신의 손의 위치가 공조 장치(600)의 버튼 중 FRONT(앞유리 서리 제거 버튼)에 있는 경우, 손을 이동하여 원하는 조작 버튼인 내기 순환 버튼 상에 위치시키고, 전술한 포즈(pause) 또는 기설정된 선택 제스처(손가락 클릭 또는 실제 버튼 누름)를 통해 해당 기능을 실행시키는 것이 가능하다. As shown in FIG. 7 (a), when the driver's hand is on the FRONT (front glass frost removing button) of the button of the air conditioner 600, the driver moves his or her hand, And it is possible to execute the corresponding function through the above-described pause or a predetermined selection gesture (finger click or actual button press).

도 8은 본 발명의 실시예에 따른 가용 제어 정보 디스플레이를 나타내는 도면이다. 8 is a diagram illustrating an available control information display according to an embodiment of the present invention.

대상 기기 인식부(100)가 공조 장치(600)를 제어 대상 기기로 판별한 경우, 제어부(200)는 공조 장치(600)의 가용 제어 정보를 명령 제스처와 매칭하여 디스플레이하도록 제어한다. When the target device recognition unit 100 determines that the air conditioner 600 is a control target device, the control unit 200 controls the display of the available control information of the air conditioner 600 to match with the command gesture.

이 때 제어부는 도 8의 (a)에 도시한 바와 같이, 디스플레이 영역(300a)에 운전석 설정 온도(DRIVER), 모드(AUTO), 외부 온도(OUTSIDE), CLEAN AIR(풍량), 조수석 설정 온도(PASSENGER)를 현재 설정 정보로서 함께 디스플레이하도록 제어한다.8 (a), the control unit displays the driver's seat set temperature DRIVE, mode AUTO, OUTSIDE, CLEAN AIR, and passenger seat set temperature PASSENGER) as the current setting information together.

도 8의 (a)를 참조하면, 제스처(손동작)를 아래에서 위로 향하게 하는 경우 설정 온도를 상승시키고, 제스처를 위에서 아래로 향하게 하는 경우 설정 온도를 하강시키며, 제스처를 좌/우 방향으로 수행함에 따라 바람세기를 조정하는 것이 가능하다. Referring to FIG. 8A, when the gesture (hand movement) is directed upward from below, the set temperature is raised and when the gesture is directed from top to bottom, the set temperature is lowered and the gesture is performed in the left / right direction It is possible to adjust the wind strength accordingly.

도 8의 (a) 및 (b)에 도시한 바와 같이, 운전자는 디스플레이 영역(300a)에 표출되는 가용 제어 정보(온도 상승/하강, 바람세기 강/약, 내기/외기)를 명령 제스처와 매핑된 상태로 확인할 수 있으므로, 어떠한 제스처를 입력하여야 어떠한 기능이 수행된다는 것에 대한 사전 학습 없이도 직관적으로 원하는 기능을 실행하기 위한 명령 제스처를 파악하는 것이 가능하다. As shown in FIGS. 8A and 8B, the driver can map the available control information (temperature rise / fall, wind strength / weakness, bet / outdoors) displayed in the display area 300a to the command gesture It is possible to grasp a command gesture for intuitively performing a desired function without learning prior to learning that a certain function is performed by inputting any gesture.

이 때, 공조 장치(600)를 제어 대상 기기로 판별한 경우 제어부(200)는 기저장된 공조 장치(600)에 대한 사용 히스토리 정보를 고려하여, 가용 제어 정보를 선별하여 그 우선순위에 따라 디스플레이하도록 제어한다. In this case, when the air conditioner 600 is determined as the control target device, the control unit 200 selects the available control information in consideration of the use history information of the air conditioner 600, and displays the available control information according to the priority .

즉, 운전자가 공조 장치(600)를 선택한 후 설정 온도 조정 또는 바람세기 조정을 상대적으로 많이 수행한 경우에는, 도 8의 (a)에 도시한 바와 같이 해당 명령 제스처 및 가용 제어 정보를 먼저 표시하고, 운전자가 내기/외기 조정을 상대적으로 많이 수행한 경우에는 도 8의 (b)에 도시한 바와 같이 내기/외기 변환에 관한 명령 제스처 및 가용 제어 정보를 먼저 표시한다. That is, when the driver relatively performs the set temperature adjustment or the wind strength adjustment after selecting the air conditioning apparatus 600, the command gesture and the available control information are displayed first as shown in FIG. 8A , And when the driver performs a relatively large amount of ad hoc / outdoor adjustment, the instruction gesture and available control information regarding the admission / admission conversion are first displayed as shown in FIG. 8 (b).

이러한 가용 제어 정보는 도 8의 (c)에 도시한 바와 같이, 제어 대상 기기가 판별된 후 해당 가용 제어 정보를 실행하는 음성 단어 리스트 및 조향 스위치 조작 안내 리스트의 형식으로 표출되는 것 역시 가능하다. As shown in (c) of FIG. 8, such available control information can also be expressed in the form of a voice word list and a steering switch operation guidance list for executing the available control information after the control target device is discriminated.

운전자는 도 8의 (c)에 도시된 "온도 상승"이라는 음성 단어를 발화함으로써, 공조 장치(600)의 설정 온도를 높이는 것이 가능하며, 이러한 후속 명령어는 스티어링 휠에 배치된 조향 스위치(700) 또는 기어봉 주변에 위치한 햅틱 디스플레이 구성에 대한 작동을 통해서 통해서 입력되는 것 역시 가능하다. The driver can raise the set temperature of the air conditioner 600 by igniting the voice word "rise in temperature" shown in Fig. 8 (c), and this subsequent command is transmitted to the steering switch 700, Or via operation on a haptic display configuration located around the gear bar.

도 9는 본 발명의 실시예에 따른 운전자의 시선 이동에 따른 제어 대상 기기 판별 및 제어 대상 기기에 투영되는 이미지를 HUD를 통해 디스플레이하는 것을 나타내는 도면이다. FIG. 9 is a view showing a control target device discrimination according to a driver's gaze movement and displaying an image projected on a control target device through the HUD according to an embodiment of the present invention.

대상 기기 인식부(100)는 운전자의 시선 이동을 제스처로서 인식하여, 운전자의 시선이 향하는 곳에 배치된 기기를 제어 대상 기기로 판별한다. The target device recognition unit 100 recognizes the sight line movement of the driver as a gesture and discriminates the device disposed at the position facing the driver's eyes as the control target device.

도 9의 (a)에 도시된 바와 같이, 운전자의 시선이 사이드미러(800)를 향하는 경우, 제어부(200)는 제어 대상 기기인 사이드미러(800)에 투영되는 실제 이미지를 디스플레이 영역(300a)에 표출하도록 제어한다. 9A, when the sight line of the driver faces the side mirror 800, the control unit 200 displays the actual image projected on the side mirror 800, which is the control target device, in the display area 300a, .

이를 통해 운전자는 옆 차선을 확인하기 위하여 시선을 사이드미러(800)에 일정 시간(예: 1초) 이상 두게 되면, 그 이후에는 전방의 디스플레이 영역(300a)을 통해 일정 시간(예: 10초)동안 표출되는 옆 차선 상황 정보를 확인할 수 있게 되어, 전방 및 측후방을 함께 확인하며 주행할 수 있게 된다. When the driver puts his / her line of sight in the side mirror 800 for more than a predetermined time (for example, 1 second) in order to check the side lane, the driver then displays a predetermined time (for example, 10 seconds) It is possible to confirm the front lane situation information and the front lane lane situation information while driving.

도 9 (b) 및 (c)는 사이드 미러(800)에 투영되는 실제 이미지가 표출되는 디스플레이 영역(300a)을 도시한 것으로, 제어부(200)는 주행 중인 자차와 측후방 차량의 거리가 기설정된 안전 거리를 확보하였는지 여부에 따라 차선 변경에 대한 "안전" 또는 "주의" 메시지를 함께 디스플레이하도록 제어하는 것이 가능하다. 9 (b) and 9 (c) show a display area 300a in which an actual image projected on the side mirror 800 is displayed. The control unit 200 determines whether the distance between the traveling vehicle and the rear- It is possible to control the display of the "safety" or "caution" message for the lane change depending on whether or not the safety distance has been secured.

이 때 기설정된 안전 거리는 자차의 주행 속도에 따라 변동되는 것이 바람직하다. At this time, it is preferable that the predetermined safety distance varies according to the running speed of the vehicle.

도 10은 본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 방법을 나타내는 순서도이다. 10 is a flowchart illustrating a driver gesture-based HUD information providing method according to an embodiment of the present invention.

본 발명의 실시예에 따른 운전자 제스처 기반 HUD 정보 제공 방법은 운전자의 제스처를 인식하는 단계(S100)와, 인식한 제스처에 대응되는 제어 대상 기기를 판별하는 단계(S200) 및 제어 대상 기기에 투영되는 이미지 및 제어 대상 기기의 기능을 실행하는 제어 정보 리스트 중 적어도 어느 하나를 디스플레이하는 단계(S300)를 포함한다. The HUD information providing method according to an embodiment of the present invention includes a step S100 of recognizing a driver's gesture, a step S200 of determining a control target device corresponding to the recognized gesture, (S300) of displaying at least one of an image and a control information list for executing functions of the control target device.

S100 단계는 운전자의 제스처를 인식하는 단계로서, 운전자의 제스처는 비단 손 동작 뿐 아니라 행동 패턴, 시선 움직임을 포괄하는 개념으로 정의된다. The step S100 is a step of recognizing the gesture of the driver. The gesture of the driver is defined as a concept involving not only the hand movement but also the behavior pattern and the gaze movement.

S100 단계는 차량 내부에 배치된 카메라, 동작 인식 센서 등을 통해 수행되며, S100 단계에서 인식한 운전자의 제스처, 행동 패턴 및 시선 움직임은 일정 시간 이상 유지되는 경우 또는 기설정된 선택 제스처가 후속적으로 입력되는 경우에 한하여 S200 단계의 제어 대상 기기 판별이 이루어지게 된다. If the gesture, the behavior pattern, and the gaze movement of the driver recognized in step S100 are maintained for a predetermined period of time or the predetermined selection gesture is subsequently input The control target device discrimination in step S200 is performed.

S200 단계는 제스처의 이동 궤적을 모니터링하여, 제스처의 이동이 특정 제스처 인식 영역 상에서 기설정된 시간 이상 포즈(pause)되거나 전술한 선택 제스처가 후속적으로 입력되는 경우, 해당 인식 영역에 배치된 기기를 제어 대상 기기로 판단한다. In step S200, the movement trajectory of the gesture is monitored. When the movement of the gesture is paused for more than a predetermined time on the specific gesture recognition area, or when the selection gesture is subsequently input, It is judged to be a target device.

도 3에서 도시한 바와 같이, 각 제어 대상 기기 별로 할당된 제스처 인식 영역 상에서 제스처(손 동작)가 일정 시간 이상 유지되거나, 도 4에 도시한 바와 같이 기설정된 선택 제스처(주먹을 쥠)가 인식되는 경우, 해당 인식 영역에 대응되는 기기를 제어 대상 기기로 판별하게 된다. As shown in FIG. 3, when a gesture (hand movement) is maintained for a predetermined time or longer on the gesture recognition area assigned to each control target device, or a preset selection gesture (fist) is recognized as shown in FIG. 4 , The device corresponding to the recognition area is identified as the control target device.

S300 단계는 운전자가 자신의 의도대로 제어 대상 기기의 판별이 이루어졌는지 디스플레이 영역을 통해 확인할 수 있도록, 제어 대상 기기의 명칭을 디스플레이한다. In step S300, the name of the control target device is displayed so that the driver can identify the control target device through the display area according to his or her intention.

이 때, S300 단계는 도 6의 (b)와 관련한 실시예에서 전술한 바와 같이, 기기가 실제 배치된 위치 관계를 바탕으로 제어 대상 기기 주변의 기기의 명칭을 함께 디스플레이하는 것이 가능하다. At this time, in step S300, it is possible to display the names of the devices around the control target device based on the positional relationship in which the devices are actually arranged, as described above in the embodiment related to Fig. 6B.

본 발명은 운전자가 전방 주시를 태만히 하지 않은 상태에서, 어떠한 사전 학습 없이도 조작하고자 하는 대상 기기의 가용 제어 정보를 디스플레이 영역을 통해 직관적으로 확인할 수 있도록 지원하는 것으로, S300 단계는 제어 대상 기기의 가용 제어 정보 및 그를 실행하기 위한 명령 제스처를 디스플레이한다. The present invention supports intuitively checking available control information of a target device to be operated through a display area without any pre-learning in a state in which the driver does not neglect the forward gaze. In step S300, Information and an instruction gesture for executing it.

이 중 운전자가 원하는 제어 정보를 실행하기 위한 후속 명령 제스처는 제어 대상 기기 영역에 배치된 대상 기기 인식부를 통해 인식되거나, 스티어링 휠 주변에 배치된 별도의 인식부를 통해 인식되는 것이 가능하다. Of these, the next command gesture for executing the control information desired by the driver can be recognized through the target device recognition unit disposed in the control target device area or through a separate recognition unit disposed around the steering wheel.

S300 단계는 가용 제어 정보와 매칭되는 음성 단어 또는 조향 스위치 조작 안내 리스트를 디스플레이하는 것 역시 가능하며, 이 때 제어부는 운전자가 발화하는 음성 단어 또는 스티어링 휠에 배치된 조향 스위치 조작 상태를 통해 후속 기능을 수행하도록 차량 내 편의 장치를 제어한다. In operation S300, it is also possible to display a voice word or a steering switch operation guidance list matched with the available control information. At this time, the control unit displays a voice word to be uttered by the driver or a steering wheel operation state of the steering wheel To control the comfort in the vehicle.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 대상 기기 인식부 200: 제어부
300: HUD 디스플레이부 400: 내비게이션
500: 오디오 600: 공조 장치
700: 스티어링 휠 조작 버튼 800: 사이드 미러 100: target device recognition unit 200:
300: HUD display unit 400: Navigation
500: audio 600: air conditioner
700: Steering wheel control button 800: Side mirror

Claims (20)

운전자의 제스처에 대응되는 제어 대상 기기를 판별하는 대상 기기 인식부; 및
상기 제어 대상 기기에 투영되는 이미지 및 상기 제어 대상 기기의 가용 제어 정보 중 적어도 어느 하나를 HUD 디스플레이부에 표출하도록 디스플레이 제어 신호를 전송하는 제어부
를 포함하는 운전자 제스처 기반 HUD 정보 제공 시스템.
A target device recognition unit for determining a control target device corresponding to a gesture of the driver; And
A controller for transmitting a display control signal to display at least one of an image projected on the control target device and an available control information of the control target device on the HUD display,
A driver-based gesture-based HUD information providing system.
제1항에 있어서,
상기 대상 기기 인식부는 상기 운전자의 시선 이동, 손 동작 및 행동 패턴 중 적어도 어느 하나를 상기 제스처로 인식하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
Wherein the target device recognition unit recognizes at least one of the driver's gaze movement, hand movement, and behavior pattern as the gesture
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 대상 기기 인식부는 인식 영역 내에서 상기 운전자의 제스처의 이동 궤적을 인식하고, 기설정 시간 이상 상기 운전자의 제스처가 일정 영역 내에서 포즈(pause)되는 경우 해당 영역에 대응되는 상기 제어 대상 기기를 판별하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The target device recognizing unit recognizes the movement trajectory of the driver's gesture in the recognition area and, when the gesture of the driver is paused within a predetermined range for a preset time or more, discriminates the control target device corresponding to the corresponding area To do
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 대상 기기 인식부는 상기 제스처의 이동에 후속하여 입력되는 기설정된 선택 제스처를 인식하여, 상기 제어 대상 기기를 판별하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The target device recognizing unit recognizes the predetermined selection gesture input subsequent to the movement of the gesture and discriminates the control target device
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 제어부는 제스처 인식 결과 판별된 제어 대상 기기의 명칭을 디스플레이하도록 제어하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The control unit controls to display the name of the control target device determined as a result of the gesture recognition
HUD information system based on driver 's gestures.
제5항에 있어서,
상기 제어부는 상기 제어 대상 기기의 주변 영역에 배치된 후보 제어 대상 기기의 명칭을 함께 디스플레이시키는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
6. The method of claim 5,
Wherein the control unit displays together the names of the candidate control target devices disposed in the peripheral region of the control target device
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 대상 기기 인식부는 상기 운전자의 제스처가 발생되는 영역까지의 거리를 고려하여, 상기 제스처를 제어 대상 기기 판별을 위한 제스처와 일반 행동에 따른 제스처로 구분하여 인식하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The target device recognizing unit recognizes the gesture by separating the gesture for discriminating the control target device and the gesture according to the general action in consideration of the distance to the area where the gesture of the driver is generated
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 제어부는 상기 제어 대상 기기에 투영되는 실물 이미지 및 상기 제어 대상 기기의 현재 설정 정보를 포함하는 이미지 중 적어도 어느 하나에 대한 디스플레이 제어 신호를 전송하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The control unit transmits a display control signal for at least one of a real image projected on the control target device and an image including current setting information of the control target device
HUD information system based on driver 's gestures.
제8항에 있어서,
상기 제어부는 상기 제어 대상 기기의 이미지 및 상기 제어 대상 기기 상의 손 위치 표시를 함께 오버랩하여 디스플레이시키는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
9. The method of claim 8,
Wherein the control unit overlaps and displays an image of the control target device and a hand position display on the control target device together
HUD information system based on driver 's gestures.
제9항에 있어서,
상기 제어 대상 기기는 상기 오버랩된 손 위치 표시가 명령 버튼 상에 기설정된 시간 이상 고정되는 경우 해당 명령 신호를 입력 받아 매칭되는 기능을 실행하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
10. The method of claim 9,
The control subject device executes a function of receiving and matching the command signal when the overlapping hand position indication is fixed for a predetermined time or longer on the command button
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 제어부는 상기 제어 대상 기기의 가용 제어 정보를 명령 제스처와 매칭하여 디스플레이하도록 제어하되, 상기 제어 대상 기기가 온(On) 상태인 경우 현재 설정 정보를 함께 디스플레이하도록 제어하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The control unit controls to display the available control information of the control target device by matching with the command gesture so as to display together with the current setting information when the control target device is on
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 제어부는 상기 가용 제어 정보를 선택하는 음성 단어 리스트 및 조향 스위치 조작 안내 리스트 중 적어도 어느 하나를 디스플레이하도록 제어하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The control unit controls to display at least one of a voice word list and a steering switch operation guidance list for selecting the available control information
HUD information system based on driver 's gestures.
제1항에 있어서,
상기 제어부는 기저장된 상기 운전자의 사용 히스토리 정보를 고려하여 상기 가용 제어 정보를 선별하여 그 우선순위에 따라 디스플레이하도록 제어하는 것
인 운전자 제스처 기반 HUD 정보 제공 시스템.
The method according to claim 1,
The control unit selects the available control information in consideration of the stored history information of the driver stored in advance and controls to display the available control information according to the priority order
HUD information system based on driver 's gestures.
(a) 운전자의 제스처를 인식하는 단계;
(b) 상기 인식한 제스처에 대응되는 제어 대상 기기를 판별하는 단계; 및
(c) 상기 제어 대상 기기에 투영되는 이미지 및 상기 제어 대상 기기의 기능을 실행하는 제어 정보 리스트 중 적어도 어느 하나를 디스플레이하는 단계
를 포함하는 운전자 제스처 기반 HUD 정보 제공 방법.
(a) recognizing a driver's gesture;
(b) determining a control target device corresponding to the recognized gesture; And
(c) displaying at least one of an image projected on the control target device and a control information list executing the function of the control target device
The method comprising the steps of:
제14항에 있어서,
상기 (a) 단계는 상기 운전자의 시선 움직임, 손 위치 이동 및 행동 패턴 중 적어도 어느 하나를 인식하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
15. The method of claim 14,
The step (a) may include recognizing at least one of the driver's gaze movement, hand position movement, and behavior pattern
How to provide HUD information based on driver gestures.
제14항에 있어서,
상기 (a) 단계는 상기 운전자의 행동 패턴 정보를 고려하여, 상기 제스처를 제어 대상 기기 선택을 위한 제스처와 일반 제스처로 구분하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
15. The method of claim 14,
The step (a) may include dividing the gesture into a gesture for selecting a control target device and a general gesture in consideration of the behavior pattern information of the driver
How to provide HUD information based on driver gestures.
제14항에 있어서,
상기 (b) 단계는 상기 제스처의 이동을 모니터링하여, 상기 제스처의 이동이 기설정 시간 이상 포즈(pause)되거나 그에 따른 후속 선택 제스처가 입력되는 경우, 해당 인식 영역에 배치된 기기를 상기 제어 대상 기기로 판단하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
15. The method of claim 14,
Wherein the step (b) monitors movement of the gesture, and when a movement of the gesture is paused for a predetermined time or more or a subsequent selection gesture corresponding thereto is input, To judge by
How to provide HUD information based on driver gestures.
제14항에 있어서,
상기 (c) 단계는 상기 제어 대상 기기의 명칭 및 상기 제어 대상 기기 주변의 기기의 명칭을 디스플레이하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
15. The method of claim 14,
The step (c) includes displaying the name of the control target device and the name of the device around the control target device
How to provide HUD information based on driver gestures.
제14항에 있어서,
상기 (c) 단계는 상기 제어 대상 기기의 가용 제어 정보 및 그를 실행하기 위하여 매칭되는 명령 제스처, 음성 단어 및 조향 스위치 조작 안내 리스트 중 적어도 어느 하나를 포함하는 상기 제어 정보 리스트를 디스플레이 하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법.
15. The method of claim 14,
Wherein the step (c) includes displaying the control information list including at least one of the available control information of the control target device and the command gesture, the voice word, and the steering switch operation guidance list matched to execute the control target information
How to provide HUD information based on driver gestures.
제14항에 있어서,
상기 (c) 단계는 상기 운전자의 기사용 히스토리를 고려하여 상기 가용 제어 정보에 대한 디스플레이 우선 순위를 설정하는 것
인 운전자 제스처 기반 HUD 정보 제공 방법. 15. The method of claim 14,
The step (c) includes setting the display priority of the available control information in consideration of the driver's use history
How to provide HUD information based on driver gestures.
KR1020160110588A 2016-08-30 2016-08-30 System and method for provision of head up display information based on driver's gesture KR102025434B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160110588A KR102025434B1 (en) 2016-08-30 2016-08-30 System and method for provision of head up display information based on driver's gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160110588A KR102025434B1 (en) 2016-08-30 2016-08-30 System and method for provision of head up display information based on driver's gesture

Publications (2)

Publication Number Publication Date
KR20180025378A true KR20180025378A (en) 2018-03-09
KR102025434B1 KR102025434B1 (en) 2019-09-26

Family

ID=61727804

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160110588A KR102025434B1 (en) 2016-08-30 2016-08-30 System and method for provision of head up display information based on driver's gesture

Country Status (1)

Country Link
KR (1) KR102025434B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056322A (en) * 2013-11-15 2015-05-26 현대오트론 주식회사 Apparatus for controlling menu of head-up display and method thereof
KR20150072074A (en) * 2013-12-19 2015-06-29 현대자동차주식회사 System and control method for gesture recognition of vehicle
KR20160035384A (en) * 2014-09-23 2016-03-31 현대자동차주식회사 Vehicle and control method of the same
KR20160076294A (en) * 2014-12-22 2016-06-30 엘지전자 주식회사 Vehicle control apparatus and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150056322A (en) * 2013-11-15 2015-05-26 현대오트론 주식회사 Apparatus for controlling menu of head-up display and method thereof
KR20150072074A (en) * 2013-12-19 2015-06-29 현대자동차주식회사 System and control method for gesture recognition of vehicle
KR20160035384A (en) * 2014-09-23 2016-03-31 현대자동차주식회사 Vehicle and control method of the same
KR20160076294A (en) * 2014-12-22 2016-06-30 엘지전자 주식회사 Vehicle control apparatus and method thereof

Also Published As

Publication number Publication date
KR102025434B1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US10493997B2 (en) Apparatus for switching driving mode of vehicle and method thereof
US9753459B2 (en) Method for operating a motor vehicle
JP6558733B2 (en) Driving support method, driving support device, driving control device, vehicle, and driving support program using the same
CN107107841B (en) Information processing apparatus
JP6353383B2 (en) Driver support system control method
US9605971B2 (en) Method and device for assisting a driver in lane guidance of a vehicle on a roadway
WO2015125243A1 (en) Display control device, display control method for display control device, gaze direction detecting system, and callibration control method for gaze direction detecting system
US9645640B2 (en) Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
CN108430819B (en) Vehicle-mounted device
US20160132126A1 (en) System for information transmission in a motor vehicle
KR20130063911A (en) Eye breakaway prevention system during vehicle's driving
KR20100105293A (en) Handling device for vehicle
US10293823B2 (en) Method for selecting an evaluation object for a function in a motor vehicle
JP2012056359A (en) On-vehicle equipment control device
JP2014149640A (en) Gesture operation device and gesture operation program
CN108417061B (en) Method and device for detecting the signal state of at least one signaling device
JP2018100008A (en) Vehicular display device
CN111511599A (en) Method for operating an auxiliary system and auxiliary system for a motor vehicle
KR20180025378A (en) System and method for provision of head up display information based on driver's gesture
CN112272625A (en) Method and system for operating an autopilot function in a vehicle
KR101977342B1 (en) System and method for provision of head up display information according to driver's condition and driving condition
KR20130076214A (en) Device for driving vehicle using pointing jesture of driver and method thereof
WO2017017938A1 (en) Gesture operating system, method, and program
JP2019202556A (en) Vehicular display device, control method of vehicular display device, and control program of vehicular display device
US20230376123A1 (en) Display system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant