KR102667424B1 - Control system using gesture in vehicle - Google Patents

Abstract

본 발명은 차량 내 제스처 입력을 이용한 제어 시스템에 관한 것으로, 보다 상세하게는 차량 탑승자의 제스처를 입력 받아 차량의 기능 실행을 제어하는 시스템에 관한 것이다.
본 발명에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처 및 음성을 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자의 제스처 및 음성에 따라 기기 제어 명령을 전송한다. The present invention relates to a control system using gesture input within a vehicle, and more specifically, to a system that receives gesture input from vehicle occupants and controls the execution of vehicle functions.
The control system using in-vehicle gesture input according to the present invention includes an input unit that receives a user's gesture and voice, a memory containing a control program using in-vehicle gesture input, and a processor that executes the control program, and the processor includes a user Send device control commands based on gestures and voice.

Description

차량 내 제스처 입력을 이용한 제어 시스템{CONTROL SYSTEM USING GESTURE IN VEHICLE}Control system using gesture input in a vehicle {CONTROL SYSTEM USING GESTURE IN VEHICLE}

본 발명은 차량 내 제스처 입력을 이용한 제어 시스템에 관한 것으로, 보다 상세하게는 탑승자의 제스처를 입력 받아 차량의 기능 실행을 제어하는 시스템에 관한 것이다. The present invention relates to a control system using gesture input within a vehicle, and more specifically, to a system that receives a passenger's gesture input and controls the execution of vehicle functions.

차량은 기본적인 주행 기능 외에도 오디오, 비디오, 내비게이션, 공조 제어, 조명 제어 등 사용자의 편의를 위한 부가적인 기능을 제공한다. In addition to basic driving functions, vehicles provide additional functions for user convenience such as audio, video, navigation, air conditioning control, and lighting control.

이러한 기능을 수행하기 위해서 차량은 하드 키 방식, 터치 스크린 방식, 제스처 인식 방식 등으로 사용자로부터 동작 명령을 입력 받게 된다. In order to perform these functions, the vehicle receives operation commands from the user through hard key method, touch screen method, gesture recognition method, etc.

차량용 제스처 인식 시스템은 머신 비전으로 데이터를 수집하고, 차량 내 휴먼 머신 인터페이스를 통해 차량 내 다양한 운전자 지원 기능을 조작하도록 하는 전자 시스템으로 정의된다. An automotive gesture recognition system is defined as an electronic system that collects data using machine vision and allows various driver assistance functions in the vehicle to be operated through the in-vehicle human machine interface.

그런데, 종래 기술에 따른 차량용 제스처 인식 기술은 단순히 제스처를 입력 받고 해당 제스처에 대응되는 기능을 제공함에 그쳐, 운전자는 해당 기능을 실행하기 위한 제스처(예컨대, 에어컨의 온도 상승을 위해서는 손을 펴고 손을 아래에서 위로 올리고, 오디오의 볼륨 상승을 위해서는 검지와 중지를 펴고 손을 아래에서 위로 올리는 등)를 일일이 학습하여야 하여, 사용자 편의성이 떨어지는 문제점이 있고, 동일한 제스처에 대해 상황 별로 다른 입력 제어를 수행하는 것이 불가능한 문제점이 있다. However, the gesture recognition technology for vehicles according to the prior art simply receives a gesture input and provides a function corresponding to the gesture, and the driver makes a gesture to execute the function (for example, opening the hand to increase the temperature of the air conditioner) (raising from the bottom up, extending the index and middle fingers, raising the hand from the bottom to the top to increase the audio volume, etc.) must be learned one by one, which reduces user convenience, and it is difficult to perform different input controls for the same gesture in each situation. There is a problem where this is impossible.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 음성 정보와 제스처 정보를 분석한 결과에 따라, 보다 다양한 기능을 실행하도록 하는 차량 내 제스처 입력을 이용한 제어 시스템을 제공하는데 그 목적이 있다. The present invention was proposed to solve the above-described problems, and its purpose is to provide a control system using gesture input in a vehicle that allows more diverse functions to be executed according to the results of analyzing voice information and gesture information.

본 발명에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처 및 음성을 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자의 제스처 및 음성에 따라 기기 제어 명령을 전송한다. The control system using in-vehicle gesture input according to the present invention includes an input unit that receives a user's gesture and voice, a memory containing a control program using in-vehicle gesture input, and a processor that executes the control program, and the processor includes a user Send device control commands based on gestures and voice.

제스처 정보는 차 내에 배치된 3D 카메라를 통해 인식된다. Gesture information is recognized through a 3D camera placed in the car.

프로세서는 사용자의 제스처를 통해 선택된 객체에 대한 정보를 제공한다. The processor provides information about the selected object through the user's gesture.

프로세서는 선택된 객체에 대한 정보를 영상 정보 또는 음성 정보로 표출시킨다. The processor displays information about the selected object as video information or audio information.

프로세서는 사용자의 제스처로부터 선택된 외부 객체에 대하여, 상기 음성에 대응되는 메시지를 전달한다. The processor delivers a message corresponding to the voice to an external object selected from the user's gesture.

프로세서는 외부 객체가 다른 차량인 경우, 음성에 대응되는 메시지와 함께 다른 차량의 기기를 제어하는 명령을 전송한다. When the external object is another vehicle, the processor transmits a command to control the other vehicle's devices along with a message corresponding to the voice.

프로세서는 제스처를 고려하여 차량 내 기기를 선택하고, 음성을 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor selects in-vehicle devices by considering gestures and controls the functions of the selected in-vehicle devices by considering voice.

프로세서는 음성을 고려하여 차량 내 기기를 선택하고, 제스처를 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor selects in-vehicle devices by considering voice and controls the functions of the selected in-vehicle devices by considering gestures.

본 발명의 실시예에 따르면, 운전자의 음성 인식에 따라 동일 제스처에 대해 상이한 기능을 제공하는 것이 가능한 효과가 있다. According to an embodiment of the present invention, it is possible to provide different functions for the same gesture depending on the driver's voice recognition.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처를 나타내는 예시도이다.
도3은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다.
도 4및 도 5는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 기기 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다.
도 6은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 접촉 상태 스와이프 제스처 입력에 대한 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 비접촉 상태 스와이프 제스처 입력에 대한 예시도이다.
도 8은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자 감정 상태에 따른 제스처 입력 제어를 나타내는 예시도이다.
도 10은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 안내 표시를 위한 제스처 입력을 나타내는 예시도이다.
도 11은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자를 향한 문구 표시를 나타내는 예시도이다.
도 12는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 경고 표시를 나타내는 예시도이다.
도 13은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 미감지 시 제스처 입력에 따른 제어를 나타내는 예시도이다.
도 14는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션을 위한 제스처 입력을 나타내는 예시도이다.
도 15는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션의 양태로서 문구 표출을 나타내는 예시도이다.
도 16은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 윈드실드 내 영상이 겹쳐진 상황에서 운전자의 선택 제스처 및 음성 입력을 나타내는 예시도이다.
도 17은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자의 선택 제스처 및 음성 입력에 따른 정보 표출과 영상 이동을 나타내는 예시도이다.
도 18은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 영상 영역 복귀를 나타내는 예시도이다. Figure 1 is a block diagram showing a control system using gesture input in a vehicle according to an embodiment of the present invention.
Figure 2 is an example diagram showing an object selection gesture of a control system using gesture input in a vehicle according to an embodiment of the present invention.
Figure 3 is an example diagram showing control according to an object selection gesture and voice input in a control system using gesture input in a vehicle according to an embodiment of the present invention.
Figures 4 and 5 are exemplary diagrams showing control according to a device selection gesture and voice input in a control system using gesture input in a vehicle according to an embodiment of the present invention.
Figure 6 is an example of a contact state swipe gesture input of a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 7 is an example of a non-contact swipe gesture input of a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 8 is a block diagram of a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 9 is an example diagram showing gesture input control according to the driver's emotional state in a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 10 is an example diagram showing gesture input for pedestrian guidance display in a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 11 is an example diagram showing text displayed toward a pedestrian in a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 12 is an exemplary diagram showing a warning sign directed to a nearby vehicle in a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 13 is an example diagram showing control according to gesture input when a pedestrian is not detected in a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 14 is an example diagram showing gesture input for external communication toward surrounding vehicles in a control system using gesture input within a vehicle according to another embodiment of the present invention.
Figure 15 is an example diagram showing phrase expression as an aspect of external communication toward surrounding vehicles in a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 16 is an example diagram showing the driver's selection gesture and voice input in a situation where images within the windshield of a control system using in-vehicle gesture input according to another embodiment of the present invention are overlapped.
Figure 17 is an example diagram showing information display and image movement according to the driver's selection gesture and voice input of a control system using gesture input in a vehicle according to another embodiment of the present invention.
Figure 18 is an example diagram showing return to the video area of a control system using gesture input in a vehicle according to another embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above-mentioned object and other objects, advantages and features of the present invention, and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, and the following embodiments will only explain the purpose of the invention to those skilled in the art to which the present invention pertains. It is only provided to easily inform the configuration and effect, and the scope of rights of the present invention is defined by the description of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, the terms used in this specification are for describing embodiments and are not intended to limit the present invention. As used herein, singular forms also include plural forms, unless specifically stated otherwise in the context. As used in the specification, “comprises” and/or “comprising” means that a mentioned element, step, operation and/or element is dependent on the presence of one or more other elements, steps, operations and/or elements. Or it is not excluded that it is added.

도 1은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템을 나타내는 블록도이다. Figure 1 is a block diagram showing a control system using gesture input in a vehicle according to an embodiment of the present invention.

본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처 및 음성을 수신하는 입력부(110)와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리(120) 및 제어 프로그램을 실행시키는 프로세서(130)를 포함하고, 프로세서(130)는 사용자의 제스처와 음성에 따라 기기 제어 명령을 전송한다.The control system using in-vehicle gesture input according to an embodiment of the present invention includes an input unit 110 that receives the user's gesture and voice, a memory 120 containing a control program using in-vehicle gesture input, and executing the control program. The command includes a processor 130, and the processor 130 transmits device control commands according to the user's gestures and voice.

제스처 정보는 차 내에 배치된 3D 카메라를 통해 인식된다. Gesture information is recognized through a 3D camera placed in the car.

프로세서(130)는 사용자의 제스처를 통해 선택된 객체에 대한 정보를 제공한다. The processor 130 provides information about the selected object through the user's gesture.

프로세서(130)는 선택된 객체에 대한 정보를 영상 정보 또는 음성 정보로 표출시킨다. The processor 130 displays information about the selected object as image information or audio information.

프로세서(130)는 사용자의 제스처로부터 선택된 외부 객체에 대하여, 상기 음성에 대응되는 메시지를 전달한다. The processor 130 delivers a message corresponding to the voice to an external object selected from the user's gesture.

프로세서(130)는 외부 객체가 다른 차량인 경우, 음성에 대응되는 메시지와 함께 다른 차량의 기기를 제어하는 명령을 전송한다. When the external object is another vehicle, the processor 130 transmits a command to control the device of the other vehicle along with a message corresponding to the voice.

프로세서(130)는 제스처를 고려하여 차량 내 기기를 선택하고, 음성을 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor 130 selects an in-vehicle device in consideration of gestures and controls functions of the selected in-vehicle device in consideration of voice.

프로세서(130)는 음성을 고려하여 차량 내 기기를 선택하고, 제스처를 고려하여 선택된 차량 내 기기의 기능을 제어한다. The processor 130 selects an in-vehicle device in consideration of voice and controls functions of the selected in-vehicle device in consideration of gestures.

도 2는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 객체 선택 제스처를 나타내는 예시도이다. Figure 2 is an example diagram showing an object selection gesture of a control system using gesture input in a vehicle according to an embodiment of the present invention.

도 2를 참조하면, 운전자는 손(H)을 이용하여 차량 주변의 관심 객체를 선택하는 제스처를 입력한다. Referring to FIG. 2, the driver uses his hand (H) to input a gesture to select an object of interest around the vehicle.

예컨대, 차량 주변에는 다른 차량(C), 보행자(P), 교통표지판, 건물 등이 존재하게 되는데, 운전자는 손(H)을 이용하여 외부의 객체를 선택하는 제스처를 행하며, 또한, 운전자의 시선 정보를 트랙킹하여 외부 객체를 선택하는 것 역시 가능하다. For example, there are other vehicles (C), pedestrians (P), traffic signs, buildings, etc. around the vehicle. The driver uses his hand (H) to make a gesture to select an external object, and the driver's gaze It is also possible to select external objects by tracking information.

본 실시예에 따르면, 프로세서(130)는 운전자의 손을 이용한 가상 제스처 선택에 따라, 선택된 전방 차량(C)의 정보(속도, 차종, 차량번호, 타 차량 공유 메시지 정보)를 표시하도록 제어하며, 이러한 전방 차량의 정보는 AVN 화면, 클러스터 게이지, HUD, 윈드실드 글라스 등 다양한 영역에 표시된다. According to this embodiment, the processor 130 controls to display information (speed, vehicle type, license plate number, message information shared with other vehicles) of the selected vehicle ahead (C) according to a virtual gesture selection using the driver's hand, This information about the vehicle ahead is displayed in various areas such as the AVN screen, cluster gauge, HUD, and windshield glass.

프로세서(130)는 운전자의 손을 이용한 가상 제스처 선택에 따라, 선택된 보행자의 정보(움직임, 도로 접근 상황), 선택된 건물의 정보(이름, 입점 업체, 편의시설), 선택된 교통 표지판의 정보를 표시하도록 제어하며, 이러한 정보들은 전술한 바와 같이 다양한 영역에 표시된다. The processor 130 displays the information of the selected pedestrian (movement, road access situation), information of the selected building (name, store, convenience facility), and information of the selected traffic sign according to the selection of a virtual gesture using the driver's hand. control, and this information is displayed in various areas as described above.

입력부(110)는 운전자의 제스처뿐 아니라 운전자의 발화 음성을 수신하고, 프로세서(130)는 선택된 객체(사물, 차량, 기타)에게 음성 수신에 따라 메시지를 전달한다. The input unit 110 receives the driver's voice as well as the driver's gesture, and the processor 130 delivers a message to the selected object (object, vehicle, etc.) according to the voice reception.

예컨대, 도 3을 참조하여, 전방 차량(C)의 후미등이 고장난 상태임을 예를 들어 설명한다. For example, with reference to FIG. 3, it will be explained as an example that the tail light of the vehicle C in front is broken.

입력부(110)는 운전자의 손(H)이 전방 차량(C)를 선택하였음에 대한 객체 선택 정보를 수신하고, 운전자의 음성인 "후미등이 고장났어요"라는 음성 정보를 수신한다. The input unit 110 receives object selection information indicating that the driver's hand (H) has selected the vehicle in front (C), and receives voice information of the driver's voice, “The tail light is broken.”

프로세서(130)는 운전자의 제스처와 음성에 따라, 해당 객체인 전방 차량(C)으로 후미등 고장에 대한 알림을 전송하는데, 이러한 알림은 V2V를 통해 전방 차량의 윈드실드나 AVN을 통해 제공된다. The processor 130 transmits a notification about a tail light failure to the corresponding object, the vehicle ahead (C), according to the driver's gesture and voice. This notification is provided through the windshield or AVN of the vehicle ahead through V2V.

또는, 전술한 알림은 차량의 외부 커뮤니케이션 장치(예: 텍스트를 표출하는 디스플레이)를 통해 해당 차량(C)의 운전자가 인지할 수 있도록, 차량이 해당 차량을 추월하는 경우, 차량의 후면에 배치된 외부 커뮤니케이션 장치를 통해 후미등 고장을 알리는 텍스트 메시지를 표출하고, 차량이 해당 차량과 나란히 달리는 경우, 차량의 타 차량 방향 측면에 배치된 외부 커뮤니케이션 장치를 통해 후미등 고장을 알리는 텍스트 메시지를 표출한다. Alternatively, the above-mentioned notification may be placed at the rear of the vehicle so that the driver of the vehicle C may recognize it through the vehicle's external communication device (e.g., a display displaying text) when the vehicle overtakes the vehicle. A text message notifying of a tail light failure is displayed through an external communication device, and when the vehicle runs parallel to the vehicle in question, a text message notifying of a tail light failure is displayed through an external communication device placed on the side of the vehicle in the direction of other vehicles.

예를 들어, 차량(C)이 야간 주행 상황에서 전조등을 켜지 않고 주행하고 있는 경우이고, 입력부(110)를 통해 해당 차량(C)을 선택하는 제스처와 함께 "램프 켜고 안전운전하세요"라는 음성이 입력된 경우, 해당 음성에 관한 텍스트 메시지가 전술한 외부 커뮤니케이션 장치를 통해 표출되거나, V2V를 통해 전방 차량으로 알림이 제공된다. For example, if a vehicle (C) is driving without turning on the headlights in a night driving situation, a gesture to select the vehicle (C) and a voice saying “Turn on the lights and drive safely” are made through the input unit 110. When input, a text message related to the voice is displayed through the external communication device described above, or a notification is provided to the vehicle ahead through V2V.

또한, 전방 해당 차량(C)이 좌우로 휘청거리며 졸음운전인 것으로 의심되는 경우, 입력부(110)는 운전자의 손(H)이 해당 차량(C)을 선택함에 대한 제스처 정보를 입력받고, 음성 정보로서 "조심하세요"를 입력 받는다. In addition, when the vehicle (C) in front sways left and right and is suspected of being drowsy, the input unit 110 receives gesture information about the driver's hand (H) selecting the vehicle (C) and voice information. Enter “Be careful.”

이 때, 프로세서(130)는 긴박한 상황임에 따라, 전방 차량으로 졸음 운전을 하지 말라는 운전자의 음성 정보에 기반한 메시지를 V2V로 전송하고, 이러한 메시지는 수신한 전방 차량으로 하여금 시트 진동 등을 일으켜 전방 차량의 운전자에게 알람을 제공한다. At this time, as it is an urgent situation, the processor 130 transmits a message based on the driver's voice information telling the vehicle in front not to drive drowsily to V2V, and this message causes the vehicle in front to vibrate the seat, etc. Provides an alarm to the driver of the vehicle.

또한, 프로세서(130)는 전술한 바와 같이, 운전자의 제스처와 음성에 따라, 해당 차량(C)으로 졸음 운전을 하지 말라는 알림 메시지를 텍스트 메시지로서, 외부 커뮤니케이션 장치를 통해 표출하도록 제어한다. In addition, as described above, the processor 130 controls the display of a notification message not to drive drowsily in the vehicle C through an external communication device as a text message according to the driver's gestures and voice.

입력부(110)를 통해 차량 주변의 건물을 선택하는 제스처와 함께 "OO시에 XX명 예약해주세요"라는 운전자의 음성이 입력된 경우, 프로세서(130)는 해당 지점으로 예약 메시지를 전달한다. When the driver's voice saying “Please make a reservation for XX people at OO” along with a gesture for selecting a building around the vehicle is input through the input unit 110, the processor 130 delivers a reservation message to the corresponding point.

입력부(110)를 통해 차량 주변의 건물을 선택하는 제스처가 입력되면, 프로세서(130)는 해당 건물의 전화 번호 정보를 표출시키고, 운전자의 음성 또는 제스처에 의해 전화 연결에 대한 요청이 수신되면, 해당 전화번호로 전화 발신 처리한다. When a gesture for selecting a building around the vehicle is input through the input unit 110, the processor 130 displays phone number information for the building, and when a request for a phone connection is received by the driver's voice or gesture, the processor 130 displays the phone number information of the building. Send a call using a phone number.

입력부(110)를 통해 교통표지판을 선택하는 제스처와 함께 "교통사고, 119신고"라는 운전자의 음성이 입력된 경우, 프로세서(130)는 119 관제센터로 사고 신고 메시지를 전송하고, 이 때 운전자가 교통표지판을 선택한 제스처 정보에 따라, 교통표지판의 정보를 포함하는 사고 신고 메시지를 전송함으로써, 안전/위급상황에 대한 정보를 전달한다. When the driver's voice saying "Traffic accident, 119 report" is input along with a gesture for selecting a traffic sign through the input unit 110, the processor 130 transmits an accident report message to the 119 control center, and at this time, the driver Information on safety/emergency situations is delivered by transmitting an accident report message including the information on the traffic sign according to the gesture information for selecting the traffic sign.

입력부(110)를 통해 차량 주변의 무단횡단을 하는 보행자(P)가 선택되고, 그와 함께 "무단횡단 하지 마세요"라는 운전자의 음성이 입력된 경우, 프로세서(130)는 해당 보행자에게 해당 메시지를 외부 커뮤니케이션 장치를 통해 텍스트 메시지로 표출한다. When a pedestrian (P) jaywalking around a vehicle is selected through the input unit 110 and the driver's voice saying "Do not jaywalk" is input along with the pedestrian (P), the processor 130 sends a corresponding message to the pedestrian. Expressed as a text message through an external communication device.

프로세서(130)는 음성 정보 저장 및 판단을 통해, 운전자와 동승자 중 발화자를 구분 인식하고, 송부 메시지의 중요도를 분류한다. The processor 130 recognizes the speaker among the driver and the passenger and classifies the importance of the transmitted message through storage and judgment of voice information.

발화자가 운전자인지 동승자인지 여부에 따라 중요도 및 알람 제어가 달라지며(동승자 내용 필터링), 운전자로부터 동승자로 중요도와 관련하여 권한이 이양됨에 따라 메시지를 전달하는 것이 가능하다. Importance and alarm control vary depending on whether the speaker is the driver or a passenger (passenger content filtering), and it is possible to deliver messages as authority in relation to importance is transferred from the driver to the passenger.

또한, 프로세서(130)는 음성을 통한 공통의 공유 메시지를 전달함으로써, 전방 도로 상황 등 정보에 대해 타 차량의 확인이 가능하도록 한다. Additionally, the processor 130 transmits a common shared message through voice, allowing other vehicles to check information such as the road condition ahead.

도 4및 도 5는 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 기기 선택 제스처 및 음성 입력에 따른 제어를 나타내는 예시도이다. Figures 4 and 5 are exemplary diagrams showing control according to a device selection gesture and voice input in a control system using gesture input in a vehicle according to an embodiment of the present invention.

프로세서(130)는 입력부(110)가 수신한 운전자의 제스처에 따라, 에어제스처/에어터치 기능을 기본적으로 제공하도록 제어한다. The processor 130 controls the input unit 110 to basically provide the air gesture/air touch function according to the driver's gesture received.

이는 버튼 클릭, 모드 실행 등 기본 제스처 동작에 관한 것으로, 화면 내 표현된 버튼, 모드 선택 및 실행을 포함한다. This concerns basic gesture operations such as button clicking and mode execution, and includes buttons displayed on the screen, mode selection, and execution.

입력부(110)는 사용자의 제스처가 가리키는 차량 내 기기에 관한 정보를 수신하고, 그와 함께 사용자의 음성 정보를 수신한다. The input unit 110 receives information about the device in the vehicle indicated by the user's gesture, and also receives the user's voice information.

프로세서(130)는 입력부(110)가 수신한 제스처에 따라 선택된 차량 내 기기에 관한 정보 및 사용자의 음성 정보를 고려하여, 음성 정보에 따른 동작을 실행한다(숏컷 기능, 퀵 실행). The processor 130 considers information about the device in the vehicle selected according to the gesture received by the input unit 110 and the user's voice information, and executes an operation according to the voice information (shortcut function, quick execution).

도 4에 도시된 바와 같이, 입력부(110)가 사용자의 손(H) 제스처에 따라(t1→t2) 공조기(600) 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: 바람세기와 관련한 강하게, 약하게/ 풍향과 관련한 상, 하, 좌, 우/ 공조 모드에 관련한 에어컨, 온도 등)을 수신하면, 프로세서(130)는 사용자의 손이 가리키는 영역에 해당하는 차량 내 기기인 공조기에 대한 동작 실행을 제어한다. As shown in FIG. 4, the input unit 110 receives the selection of the air conditioner 600 area according to the user's hand (H) gesture (t1 → t2), and receives the user's voice (e.g., related to wind speed). Upon receiving (strong, weak/up, down, left, right related to wind direction/air conditioner related to air conditioning mode, temperature, etc.), the processor 130 operates the air conditioner, which is a device in the vehicle, corresponding to the area pointed by the user's hand. Controls execution.

도 5에 도시된 바와 같이, 입력부(110)가 사용자의 손(H) 제스처에 따라(t1→t2) 네비게이션(400) 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: "목적지")을 수신하면, 프로세서(130)는 목적지 검색 화면으로 이동하거나, 목적지 검색 리스트를 표출하거나, 목적지를 자동 설정하는 등의 동작 실행을 제어한다. As shown in FIG. 5, the input unit 110 receives the selection of the navigation 400 area according to the user's hand (H) gesture (t1 → t2), and selects the navigation 400 area according to the user's voice (e.g., “destination”). Upon receiving, the processor 130 controls the execution of operations such as moving to the destination search screen, displaying the destination search list, or automatically setting the destination.

입력부(110)가 사용자의 손(H) 제스처에 따라(t1→t2) 오디오 기기 영역에 대한 선택인 것을 수신하고, 사용자의 음성(예: 음원 제목, 가수, 장르 등)을 수신하면, 프로세서(130)는 사용자의 음성에 따라 음원 검색 화면으로 이동하거나, 음원 검색 리스트를 표출하거나, 음악을 자동 플레이하도록 동작 실행을 제어한다. When the input unit 110 receives the selection of the audio device area according to the user's hand (H) gesture (t1 → t2) and receives the user's voice (e.g., sound source title, singer, genre, etc.), the processor ( 130) controls the execution of actions to move to the sound source search screen, display a sound source search list, or automatically play music according to the user's voice.

프로세서(130)는 운전자의 제스처와 운전자의 음성을 함께 고려하여 기기의 실행을 제어하므로, 동일한 제스처라고 하더라도 운전자의 상이한 음성 입력에 따라 상이한 기능 실행 제어가 가능하다. The processor 130 controls the execution of the device by considering both the driver's gesture and the driver's voice, so even with the same gesture, it is possible to control the execution of different functions according to the driver's different voice input.

예컨대, 운전자가 "볼륨"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서는 오디오 기기의 음량을 높이도록 실행 제어하고, 운전자가 "바람"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서(130)는 공조기 기기의 풍량을 세게 하도록 실행 제어한다. For example, if the driver performs a gesture of raising the hand from bottom to top, saying "volume", the processor executes control to increase the volume of the audio device, and the driver performs a gesture of raising the hand from bottom to top, saying "wind". In one case, the processor 130 executes control to increase the air volume of the air conditioner device.

또한, 운전자가 "화면"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서(130)는 화면의 밝기를 밝게 하도록 실행 제어한다. Additionally, when the driver performs a gesture called “screen” and raises his hand from bottom to top, the processor 130 performs execution control to brighten the brightness of the screen.

또한, 운전자가 "내비게이션"이라고 하며 손을 아래에서 위로 올리는 제스처를 수행한 경우, 프로세서(130)는 지도 화면에 대한 확대를 수행한다. Additionally, when the driver performs a gesture called “navigation” and raises his hand from bottom to top, the processor 130 performs enlargement of the map screen.

프로세서(130)는 운전자의 제스처가 검지 손가락으로 입술에 갖다 대는 것이고, 운전자의 음성이 "쉿"인 경우, AVN에서 송출되는 사운드에 대해 음소거시킨다. The processor 130 mutes the sound transmitted from the AVN when the driver's gesture is to place the index finger on the lips and the driver's voice is “shh.”

또한, 주 기능이 겹쳤을 때에는 특정 제스처를 통한 숏컷(short cut)기능 제공이 가능한데, AVN에서 사운드가 송출되는 중(라디오, 음악 감상 등), 전화가 왔을 때 제스처를 통해 수신되는 전화를 거절하는 것이 가능하다. In addition, when the main functions overlap, it is possible to provide a short cut function through a specific gesture. When a call comes in while sound is being transmitted from the AVN (radio, listening to music, etc.), the incoming call can be rejected through a gesture. It is possible.

또한, 프로세서(130)는 운전자가 "뮤직" 음성을 발화하고 특정 제스처를 입력시키는 경우, 제스처에 따라 컨텐츠/메뉴/재생 리스트 등을 서칭(드래그)하고, "OK, 정지, 스톱"등 운전자의 발화 시 해당 음원의 위치 또는 범위 내에 선택창을 정지시킨다. In addition, when the driver utters the "music" voice and inputs a specific gesture, the processor 130 searches (drags) content/menu/playlist, etc. according to the gesture and performs the driver's actions such as "OK, stop, stop". When speaking, the selection window is stopped within the location or range of the sound source.

또한, 프로세서(130)는 운전자가 음악 감상 중 긍정의 언어(예: 좋다, 최고다 등)와 함께 엄지 손가락을 드는 제스처를 취한 경우, 음악에 대한 정보를 저장하고, 음원을 다운로드 받으며, 플레이스트에 추가시키고, 차량 내 SNS를 통해 긍정적인 피드백을 보내는 등의 절차를 수행한다. In addition, when the driver makes a thumbs up gesture along with positive language (e.g., good, best, etc.) while listening to music, the processor 130 stores information about the music, downloads the sound source, and stores the music. and perform procedures such as sending positive feedback through SNS in the vehicle.

프로세서(130)는 제스처와 다른 입력 정보(터치, 음성, 주변 환경 등)를 통해 선택된 영상(예: 윈드쉴드 디스플레이 내 엔터테인먼트)을 타 기기(휴대단말, 2열 승객 디스플레이, 타 차량)으로 전송한다. The processor 130 transmits the selected image (e.g., entertainment in the windshield display) to other devices (mobile terminal, second-row passenger display, other vehicle) through gestures and other input information (touch, voice, surrounding environment, etc.) .

이 때, 2열 승객 디스플레이로 영상 전송 시, 화면을 그대로 전송하고, 휴대단말로 전송 시 화면 사이즈를 고려하여 필수 정보를 추출하여 수정된 영상을 전송한다. At this time, when transmitting video to the second-row passenger display, the screen is transmitted as is, and when transmitting to the mobile terminal, essential information is extracted considering the screen size and the modified video is transmitted.

타 차량 전송 시, V2X 통신으로 전송하되, 교통 혼잡 지역에서의 혼잡 제어를 고려하여 전송한다. When transmitting to other vehicles, it is transmitted using V2X communication, taking congestion control in traffic congested areas into consideration.

이 때, 패킷 유실률이 높을 시 미전송하고, 안전 관련 정보만을 전송한다. At this time, if the packet loss rate is high, it is not transmitted and only safety-related information is transmitted.

프로세서는 영상 정보 자체를 전송하지 않고, 제스처 심볼만을 전송하며, 수신 디바이스에서 제스처 심볼에 따른 후속 기능 제어를 처리함으로써 데이터 패킷량을 감소시킨다. The processor does not transmit the image information itself, but only gesture symbols, and processes subsequent function control according to the gesture symbols in the receiving device, thereby reducing the amount of data packets.

도 6 및 도 7을 참조하면, 본 발명의 다른 실시예에 다른 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용 양태에 따라 동일한 사용자의 제스처에 대해 상이한 기능을 실행시킨다. Referring to Figures 6 and 7, a control system using gesture input in a vehicle according to another embodiment of the present invention executes different functions for the same user's gestures depending on the usage mode.

본 발명의 다른 실시예에 다른 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용 양태에 따라 동일한 사용자의 제스처에 대해 상이한 기능을 실행하도록 하는 명령을 전송한다. A control system using in-vehicle gesture input according to another embodiment of the present invention includes an input unit that receives a user's gesture, a memory containing a control program using in-vehicle gesture input, and a processor that executes the control program, The processor transmits commands to execute different functions for the same user's gestures depending on usage mode.

본 발명의 다른 실시예에 따른 입력부는 3D 카메라(ToF, 스트럭쳐, 스테레오, DSM-Driver Status Monitoring 카메라 등)가 사용자(운전자, 동승자)의 제스처 동작을 감지한 정보를 입력 받고, 사용자의 제스처에 수반되는 작동 상태(사용 양태)를 수신한다. The input unit according to another embodiment of the present invention receives information detected by a 3D camera (ToF, structure, stereo, DSM-Driver Status Monitoring camera, etc.) detecting the gesture movement of the user (driver, passenger), and responds to the user's gesture. Receives operational status (usage mode).

프로세서는 사용자의 제스처에 수반되는 작동 상태를 포함하는 사용 양태에 따라, 동일 제스처에 대해 상이한 차량 내 기능을 실행하도록 하는 명령을 전송한다. The processor transmits commands to execute different in-vehicle functions for the same gesture, depending on the usage pattern, including the operating state accompanying the user's gesture.

터치 패드(300) 또는 암래스트 접촉 상태는 사용자의 제스처에 수반되는 작동 상태의 일례이다. The touch pad 300 or armrest contact state is an example of an operating state accompanying a user's gesture.

도 6은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 접촉 상태 스와이프 제스처 입력에 대한 예시도이고, 도 7은 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 비접촉 상태 스와이프 제스처 입력에 대한 예시도이다. Figure 6 is an example of a contact state swipe gesture input of a control system using gesture input in a vehicle according to an embodiment of the present invention, and Figure 7 is an illustration of a control system using gesture input in a vehicle according to an embodiment of the present invention. This is an example of non-contact swipe gesture input.

이 때, 도 6 및 도 7에 도시된 바와 같이, 스와이프 제스처 입력은 사용자가 오른손을 이용하여 왼쪽에서 오른쪽으로 스와이프(t1→t2)하는 제스처인 것으로 가정한다. At this time, as shown in FIGS. 6 and 7, it is assumed that the swipe gesture input is a gesture in which the user swipes from left to right using the right hand (t1 → t2).

도 6을 참조하면, 윈드실드 영역은 제1 영역(A1) 및 제2 영역(A2)을 포함한다. Referring to FIG. 6, the windshield area includes a first area A1 and a second area A2.

도 6에 도시한 바와 같이, 사용자가 터치패드(300)에 팔을 접촉한 상태에서 오른손을 왼쪽에서 오른쪽으로 스와이프하는 제스처를 입력하는 경우, 입력부는 카메라에 의해 획득된 사용자의 제스처 동작과 관련된 정보를 수신하고 터치패드에 의해 획득된 팔의 거치 상태와 관련된 정보를 수신한다. As shown in FIG. 6, when a user inputs a gesture of swiping his right hand from left to right with his arm in contact with the touch pad 300, the input unit inputs a gesture related to the user's gesture operation acquired by the camera. Receive information and receive information related to the arm resting state obtained by the touchpad.

프로세서는 해당 제스처 및 팔의 거치 상태에 대응되는 동작 명령으로써, 영상의 표출 영역을 제1 영역에서 제2 영역으로 이동(A1→A2)시키는 명령을 전송한다. The processor transmits a command to move the image display area from the first area to the second area (A1 → A2) as an operation command corresponding to the gesture and the arm resting state.

예컨대, 도 6에 도시한 바와 같이, 터치패드(300)의 접촉 상태에서 기설정된 스와이프 제스처 입력 시, 네비게이션 화면을 제1 영역(A1)에서 제2 영역(A2)으로 이동시키는 것이 가능하다. For example, as shown in FIG. 6, when a preset swipe gesture is input while the touch pad 300 is in contact, it is possible to move the navigation screen from the first area A1 to the second area A2.

도 7을 참조하면, 사용자가 터치패드(300)에 팔을 접촉하지 않은 상태에서 오른손을 왼쪽에서 오른쪽으로 스와이프(t1→t2)하는 제스처를 입력하는 경우, 입력부는 카메라에 의해 획득된 사용자의 제스처 동작과 관련된 정보를 수신하고 터치패드(300)에 의해 획득된 팔의 거치 상태와 관련된 정보를 수신한다. Referring to FIG. 7, when a user inputs a gesture of swiping his right hand from left to right (t1 → t2) without touching the touch pad 300 with his arm, the input unit receives the user's information acquired by the camera. Information related to the gesture operation is received and information related to the arm resting state obtained by the touch pad 300 is received.

프로세서는 해당 제스처를 통해, 현재 제1 영역(A1)에서 디스플레이되고 있는 영상 콘텐츠에 대해 "뒤로 가기" 명령을 전송한다. The processor transmits a “back” command to the image content currently being displayed in the first area A1 through the corresponding gesture.

예컨대, 제1 영역(A1)에 영화 콘텐츠가 표출되고 있고, 해당 영화 콘텐츠에 대한 재생(▶), 일시 정지(ll), 뒤로 가기(<<), 앞으로 가기(>>), 정지(■) 중, 해당 스와이프 제스처에 대응되는 기능인 "뒤로 가기" 명령을 전송하고, 해당 콘텐츠에 대해 재생 시점을 변경시킨다(예: 현재 1:00:04→ 스와이프 동작에 따라 재생 시간을 10초 앞인 0:59:54로 변경). For example, movie content is displayed in the first area (A1), and play (▶), pause (ll), go back (<<), forward (>>), and stop (■) for the movie content. During the process, a "back" command, which is the function corresponding to the swipe gesture, is sent and the playback time for the content is changed (e.g. currently 1:00:04 → 0, which is 10 seconds ahead of the playback time according to the swipe gesture. :59:54).

본 발명의 다른 실시예에 따르면, 운전자의 스와이프 동작이 시작되는 지점과 종료되는 지점 사이의 거리를 고려하여, "뒤로 가기"의 기능을 상이하게 제공할 수 있다(예컨대, 스와이프 동작을 10cm로 짧게 하는 경우 10초 뒤로 가기, 스와이프 동작을 30cm로길게 하는 경우 30초 뒤로 가기 등).According to another embodiment of the present invention, the "backward" function may be provided differently, taking into account the distance between the starting point and the ending point of the driver's swiping motion (e.g., swiping motion 10 cm away). If you shorten the swipe action, go back 10 seconds, if you make the swipe action longer by 30cm, go back 30 seconds, etc.)

즉, 본 발명의 다른 실시예에 따르면 사용자 제스처에 수반되는 작동 상태(예: 터치패드에 대한 터치 여부)에 따라, 동일한 제스처(오른손을 왼쪽에서 오른쪽으로 스와이프하는 제스처)에 대해 상이한 기능 제공(터치패드 접촉 시에는 영상이 표출되는 영역을 이동하는 기능 제공, 터치패드 비접촉 시에는 영상 콘텐츠의 재생 시점을 이동하는 기능 제공)이 가능하다. That is, according to another embodiment of the present invention, different functions are provided for the same gesture (a gesture of swiping the right hand from left to right) depending on the operating state accompanying the user gesture (e.g., whether or not the touchpad is touched) ( It is possible to provide the function to move the area where the video is displayed when the touchpad is touched, and to move the playback time of the video content when the touchpad is not touched.

본 발명의 다른 실시예에 따른 프로세서는 사용자의 손 위치와 팔 거치 형태에 따라 제스처 입력에 따른 제어를 상이하게 수행하는데, 예컨대 터치패드에 손이 닿은 경우 터치에 대한 우선 조작권을 부여하고, 터치패드로부터 손이 떨어져 있을 경우 제스처에 따른 조작을 수행한다. The processor according to another embodiment of the present invention performs control according to gesture input differently depending on the user's hand position and arm resting type. For example, when the hand touches the touch pad, priority operation rights for the touch are granted, and the touch pad is given priority to control the touch. If your hand is away from the pad, operations are performed according to the gesture.

본 발명의 다른 실시예에 따르면 터치패드 또는 암래스트 접촉 여부에 따라 제스처 인식 컨셉이 변화되는데, 예컨대 IVI 영역에 대한 제스처 입력 시, 콘솔부 터치패드 또는 암래스트에 팔꿈치를 기댄 채로 조작을 하는 경우, 지정된 손 모양의 동작에 대한 에어제스처를 인식하고, 그에 대응되는 시스템 동작 명령을 전송한다. According to another embodiment of the present invention, the gesture recognition concept changes depending on whether the touchpad or armrest is contacted. For example, when inputting a gesture to the IVI area, when operating while leaning the elbow on the console touchpad or armrest, Recognizes air gestures for designated hand movements and transmits corresponding system operation commands.

이 때, 시스템 동작 명령으로는 IVI 디스플레이 영역 화면 전환, 모드 선택, 타 차량 보조 기능 실행 등이 포함된다. At this time, system operation commands include IVI display area screen switching, mode selection, and execution of other vehicle auxiliary functions.

본 발명의 다른 실시예에 따르면, 접촉 상태에서 비접촉 상태로 변경되는 경우, UI가 변화되며 가상 터치(에어 터치)에 따른 조작 제스처를 인식한다. According to another embodiment of the present invention, when changing from a contact state to a non-contact state, the UI changes and a manipulation gesture according to a virtual touch (air touch) is recognized.

사용자는 윈드실드(Head Up Display, 대화면 디스플레이 등) 또는 다른 아이템 조작을 위해 팔을 들어 비접촉 상태에서 가상 터치 조작을 수행하고, UI(윈드실드 또는 IVI 디스플레이 내 이미지) 변경에 따라 가상 터치 동작을 통해 빠른 실행 요청을 입력할 수 있다. Users perform virtual touch operations in a non-contact state by raising their arms to operate the windshield (Head Up Display, large screen display, etc.) or other items, and use virtual touch actions according to changes in the UI (images in the windshield or IVI display). You can enter a quick execution request.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 작동 상태 정보 및 제스처를 수신하는 단계, 작동 상태 정보가 기설정 조건에 만족되는지 여부를 확인하는 단계, 작동 상태 정보가 기설정 조건에 만족되는지 여부에 따라, 제1 제스처에 대응되는 제1 기능 또는 제2 기능을 제공하는 단계를 포함한다. A control method using gesture input in a vehicle according to another embodiment of the present invention includes receiving operating state information and a gesture, checking whether the operating state information satisfies a preset condition, and determining whether the operating state information satisfies a preset condition. and providing a first function or a second function corresponding to the first gesture, depending on whether is satisfied.

작동 상태 정보 및 제스처를 수신하는 단계는 차 내 탑승자의 제스처를 인식하는 영상 획득부로부터 탑승자의 제스처(예: 손을 왼쪽에서 오른쪽으로 스와이프하는 동작)를 수신하고, 이와 함께 작동 상태 정보를 수신한다.The step of receiving operating status information and gestures includes receiving the passenger's gesture (e.g., swiping the hand from left to right) from an image acquisition unit that recognizes the passenger's gesture in the car, and receiving operating status information along with it. do.

일례로, 작동 상태 정보 및 제스처를 수신하는 단계는 터치패드에 사용자의 팔이 접촉되었는지 여부를 작동 상태 정보로서 수신한다. For example, the step of receiving operating state information and gestures receives as operating state information whether the user's arm is in contact with the touchpad.

기설정 조건 확인 단계는 사용자의 팔이 터치패드에 접촉되었는지 여부를 확인하고, 사용자의 팔이 터치패드에 접촉된 경우, 다음 단계로서 작동 상태 정보 및 제스처를 수신하는 단계에서 수신한 제스처(제1 제스처)에 대응되는 제1 기능(컨텐츠가 디스플레이되는 영역을 이동함)을 제공한다. The preset condition confirmation step checks whether the user's arm is in contact with the touch pad, and if the user's arm is in contact with the touch pad, the next step is to receive the operation status information and gesture (the first gesture received in the step). It provides a first function (moving the area where content is displayed) corresponding to a gesture).

기설정 조건 확인 단계에서 사용자의 팔이 터치패드에 비접촉된 것으로 확인되면, 다음 단계로서 작동 상태 정보 및 제스처를 수신하는 단계에서 수신한 제스처(제1 제스처)에 대응되는 제2 기능(표출되고 있는 영상 컨텐츠의 재생 시점을 조절-뒤로가기 하는 기능)을 제공한다. If it is confirmed that the user's arm is not in contact with the touchpad in the preset condition confirmation step, the second function (expressed Provides the ability to adjust the playback time of video content and go back.

본 발명의 다른 실시예에 따르면, 단순히 제스처를 인식함에 그치는 것이 아니고, 제스처가 이루어지는 작동 상태 정보를 함께 고려하여, 동일한 제스처에 대해서도 상황에 따라 다른 기능을 실행하는 것으로 제스처-기능을 매칭시킴으로써, 사용자 편의성이 증대되는 효과가 있다. According to another embodiment of the present invention, the user does not simply recognize a gesture, but also considers the operating state information in which the gesture is made and matches the gesture-function by executing a different function depending on the situation for the same gesture. This has the effect of increasing convenience.

다른 예로서, 작동 상태 정보 및 제스처를 수신하는 단계는 작동 상태 정보로서 운전자의 감정 상태, 운전자의 보이스(음성) 입력 상태, 운전자의 졸림 상태 등을 수신하고, 이에 따라 동일한 제스처에 대해 상이한 기능을 제공하는 것이 가능하다. As another example, the step of receiving the operating state information and the gesture includes receiving the driver's emotional state, the driver's voice input state, the driver's drowsiness state, etc. as the operating state information, and accordingly performing different functions for the same gesture. It is possible to provide.

예컨대, 작동 상태 정보 및 제스처를 수신하는 단계에서 운전자의 감정 상태를 작동 상태 정보로서 수신하고, 현재 음악이 스트리밍되고 있는 상태를 가정한다. For example, in the step of receiving operating state information and gestures, it is assumed that the driver's emotional state is received as operating state information and that music is currently streaming.

이 때, 운전자의 감정 상태는 차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상을 분석하여, 평온한 감정인지, 찡그린 표정(화난 감정)인지 여부를 판단한다. At this time, the driver's emotional state is determined by analyzing the image of the driver's face obtained through a camera installed in the car to determine whether the driver has a calm emotion or a frowning expression (angry emotion).

또는, 운전자의 웨어러블 디바이스로부터 생체 정보를 공유 받아, 현재 운전자의 감정 상태를 확인하는 것이 가능하다. Alternatively, it is possible to check the driver's current emotional state by receiving biometric information from the driver's wearable device.

또는, 운전자의 스마트폰의 일정 애플리케이션 등을 통해, 운전자가 휴가 중이어서 마음이 평온한 상태인지, 운전자가 빠듯한 업무 일정 중이어서 피로한 감정 상태인지 여부에 대해 확인하는 것이 가능하다. Alternatively, through a schedule application on the driver's smartphone, it is possible to check whether the driver is in a calm state of mind because he or she is on vacation or whether the driver is emotionally fatigued because he or she is on a tight work schedule.

차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상이 찡그린 표정인 것으로 판단되고, 운전자가 다음 노래를 플레이하도록 하는 제스처(오른 손으로 왼쪽에서 오른쪽으로 스와이프하는 동작)를 입력하는 경우, 기설정 조건 확인 단계는 운전자의 감정상태가 "화남"에 해당하는 기설정 조건이 만족된 것으로 확인하고, 다음 단계로서 해당 제스처에 대해 단순히 플레이리스트 상 다음 순서의 노래를 재생하는 것이 아니라, 운전자의 기분이 좋아지도록 하는 노래를 다음 노래로 추천하여 스트리밍하는 제1 기능을 제공한다. If the driver's face image obtained through the camera installed in the car is judged to have a frowning expression, and the driver inputs a gesture (swipe from left to right with the right hand) to play the next song, the preset The condition confirmation step confirms that the preset condition corresponding to the driver's emotional state of being "angry" is satisfied, and as the next step, it does not simply play the song in the next order on the playlist for the corresponding gesture, but determines the driver's mood. It provides the first function to stream a song that you like by recommending it as the next song.

이 때, 기존에 운전자가 노래를 들은 뒤 좋은 피드백을 제공하였던 노래를 추천하여 스트리밍하거나, 빅데이터 분석을 통해 다수의 다른 사용자가 선호하는 노래를 추천하여 스트리밍하거나, 계절, 날씨, 운전자의 성별, 나이, 운전자가 평소 즐겨 듣는 시대/가수/장르를 고려하여 운전자가 선호할만한 노래를 추천하여 스트리밍한다. At this time, songs that the driver has previously given good feedback about after listening to the song are recommended and streamed, or songs preferred by many other users are recommended and streamed through big data analysis, or the season, weather, driver's gender, Considering the age and the era/singer/genre the driver usually listens to, songs that the driver may prefer are recommended and streamed.

차 내 비치된 카메라를 통해 획득된 운전자의 얼굴 영상이 평온한 표정인 것으로 판단되고, 운전자가 다음 노래를 플레이하도록 하는 제스처(오른 손으로 왼쪽에서 오른쪽으로 스와이프하는 동작)를 입력하는 경우, 기설정 조건 확인 단계는 운전자의 감정상태가 평온한 상태로서 기설정 조건이 만족되지 않은 것으로 확인하고, 다음 단계로서 해당 제스처에 대해 플레이리스트 상에서 다음 순서의 노래를 플레이하는 제2 기능을 제공한다. If the driver's face image obtained through the camera installed in the car is judged to have a calm expression, and the driver inputs a gesture (swipe from left to right with the right hand) to play the next song, the preset The condition confirmation step confirms that the driver's emotional state is calm and the preset conditions are not satisfied, and as a next step, a second function is provided to play the next song on the playlist for the corresponding gesture.

다른 예로서, 운전자의 음성을 입력 받고, 오른 손을 아래에서 위로 올리는 제스처를 입력 받는다. As another example, the driver's voice is input and a gesture of raising the right hand from bottom to top is input.

기설정 조건 확인 단계에서 운전자의 음성이 "온도"인 것을 확인하면, 다음 단계는 운전자의 음성 입력이 공조기를 제어하는 것으로 판단하여 설정 온도를 1도씨 상승시키는 제1 기능을 제공한다. If it is confirmed that the driver's voice input is "temperature" in the preset condition confirmation step, the next step determines that the driver's voice input controls the air conditioner and provides a first function to increase the set temperature by 1 degree Celsius.

기설정 조건 확인 단계에서 운전자의 음성이 "조수석 창문"인 것을 확인하면, 다음 단계는 운전자의 음성 입력이 조수석 창문의 개폐를 제어하는 것으로 판단하여 조수석의 창문을 올려 폐문하는 제2 기능을 제공한다. If the driver's voice is confirmed to be "passenger window" in the preset condition confirmation step, the next step determines that the driver's voice input controls the opening and closing of the passenger window, and provides a second function to raise and close the passenger window. .

전술한 바와 같이, 본 발명의 다른 실시예에 따르면 사용자 제스처에 수반되는 작동 상태 정보에 따라, 동일한 제스처에 대해 상이한 기능 제공을 제공하는 것이 가능하다.As described above, according to another embodiment of the present invention, it is possible to provide different functions for the same gesture, depending on the operating state information accompanying the user gesture.

도 8은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 블록도이고, 도 9는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 운전자 감정 상태에 따른 제스처 입력 제어를 나타내는 예시도이다. Figure 8 is a block diagram of a control system using in-vehicle gesture input according to another embodiment of the present invention, and Figure 9 is a gesture according to the driver's emotional state of the control system using in-vehicle gesture input according to another embodiment of the present invention. This is an example diagram showing input control.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 운전자의 상태를 인식하는 운전자 상태 인식부(110a)와, 제스처 정보를 수신하는 제스처 입력부(110b) 및 운전자 상태와 제스처 정보에 따라 동일한 제스처 정보에 대해 상이한 기능을 선별적으로 대응시켜 제공하는 제어부(140)를 포함한다. A control system using in-vehicle gesture input according to another embodiment of the present invention includes a driver state recognition unit 110a that recognizes the driver's state, a gesture input unit 110b that receives gesture information, and a gesture input unit 110b that receives gesture information according to the driver state and gesture information. It includes a control unit 140 that selectively provides different functions in response to the same gesture information.

운전자 상태 인식부(110a)는 운전자의 감정 상태 정보를 수신하는 것으로, 차 내 DSM 카메라를 통해 운전자의 표정으로부터 감정 상태 정보를 생성하거나, 운전자의 웨어러블 디바이스를 통해 운전자의 생체 정보로부터 감정 상태 정보를 생성하거나, 운전자의 스마트 디바이스의 일정 애플리케이션과 연동되어 운전자의 심리 상태 정보를 생성하는 것이 가능하다. The driver state recognition unit 110a receives the driver's emotional state information and generates emotional state information from the driver's facial expression through the DSM camera in the car, or generates emotional state information from the driver's biometric information through the driver's wearable device. It is possible to generate information about the driver's psychological state by linking it with a schedule application on the driver's smart device.

이하에서는 운전자의 감정 상태 정보와 제스처 정보에 따라, 동일한 제스처 정보에 대해 상이한 기능을 선별적으로 대응시켜 제공하는 실시예에 대하여 서술한다. Below, an embodiment in which different functions are provided by selectively matching the same gesture information according to the driver's emotional state information and gesture information will be described.

도 9에 도시된 바와 같이, 운전자가 주행 중 음악을 듣고 있는 상황에서, 오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처를 입력하면, 제스처 입력부(110b)는 카메라(200)를 통해 인지된 운전자의 제스처 정보를 수신한다. As shown in FIG. 9, when a driver is listening to music while driving and inputs a gesture of swiping his right hand from left to right (t1 → t2), the gesture input unit 110b transmits information through the camera 200. Information on the recognized driver's gesture is received.

오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처와 연동되는 기본 기능은 다음 노래를 재생시키는 기능으로 설정되어 있다. The basic function linked to the gesture of swiping the right hand from left to right (t1 → t2) is set to play the next song.

이 때, 운전자 상태 인식부(110a)가 카메라(200)를 통해 수신한 운전자의 표정을 "화남/흥분"으로 분류하면, 제어부(140)는 해당 제스처에 연동되는 기본 기능에 따라 단순히 플레이리스트 상 다음 순서의 노래를 재생시키는 것이 아니라, 운전자의 기분이 좋아지도록 하는 노래를 추천하여 재생시키도록 별도의 기능 실행을 제어한다. At this time, if the driver state recognition unit 110a classifies the driver's facial expression received through the camera 200 as “angry/excited,” the control unit 140 simply selects the playlist according to the basic function linked to the corresponding gesture. Instead of playing the next song, a separate function is controlled to recommend and play songs that make the driver feel better.

예컨대, 다수의 사용자로부터 기분이 좋아지는 음악으로 추천된 노래, 해당 운전자의 선호도가 높은 노래(계절, 날씨, 시간대 별로 주로 플레이한 것으로 히스토리가 구축된 사용자의 선호도가 높은 노래), 운전자 데이터를 분석한 결과 기분이 좋아지는 변화가 기존에 있었던 노래 등을 추천하여 재생시킨다. For example, songs recommended by a large number of users as music that makes them feel good, songs highly preferred by the driver in question (songs highly preferred by users whose history is built by mainly playing by season, weather, and time of day), and driver data were analyzed. As a result, it recommends and plays existing songs that make you feel better.

반면, 운전자 상태 인식부(110a)가 카메라(200)를 통해 인식된 운전자의 표정을 "평온"으로 분류하면, 제어부(140)는 해당 제스처의 기본 기능에 따라 플레이리스트 상의 다음 순서의 노래를 재생시키도록 제어한다. On the other hand, if the driver state recognition unit 110a classifies the driver's facial expression recognized through the camera 200 as “calm,” the control unit 140 plays the next song in the playlist according to the basic function of the corresponding gesture. Control it to do so.

본 실시예에 따르면, 동일 제스처에 대해 운전자의 감정 상태에 따라 상이한 기능을 동작시키는 것이 가능하며, 이는 제스처로 인해 조작되는 엔터테인먼트 기능인 것이 바람직하다. According to this embodiment, it is possible to operate different functions depending on the driver's emotional state for the same gesture, and it is preferable that this is an entertainment function operated by the gesture.

운전자 상태 인식부(110a) 및 제스처 입력부(110b)를 통해, 운전자의 기분 좋은 표정과 손 또는 얼굴 움직임 동작이 있는 것으로 판단하면, 제어부(140)는 무드램프 이퀄라이징 효과를 통해 운전자의 좋은 기분을 더욱 고취시키도록 제어한다. If it is determined through the driver state recognition unit 110a and the gesture input unit 110b that the driver has a pleasant expression and hand or facial movement, the control unit 140 further improves the driver's good mood through a mood lamp equalizing effect. Control to inspire.

운전자 상태 인식부(110a)가 운전자의 찡그린 표정을 인식하고, 제스처 입력부(110b)가 운전자의 코 막음 제스처를 인식하는 경우, 제어부(140)는 공조기의 내/외기를 전환시키거나, 공기청정 모드를 동작시키도록 제어한다. When the driver state recognition unit 110a recognizes the driver's frowning expression and the gesture input unit 110b recognizes the driver's nose-blocking gesture, the control unit 140 switches the inside/outside air of the air conditioner or enters the air purification mode. Control to operate.

제스처 입력부(110b)를 통해 입력되는 스와이프 동작은 기본적으로 표출되고 있는 화면/컨텐츠 넘김 동작을 수행하기 위한 제스처로 설정되는데, 차 내 시스템과 연동된 운전자의 스마트폰으로 전화가 오는 경우, 운전자 상태 인식부(110a)를 통해 찡그리는 얼굴 또는 부정적인 음성이 인식되면, 제어부(140)는 해당 스와이프 동작에 따라 전화 수신 거절 명령을 전송한다. The swipe action input through the gesture input unit 110b is basically set as a gesture to perform a swiping action on the displayed screen/content. When a call comes to the driver's smartphone linked to the in-vehicle system, the driver's status is changed. When a frowning face or negative voice is recognized through the recognition unit 110a, the control unit 140 transmits a call rejection command according to the corresponding swipe operation.

제스처 입력부(110b)를 통해 입력되는 제스처가 운전자가 자신의 가슴 등의 위치에 손을 지속적으로 대는 것이거나, 가슴을 치는 등의 제스처이고, 운전자 상태 인식부(110a)로부터 운전자의 찡그린 표정을 인식한 경우, 제어부(140)는 운전자의 건강 상태 이상이 있음을 판단하고 인근의 병원 위치를 운전자에게 알려주도록 제어한다. The gesture input through the gesture input unit 110b is the driver continuously placing his hand on his chest or a gesture such as hitting his chest, and the driver's frowning expression is recognized from the driver status recognition unit 110a. In one case, the control unit 140 determines that the driver's health condition is abnormal and controls the driver to inform the driver of the location of a nearby hospital.

또한, 제어부(140)는 운전자의 건강 상태 이상이 있음에 대해 주변의 구조대원, 병원, 운전자의 지인 등에게 알림을 전송한다. In addition, the control unit 140 sends a notification to nearby rescue workers, hospitals, acquaintances of the driver, etc. about the driver's health condition.

전술한 실시예에 따르면, 별도의 생체 인식 센서를 구비하지 않은 경우에도, 운전자의 얼굴 인식 결과 및 행동 분석에 따라 운전자의 건강 상태의 이상이 있는지 여부를 판별하고 그에 대응되는 차량 기능(예: 병원 위치 안내, 구조대원 및 지인 연락)을 제공하는 것이 가능하다. According to the above-described embodiment, even when a separate biometric sensor is not provided, it is determined whether there is an abnormality in the driver's health condition according to the driver's facial recognition results and behavioral analysis, and the corresponding vehicle function (e.g., hospital It is possible to provide location information, contact rescuers and acquaintances).

제어부(140)는 운전자 상태 인식부(110a)의 상태 인식 결과에 따라, 차량의 주행 모드를 전환시킨다. The control unit 140 switches the driving mode of the vehicle according to the status recognition result of the driver status recognition unit 110a.

제어부(140)는 운전자의 감정 상태가 "화남/흥분"으로 분류되면, 자율주행 모드로 차량을 구동시키고, 운전자의 감정 상태가 "평온함"으로 분류되면, 자율 주행 또는 수동 주행에 대한 모드를 운전자로부터 선택 받거나, 최근에 저장된 주행 모드를 자동으로 실행시킨다. If the driver's emotional state is classified as "angry/excited," the control unit 140 drives the vehicle in autonomous driving mode, and if the driver's emotional state is classified as "calm," the control unit 140 switches the driver to a mode for autonomous driving or manual driving. Select from or automatically execute the recently saved driving mode.

이 때, 운전자 상태 인식부(110a)는 운전자가 차량에 탑승하기 전 운전자의 휴대단말로부터 감정 정보를 수신하는 것이 가능하고, 운전자가 차량에 탑승한 후에는 전술한 카메라(200) 등을 통해 운전자의 감정 상태를 인식하는 것이 가능하다. At this time, the driver status recognition unit 110a is capable of receiving emotional information from the driver's portable terminal before the driver gets on the vehicle, and after the driver gets on the vehicle, the driver can receive emotional information through the above-described camera 200, etc. It is possible to recognize one's emotional state.

추가적으로, 운전자 상태 인식부(110a)는 운전자의 행동이나 표정으로부터 운전자의 상태를 인식함에 그치지 않고, 수동 주행 시 주행 패턴 등 외부 정보를 통해 운전자의 상태를 추정하는 것이 가능하다. Additionally, the driver state recognition unit 110a not only recognizes the driver's state from the driver's actions or facial expressions, but can also estimate the driver's state through external information such as driving patterns during manual driving.

예컨대, 운전자가 급출발, 급정거, 급격한 차선 변경을 하고 있는 경우, 운전자가 "화남/흥분" 상태에서 운전을 하고 있는 것으로 추정하고, 추정 결과에 따라 주행 모드를 자동 변경하거나 주행 모드 변경에 대해 추천하는 것이 가능하다. For example, if the driver is making a sudden start, sudden stop, or sudden lane change, it is estimated that the driver is driving in an “angry/excited” state, and automatically changes the driving mode according to the estimation result or recommends changing the driving mode. It is possible.

운전자의 탑승 후 주행이 진행됨에 따라, 운전자 상태 인식부(110a)는 감정 상태를 모니터링하고, 제어부(140)는 모니터링 결과를 고려하여 전술한 자율주행 모드를 유지하거나, 수동 주행 모드에서 자율주행 모드로 전환시킨다. As driving progresses after the driver gets on board, the driver status recognition unit 110a monitors the emotional state, and the control unit 140 maintains the aforementioned autonomous driving mode by considering the monitoring results, or changes the autonomous driving mode from the manual driving mode to the autonomous driving mode. Convert it to

제어부(140)는 운전자의 감정 상태를 주변 차량에 디스플레이하도록 제어한다. The control unit 140 controls the driver's emotional state to be displayed on surrounding vehicles.

이 때, 외부 커뮤니케이션 디스플레이를 통해 문구를 표출하거나, V2V를 통해 운전자의 감정 상태 정보를 전송한다. At this time, phrases are displayed through an external communication display or information about the driver's emotional state is transmitted through V2V.

예컨대, A차량의 운전자가 "화남/흥분" 상태에서도 수동 주행을 하는 경우, 난폭 운전이 될 수 있는데, A 차량은 이러한 운전자의 감정 상태를 주변 차량에 알려줌으로써, 주변의 B 차량(자율주행 모드 시) 또는 B차량의 운전자(수동주행 모드 시)가 A 차량의 난폭 운전에 대해 미리 대비(예: 안전거리 확보하여 운행, A차량 앞으로 차선변경 자제)하는 것이 가능하다. For example, if the driver of vehicle A drives manually even in an "angry/excited" state, it may result in reckless driving. Vehicle A informs surrounding vehicles of the driver's emotional state, thereby informing surrounding vehicles of vehicle B (autonomous driving mode). It is possible for the driver of vehicle B (in manual driving mode) to prepare in advance for reckless driving of vehicle A (e.g., drive at a safe distance, refrain from changing lanes in front of vehicle A).

다른 실시예로서, 운전자 상태 인식부(110a)는 운전자의 졸음 운전 여부에 대한 상태 정보를 수신한다. In another embodiment, the driver state recognition unit 110a receives state information about whether the driver is drowsy driving.

이는 카메라(200)를 통해 운전자의 눈이 감기거나, 고개를 끄덕이는 등 졸음 운전에 해당하는 운전자 상태를 인식하는 경우이거나, 또는 제스처 입력부(110b)를 통해 운전자가 자신의 눈을 부비거나 뒷목을 주무르는 등의 제스처를 입력하는 경우, 제어부(140)는 운전자가 졸음 운전 중인 것으로 판단한다. This is a case where the driver's state corresponding to drowsy driving is recognized through the camera 200, such as the driver's eyes are closed or the head is nodded, or when the driver rubs his or her eyes or the back of the neck is recognized through the gesture input unit 110b. When a gesture such as massaging is input, the control unit 140 determines that the driver is drowsy driving.

운전자가 주행 중 음악을 듣고 있는 상황에서, 오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처를 입력하면, 제스처 입력부(110b)는 카메라(200)를 통해 인지된 운전자의 제스처 정보를 수신한다. In a situation where the driver is listening to music while driving and inputs a gesture of swiping the right hand from left to right (t1 → t2), the gesture input unit 110b receives the driver's gesture information recognized through the camera 200. do.

오른손을 왼쪽에서 오른쪽으로(t1→t2) 스와이프하는 제스처는 다음 노래를 재생시키는 제스처인데, 이 때, 운전자 상태 인식부(110a) 및 제스처 입력부(110b)를 통해 운전자의 졸음 운전이 예상되는 경우, 제어부(140)는 단순히 플레이리스트 상의 다음 순서의 노래를 재생시키는 것이 아니라, 운전자의 졸음을 깨울 수 있는 빠른 템포의 노래를 추천하여 재생시키도록 제어한다. The gesture of swiping the right hand from left to right (t1 → t2) is a gesture that plays the next song. At this time, when the driver is expected to drive drowsy through the driver status recognition unit 110a and the gesture input unit 110b. , the control unit 140 does not simply play the next song on the playlist, but recommends and controls a song with a fast tempo that can wake the driver from drowsiness.

또는, 제어부(140)는 해당 제스처에 따라 운전자의 의도를 반영하여 플레이리스트 상의 다음 순서의 노래를 재생시키되, 운전자의 졸음 운전 상태임을 고려하여 볼륨을 1.5배로 크게 한다. Alternatively, the control unit 140 reflects the driver's intention according to the gesture and plays the next song in the playlist, but increases the volume by 1.5 times considering the driver's drowsy driving state.

도 10은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 보행자 안내 표시를 위한 제스처 입력을 나타내는 예시도이다. Figure 10 is an example diagram showing a gesture input for pedestrian guidance display in a control system using gesture input in a vehicle according to another embodiment of the present invention.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 주변 상황 정보 및 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 주변 상황 정보 및 사용자의 제스처에 따라, 동일한 사용자의 제스처에 대해 상이한 기능을 실행하도록 하는 명령을 전송한다. A control system using in-vehicle gesture input according to another embodiment of the present invention includes an input unit that receives surrounding situation information and a user's gesture, a memory containing a control program using in-vehicle gesture input, and a processor that executes the control program. Including, the processor transmits a command to execute a different function for the same user's gesture according to the surrounding situation information and the user's gesture.

본 실시예에서는 주변 상황 정보로서 차량 전방 횡단보도에서 도로를 횡단하려는 보행자가 존재하는지 여부에 관한 정보가 사용된다. In this embodiment, information on whether there are pedestrians trying to cross the road at the crosswalk in front of the vehicle is used as surrounding situation information.

도 10을 참조하면, 차량 전방 횡단보도(신호등이 없는 횡단보도)에서 횡단하려고 기다리는 보행자(P)가 존재하고, 운전자가 손을 좌우로 흔들어 (t1→t2→t3→t4) 건너가라는 의사 표시를 제스처로 입력한다. Referring to Figure 10, there is a pedestrian (P) waiting to cross at the crosswalk in front of the vehicle (crosswalk without traffic lights), and the driver waves his hand left and right (t1 → t2 → t3 → t4) to indicate his intention to cross. Enter with gestures.

종래에는 차량 내부에서 운전자의 수신호를 보고 보행자가 차량이 정차할 것임을 인지하고 길을 건넜지만, 썬팅 또는 야간 주행 상황 등 차량 내부가 보이지 않는 경우에는 이러한 식별이 어려우므로, 본 실시예에서는 카메라(200)를 통해 인식한 운전자의 제스처를 통해, 프로세서는 보행자에게 길을 건너가라는 메시지를 표출하도록 제어한다. Conventionally, pedestrians recognized that the vehicle would stop by looking at the driver's hand signal from inside the vehicle and crossed the road. However, in cases where the interior of the vehicle is not visible, such as tinting or driving at night, such identification is difficult, so in this embodiment, a camera (200 ), the processor controls the display of a message telling pedestrians to cross the road.

도 11을 참조하면, 전술한 상황에서 도 10과 같은 사용자의 제스처가 수신되면, 차량의 전방에 배치되는 외부 커뮤니케이션 장치(700)가 "건너 가십시오"라는 문구를 디스플레이하여, 보행자(P)가 이를 확인하고 횡단할 수 있도록 한다. Referring to FIG. 11, when a user's gesture as shown in FIG. 10 is received in the above-mentioned situation, the external communication device 700 placed in front of the vehicle displays the phrase “Please cross”, and the pedestrian (P) uses it. Check it and make sure you can cross it.

이러한 보행자 안내는 전술한 텍스트 메시지 뿐 아니라, 외부 지향성 스피커 등을 통해 오디오 메시지로 제공될 수 있으며, 또한 외부 조명 장치를 통해 횡단 보도를 초록색으로 비춤으로써 보행자로 하여금 횡단하도록 유도하는 것 역시 가능하다. Such pedestrian guidance can be provided not only as the text message described above, but also as an audio message through an external directional speaker, etc., and it is also possible to encourage pedestrians to cross by lighting the crosswalk green through an external lighting device.

전방에 보행자가 존재하지 않는 경우, 운전자의 해당 제스처는 도 13에 도시된 바와 같이 본래의 명령(제1 영역에 위치한 콘텐츠를 제2 영역으로 이동시키는 명령)을 수행하는 것으로 입력되고, 그에 따라 콘텐츠의 영역 이동이 이루어진다. If there is no pedestrian ahead, the driver's corresponding gesture is input to perform the original command (command to move the content located in the first area to the second area) as shown in FIG. 13, and the content is moved accordingly. Area movement occurs.

즉, 본 실시예에 따르면 주변 상황 정보(횡단을 하기 위해 기다리는 보행자의 존재 여부에 관한 정보)에 따라, 동일한 제스처에 대해 상이한 기능을 실행시키는 효과가 있다. That is, according to this embodiment, there is an effect of executing different functions for the same gesture depending on surrounding situation information (information about the presence or absence of pedestrians waiting to cross).

도 12는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 경고 표시를 나타내는 예시도이다. Figure 12 is an exemplary diagram showing a warning sign directed to a nearby vehicle in a control system using gesture input in a vehicle according to another embodiment of the present invention.

프로세서는 차량의 전방 횡단보도에서 보행자(P)가 길을 건너고 있을 때, 후측방에서 접근하는 다른 차량(C)의 존재에 관한 정보를 수신하면, 이 때 차량에 의해 보행자가 가려져 다른 차량(C)에 의한 보행자 추돌 사고 위험이 있으므로, 다른 차량(C)에게 경고 알림을 제공한다. When a pedestrian (P) is crossing the road at a crosswalk in front of a vehicle, the processor receives information about the presence of another vehicle (C) approaching from the rear, and at this time, the pedestrian is obscured by the vehicle and the other vehicle (C) ), so a warning notification is provided to other vehicles (C) because there is a risk of a pedestrian collision accident.

프로세서는 다른 차량(C)이 접근하는 방향으로 차량의 램프를 깜빡이도록 제어하여, 다른 차량(C)의 감속을 유도한다. The processor controls the vehicle's lamp to blink in the direction in which the other vehicle (C) approaches, thereby inducing the other vehicle (C) to slow down.

또는, 프로세서는 차량의 후면에 배치된 외부 커뮤니케이션 장치(700b)를 통해, "전방 보행자 주의"라는 메시지를 디스플레이하여, 다른 차량(C)으로 하여금 전방 보행자 존재에 관한 정보를 인지하고 감속하도록 유도한다. Alternatively, the processor displays the message “Beware of pedestrians ahead” through the external communication device 700b disposed at the rear of the vehicle to induce the other vehicle (C) to recognize information about the presence of pedestrians in front and slow down. .

또한, 프로세서는 차량의 전면에 배치된 외부 커뮤니케이션 장치(700a)의 문구를 전환하여, "접근 차량에 주의하십시오"라는 메시지를 디스플레이함으로써, 보행자(P)로 하여금 다른 차량(c)의 접근 여부를 인지하고, 안전한 횡단이 이루어질 수 있도록 유도한다. In addition, the processor changes the text of the external communication device 700a disposed in the front of the vehicle to display the message “Be careful of approaching vehicles”, thereby allowing the pedestrian (P) to determine whether another vehicle (c) is approaching. Recognize and encourage safe crossing.

도 14는 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 주변 차량을 향한 외부 커뮤니케이션을 위한 제스처 입력을 나타내는 예시도이다. Figure 14 is an example diagram showing gesture input for external communication toward surrounding vehicles in a control system using gesture input within a vehicle according to another embodiment of the present invention.

예를 들어 사용자가 손(H)을 이용하여 왼쪽 또는 오른쪽으로 들어올리는 제스처를 수행할 경우, 프로세서는 차선변경(끼어들기)에 따른 양해를 구하고자 하는 운전자의 의도가 있는 것으로 파악하고, 외부 커뮤니케이션 장치를 통해 메시지를 디스플레이한다. For example, when the user performs a gesture of raising the hand (H) to the left or right, the processor determines that the driver intends to ask for permission to change lanes (cutting in) and communicates externally. Display messages through the device.

예컨대, 도 15에 도시한 바와 같이, 제스처 방향에 따라 턴 시그널 램프가 동시에 동작하며, 차량의 측면에 배치된 외부 커뮤니케이션 장치(700c)를 통해 "감사합니다"라는 양해를 구하는 문구를 디스플레이한다. For example, as shown in FIG. 15, the turn signal lamp operates simultaneously according to the direction of the gesture, and displays the phrase “Thank you” asking for understanding through the external communication device 700c placed on the side of the vehicle.

이 때, 운전자의 제스처 인식은 시트 착좌 자세에서 기설정된 위치(높이) 이상에서 제스처 조작 시 인식됨이 바람직하다. At this time, it is desirable that the driver's gesture recognition is recognized when the gesture is operated at a preset position (height) or higher in the seat sitting posture.

차선 변경이 완료되면, 차량의 후면에 배치된 외부 커뮤니케이션 장치를 통해 "미안합니다"라는 양해 문구를 디스플레이한다. When the lane change is completed, the phrase “I’m sorry” is displayed through an external communication device placed on the rear of the vehicle.

또한, 프로세서는 차량의 급정거가 발생한 경우, 운전자가 손을 들어올리는 제스처에 따라, 후면에 배치된 외부 커뮤니케이션 장치를 통해 "미안합니다"라는 양해 문구를 디스플레이하는 것이 가능하다. Additionally, when a sudden stop of the vehicle occurs, the processor is capable of displaying the phrase "I'm sorry" through an external communication device placed at the rear according to the driver's gesture of raising his hand.

프로세서는 운전자의 제스처와 주행 히스토리 정보를 고려하여, 동일한 제스처에 대해 상이한 기능을 제공한다. The processor considers the driver's gestures and driving history information and provides different functions for the same gesture.

예컨대, 급정거 상황이 아니라 일반적인 감속 상황인 경우, 운전자가 손을 들어올리는 제스처에 따라 공조기의 바람 세기를 크게 하는 기능(제1 기능)을 제공하고, 급정거 상황에서는 운전자가 손을 들어올리는 제스처에 따라 전술한 "미안합니다"라는 양해 문구를 디스플레이하는 기능(제2 기능)을 제공한다. For example, in the case of a general deceleration situation rather than a sudden stop situation, a function (first function) is provided to increase the wind speed of the air conditioner according to the gesture of the driver raising his hand, and in a sudden stop situation, according to the gesture of the driver raising his hand. A function (second function) is provided to display the above-mentioned “I am sorry” expression of understanding.

도 16은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 윈드실드 내 영상이 겹쳐진 상황에서 운전자의 선택 제스처 및 음성 입력을 나타내는 예시도이다. Figure 16 is an example diagram showing a driver's selection gesture and voice input in a situation where images within the windshield of a control system using gesture input within a vehicle according to another embodiment of the present invention are overlapped.

본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템은 사용자의 제스처를 수신하는 입력부와, 차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리 및 제어 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 사용자의 제스처에 따라 화면 내 겹쳐진(layered) 영역에 대한 정보 표시 제어를 수행한다. A control system using in-vehicle gesture input according to another embodiment of the present invention includes an input unit that receives a user's gesture, a memory containing a control program using in-vehicle gesture input, and a processor that executes the control program, the processor Controls the display of information on layered areas on the screen according to the user's gestures.

종래 기술에 따르면, 화면(예: 윈드쉴드)의 영역을 분할하고, 영역 간에 콘텐츠를 이동하는 구성이 제안되었으나, 화면 내 겹쳐진(layered) 창의 이동에 대한 제스처 컨트롤 방법을 제안하지 못한 문제점이 있다. According to the prior art, a configuration was proposed to divide areas of the screen (e.g., windshield) and move content between areas, but there was a problem in that a gesture control method for movement of layered windows within the screen was not proposed.

도 16을 참조하면, 카메라(200)는 운전자의 손 (H)을 통해 입력되는 제스처 정보를 입력부로 전달한다. Referring to FIG. 16, the camera 200 transmits gesture information input through the driver's hand (H) to the input unit.

운전자의 손(H)이외에도, 운전자의 시선 방향을 인식하여 아이트래킹으로 운전자의 관심 객체(건물/사물)이 무엇인지 판별하는 것이 가능하다. In addition to the driver's hand (H), it is possible to recognize the driver's gaze direction and determine the object of interest (building/object) of the driver using eye tracking.

도 16은, 차량 내 윈드쉴드(layer 1, 주 화면)의 기설정 영역(A1)에 네비게이션 정보가 표출되어 있고(layer 2, 내비게이션, 엔터테인먼트 등), 운전자가 영역(A1)을 응시하던 중 네비게이션 정보 표출에 의해 가려진 외부에 있는 사물(R)에 대한 정보 확인 욕구가 있는 경우를 도시한다. In Figure 16, navigation information is displayed in the preset area (A1) of the windshield (layer 1, main screen) in the vehicle (layer 2, navigation, entertainment, etc.), and the navigation information is displayed while the driver is looking at the area (A1). This shows a case where there is a desire to confirm information about an external object (R) that is obscured by information expression.

즉, 운전자는 손(H)으로 사물(R)을 선택하는 제스처를 입력시키고, 음성(V)를 통해 '저기 어디지?', '정보 확인' 등의 음성을 발화한다. In other words, the driver inputs a gesture to select an object (R) with his hand (H) and utters voices such as ‘Where is it?’ and ‘Confirm information’ through his voice (V).

도 17을 참조하면, 프로세서는 도 16에 도시한 바와 같이 입력된 운전자의 제스처와 음성에 따라, 윈드쉴드에 운전자 관심 객체에 대한 정보를 표시한다. Referring to FIG. 17, the processor displays information about the driver's object of interest on the windshield according to the driver's gesture and voice input as shown in FIG. 16.

예컨대, 프로세서는 사물(R)이 여수에 위치한 빅오쇼 조형물인 경우, 윈드쉴드의 소정 영역(R1)에서 빅오쇼의 공연 정보(매일 18시부터 22시까지 30분 단위로 쇼 시작, 소요 시간: 15분)를 표출시키며, 이는 텍스트 뿐 아니라 음성을 통해 제공될 수 있다. For example, if the object (R) is a Big O Show sculpture located in Yeosu, the processor records Big O Show performance information (show starts every 30 minutes from 18:00 to 22:00 every day, duration: 15 minutes), which can be provided through voice as well as text.

또한, 이러한 정보 제공에 연동되어, 공연 예매 등에 관한 후속 기능을 제공하는 것이 가능하다. Additionally, in conjunction with the provision of such information, it is possible to provide follow-up functions related to performance reservations, etc.

전술한 예는 공연을 위한 조형물에 대해 서술한 것으로, 운전자의 관심 객체가 식당인 경우, 메뉴 정보, 운영 정보 등을 표출하고, 식당 예약을 위한 예약 메시지 전송 또는 식당으로의 전화 연결 등의 후속 기능을 제공한다. The above example describes a sculpture for a performance. When the driver's object of interest is a restaurant, menu information, operation information, etc. are displayed, and follow-up functions such as sending a reservation message to make a restaurant reservation or making a phone call to the restaurant are provided. provides.

운전자 관심 객체에 대한 정보가 표출되는 경우, 기존에 영역(A1)에서 표출되던 네비게이션 화면 정보는 차량의 AVN(400)으로 전달되어, AVN(400)에서 해당 정보를 표시하게 된다. When information about an object of interest to the driver is displayed, the navigation screen information previously displayed in area A1 is transmitted to the vehicle's AVN 400, and the AVN 400 displays the corresponding information.

3개 이상의 레이어가 존재하고, 전술한 운전자의 제스처 입력이 이루어지는 경우, 각 영상을 복수 개의 디스플레이(윈드쉴드, AVN, 클러스터, CMS 모니터 등)에 이동하여 표시하는 것이 가능하다. When three or more layers exist and the driver's gesture input as described above is made, it is possible to move and display each image on a plurality of displays (windshield, AVN, cluster, CMS monitor, etc.).

프로세서는 영상의 레이어 처리를 위해 화면 이동 제어를 수행하며, 사용자 의도에 의해 선순위로 보여져야 할 정보(조형물 R에 대한 정보)를 주 화면(기존에 운전자가 응시하고 있던 윈드쉴드)에 표출시키고, 기존에 주화면에 표출되던 영상을 후순위 디스플레이(AVN, 클러스터, 조수석 디스플레이 등)으로 이동시키도록 제어한다. The processor performs screen movement control to process the layers of the image, and displays information that should be viewed as a priority according to the user's intention (information about the sculpture R) on the main screen (the windshield that the driver was previously looking at). Controls the video previously displayed on the main screen to be moved to the secondary display (AVN, cluster, passenger display, etc.).

프로세서는 차량의 주행 모드(수동/자율주행)에 따라, 후순위 디스플레이들 간의 순위를 조정하는 것이 가능하다. The processor is capable of adjusting the ranking between lower-priority displays according to the vehicle's driving mode (manual/autonomous driving).

이 때, 운전자의 제스처, 음성, 아이트래킹 등 조작에 의해, 디스플레이되는 화면을 다른 디스플레이로 이동하여 정보를 표시할 수 있고, "OO 디스플레이로 이동하겠습니다"라는 안내 음성 제공 후 디스플레이를 자동이동 시킬 수 있다. At this time, the displayed screen can be moved to another display to display information by manipulating the driver's gestures, voice, eye tracking, etc., and the display can be automatically moved after providing a voice guidance saying "I will move to the OO display." there is.

도 18은 본 발명의 다른 실시예에 따른 차량 내 제스처 입력을 이용한 제어 시스템의 영상 영역 복귀를 나타내는 예시도이다. Figure 18 is an example diagram showing return to the image area of a control system using gesture input in a vehicle according to another embodiment of the present invention.

운전자가 전술한 조형물에 대한 정보를 확인하고, "확인 완료" 등의 음성을 발화시키거나, 스와이프 동작을 통해 조형물에 대한 정보를 더 이상 디스플레이하지 않도록 하거나, 조형물에 대한 정보가 표시되고 기설정 시간(예: 20초)가 지난 후의 경우 등에는, AVN(400)으로 이동되었던 네비게이션 화면이 기존에 표출되던 윈드쉴드 내 영역(A1)으로 이동하여 복귀된다. The driver checks the information about the above-mentioned sculpture, utters a voice such as “Confirmation complete,” or uses a swipe action to no longer display information about the sculpture, or the information about the sculpture is displayed and preset. When time (e.g., 20 seconds) has passed, the navigation screen that was moved to the AVN (400) is moved to the area (A1) within the windshield where it was previously displayed and returned.

이 때, 이동된 콘텐츠가 네비게이션 화면과 같이 실시간성을 가진 정보가 아닌 경우(예컨대 영화 콘텐츠인 경우), 영화 콘텐츠는 도 17에 도시한 바와 같이 이동되는 시점에서 일시 정지되며, 도 18에 도시한 바와 같이 기존 영역으로 복귀한 시점에서 다시 재생된다. At this time, if the moved content is not real-time information such as a navigation screen (for example, in the case of movie content), the movie content is paused at the point of movement as shown in FIG. 17, and as shown in FIG. 18. As shown, it is played again when it returns to the previous area.

한편, 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the control method using gesture input in a vehicle according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. A computer system may include at least one processor, memory, user input device, data communication bus, user output device, and storage. Each of the above-described components communicates data through a data communication bus.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. A processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and/or storage.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.Memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.

따라서, 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 차량 내 제스처 입력을 이용한 제어 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 제어 방법을 수행할 수 있다.Therefore, the control method using gesture input in a vehicle according to an embodiment of the present invention can be implemented in a method executable on a computer. When the control method using gesture input in a vehicle according to an embodiment of the present invention is performed on a computer device, computer-readable instructions may perform the control method according to the present invention.

한편, 상술한 본 발명에 따른 차량 내 제스처 입력을 이용한 제어 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the control method using gesture input in a vehicle according to the present invention described above can be implemented as a computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording media storing data that can be deciphered by a computer system. For example, there may be read only memory (ROM), random access memory (RAM), magnetic tape, magnetic disk, flash memory, and optical data storage devices. Additionally, the computer-readable recording medium can be distributed to a computer system connected through a computer communication network, and stored and executed as a code that can be read in a distributed manner.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, we have looked at the embodiments of the present invention. A person skilled in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

Claims (8)

사용자의 제스처 및 음성을 수신하는 입력부;
차량 내 제스처 입력을 이용한 제어 프로그램이 내장된 메모리; 및
상기 제어 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 사용자의 제스처 및 음성에 따라 기기 제어 명령을 전송하고,
상기 프로세서는 상기 사용자의 제스처로부터 선택된 외부 객체에 대하여, 상기 음성에 대응되는 메시지를 전달하고,
상기 프로세서는 상기 외부 객체가 다른 차량인 경우 상기 음성에 대응되는 메시지와 함께 상기 다른 차량의 기기를 제어하는 명령을 전송하되, 자차량의 위치와 상기 다른 차량의 위치를 고려하여 기설정 영역에 배치된 외부 커뮤니케이션 장치를 통해 메시지를 표출하는 것
인 차량 내 제스처 입력을 이용한 제어 시스템.
An input unit that receives the user's gestures and voice;
Memory with a built-in control program using in-vehicle gesture input; and
Including a processor that executes the control program,
The processor transmits device control commands according to the user's gestures and voice,
The processor transmits a message corresponding to the voice to an external object selected from the user's gesture,
If the external object is another vehicle, the processor transmits a command to control the device of the other vehicle along with a message corresponding to the voice, and is placed in a preset area in consideration of the location of the own vehicle and the location of the other vehicle. Expressing a message through an external communication device
A control system using in-vehicle gesture input.
제1항에 있어서,
상기 제스처 정보는 차 내에 배치된 3D 카메라를 통해 인식되는 것
인 차량 내 제스처 입력을 이용한 제어 시스템.
According to paragraph 1,
The gesture information is recognized through a 3D camera placed in the car.
A control system using in-vehicle gesture input.
제1항에 있어서,
상기 프로세서는 상기 사용자의 제스처를 통해 선택된 객체에 대한 정보를 제공하는 것
인 차량 내 제스처 입력을 이용한 제어 시스템.
According to paragraph 1,
The processor provides information about the object selected through the user's gesture.
A control system using in-vehicle gesture input.
제3항에 있어서,
상기 프로세서는 상기 선택된 객체에 대한 정보를 영상 정보 또는 음성 정보로 표출시키는 것
인 차량 내 제스처 입력을 이용한 제어 시스템.
According to paragraph 3,
The processor displays information about the selected object as image information or audio information.
A control system using in-vehicle gesture input.
삭제delete 삭제delete 제1항에 있어서,
상기 프로세서는 상기 제스처를 고려하여 차량 내 기기를 선택하고, 상기 음성을 고려하여 상기 선택된 차량 내 기기의 기능을 제어하는 것
인 차량 내 제스처 입력을 이용한 제어 시스템.
According to paragraph 1,
The processor selects an in-vehicle device in consideration of the gesture and controls functions of the selected in-vehicle device in consideration of the voice.
A control system using in-vehicle gesture input.
제1항에 있어서,
상기 프로세서는 상기 음성을 고려하여 차량 내 기기를 선택하고, 상기 제스처를 고려하여 상기 선택된 차량 내 기기의 기능을 제어하는 것
인 차량 내 제스처 입력을 이용한 제어 시스템. According to paragraph 1,
The processor selects an in-vehicle device in consideration of the voice and controls functions of the selected in-vehicle device in consideration of the gesture.
A control system using in-vehicle gesture input.

Images