KR20180120396A - Method and apparatus for feedback execution of motion gesture according to driving conditions - Google Patents

Method and apparatus for feedback execution of motion gesture according to driving conditions Download PDF

Info

Publication number
KR20180120396A
KR20180120396A KR1020170054243A KR20170054243A KR20180120396A KR 20180120396 A KR20180120396 A KR 20180120396A KR 1020170054243 A KR1020170054243 A KR 1020170054243A KR 20170054243 A KR20170054243 A KR 20170054243A KR 20180120396 A KR20180120396 A KR 20180120396A
Authority
KR
South Korea
Prior art keywords
state
motion gesture
vehicle
unstable
driving state
Prior art date
Application number
KR1020170054243A
Other languages
Korean (ko)
Inventor
박찬희
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020170054243A priority Critical patent/KR20180120396A/en
Publication of KR20180120396A publication Critical patent/KR20180120396A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention provides a method and an execution device thereof, which process a motion gesture feedback in a non-driving state instead of determining whether the motion gesture feedback is processed by determining whether a vehicle is in a driving state or the non-driving state. Also, the present invention executes the motion gesture feedback if a stable condition is detected even in the driving state and does not execute the motion gesture feedback only when an unstable condition is detected in the driving state. The present invention describes implementation of an in-vehicle gesture function in accordance with the condition of braking/steering/sensors of the vehicle. For example, the gesture function is disabled when a driver turns left/right, or the gesture function is disabled during sudden stop or accelerating of the vehicle so that the driver concentrates on only driving. The method comprises the following procedures of: outputting a recognition result value; determining whether the driving state of a current user and the driving state of the vehicle are unstable; and executing the normal motion gesture feedback.

Description

주행 조건에 따른 모션제스처 피드백 실행 방법 및 장치{Method and apparatus for feedback execution of motion gesture according to driving conditions}TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for performing motion gesture feedback according to driving conditions,

본 발명은 차량의 주행상태에 따른 사용자(운전자 등)의 제스처 동작에 대한 피드백 실행 여부를 판단하는 피드백 실행 방법 및 그 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a feedback execution method and apparatus for judging whether or not to perform a feedback on a gesture operation of a user (driver or the like) according to a running state of a vehicle.

종래의 자동차에 적용되는 사용자 동작, 행위, 모션, 제스처 등(이하, 모션제스처)에 의한 기능 수행(이하, 모션제스처 피드백)은 제스처를 감지하는 센서부(카메라, 적외선/LC 센서 등)로부터 제스처의 근간이 되는 데이터를 AP(CPU/MCU 및 시스템 주체)에 전달하고, AP(applicatio processor)에서는 수신된 제스처에 해당되는 시나리오(볼륨 업/다운, 화면 전환 등)와 같은 행동을 사용자인터페이스를 통해 출력하고 이에 따른 모니터, 음향기기 조절, 공조기 조절 등의 기능을 실행하여 제스처 피드백을 하고 있다.(Hereinafter, referred to as motion gesture feedback) applied to a conventional automobile is generated by a gesture from a sensor unit (a camera, an infrared ray / LC sensor, etc.) that senses a gesture, (Volume up / down, screen switching, and the like) corresponding to the received gesture is transmitted to the AP (CPU / MCU and system main body) through the user interface And performs gesture feedback by executing functions such as a monitor, a sound device control, and an air conditioner control.

이러한 제스처 피드백에 있어서, 종래에는 단순하게, 차량이 주행중인지 감지해서 주행 중이면 운전자용 모니터는 조작 불가하고 동승자용 모니터만 조작 가능하도록 활성화하거나, 주행 중에는 터치영역을 더 크게 표시하거나, 주행 중에는 제스처 입력을 제한하는 등의 제어만 시행하였다.In this gesture feedback, it is conventionally possible to simply activate the monitor for the driver only if the driver's monitor can not be operated and only the monitor for the passenger can operate, or to display the larger area of the touch area while driving, And only control such as input restriction was performed.

또한, 모션제스처 기술을 자동차에 적용하는 관점에 결부하여 다음과 같은 두 가지 문제를 고려할 필요가 있다. 첫째, 모든 자동차 운행의 조건에 대해서 제스처 입력을 제한할 필요는 없다. 가령, 안정적인 주행 조건에서는 제스처 입력에 대한 실행 알고리즘을 허용하여도 될 것이다. 예를 들어, 핸들의 일정 각 이상 입력시, 센서 입력에 의한 불안정한 상황 등의 불안정 상황에서만 제스처 입력을 제한해도 될 것이다. 또한, 제스처 입력을 항상 허용한다 하더라도, AP에서의 제스처 피드백 실행 알고리즘의 수행에 의해서 아무런 문제가 되지 않을 수도 있다. In addition, there are two problems to be considered in connection with the application of motion gesture technology to automobiles. First, there is no need to limit gesture input for all automotive conditions. For example, a stable running condition may allow an execution algorithm for the gesture input. For example, when inputting more than a certain angle of the handle, the gesture input may be limited only in an unstable situation such as an unstable situation due to sensor input. Also, even if gesture input is always allowed, there may be no problem by performing the gesture feedback execution algorithm in the AP.

둘째, 자동차 전용의 제스처 인식 알고리즘이 없다는 점이다. 차량용의 제스처 인식 알고리즘이 여타 상업용 제품의 알고리즘에 대비해 확실하게 해야 할 부분은 오작동 관련 부분이다. 운전 중에 있는 사용자가 에어제스처(air gesture: 화면을 직접 터치하지 않고 실행되는 기능)에 의해 기능을 실행하는 것이 도리어 운전자에게 부정적 영향을 끼친다면 모션제스처 인식 기능을 적용해서는 안 된다. 실제 많은 차량 OEM들이 운전자에게 과연 에어제스처가 실제로 필요한 기술인가라는 물음에 명확한 해답을 얻지 못하고 있고, 아직까지는 이 기능이 CES 데모쇼나 최고급 트림 차량의 고급감을 부각시키기 위한 사양으로만 적용되고 있는 것이 현실이다. 이와 같이 '차량' 이라는 조건에 있어서 종래의 제스처 기능들은 운전자에게 혹시나 끼칠 부정적 영향을 염려하고 있다.Second, there is no gesture recognition algorithm for cars. The gesture recognition algorithm for automobiles is a malfunction related part that must be made sure against the algorithms of other commercial products. Motion gesture recognition should not be applied if a user in operation has a negative effect on the driver by performing an air gesture (function performed without touching the screen directly). Actually, many vehicle OEMs do not have clear answers to the question that air gestures are actually necessary for drivers, and until now, this feature has been applied only to the specification for highlighting the CES demo show or the high-end trim car. to be. In this way, the conventional gesture functions under the condition of 'vehicle' are concerned about the negative impact on the driver.

국내특허등록 등록번호 10-1654694, 공고일자 2016년 9월 6일Domestic Patent Registration No. 10-1654694, Date of Publication September 6, 2016

차량에 적용되는 모션제스처 인식 알고리즘의 경우 사용자(특히, 운전자)에게 도리어 악영향을 끼친다면 이는 적용해서는 안 되는 기술이다. 차량용 전장품에 HMI(human-machine interface)적 요소가 요구되는 현재 추세에 여러 자동차 OEM들도 다양한 제스처 기능들을 실제로 자동차에 구현하고 싶어 하지만 오동작 또는 운전자에게 끼칠 부정적 영향 등을 염려하여 축소된 또는 생략된 제스처 기능만을 적용하고 있다.In the case of a motion gesture recognition algorithm applied to a vehicle, this is a technique that should not be applied if it adversely affects a user (particularly, a driver). In the current trend of requiring human-machine interface (HMI) elements in vehicle electrical products, many automobile OEMs also want to implement various gesture functions in the vehicle, but they are concerned about malfunctions or negative effects on the driver, Only the gesture function is applied.

이에 본 발명을 통해, 이전처럼 자동차가 주행 상태인지 비주행 상태인지만 판단하여 모션제스처 피드백 처리 여부를 결정하는 것이 아니라, 비주행 상태에서의 모션제스처 피드백 처리는 당연하고 이에 덧붙여 주행 상태에서도 안정조건임이 감지되면 모션제스처 피드백을 실행하고 주행 상태 중에 불안정 조건이 감지된 경우에만 모션제스처 피드백을 실행하지 않는 방법 및 그 수행 장치를 제안한다. Accordingly, the present invention is not limited to determining whether or not the motion gesture feedback process is determined by determining whether the vehicle is in a running state or a non-driving state as before, but it is a matter of course that the motion gesture feedback process in the non- A motion gesture feedback is executed and motion gesture feedback is not performed only when an unstable condition is detected during a running state.

상기 과제를 해결하기 위하여 본 발명에서는, 차량의 제동/조향/센서 들의 입력을 받아 조건에 맞춘 차량 내 제스처 기능 구현에 대해 기술하고자 한다. 예를 들어 운전자가 좌/우회전을 할 때 제스처 기능을 비활성화(disable) 시키거나, 차량의 급정거 및 악셀링 중에는 운전자가 운전에만 집중하고자 제스처 기능을 비활성화한다.In order to solve the above-mentioned problems, the present invention describes an implementation of an in-vehicle gesture function according to conditions of a braking / steering / sensors input of a vehicle. For example, the driver disables the gesture function when the driver turns left / right or the driver disables the gesture function only when the driver suddenly stops and accelerates.

본 발명의 제1특징에 따르면, 모션제스처 인식 알고리즘에 의해서 사용자의 모션제스처를 인식하여 인식 결과값을 출력하는 절차; 수신된 운전상태 및 차량 주행상태 수집 데이터로부터 현재 사용자의 운전상태 및 차량 주행상태가 안정 조건인지 불안정 조건인지 판단하는 절차; 상기 판단 절차에서 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건으로 판단된 경우에는 상기 모션제스처 인식 알고리즘에서 출력된 인식 결과값을 무시하고, 안정 조건으로 판단된 경우에는 상기 모션제스처에 대한 피드백 실행 명령을 출력하여 정상적인 모션제스처 피드백 실행을 수행하도록 하는 절차를 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 방법이 제공된다.According to a first aspect of the present invention, there is provided a method for recognizing a motion gesture of a user by a motion gesture recognition algorithm and outputting a recognition result value; From the received driving state and vehicle driving state collection data, whether the current driving state and the vehicle driving state of the current user are stable or unstable; If the current user's driving state and vehicle driving state are determined to be unstable in the determination procedure, the recognition result output from the motion gesture recognition algorithm is ignored, and if it is determined as a stable condition, feedback to the motion gesture And outputting a command to perform a normal motion gesture feedback execution, wherein the motion gesture feedback execution method according to the driving condition is provided.

한편, 본 발명의 제2특징에 따르면, 외부로부터 수신한 사용자의 모션제스처를 모션제스처 인식 알고리즘을 활용하여 인식하는 수단; 상기 모션제스처에 대한 피드백 실행을 활성화하거나 비활성화하기 위하여, 외부로부터 수신한 사용자 운전상태 및 차량 주행상태 수집 데이터로부터 현재 사용자의 운전상태 및 차량 주행상태가 안정 조건인지 불안정 조건인지 판단하는 임계값 판단 수단; 그리고, 상기 임계값 판단 수단에서 생성된 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건으로 판단된 경우에는 상기 모션제스처 인식 알고리즘에서 출력된 인식 결과값을 무시하여 피드백 실행을 비활성화하고, 안정 조건으로 판단된 경우에는 상기 모션제스처에 대한 피드백 실행 명령을 출력하여 모션제스처 피드백 실행을 활성화하도록 하는 모션제스처 피드백 실행 수단을 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 장치가 제공된다.According to a second aspect of the present invention, there is provided a device for recognizing a motion gesture of a user received from the outside using a motion gesture recognition algorithm. A threshold value judging means for judging whether the current driving state and the vehicle driving state of the current user are stable or unstable from the user operation state and vehicle driving state collection data received from the outside in order to activate or deactivate the feedback execution for the motion gesture, ; If the current state of the current user and the vehicle driving state generated by the threshold value determination unit are determined to be unstable, the feedback execution is disabled by disregarding the recognition result value output from the motion gesture recognition algorithm, And motion gesture feedback execution means for outputting a feedback execution command for the motion gesture to enable the execution of the motion gesture feedback when judged.

또한, 이 제2특징을 변형한, 사용자 운전상태 및 차량 주행상태 수집 데이터로부터 현재 사용자의 운전상태 및 차량 주행상태가 안정 조건인지 불안정 조건인지 판단된 신호를 수신하는 수단; 외부로부터 수신한 사용자의 모션제스처를 모션제스처 인식 알고리즘을 활용하여 인식하는 수단; 그리고, 상기 신호 수신 수단에서 수신한 신호가 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임을 나타낼 경우에는 상기 모션제스처 인식 알고리즘에서 출력된 인식 결과값을 무시하고, 안정 조건임을 나타낼 경우에는 모션제스처에 대한 피드백 실행 명령을 출력하여 정상적인 모션제스처 피드백 실행을 수행하도록 하는 모션제스처 피드백 실행 수단을 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 장치가 본 발명의 제3특징으로서 제공된다. Means for receiving a signal from the user driving state and vehicle driving state collection data modifying the second feature to determine whether the current driving state and the vehicle driving state of the current user are stable or unstable; Means for recognizing a user's motion gesture received from the outside using a motion gesture recognition algorithm; When the signal received by the signal receiving means indicates that the current operation state and the vehicle running state of the current user are unstable, the recognition result value output from the motion gesture recognition algorithm is ignored. If the signal indicates the stable condition, And a motion gesture feedback execution means for outputting a feedback execution command to the motion gesture feedback execution means so as to perform the normal motion gesture feedback execution, as a third feature of the present invention.

여기에서 상기 임계값 판단 수단과 모션제스처 피드백 실행 수단은 AP(application processor) 또는 중앙처리 장치로 구현할 수 있다.Here, the threshold value determination means and the motion gesture feedback execution means may be implemented by an AP (application processor) or a central processing unit.

상기 제1~제3특징에서, 수신된 운전상태 및 차량 주행상태 수집 데이터는, 스티어링휠의 동작 상태를 나타내는 조향 데이터, 브레이크의 동작 상태를 나타내는 제동 데이터, GPS 또는 내/외부 카메라를 포함하는 센서에 기반한 데이터 중 선택된 어느 하나를 포함할 수 있다.In the first to third aspects, the received driving state and vehicle driving state collection data may include, Steering data representing an operating state of the steering wheel, braking data representing an operating state of the brake, and data based on a sensor including a GPS or an internal / external camera.

각각의 수집 데이터에 대해서, 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임을 판단하는 상황은 다음과 같다. For each collected data, the current user's driving state and vehicle driving state are determined to be in an unstable condition as follows.

먼저, 상기 사용자 운전상태 및 차량 주행상태 수집 데이터가 조향 데이터인 경우에 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임은, 스티어링휠을 임계 각도보다 크게 조작하는 상황, 시그널램프 신호 입력 상황, 그리고 임계 시간 범위 내에서 조향각의 변화량이 임계 횟수를 초과하는 상황 중에서 선택된 어느 하나의 상황일 때 판단할 수 있다.First, when the user operation state and the vehicle driving state collection data are steering data, the current user's driving state and the vehicle driving state are unstable. The state of operating the steering wheel more than the critical angle, the signal lamp signal input state, And a situation in which the amount of change of the steering angle exceeds the threshold number of times within the critical time range.

제동 데이터인 경우에 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임은, 현재의 속도 변화량이 임계 속도보다 큰 급가속 및 급감속 상황, 그리고 임계 속도를 초과하는 상황 중에서 선택된 어느 하나의 상황일 때 판단할 수 있다. In the case of the braking data, the present operating state and vehicle running state of the current user are unstable. The present invention is not limited to any one of the situations in which the sudden acceleration and deceleration state where the current speed change amount is larger than the critical speed, You can judge when.

센서 기반 데이터인 경우에 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임은, 센서를 통해 전방에 있는 사물과의 거리가 임계 시간 내에서 급격히 변화되는 상황, GPS 또는 네비게이션 데이터에 기반하여 운전 주의로 설정된 도로에 들어간 경우, ADAS(Advanced Driver Assistance System) 기반 안정 주행 조건 이외의 상황, 그리고 차량의 상태 신호를 수신하여 주차·후진 중이거나 차량의 배터리 전원이 불안정하거나 액세서리모드(ACC)와 이그니션(IGN) 신호가 들어오지 않거나 도어가 열린 상태 중에서 선택된 어느 하나의 상황일 때 판단할 수 있다.In the case of the sensor-based data, the current user's driving state and vehicle driving state are unstable. The situation where the distance from the object ahead of the sensor is rapidly changed within the critical time, the driving state based on GPS or navigation data (ACC) and ignition (ACC), when the vehicle is parked or reversed, or the battery power of the vehicle is unstable, or when the vehicle is parked or reversed due to a situation other than a stable driving condition based on ADAS (Advanced Driver Assistance System) IGN) signal is not received or the door is open.

운전자가 급회전, 급감속/급가속할 때 운전에 집중하므로 모션제스처를 실행시 동작이 명확치 않을 수 있다. 이런 조건에 대해서는 모션제스처 피드백을 실행치 않고 안정적인 조건에 대하여만 유효한 피드백을 하므로 안정적인 입/출력 시스템 구조를 구현한다. 또한 모션제스처에 의한 운전 부주의를 대폭 감소시켜 안정성을 대폭 향상시킬 수 있다.The operation may not be clear when the motion gesture is executed because the driver concentrates on driving when it is suddenly decelerating / rapidly accelerating. For such a condition, a stable input / output system structure is realized by providing effective feedback only for stable conditions without executing motion gesture feedback. In addition, the driving carelessness by the motion gesture can be greatly reduced, and the stability can be greatly improved.

도 1은 본 발명의 한 실시예에 따른 방법의 구성도
도 2는 본 발명의 한 실시예에 따른 장치의 구성도
도 3과 도 4는 도 2의 구성에 적용가능한 데이터 전달의 두 가지 실시형태의 예시도1 is a block diagram of a method according to an embodiment of the present invention.
2 is a block diagram of an apparatus according to an embodiment of the present invention.
Figures 3 and 4 illustrate two embodiments of data delivery that are applicable to the configuration of Figure 2;

본 발명은 차량의 조향/제동/전후방 카메라 센서로부터 차량의 주행/운전상태를 수집 받아 모션제스처에 부작용이 예상되는 상황이 존재할 경우, 모션제스처에 대한 피드백을 실행하지 않음으로써 안정적인 주행을 가능하게 하는 기술이다. In the present invention, when driving / driving conditions of a vehicle are collected from the steering / braking / front and rear camera sensors of the vehicle, feedback of the motion gesture is not performed when a side effect is anticipated in the motion gesture, Technology.

좀더 구체적으로, 차량의 조향/제동/전후방 카메라 또는 센서로부터 차량의 주행/운전 상태를 수집받아 그 상태가 온전치 못하거나 제스처에 의한 부작용이 예상되는 상황에 있다면 현 상황을 AP(application processor)에 인터럽트 신호로 전달한다. AP에서는 해당되는 인터럽트 수신시에, 제스처 모듈로부터 수신된 데이터는 무시하고 제스처 피드백을 실행하지 않는다(예를 들어, 제스처 기능의 일시적 비활성화(disable) 상태에 들어감). More specifically, if the state of the vehicle is collected from the steering / braking / forward / backward camera or sensor of the vehicle and the state of the vehicle is in a state where the state of the vehicle can not be turned on or a side effect due to the gesture is expected, Interrupt signal is transmitted. Upon receiving the corresponding interrupt, the AP ignores the data received from the gesture module and does not perform gesture feedback (e.g., enters a temporary disabling state of the gesture function).

본 발명의 방법의 한 가지 실시예의 구성은 도 1과 같다.The configuration of one embodiment of the method of the present invention is shown in Fig.

카메라, 적외선 센서 등의 제스처 센서 모듈(12)에 사용자의 모션이 감지되면, 모션제스처 인식 알고리즘(14)에 의해서 사용자의 제스처가 인식된다. 가령, 현재 손짓 제스처가 오른쪽으로 움직이거나 향하고 있는지, 왼쪽으로 움직이거나 향하고 있는지, 홀드 상태인지 등의 인식 결과값이 출력된다.When a user's motion is detected in the gesture sensor module 12 such as a camera or an infrared sensor, the gesture of the user is recognized by the motion gesture recognition algorithm 14. [ For example, the recognition result such as whether the present hand gesture is moving or heading to the right, moving to the left or heading to the left, or a hold state is output.

한편, 다른 경로로 수집된 운전상태 수집 데이터(16), 가령, 속도 데이터(16a), 센서 데이터(16b), 조향 데이터(16c)로부터 현재의 운전상태 및 차량 주행상태(이하, '운전상태'로 약칭함)가 안정조건인지 불안정조건인지 판단하여 불안정 조건인 경우에는 그 상황의 존재를 알리는 인터럽트가 발생된다. 이 인터럽트 신호가 발생한 경우에는(18), 앞에서 모션제스처 인식 알고리즘에서 출력된 인식 결과값을 무시하고 초기 단계로 돌아간다(20). 만일 인터럽트 신호가 발생하지 않으면, 즉, 운전상태 및 차량 주행상태가 현재 안정 조건인 것으로 판단된 것이면, 피드백 실행 명령이 하달되어(22) 피드백 실행 모듈로 하여금 음향기기, 모니터 화면, 공조기 등의 정상적인 실행을 수행하도록 한다(24). 그 결과, 볼륨조절, 화면 전환, 공조 제어 등의 기능이 실행된다(26).On the other hand, the current driving state and the vehicle driving state (hereinafter referred to as the " driving state ") are calculated from the driving state collection data 16, for example, the speed data 16a, the sensor data 16b, ) Is an unstable condition or an unstable condition, an interrupt is generated to notify the existence of the unstable condition. If the interrupt signal is generated (18), the recognition result output from the motion gesture recognition algorithm is ignored and the process returns to the initial stage (20). If the interrupt signal is not generated, that is, if it is determined that the driving state and the vehicle running state are the current stable conditions, a feedback execution command is sent to the feedback execution module to cause the feedback execution module to perform a normal operation such as a sound device, (24). As a result, functions such as volume control, screen switching, air conditioning control, and the like are executed (26).

도 2는 본 발명의 한 실시예에 따른 장치의 구성도이다. 각 기능블록을 간략히 설명하면 다음과 같다.2 is a configuration diagram of an apparatus according to an embodiment of the present invention. Each function block will be briefly described as follows.

모션제스처 감지부(28): 카메라 등의 센서를 통해 사용자(가령, 운전자)의 모션제스처를 감지한다.Motion Gesture Detection Unit 28: Detects a motion gesture of a user (e.g., a driver) through a sensor such as a camera.

운전 상태 수집부(30): 운전자의 현재 운전 상태 또는 차량의 현재 동작 상태 등을 수집한다. 본 실시예에서는 스티어링휠의 동작 상태를 나타내는 조향 데이터 송신부(32), 브레이크의 동작 상태를 나타내는 제동 데이터 송신부(34), 그 외 GPS, 내/외부 카메라 등의 센서에 기반한 데이터 송신부(36)의 세 블록으로 운전 상태 수집부를 구현하였다. 조향 데이터 송신부(32)는 조향 ECU로 구현하였고, 제동 데이터 송신부(34)는 제동 ECU, 엔진 ECU 등으로 구현하였다. 센서 기반 데이터 송신부(36)는 GPS나 내/외부 카메라로 구현하였다.The operation state collecting unit 30 collects the current operation state of the driver or the current operation state of the vehicle. In this embodiment, the steering data transmission section 32 that indicates the operating state of the steering wheel, the braking data transmission section 34 that indicates the operating state of the brake, the data transmission section 36 based on sensors such as GPS, The operation state collector is implemented in three blocks. The steering data transmission unit 32 is implemented by a steering ECU, and the braking data transmission unit 34 is implemented by a braking ECU, an engine ECU, and the like. The sensor-based data transmission unit 36 is implemented by a GPS or an internal / external camera.

임계값 판단부(38): 운전상태 수집부(30)의 수집 정보에 따라 모션제스처의 활성화 및 비활성화를 판단하여 인터럽트 발생 여부를 결정한다.The threshold value determination unit 38 determines whether to activate or deactivate the motion gesture according to the collected information of the operation state collection unit 30 to determine whether an interrupt has occurred.

모션제스처 피드백 실행부(40): 모션제스처 감지부(28)에 입력된(즉, 감지된) 모션제스처에 대해서, 운전 상태 수집부(30)로부터 온 운전 상태 데이터의 임계값을 판단하여, 발생된 인터럽트에 따라 모션제스처 피드백을 실행한다.The motion gesture feedback execution unit 40 judges the threshold value of the operation state data from the operation state collection unit 30 for the motion gesture inputted to the motion gesture sensing unit 28 And executes the motion gesture feedback according to the interrupts.

여기서 임계값 판단부(38)와 모션제스처 피드백 실행부(40)는 AP 또는 중앙처리장치(42)로 구현할 수 있다. AP(application processor)는 모바일용 메모리 칩으로 각종 애플리케이션 작동과 그래픽 처리를 담당하는 핵심 반도체를 의미한다. AP는 컴퓨터의 중앙처리장치(CPU)의 기능과 메모리, 하드디스크, 그래픽 카드 등 기타 장비의 연결을 제어하는 칩셋의 기능을 모두 포함하고 있는 일종의 SoC(System on Chip)이다.Here, the threshold value determination unit 38 and the motion gesture feedback execution unit 40 may be implemented by an AP or a central processing unit 42. [ AP (application processor) is a mobile memory chip, which means a core semiconductor that performs various application operations and graphics processing. An AP is a kind of System on Chip (SoC) that includes all the functions of a computer's central processing unit (CPU) and a chipset that controls the connection of memory, hard disks, graphics cards, and other devices.

임계값 판단부(38)와 모션제스처 피드백 실행부(40)가 포함되는 AP(42) 또는 중앙처리장치는 모션제스처 입력(INPUT)에 대해 OUTPUT을 결과값으로서 사용자에게 표시하는 역할을 한다(사용자에게 화면 전환, 볼륨 조절, 공조 제어 등을 표시). 만약 적절치 못한 상황(예컨대, 모션제스처를 무시해야 하는 상황)에서는 사용자가 모션제스처를 하더라도 그에 대한 결과값, 피드백을 주지 않도록 하여 운전자가 운전에 집중할 수 있도록 한다. AP(42) 또는 중앙처리장치에는 다양한 데이터를 받을 수 있도록 LOW SPEED CAN, HIGH SPEED CAN, 이더넷, MOST와 같은 다양한 차량 네트워크 인터페이스를 지원해야 한다.The AP 42 or the central processing unit including the threshold value determination unit 38 and the motion gesture feedback execution unit 40 displays the OUTPUT for the motion gesture input INPUT to the user as a result value Screen display, volume control, air conditioning control, etc.). If an inappropriate situation (for example, a situation in which a motion gesture is to be ignored), the user is allowed to concentrate on driving without causing any feedback on the result of the motion gesture. The AP 42 or the central processing unit must support various vehicle network interfaces such as LOW SPEED CAN, HIGH SPEED CAN, Ethernet, and MOST to receive various data.

또한, 도 2에 나타내지 않았지만, 이 구성에 추가하여 사용자인터페이스(user interface)가 추가로 포함될 수 있다. 사용자인터페이스는 사용자 입장에서 모션제스처 행동에 대한 결과값을 표시받기 위한 블록이다. 오디오기기의 볼륨 조절, 공조기 제어, 창문의 열림, 화면 전환 등과 같은 모션제스처의 피드백 동작이 표현되는 블록이다. 해당되는 각 피드백 실행은 설계자에 따라, 어떠한 모션제스처 피드백 시나리오를 구성하는지 등에 따라 그 기능이 달라질 수 있다.Further, although not shown in FIG. 2, in addition to this configuration, a user interface may be additionally included. The user interface is a block for receiving the result of motion gesture behavior from the user's point of view. A feedback operation of a motion gesture such as volume control of an audio device, control of an air conditioner, opening of a window, switching of a screen, and the like is expressed. The function of each feedback execution may vary depending on the designer, what type of motion gesture feedback scenario is configured, and so on.

각 기능블록별로 보다 구체적으로 설명하면 다음과 같다. Each functional block will be described in more detail as follows.

모션제스처 감지부(28)는 적외선 카메라, 센서 모듈 등으로 운전자의 모션을 감지한다. 설계에 따라서는, 영상 RAW DATA를 전달하여 모션제스처 알고리즘이 AP부에서 실행되도록 하거나 모션제스처 모듈에 알고리즘이 내장되어 있어 모션제스처 최종 결과값만 전달하도록 할 수 있다(추후에 상세 설명함). 최종 모션제스처 입력에 대한 결과값(OUTPUT, 피드백)을 실행하는 것에 대한 판단은 AP에서 주행/제동/주변 상황에 근거하여 판단하도록 구성한다.The motion gesture sensing unit 28 senses the motion of the driver with an infrared camera, a sensor module, or the like. Depending on the design, the motion gesture algorithm may be executed in the AP unit by transmitting the image RAW data, or the motion gesture module may have the built-in algorithm so that only the final result of the motion gesture is transmitted (detailed later). The determination as to whether to execute the result value (OUTPUT, feedback) on the final motion gesture input is made based on the driving / braking / peripheral situation in the AP.

운전 상태 수집부(30)에는 아래와 같이, 조향 데이터 송신부(32), 제동 데이터 송신부(34), 센서 기반 데이터 송신부(36)가 포함된다.The driving state collecting unit 30 includes a steering data transmitting unit 32, a braking data transmitting unit 34, and a sensor-based data transmitting unit 36 as described below.

조향 데이터 송신부(32): 차량의 조향 데이터를 송신하는 블록이다. 흔히 알고 있는 조향 ECU가 해당된다. 조향 ECU에서는 스티어링휠 센서를 통해 운전자의 핸들 조절 여부와 조절 각도에 대해 파악할 수 있다. 현재 운전자가 일정 각도 이상(알고리즘이 허용하는 임계값(threshold) 이상의 조향값)의 좌/우회전에 해당되는 운전 중인지 알게끔 해주는 데이터를 송신하는 블록이다. 해당 데이터에 근간하여 AP(42)에서는 입력된 제스처 결과값을 무시하거나 안정적인 조향 상태라면 모션 제스처 값을 유효하게 받아들여 사용자에게 효과를 보여주도록 한다. AP(42)에서 원하는 조향 데이터의 임계값과 안정적인 모션제스처 가동 가능한 상황 설정은 설계자에 따라 폭넓게 활용될 수 있다.Steering data transmission section 32: This is a block for transmitting steering data of the vehicle. A commonly known steering ECU is applicable. In the steering ECU, the steering wheel sensor allows the driver to determine whether the steering wheel is adjustable or not. It is a block that transmits the data that makes the driver know that the driver is operating for a left or right turn of a certain angle or more (the steering value above a threshold that the algorithm allows). Based on the data, the AP 42 ignores the inputted gesture result value, or if it is in a stable steering state, it accepts the motion gesture value effectively and shows the effect to the user. The threshold value of the desired steering data in the AP 42 and the setting of the state in which the stable motion gesture can be stably set can be widely used depending on the designer.

조향 데이터에 근거한 모션제스처 피드백 실행 제한 상황의 몇 가지 사례에 대해서 설명한다. 첫번째 예로, 핸들(스티어링휠)을 소정의 각도 이상으로 조작하는 상황에서는 운전자의 모션제스처 실행이 운전에 방해가 될 소지가 있다. 이러한 상황에서는 모션제스처 피드백 실행을 제한한다. 두번째 예로서, 시그널램프(차선변경 알림등, 깜박이) 신호 입력시에 운전자는 양 사이드미러를 쳐다보거나, 차선 변경 또는 좌/우회전에 해당되는 운전 집중 상황에 들어가게 된다. 따라서 시그널램프 신호 입력시에는 모션제스처 피드백 실행을 제한한다. 세번째 예는 일정 시간 안에 조향의 변동이 잦을 때이다. 일정 시간 안에 조향각의 변화량이 빈번하다는 것은 차체의 흔들림 상황 또는 불안정한 주행 조건을 의미하므로, 이 경우는 운전자에게 집중을 요하는 상황 조건으로 판단하여 모션제스처의 피드백 실행을 제한한다.Some examples of motion gesture feedback execution limitations based on steering data are described. As a first example, in a situation where the steering wheel (steering wheel) is operated over a predetermined angle, execution of the motion gesture of the driver may interfere with driving. This situation limits the execution of motion gesture feedback. As a second example, when entering a signal ramp (lane changing notification, blinking) signal, the driver will be in a driving concentration situation, such as looking at both side mirrors, changing lanes or turning left / right. Therefore, motion gesture feedback execution is restricted when the signal lamp signal is input. The third example is when the steering fluctuates frequently within a certain time. Frequent changes in the steering angle within a certain period of time indicate a vehicle shake or an unstable driving condition, and therefore, it is determined that the driver is in a situation condition requiring concentration, thereby restricting feedback execution of the motion gesture.

모션제스처 피드백 실행 제한의 근거가 되는 기초 데이터(raw data)의 수집은 조향 ECU 또는 그 역할을 담당하는 ECU, 또는 휠 센서 또는 기타 조향각 판단 ECU에서 수집한다. 차선신호 변경 알림등(시그널 램프)의 신호 데이터는 이를 관장하는 ECU에서 수집한다.The collection of raw data on which the motion gesture feedback execution restriction is based is collected by the steering ECU or the ECU, or wheel sensor or other steering angle judgment ECU. The signal data of the lane signal change notification lamp (signal lamp) is collected by the controlling ECU.

제동 데이터 송신부(34): 차량의 제동 데이터를 송신하는 블록이다. 현재의 속도 변화량(△V, 차량의 감가속력)이 설정해 놓은 임계값(Threshold)보다 높다면 급가속 및 급감속 상황으로 인지한다. 혹은 소정 속도 초과의 상태(고속주행)임을 해당 블록에서 전달받아 모션제스처 기능을 AP(42)가 무시하도록 구성할 수 있다. AP(42)가 원하는 제동 데이터의 임계값과 안정적인 모션제스처 가동 가능한 상황 설정은 설계자에 따라 폭넓게 활용될 수 있다.Braking data transmission unit 34: This is a block for transmitting braking data of the vehicle. If the current speed change amount (DELTA V, vehicle deceleration speed) is higher than the set threshold value, it is recognized as a rapid acceleration and deceleration state. Or a state that the speed exceeds a predetermined speed (high speed travel), the AP 42 may be configured to ignore the motion gesture function. The threshold value of the braking data desired by the AP 42 and the setting of the state in which the motion gesture can be stably set can be widely used depending on the designer.

제동 데이터에 근거한 모션제스처 피드백 실행 제한을 위한 데이터의 수집은 주로, 운전자의 제동 페달(브레이크) 조작 정도를 판단하는 제동 ECU가 행한다. 가속페달(악셀러레이터)의 입력값(조작 정도)은 이를 관장하는 ECU에서 수집한다. 모션제스처 피드백 실행 제한의 근거가 되는 제동 데이터 상태의 예를 들면 다음과 같다. 첫째, 속도≥설정속도인 경우이다(과속 또는 고속 주행). 고속 또는 과속 주행 중의 운전 미집중은 매우 큰 사고를 야기할 수 있다. 그러므로 일정 속도(예를 들어, 80km/h) 초과 상황에서는 운전자의 모션제스처 피드백 실행을 제한한다. 둘째, 가속력≥설정가속력 및 감속력≥설정감속력의 경우이다(급가속, 급정차 등의 상황). 이 상황도 고속·과속 주행과 마찬가지로 모션제스처 피드백 실행을 제한한다.The collection of data for limiting the execution of the motion gesture feedback based on the braking data is mainly performed by the braking ECU which determines the degree of braking pedal (braking) operation of the driver. The input value (degree of operation) of the accelerator pedal (accelerator) is collected by the controlling ECU. An example of the braking data state on which the motion gesture feedback execution restriction is based is as follows. First, speed ≥ set speed (over speed or high speed). Concentration of driving during high speed or overspeed driving can cause very serious accidents. Therefore, in situations exceeding a certain speed (for example, 80 km / h), the driver's motion gesture feedback execution is restricted. Second, the case of accelerating force ≥ setting acceleration force and decelerating force ≥ setting decelerating force (such as rapid acceleration, rapid stop). This situation limits the execution of motion gesture feedback as well as high speed and speed driving.

센서 기반 데이터 송신부(36): 차량의 외부/내부 영상 조건과 외부/내부 센서의 결과값들을 송신하는 블록이다. 여기서의 센서란 조향 및 주행 관련 데이터 수집 수단을 제외한 내/외장 카메라, 적외선 센서, 레이다, 멀티미디어 관련 데이터(GPS, 네비게이션 맵 등), 차체 ECU(문열림 감지부) 등의 감지 수단을 의미한다. 여기에는, 조향 ECU, 제동 ECU, 엔진 ECU 등에서 관장하지 못하는 최근 개발된 전장부품이 포함된다.The sensor-based data transmission unit 36 is a block for transmitting external / internal image conditions of the vehicle and result values of the external / internal sensors. Here, the sensor means a sensing means such as an internal / external camera, an infrared sensor, a radar, data related to multimedia (GPS, navigation map, etc.), and a body ECU (door opening sensing unit) excluding the steering and driving related data collecting means. This includes recently developed electrical components that can not be controlled by steering ECUs, brake ECUs, engine ECUs, and so on.

예를 들어 카메라/레이더 등의 센서를 통해 전방에 있는 사물(가령, 다른 차량)과의 거리(D: distance)가 급격히 변화되는 것을 감지하면 다른 차량의 급차선변경 혹은 돌발상황인 것으로 판단하여 모션제스처 기능을 AP(42)에서 무시하도록 하여 모션제스처 피드백 실행을 제한할 수 있다. AP(42)에서 원하는 카메라/센서 데이터의 임계값과 안정적인 모션제스처 가동 가능한 상황 설정은 설계자에 따라 폭넓게 활용될 수 있다. 센서 기반 데이터에 근거한 모션제스처 피드백 실행 제한의 또다른 예로, GPS 또는 네비게이션 데이터에 기반한 운전 주의 도로를 들 수 있다. 이 경우에 GPS 또는 네비게이션 데이터를 통해 모션제스처 피드백 제한 도로를 파악한다. 예컨대 급커브 구간, 유치원과 초등학교가 위치한 안전 구역, 무제한 고속도로 같은 위험구간 등을 예로 들 수 있다. 내비게이션 데이터를 활용하면 특정의 위험 도로나 급커브를 파악하여 GPS를 활용해 현위치와 속도+조향 데이터 값을 얻을 수 있다. 센서 기반 모션제스처 피드백 실행 제한의 또다른 예로, 지능형 자율 자동차 기술 중 하나인 ADAS(Advanced Driver Assistance System)의 발전에 따라 카메라 또는 각종 센서에 기반하여 안정적인 주행 조건을 판단할 수 있게 되었는바, 각 자동차 회사의 고유의 ADAS 기반 안정 주행 조건에서만 모션제스처 피드백을 실행하도록 할 수 있다. 또다른 예로서, 각종 차량 상태 신호를 수신하여 모션제스처 피드백을 제한한다. 가령, 주차·후진 중이거나 차량의 배터리 전원이 불안정하거나 액세서리모드(ACC)와 이그니션(IGN) 신호가 들어오지 않거나 도어가 열린 상태 등을 인지하여 이들 상황에서는 모션제스처 피드백 실행을 제한하는 것이다.(D) distance from an object (for example, another vehicle) ahead through a sensor such as a camera or a radar, it is determined that the vehicle is suddenly changed or a sudden situation of another vehicle, The gesture function may be ignored by the AP 42 to limit the execution of the motion gesture feedback. The threshold values of the desired camera / sensor data in the AP 42 and the setting of the state in which the stable motion gesture can be activated can be widely used depending on the designer. Another example of a motion gesture feedback execution restriction based on sensor-based data is driving attention based on GPS or navigation data. In this case, the motion gesture feedback limit road is identified through GPS or navigation data. For example, it can be a danger zone such as a rapid curved section, a safe area where kindergartens and elementary schools are located, and an unlimited highway. Using navigation data, you can identify the specific hazard or steep curve and use GPS to get the current position and velocity + steering data values. As another example of sensor-based motion gesture feedback execution restriction, ADAS (Advanced Driver Assistance System), which is one of the intelligent autonomous vehicle technologies, has been able to determine stable driving conditions based on cameras or various sensors. Motion gesture feedback can be performed only under the company's proprietary ADAS-based steady-state driving conditions. As another example, various vehicle state signals are received to limit motion gesture feedback. For example, if the vehicle is parked or reversed, the battery power of the vehicle is unstable, the access mode (ACC) and ignition (IGN) signals are not input, or the door is open, etc., in these situations it is possible to limit the execution of motion gesture feedback.

도 3과 도 4는 도 2의 구성에서 변형 가능한 두 가지 형태의 데이터 전달 방식을 나타내는 것으로, 운전 상태 수집부(30)의 조향 데이터 송신부(32), 제동 데이터 송신부(34)가 센서 기반 데이터 송신부(36)에서 중앙처리장치(AP)(42)로 전달하는 데이터 전달 방식을 나타낸다. 3 and 4 illustrate two types of data transmission schemes that can be modified in the configuration of FIG. 2. The steering data transmitting unit 32 and the braking data transmitting unit 34 of the driving state collecting unit 30 are connected to the sensor- To the central processing unit (AP) 42 in the data transfer mode.

크게 두 가지로 구분될 수 있는데, 첫번째는 도 3과 같이, 각 모션제스처의 피드백 실행불가 상황에 대한 판단을 각 모듈(32, 34, 36)에서 자체적으로 시행하여 최종 결과값만 인터럽트 신호의 형태로 AP(42)에 전달하는 구조이다. 도 3에서 각 모션제스처의 불가 상황에 대한 판단은 각 송신부(32, 34, 36) 내에 포함된 각각의 임계값 설정 알고리즘(44, 46, 48)에 의하여 수행된다. 맨 위의 블록인 조향 데이터 송신부(32)에 대해서만 설명하자면, 조향 장치로부터의 상황인 조향 데이터를 수집하여 여기에 전속한 임계값 설정 알고리즘(44)을 통해 임계값 설정 및 판단을 하고 데이터 전달 트랜시버를 통해서 출력되면 이 임계값 설정 알고리즘의 출력이 인터럽트 신호로서 AP(42)에 전달된다. 이러한 도 3의 구조에서는 도 2에서 AP(42) 내에 있던 임계값 판단부(38)가 생략되어야 한다. 그 역할을 각 데이터 송신부(32, 34, 36) 내의 임계값 설정 알고리즘(44, 46, 48)이 하기 때문이다.As shown in FIG. 3, the modules 32, 34, and 36 independently determine whether feedback of each motion gesture can not be performed, and only the final result value is determined in the form of an interrupt signal To the AP (42). In FIG. 3, the determination of the unavailability of each motion gesture is performed by the respective threshold setting algorithms 44, 46, 48 included in each of the transmitters 32, 34, 36. To explain only the steering data transmission unit 32, which is the top block, the steering data, which is a situation from the steering apparatus, is collected, threshold values are set and determined through a threshold setting algorithm 44 dedicated thereto, The output of the threshold setting algorithm is transmitted to the AP 42 as an interrupt signal. In the structure of FIG. 3, the threshold value determination unit 38 in the AP 42 in FIG. 2 should be omitted. This is because the threshold value setting algorithms 44, 46, and 48 in the respective data transmission units 32, 34, and 36 play their roles.

이러한 구조의 장점은 우선, 차량 네트웍 구조가 간편해진다. Low-speed CAN과 같은 저렴하고 간단한 버스를 구성하여 중앙처리장치에 이상 상황 발생 시에만 인터럽트로 상황을 알려주면 된다. 또한 중앙처리장치(AP)에서는 모션제스처 실행 상황에 대한 알고리즘이 실행되지 않으므로 퍼포먼스(AP의 능력) 측면에서 부담을 덜 수 있다. 해당 구조의 단점은 각 데이터 송신부에 해당 임계값 설정 알고리즘에 의한 불안정한 주행상황 판단의 능력이 요구된다는 것이다. 전체 버스구조를 간단히 가져가며 각 송신부에서는 알고리즘을 실행하는 부담에 의한 Trade off의 선택은 설계자의 선택이다.The advantage of this structure is that the vehicle network structure is simplified first. You can configure an inexpensive and simple bus such as a low-speed CAN to notify the central processing unit of the interruption situation only when an abnormal situation occurs. In addition, since the algorithm for the motion gesture execution state is not executed in the central processing unit (AP), the load on the performance (ability of the AP) can be reduced. The disadvantage of this structure is that each data transmission unit is required to be capable of judging an unstable driving situation by the threshold setting algorithm. It is the designer's choice to take the entire bus structure and select the trade off due to the burden of executing the algorithm in each transmitter.

두 번째 데이터 전달 구조는 도 4와 같다. 각 데이터 송신부(32, 34, 36)에서는 각각의 기초 데이터(raw data)를 버스를 통해 전달한다. 이를 수신한 AP(42)에서 각 데이터를 수집한 후에, 해당되는 모션제스처 실행 불가 상황을 직접 판단하여 모션제스처 감지부(도 2의 28)로 들어온 제스처 값을 무시하거나 인정하여 사용자에게 피드백을 보여주도록 동작하는 구조이다.The second data transfer structure is shown in FIG. Each of the data transmission units 32, 34, and 36 transmits the respective raw data through the bus. After collecting the respective data in the AP 42 that has received the data, the gesture value input to the motion gesture detection unit (28 in FIG. 2) is ignored or recognized, and feedback is given to the user .

이 구조의 장점은 각 데이터 송신부(32, 34, 36)의 부담이 적다는 것이다. 특별히 모션제스처 기능에 의한 각 ECU데이터 송신부에서는 추가 설계가 필요하지 않다. 단, 이 구조의 조건은 AP(42)에 해당 알고리즘이 실행가능한 퍼포먼스/능력이 있어야 한다. 그러나 요즘의 AVN과 같은 센터페시아 헤드유닛의 CPU 성능은 듀얼 코어를 넘어 쿼드코어와 같은 모바일과 비슷한 능력을 지니므로 도 4의 구조의 실현은 큰 어려움이 없을 것이다. 이 구조의 단점은 RAW DATA를 전송하므로 고속 데이터 통신이 요구될 수 있다. 예를 들어 High speed CAN이나 카메라/센서의 데이터의 경우 high speed CAN으로도 부족해 이더넷/MOST 통신과 같은 더 높은 속도의 차량 네트웍 버스 구조를 통해 데이터를 전달해야 한다.The advantage of this structure is that each data transmitter 32, 34, 36 is less burdened. No additional design is required for each ECU data transmission part by the motion gesture function. However, the condition of this structure is that the AP 42 must have a performance / capability that the algorithm can execute. However, since the CPU performance of the center pacea head unit such as AVN nowadays has a capability similar to that of a mobile such as a quad core beyond dual-core, realization of the structure of Fig. 4 will not be difficult. The disadvantage of this structure is that high-speed data communication may be required because it transmits RAW data. For example, high speed CAN or camera / sensor data is not enough for high speed CAN, so data must be transmitted through a higher speed vehicle network bus structure such as Ethernet / MOST communication.

Claims (13)

사용자의 모션제스처가 인식되면 모션제스처 인식 알고리즘에 의해서 인식 결과값을 출력하는 절차,
수신된 운전상태 및 차량 주행상태 수집 데이터로부터 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건인지 판단하는 절차,
상기 판단 절차에서 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건으로 판단된 경우에는 상기 모션제스처 인식 알고리즘에서 출력된 인식 결과값을 무시하고, 불안정 조건이 아닌 것으로 판단된 경우에는 상기 모션제스처에 대한 피드백 실행 명령을 출력하여 정상적인 모션제스처 피드백 실행을 수행하도록 하는 절차를 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 방법.A process of outputting the recognition result value by the motion gesture recognition algorithm when the user's motion gesture is recognized,
A procedure for determining whether the current operating state and the vehicle running state of the current user are unstable from the received driving state and vehicle driving state collection data,
If the current user's driving state and vehicle driving state are determined to be unstable in the determination process, the recognition result output from the motion gesture recognition algorithm is ignored, and if it is determined that the current state is not the unstable condition, And outputting a feedback execution command to perform a normal motion gesture feedback execution. 제1항에 있어서, 상기 수신된 운전상태 및 차량 주행상태 수집 데이터는
스티어링휠의 동작 상태를 나타내는 조향 데이터, 브레이크의 동작 상태를 나타내는 제동 데이터, GPS 또는 내/외부 카메라를 포함하는 센서에 기반한 데이터 중 선택된 어느 하나를 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 방법. The method of claim 1, wherein the received driving state and vehicle driving state collection data
Wherein the steering gauge includes any one of steering data representing an operating state of a steering wheel, braking data representing an operating state of a brake, and data based on a sensor including a GPS or an internal / external camera. 제2항에 있어서, 상기 수신된 운전상태 및 차량 주행상태 수집 데이터가 조향 데이터인 경우에 상기 운전상태 및 차량 주행상태가 불안정 조건인지 판단하는 절차는
스티어링휠을 사전 정해진 각도보다 크게 조작하는 상황을 불안정 조건으로 판단하는 절차, 시그널램프 신호 입력 상황을 불안정 조건으로 판단하는 절차, 그리고 사전 정해진 시간 범위 내에서 조향각의 변화량이 사전 정해진 횟수를 초과하는 상황을 불안정 조건으로 판단하는 절차 중에서 선택된 어느 하나의 절차를 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 방법. 3. The method of claim 2, wherein the step of determining whether the driving state and the vehicle running state are unstable when the received driving state and vehicle running state collection data are steering data
A procedure for judging a situation in which the steering wheel is operated larger than a predetermined angle as an unstable condition, a procedure for determining a signal lamp signal input status as an unstable condition, and a situation in which the variation amount of the steering angle exceeds a predetermined number of times within a predetermined time range And judging the motion gesture condition as an unstable condition. 제2항에 있어서, 상기 수신된 운전상태 및 차량 주행상태 수집 데이터가 제동 데이터인 경우에 운전상태 및 차량 주행상태가 불안정 조건인지 판단하는 절차는
현재의 속도 변화량이 사전 정해진 속도보다 큰 급가속 및 급감속 상황을 불안정 조건으로 판단하는 절차, 그리고 사전 정해진 속도를 초과하는 상황을 불안정 조건으로 판단하는 절차 중에서 선택된 어느 하나의 절차를 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 방법. 3. The method of claim 2, wherein the step of determining whether the driving state and the vehicle running state are unstable when the received driving state and vehicle running state collection data are braking data
A procedure of judging a rapid acceleration and deceleration condition in which a current speed variation is greater than a predetermined speed as an unstable condition and a procedure of judging a condition exceeding a predetermined speed as an unstable condition, How to perform motion gesture feedback based on conditions. 제2항에 있어서, 상기 수신된 운전상태 및 차량 주행상태 수집 데이터가 센서 기반 데이터인 경우에 운전상태 및 차량 주행상태가 불안정 조건인지 판단하는 절차는
센서를 통해 전방에 있는 사물과의 거리가 급격히 변화되는 것을 감지하여 이 상황을 불안정 조건으로 판단하는 절차, GPS 또는 네비게이션 데이터에 기반하여 운전 주의로 설정된 도로에 들어간 경우를 불안정 조건으로 판단하는 절차, ADAS(Advanced Driver Assistance System) 기반 안정 주행 조건 이외의 상황을 불안정 조건으로 판단하는 절차, 그리고 차량의 상태 신호를 수신하여 주차·후진 중이거나 차량의 배터리 전원이 불안정하거나 액세서리모드(ACC)와 이그니션(IGN) 신호가 들어오지 않거나 도어가 열린 상태를 불안정 조건으로 판단하는 절차 중에서 선택된 어느 하나의 절차를 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 방법. 3. The method of claim 2, wherein the step of determining whether the driving state and the vehicle driving state are unstable when the received driving state and vehicle driving state collection data are sensor-
A procedure for judging the situation as an unstable condition by detecting a sudden change in the distance from an object located at the front side through the sensor, a procedure for judging the case where the vehicle enters the road set as the driving state based on GPS or navigation data as an unstable condition, The procedure for judging the situation other than the stable driving condition based on the ADAS (Advanced Driver Assistance System) as an unstable condition, and a procedure for receiving the vehicle status signal and determining whether the vehicle is parked or is moving backward or the battery power of the vehicle is unstable, And determining that the IGN signal is not input or the door is in an open state as an unstable condition, in accordance with driving conditions. 외부로부터 수신한 사용자의 모션제스처를 모션제스처 인식 알고리즘을 이용하여 인식하는 수단,
상기 모션제스처에 대한 피드백 실행을 활성화하거나 비활성화하기 위하여, 외부로부터 수신한 사용자 운전상태 및 차량 주행상태 수집 데이터로부터 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건인지 판단하는 임계값 판단 수단, 그리고
상기 임계값 판단 수단에서 생성된 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건으로 판단된 경우에는 상기 모션제스처 인식 알고리즘에서 출력된 인식 결과값을 무시하여 피드백 실행을 비활성화하고, 불안정 조건이 아닌 것으로 판단된 경우에는 상기 모션제스처에 대한 피드백 실행 명령을 출력하여 모션제스처 피드백 실행을 활성화하도록 하는 모션제스처 피드백 실행 수단을 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 장치.Means for recognizing a motion gesture of a user received from the outside using a motion gesture recognition algorithm,
A threshold value judging means for judging whether an operation state and a vehicle driving state of the current user are unstable from a user operation state and vehicle driving state collection data received from the outside in order to activate or deactivate feedback execution for the motion gesture;
When the current state and the vehicle running state of the current user generated by the threshold value determination means are determined to be unstable, the recognition result output from the motion gesture recognition algorithm is ignored to disable the feedback execution, And motion gesture feedback execution means for outputting a feedback execution command for the motion gesture to enable the execution of motion gesture feedback when judged. 사용자 운전상태 및 차량 주행상태 수집 데이터로부터 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건인지 판단된 신호를 수신하는 수단,
외부로부터 수신한 사용자의 모션제스처를 모션제스처 인식 알고리즘을 활용하여 인식하는 수단, 그리고
상기 신호 수신 수단에서 수신한 신호가 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임을 나타낼 경우에는 상기 모션제스처 인식 알고리즘에서 출력된 인식 결과값을 무시하고, 불안정 조건이 아님을 나타낼 경우에는 모션제스처에 대한 피드백 실행 명령을 출력하여 정상적인 모션제스처 피드백 실행을 수행하도록 하는 모션제스처 피드백 실행 수단을 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 장치.Means for receiving a signal from the user driving state and vehicle driving state collection data to determine whether the current driving state of the current user and the vehicle driving state are unstable;
Means for recognizing the user's motion gesture received from the outside using a motion gesture recognition algorithm, and
When the signal received by the signal receiving means indicates that the current operation state and the vehicle running state of the current user are unstable, the recognition result value output from the motion gesture recognition algorithm is ignored, and when it is not an unstable condition, Wherein the motion gesture feedback execution means outputs a feedback execution command to the motion gesture feedback execution means to perform normal motion gesture feedback execution. 제6항 또는 제7항에 있어서, 상기 사용자 운전상태 및 차량 주행상태 수집 데이터는
스티어링휠의 동작 상태를 나타내는 조향 데이터, 브레이크의 동작 상태를 나타내는 제동 데이터, GPS 또는 내/외부 카메라를 포함하는 센서에 기반한 데이터 중 선택된 어느 하나를 포함하는, 주행 조건에 따른 모션제스처 피드백 실행 장치. 8. The method according to claim 6 or 7, wherein the user operation state and vehicle driving state collection data
The steering gauge including steering data representing an operating state of a steering wheel, braking data representing an operating state of a brake, and data based on a sensor including a GPS or an internal / external camera. 제8항에 있어서, 상기 사용자 운전상태 및 차량 주행상태 수집 데이터가 조향 데이터인 경우에 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임은
스티어링휠을 임계 각도보다 크게 조작하는 상황, 시그널램프 신호 입력 상황, 그리고 임계 시간 범위 내에서 조향각의 변화량이 임계 횟수를 초과하는 상황 중에서 선택된 어느 하나의 상황일 때 판단되는 것을 특징으로 하는, 주행 조건에 따른 모션제스처 피드백 실행 장치. The method of claim 8, wherein when the user operation state and the vehicle driving state collection data are steering data, the current state of the user and the vehicle driving state are unstable conditions
The steering angle of the steering wheel is larger than the critical angle, the signal lamp signal input state, and the state in which the change amount of the steering angle exceeds the threshold number within the critical time range. Wherein the motion gesture feedback execution unit comprises: 제8항에 있어서, 상기 사용자 운전상태 및 차량 주행상태 수집 데이터가 제동 데이터인 경우에 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임은
현재의 속도 변화량이 임계 속도보다 큰 급가속 및 급감속 상황, 그리고 임계 속도를 초과하는 상황 중에서 선택된 어느 하나의 상황일 때 판단되는 것을 특징으로 하는, 주행 조건에 따른 모션제스처 피드백 실행 장치. The method as claimed in claim 8, wherein when the user operation state and the vehicle running state collection data are braking data, the current state of the user and the vehicle running state are unstable conditions
Wherein the determination is made when the current speed change amount is one of a rapid acceleration and deceleration state in which the speed change amount is larger than the critical speed, and a situation in which the critical speed is exceeded. 제8항에 있어서, 상기 사용자 운전상태 및 차량 주행상태 수집 데이터가 센서 기반 데이터인 경우에 현재 사용자의 운전상태 및 차량 주행상태가 불안정 조건임은
센서를 통해 전방에 있는 사물과의 거리가 임계 시간 내에서 급격히 변화되는 상황, GPS 또는 네비게이션 데이터에 기반하여 운전 주의로 설정된 도로에 들어간 경우, ADAS(Advanced Driver Assistance System) 기반 안정 주행 조건 이외의 상황, 그리고 차량의 상태 신호를 수신하여 주차·후진 중이거나 차량의 배터리 전원이 불안정하거나 액세서리모드(ACC)와 이그니션(IGN) 신호가 들어오지 않거나 도어가 열린 상태 중에서 선택된 어느 하나의 상황일 때 판단되는 것을 특징으로 하는, 주행 조건에 따른 모션제스처 피드백 실행 장치. The method of claim 8, wherein when the user operation state and the vehicle running state collection data are sensor-based data, the current state of the user and the vehicle running state are unstable conditions
If the distance to the object ahead through the sensor changes rapidly within the critical time, when the vehicle enters the road set as the driving caution based on the GPS or navigation data, the situation other than the stable driving condition based on ADAS (Advanced Driver Assistance System) , And when it is judged that the vehicle is in any one of the following conditions: parking / reverse, vehicle battery power is unstable, accessory mode (ACC) and ignition (IGN) Wherein the motion gesture feedback execution unit is configured to perform the motion gesture feedback according to driving conditions. 제6항에 있어서, 상기 임계값 판단 수단과 모션제스처 피드백 실행 수단은 AP(application processor)인 것을 특징으로 하는, 주행 조건에 따른 모션제스처 피드백 실행 장치. 7. The apparatus according to claim 6, wherein the threshold value determining means and the motion gesture feedback executing means are application processors (APs). 제7항에 있어서, 상기 모션제스처 피드백 실행 수단은 AP(application processor)인 것을 특징으로 하는, 주행 조건에 따른 모션제스처 피드백 실행 장치. 8. The apparatus according to claim 7, wherein the motion gesture feedback execution means is an application processor (AP).
KR1020170054243A 2017-04-27 2017-04-27 Method and apparatus for feedback execution of motion gesture according to driving conditions KR20180120396A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170054243A KR20180120396A (en) 2017-04-27 2017-04-27 Method and apparatus for feedback execution of motion gesture according to driving conditions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170054243A KR20180120396A (en) 2017-04-27 2017-04-27 Method and apparatus for feedback execution of motion gesture according to driving conditions

Publications (1)

Publication Number Publication Date
KR20180120396A true KR20180120396A (en) 2018-11-06

Family

ID=64329620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170054243A KR20180120396A (en) 2017-04-27 2017-04-27 Method and apparatus for feedback execution of motion gesture according to driving conditions

Country Status (1)

Country Link
KR (1) KR20180120396A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022269983A1 (en) * 2021-06-22 2022-12-29 ソニーグループ株式会社 Signal processing device, signal processing method, recording medium, and signal processing system
US12008169B2 (en) 2019-08-30 2024-06-11 Google Llc Radar gesture input methods for mobile devices
KR20240084339A (en) 2022-12-06 2024-06-13 현대모비스 주식회사 Message transmission system for mobility

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12008169B2 (en) 2019-08-30 2024-06-11 Google Llc Radar gesture input methods for mobile devices
WO2022269983A1 (en) * 2021-06-22 2022-12-29 ソニーグループ株式会社 Signal processing device, signal processing method, recording medium, and signal processing system
KR20240084339A (en) 2022-12-06 2024-06-13 현대모비스 주식회사 Message transmission system for mobility

Similar Documents

Publication Publication Date Title
JP6964271B2 (en) Driving support method and driving support device, automatic driving control device, vehicle, program using it
US11008001B2 (en) Vehicle control device, vehicle control method, and storage medium
JP6611085B2 (en) Vehicle control device
JP7445028B2 (en) Vehicle control system, vehicle control method, and program
US7386386B2 (en) Driving control apparatus
JP4671242B2 (en) Vehicle control device
US11994854B2 (en) Exploitation of automotive automated driving systems to cause motor vehicles to perform follow-me low-speed manoeuvres controllable from the outside of the motor vehicles by user terminals
EP3888992A1 (en) Automated driving control system, vehicle, and method of automated driving control
US20230143515A1 (en) Driving assistance apparatus
KR20180120396A (en) Method and apparatus for feedback execution of motion gesture according to driving conditions
CN112977470A (en) Apparatus and method for controlling vehicle
US20210284142A1 (en) Control device and vehicle
CN202413789U (en) Driving auxiliary device for automobile
JP2023155454A (en) Driving support device and notification device
JP5359510B2 (en) Driving support system
US11858505B2 (en) Vehicle and control apparatus thereof
US20210284163A1 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
JP2015106415A (en) Turnaround warning device and turnaround warning method
US11685407B2 (en) Vehicle and control apparatus and control method of the same
JP7361117B2 (en) Vehicle speed control device
CN115123207A (en) Driving assistance device and vehicle
JP5664462B2 (en) Roadside obstacle detection device for emergency vehicle evacuation device
JP4935146B2 (en) Vehicle control device
WO2019058751A1 (en) Alert system for vehicles
JP2018099910A (en) Information providing device, control method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application