KR20200023670A - Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network - Google Patents

Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network Download PDF

Info

Publication number
KR20200023670A
KR20200023670A KR1020180095061A KR20180095061A KR20200023670A KR 20200023670 A KR20200023670 A KR 20200023670A KR 1020180095061 A KR1020180095061 A KR 1020180095061A KR 20180095061 A KR20180095061 A KR 20180095061A KR 20200023670 A KR20200023670 A KR 20200023670A
Authority
KR
South Korea
Prior art keywords
gesture
fingerprint
recognition
recognizing
neural network
Prior art date
Application number
KR1020180095061A
Other languages
Korean (ko)
Inventor
임채영
이정기
양철승
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180095061A priority Critical patent/KR20200023670A/en
Publication of KR20200023670A publication Critical patent/KR20200023670A/en

Links

Images

Classifications

    • G06K9/00355—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G06K9/00845—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1312—Sensors therefor direct reading, e.g. contactless acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2370/141—
    • B60K2370/146—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Provided are an apparatus for recognizing a gesture and a fingerspelling using a cluster radar and a 3D convolution neural network and a method thereof. According to an embodiment of the present invention, the apparatus for recognizing a gesture and a fingerspelling detects a hand gesture of a user in a non-contact manner and recognizes a gesture and a fingerspelling from sensed data generated by a sensor unit using the 3D convolution neural network. Accordingly, a gesture recognition rate is increased and text input can be simplified.

Description

클러스터 레이더와 3차원 컨볼루션 신경망을 이용한 제스처 및 지문자 인식 장치 및 방법{Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network}Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network}

본 발명은 제스처 인식 장치 및 방법에 관한 것으로, 더욱 상세하게는 인공지능 기술을 이용하여 비접촉식으로 제스처와 지문자를 인식하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for gesture recognition, and more particularly, to an apparatus and method for recognizing a gesture and a fingerprint in a non-contact manner using artificial intelligence technology.

손 제스처 인식은 사용자가 손을 이용하여 미리 정해진 동작을 했을 때, 어떤 동작인지를 인식하는 기술이다. 센서나 장신구를 착용하는 접촉식 인식 방법에서 벗어나 비접촉식 센서를 통한 인식이 활성화되고 있다.Hand gesture recognition is a technique for recognizing a gesture when a user performs a predetermined gesture using a hand. In addition to the contact recognition method of wearing a sensor or jewelry, recognition through a non-contact sensor is being activated.

대체로, 비전 처리에 의한 제스처 인식이 활용되고 있는데, 인식률이 정확하지 않고 제한된 공간에서 다양한 환경 변화를 갖게 되는 차량 내에서는 많은 문제점을 보이고 있다. 이에 따라, 이를 해소하기 위한 방안이 필요하다.In general, gesture recognition by vision processing is utilized, and there are many problems in a vehicle in which a recognition rate is not accurate and various environmental changes are made in a limited space. Accordingly, there is a need for a solution to solve this problem.

그리고, 제스처 인식 장치를 이용한 문자 입력은 매우 어렵고 불편하다. 이 또한 해결 방안의 모색이 필요하다.In addition, text input using a gesture recognition device is very difficult and inconvenient. This also requires a solution.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 클러스터 레이더와 3차원 컨볼루션 신경망을 이용한 제스처 및 지문자 인식 장치 및 방법을 제공함에 있다.The present invention has been made to solve the above problems, and an object of the present invention is to provide a gesture and fingerprint recognition apparatus and method using a cluster radar and a three-dimensional convolutional neural network.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 제스처 및 지문자 인식 장치는, 사용자의 손동작을 비접촉식으로 감지하는 센서부; 및 센서부에 의해 생성된 감지 데이터로부터 제스처와 지문자를 인식하는 인식부;를 포함한다.According to an embodiment of the present invention for achieving the above object, the gesture and fingerprint reader recognition device, the sensor unit for detecting a user's hand gesture in a non-contact; And a recognition unit recognizing a gesture and a fingerprint from the sensed data generated by the sensor unit.

그리고, 인식부는, 입력된 감지 데이터에 해당하는 제스처와 지문자를 인식하여 출력하도록 학습된 컨볼루션 신경망을 이용하여, 제스처와 지문자를 인식할 수 있다.The recognition unit may recognize the gesture and the fingerprinter by using the convolutional neural network learned to recognize and output the gesture and the fingerprinter corresponding to the input sensing data.

또한, 컨볼루션 신경망은, 제스처 및 지문자 인식을 위한 각기 다른 시간 길이를 갖는 다수의 분류기들을 구비할 수 있다.In addition, the convolutional neural network may be provided with multiple classifiers with different time lengths for gesture and fingerprint recognition.

그리고, 컨볼루션 신경망은, SVM(Support Vector Machine)을 이용하여, 분류기 학습 및 분류 점수 계산을 수행할 수 있다.The convolutional neural network may perform classifier learning and classification score calculation using a support vector machine (SVM).

또한, 본 발명의 일 실시예에 따른, 제스처 및 지문자 인식 장치는, 센서부에 의해 생성된 감지 데이터를 전 처리하는 처리부;를 더 포함하고, 인식부는, 처리부에 의해 전 처리된 감지 데이터로부터 제스처와 지문자를 인식할 수 있다.In addition, the gesture and fingerprint reader recognition apparatus according to an embodiment of the present invention further comprises a processing unit for pre-processing the sensed data generated by the sensor unit, the recognition unit from the sensed data pre-processed by the processing unit Recognize gestures and fingerprints.

그리고, 센서부는, 차량의 클러스터에 설치된 2대의 레이더 센서들을 포함할 수 있다.The sensor unit may include two radar sensors installed in a cluster of the vehicle.

또한, 본 발명의 일 실시예에 따른, 제스처 및 지문자 인식 장치는, 인식된 제스처와 지문자를 기초로, 차량을 제어하는 제어부;를 더 포함할 수 있다.In addition, the gesture and fingerprint reader recognition apparatus according to an embodiment of the present invention may further include a control unit for controlling the vehicle based on the recognized gesture and fingerprint.

한편, 본 발명의 다른 실시예에 따른, 제스처 및 지문자 인식 방법은, 사용자의 손동작을 비접촉식으로 감지하여 감지 데이터를 생성하는 단계; 및 생성된 감지 데이터로부터 제스처와 지문자를 인식하는 단계;를 포함한다.On the other hand, according to another embodiment of the present invention, the gesture and the fingerprint reader recognition method, comprising the steps of generating a sense data by detecting the user's hand gestures in a non-contact; And recognizing a gesture and a fingerprint from the generated sensed data.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 클러스터 레이더와 3차원 컨볼루션 신경망을 이용하여 제스처와 지문자를 인식함으로써, 제스처 인식률을 높이고 문자 입력을 간편화 할 수 있게 된다.As described above, according to the embodiments of the present invention, by using the cluster radar and the 3D convolutional neural network to recognize the gesture and the fingerprint, it is possible to increase the gesture recognition rate and simplify the character input.

또한, 본 발명의 실시예들에 적용된 장치와 방법은, 차량 환경이 아닌 다른 환경에서 사용자 인터페이스 방법이나 의사 소통 방법(이를 테면, 수화)으로써도 널리 활용될 수 있다.In addition, the apparatus and method applied to the embodiments of the present invention may be widely used as a user interface method or a communication method (such as sign language) in an environment other than a vehicle environment.

도 1은 본 발명의 일 실시예에 따른 제스처/지문자 인식 장치의 블럭도,
도 2는 레이더 센서부의 설치 상태 및 손동작 감지 방법의 개념을 나타낸 도면,
도 3에은 사용자의 손 움직임을 분석하여 제스처를 인식하는 과정을 개념적으로 나타낸 도면,
도 4는 사용자의 손 움직임을 분석하여 지문자를 인식하는 과정을 개념적으로 나타낸 도면,
도 5와 도 6은, 제스처와 지문자 인식에 이용되는 전술한 3차원 컨볼루션 신경망의 상세 설명에 제공되는 도면들, 그리고,
도 7은 본 발명의 다른 실시예에 따른 제스처/지문자 인식 방법의 설명에 제공되는 흐름도이다.1 is a block diagram of a gesture / fingerprint recognition device according to an embodiment of the present invention;
2 is a view illustrating a concept of a radar sensor unit installation state and hand gesture detection method;
3 is a diagram conceptually illustrating a process of recognizing a gesture by analyzing a user's hand movement;
4 conceptually illustrates a process of recognizing a fingerprint by analyzing a user's hand movement;
5 and 6 are diagrams provided in the detailed description of the above-described three-dimensional convolutional neural network used for gesture and fingerprint recognition, and
7 is a flowchart provided to explain a gesture / fingerprint recognition method according to another embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.

도 1은 본 발명의 일 실시예에 따른 제스처/지문자 인식 장치의 블럭도이다. 본 발명의 실시예에 따른 제스처/지문자 인식 장치는, 차량에 설치되어, 운전자와 동승자의 제스처와 지문자를 인식하기 위한 장치이다.1 is a block diagram of a gesture / fingerprint recognition device according to an embodiment of the present invention. The gesture / fingerprint recognition device according to an embodiment of the present invention is a device installed in a vehicle for recognizing a gesture and a fingerprint of a driver and a passenger.

이를 위해, 본 발명의 실시예에 따른 제스처/지문자 인식 장치는, 클러스터 레이더와 3차원 컨볼루션 신경망(3D Convolutional Neural Network : 3D-CNN)을 이용한다.To this end, the gesture / fingerprint recognition device according to an embodiment of the present invention uses a cluster radar and a 3D convolutional neural network (3D-CNN).

지문자는 수화의 한 종류로써, 한글의 초성, 중성, 종성 조합하여 손가락으로 표현한 문자를 의미한다.The fingerprint is a kind of sign language, and it means a character expressed by a finger by combining the initial, neutral, and final characters of Hangul.

본 발명의 실시예에 따른 제스처/지문자 인식 장치는, 도 1에 도시된 바와 같이, 레이더 센서부(110), 신호 처리부(120), 인식부(130) 및 제어부(140)를 포함한다.The gesture / fingerprint recognition device according to the embodiment of the present invention, as shown in FIG. 1, includes a radar sensor unit 110, a signal processor 120, a recognizer 130, and a controller 140.

레이더 센서부(110)는 차량의 클러스터(계기판)에 설치되어, 비접촉식으로 사용자(운전자/동승자)의 손동작을 감지하기 위한 센서로, UWB(Ultra WideBand) 기반의 레이더로 구현 가능하다.The radar sensor unit 110 is installed on a cluster of a vehicle (a dashboard) and is a sensor for detecting a hand movement of a user (driver / passenger) in a non-contact manner, and may be implemented as a UWB (Ultra WideBand) based radar.

도 2에는 레이더 센서부(110)의 설치 상태 및 레이더 센서부(110)에 의한 손동작 감지 방법의 개념이 나타나 있다.2 shows the installation state of the radar sensor unit 110 and the concept of the hand motion detection method by the radar sensor unit 110.

레이더 센서부(110)는 각기 다른 위치에 설치되어 각기 다른 각도로 사용자의 손 움직임 영역을 감지하는 2대의 레이더 센서들로 구현 가능하다. 나아가, 1대나 3대 이상으로 구현하는 것을 배제하지 않는다.The radar sensor unit 110 may be installed at two different positions and implemented as two radar sensors for detecting a user's hand movement region at different angles. Furthermore, the implementation of one or more than three units is not excluded.

신호 처리부(120)는 레이더 센서부(110)에 의해 생성된 감지 데이터를 입력받아 노이즈 제거, A/D 변환 및 필요한 전 처리를 수행한다. 감지 데이터에는, 사용자 손까지의 거리와 사용자 손의 움직임 데이터가 포함되어 있다.The signal processor 120 receives the sensed data generated by the radar sensor 110 and performs noise removal, A / D conversion, and necessary preprocessing. The sensed data includes distance to the user's hand and movement data of the user's hand.

인식부(130)는 신호 처리부(120)에서 처리된 감지 데이터로부터 제스처와 지문자를 인식한다. 도 3에는 사용자의 손 움직임을 분석하여 제스처를 인식하는 과정을 개념적으로 나타내었고, 도 4에는 사용자의 손 움직임을 분석하여 지문자를 인식하는 과정을 개념적으로 나타내었다.The recognition unit 130 recognizes a gesture and a fingerprint from the sensed data processed by the signal processing unit 120. 3 conceptually illustrates a process of recognizing a gesture by analyzing a user's hand movement, and FIG. 4 conceptually illustrates a process of recognizing a fingerprint by analyzing a user's hand movement.

제스처와 지문자 인식을 위해, 인식부(130)는 3차원 컨볼루션 신경망을 이용한다. 이 3차원 컨볼루션 신경망은, 신호 처리부(120)에서 처리된 움직임 데이터에 해당하는 제스처와 지문자를 인식하여 출력하도록 미리 학습된 컨볼루션 신경망이다. 이 3차원 컨볼루션 신경망에 대해서는 상세히 후술한다.For gesture and fingerprint recognition, the recognition unit 130 uses a 3D convolutional neural network. The three-dimensional convolutional neural network is a convolutional neural network that has been previously learned to recognize and output a gesture and a fingerprint corresponding to the motion data processed by the signal processing unit 120. This three-dimensional convolutional neural network will be described later in detail.

제어부(140)는 인식부(130)에서 인식된 제스처와 지문자를 기초로 차량을 제어한다. 구체적으로, 제어부(140)는 인식부(130)에서 인식된 제스처를 기초로 차량의 운행과 AVN(Audio Video Navigation)의 동작을 제어할 수 있고, 인식부(130)에서 인식된 지문자를 디스플레이나 스피커를 통해 출력할 수 있다.The controller 140 controls the vehicle based on the gesture recognized by the recognition unit 130 and the fingerprint. In detail, the controller 140 may control the operation of the vehicle and the operation of the AVN (Audio Video Navigation) based on the gesture recognized by the recognition unit 130, and display the fingerprint reader recognized by the recognition unit 130. I can output through the speaker.

이하에서는, 제스처와 지문자 인식에 이용되는 전술한 3차원 컨볼루션 신경망에 대해, 도 5와 도 6을 참조하여 상세히 설명한다. Hereinafter, the above-described three-dimensional convolutional neural network used for gesture and fingerprint recognition will be described in detail with reference to FIGS. 5 and 6.

도 5에 도시된 바와 같이, 레이더 센서부(110)를 구성하는 2대의 UWB 레이더로 생성한 감지 데이터들은, 신호 처리부(120)에서 전 처리된다. 이 과정에서, 감지 데이터 V와 각 제스처의 관심영역(regions of interest)으로부터 정규화된 데이터 Ci가 생성되고, 이를 고정된 길이 iseg로 분할하여 n개의 레이더 신호 클립 Ci={c1 i, c2 i, ..., cn i}이 생성된다.As illustrated in FIG. 5, the sensing data generated by the two UWB radars constituting the radar sensor unit 110 is preprocessed by the signal processing unit 120. In this process, normalized data C i is generated from the sensed data V and regions of interest of each gesture, and divided into fixed lengths i seg by n radar signal clips C i = {c 1 i , c 2 i , ..., c n i } is generated.

생성된 레이더 신호 클립들은 인식부(130)를 구성하는 3차원 컨볼루션 신경망으로 입력된다. 3차원 컨볼루션 신경망은, 도 5에 도시된 바와 같이, 8개의 콘볼루션(convolution) 계층과, 5개의 풀링(pooling) 계층, 2개의 풀리 커넥티드(fully connected) 계층, 및 소프트 맥스(soft max) 계층으로 구성된다.The generated radar signal clips are input to a 3D convolutional neural network constituting the recognizer 130. The three-dimensional convolutional neural network, as shown in FIG. 5, has eight convolution layers, five pooling layers, two fully connected layers, and a soft max. ) Consists of layers.

모든 컨볼루션 계층의 필터(filter) 사이즈는 3×3×3이고, 스트라이드(stride)는 1을 사용한다. 모든 풀링 계층의 필터 사이즈는 2×2×2이고 스트라이드는 2를 사용한다. 단, 첫 번째 풀링 계층에서 필터사이즈는 1×2×2를 사용한다.The filter size of all convolutional layers is 3x3x3 and the stride uses one. All pooling layers have a filter size of 2x2x2 and a stride of 2. However, in the first pooling layer, the filter size is 1 × 2 × 2.

3차원 컨볼루션 신경망은 레이더 감지 데이터들 각각에 대한 특징을 추출하고 결합한다.The three-dimensional convolutional neural network extracts and combines the features for each of the radar sensing data.

3차원 컨볼루션 신경망에서, 제스처 및 지문자의 시간 분할 및 인식은 n개의 연속적인 특징 X={x1, x2, ..., xn}을 이용하여, m개의 분할된 영역 S={s1, s2, ..., sm}과 분할된 영역의 클래스 레이블 Y={y1, y2, ..., ym}을 찾음으로써 수행할 수 있다.In a three-dimensional convolutional neural network, the time division and recognition of gestures and fingerprints is performed using n consecutive features X = {x 1 , x 2 , ..., x n }, where m divided regions S = { This can be done by finding s 1 , s 2 , ..., s m } and the class label Y = {y 1 , y 2 , ..., y m } of the partitioned region.

분류 점수는

Figure pat00001
(yk|sk)로 정의하고 분할 sk가 클래스 레이블 yk에 속할 우도(likelihood)을 의미한다.Classification score is
Figure pat00001
Defined as (y k | s k ), and the likelihood that partition s k will belong to class label y k .

제스처 및 지문자의 다양한 시간적 길이(도플러 효과)를 다루는 분류기를 학습하기 위해 고려하는 분할의 시간 범위는 lmin ≤ l ≤ lmax이고, 총 4개의 분류기로 학습한다. 그리고, 2, 4, 6, 8개의 lseg 단위로 분류 점수를 계산한다.The time range of partitioning to consider for learning the classifiers dealing with the various temporal lengths (Doppler effect) of the gesture and the fingerprinter is l min ≤ l ≤ l max , which is trained with four classifiers. The classification score is calculated in units of 2, 4, 6, and 8 l segs .

분류기의 학습과 분류 점수의 계산은 다중 클래스 Support Vector Machine(SVM)을 이용한다. 시간 분할 및 인식을 위해 설정한 목적함수는

Figure pat00002
이며, 목적함수의 값을 최대화 한다면 최적의 시간 분할 및 인식을 수행할 수 있다.The classifier's learning and calculation of classification scores use a multi-class Support Vector Machine (SVM). The objective function set for time division and recognition is
Figure pat00002
If the value of the objective function is maximized, optimal time division and recognition can be performed.

연속적인 입력을 다루기 위해 하위 문제로 나눈 목적 함수를 구성하여 순차적으로 시간 분할과 인식을 할 수 있다. 시간 위치 u∈(1,n)에서 특징 X={x1, x2, ..., xu}이 주어졌을 때, 하위 문제로 분할된 목적함수 f(S,Y.u)는 f(S,Y.u) = argmaxlim≤ l ≤ lmax{θ(u,l) + f(S,Y,u-l)}이다. 여기서, θ(u,l)는 max{

Figure pat00003
(yi|(xu -l, ..., xu)으로 정의된다.To handle successive inputs, you can construct an objective function divided into subproblems to perform time division and recognition sequentially. Given the feature X = {x 1 , x 2 , ..., x u } at the time position u∈ (1, n), the objective function f (S, Yu) divided into subproblems is f (S, Yu) = argmax lim ≤ l ≤ l max {θ (u, l) + f (S, Y, ul)}. Where θ (u, l) is max {
Figure pat00003
(y i | (x u -l , ..., x u )

도 6에는 3차원 컨볼루션 신경망에서, 제스처 및 지문자의 시간 분할 및 인식 과정을 나타내었다.6 illustrates a time division and recognition process of a gesture and a fingerprint in a 3D convolutional neural network.

도 7은 본 발명의 다른 실시예에 따른 제스처/지문자 인식 방법의 설명에 제공되는 흐름도이다.7 is a flowchart provided to explain a gesture / fingerprint recognition method according to another embodiment of the present invention.

제스처/지문자 인식을 위해, 도 7에 도시된 바와 같이, 먼저 차량의 클러스터에 설치된 레이더 센서부(110)가 비접촉식으로 사용자의 손동작을 감지하여, 감지 데이터를 생성한다(S210).For gesture / fingerprint recognition, as shown in FIG. 7, first, the radar sensor unit 110 installed in the cluster of the vehicle detects a user's hand gesture in a non-contact manner, and generates sensing data (S210).

그러면, 신호 처리부(120)는 S210단계에서 생성된 감지 데이터에 대한 전 처리를 수행한다(S220).Then, the signal processor 120 performs preprocessing on the sensed data generated in step S210 (S220).

다음, 인식부(130)는 S220단계에서 전 처리된 감지 데이터를 학습된 3차원 컨볼루션 신경망에 입력하여 제스처와 지문자를 인식한다(S230).Next, the recognizer 130 recognizes the gesture and the fingerprint by inputting the sensed data preprocessed in step S220 into the learned three-dimensional convolutional neural network (S230).

그리고, 제어부(140)는 S230단계에서 인식된 제스처와 지문자를 기초로 차량을 제어한다(S240).In addition, the controller 140 controls the vehicle based on the gesture and the fingerprint reader recognized in step S230 (S240).

지금까지, 클러스터 레이더와 3차원 컨볼루션 신경망을 이용한 제스처 및 지문자 인식 장치 및 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, the apparatus and method for gesture and fingerprint recognition using cluster radar and 3D convolutional neural network have been described in detail with reference to a preferred embodiment.

위 실시예에 따르면, 비접촉식으로 제스처 인식이 가능하고, 간편하게 지문자를 이용한 커뮤니케이션이 가능하다. 특히, 제스처 인식률을 높이고 문자 입력을 간편화 할 수 있게 된다.According to the above embodiment, gesture recognition can be performed in a non-contact manner, and communication using a fingerprint reader is possible. In particular, it is possible to increase the gesture recognition rate and simplify character input.

나아가, 본 발명의 실시예들에 적용된 장치와 방법은, 차량 환경이 아닌 다른 환경에서 사용자 인터페이스 방법이나 의사 소통 방법(이를 테면, 수화)으로써도 널리 활용될 수 있다. Furthermore, the apparatus and method applied to the embodiments of the present invention may be widely used as a user interface method or a communication method (such as sign language) in an environment other than a vehicle environment.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical idea according to various embodiments of the present disclosure may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

110 : 레이더 센서부
120 : 신호 처리부
130 : 인식부
140 : 제어부110: radar sensor unit
120: signal processing unit
130: recognition unit
140: control unit

Claims (8)

사용자의 손동작을 비접촉식으로 감지하는 센서부;
센서부에 의해 생성된 감지 데이터로부터 제스처와 지문자를 인식하는 인식부;를 포함하는 것을 특징으로 하는 제스처 및 지문자 인식 장치.
A sensor unit for detecting a user's hand gesture in a non-contact manner;
And a recognizing unit recognizing a gesture and a fingerprint from the sensed data generated by the sensor unit.
청구항 1에 있어서,
인식부는,
입력된 감지 데이터에 해당하는 제스처와 지문자를 인식하여 출력하도록 학습된 컨볼루션 신경망을 이용하여, 제스처와 지문자를 인식하는 것을 특징으로 하는 제스처 및 지문자 인식 장치.
The method according to claim 1,
Recognition unit,
And a gesture and a fingerprint reader using a convolutional neural network learned to recognize and output a gesture and a fingerprint corresponding to the input sensing data.
청구항 2에 있어서,
컨볼루션 신경망은,
제스처 및 지문자 인식을 위한 각기 다른 시간 길이를 갖는 다수의 분류기들을 구비하는 것을 특징으로 하는 제스처 및 지문자 인식 장치.
The method according to claim 2,
Convolutional neural networks,
And a plurality of classifiers having different time lengths for gesture and fingerprint recognition.
청구항 3에 있어서,
컨볼루션 신경망은,
SVM(Support Vector Machine)을 이용하여, 분류기 학습 및 분류 점수 계산을 수행하는 것을 특징으로 하는 제스처 및 지문자 인식 장치.
The method according to claim 3,
Convolutional neural networks,
A gesture and fingerprint recognition apparatus using a SVM (Support Vector Machine) to perform classifier learning and classification score calculation.
청구항 1에 있어서,
센서부에 의해 생성된 감지 데이터를 전 처리하는 처리부;를 더 포함하고,
인식부는,
처리부에 의해 전 처리된 감지 데이터로부터 제스처와 지문자를 인식하는 것을 특징으로 하는 제스처 및 지문자 인식 장치.
The method according to claim 1,
And a processing unit which preprocesses the sensing data generated by the sensor unit.
Recognition unit,
Gesture and fingerprint reader recognition device characterized in that for recognizing the gesture and the fingerprint from the pre-processed sense data.
청구항 1에 있어서,
센서부는,
차량의 클러스터에 설치된 2대의 레이더 센서들을 포함하는 것을 특징으로 하는 제스처 및 지문자 인식 장치.
The method according to claim 1,
Sensor unit,
And a radar sensor installed in a cluster of vehicles.
청구항 6에 있어서,
인식된 제스처와 지문자를 기초로, 차량을 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 제스처 및 지문자 인식 장치.
The method according to claim 6,
And a controller configured to control the vehicle based on the recognized gesture and the fingerprint reader.
사용자의 손동작을 비접촉식으로 감지하여 감지 데이터를 생성하는 단계;
생성된 감지 데이터로부터 제스처와 지문자를 인식하는 단계;를 포함하는 것을 특징으로 하는 제스처 및 지문자 인식 방법.
Generating sensing data by detecting a hand gesture of the user in a non-contact manner;
Recognizing a gesture and a fingerprint from the generated sense data; gesture and fingerprint recognition method comprising a.
KR1020180095061A 2018-08-14 2018-08-14 Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network KR20200023670A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180095061A KR20200023670A (en) 2018-08-14 2018-08-14 Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180095061A KR20200023670A (en) 2018-08-14 2018-08-14 Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network

Publications (1)

Publication Number Publication Date
KR20200023670A true KR20200023670A (en) 2020-03-06

Family

ID=69802398

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180095061A KR20200023670A (en) 2018-08-14 2018-08-14 Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network

Country Status (1)

Country Link
KR (1) KR20200023670A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427031A (en) * 2020-04-09 2020-07-17 浙江大学 Identity and gesture recognition method based on radar signals
CN113033416A (en) * 2021-03-26 2021-06-25 深圳市华杰智通科技有限公司 Millimeter wave radar gesture recognition method based on sparse function
CN113050797A (en) * 2021-03-26 2021-06-29 深圳市华杰智通科技有限公司 Method for realizing gesture recognition through millimeter wave radar

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427031A (en) * 2020-04-09 2020-07-17 浙江大学 Identity and gesture recognition method based on radar signals
CN111427031B (en) * 2020-04-09 2021-12-07 浙江大学 Identity and gesture recognition method based on radar signals
CN113033416A (en) * 2021-03-26 2021-06-25 深圳市华杰智通科技有限公司 Millimeter wave radar gesture recognition method based on sparse function
CN113050797A (en) * 2021-03-26 2021-06-29 深圳市华杰智通科技有限公司 Method for realizing gesture recognition through millimeter wave radar

Similar Documents

Publication Publication Date Title
Lin et al. Integrating appearance and edge features for sedan vehicle detection in the blind-spot area
CN112590794A (en) Method and apparatus for determining an estimate of the ability of a vehicle driver to take over control of a vehicle
EP2635953B1 (en) Robust video-based handwriting and gesture recognition for in-car applications
Misra et al. Vision-based hand gesture recognition of alphabets, numbers, arithmetic operators and ASCII characters in order to develop a virtual text-entry interface system
Joshi et al. Comparing random forest approaches to segmenting and classifying gestures
KR101511146B1 (en) Smart 3d gesture recognition apparatus and method
Qi et al. Computer vision-based hand gesture recognition for human-robot interaction: a review
Roy et al. An efficient sign language recognition (SLR) system using Camshift tracker and hidden Markov model (hmm)
EP2659335A1 (en) System and method for gesture recognition
Rahman et al. Hand gesture recognition using multiclass support vector machine
KR20200023670A (en) Apparatus and Method for Recognizing Gestures and Finger Spellings using Cluster Radar and 3D Convolution Neural Network
US10853674B2 (en) Vehicle systems and methods for determining a gaze target based on a virtual eye position
KR102474245B1 (en) System and method for determinig input character based on swipe input
US20190228243A1 (en) Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US20150199592A1 (en) Contour-based classification of objects
Misra et al. Development of a hierarchical dynamic keyboard character recognition system using trajectory features and scale-invariant holistic modeling of characters
Kolivand et al. A new framework for sign language alphabet hand posture recognition using geometrical features through artificial neural network (part 1)
Cao et al. Facial expression recognition based on local binary pattern features and support vector machine
Choudhury et al. A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition
Yadav et al. Removal of self co-articulation and recognition of dynamic hand gestures using deep architectures
Ito et al. Japanese sign language classification based on gathered images and neural networks.
Hamdy Ali et al. A comparative study of user dependent and independent accelerometer-based gesture recognition algorithms
Jian et al. RD-Hand: a real-time regression-based detector for dynamic hand gesture
Krishnaveni et al. Classifier fusion based on Bayes aggregation method for Indian sign language datasets
Ishiguro et al. Multi-class Boosting for Early Classification of Sequences.