KR20150045335A - Method and apparatus for translation sign language into character - Google Patents

Method and apparatus for translation sign language into character Download PDF

Info

Publication number
KR20150045335A
KR20150045335A KR20130124929A KR20130124929A KR20150045335A KR 20150045335 A KR20150045335 A KR 20150045335A KR 20130124929 A KR20130124929 A KR 20130124929A KR 20130124929 A KR20130124929 A KR 20130124929A KR 20150045335 A KR20150045335 A KR 20150045335A
Authority
KR
South Korea
Prior art keywords
sign language
character
pixels
determining
word
Prior art date
Application number
KR20130124929A
Other languages
Korean (ko)
Inventor
오영준
안성주
박정훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130124929A priority Critical patent/KR20150045335A/en
Publication of KR20150045335A publication Critical patent/KR20150045335A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Discrimination (AREA)

Abstract

According to an embodiment of the present invention, a method for recognizing a sign language gesture of a sign language interpreter comprises the steps of: determining a chereme that is a visually distinctive element generating the nuances of meaning in the sign language, corresponding to a sign language interpreter′s sign language gesture; displaying at least one character based on the determined chereme; and determining one among the at least one character based on the sign language interpreter′s sign language gesture selecting one of the at least one character.

Description

수화 동작을 인식하여 문자로 변환하는 방법 및 그 장치{METHOD AND APPARATUS FOR TRANSLATION SIGN LANGUAGE INTO CHARACTER}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for recognizing a sign language,

본 발명은, 수화 동작을 인식하여 문자로 변환하는 방법 및 이를 위한 장치에 관한 것이다.
The present invention relates to a method of recognizing a hydration operation and converting it into a character and an apparatus therefor.

수화는 손과 몸의 움직임에 의해 정보를 표현하는 언어이다. 카메라로 촬영된 수화 동작을 나타내는 영상 데이터가 음성 언어로 변환될 수 있다. 수화 동작이 음성 언어로 변환될 때, 인식된 수화 동작에 대응하여 수화자가 표현하고자 하는 음성 언어가 정확하게 선택되는 것이 중요하다. Sign language is a language that expresses information by hand and body movements. The image data representing the hydration operation photographed by the camera can be converted into a voice language. When the sign language is translated into a spoken language, it is important that the spoken language that the signee wishes to represent corresponding to the recognized sign language is correctly selected.

일반적으로, 수화는 손의 모양, 손의 움직임, 손의 방향 등을 포함하는 수화소의 조합으로 하나의 의미를 표현한다. 따라서, 각각이 다른 의미를 갖는 복수의 단어라도 공통되는 수화소를 구성요소로 가질 수 있다.In general, sign language expresses a single meaning by a combination of several pixels including the shape of a hand, the movement of a hand, the direction of a hand, and the like. Therefore, a plurality of words each having a different meaning can have a number of pixels common to them.

또한, 지문자는 한국어의 문자인 한글을 손으로 나타내는 수화이다. 따라서, 지문자는 한글의 특성을 그대로 반영한다.In addition, the fingerprint is a handwritten sign indicating the Korean character, Hangul. Therefore, the fingerprint character reflects the characteristics of Hangul.

수화 동작을 음성 언어로 변환하는데 있어, 종래 기술은 이러한 수화의 특성을 반영하지 못한다. 뿐만 아니라, 종래 기술은 인식된 수화 동작에 대응하는 음성 언어를 선택하는데 있어, 수화자의 표현 습관, 현재 문맥을 고려하지 못한다.
In translating a sign language into a speech language, the prior art does not reflect this sign language. In addition, the prior art fails to take into account the presenting context of the listener in selecting the speech language corresponding to the recognized sign language operation.

수화자의 수화 동작을 인식하여 문자로 변환하는 방법 및 그 장치를 제공하기 위한 다양한 실시예가 제공된다.
There are provided various embodiments for providing a method and apparatus for recognizing and converting a sign language of a sign language into a character.

본 발명의 일 실시예에 따른 수화자의 수화 동작을 인식하는 방법은, 수화자의 수화 동작에 대응되는, 수화에서 의미의 차이를 발생시키는 시각적 변별 요소인 수화소를 결정하는 단계, 결정된 수화소에 기초하여, 적어도 하나의 문자를 표시하는 단계, 및 적어도 하나의 문자 중 하나를 선택하는 수화자의 수화 동작에 기초하여, 적어도 하나의 문자 중 하나를 결정하는 단계를 포함할 수 있다.A method for recognizing a hydration operation of a hydrator according to an embodiment of the present invention includes the steps of determining a number of pixels which are visual discriminating elements for generating a difference in meaning in hydration corresponding to a hydration operation of a hydrator, Displaying at least one character, and determining one of the at least one character based on a sign language operation of the listener to select one of the at least one character.

본 발명의 일 실시예에 따른 수화자의 수화 동작을 인식하는 장치는, 수화자의 수화 동작에 대응되는, 수화에서 의미의 차이를 발생시키는 시각적 변별 요소인 수화소를 결정하는 수화소 결정부, 결정된 수화소에 기초하여, 적어도 하나의 문자를 표시하는 문자 표시부, 및 적어도 하나의 문자 중 하나를 선택하는 수화자의 수화 동작에 기초하여, 적어도 하나의 문자 중 하나를 결정하는 문자 결정부를 포함할 수 있다.An apparatus for recognizing a hydration operation of a hydrator according to an embodiment of the present invention includes a number-of-pixels determination unit that determines a number of pixels, which is a visual discriminating element that generates a difference in meaning in sign language, A character display unit for displaying at least one character based on the pixel and a character determination unit for determining one of the at least one character based on the signing operation of the sign language selecting one of the at least one character.

한편, 본 발명의 일 실시예에 의하면, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.
According to an embodiment of the present invention, there is provided a computer-readable recording medium storing a program for causing a computer to execute the above-described method.

도 1은 본 발명의 일 실시예에 따른 수화 인식 장치(100)의 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 수화 동작을 인식하여 문자로 변환하는 방법의 흐름도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 일반적인 수화 동작에 기초하여 수화 동작에 대응되는 단어를 결정하는 방법의 흐름도를 도시한다.
도 4는 본 발명의 일 실시예에 따른, 일반적인 수화 동작을 인식하여 수화 동작에 대응되는 단어를 결정하는 방법을 설명하기 위한 도면을 도시한다.
도 5는 본 발명의 일 실시예에 따른, 일반적인 수화 동작을 인식하여 수화 동작에 대응하는 단어 또는 문장을 결정하는 방법의 흐름도를 도시한다.
도 6은 본 발명의 일 실시예에 따른, 수화 모션 데이터, 수화 단어 사전 데이터베이스, 수화 문장 사전 데이터베이스를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른, 지문자 수화 동작에 기초하여, 수화 동작에 대응되는 단어를 결정하는 방법의 흐름도를 도시한다.
도 8은 본 발명의 일 실시예에 따른 지문자 수화 동작을 인식하여 수화 동작에 대응되는 단어를 결정하는 방법을 설명하기 위한 도면을 도시한다.
도 9는 본 발명의 일 실시예에 따른 지문자 수화 동작이 음절로 인식되는 방법을 도시한다.
도 10은 본 발명의 일 실시예에 따른 하나의 음절이 생성되는 과정을 도시한다.
도 11은 본 발명의 일 실시예에 따른 지문자를 인식하여 단어를 자동 생성하는 방법의 흐름도를 도시한다.
도 12은 본 발명의 일 실시예에 따른 수화 동작을 인식하여 문장으로 변환하는 방법의 흐름도를 도시한다.FIG. 1 shows a block diagram of a sign language recognition apparatus 100 according to an embodiment of the present invention.
FIG. 2 shows a flow diagram of a method for recognizing and converting a sign language operation into a character according to an embodiment of the present invention.
3 shows a flow diagram of a method for determining a word corresponding to a hydration operation based on a general hydration operation according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a method for recognizing a general sign language operation and determining a word corresponding to a sign language operation according to an embodiment of the present invention.
5 illustrates a flow diagram of a method for recognizing a general hydration operation and determining a word or sentence corresponding to a hydration operation, in accordance with an embodiment of the present invention.
6 is a diagram showing hydration motion data, a hydration word dictionary database, and a hydration sentence dictionary database, according to an embodiment of the present invention.
7 shows a flowchart of a method for determining a word corresponding to a sign language operation, based on a character recognition operation, in accordance with an embodiment of the present invention.
FIG. 8 is a diagram illustrating a method for recognizing a character recognition operation according to an exemplary embodiment of the present invention to determine a word corresponding to a sign language operation.
FIG. 9 shows a method in which a character recognition operation according to an embodiment of the present invention is recognized as a syllable.
FIG. 10 illustrates a process of generating one syllable according to an embodiment of the present invention.
11 is a flowchart of a method for automatically generating a word by recognizing characters according to an embodiment of the present invention.
12 shows a flowchart of a method of recognizing and converting a sign language operation into a sentence according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in this specification will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

일반적인 수화는 독자적인 어휘와 문법체계를 지니는 하나의 언어로서 손의 모양, 손의 움직임 등을 포함하는 수화소의 조합으로 하나의 의미를 표현할 수 있다. 반면, 지문자 수화는 수화자가 한글의 구성 원리에 맞추어 2~4개의 자음 지문자와 1~2개의 모음 지문자를 조합하여 한글을 표현하는 수화 방식이다.General sign language is a language with its own vocabulary and grammar, and can express a single meaning by a combination of several pixels including the shape of a hand, the movement of a hand, and so on. On the other hand, the handwritten sign language is a sign language that expresses Hangul by combining 2 ~ 4 consonant letters and 1 ~ 2 vowel letters according to the constitution principle of Hangul.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

도 1은 본 발명의 일 실시예에 따른 수화 인식 장치(100)의 블록도를 도시한다. FIG. 1 shows a block diagram of a sign language recognition apparatus 100 according to an embodiment of the present invention.

다양한 실시예에 따른 수화 인식 장치(100)는 영상 데이터로부터 수화 동작을 인식하여 문자로 변환할 수 있다. 예를 들어, 수화 인식 장치(100)는 수화자의 수화 동작에 대응되는, 수화에서 의미의 차이를 발생시키는 시각적 변별 요소인 수화소를 결정할 수 있다. 또한, 수화 인식 장치(100)는 결정된 수화소에 기초하여, 적어도 하나의 문자를 표시할 수 있다. 또한, 수화 인식 장치(100)는 적어도 하나의 문자 중 하나를 선택하는 수화자의 수화 동작에 기초하여, 적어도 하나의 문자 중 하나를 결정할 수 있다. The sign language recognition apparatus 100 according to various embodiments can recognize a sign language operation from image data and convert it into text. For example, the sign language recognition apparatus 100 can determine a number of pixels, which is a visual discriminating element that generates a semantic difference in sign language, corresponding to the sign language of the sign language. Further, the sign language recognition apparatus 100 can display at least one character based on the determined number of pixels. Further, the sign language recognition apparatus 100 can determine one of the at least one character based on the sign language operation of the sign language selecting one of the at least one character.

다양한 실시예에 따른 수화 인식 장치(100)는 TV, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 플레이어, 디지털 카메라, 네비게이션(Navigation) 디바이스 일 수 있으나, 이에 한정되지 않는다.The sign language recognition apparatus 100 according to various embodiments may be applied to various devices such as a TV, a mobile phone, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcast terminal, a PDA (personal digital assistant) A portable multimedia player), an MP3 player, a digital camera, and a navigation device.

다양한 실시예에 따른 수화 인식 장치(100)는 다양한 입력 장치로부터 수화 영상을 획득할 수 있다. 예를 들어, 수화 인식 장치(100)는 카메라(Camera), 웹캠(Web Cam), 스마트 폰 등을 포함하는 이미지 센서를 구비한 장치로부터, 수화 영상을 획득할 수 있다. 또한, 수화 인식 장치(100)는 외부 서버 또는 외부 장치로부터 유무선 통신을 통해 수화 영상을 입력 받을 수 있다.The sign language recognition apparatus 100 according to various embodiments can acquire a sign language image from various input devices. For example, the sign language recognition apparatus 100 can acquire a sign language image from an apparatus having an image sensor including a camera, a web cam, a smart phone, and the like. In addition, the sign language recognition apparatus 100 can receive a sign language video from an external server or an external device through wired / wireless communication.

다양한 실시예에 따른 수화 인식 장치(100)는, 수화소 결정부(110), 문자 표시부(120) 및 문자 결정부(130)를 포함한다. 수화 인식 장치(100)의 수화소 결정부(110), 문자 표시부(120) 및 문자 결정부(130)를 포함한 각 구성부들은, 수화 인식 장치(100)에 탑재된 중앙 연산 장치 또는 연동된 외부 제어 장치 등의 제어를 통해 유기적으로 작동될 수 있다.The sign language recognition apparatus 100 according to various embodiments includes a number-of-pixels determination unit 110, a character display unit 120, and a character determination unit 130. The respective components including the number-of-pixels determining unit 110, the character display unit 120, and the character determining unit 130 of the sign language recognition apparatus 100 are controlled by the central processing unit installed in the sign language recognition apparatus 100, And can be operated organically through control of a control device or the like.

다양한 실시예에 따른 수화소 결정부(110)는 수화자의 수화 동작에 대응되는, 수화에서 의미의 차이를 발생시키는 시각적 변별 요소인 수화소를 결정할 수 있다.The number-of-pixels determining unit 110 according to various embodiments can determine a number of pixels, which is a visual discriminating element that generates a meaning difference in sign language, corresponding to the sign language operation of the listener.

다양한 실시예에 따른 수화소는 수화에서 의미의 차이를 발생시키는 시각적 변별 요소로써 수화자의 손의 모양, 손의 움직임, 손의 방향, 손바닥의 방향, 손의 위치, 손의 이동 방향, 몸의 방향 및 얼굴 표정 중 적어도 하나를 포함할 수 있다.The number of pixels according to various embodiments is a visual discriminating element that generates a difference in meaning in sign language, and it is a visual discriminating element that generates a difference in sign language, such as the shape of a hand of a handset, the movement of a hand, the direction of a hand, the direction of a palm, And at least one of facial expressions.

다양한 실시예에 따른 문자 표시부(120)는 수화소 결정부(110)에 의해 결정된 수화소에 기초하여 적어도 하나의 문자를 표시할 수 있다. The character display unit 120 according to various embodiments may display at least one character based on the number of pixels determined by the number-of-pixels determining unit 110. [

다양한 실시예에 따른 문자는 숫자, 단어, 구, 절 및 문장 중 적어도 하나를 포함할 수 있다. The characters according to various embodiments may include at least one of numbers, words, phrases, phrases, and sentences.

또한, 문자 표시부(120)는 수화소 결정부(110)에 의해 결정된 적어도 하나의 수화소를 구성 성분으로 하는 적어도 하나의 수화어를 결정하고, 결정된 적어도 하나의 수화어에 대응하는 단어를 표시할 수 있다. The character display unit 120 determines at least one sign language having at least one number of pixels determined by the number-of-pixels determining unit 110 as constituent elements, and displays a word corresponding to at least one sign language determined .

또한, 문자 표시부(120)는 수화소 결정부(1110)에 의해 결정된 적어도 하나의 수화소에 기초하여 지문자를 결정하고, 결정된 지문자에 대응하는 음소를 결정하여, 결정된 음소를 포함하는 적어도 하나의 단어를 표시할 수 있다. Further, the character display unit 120 determines a character based on at least one number of pixels determined by the pixel determination unit 1110, determines a phoneme corresponding to the determined character, and determines at least one Can be displayed.

또한, 문자 표시부(120)는 수화소 결정부(110)에 의해 결정된 수화소에 기초하여 적어도 하나의 문자를 표시할 때, 각각의 문자에 대응함을 나타내는 일련의 문자 또는 숫자를 표시할 수 있다. When displaying at least one character based on the number of pixels determined by the number-of-pixels determination unit 110, the character display unit 120 may display a series of characters or numbers corresponding to each character.

또한, 문자 표시부(120)는 수화소 결정부(110)에 의해 결정된 수화소에 기초하여 단어들을 결정하고, 단어들의 순서를 변경하거나, 단어들에 대한 문장 성분을 변경하거나, 문장 유형을 변경하여 복수의 문장을 생성하여 표시할 수 있다. In addition, the character display unit 120 determines words based on the number of pixels determined by the number-of-pixels determination unit 110, changes the order of words, changes sentence components for words, changes the sentence type A plurality of sentences can be generated and displayed.

다양한 실시예에 따른 문자 결정부(130)는 적어도 하나의 문자 중 하나를 선택하는 수화자의 수화 동작에 기초하여, 문자 표시부(120)에 의해 표시된 적어도 하나의 문자 중 하나를 결정할 수 있다. The character determination unit 130 according to various embodiments may determine one of at least one character displayed by the character display unit 120 based on a sign language acquisition operation for selecting one of the at least one character.

수화 인식 장치(100)는, 문자 결정부(130)가 결정한 문자를 화면에 텍스트로 표시할 수 있다.
The sign language recognition apparatus 100 can display the character determined by the character determination unit 130 as text on the screen.

도 2는 본 발명의 일 실시예에 따른 수화 동작을 인식하여 문자로 변환하는 방법의 흐름도를 도시한다.FIG. 2 shows a flow diagram of a method for recognizing and converting a sign language operation into a character according to an embodiment of the present invention.

단계 S210에서, 수화소 결정부(110)는 수화자의 수화 동작에 대응되는, 의미의 차이를 발생시키는 시각적 변별 요소인 수화소를 결정할 수 있다. 예를 들어, 수화소는 손의 모양, 손의 움직임, 손의 방향, 손바닥의 방향, 손의 위치, 손의 이동 방향, 몸의 방향 및 얼굴 표정 중 적어도 하나를 포함할 수 있다. In step S210, the number-of-pixels determining unit 110 can determine a number of pixels, which is a visual discriminating element that generates a difference in meaning, corresponding to the signing operation of the listener. For example, the number of pixels may include at least one of a shape of a hand, a movement of a hand, a direction of a hand, a direction of a palm, a position of a hand, a direction of movement of a hand, a direction of a body and a facial expression.

단계 S220에서, 문자 표시부(120)는 단계 S210에서 결정된 수화소에 기초하여, 적어도 하나의 문자를 표시할 수 있다. 문자는 숫자, 단어, 구, 절 및 문장 중 적어도 하나를 포함할 수 있다. In step S220, the character display unit 120 can display at least one character based on the number of pixels determined in step S210. The letters may include at least one of numbers, words, phrases, phrases and sentences.

예를 들어, 문자 표시부(120)는 수화소를 구성 성분으로 하는 적어도 하나의 수화어를 결정하고, 결정된 수화어에 대응하는 단어를 표시할 수 있다.  For example, the character display unit 120 can determine at least one sign language having a number of pixels as a constituent, and display a word corresponding to the determined sign language.

또한, 문자 표시부(120)는 수화소에 따른 지문자를 결정하고, 결정된 지문자에 대응하는 음소를 결정하고, 결정된 음소를 포함하는 적어도 하나의 단어를 표시할 수 있다. In addition, the character display unit 120 can determine a character according to a number of pixels, determine a phoneme corresponding to the determined character, and display at least one word including the determined phoneme.

또한, 문자 표시부(120)는 수화소에 기초하여 단어들을 결정하고, 결정된 단어들의 순서 조합 및 문장 유형 변경 중 적어도 하나에 기초하여 복수의 문장을 생성하여 표시할 수 있다. Further, the character display unit 120 can determine words based on the number of pixels, and generate and display a plurality of sentences based on at least one of an ordered combination of determined words and a sentence type change.

또한, 문자 표시부(120)는 수화소에 기초하여 숫자, 단어, 구, 절 및 문장 등을 포함하는 문자를 표시할 때, 문자 각각에 대응함을 나타내는 일련의 문자 또는 숫자를 표시할 수 있다. In addition, the character display unit 120 may display a series of characters or numbers corresponding to each character when displaying characters including numbers, words, phrases, phrases, sentences, etc. based on the number of pixels.

단계 S230에서, 문자 결정부(130)는 수화자의 수화 동작에 기초하여, 단계 S220에서 문자 표시부(120)에 의해 표시된 적어도 하나의 문자 중 하나를 결정할 수 있다. In step S230, the character determination unit 130 can determine one of at least one character displayed by the character display unit 120 in step S220, based on the sign language acquisition operation of the listener.

예를 들어, 문자 결정부(130)는 문자 표시부(120)에 의해 표시된 일련의 문자 또는 숫자 중 하나를 선택하는 수화자의 수화 동작에 기초하여, 선택된 문자 또는 숫자에 대응하는 숫자, 단어, 구, 절 및 문장 중 하나를 결정할 수 있다.For example, the character determination unit 130 determines whether or not a character, a word, a phrase, or a word corresponding to the selected character or number is selected based on the sign language operation of the listener selecting one of a series of characters or numbers displayed by the character display unit 120, You can decide between a sentence and a sentence.

수화 인식 장치(100)는 단계 S230에서 결정한 문자를 화면에 텍스트로 표시할 수 있다. 또한, 수화 인식 장치(100)는 수화자의 수화 동작을 인식하여, 텍스트에 대하여 편집, 저장 및 전송 중 적어도 하나를 실행할 수 있다. 예를 들어, 수화 인식 장치(100)는 편집, 저장 및 전송에 대응하는 미리 정의된 수화 동작에 기초하여 텍스트를 편집, 저장 및 전송할 수 있다. 또한, 수화 인식 장치(100)는 수화 동작을 인식하여 텍스트로 변환하고, 변환된 텍스트를 실시간으로 워드 프로세스, 훈민 정음, 메모장, 엑셀, 모바일 메시지, 이메일 등을 포함하는 문서 작성, 편집 어플리케이션을 이용하여 편집, 저장 및 전송할 수 있다. The sign language recognition apparatus 100 can display the characters determined in step S230 on the screen as text. Further, the sign language recognition apparatus 100 recognizes the sign language of the sign language, and can execute at least one of editing, storing, and transmitting the text. For example, the sign language recognition apparatus 100 may edit, store and transmit text based on a predefined sign language operation corresponding to editing, storing and transmitting. In addition, the sign language recognition apparatus 100 recognizes the sign language and converts the text into text, and the converted text is used in real time in a document preparation and editing application including a word process, a hunmun tune, a notepad, an Excel, a mobile message, Edited, stored and transmitted.

수화 인식 장치(100)는 변환된 텍스트를 Wi-Fi, NFC 등을 포함하는 근거리 통신 또는 유, 무선 네트워크를 통해 외부 장치에 전송할 수 있다.
The sign language recognition apparatus 100 may transmit the converted text to an external device via a local area communication including Wi-Fi, NFC, or a wired or wireless network.

도 3은 본 발명의 일 실시예에 따른 일반적인 수화 동작에 기초하여 수화 동작에 대응되는 단어를 결정하는 방법의 흐름도를 도시한다.3 shows a flow diagram of a method for determining a word corresponding to a hydration operation based on a general hydration operation according to an embodiment of the present invention.

단계 S310에서, 수화소 결정부(110)는 수화자의 수화 동작에 대응되는 수화소를 결정할 수 있다. 예를 들어, 수화소 결정부(110)는 실시간 촬영을 통해 획득된 수화 영상 데이터를 영상 처리하여, 수화자의 수화 동작에 대응되는 수화소를 결정할 수 있다. 수화자의 수화 동작에 대응되는 수화소를 결정하는 일 실시예에 대하여 도5 를 참조하여 상세히 후술될 것이다.In step S310, the number-of-pixels determining unit 110 can determine a number of pixels corresponding to the hydration operation of the receiver. For example, the number-of-pixels determining unit 110 can image the middling image data obtained through real-time shooting to determine the number of pixels corresponding to the middling operation of the middleman. One embodiment for determining the number of pixels corresponding to the hydration operation of the listener will be described in detail below with reference to Fig.

단계 S320에서, 문자 표시부(120)는 단계 S310에서 결정된 수화소를 구성 성분으로 하는 적어도 하나의 수화어를 결정할 수 있다. In step S320, the character display unit 120 can determine at least one sign language having the number of pixels determined in step S310 as a constituent.

일반적인 수화는 손의 모양, 손의 움직임, 손의 방향, 손바닥의 방향, 손의 위치, 손의 이동 방향, 몸의 방향 및 얼굴 표정 중 적어도 하나의 조합에 의해 하나의 의미를 나타낸다. 따라서, 일반적인 수화에서, 각각이 다른 의미를 갖는 복수의 단어라도 공통되는 수화소를 구성요소로 가질 수 있다. The general sign language has one meaning by a combination of at least one of a shape of a hand, a movement of a hand, a direction of a hand, a direction of a palm, a position of a hand, a direction of movement of a hand, a direction of a body and a facial expression. Therefore, in a general sign language, a plurality of words each having a different meaning can have a number of pixels common to them.

예를 들어, "예쁘다"와 "어렵다"는 의미를 나타내는 수화 동작은 손의 모양에 있어, "예쁘다"는 엄지만 접고 나머지 손가락은 편 모양이며, "어렵다"는 주먹을 쥔 모양으로 차이가 있다. 그러나 "예쁘다"와 "어렵다" 모두 손의 위치는 오른쪽 볼, 손의 움직임은 손목을 안쪽으로 비트는 동작, 손의 방향은 비스듬한 바깥쪽으로 동일하다. For example, the sign language "pretty" and "hard" signify the shape of the hand, with the "pretty" folded with the thumb, the other finger with a flap, and the "difficult" . However, both the "pretty" and "difficult" positions of the hands are the right balls, the motion of the hands is the actions of the wrists biting inward, and the direction of the hand is oblique and outward.

따라서, 문자 표시부(120)는 동일한 수화소를 구성 성분으로 갖지만 각각이 다른 의미를 갖는 복수의 단어를 결정할 수 있다. 동일한 수화소를 구성 성분으로 포함하는 적어도 하나의 수화어를 결정하는 일 실시예에 대하여 도 6을 참조하여 상세히 후술될 것이다.Therefore, the character display section 120 can determine a plurality of words each having the same number of pixels as constituent elements but having different meanings. One embodiment for determining at least one sign language including the same number of pixels as a constituent will be described later in detail with reference to Fig.

단계 S330에서, 문자 표시부(120)는 단계 S320에서 결정된 단어 및 단어 각각에 대응함을 나타내는 일련의 문자 또는 숫자를 표시할 수 있다.In step S330, the character display unit 120 may display a series of letters or numbers indicating that the words and the words determined in step S320 correspond to each.

단계 S340에서, 문자 결정부(130)는 일련의 문자 또는 숫자를 표현하는 수화자의 수화 동작을 인식할 수 있다. In step S340, the character determination unit 130 can recognize a sign language operation of a listener expressing a series of characters or numbers.

단계 S350에서, 문자 결정부(130)는 단계 S340에서 인식된 수화 동작에 기초하여, 인식된 하나의 문자 또는 숫자에 대응하는 단어를 결정할 수 있다. In step S350, the character determination unit 130 can determine a word corresponding to the recognized character or number based on the sign language operation recognized in step S340.

단계 S360에서, 수화 인식 장치(100)는 단계 S350에서 결정된 단어를 표시할 수 있다.
In step S360, sign language recognition apparatus 100 can display the word determined in step S350.

도 4는 본 발명의 일 실시예에 따른, 일반적인 수화 동작을 인식하여 수화 동작에 대응되는 단어를 결정하는 방법을 설명하기 위한 도면을 도시한다.FIG. 4 is a diagram illustrating a method for recognizing a general sign language operation and determining a word corresponding to a sign language operation according to an embodiment of the present invention.

도 4의 (a)화면은 수화자의 수화 동작에 대응하는 단어를 나열하는 도면이다. 4 (a) is a diagram listing words corresponding to the sign language acquisition operation of the listener.

수화자의 수화 동작(420)에서, 수화소는 두 주먹의 1,5지를 펴서 1지가 위로 향하게 하여 가슴 앞에서 동시에 위로 올리는 것으로 구성된다. 이러한 수화소를 구성 성분으로 하는 단어는 "동", "날", "올해", "뜨다", "도쿄", "동방", "동쪽" 일 수 있다. 예를 들어 자정에서 다음 자정까지의 24시간을 의미하는 "날"은 두 주먹의 1,5지를 펴서 1지가 위로 향하게 하여 가슴 앞에서 동시에 위로 올리는 것으로 구성된다. 또한, "올해"는 두 손을 펴서 손등이 위로 손끝이 밖으로 향하게 하여 가슴 앞에서 약간 내린 다음, 다시, 두 주먹의 1,5지를 펴서 1지가 위로 향하게 하여 가슴 앞에서 동시에 위로 올리는 것으로 구성된다. 또한, "동쪽"은 두 주먹의 1,5지를 펴서 1지가 위로 향하게 하여 가슴 앞에서 동시에 위로 올린 다음, 손바닥이 아래로 향하게 반쯤 구부린 오른손을 가슴 앞에서 약간 내리다가 멈추는 것으로 구성된다.In the hydrator's hydration operation 420, a number of pixels are formed by stretching the two or four fingers of the two fists so that one finger is raised upward in front of the chest. The words having such a number of pixels may be "east", "day", "year", "knit", "Tokyo", "east", "east". For example, a "day", which means 24 hours from midnight to the next midnight, consists of stretching the 1,5 sheets of two fists and lifting one fingertip upwards at the same time in front of the chest. In addition, the "year" consists of two hands stretched out with the fingertips pointing outwards with the fingertips pointing out, slightly lowered from the front of the chest, and again stretched out to the top and bottom of the two fists. In addition, "East" consists of a pair of fists stretched out one by one, with one face up, raised at the same time in front of the chest, and then slightly lowered from the front of the chest with a half-bent right hand with the palm facing down.

수화 인식 장치(100)는 수화자의 손 영역을 검출하고, 수화자의 손 움직임을 추적할 수 있다. 수화 인식 장치(100)는 수화자의 수화 동작(420)을 분석하여 수화소를 결정하고, 결정된 수화소를 구성 성분으로 하는 복수의 단어(440)를 화면에 표시할 수 있다. 도 4의 (a)에 도시된 바와 같이, 수화 인식 장치(100)가 수화자의 두 주먹의 1,5지가 펴진 상태로 1지가 위로 향하고 가슴 앞에서 동시에 위로 올라가는 것으로 인식한 경우, 이러한 수화소를 구성 성분으로 하는 "동", "날", "올해", "뜨다", "도쿄", "동방", "동쪽"을 화면에 표시할 수 있다. 수화 인식 장치(100)는 수화소를 구성 성분으로 하는 복수의 단어를 수화 단어사전 데이터베이스(620) 로부터 추출할 수 있다. The sign language recognition apparatus 100 can detect the hand area of the receiver and track the hand movement of the receiver. The sign language recognition apparatus 100 can analyze a sign language operation 420 of the listener to determine a number of pixels and display a plurality of words 440 having the determined number of pixels as a component on the screen. 4 (a), when the sign language recognition apparatus 100 recognizes that the first and second fists of the two fists of the receiver are pushed upward and the first face is upwardly moved upward in front of the chest, "East", "Day", "Year", "Knit", "Tokyo", "East", and "East" can be displayed on the screen. The sign language recognition apparatus 100 can extract a plurality of words having a number of pixels as constituent elements from the sign language word dictionary database 620. [

또한, 수화 인식 장치(100) 동일한 수화소를 구성 성분으로 하지만 의미가 다른 복수의 단어(동수이의어)를 화면에 표시할 수 있다. 예를 들어, "매우", "꽤", "너무", "대단히", "몹시", "무척", "아주", "퍽"은 모두 오른 주먹의 1·5지를 펴서 등이 밖으로 향하게 하여 왼쪽에서 오른쪽으로 이동시키는 수화소로 구성된다. 따라서, 수화 인식 장치(100)가 수화자의 오른 주먹의 1·5지가 펴진 상태로 손등이 밖으로 향하고 왼쪽에서 오른쪽으로 이동되는 수화소를 인식한 경우, "매우", "꽤", "너무", "대단히", "몹시", "무척", "아주", "퍽"을 표시할 수 있다.Further, the sign language recognition apparatus 100 can display a plurality of words (homophile) having the same number of pixels as constituent components but having different meanings on the screen. For example, "very," "fairly," "too," "very," "very," "very," "very," and " And a number of pixels that move from left to right. Therefore, when the sign language recognizing apparatus 100 recognizes a number of pixels whose hands are moved from the left to the right with the back of the hand in a state in which the right and left fists of the right fist are extended, "very", " You can display "very," "very," "very," "very," and "puck."

또한, 수화 인식 장치(100)는 복수의 단어를 표시할 때, 복수의 단어 중 수화자가 가장 많이 사용하는 단어 순서로 나열하여 표시할 수 있다. 이를 위해, 수화 인식 장치(100)는 수화자가 사용한 단어에 대하여 사용된 횟수를 미리 저장하고 있을 수 있다. Further, when the sign language recognition apparatus 100 displays a plurality of words, it is possible to display the words in a word order most frequently used among the plurality of words. For this purpose, the sign language recognition apparatus 100 may previously store the number of times used for the word used by the receiver.

또한, 수화 인식 장치(100)는 수화자가 표현하는 정보의 문맥을 분석하여 현재 문맥에 적합한 순서로 단어를 나열하여 표시할 수 있다. 예를 들어, 현재까지 수화자의 수화 동작으로부터 결정된 단어가 "일본", "여행"이었다면, 도 4에서 "도쿄"가 다른 단어 보다 가장 먼저 표시될 수 있다. Further, the sign language recognition apparatus 100 may analyze the context of the information represented by the sign language, and may list and display the words in an order appropriate to the current context. For example, if the word determined from the sign language of the listener to date is "Japan "," TRAVEL ", then "TOKYO"

수화 인식 장치(100)는 수화자의 수화 동작(420)에 가장 근접한 문자 또는 단어(430)를 화면에 표시할 수 있다. 예를 들어, 수화 인식 장치(100)가 결정한 수화소만을 구성 성분으로 하는 단어 또는 수화 인식 장치(100)가 결정한 수화소가 대부분의 구성 성분인 단어를 화면에 표시할 수 있다. The sign language recognition apparatus 100 can display on the screen the character or word 430 closest to the sign language operation 420 of the listener. For example, a word having only the hydrator determined by the sign language recognizing apparatus 100 as a constituent element or a number of pixels determined by the sign language recognizing apparatus 100 can display a word having the most component as a screen.

또한, 수화 인식 장치(100)는 현재 수화자가 나타내는 정보(410)를 화면에 표시 할 수 있다. 예를 들어, 수화자가 텍스트로 표현하려는 정보뿐만 아니라, 어떠한 표현을 선택하거나 장치를 제어하기 위해 표현하는 정보(410)를 화면에 표시할 수 있다. Further, the sign language recognition apparatus 100 can display the information 410 currently represented by the listener on the screen. For example, not only the information that the listener wants to represent in text, but also information (410) that can be displayed on the screen to select a representation or to control the device.

도 4의 (b)화면은 수화자의 수화 동작을 인식하여 나열된 단어 중 하나를 결정하는 방법을 도시한다.The screen (b) of FIG. 4 shows a method of recognizing the sign language operation of the listener and determining one of the listed words.

도 4의 (b)화면에 도시된 바와 같이, 수화자는 지문자 4를 나타내는 수화 동작(420)을 취하고 있다. 수화 인식 장치(100)는 수화자의 수화 동작을 인식하여, 나열된 단어 중 4번 단어인 "도쿄"를 변환할 단어로 결정할 수 있다.As shown in the screen of FIG. 4 (b), the signer takes the sign language operation 420 indicating sign 4. The sign language recognition apparatus 100 recognizes the sign language operation of the listener and can determine the word "Tokyo"

수화 인식 장치(100)는 수화자가 선택한 "도쿄"를 텍스트(450)로 화면에 표시할 수 있다. The sign language recognition apparatus 100 can display the text "Tokyo" selected by the receiver in the text 450 on the screen.

또한, 수화 인식 장치(100)는 텍스트로 결정된 단어를 입력 또는 저장하기 위한 사용자 인터페이스나(460), 텍스트로 결정된 단어를 취소하기 위한 사용자 인터페이스(470)을 제공할 수 있다.
The sign language recognition apparatus 100 may also provide a user interface 460 for inputting or storing a word determined in text, or a user interface 470 for canceling a word determined in text.

도 5는 본 발명의 일 실시예에 따른, 일반적인 수화 동작을 인식하여 수화 동작에 대응하는 단어 또는 문장을 결정하는 방법의 흐름도를 도시한다.5 illustrates a flow diagram of a method for recognizing a general hydration operation and determining a word or sentence corresponding to a hydration operation, in accordance with an embodiment of the present invention.

단계 S510에서, 수화 인식 장치(100)는 수화자의 수화 동작을 인식하여 수화 영상 데이터를 획득할 수 있다. In step S510, the sign language recognition apparatus 100 recognizes the sign language operation of the listener and can acquire the sign language image data.

단계 S520에서, 수화 인식 장치(100)는 획득된 수화 영상 데이터로부터 수화자의 목, 허리, 어깨, 팔꿈치, 손목 관절 등을 검출하고 포인트화 할 수 있다. In step S520, the sign language recognition apparatus 100 can detect and point the neck, waist, shoulder, elbow, wrist joint, etc. of the receiver from the obtained sign language video data.

예를 들어, 수화 인식 장치(100)는 촬영 장치와 수화자와의 거리의 추정치를 이용하여 수화자의 크기를 측정할 수 있다. 다음, 수화 인식 장치(100)는 깊이 이미지 등을 활용하여 수화자의 신체 영역을 검출할 수 있다. 다음, 수화 인식 장치(100)는 검출된 신체 영역을 세선화하고 뼈대를 생성할 수 있다. 다음, 수화 인식 장치(100)는 생성된 뼈대로부터 목, 허리, 어깨, 팔꿈치, 손목의 관절을 검출하고 포인트화 할 수 있다. For example, the sign language recognition apparatus 100 can measure the size of the listener using an estimate of the distance between the photographing apparatus and the listener. Next, the sign language recognition apparatus 100 can detect the human body area of the listener using a depth image or the like. Next, the sign language recognition apparatus 100 can thin the detected body region and create a skeleton. Next, the sign language recognition apparatus 100 can detect and point the neck, waist, shoulder, elbow, and wrist joints from the generated skeleton.

단계 S530에서, 수화 인식 장치(100)는 수화자의 손 영역을 추출할 수 있다. 예를 들어, 수화 인식 장치(100)는 수화 영상 데이터로부터 피부색 영역과 배경 영역을 분리하여, 수화자의 얼굴과 손 영역을 검출할 수 있다. 다음, 수화 인식 장치(100)는 검출된 얼굴과 손 영역에서 얼굴 영역을 검출하여(Face detection method) 수화자의 손 영역과 얼굴 영역을 분리할 수 있다. In step S530, the sign language recognition apparatus 100 can extract the hand area of the listener. For example, the sign language recognition apparatus 100 can detect a face and a hand region of a listener by separating a skin color region and a background region from the sign language image data. Next, the sign language recognition apparatus 100 can detect the hand region and the face region of the listener by detecting the face region in the detected face and hand regions (Face Detection Method).

단계 S540에서, 수화 인식 장치(100)는 검출된 수화자의 손 영역과 얼굴 영역을 미리 저장된 복수의 수화소와 비교하여, 가장 유사한 수화소를 수화 동작에 대응되는 수화소로 결정할 수 있다.In step S540, the sign language recognition apparatus 100 can compare the detected hand region and face region of the listener with a plurality of pre-stored number of pixels, and determine the most similar number of pixels as the number of pixels corresponding to the sign language operation.

예를 들어, 수화 인식 장치(100)는 검출된 수화자의 손 영역을 미리 저장된 수화자의 손 모양과 비교하고, 가장 유사한 손 모양을, 수화 동작에 대응되는 손 모양 수화소로 결정할 수 있다. For example, the sign language recognition apparatus 100 may compare the hand area of the detected handset with the hand shape of the handset previously stored, and determine the most similar hand shape as the hand shape number of pixels corresponding to the sign language operation.

또한, 수화 인식 장치(100)는 손의 중심 포인트(A)와 팔꿈치 포인트(B)를 잇는 선분(AB 선분)과 팔꿈치 포인트(B)와 어깨 포인트(C)를 잇는 선분(BC 선분)이 이루는 각도에서, 손의 중심 포인트(A)와 팔꿈치 포인트(B)를 있는 선분(AB 선분)과 엄지손가락 끝 포인트(D)와 팔꿈치 포인트(B)를 있는 선분(DB 선분)이 이루는 각도를 산출하고, 손 방향 데이터베이스에 저장된 복수의 손 방향 수화소와 비교하여, 가장 유사한 손 방향을 수화 동작에 대응되는 손 방향 수화소로 결정할 수 있다.The sign language recognizing apparatus 100 further includes a line segment connecting the center point A of the hand and the elbow point B and a line segment BC connecting the elbow point B and the shoulder point C The angles formed by the segment (AB segment) having the center point (A) and the elbow point (B) and the line segment (DB segment) having the thumb end point (D) and the elbow point (B) , It is possible to determine the most similar hand direction as the number of hand direction pixels corresponding to the handwriting operation, as compared with a plurality of hand direction pixels stored in the hand direction database.

또한, 수화 인식 장치(100)는 손의 중심 포인트(A), 팔꿈치 포인트(B) 및 어깨 포인트(C)를 잇는 선분(ABC 선분)를 산출하고, 손팔 자세 데이터베이스에 저장된 복수의 손팔 자세 수화소와 비교하여, 가장 유사한 손팔 자세를 수화 동작에 대응되는 손팔 자세 수화소로 결정할 수 있다. The sign language recognition apparatus 100 also calculates a line segment (ABC line segment) connecting the center point A, the elbow point B and the shoulder point C of the hand, The most similar hand posture attitude can be determined as the number of hand postures corresponding to the hydration operation.

또한, 수화 인식 장치(100)는 손의 중심 포인트의 이동 궤적을 산출하고, 손궤도 데이터베이스에 저장된 복수의 손궤도 수화소와 비교하여, 가장 유사한 손궤도 수화소를 수화 동작에 대응되는 손궤도 수화소로 결정할 수 있다. 이때, 수화 인식 장치(100)는 양쪽의 손궤도의 의미를 분석하여 양손의 궤도가 수화사전에 등재된 수화상으로 의미 있는 손궤적인지, 수화 단어와 수화 단어의 사이에 발생하는 손의 이동 또는 정지 동작에 의한 의미 없는 손 궤적인지 여부를 구별하여 손궤도 수화소를 결정할 수 있다. Further, the sign language recognition apparatus 100 calculates the movement locus of the central point of the hand, compares the movement locus of the center point of the hand with the plurality of handrail pixels stored in the handrail database, It can be determined as a pixel. At this time, the sign language recognition apparatus 100 analyzes the meaning of both hand trajectories and determines whether or not the trajectory of both hands is a meaningful hand trajectory as a number image registered in sign language, a movement of a hand occurring between a sign language word and a sign language word It is possible to determine the number of passenger pixels by discriminating whether or not the hand trajectory is meaningless due to the stopping operation.

단계 S550에서, 수화 인식 장치(100)는 단계 S540에서 결정된 수화소에 기초하여 수화 모션 데이터(600)를 생성할 수 있다. 수화 인식 장치(100)는 수화 모션 데이터(600)를 수화 동작이 인식된 시간 순서로 구성할 수 있다.In step S550, sign language recognition device 100 can generate hydration motion data 600 based on the number of pixels determined in step S540. The sign language recognition apparatus 100 can configure the hydration motion data 600 in the time sequence in which the hydration operation is recognized.

단계 S560에서, 수화 인식 장치(100)는 수화 단어 사전 데이터베이스와 수화 문장 사전 데이터베이스를 참조하여, 생성한 수화 모션 데이터(600)에 대응되는 적어도 하나의 단어 또는 문장을 추출할 수 있다.
In step S560, the sign language recognition apparatus 100 refers to the sign language dictionary database and the sign language sentence dictionary database, and extracts at least one word or sentence corresponding to the generated sign language motion data 600. [

도 6은 본 발명의 일 실시예에 따른, 수화 모션 데이터, 수화 단어 사전 데이터베이스, 수화 문장 사전 데이터베이스를 도시하는 도면이다.6 is a diagram showing hydration motion data, a hydration word dictionary database, and a hydration sentence dictionary database, according to an embodiment of the present invention.

도 6(a)는 하나의 의미를 구성하는 복수의 수화소가 시간의 순서에 따라 수화 모션 데이터(600)로 생성된 것을 도시한다. 도 6(a)의 수화 모션 데이터(600)는 하나의 단어 또는 하나의 문장을 나타낼 수 있다. 6 (a) shows that a plurality of pixels constituting one meaning are generated in the hydration motion data 600 in the order of time. The hydration motion data 600 of FIG. 6 (a) may represent one word or one sentence.

도 6(a)에 도시된 바와 같이, 수화 인식 장치(100)는 손팔자세, 손목자유도, 손방향, 손궤적 수화소로 수화 모션 데이터(600)를 구성할 수 있다. 또한, 수화 인식 장치(100)는 하나의 캡쳐된 화면으로부터 획득한 수화소를 하나의 세트(예를 들면, 왼손팔자세1(602), 왼손목1(604), 왼손방향1(606), 오른손팔자세1(610), 오른손목자유도(612), 오른손방향1(616))로 구성할 수 있다. 또한, 수화 인식 장치(100)는 획득한 수화소를 시간 순서(도 6 (a)에 도시된 1부터 n)에 따라 구성하여 수화 모션 데이터(600)를 생성할 수 있다. 도6의 (a)에서 왼손궤적(608)은 1부터 n까지 시간이 흐르는 동안 왼손의 이동궤적에 기초하여 결정된 왼손궤적 수화소를 나타낸다. As shown in FIG. 6 (a), the sign language recognition apparatus 100 can construct hydration motion data 600 in the number of pixels of the hand arm, the degree of freedom of the wrist, the hand direction, and the number of hand trajectories. The sign language recognition apparatus 100 further includes a set of pixels obtained from one captured image as one set (for example, left hand palm length 1 602, left hand palm 1 604, left hand direction 1 606, Right handed hand 1 (610), right hand neck degree of freedom 612, right hand direction 1 (616)). The sign language recognition apparatus 100 can also generate the hydration motion data 600 by constructing the acquired number of pixels in a time sequence (1 to n shown in FIG. 6 (a)). In FIG. 6A, the left hand trajectory 608 represents the number of left hand trajectory pixels determined based on the movement trajectory of the left hand during time from 1 to n.

수화 인식 장치(100)는 수화 모션 데이터(600)에 대응되는 단어 또는 문장을 수화 단어사전 데이터베이스, 수화 문장사전 데이터베이스를 참조하여 추출할 수 있다. The sign language recognition apparatus 100 can extract a word or a sentence corresponding to the hydration motion data 600 by referring to a sign language dictionary database or a sign language sentence dictionary database.

도 6(b)는 하나의 단어(622)에 대응되는 수화소가 저장된 수화 단어사전 데이터베이스(620)를 나타낸다.6B shows a sign language word dictionary database 620 in which a number of pixels corresponding to one word 622 is stored.

도 6(b)에 도시된 바와 같이, 수화 인식 장치(100)는 하나의 단어(620)를 표현하는 왼손 수화소(624) 및 오른손 수화소(626)를 하나의 단어(620)에 대응하여 저장할 수 있다. 6B, the sign language recognition apparatus 100 recognizes a left-hand number pixel 624 and a right-hand number pixel 626 representing one word 620 corresponding to one word 620 Can be stored.

도 6(c)는 n개의 단어로 구성된 하나의 수화 문장(632)에 대응되는, 수화소가 저장된 수화 문장 데이터베이스(630) 구조를 나타낸다.6 (c) shows the structure of the sign language sentence database 630 in which a number of pixels corresponding to one sign language sentence 632 composed of n words is stored.

도 6(c)에 도시된 바와 같이, 수화 인식 장치(100)는 하나의 문장(632)을 구성하는 단어1(634)부터 단어n(640)을 표현하는 수화소 (636,638)를 하나의 문장(632)에 대응하여 저장할 수 있다.
6 (c), the sign language recognizing apparatus 100 may classify the number of pixels 636 and 638 expressing the word 1 (634) to the word n (640) constituting one sentence 632 into one sentence (632).

도 7은 본 발명의 일 실시예에 따른, 지문자 수화 동작에 기초하여, 수화 동작에 대응되는 단어를 결정하는 방법의 흐름도를 도시한다.7 shows a flowchart of a method for determining a word corresponding to a sign language operation, based on a character recognition operation, in accordance with an embodiment of the present invention.

단계 S710에서, 수화소 결정부(110)는 수화자의 수화 동작에 대응되는 수화소를 결정할 수 있다. 예를 들어, 수화소 결정부(110)는 실시간 촬영을 통해 획득된 수화 영상 데이터를 영상 처리하여, 수화자의 수화 동작에 구성하는 수화소를 결정할 수 있다. In step S710, the number-of-pixels determining unit 110 can determine the number of pixels corresponding to the hydration operation of the receiver. For example, the number-of-pixels determining unit 110 can image the middleman image data obtained through real-time imaging to determine the number of pixels constituting the middleman's middling operation.

지문자(Finger spelling) 수화는 손가락으로 문자 또는 숫자를 표현하는 수화이다. 지문자 또한 특정한 수화소의 조합으로 구성될 수 있다. 예를 들어, 자음 또는 모음이 손의 모양, 손끝의 방향, 손등의 방향 중 적어도 하나의 조합으로 구성될 수 있다. 또한, 지문자 수화는 촬영을 통해 검출된 수화자의 손의 윤곽만으로 구별 될 수 있다. Finger spelling Sign language is a sign that represents a letter or number with a finger. Characters may also be composed of a specific number of pixels. For example, the consonant or vowel may be composed of at least one combination of the shape of the hand, the direction of the fingertip, and the direction of the hand. In addition, the character recognition can be distinguished only by the outline of the hand of the handset detected through photographing.

단계 S720에서, 수화소 결정부(110)는 단계 S710에서 결정된 수화소에 기초하여 지문자를 결정할 수 있다. 예를 들어, 수화소 결정부(110)는 수화자의 손의 윤곽을 인식하여, 인식된 윤곽에 대응되는 지문자를 결정할 수 있다. 한글 지문자를 결정하는 일 실시예에 대하여 도 9 내지 도 11을 참조하여 상세히 후술될 것이다.In step S720, the number-of-pixels determining unit 110 can determine the character based on the number of pixels determined in step S710. For example, the number-of-pixels determining unit 110 can recognize the contour of the hand of the listener and determine the character corresponding to the recognized contour. One embodiment for determining Hangul characters will be described in detail below with reference to Figs. 9 to 11.

단계 S730에서, 문자 표시부(120)는 단계 S720에서 결정된 지문자에 대응하는 음소를 결정할 수 있다.In step S730, the character display unit 120 can determine a phoneme corresponding to the character determined in step S720.

단계 S740에서, 문자 표시부(120)는 단계 S730에서 결정된 음소를 포함하는 적어도 하나의 단어 및 단어 각각에 대응함을 나타내는 일련의 문자 또는 숫자를 표시할 수 있다.In step S740, the character display unit 120 may display at least one word including the phoneme determined at step S730 and a series of letters or numbers indicating that it corresponds to each word.

단계 S750에서, 문자 결정부(130)는 일련의 문자 또는 숫자 중 하나를 선택하는 수화자의 수화 동작을 인식할 수 있다.In step S750, the character determination unit 130 can recognize the sign language operation of the listener who selects one of a series of letters or numbers.

단계 S760에서, 문자 결정부(130)는 선택된 문자 또는 숫자에 대응하는 단어를 결정할 수 있다.In step S760, the character determination unit 130 can determine a word corresponding to the selected character or number.

단계 S770에서, 문자 결정부(130)는 결정된 단어를 화면에 표시할 수 있다.
In step S770, the character determination unit 130 can display the determined word on the screen.

도 8은 본 발명의 일 실시예에 따른 지문자 수화 동작을 인식하여 수화 동작에 대응되는 단어를 결정하는 방법을 설명하기 위한 도면을 도시한다.FIG. 8 is a diagram illustrating a method for recognizing a character recognition operation according to an exemplary embodiment of the present invention to determine a word corresponding to a sign language operation.

도 8의 (a)는 수화자의 수화 동작에 기초하여 글자 또는 단어가 자동 완성되는 방법을 도시한다. FIG. 8A shows a method in which characters or words are autocompleted based on a sign language acquisition operation.

수화 인식 장치(100)는 수화자가 표현하는 정보의 문맥을 분석하여 현재 문맥에 적합한 글자 또는 단어를 표시할 수 있다. 예를 들어, 현재까지 수화자의 수화 동작으로부터 결정된 문장이 "오늘 보신"이고, 현재 인식된 수화자의 수화 동작이 "ㄱ"이라면, 수화 인식 장치(100)는 수화자가 의도하는 글자를 "각"으로 결정할 수 있다. 또한, 수화 인식 장치(100)는 결정한 글자를 화면에 표시(810)할 수 있다. The sign language recognition apparatus 100 can analyze the context of the information represented by the sign language and display a letter or a word suitable for the current context. For example, if the sentence determined from the sign language operation of the listener so far is "seen today ", and the sign language recognition operation of the currently recognized sign language is" a ", the sign language recognition apparatus 100 sets the sign You can decide. Further, the sign language recognition apparatus 100 can display the determined character on the screen (810).

도 8의 (b)는 수화 인식 장치(100)가 수화자의 지문자 수화 동작을 인식하여 수화 자가 표현하는 음소를 구성 성분으로 하는 복수의 단어를 표시하는 방법을 도시한다.FIG. 8B shows a method in which the sign language recognizing apparatus 100 recognizes the handwritten character recognition operation of the handwriters and displays a plurality of words constituting the phonemes expressed by the signee.

수화 인식 장치(100)는 수화자의 수화 동작(420)을 분석하여 음소를 결정하고, 결정된 음소를 구성 성분으로 하는 복수의 단어(440)를 표시할 수 있다. 예를 들어, 수화 인식 장치(100)는 음소를 구성 성분으로 하는 복수의 단어를 데이터베이스로부터 추출할 수 있다. The sign language recognition apparatus 100 can analyze the sign language operation 420 of the listener to determine a phoneme and display a plurality of words 440 having the determined phoneme as a constituent. For example, the sign language recognition apparatus 100 can extract a plurality of words having phonemes as constituent elements from a database.

또한, 수화 인식 장치(100)는 복수의 단어를 표시할 때, 복수의 단어 중 사용 빈도가 가장 높은 단어 순서로 나열하여 표시할 수 있다. 이를 위해, 수화 인식 장치(100)는 수화자가 사용한 단어에 대하여 사용된 횟수를 미리 저장하고 있을 수 있다. Further, when the sign language recognition apparatus 100 displays a plurality of words, the sign language recognition apparatus 100 can display the words in the order of the words having the highest frequency of use among a plurality of words. For this purpose, the sign language recognition apparatus 100 may previously store the number of times used for the word used by the receiver.

수화 인식 장치(100)는 수화자의 수화 동작(420)에 가장 근접한 음소(430) 또는 음소를 포함하는 글자를 화면에 표시할 수 있다. 또한, 수화 인식 장치(100)는 현재 수화자가 나타내는 정보(410)를 화면에 표시 할 수 있다. 예를 들어, 수화자가 텍스트로 표현하려는 정보뿐만 아니라, 어떠한 표현을 선택하거나 장치를 제어하기 위해 표현하는 정보(410)를 화면에 표시할 수 있다. 또한, 수화 인식 장치(100)는 수화자의 손 영역에서 손의 모양을 추출하고 세선화 과정을 거쳐 생성한 손 뼈대 이미지(820)를 화면에 표시할 수 있다. 수화 인식 장치(100)는 수화자의 손의 모양, 손의 움직임 등이 변경됨에 따라 손 뼈대 이미지(820)를 생성하여 화면에 표시할 수 있다.The sign language recognition apparatus 100 can display a character including the phoneme 430 or the phoneme closest to the sign language activation operation 420 on the screen. Further, the sign language recognition apparatus 100 can display the information 410 currently represented by the listener on the screen. For example, not only the information that the listener wants to represent in text, but also information (410) that can be displayed on the screen to select a representation or to control the device. In addition, the sign language recognition apparatus 100 may extract the shape of the hand in the hand area of the receiver and display the hand skeleton image 820 generated through the thinning process on the screen. The sign language recognition apparatus 100 can generate and display a hand skeleton image 820 on the screen as the hand shape of the handset, the movement of the hand, and the like are changed.

도 8의 (c)화면은 수화자의 지문자 수화 동작을 인식하여 후보로 나열된 단어 중 하나를 결정하는 도면이다. The screen (c) of FIG. 8 is a diagram for recognizing the handwritten character recognition operation of the listener and determining one of the words listed as candidates.

도 4의 (c)화면에 도시된 바와 같이, 수화자는 지문자 1를 나타내는 수화 동작(420)을 취하고 있다. 수화 인식 장치(100)는 수화자의 수화 동작을 인식하여 나열된 단어 중 1번 단어인 "가구"를 텍스트로 변환할 단어로 결정할 수 있다.As shown in the screen (c) of FIG. 4, the signer takes the sign language operation (420) indicating the character 1. The sign language recognition apparatus 100 recognizes the sign language operation of the listener and can determine the word "household ", which is the first word among the listed words, as a word to be converted into text.

수화 인식 장치(100)는 수화자가 선택한 "가구"를 화면에 표시(450)할 수 있다. The sign language recognition apparatus 100 can display (450) the "furniture" selected by the receiver on the screen.

또한, 수화 인식 장치(100)는 텍스트로 결정된 단어를 입력하기 위한 사용자 인터페이스나(460), 취소하기 위한 사용자 인터페이스(470)을 제공할 수 있다.
In addition, the sign language recognition apparatus 100 may provide a user interface 460 for inputting a word determined in text, and a user interface 470 for canceling the word.

도 9는 본 발명의 일 실시예에 따른 지문자 수화 동작이 음절로 인식되는 방법을 도시한다.FIG. 9 shows a method in which a character recognition operation according to an embodiment of the present invention is recognized as a syllable.

도 9(a)는 "곽"이라는 글자가 지문자로 구성되는 예를 도시한다. 도 9의 (a)에 도시된 바와 같이 "곽"이라는 글자는 음소 "ㄱ", "ㅗ", "ㅏ", "ㄱ"으로 구성된다. "ㄱ"에 대응되는 지문자는 초성 위치(910)에서, "ㅗ"에 대응되는 지문자는 첫번째 중성 위치(920)에서, "ㅏ"에 대응되는 지문자는 두번째 중성 위치(930)에서, "ㄱ"에 대응되는 지문자는 종성 위치(930)에서 인식되며, 수화자의 맞은 편에서 지문자가 인식되므로 글자의 좌우가 뒤집어진 모양으로 인식된다.9 (a) shows an example in which the letter "kwaku" is composed of fingerprint characters. As shown in Fig. 9A, the word "kwaku" is composed of phonemes "a "," chi ", "a ", and " a ". The fingerprint corresponding to "a" is read from the initial position 910, the fingerprint corresponding to "ㅗ" is read from the first neutral position 920, the fingerprint corresponding to "a" is read from the second neutral position 930, Is recognized at the end position 930, and since the fingerprint is recognized on the opposite side of the receiver, the left and right sides of the character are recognized as inverted.

도 9의 (b)는 수화자의 수화 동작에 따라 "곽"이라는 지문자가 인식되는 과정을 도시한다.FIG. 9B shows a process of recognizing a fingerprint "KAI" in accordance with the sign language of a sign language.

수화 인식 장치(100)는 수화자의 수화 동작을 차례로 인식함으로써 자음과 모음을 인식할 수 있다. 도 9(b)에 도시된 바와 같이, 수화 인식 장치(100)는 첫번째 동작(950)을 "ㄱ", 두번째 동작(960)을 "ㅗ", 세번째 동작(970)을 "ㅏ", 네번째 동작(980)을 "ㄱ"으로 인식할 수 있으며, 이러한 동작을 차례로 인식하여 "곽"이라는 음절로 인식할 수 있다. 첫번째 "ㄱ"과 마지막 "ㄱ"은 같은 자음이므로 손 모양은 같지만, 동작의 위치가 위, 아래로 상이하므로 초성과 종성으로 구별될 수 있다. The sign language recognition apparatus 100 can recognize consonants and vowels by sequentially recognizing the sign language of the sign language. 9, the sign language identification apparatus 100 sets the first operation 950 to "a", the second operation 960 to "ㅗ", the third operation 970 to "a", the fourth operation (980) can be recognized as "a ", and these operations can be recognized in turn and recognized as a syllable called" Kwak. &Quot; The first "a" and the last "a" are the same consonants, so their hand shapes are the same, but the positions of the movements are different up and down.

도 9의 (c)는 음절의 종류에 따라 (a), (b)와 유사한 방식으로 지문자가 인식되는 방식을 도시한다. 예를 들면, 음절 "가"는 초성과 중성으로만 구성된 음절이며, 수화 인식 장치(100)는 오른쪽에서 초성인 "ㄱ"을 왼쪽에서 중성인 "ㅏ"를 인식함으로써 "가"를 인식할 수 있다. FIG. 9C shows a manner in which a fingerprint is recognized in a manner similar to (a) and (b) according to the kind of a syllable. For example, the syllable "a" is a syllable consisting of only a prefix and a neutral, and the sign recognition apparatus 100 recognizes " a " have.

도 9의 (d)는 쌍자음, 복자음이 인식되는 방식을 도시한다. 도 9의 (d)에 도시된 바와 같이, 수화 인식 장치(100)는 "ㄱ"을 나타내는 지문자(990)를 인식하고, 수화자가 손의 모양을 유지하면서 손을 왼쪽으로 이동시키는 것을 인식하여 쌍자음 "ㄲ"을 인식할 수 있다. 또한, 수화 인식 장치(100)는 "ㄱ"을 나타내는 지문자를 인식하고, 수화자가 손의 모양을 "ㅅ"을 나타내는 지문자(995)로 바꾸면서 손을 왼쪽으로 이동시키는 것을 인식하여 복자음 "ㄱㅅ"을 인식할 수 있다.
FIG. 9 (d) shows a manner in which the twin consonants and the double letters are recognized. As shown in Fig. 9D, the sign language recognition apparatus 100 recognizes the character 990 indicating "a " and recognizes that the handwriting moves the hand to the left while maintaining the shape of the hand The consonant "ㄲ" can be recognized. In addition, the sign language recognizing apparatus 100 recognizes the character indicating "a ", recognizes that the handwriter moves the hand to the left while changing the hand shape to ""

도 10은 본 발명의 일 실시예에 따른 하나의 음절이 생성되는 과정을 도시한다. FIG. 10 illustrates a process of generating one syllable according to an embodiment of the present invention.

수화 인식 장치(100)는 수화자의 연속적인 지문자 동작을 인식하는 중, 수화자의 손의 위치가 바로 이전 동작보다 위 방향으로 이동하는 것을 인식한 경우 또는 수화자의 손의 위치가 미리 정해진 기준선 보다 위 방향으로 이동하는 것을 인식한 경우, 다음 음절의 초성을 나타내는 것으로 결정할 수 있다. The sign language recognition apparatus 100 recognizes that the position of the hand of the recipient moves upward in the direction of the previous operation while recognizing the continuous letter and character movement of the recipient or when the position of the hand of the recipient is above the predetermined reference line Direction, it can be determined to indicate the beginning of the next syllable.

도 10에 도시된 바와 같이, 수화자가 "ㄱ"(1010)을 표현하고, 아래 위치에서"ㅗ"(1020), 더 아래 위치에서 "ㄱ"(1030), 다시 위에서 "ㄱ"(1040)을 차례로 표현한 경우, 수화 인식 장치(100)는 "곡"으로 인식한 후, 마지막 "ㄱ"이 직전에 인식된 "ㄱ"보다 위에 위치해 있으므로, "곡"을 하나의 음절로 인식하고, "ㄱ"을 다른 음절의 시작인 초성으로 인식할 수 있다.
As shown in Fig. 10, the signifier expresses "a" (1010), "ㅗ" (1020) in the lower position, "a" (1030) in the lower position and "a" The sign language recognizing apparatus 100 recognizes the phrase " song "as one syllable since the last" a "is located above the immediately recognized" Can be recognized as a beginning, which is the beginning of another syllable.

도 11은 본 발명의 일 실시예에 따른 지문자를 인식하여 단어를 자동 생성하는 방법의 흐름도를 도시한다.11 is a flowchart of a method for automatically generating a word by recognizing characters according to an embodiment of the present invention.

단계 S1110에서, 수화 인식 장치(100)는 수신한 수화 영상 데이터로부터 손 영역을 검출하고 뼈대를 생성할 수 있다.In step S1110, the sign language recognition apparatus 100 can detect a hand region from the received mature image data and generate a skeleton.

단계 S1120에서, 수화 인식 장치(100)는 검출된 손 영역 및 생성된 뼈대 모양과 가장 유사한 지문자를 손 모양(뼈대) 데이터 베이스로부터 추출할 수 있다.In step S1120, the sign language identification device 100 can extract characters that are most similar to the detected hand region and the generated skeleton from the hand-shaped (skeleton) database.

또한, 수화 인식 장치(100)는 수화자의 손의 윤곽이 변경되었는지 또는 수화자의 손의 위치가 변경되었는지 여부를 판단할 수 있다. Further, the sign language recognition apparatus 100 can determine whether the contour of the hand of the listener has been changed or the position of the hand of the listener has been changed.

S1120 단계에서, 수화자의 손의 윤곽 또는 손의 위치가 변경된 경우, S1130 단계에서, 수화 인식 장치(100)는 변경된 손의 윤곽 또는 손의 위치에 기초하여 자음 또는 모음을 생성할 수 있다. 예를 들어, 수화 인식 장치(100)는 검출된 뼈대 모양 또는 손의 윤곽과 가장 유사한 지문자 수화 모양을 손의 윤곽(뼈대) 데이터베이스로부터 추출하여, 추출된 손의 윤곽에 대응되는 자음 또는 모음을 생성할 수 있다. 또한, 수화 인식 장치(100)는 수화자의 손의 윤곽이 변하지 않더라도 손의 위치가 변경되는 경우, 동일한 음소로 새로운 초성, 중성, 종성 중 하나를 생성할 수 있다. If the outline of the hand or the position of the hand of the handset is changed in step S1120, the sign language recognition apparatus 100 can generate a consonant or a vowel based on the outline of the hand or the position of the hand in step S1130. For example, the sign recognition apparatus 100 extracts the character shape of the character most similar to the detected skeleton or hand contour from the database of the hand's skeleton (skeleton), and extracts a consonant or vowel corresponding to the contour of the extracted hand Can be generated. Further, the sign language recognition apparatus 100 can generate one of the new intonation, neutrality, and extinction with the same phoneme when the position of the hand is changed even if the contour of the hand of the listener does not change.

S1140 단계에서, 수화 인식 장치(100)는 인식된 지문자가 종성인지 여부를 판단할 수 있다. 수화 인식 장치(100)는 생성된 음소가 자음인 경우, 인식된 자음 동작의 위치가 기준위치보다 위쪽이면 초성으로 판단하고, 인식된 자음 동작의 위치가 기준위치 또는 인식된 모음보다 아래쪽이면 종성으로 판단할 수 있다. In step S1140, the sign language recognition apparatus 100 can determine whether the recognized fingerprint is continuity. The sign language recognition apparatus 100 determines that the generated phoneme is a consonant if the recognized consonant operation position is higher than the reference position, and if the recognized consonant operation position is lower than the reference position or the recognized vowel, It can be judged.

S1140 단계에서 인식된 지문자가 종성인 경우, S1150 단계에서, 수화 인식 장치(100)는 인식된 지문자에 기초하여 음절을 생성할 수 있다. 수화 인식 장치(100)는 각각의 음절을 구성하는 음소를 저장하고 있는 한글 음절 라이브러리를 이용하여, 단계 1130에서 생성된 초성, 중성, 종성을 한 음절로 구성할 수 있다.If the fingerprint recognized in step S1140 is the last fingerprint, the sign language recognition apparatus 100 can generate a syllable based on the recognized letter in step S1150. The sign language recognition apparatus 100 can construct the syllable, neutral, and syllable syllables generated in step 1130 using a Hangul syllable library storing phonemes constituting each syllable.

S1160 단계에서, 수화 인식 장치(100)는 생성된 음절을 포함하는 복수의 단어를 추출하여 화면에 표시할 수 있다. 수화 인식 장치(100)는 생성한 음절을 포함하고 있는 적어도 하나의 단어를 단어 데이터베이스로부터 추출하여 화면에 표시할 수 있다. 예를 들면, "건"이라는 음절이 생성된 경우, 수화 인식 장치(100)는 데이터베이스로부터 "건물", "건설", "건전"을 추출하여 화면에 표시할 수 있다. 수화 인식 장치(100)는 복수의 단어를 생성할 수 있으며, 생성된 단어를 데이터베이스에 저장할 수 있다. 수화 인식 장치(100)는 생성한 음절을 포함하고 있는 단어가 존재하지 않으면, 다음 음절을 표시하기 위해 커서를 다음 음절 위치로 이동시킬 수 있다. In step S1160, the sign language recognition apparatus 100 can extract a plurality of words including the generated syllable and display it on the screen. The sign language recognition apparatus 100 can extract at least one word including the generated syllable from the word database and display it on the screen. For example, when a syllable called "gun" is generated, the sign language recognition apparatus 100 can extract "building", "construction", and "sound" from the database and display it on the screen. The sign language recognition apparatus 100 can generate a plurality of words and store the generated words in a database. The sign language recognition apparatus 100 can move the cursor to the next syllable position to display the next syllable if no word containing the generated syllable exists.

수화 인식 장치(100)는 복수의 단어를 생성할 수 있으며, 생성된 단어를 데이터베이스에 저장할 수 있다.
The sign language recognition apparatus 100 can generate a plurality of words and store the generated words in a database.

도 12은 본 발명의 일 실시예에 따른 수화 동작을 인식하여 문장으로 변환하는 방법의 흐름도를 도시한다.12 shows a flowchart of a method of recognizing and converting a sign language operation into a sentence according to an embodiment of the present invention.

단계 1210에서, 수화소 결정부(110)는 수화자의 수화 동작과 매칭되는 수화소를 결정할 수 있다. 예를 들어, 수화소 결정부(110)는 실시간 촬영을 통해 획득된 수화 영상 데이터를 영상 처리하여, 수화자의 수화 동작에 매칭되는 수화소를 결정할 수 있다. In step 1210, the number-of-pixels determining unit 110 can determine a number of pixels that match the hydration operation of the receiver. For example, the number-of-pixels determining unit 110 may image the middleman image data obtained through real-time imaging to determine a number of pixels matched with the middleman's middling operation.

단계 S1220에서, 문자 표시부(120)는 결정된 수화소에 기초하여 단어들을 결정할 수 있다. 문자 표시부(120)는 결정된 수화소로 구성되는 일반적인 수화어를 결정하고, 결정된 수화어에 대응되는 단어를 결정할 수 있다. 또한, 문자 표시부(120)는 앞서 서술된 단어 자동 완성 기능으로 단어들을 결정할 수 있다. 또한, 문자 표시부(120)는 인식된 수화 동작의 앞 뒤 문맥에 기초하여 단어들을 결정할 수 있다. In step S1220, the character display unit 120 can determine words based on the determined number of pixels. The character display unit 120 can determine a general sign language composed of the determined number of pixels and determine a word corresponding to the determined sign language. In addition, the character display unit 120 can determine words using the word automatic completion function described above. In addition, the character display unit 120 can determine words based on the context before and after the recognized sign language operation.

단계 S1230에서, 문자 표시부(120)는 단계 S1220에서 결정된 단어들의 순서의 조합에 기초하여 복수의 문장을 생성할 수 있다. In step S1230, the character display unit 120 can generate a plurality of sentences based on the combination of the order of the words determined in step S1220.

예를 들어, 수화 동작을 인식하여 결정된 단어가 "어제, 방문, 집, 친구, 10시, 서울, 좋다" 라고 가정할 수 있다. 이때, 문자 표시부(120)는 7개의 단어의 순서를 바꾸어 새로운 문장을 생성할 수 있다. 단어의 개수가 n개 라면, 2*3n-1 개의 문장이 생성될 수 있다. For example, it can be assumed that the word determined by recognizing the sign language motion is "yesterday, visit, house, friend, 10:00, Seoul, good". At this time, the character display unit 120 can generate a new sentence by changing the order of the seven words. If the number of words is n, 2 * 3 n-1 sentences can be generated.

문자 표시부(120)는 복수의 단어로 생성된 문장 중 일부 문장을 선택할 수 있다. 예를 들어, 문자 표시부(120)는 한국어의 문법에 맞춰 단어를 나열할 수 있다. 한 문장에 두개의 주어 또는 동사가 존재한다면, 문자 표시부(120)는 수화자의 몸의 방향을 인식하여 주어와 동사를 매칭할 수 있다. 또한, 문자 표시부(120)는 주어와 가까운 동사를 해당 동사에 대한 주어로 선택할 수 있다. 또한, 문자 표시부(120)는 사용자의 선택에 기초하여 단어의 순서 배열을 선택할 수 있다. 따라서, 문자 표시부(120)는 "어제, 10시, 친구, 서울, 집, 방문, 좋다", "어제, 10시, 서울, 친구, 좋은, 집, 방문", "어제, 10시, 친구, 집, 방문, 서울, 좋다" 또는 "어제, 10시, 서울, 친구, 집, 방문, 좋다" 등과 같은 문장을 생성할 수 있다. The character display unit 120 can select some of the sentences generated by a plurality of words. For example, the character display unit 120 can arrange words according to Korean grammar. If there are two subjects or verbs in one sentence, the character display unit 120 recognizes the direction of the body of the listener and can match the subject and the verb. Also, the character display unit 120 can select a verb close to the subject as a subject for the verb. Further, the character display unit 120 can select an order arrangement of words based on the user's selection. Therefore, the character display unit 120 displays a message indicating "yesterday, 10 o'clock, friend, Seoul, home, good," "yesterday, 10 o'clock, House, visit, Seoul, good "or" Yesterday, 10:00, Seoul, friend, house, visit, good ".

또한, 문자 표시부(120)는 선택한 단어 배열을 한국어 문법에 맞는 문장으로 변경할 수 있다. 문자 표시부(120)는 각각의 단어마다 주어, 목적어, 서술어, 보어, 부사어 등을 포함하는 문장 성분을 결정하고, 문장 성분에 맞는 조사를 부가할 수 있다. 예를 들어, 문자 표시부(120)는 "식품 또는 식료품, 물가, 인상하다, 2월" 순서로 인식된 단어를 한국어의 문법에 적합하게 "2 월에 식품 물가가 인상하였다"로 변환할 수 있다. Also, the character display unit 120 can change the selected word array to a sentence matching the Korean grammar. The character display unit 120 can determine a sentence component including a subject, a predicate, a bore, an adjective, and the like for each word, and add a search corresponding to the sentence component. For example, the character display unit 120 can convert a word recognized in the order of "food or foodstuff, water price, impression, February" into "the price of food has risen in February" in accordance with the grammar of Korean .

또한, 문자 표시부(120)는 한국어의 문법뿐만 아니라 현재의 상황 또는 문맥에 적합하게 문장을 변환할 수 있다. 예를 들어, 문자 표시부(120)는 "지불" 또는 "돈을 줌"으로 인식되는 수화 단어를 현재 상황에 적합하게 "나는 너에게 금액을 지불하였다"로 변환할 수 있다. 또한 문자 표시부(120)는 수화 동작에 대응되는 단어로써 "누나", "공부", "힘"을 순서대로 인식한 경우, 문맥에 적합하게 "누나가 공부를 잘하였다"로 변환할 수 있다. In addition, the character display unit 120 can convert not only the Korean grammar but also a sentence suitable for the current situation or context. For example, the character display unit 120 can convert a sign language word recognized as "pay" or "money" to "I paid you money" in accordance with the current situation. Further, when the character display unit 120 recognizes "sister", "study", and "force" as words corresponding to a sign language operation in order, it can convert the phrase "the sister has studied well" in accordance with the context.

또한, 문자 표시부(120)는 동일한 단어 배열에서 문장 유형을 변경하여 복수의 문장을 생성할 수 있다. 문자 표시부(120)는 동일한 단어 배열에서 평서문, 의문문, 명령문, 감탄문 등을 나타내는 어미를 부가하여 복수의 문장을 생성할 수 있다. 예를 들어, 문자 표시부(120)는 수화자의 얼굴 표정을 인식하여 얼굴 표정에 따라 문장 유형을 변경할 수 있다. 예를 들어, 인식된 얼굴 표정이 눈썹을 올리고 고개를 앞으로 내미는 경우 의문문의 형태로 변경할 수 있다. Also, the character display unit 120 can generate a plurality of sentences by changing the sentence type in the same word arrangement. The character display unit 120 can generate a plurality of sentences by appending a word indicating a phrase, a question, a statement, an admonitory, etc. in the same word arrangement. For example, the character display unit 120 recognizes the face expression of the receiver and can change the sentence type according to the facial expression. For example, if a recognized facial expression raises an eyebrow and expands the head forward, it can be changed to a question form.

또한, 문자 표시부(120)는 동일한 단어 배열에서 시제를 변경하여 복수의 문장을 생성할 수 있다. 예를 들어, 문자 표시부(120)는 수화자의 손과 수화자의 몸의 거리에 기초하여 문장의 시제를 결정할 수 있다. Further, the character display unit 120 can generate a plurality of sentences by changing the tense in the same word arrangement. For example, the character display unit 120 can determine the tense of the sentence based on the hand of the listener and the distance of the listener's body.

또한, 문자 표시부(120)는 주어, 목적어, 서술어, 보어의 의미를 관용적으로 하나의 동작으로 나타내는 줄임 수화 동작을 인식하여 국어 문법에 적합한 문장으로 생성할 수 있다. 예를 들어, 문자 표시부(120)는 "사랑하다"라는 수화 단어를 인식하여 "나는 여자를 사랑한다"라는 문장으로 변환할 수 있다. 또한, 문자 표시부(120)는 수화자의 수화 동작이 자동차의 손 모양을 유지하면서 고개를 넘어가는 이동 궤적으로 인식된 경우, "차가 고개를 넘어간다"라고 변환할 수 있다. In addition, the character display unit 120 recognizes the signifying operation to denote the meaning of subject, object, predicate, and bore as one operation and can generate a sentence suitable for the Korean grammar. For example, the character display unit 120 can recognize a sign language word "I love you" and convert it into a sentence "I love a woman ". Further, the character display section 120 can convert the sign language of the listener to "the car goes over the head" when the sign language is recognized as a trajectory moving over the head while keeping the hand shape of the car.

단계 S1240에서, 문자 표시부(120)는 생성된 복수의 문장 및 복수의 문장 각각에 대응함을 나타내는 일련의 문자 또는 숫자를 표시할 수 있다. In step S1240, the character display unit 120 can display a plurality of generated sentences and a series of letters or numbers corresponding to each of the plurality of sentences.

단계 S1250에서, 문자 결정부(130)는 수화자의 수화 동작을 인식할 수 있다.In step S1250, the character determination unit 130 can recognize the sign language operation of the sign language receiver.

단계 S1260에서, 문자 결정부(130)는 인식된 수화 동작에 기초하여, 일련의 문자 또는 숫자 중 하나에 대응하는 문장을 결정할 수 있다.In step S1260, the character determination unit 130 can determine a sentence corresponding to one of a series of letters or numbers based on the recognized sign language.

단계 S1270에서, 문자 결정부(130)는 결정된 문장을 화면에 표시할 수 있다.In step S1270, the character determination unit 130 can display the determined sentence on the screen.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

Claims (15)

수화자의 수화 동작을 인식하는 방법에 있어서,
상기 수화자의 수화 동작에 대응되는, 수화에서 의미의 차이를 발생시키는 시각적 변별 요소인 수화소를 결정하는 단계;
상기 결정된 수화소에 기초하여, 적어도 하나의 문자를 표시하는 단계; 및
상기 적어도 하나의 문자 중 하나를 선택하는 상기 수화자의 수화 동작에 기초하여, 상기 적어도 하나의 문자 중 하나를 결정하는 단계를 포함하는 수화 인식 방법.
A method for recognizing a hydration operation of a listener,
Determining a number of pixels, which is a visual discriminating element that generates a semantic difference in sign language, corresponding to the sign language of the recipient;
Displaying at least one character based on the determined number of pixels; And
And determining one of the at least one character based on a sign language operation of the listener to select one of the at least one character.
제 1 항에 있어서,
상기 수화 인식 방법은,
상기 결정된 문자를 화면에 텍스트로 표시하는 단계를 더 포함하는 수화 인식 방법.
The method according to claim 1,
In the sign language recognition method,
And displaying the determined character on a screen as text.
제 2 항에 있어서,
상기 수화 인식 방법은,
상기 수화자의 수화 동작에 기초하여, 상기 표시된 텍스트에 대하여 편집, 저장 및 전송 중 적어도 하나를 실행하는 단계를 더 포함하는 수화 인식 방법.
3. The method of claim 2,
In the sign language recognition method,
And performing at least one of editing, storing, and transmission for the displayed text based on the sign language of the listener.
제 1 항에 있어서,
상기 적어도 하나의 문자를 표시하는 단계는,
상기 결정된 수화소를 구성 성분으로 하는 적어도 하나의 수화어를 결정하는 단계;
상기 결정된 적어도 하나의 수화어에 대응하는 단어를 표시하는 단계를 포함하는 수화 인식 방법.
The method according to claim 1,
Wherein the displaying of the at least one character comprises:
Determining at least one sign language having the determined number of pixels as a constituent;
And displaying a word corresponding to the determined at least one sign language.
제 1 항에 있어서,
상기 적어도 하나의 문자를 표시하는 단계는,
상기 결정된 적어도 하나의 수화소에 기초하여 지문자를 결정하는 단계;
상기 결정된 지문자에 대응하는 음소를 결정하는 단계;
상기 음소를 포함하는 적어도 하나의 단어를 표시하는 단계를 포함하는 수화 인식 방법.
The method according to claim 1,
Wherein the displaying of the at least one character comprises:
Determining a character based on the determined at least one number of pixels;
Determining a phoneme corresponding to the determined geographical character;
And displaying at least one word including the phoneme.
제 1 항에 있어서,
상기 적어도 하나의 문자를 표시하는 단계는,
상기 결정된 수화소에 기초하여 단어들을 결정하는 단계;
상기 단어들의 순서를 변경하여 복수의 단어 배열을 생성하는 단계;
상기 복수의 단어 배열에서, 단어들에 대한 문장 성분을 결정하여 문장을 생성하는 단계;
상기 생성된 문장의 문장 유형을 변경하여 상기 복수의 단어 배열에 대응하는 복수의 문장을 생성하는 단계;
상기 생성된 복수의 문장을 표시하는 단계를 포함하는 수화 인식 방법.
The method according to claim 1,
Wherein the displaying of the at least one character comprises:
Determining words based on the determined number of pixels;
Generating a plurality of word arrays by changing the order of the words;
Generating a sentence by determining a sentence component for words in the plurality of word arrangements;
Changing a sentence type of the generated sentence to generate a plurality of sentences corresponding to the plurality of word arrangements;
And displaying the generated plurality of sentences.
제 1 항에 있어서,
상기 적어도 하나의 문자를 표시하는 단계는,
상기 적어도 하나의 문자 각각에 대응함을 나타내는 일련의 문자 또는 숫자를 표시하는 것을 포함하고,
상기 적어도 하나의 문자 중 하나를 결정하는 단계는,
상기 수화자의 수화 동작을 인식하는 단계;
상기 인식된 수화 동작에 기초하여 상기 일련의 문자 또는 숫자 중 하나에 대응하는 문자를 결정하는 단계를 포함하는 수화 인식 방법.
The method according to claim 1,
Wherein the displaying of the at least one character comprises:
And displaying a series of letters or numbers that correspond to each of the at least one character,
Wherein determining one of the at least one character comprises:
Recognizing the hydration operation of the listener;
And determining a character corresponding to one of the series of letters or numbers based on the recognized sign language operation.
수화자의 수화 동작을 인식하는 장치에 있어서,
상기 수화자의 수화 동작에 대응되는, 수화에서 의미의 차이를 발생시키는 시각적 변별 요소인 수화소를 결정하는 수화소 결정부;
상기 결정된 수화소에 기초하여, 적어도 하나의 문자를 표시하는 문자 표시부; 및
상기 적어도 하나의 문자 중 하나를 선택하는 상기 수화자의 수화 동작에 기초하여, 상기 적어도 하나의 문자 중 하나를 결정하는 문자 결정부를 포함하는 수화 인식 장치.
An apparatus for recognizing a hydration operation of a hydrator,
A number-of-pixels determining unit that determines a number of pixels, which is a visual discriminating element for generating a difference in meaning in sign language, corresponding to the sign language of the recipient;
A character display unit displaying at least one character based on the determined number of pixels; And
And a character determination unit that determines one of the at least one character based on a sign language operation of the listener to select one of the at least one character.
제 8 항에 있어서,
상기 문자 표시부는,
상기 결정된 문자를 화면에 텍스트로 표시하는 것을 더 포함하는 수화 인식 장치.
9. The method of claim 8,
The character display unit
And displaying the determined character on a screen as text.
제 9 항에 있어서,
상기 문자 표시부는,
상기 수화자의 수화 동작에 기초하여, 상기 표시된 텍스트에 대하여 편집, 저장 및 전송 중 적어도 하나를 실행하는 단계를 더 포함하는 수화 인식 장치.
10. The method of claim 9,
The character display unit
And performing at least one of editing, storing, and transmitting the displayed text based on the sign language of the listener.
제 8 항에 있어서,
상기 문자 표시부는,
상기 결정된 수화소를 구성 성분으로 하는 적어도 하나의 수화어를 결정하고, 상기 결정된 적어도 하나의 수화어에 대응하는 단어를 표시하는 것을 포함하는 수화 인식 장치.
9. The method of claim 8,
The character display unit
Determining at least one sign language having the determined number of pixels as a constituent, and displaying a word corresponding to the determined at least one sign language.
제 8 항에 있어서,
상기 문자 표시부는,
상기 결정된 적어도 하나의 수화소에 기초하여 지문자를 결정하고, 상기 결정된 지문자에 대응하는 음소를 결정하고, 상기 음소를 포함하는 적어도 하나의 단어를 표시하는 것을 포함하는 수화 인식 장치.
9. The method of claim 8,
The character display unit
Determining a character based on the determined at least one number of pixels, determining a phoneme corresponding to the determined character, and displaying at least one word including the phoneme.
제 8 항에 있어서,
상기 문자 표시부는,
상기 결정된 수화소에 기초하여 단어들을 결정하고, 상기 단어들의 순서를 변경하여 복수의 단어 배열을 생성하고, 상기 복수의 단어 배열에서, 단어들에 대한 문장 성분을 결정하여 문장을 생성하고, 상기 생성된 문장의 문장 유형을 변경하여 상기 복수의 단어 배열에 대응하는 복수의 문장을 생성하고, 상기 생성된 복수의 문장을 표시하는 것을 포함하는 수화 인식 장치.
9. The method of claim 8,
The character display unit
Determining a word based on the determined number of pixels, generating a plurality of word arrangements by changing the order of the words, generating a sentence by determining a sentence component for words in the plurality of word arrangements, Generating a plurality of sentences corresponding to the plurality of word arrays by changing the sentence type of the sent sentences, and displaying the generated plurality of sentences.
제 8 항에 있어서,
상기 문자 표시부는,
상기 적어도 하나의 문자 각각에 대응함을 나타내는 일련의 문자 또는 숫자를 표시하는 것을 포함하고,
상기 문자 결정부는,
상기 적어도 하나의 문자 중 하나를 결정하고, 상기 수화자의 수화 동작을 인식하고, 상기 인식된 수화 동작에 기초하여 상기 일련의 문자 또는 숫자 중 하나에 대응하는 문자를 결정하는 것을 포함하는 수화 인식 장치.
9. The method of claim 8,
The character display unit
And displaying a series of letters or numbers that correspond to each of the at least one character,
Wherein the character determination unit
Determining one of the at least one character, recognizing the sign language operation of the listener, and determining a character corresponding to one of the series of characters or numbers based on the recognized sign language operation.
제 1 항 내지 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.8. A computer-readable recording medium on which a program for implementing the method of any one of claims 1 to 7 is recorded.
KR20130124929A 2013-10-18 2013-10-18 Method and apparatus for translation sign language into character KR20150045335A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130124929A KR20150045335A (en) 2013-10-18 2013-10-18 Method and apparatus for translation sign language into character

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130124929A KR20150045335A (en) 2013-10-18 2013-10-18 Method and apparatus for translation sign language into character

Publications (1)

Publication Number Publication Date
KR20150045335A true KR20150045335A (en) 2015-04-28

Family

ID=53037347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130124929A KR20150045335A (en) 2013-10-18 2013-10-18 Method and apparatus for translation sign language into character

Country Status (1)

Country Link
KR (1) KR20150045335A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988037B1 (en) * 2018-05-24 2019-06-11 변재형 Method for providing sign language regognition service for communication between disability and ability
US10474901B2 (en) 2016-05-02 2019-11-12 Electronics And Telecommunications Research Institute Video interpretation apparatus and method
KR102212298B1 (en) 2020-11-09 2021-02-05 주식회사 라젠 Platform system for providing video communication between non disabled and hearing impaired based on artificial intelligence
KR102368233B1 (en) 2021-02-18 2022-03-03 주식회사 라젠 Flatform system for providing video communication based on plug-in and method for providing video communication voting using the same
KR20230001741A (en) * 2021-06-29 2023-01-05 한국전자기술연구원 Method and system for recognizing finger language video in units of syllables based on artificial intelligence

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474901B2 (en) 2016-05-02 2019-11-12 Electronics And Telecommunications Research Institute Video interpretation apparatus and method
KR101988037B1 (en) * 2018-05-24 2019-06-11 변재형 Method for providing sign language regognition service for communication between disability and ability
KR102212298B1 (en) 2020-11-09 2021-02-05 주식회사 라젠 Platform system for providing video communication between non disabled and hearing impaired based on artificial intelligence
KR102368233B1 (en) 2021-02-18 2022-03-03 주식회사 라젠 Flatform system for providing video communication based on plug-in and method for providing video communication voting using the same
KR20230001741A (en) * 2021-06-29 2023-01-05 한국전자기술연구원 Method and system for recognizing finger language video in units of syllables based on artificial intelligence

Similar Documents

Publication Publication Date Title
US20240070405A1 (en) Computer vision based sign language interpreter
CN110288077B (en) Method and related device for synthesizing speaking expression based on artificial intelligence
US20210081056A1 (en) Vpa with integrated object recognition and facial expression recognition
US10395654B2 (en) Text normalization based on a data-driven learning network
EP3469592B1 (en) Emotional text-to-speech learning system
US10733381B2 (en) Natural language processing apparatus, natural language processing method, and recording medium for deducing semantic content of natural language elements based on sign language motion
US20180314689A1 (en) Multi-lingual virtual personal assistant
KR101777807B1 (en) Sign language translator, system and method
US9093072B2 (en) Speech and gesture recognition enhancement
US20210074277A1 (en) Transcription revision interface for speech recognition system
EP3198589A1 (en) Method and apparatus to synthesize voice based on facial structures
KR102167760B1 (en) Sign language analysis Algorithm System using Recognition of Sign Language Motion process and motion tracking pre-trained model
KR20150045335A (en) Method and apparatus for translation sign language into character
US20230082830A1 (en) Method and apparatus for driving digital human, and electronic device
CN110675866A (en) Method, apparatus and computer-readable recording medium for improving at least one semantic unit set
Awada et al. Multimodal interface for elderly people
KR20190121593A (en) Sign language recognition system
Koguchi et al. A mobile command input through vowel lip shape recognition
Dixit et al. Audio to indian and american sign language converter using machine translation and nlp technique
Riad et al. Signsworld; deeping into the silence world and hearing its signs (state of the art)
KR20210073856A (en) Portable sign languauge translator and sign languauge translation method using the same
US20190304454A1 (en) Information providing device, information providing method, and recording medium
Fraiwan et al. A Kinect-based system for Arabic sign language to speech translation
Reddy et al. Indian sign language generation from live audio or text for tamil
CN114663920A (en) Gesture recognition method, device, server and computer readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application