KR101988037B1 - Method for providing sign language regognition service for communication between disability and ability - Google Patents
Method for providing sign language regognition service for communication between disability and ability Download PDFInfo
- Publication number
- KR101988037B1 KR101988037B1 KR1020180058906A KR20180058906A KR101988037B1 KR 101988037 B1 KR101988037 B1 KR 101988037B1 KR 1020180058906 A KR1020180058906 A KR 1020180058906A KR 20180058906 A KR20180058906 A KR 20180058906A KR 101988037 B1 KR101988037 B1 KR 101988037B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- human body
- sign language
- recognizing
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004891 communication Methods 0.000 title claims abstract description 37
- 208000032041 Hearing impaired Diseases 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000006399 behavior Effects 0.000 claims description 51
- 210000002478 hand joint Anatomy 0.000 claims description 19
- 230000001771 impaired effect Effects 0.000 claims description 7
- 210000000746 body region Anatomy 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 208000016354 hearing loss disease Diseases 0.000 claims 2
- 206010047571 Visual impairment Diseases 0.000 claims 1
- 210000001145 finger joint Anatomy 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 claims 1
- 208000029257 vision disease Diseases 0.000 claims 1
- 230000004393 visual impairment Effects 0.000 claims 1
- 210000003857 wrist joint Anatomy 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 206010011878 Deafness Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002411 hand bone Anatomy 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Child & Adolescent Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법에 관한 것으로, 손목과 손관절, 손관절과 손가락 사이의 벡터와 움직임 방향을 이용하여 수화를 해석할 수 있는 방법을 제공한다.The present invention relates to a method for providing a special behavior recognition service for mutual communication between a visual and auditory handicapped person and a public, and a method of analyzing sign language using a vector between a wrist and a hand joint, a hand joint and a finger, to provide.
최근 모바일과 스마트 TV 시장의 증가와 다양한 기기와 스마트 디바이스의 융합으로 인해 스마트 디바이스 장치는 다양한 장소에서 광범위 하게 활용되고 있다. 기존의 수화 인식 시스템은 사용자가 칼라 장갑, 데이터 글러브 등의 특별한 입력 장치와 함께 인식되는 것이 대부분이었으나, 특별한 매체 정보를 이용하면 손의 모양과 움직임 정보를 보다 쉽게 얻을 수 있지만, 사용자가 항상 장갑 등을 휴대하고 다녀야하는 불편함이 생길 수 밖에 없기 때문에, 최근의 연구는 사용자에게 칼라 장갑 등 특별한 매체를 장착하지 않고 인식하는 방법으로 진행되고 있다. With the recent increase in the mobile and smart TV market and the convergence of various devices and smart devices, smart device devices are widely used in various places. Conventional handwriting recognition systems are mostly recognized by a user with special input devices such as color gloves and data gloves. However, when special media information is used, hand shape and motion information can be easily obtained. However, It is inconvenient for the user to carry it with the user. Therefore, the recent research is proceeding as a method of recognizing the user without attaching a special medium such as color gloves.
이때, 양방향으로 수화를 번역하는 장치가 개발되었는데, 이와 관련하여 선행기술인 한국공개특허 제2017-0094668호(2017년08월21일 공개)에는, 마이크를 통해 외부에서 발생되는 음성을 인식하여 상기 음성에 대응하는 수화를 출력하는 과정과 카메라를 통해 감지되는 수화를 인식하여 상기 수화에 대응하는 음성을 출력하는 과정을 독립적으로 수행함으로써, 실시간으로 수화-음성, 음성-수화를 자동으로 번역하는 양방향 수화 번역 장치가 개시되어 있다.In this regard, Korean Patent Laid-Open Publication No. 2017-0094668 (published on Aug. 21, 2017) discloses a device for translating sign language in both directions. In the related art, Korean Unexamined Patent Publication No. 2017-0094668 Outputting the sign language corresponding to the sign language, and outputting the speech corresponding to the sign language, by recognizing the sign language sensed by the camera and performing a process of outputting a voice corresponding to the sign language, thereby realizing bidirectional sign language A translation device is disclosed.
다만, 특별한 매체 정보를 이용하면 수화 인식 시스템은 손의 모양과 움직임 정보를 보다 쉽게 얻을 수 있지만, 사용자가 항상 장갑 등을 휴대하고 다녀야하는 불편함이 생길 수밖에 없고, 최근에는 적외선 센서를 이용한 깊이 카메라가 출시되어, 기존의 칼라 장갑 등 손을 인식하기 위한 매체들이 무의미해지고 있으며, 신경망 등을 이용하는 경우에도 손이 고정되어 움직인다는 전제하에 인식이 가능하므로, 회전 등 다양한 손 모양을 인식하기엔 부적합 하며, 사용자가 사용하기에도 많은 불편함이 발생하고, 손바닥 영역 제거의 경우, 회전에는 자유로우나, 손가락이 붙어 있을 경우, 이를 구분해 내는 것이 기술적으로 많은 자원을 요구하며, 회전에 강건하여 인식할 수 있는 패턴의 수가 한정적이다.However, using the special medium information, the sign language recognition system can easily obtain the shape and motion information of the hand, but it is inconvenient for the user to carry gloves all the time. In recent years, The media for recognizing hands such as the existing color gloves are becoming meaningless and it is not suitable for recognizing various hand shapes such as rotation because it can be recognized based on the assumption that the hands are fixed and moved even when using the neural network, In the case of removing the palm area, it is technically necessary to allocate resources freely or to separate the finger when the finger is attached. The number of patterns is limited.
본 발명의 일 실시예는, 특별한 매체 정보나 고사양의 컴퓨팅 자원 없이도 스마트 단말의 촬영만으로 사람의 각 인체를 구분하고, 손목과 손관절, 손관절과 손가락 방향의 벡터를 각각 추출함으로써 회전과 이동에 강건하게 수화를 인식하여 텍스트로 변환할 수 있으며, 일반인에게 전달하는 것 이외에도 청각장애인, 시각장애인 및 일반인이 모두 함께 이용할 수 있도록 모스부호, 텍스트, 화상 등으로 번역 결과를 출력할 수 있는, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.In one embodiment of the present invention, the human body is distinguished by photographing a smart terminal without special medium information or high-level computing resources, and the vector of the wrist and the hand joint, the hand joint and the finger direction are respectively extracted, It can be robustly recognized and converted into text, and can be used to display the translation results in morse code, text, images, etc., so that the deaf, visually impaired, It is possible to provide a method of providing a special behavior recognition service for mutual communication between the hearing impaired and the general public. It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 카메라를 구동하여 촬영을 시작하고, 사용자의 적어도 하나의 인체부위를 인식하여 사용자가 카메라의 촬영범위 내에 위치하였는지를 확인하는 단계, 사용자가 카메라의 촬영범위 내에 위치하는 경우, 기 설정된 인식영역 내에 사용자의 적어도 하나의 인체부위가 위치하였는지를 순차적으로 확인하는 단계, 적어도 하나의 인체부위 중 손관절을 실시간으로 트래킹하고, 손가락을 실시간으로 감지하여 수화에 대응하는 텍스트로 변환하는 단계, 및 변환된 텍스트를 출력하는 단계를 포함한다.As a technical means for achieving the above technical object, an embodiment of the present invention is a method of driving a camera to start shooting, recognizing at least one human body part of the user, and checking whether the user is located within the shooting range of the camera Sequentially checking whether at least one human body part of the user is located in a predetermined recognition area when the user is located within the shooting range of the camera, sequentially tracking the hand joints of at least one human body part in real time, Detecting in real time and converting the text into text corresponding to sign language, and outputting the converted text.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 특별한 매체 정보나 고사양의 컴퓨팅 자원 없이도 스마트 단말의 촬영만으로 사람의 각 인체를 구분하고, 손목과 손관절, 손관절과 손가락 방향의 벡터를 각각 추출함으로써 회전과 이동에 강건하게 수화를 인식하여 텍스트로 변환할 수 있으며, 일반인에게 전달하는 것 이외에도 청각장애인, 시각장애인 및 일반인이 모두 함께 이용할 수 있도록 모스부호, 텍스트, 화상 등으로 번역 결과를 출력할 수 있다.According to any one of the above-mentioned objects of the present invention, it is possible to divide each human body of a human being only by photographing a smart terminal without special medium information or high-level computing resources, and to divide the human body of the wrist, the hand joint, By extracting, it is possible to recognize the sign language and translate it into text robustly in rotation and movement. In addition to delivering it to the general public, it outputs the translation result as morse code, text, image, etc. so that it can be used by both hearing, can do.
도 1은 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 사용자 단말을 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.FIG. 1 is a diagram for explaining a special behavior recognition service providing system for mutual communication between a visually and auditory-impaired person and an ordinary person according to an embodiment of the present invention.
2 is a block diagram illustrating a user terminal included in the system of FIG.
3 is a view for explaining an embodiment in which a special behavior recognition service for mutual communication between a visually and auditory-impaired person and a general public is implemented according to an embodiment of the present invention.
4 is a diagram illustrating a process in which data is transmitted and received between the respective components included in the special behavior recognition service providing system for the mutual communication between the visual and auditory handicapped persons and the general public according to the embodiment of the present invention.
FIG. 5 is a flowchart illustrating a method of providing a special behavior recognition service for mutual communication between a visually and auditory-impaired person and a general public according to an exemplary embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "including" an element, it is to be understood that the element may include other elements as well as other elements, And does not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다. The terms "about "," substantially ", etc. used to the extent that they are used throughout the specification are used in their numerical value or in close proximity to their numerical values when the manufacturing and material tolerances inherent in the stated meanings are presented, Accurate or absolute numbers are used to help prevent unauthorized exploitation by unauthorized intruders of the referenced disclosure. The word " step (or step) "or" step "does not mean" step for. &Quot;
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. In this specification, the term " part " includes a unit realized by hardware, a unit realized by software, and a unit realized by using both. Further, one unit may be implemented using two or more hardware, or two or more units may be implemented by one hardware.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. In this specification, some of the operations or functions described as being performed by a terminal, a device, or a device may be performed instead in a server connected to the terminal, device, or device. Likewise, some of the operations or functions described as being performed by the server may also be performed in a terminal, device or device connected to the server.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.In this specification, some of the operations or functions described in the mapping or matching with the terminal are used for mapping or matching the unique number of the terminal or the identification information of the individual, which is the identification data of the terminal . ≪ / RTI >
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 시스템(1)은, 사용자 단말(100), 특수행동인식 서비스 제공 서버(300), 대화 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.FIG. 1 is a diagram for explaining a special behavior recognition service providing system for mutual communication between a visually and auditory-impaired person and an ordinary person according to an embodiment of the present invention. Referring to FIG. 1, a system for providing a special behavior recognition service for mutual communication between a visually and auditory-impaired person and a general public includes a
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(100)은 네트워크(200)를 통하여 특수행동인식 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 특수행동인식 서비스 제공 서버(300)는, 네트워크(200)를 통하여 사용자 단말(100), 대화 단말(400)과 연결될 수 있다. 또한, 대화 단말(400)은, 네트워크(200)를 통하여 특수행동인식 서비스 제공 서버(300)와 연결될 수 있다.At this time, the respective components of FIG. 1 are generally connected through a
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network means a connection structure in which information can be exchanged between each node such as a plurality of terminals and servers. Examples of such a network include RF, 3rd Generation Partnership Project (3GPP) network, Long Term A Wide Area Network (WAN), a Wireless Local Area Network (WLAN), a Wide Area Network (WAN), and a Wide Area Network (WAN) , A Personal Area Network (PAN), a Bluetooth network, an NFC network, a satellite broadcast network, an analog broadcast network, a DMB (Digital Multimedia Broadcasting) network, and the like.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.In the following, the term at least one is defined as a term including the singular and plural, and even though the term " at least one " does not exist, it is to be understood that each constituent may exist singly or plurally, It will be self-evident. It is to be noted that the constituent elements may be provided singularly or plurally in various manners depending on the embodiment.
사용자 단말(100)은, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 수화를 인식하여 텍스트로 변환하거나, 텍스트를 인식하여 수화로 변환하거나, 텍스트를 모스부호로 변환하는 사용자의 단말일 수 있다. 이때, 사용자 단말(100)은, 수화를 인식하기 위해 카메라를 구동하고 촬영하는 화면 내에서 얼굴부터 몸통 및 팔을 잇는 선이 촬영시야에 들어오는지를 확인하고, 기준점을 고정한 후 손가락의 방향에 따른 벡터와 회전방향 등에 따라 수화를 인식하고, 이를 텍스트로 변환하거나 모스부호로 변환하여 진동으로 출력하는 단말일 수 있다. 또한, 사용자 단말(100)은 원격지 또는 근거리에 존재하는 대화 단말(400)로 인식한 수화를 전송하기 위하여 특수행동인식 서비스 제공 서버(300) 또는 특수행동인식 서비스 제공 서버(300)와 연동된 서버(미도시)를 경유하여 대화 단말(400)로 텍스트, 모스부호 또는 수화를 촬영한 화면 자체를 전송하는 단말일 수 있다.The
여기서, 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the
특수행동인식 서비스 제공 서버(300)는, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 특수행동인식 서비스 제공 서버(300)는, 사용자 단말(100)로부터 수신한 텍스트나 수화촬영화면 자체 또는 모스부호를 대화 단말(400)로 전송하는 서버일 수 있다. 또한, 특수행동인식 서비스 제공 서버(300)는, 사용자 단말(100)과 대화 단말(400)로부터 수신된 패턴을 학습시켜 빅데이터를 구축하고 데이터를 학습시키는 서버일 수 있다. 이를 위하여, 특수행동인식 서비스 제공 서버(300)는, 빅데이터를 적어도 하나의 정보제공 서버(500) 및 기 저장된 히스토리 로그 데이터를 이용하여 구축하고, 수집, 전처리, 분석 등을 통하여 빅데이터를 분류 및 클러스터링한 후 학습시키는 서버일 수 있다. 또한, 특수행동인식 서비스 제공 서버(300)는, 비정형 데이터인 영상 데이터나 이미지 데이터로부터 식별자를 추출하기 위하여, 영상 데이터 및 이미지 데이터로부터 식별자를 태깅하기 위한 딥러닝 인공신경망 알고리즘을 이용하여 데이터 학습을 진행하는 서버일 수 있다. 그리고, 특수행동인식 서비스 제공 서버(300)는, 학습 결과에 따라 이후 입력되는 영상, 이미지 등으로부터 식별자를 태깅하거나 추출하는 서버일 수 있다. The special behavior recognition
여기서, 특수행동인식 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.Here, the special behavior recognition
대화 단말(400)은, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 사용자의 대화 상대의 단말일 수 있다. 그리고, 대화 단말(400)은, 사용자 단말(100)과 기능은 동일하나, 사용자를 중심으로 설명함으로써 대화 단말(400)로 명명한 것일 뿐이므로, 그 설명은 중복으로 배제하기로 한다.The
여기서, 대화 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 대화 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 대화 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.Here, the
도 2는 도 1의 시스템에 포함된 사용자 단말을 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.FIG. 2 is a block diagram for explaining a user terminal included in the system of FIG. 1, FIG. 3 is a flowchart illustrating a method for implementing a special behavior recognition service for mutual communication between the visually and audibly disabled persons and the general public according to an exemplary embodiment of the present invention Fig. 8 is a view for explaining an embodiment. Fig.
도 2를 참조하면, 사용자 단말(100)은, 확인부(110), 영역부(120), 변환부(130), 출력부(140), 학습부(150)를 포함할 수 있다.2, the
본 발명의 일 실시예에 따른 특수행동인식 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 사용자 단말(100), 대화 단말(400)로 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 사용자 단말(100), 대화 단말(400)은, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 사용자 단말(100), 대화 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.The special behavior recognition
도 2를 참조하면, 확인부(110)는, 카메라를 구동하여 촬영을 시작하고, 사용자의 적어도 하나의 인체부위를 인식하여 사용자가 카메라의 촬영범위 내에 위치하였는지를 확인할 수 있다. 확인부(110)는, 카메라를 구동하여 촬영을 시작하고, 사용자의 적어도 하나의 인체부위를 인식하여 사용자가 카메라의 촬영범위 내에 위치하였는지를 확인할 때, 적어도 하나의 인체부위 중 머리, 좌우팔, 하부몸통이 상하좌우를 잇는 선이 카메라의 촬영범위 내에 위치하는지의 여부를 확인할 수 있다.Referring to FIG. 2, the
영역부(120)는, 사용자가 카메라의 촬영범위 내에 위치하는 경우, 기 설정된 인식영역 내에 사용자의 적어도 하나의 인체부위가 위치하였는지를 순차적으로 확인할 수 있다. 영역부(120)에서 사용자가 카메라의 촬영범위 내에 위치하는 경우, 기 설정된 인식영역 내에 사용자의 적어도 하나의 인체부위가 위치하였는지를 순차적으로 확인할 때, 적어도 하나의 인체부위 중 안면을 인식하는 제 1 단계, 적어도 하나의 인체부위 중 하부 몸통을 인식하는 제 2 단계, 하부 몸통을 중심으로 좌우에 위치한 손가락의 끝점을 인식하는 제 3 단계, 적어도 하나의 인체부위 중 어깨의 좌우 끝점을 인식하는 제 4 단계, 및 어깨의 좌우 끝점과 좌우에 위치한 손가락 끝점을 각각 연결하는 라인의 중심점을 인식하는 제 5 단계를 포함할 수 있다.The
변환부(130)는, 적어도 하나의 인체부위 중 손관절을 실시간으로 트래킹하고, 손가락을 실시간으로 감지하여 수화에 대응하는 텍스트로 변환할 수 있다. 변환부(130)에서 적어도 하나의 인체부위 중 손관절을 실시간으로 트래킹하고, 손가락을 실시간으로 감지하여 수화에 대응하는 텍스트로 변환할 때, 팔꿈치를 인식하여 벡터의 고정점으로 설정하고, 팔꿈치로부터 손관절 방향의 1차 벡터선을 생성하고, 손관절로부터 손가락 방향의 2차 벡터선을 생성할 수 있다. 이때, 2차 벡터선의 회전운동이 발생하는 경우, 운동방향으로의 델타값을 출력할 수 있다. 이때, 사용자 단말(100)의 컴퓨팅 자원 또는 네트워크 자원이 상술한 프로세스를 수행하기가 부족한 경우, 특수행동인식 서비스 제공 서버(300)에서 실행할 수도 있다.The converting
이때, 손의 관절, 즉 손의 뼈대를 검출하는 이유는 기존의 윤곽선(Contour)을 이용한 방식은 애매모호한 손끝을 검출하며, 이를 제거하기 위해 통합과정이 필요한 문제가 있고, 통합과정에 있어 설계를 잘못하면 손 사이가 붙어 있는 경우, 손가락을 구분하기 어렵다는 또 다른 문제를 야기하기 때문에, 손목과 손가락 방향의 벡터를 이용하여 손관절을 고정시키고, 고정시킨 손관절을 기준으로 손가락 방향의 벡터를 생성하는 경우, 손의 회전이나 이동 등을 이하의 방법을 이용하지 않고도 적은 연산으로 짧은 시간 내에 산출할 수 있다.At this time, the reason for detecting the joint of the hand, that is, the hand bone, is that the conventional method using the contour detects ambiguous fingertips and there is a problem that the integration process is necessary to remove the finger, Since it causes another problem that it is difficult to distinguish the fingers when the hand is wrongly attached, the hand joint is fixed using the vector of the wrist and the finger direction, and a vector of the finger direction is generated based on the fixed hand joint The rotation or movement of the hand can be calculated within a short time by a small number of calculations without using the following method.
이때, 신경망(Neural Network)을 이용한 손 모양을 직접 학습시켜 인식하는 방법, 손바닥 영역을 제거하여 후보군을 추출시켜 인식하는 방법, 손의 특징을 추출하여 SVM(Support Vector Machine) 등을 이용하여 학습시키는 방법, 손의 테두리를 펼쳐 손가락을 인식하는 방법 등이 이용될 수도 있으나 이에 한정되는 것은 아니다. 또한, 손 모양을 인식하기 위해 특징 추출을 할 수도 있고, 특징 추출에 사용되는 방법은 손의 뼈대 모양 기반 방법과 깊이 값을 이용한 방법이 이용될 수 있다. 즉, 사용되는 특징으로는 손가락의 개수, 길이, 각도, 손바닥의 크기, 손의 각도 등을 추출하고 이를 인식하는데 이용하여 비교적 수화에 가깝게 인식하는 방법이 이용될 수 있다. 손 모양 인식으로 는 결정 트리(Decision Tree)를 사용할 수 있고, 결정 트리를 만들기 위해 분기점 마다 분할되는 포인트는 SVM을 이용, 사용자가 직접 설정한 결과보다 정확한 분기점을 생성할 수 있다. 또한, 이렇게 생성된 결정 트리를 이용해, 미리 입력된 정보와 비교하여 손 모양을 인식할 수 있다.In this case, the method of recognizing the hand shape by using the neural network, the method of recognizing the candidate group by removing the palm area, extracting the characteristics of the hand, and learning by using SVM (Support Vector Machine) A method of recognizing a finger by unfolding a rim of a hand, and the like may be used, but the present invention is not limited thereto. In addition, feature extraction may be performed to recognize a hand shape, and a method using a skeleton-based method and a depth value may be used for feature extraction. That is, the feature to be used can be a method of extracting the number of fingers, the length, the angle, the size of the palm, the angle of the hand, etc., and recognizing it and relatively recognizing it to the sign language. Decision trees can be used for hand shape recognition. Points that are divided for each branch point to create a decision tree can generate more accurate branch points using the SVM. Further, by using the generated decision tree, the hand shape can be recognized by comparing with the previously input information.
출력부(140)는, 변환된 텍스트를 출력할 수 있다. 이때, 출력부(140)는, 대화가 전달되어야 하는 상대방이 누군지에 따라, 즉, 일반인인지, 시각장애인인지, 청각장애인인지에 따라 텍스트, 모스부호 또는 수화자체를 출력할 것인지를 결정하고 이에 따라 출력할 수 있다.The
학습부(150)는, 출력부(140)에서 변환된 텍스트를 출력한 후, 수화와 변환된 텍스트를 히스토리 로그로 벡터포맷으로 저장하여 학습하고, 적어도 하나의 인체부위 중 손관절을 실시간으로 트래킹하고, 손가락을 실시간으로 감지하여 수화에 대응하는 텍스트로 변환하는 단계를 진행할 때, 기 학습된 패턴과 동일하지 않은 수화는, 유사도가 가장 높은 기 저장된 수화에 대응하는 벡터로 산출될 수 있다.The
한편, 사용자 단말(100)은, 일반인이 청각 장애인에게 텍스트를 전달할 때, 화면을 상하 또는 좌우의 2 개의 영역으로 분할하고, 분할된 제 1 영역에는 자음 및 모음에 대응하는 수화 이미지 또는 영상을 출력하고, 제 2 영역에는 텍스트를 입력하기 위한 자판을 출력하며, 제 1 영역은 자음에 대응하는 수화가 출력되는 자음라인, 모음에 대응하는 수화가 출력되는 모음라인을 포함하고, 자판에 포함된 적어도 하나의 키가 입력되는 경우, 적어도 하나의 키에 대응하는 수화 이미지 또는 영상이 선택되어, 다른 수화 이미지 또는 영상과는 구분되도록 디스플레이될 수 있다. 또한, 사용자 단말(100)은, 일반인이 시각 장애인에게 텍스트를 전달할 때, 자판에 포함된 적어도 하나의 키가 입력되는 경우, 키에 대응하는 모스부호가 진동 또는 소리로 출력될 수 있다.On the other hand, when the general user transmits text to the hearing-impaired person, the
이때, 특수행동인식 서비스 제공 서버(300)는, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시할 수 있고, 전처리된 데이터를 데이터 마이닝(Data Mining)을 포함하는 분석을 실시할 수 있다. 그리고, 특수행동인식 서비스 제공 서버(300)는, 분석된 데이터를 시각화하여 출력할 수 있다. 이때, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행할 수 있다. 물론, 이외에도 다양한 마이닝 방법이 존재할 수 있으며, 수집 및 저장되는 빅데이터의 종류나 이후에 요청될 질의(Query)의 종류에 따라 다르게 마이닝될 수도 있다. At this time, the special behavior recognition
이하, 상술한 도 2의 특수행동인식 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.Hereinafter, an operation process according to the configuration of the special behavior recognition service providing server of FIG. 2 will be described in detail with reference to FIG. It should be apparent, however, that the embodiments are only examples of the various embodiments of the present invention.
도 3a를 참조하면, 우선 장애인 범위를 인식할 때, 범위 내의 움직임 벡터량이 큰 쪽을 우선적으로 인식하고, 안면을 인식한 다음, 하부 몸통을 인식하고, 손가락 끝 점을 인식하며, 어깨 고정점을 인식한 후, 이를 잇는 선의 중심점을 인식하여 초기화를 시작한다. 이때, 실시간 프로그램에서 계속 관리되는 지정영역은 범위 1부터 범위 4까지이고, 장애인과의 수화 번역전 이러한 초기화 과정을 거쳐야 번역이 시작되며, 초기화 작업을 하기 위해서는 왼쪽 빨간색 버튼을 눌러서 시작 하여야 하고 진행이 끝나면 파란색으로 변경된다. 이때, 각 범위와 손가락의 움직임 모양 등은 행동 프로그램내에 벡터형태로 저장되고, 일부 패턴에서 벗어나는 값은 가장 유사한 벡터값으로 산출될 수 있다.Referring to FIG. 3A, when recognizing a range of a disabled person, first, a motion vector having a larger amount of motion vector in a range is preferentially recognized, a face is recognized, a lower body is recognized, a finger tip is recognized, After recognizing, it recognizes the center point of the line connecting it and starts initialization. In this case, the designated area which is continuously managed in the real time program is in the range of 1 to 4, and the translation is started after this initialization process before the sign language translation with the disabled person. In order to perform the initialization operation, When finished, it changes to blue. At this time, each range and the movement pattern of the finger are stored in the form of a vector in the behavior program, and values deviating from some patterns can be calculated as the most similar vector values.
도 3b를 참조하면, 노란색선은, 사람이 허리부터 머리까지 꽉 차있어야하는 범위이고, 파란색선은, 몸통에서 1차 고정점으로 움직임이 있더라도 고정되는 부위(위치변경은 가능)이고, 빨간색 정사각형은, 2차 고정점으로 행동 인지 프로그램의 기준점이고, 빨간색 직사각형은, 번역을 하기위한 부위들의 움직임을 실시간으로 감지하는 위치이며, 빨간색 원형은, 주로 사용하는 손에 대한 관절고정점에 대한 트래킹 기준점이다. 도 3c를 참조하면, 벡터 고정점을 기준으로, 1차 벡터선 및 2차 벡터선을 관절 및 손가락 방향으로 구분함으로써 복잡한 연산이나 고사양의 컴퓨터 자원이 없이도 스마트 단말에서 간단히 수화를 인지할 수 있다.Referring to FIG. 3B, the yellow line is a range in which a person must be full from the waist to the head, the blue line is a fixed portion (position change is possible) even if there is movement from the body to the primary fixing point, The red rectangle is the position to detect the movement of the parts to be translated in real time and the red circle is the tracking reference point for the joint fixation point for the mainly used hand, to be. Referring to FIG. 3C, the first vector line and the second vector line are divided into a joint and a finger direction based on a vector fixed point, so that a sign language can be easily recognized in a smart terminal without complicated computation or high-volume computer resources.
도 3d를 참조하면, 일반인이 타이핑을 하면 상부의 자음과 하부의 모음에 대 디스플레이가 되며 이것을 장애인에게 뒤집어서 보여줄 수 있고, 간격(스페이스바)를 누르면 자음이나 모음칸이 비게되며 건너뛰게 되고, 총 가로에 대한 숫자는 지정하여 칸수를 늘릴수 있으며, 상호간의 비밀수화는 별도로 이미지를 찍어서 입력할 수 있다. 도 3e를 참조하면, 타이핑 모드에서 글자를 입력한 후 엔터를 누르면 점자 모스부호로 바뀌어서 휴대폰 진동모드에서 진동하게 되고, 기본적으로는 신경망이 가장 많은 손의 어느 부위를 가져다 대더라도 느낄수 있으며, 타이핑 후 진동시작시간은 임의로 지정할 수 있고, 장애인이 별도로 의미전달을 할 수는 없으며 일반인의 의미만 전달이 가능하다. 이러한 방법을 이용하여 실제로 도 3f와 같이 수화모드로 일반인 또는 청각 장애인과 대화를 할 수 있게 된다.Referring to FIG. 3D, when the general person types, the consonant and the lower vowel are displayed on the upper vowel and the vowel can be turned over to the disabled person. When the user presses the space bar, the consonant or vowel blank is skipped, You can increase the number of lines by specifying the number of horizontal lines, and you can input the image of each other separately. Referring to FIG. 3E, when a character is input in the typing mode and then the enter key is pressed, the braille morse code is changed to vibrate in the mobile phone vibration mode. Basically, the neural network can feel any part of the hand, The vibration start time can be arbitrarily designated, and it is not possible for the person with a disability to communicate meaning separately, and only the meaning of the public can be transmitted. By using this method, it is possible to communicate with a general person or a hearing-impaired person in the sign language mode as shown in FIG. 3F.
이와 같은 도 2 및 도 3의 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.2 and 3, the method for providing the special behavior recognition service for the mutual communication between the visually impaired person and the general person is described in detail with reference to FIG. 1, The description of the recognition service providing method is omitted because it can be easily deduced from the same or described contents.
도 4는 본 발명의 일 실시예에 따른 도 1의 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.4 is a diagram illustrating a process in which data is transmitted and received between the respective components included in the special behavior recognition service providing system for the mutual communication between the visual and auditory handicapped persons and the general public according to the embodiment of the present invention. Hereinafter, an example of a process of transmitting and receiving data between the respective components will be described with reference to FIG. 4. However, the present invention is not limited to such an embodiment, It is apparent to those skilled in the art that the process of transmitting and receiving data can be changed.
도 4를 참조하면, 특수행동인식 서비스 제공 서버(300)는, 사용자 단말(100)과 대화 단말(400)로 프로그램을 전송하고(S4100), 사용자 단말(100)과 대화 단말(400)에서 설치를 한 후(S4200), 사용자 단말(100)에서 시각장애인의 수화인식, 즉 수화모드로 촬영을 시작하는 경우(S4300), 각 인체부위가 레이아웃 내에 위치하는지를 확인하여 초기화를 진행하고(S4400), 안면, 하부몸통, 어깨 좌우점, 손가락 끝점 등의 순으로 순차적으로 고정점을 인식한 다음(S4500), 손목에서 손관절 사이의 벡터와 손관절과 손가락 방향의 벡터를 나누어 회전, 이동 등에 따라 수화로부터 텍스트로 변환을 시작하고(S4600), 일반인에게 출력할 것인지 전송할 것인지, 청각장애인 또는 시각장애인에게 출력 또는 전송할 것인지에 따라(S4600), 특수행동인식 서비스 제공 서버(300)는, 전송 수단 및 전송 방법을 달리하여 전달하고(S4710, S4720), 텍스트가 입력된 경우(S4800), 텍스트가 전달되어야 하는 상대방에 따라(S4810), 변환을 실시하여(S4820, S4900), 상대방에 출력되도록 제어한다(S4730, S4920).4, the special behavior recognition
상술한 단계들(S4100~S4920)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4920)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.The order between the above-described steps S4100 to S4920 is only an example, but is not limited thereto. That is, the order between the above-described steps S4100 to S4920 may be mutually varied, and some of the steps may be executed or deleted at the same time.
이와 같은 도 4의 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.4, the method of providing the special behavior recognition service for the mutual communication between the visual and auditory handicapped persons and the general public is not described in FIGS. 1 to 3, The description of the recognition service providing method is omitted because it can be easily deduced from the same or described contents.
도 5는 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 사용자 단말은, 카메라를 구동하여 촬영을 시작하고, 사용자의 적어도 하나의 인체부위를 인식하여 사용자가 카메라의 촬영범위 내에 위치하였는지를 확인한다(S5100).FIG. 5 is a flowchart illustrating a method of providing a special behavior recognition service for mutual communication between a visually and auditory-impaired person and a general public according to an exemplary embodiment of the present invention. Referring to FIG. 5, the user terminal starts shooting by driving the camera, recognizes at least one human body part of the user, and confirms whether the user is positioned within the shooting range of the camera (S5100).
그리고, 사용자 단말은, 사용자가 카메라의 촬영범위 내에 위치하는 경우, 기 설정된 인식영역 내에 사용자의 적어도 하나의 인체부위가 위치하였는지를 순차적으로 확인하고(S5200), 적어도 하나의 인체부위 중 손관절을 실시간으로 트래킹하고, 손가락을 실시간으로 감지하여 수화에 대응하는 텍스트로 변환하며(S5300), 및 변환된 텍스트를 출력한다(S5400).When the user is positioned within the shooting range of the camera, the user terminal sequentially checks whether at least one human body part of the user is located within the predetermined recognition area (S5200) The finger is detected in real time and converted into a text corresponding to sign language (S5300), and the converted text is output (S5400).
이와 같은 도 5의 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.The above-described method of providing the special behavior recognition service for the mutual communication between the visual and auditory handicapped person and the general public is described in FIGS. 1 to 4 by using the special behavior for the mutual communication between the visual and auditory handicapped person and the general public The description of the recognition service providing method is omitted because it can be easily deduced from the same or described contents.
도 5를 통해 설명된 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. A method for providing a special behavior recognition service for mutual communication between the visual and auditory handicapped person and the public according to the embodiment described with reference to FIG. 5 includes the steps of: But may also be embodied in the form of a recording medium. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer readable medium may include both computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.The method of providing a special behavior recognition service for mutual communication between the visual and auditory handicapped person and the general public according to an embodiment of the present invention is characterized in that the application installed in the terminal basically includes a program And may be executed by an application (i. E., A program) directly installed on a master terminal by a user via an application providing server, such as an application store server, an application or a web server associated with the service . In this sense, the method for providing a special behavior recognition service for mutual communication between the visually and auditory-impaired persons and the general public according to the embodiment of the present invention is basically installed in the terminal or installed as an application And may be recorded on a computer readable recording medium, such as a terminal.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
Claims (7)
카메라를 구동하여 촬영을 시작하고, 사용자의 적어도 하나의 인체부위를 인식하여 사용자가 카메라의 촬영범위 내에 위치하였는지를 확인하는 단계;
상기 사용자가 카메라의 촬영범위 내에 위치하는 경우, 기 설정된 인식영역 내에 상기 사용자의 적어도 하나의 인체부위가 위치하였는지를 순차적으로 확인하는 단계;
상기 적어도 하나의 인체부위 중 손관절을 실시간으로 트래킹하여 손가락을 실시간 감지하는 단계;
상기 손가락을 실시간 감지한 결과를, 사용자의 수화에 대응하는 텍스트로 변환하는 단계; 및
상기 변환된 텍스트를 출력하는 단계를 포함하고,
상기 손가락을 실시간 감지하는 단계는,
팔꿈치를 인식하여 상기 팔꿈치를 벡터의 고정점으로 설정하는 단계;
상기 팔꿈치로부터 상기 적어도 하나의 인체부위 중 손목관절 및 상기 손관절의 방향으로 1차 벡터선을 생성하는 단계; 및
상기 손관절을 고정시킨 후 고정시킨 상기 손관절을 기준으로 손가락 방향의 2차 벡터선을 생성하는 단계를 포함하며,
상기 2차 벡터선의 회전운동이 발생하는 경우에 운동방향으로의 델타값을 출력하는 것을 특징으로 하고,
상기 손가락을 실시간 감지하는 단계는,
손가락의 개수, 길이, 각도, 손바닥의 크기 및 손의 각도 중 적어도 하나를 추출하여 손 모양을 인식하는 단계를 포함하고,
상기 손 모양을 인식하는 단계는,
결정 트리(Decision Tree) 알고리즘이 적용되고, SVM(Support Vector Machine)을 이용하여 상기 결정 트리의 분기점마다 분할되는 포인트를 생성하여 미리 입력된 정보와 비교하여 손 모양을 인식하는 단계를 포함하며,
일반인과 청각 장애인 간의 비밀 수화는 별도 이미지를 촬영하여 입력 가능하고, 타이핑 모드에서 글자를 입력한 후 엔터를 누르면 점자 모스 부호로 변경되어 휴대폰 진동 모드로 동작하며, 타이핑 후 진동 시작 시간은 임의로 지정 가능한
시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법.
A method for providing a special behavior recognition service executed in a user terminal,
Driving the camera to start shooting, recognizing at least one human body part of the user, and confirming whether the user is within the shooting range of the camera;
Sequentially confirming whether at least one human body part of the user is positioned within a predetermined recognition area when the user is located within the shooting range of the camera;
Monitoring the finger joints in real time by tracking the hand joints of the at least one human body region in real time;
Converting the result of real-time sensing of the finger into a text corresponding to the sign language of the user; And
And outputting the converted text,
The step of sensing the finger real-
Recognizing the elbow and setting the elbow as a fixed point of the vector;
Generating a first vector line from the elbow in the direction of the wrist joint and the hand joint of the at least one human body part; And
Generating a second vector line in the finger direction based on the hand joint fixed and fixed to the hand joint,
And outputs a delta value in the direction of motion when rotational motion of the secondary vector line occurs,
The step of sensing the finger real-
Extracting at least one of the number of fingers, the length, the angle, the size of the palm, and the angle of the hand to recognize the shape of the hand,
The step of recognizing the hand shape comprises:
Determining a hand shape by applying a Decision Tree algorithm and generating points to be divided for each branch point of the decision tree using a SVM (Support Vector Machine) and comparing the points with previously input information,
The secret sign language between the general person and the hearing impaired can be input by capturing a separate image. After inputting a character in the typing mode, the character is changed into a braille morse code by pressing the enter key, and operates in the mobile phone vibration mode.
A method of providing a special behavior recognition service for the mutual communication between the visually and hearing - impaired people and the general public.
상기 사용자 단말은,
일반인이 청각 장애인에게 텍스트를 전달할 때, 화면을 상하 또는 좌우의 2 개의 영역으로 분할하고, 상기 분할된 제 1 영역에는 자음 및 모음에 대응하는 수화 이미지 또는 영상을 출력하고, 제 2 영역에는 텍스트를 입력하기 위한 자판을 출력하며,
상기 제 1 영역은 자음에 대응하는 수화가 출력되는 자음라인, 모음에 대응하는 수화가 출력되는 모음라인을 포함하고,
상기 자판에 포함된 적어도 하나의 키가 입력되는 경우, 상기 적어도 하나의 키에 대응하는 수화 이미지 또는 영상이 선택되어, 다른 수화 이미지 또는 영상과는 구분되도록 디스플레이되는
시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법.
The method according to claim 1,
The user terminal comprises:
When a general person delivers text to a person with a hearing impairment, the screen is divided into two areas of up and down or left and right, a sign language image or image corresponding to consonant and vowel is output to the divided first area, Outputting a keyboard for inputting,
Wherein the first area includes a consonant line for outputting a sign corresponding to a consonant and a vowel line for outputting a sign corresponding to the vowel,
When at least one key included in the keyboard is input, a sign language image or an image corresponding to the at least one key is selected and displayed so as to be distinguished from other sign language images or images
A method of providing a special behavior recognition service for the mutual communication between the visually and hearing - impaired people and the general public.
상기 사용자 단말은,
일반인이 시각 장애인에게 텍스트를 전달할 때, 자판에 포함된 적어도 하나의 키가 입력되는 경우, 상기 키에 대응하는 모스부호가 진동 또는 소리로 출력되는 것인, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법.
The method according to claim 1,
The user terminal comprises:
A mutual communication between a person with visual impairment and a person with a hearing impairment, in which a morse code corresponding to the key is outputted by vibration or sound when a general person transmits text to a visually impaired person and at least one key included in the keyboard is inputted, A method of providing a special behavior recognition service for a user.
상기 카메라를 구동하여 촬영을 시작하고, 사용자의 적어도 하나의 인체부위를 인식하여 사용자가 카메라의 촬영범위 내에 위치하였는지를 확인하는 단계는,
상기 적어도 하나의 인체부위 중 머리, 좌우팔, 하부몸통이 상하좌우를 잇는 선이 상기 카메라의 촬영범위 내에 위치하는지의 여부를 확인하는 단계;
를 포함하는 것인, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법.
The method according to claim 1,
The step of driving the camera to start photographing, recognizing at least one human body part of the user and confirming whether the user is located within the photographing range of the camera,
Confirming whether or not a line connecting the head, left and right arms, and lower body of the at least one human body portion is located within an imaging range of the camera;
And a method for providing a special behavior recognition service for mutual communication between the visual and auditory handicapped and the general public.
상기 사용자가 카메라의 촬영범위 내에 위치하는 경우, 기 설정된 인식영역 내에 상기 사용자의 적어도 하나의 인체부위가 위치하였는지를 순차적으로 확인하는 단계는,
상기 적어도 하나의 인체부위 중 안면을 인식하는 제 1 단계;
상기 적어도 하나의 인체부위 중 하부 몸통을 인식하는 제 2 단계;
상기 하부 몸통을 중심으로 좌우에 위치한 손가락의 끝점을 인식하는 제 3 단계;
상기 적어도 하나의 인체부위 중 어깨의 좌우 끝점을 인식하는 제 4 단계;
상기 어깨의 좌우 끝점과 상기 좌우에 위치한 손가락 끝점을 각각 연결하는 라인의 중심점을 인식하는 제 5 단계;
를 포함하는 것인, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법.
The method according to claim 1,
Sequentially confirming whether at least one human body part of the user is positioned within a predetermined recognition area when the user is located within the shooting range of the camera,
A first step of recognizing the face of the at least one human body part;
A second step of recognizing a lower body of the at least one human body part;
A third step of recognizing the end points of the fingers located on the left and right around the lower body;
A fourth step of recognizing left and right end points of the shoulder among the at least one human body part;
A fifth step of recognizing a center point of a line connecting the left and right end points of the shoulder and the left and right finger end points, respectively;
And a method for providing a special behavior recognition service for mutual communication between the visual and auditory handicapped and the general public.
상기 변환된 텍스트를 출력하는 단계 이후에,
상기 수화와 변환된 텍스트를 히스토리 로그로 벡터포맷으로 저장하여 학습하는 단계;
를 더 포함하고,
상기 적어도 하나의 인체부위 중 손관절을 실시간으로 트래킹하고, 손가락을 실시간으로 감지하여 수화에 대응하는 텍스트로 변환하는 단계를 진행할 때, 기 학습된 패턴과 동일하지 않은 수화는, 유사도가 가장 높은 기 저장된 수화에 대응하는 벡터로 산출되는 것인, 시각 및 청각 장애인과 일반인 간의 상호소통을 위한 특수행동인식 서비스 제공 방법.The method according to claim 1,
After the step of outputting the converted text,
Storing the sign language and converted text as a history log in a vector format and learning;
Further comprising:
When the hand joints of the at least one human body region are tracked in real time and the finger is detected in real time and converted into a text corresponding to sign language, the sign language, which is not the same as the learned pattern, Wherein the vector corresponding to the stored sign language is calculated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180058906A KR101988037B1 (en) | 2018-05-24 | 2018-05-24 | Method for providing sign language regognition service for communication between disability and ability |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180058906A KR101988037B1 (en) | 2018-05-24 | 2018-05-24 | Method for providing sign language regognition service for communication between disability and ability |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101988037B1 true KR101988037B1 (en) | 2019-06-11 |
Family
ID=66846898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180058906A KR101988037B1 (en) | 2018-05-24 | 2018-05-24 | Method for providing sign language regognition service for communication between disability and ability |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101988037B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110954893A (en) * | 2019-12-23 | 2020-04-03 | 山东师范大学 | Method and system for identifying wall rear action based on wireless router |
| KR20210018028A (en) * | 2019-08-05 | 2021-02-17 | 금오공과대학교 산학협력단 | Handwriting and arm movement learning-based sign language translation system and method |
| KR20210068970A (en) | 2019-12-02 | 2021-06-10 | 이우준 | System for providing navigation service for visually impaired person |
| KR20210079162A (en) * | 2019-12-19 | 2021-06-29 | 이우준 | System sign for providing language translation service for the hearing impaired person |
| CN113591712A (en) * | 2021-07-30 | 2021-11-02 | 天津市府易科技股份有限公司 | AI identification-based user abnormal behavior identification method and device |
| KR20220097673A (en) * | 2020-12-30 | 2022-07-08 | 주식회사 솔트룩스 | Sing language recognition method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130106235A (en) * | 2012-03-19 | 2013-09-27 | 한국전자통신연구원 | Communication apparatus for hearing impaired persons |
| KR20150045335A (en) * | 2013-10-18 | 2015-04-28 | 삼성전자주식회사 | Method and apparatus for translation sign language into character |
| KR101777807B1 (en) * | 2015-03-12 | 2017-09-12 | 주식회사 디지털스케치 | Sign language translator, system and method |
-
2018
- 2018-05-24 KR KR1020180058906A patent/KR101988037B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130106235A (en) * | 2012-03-19 | 2013-09-27 | 한국전자통신연구원 | Communication apparatus for hearing impaired persons |
| KR20150045335A (en) * | 2013-10-18 | 2015-04-28 | 삼성전자주식회사 | Method and apparatus for translation sign language into character |
| KR101777807B1 (en) * | 2015-03-12 | 2017-09-12 | 주식회사 디지털스케치 | Sign language translator, system and method |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210018028A (en) * | 2019-08-05 | 2021-02-17 | 금오공과대학교 산학협력단 | Handwriting and arm movement learning-based sign language translation system and method |
| KR20210068970A (en) | 2019-12-02 | 2021-06-10 | 이우준 | System for providing navigation service for visually impaired person |
| KR20210079162A (en) * | 2019-12-19 | 2021-06-29 | 이우준 | System sign for providing language translation service for the hearing impaired person |
| KR102314710B1 (en) | 2019-12-19 | 2021-10-19 | 이우준 | System sign for providing language translation service for the hearing impaired person |
| CN110954893A (en) * | 2019-12-23 | 2020-04-03 | 山东师范大学 | Method and system for identifying wall rear action based on wireless router |
| KR20220097673A (en) * | 2020-12-30 | 2022-07-08 | 주식회사 솔트룩스 | Sing language recognition method |
| KR102550750B1 (en) * | 2020-12-30 | 2023-07-04 | 주식회사 솔트룩스 | Sing language recognition method |
| CN113591712A (en) * | 2021-07-30 | 2021-11-02 | 天津市府易科技股份有限公司 | AI identification-based user abnormal behavior identification method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101988037B1 (en) | Method for providing sign language regognition service for communication between disability and ability | |
| KR101777807B1 (en) | Sign language translator, system and method | |
| CN108427910B (en) | Deep neural network AR sign language translation learning method, client and server | |
| KR20170094668A (en) | Duplex sign language translation apparatus and the apparatus for performing the duplex sign language translation method | |
| Alsaadi | Study on most popular behavioral biometrics, advantages, disadvantages and recent applications: A review | |
| CN106097835B (en) | Deaf-mute communication intelligent auxiliary system and communication method | |
| CN115239675A (en) | Training method of classification model, image classification method and device, equipment and medium | |
| Aujeszky et al. | A gesture recogintion architecture for Arabic sign language communication system | |
| CN113723327A (en) | Real-time Chinese sign language recognition interactive system based on deep learning | |
| Kumar et al. | Artificial Intelligence Solutions for the Visually Impaired: A Review | |
| CN108510988A (en) | Language identification system and method for deaf-mutes | |
| Khan et al. | A sign language to text converter using leap motion | |
| CN112256827A (en) | Sign language translation method and device, computer equipment and storage medium | |
| CN111539408A (en) | Intelligent point reading scheme based on photographing and object recognizing | |
| Merugu et al. | A review of some assistive tools and their limitations | |
| CN111611812B (en) | Translation to Braille | |
| Shahira et al. | Assistive technologies for visual, hearing, and speech impairments: Machine learning and deep learning solutions | |
| Sinha | Indian sign language (ISL) biometrics for hearing and speech impaired persons: review and recommendation | |
| Merugu et al. | A review of some assistive tools and their limitations for visually impaired | |
| Jamdal et al. | On design and implementation of a sign-to-speech/text system | |
| CN114067362A (en) | Sign language recognition method, device, equipment and medium based on neural network model | |
| KR102224985B1 (en) | System and method for recognition acquaintance by wearable glass device | |
| Raja et al. | A Peculiar Reading System for Blind People using OCR Technology | |
| Cabutaje et al. | Ano Raw: A Deep Learning Based Approach to Transliterating the Filipino Sign Language | |
| Dias et al. | SignEnd: An Indian Sign Language Assistant |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |