KR20140113780A - 스마트 안경 및 이의 번역 방법 - Google Patents

스마트 안경 및 이의 번역 방법 Download PDF

Info

Publication number
KR20140113780A
KR20140113780A KR1020130026917A KR20130026917A KR20140113780A KR 20140113780 A KR20140113780 A KR 20140113780A KR 1020130026917 A KR1020130026917 A KR 1020130026917A KR 20130026917 A KR20130026917 A KR 20130026917A KR 20140113780 A KR20140113780 A KR 20140113780A
Authority
KR
South Korea
Prior art keywords
word
sentence
pointer
translation
extracts
Prior art date
Application number
KR1020130026917A
Other languages
English (en)
Inventor
조인휘
홍석준
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130026917A priority Critical patent/KR20140113780A/ko
Publication of KR20140113780A publication Critical patent/KR20140113780A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/001—Constructions of non-optical parts specially adapted for particular purposes, not otherwise provided for or not fully classifiable according to technical characteristics, e.g. therapeutic glasses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

스마트 안경 및 이의 번역 방법이 개시된다. 개시된 스마트 안경은 스마트 안경에 있어서, 번역 대상과 함께 존재하는 하나 이상의 포인터 객체를 촬상하는 촬상부; 상기 촬상된 영상에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하거나 또는 상기 하나 이상의 포인터 객체에 의해 지정된 영역에 위치하는 단어 또는 문장을 추출하는 추출부; 및 상기 추출된 단어 또는 문장에 대한 번역 결과를 표시하는 표시부;를 포함한다. 본 발명에 따르면, 외국어로 된 서적이나 논문과 같이 긴 글을 읽게 되는 상황에서도 사용자에게 정확하고 신속한 번역 결과를 제공할 수 있는 장점이 있다.

Description

스마트 안경 및 이의 번역 방법{SMART GLASSES AND ITS TRANSLATION METHOD}
본 발명의 실시예들은 스마트 안경 및 이의 번역 방법에 관한 것으로서, 더욱 상세하게는 외국어로 된 서적이나 논문과 같이 긴 글을 읽게 되는 상황에서도 사용자에게 정확하고 신속한 번역 결과를 제공할 수 있는 스마트 안경 및 이의 번역 방법에 관한 것이다.
영어 독해 실력이 부족한 사람의 경우, 긴 글의 원서를 읽기 위해서는 영어 단어를 수시로 검색해야 하는 불편함이 존재한다.
이러한 불편함을 해소하기 위해, 현재 스마트폰 애플리케이션 중에는 사용자가 스마트폰에 내장된 카메라를 통하여 원하는 지점에 초점을 맞추면, 해당 지점의 단어를 자동으로 검색하여 스마트폰의 화면으로 표시해주는 애플리케이션이 존재한다.
그러나, 이러한 애플리케이션을 활용하는 경우에도, 사용자가 긴 글을 읽어야 하는 상황에서는 지속적으로 해당 단어를 찾아 카메라의 초점을 맞추어야 하는 불편함이 존재한다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 외국어로 된 서적이나 논문과 같이 긴 글을 읽게 되는 상황에서도 사용자에게 정확하고 신속한 번역 결과를 제공할 수 있는 스마트 안경 및 이의 번역 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 스마트 안경에 있어서, 번역 대상과 함께 존재하는 하나 이상의 포인터 객체를 촬상하는 촬상부; 상기 촬상된 영상에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하거나 또는 상기 하나 이상의 포인터 객체에 의해 지정된 영역에 위치하는 단어 또는 문장을 추출하는 추출부; 및 상기 추출된 단어 또는 문장에 대한 번역 결과를 표시하는 표시부;를 포함하는 것을 특징으로 하는 스마트 안경이 제공된다.
상기 추출부는 상기 하나 이상의 포인터 객체의 끝점을 인식하고, 인식된 지점으로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출할 수 있다.
상기 추출부는 상기 번역 대상에서 상기 하나 이상의 포인터 객체가 소정의 시간 이상 정지해 있는 경우, 상기 촬상된 영상에서 상기 단어 또는 문장을 추출할 수 있다.
상기 추출부는 상기 번역 대상 상에서 이동하는 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출할 수 있다.
상기 추출부는 상기 영상에서 상기 번역 대상에 그어진 밑줄을 인식하고, 상기 밑줄이 그어진 단어 또는 문장 중에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출할 수 있다.
상기 추출부는 상기 영상에서 둘 이상의 포인터 객체의 끝점을 인식하고, 상기 인식된 둘 이상의 끝점을 지나는 가상의 닫힌 영역 내에 위치하는 단어 또는 문장을 추출할 수 있다.
상기 추출부는 상기 인식된 둘 이상의 끝점을 꼭짓점으로 하는 가상의 영역 내에 위치하는 단어 또는 문장을 추출할 수 있다.
상기 추출부는 상기 영상에서 둘 이상의 포인터 객체에 의해 형성되는 가상의 닫힌 영역을 인식하고, 상기 가상의 닫힌 영역 내에 위치하는 단어 또는 문장을 추출할 수 있다.
상기 추출부는 상기 하나 이상의 포인터 객체에 의해 지정된 영역 및 상기 지정된 영역의 주변 영역에 포함된 단어 또는 문장을 추출할 수 있다.
상기 추출된 단어 또는 문장에 관한 정보를 번역 장치로 전송하고, 상기 번역 장치로부터 상기 번역 결과를 수신하는 통신부;를 더 포함할 수 있다.
상기 하나 이상의 포인터 객체는 사용자의 손가락, 터치펜, 또는 필기도구일 수 있다.
상기 임계 거리는 상기 번역 대상의 텍스트 줄 간격에 기초하여 설정될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 스마트 안경의 번역 방법에 있어서, 번역 대상과 함께 존재하는 하나 이상의 포인터 객체를 촬상하는 단계; 상기 촬상된 영상에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하거나 또는 상기 하나 이상의 포인터 객체에 의해 지정된 영역에 위치하는 단어 또는 문장을 추출하는 단계; 및 상기 추출된 단어 또는 문장에 대한 번역 결과를 표시하는 단계;를 포함하는 것을 특징으로 하는 스마트 안경의 번역 방법이 제공된다.
본 발명에 따르면, 외국어로 된 서적이나 논문과 같이 긴 글을 읽게 되는 상황에서도 사용자에게 정확하고 신속한 번역 결과를 제공할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 안경을 통하여 번역을 원하는 지점의 단어에 대한 번역 결과가 사용자에게 제공되는 상태에 관한 모식도를 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 안경의 상세한 구성을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 안경의 번역 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 스마트 안경을 통하여 번역을 원하는 지점의 단어에 대한 번역 결과가 사용자에게 제공되는 상태에 관한 모식도를 도시하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스마트 안경(100)을 통하여 번역을 원하는 지점의 단어에 대한 번역 결과가 사용자에게 제공되는 상태에 관한 모식도를 도시하는 도면이다.
도 1에 도시된 바와 같이, 사용자는 자신의 손가락과 같은 포인터 객체를 이용하여 번역의 대상이 되는 문서상에서 번역을 원하는 지점을 가리키게 되며, 스마트 안경(100)은 해당 지점에 위치하는 단어에 대한 번역 결과를 표시부(140)를 통해 사용자에게 제공한다.
이를 위해, 스마트 안경(100)은 번역 대상 문서상 존재하는 포인터 객체의 끝점을 인식하기 위한 모듈(미도시), 및 포인터 객체의 끝점이 인식된 지점에 위치하는 단어 또는 문장을 추출하기 위한 모듈(미도시)을 포함할 수 있으며, 인식 결과는 단말장치로 제공되어 전자사전 DB에서 검색되게 된다.
즉, 스마트폰과 같은 단말장치는 자체 전자사전 DB를 갖고 있거나, 웹에 접속하여 검색할 수 있으므로, 이러한 점을 이용하여, 스마트 안경(100)은 번역 대상 문서에서 사용자가 가리키는 지점의 단어 정보를 추출하여 단말장치로 제공하고, 추출된 단어에 대한 번역 결과를 단말장치로부터 제공받는다.
상기의 포인터 객체의 끝점을 인식하기 위한 모듈(미도시), 및 인식된 지점에 위치하는 단어 또는 문장을 추출하기 위한 모듈(미도시)은 본 발명에서 추출부(120)에 의해 수행되는 것으로 가정하기로 한다.
그러나, 이에 한정되는 것은 아니며, 이러한 모듈들은 애플리케이션 형태로 단말장치, 즉, 스마트폰에서 동작할 수도 있다. 이 경우, 스마트 안경(100)은 번역 대상 문서상 포인터 객체에 대한 영상만을 단말장치(10)로 제공하게 되며, 포인터 객체의 끝점을 인식 및 인식된 지점에서의 단어를 추출하는 단말장치(10)로부터 해당 단어에 대한 번역 결과를 제공받을 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 스마트 안경(100)은 단말장치(10)와의 연동 없이 자체적으로, 전자사전 DB나, 웹 접속 모듈(미도시)을 포함할 수도 있으며, 이 경우, 스마트 안경(100)은 앞서 설명한 두 모듈, 즉, 포인터 객체의 끝점을 인식하기 위한 모듈(미도시), 및 인식된 지점에 위치하는 단어 또는 문장을 추출하기 위한 모듈(미도시)로부터 번역할 단어 또는 문장을 선택하게 되고, 내장된 전자사전 DB나, 웹 접속 모듈(미도시)을 통하여 자체적으로 해당 단어에 대한 번역 결과를 생성 및 사용자에게 제공할 수도 있다.
한편, 도 1에는 도시되지 아니하였으나, 사용자가 번역을 원하는 지점은 한 손의 손가락 끝으로 가리키는 방식뿐만 아니라, 두 손을 이용하여 영역을 지정하는 방식으로도 정의될 수 있다.
일례로, 사용자는 양 손의 엄지와 검지를 이용하여 번역을 원하는 영역을 네모 또는 박스로 표시할 수 있다. 또는 사용자는 양 손으로 괄호를 만들고 괄호 내에 번역을 원하는 영역이 포함되도록 할 수 있다. 이때, 네모나 박스는 영상에서 양 손의 엄지와 검지로 형성되는 닫힌 영역일 수도 있으나, 반드시 이에 한정될 필요는 없으며, 엄지나 검지로부터 나오는 가상의 연장선에 의해 형성되는 닫힌 영역일 수도 있다.
또한, 사용자는 양 손의 검지만을 이용하여 번역을 원하는 영역을 지정할 수도 있으며, 이 경우, 영상에서 양 손의 검지의 끝점에 해당하는 지점을 지나는 가상의 페곡선이 번역 대상 영역으로 지정될 수 있다. 일례로, 양 손의 검지의 끝점에 해당하는 두 지점을 꼭짓점으로 하는 가상의 영역이 번역 대상 영역으로 지정될 수 있다.
요컨대, 사용자는 둘 이상의 포인터 객체를 이용하여 번역을 원하는 영역을 지정할 수 있으며, 스마트 안경(100)은 해당 영역 내에 위치하는 단어 또는 문장에 대한 번역 결과를 표시부(140)를 통해 사용자에게 제공할 수 있다.
이 경우, 스마트 안경(100)은 하나 이상의 포인터 객체에 의해 지정된 영역을 인식하기 위한 모듈(미도시), 및 지정된 영역 내에 위치하는 단어 또는 문장을 추출하기 위한 모듈(미도시)을 포함할 수 있으며, 이러한 모듈들도 본 발명에서 추출부(120)에 의해 수행되는 것으로 가정할 수 있다.
한편, 본 발명에 따르면 둘 이상의 포인터 객체에 의해 지정된 영역에 포함되지 않은 단어 또는 문장에 대해서도 번역이 이루어질 수 있다. 본 발명에 따른 스마트 안경(100)은 스마트 안경(100)에 포함된 카메라를 통해 스마트 안경 사용자의 전방에 대한 영상을 입력받는데, 스마트 안경(100) 사용자는 자신의 시점으로 번역 영역을 지정할 수 있다. 즉, 카메라의 시점과 사용자의 시점 또는 해상도에 차이가 발생할 수 있으며, 사용자의 의도와 달리, 번역을 원하는 단어 또는 문장이 포인터 객체에 의해 지정된 영역에 모두 포함되지 않을 수 있다.
따라서 본 발명에 따른 스마트 안경(100)은 입력된 스마트 안경 사용자의 전방에 대한 영상으로부터 포인터 객체를 인식하고, 포인터 객체에 의해 지정된 영역 뿐만 아니라 지정된 영역의 주변 영역도 번역 영역으로 설정할 수 있다. 결국, 포인터 객체에 의해 지정된 영역 및 지정된 영역의 주변 영역에 포함된 번역 대상에 대한 번역 결과가 스마트 안경(100)에 표시될 수 있다.
이때, 번역 대상으로 되는 주변 영역은 카메라 시점과 사용자 시점의 차이로부터 비롯된다는 점에서, 각각의 시점에 관련된 변수인 카메라와 번역 대상 사이의 거리, 포인터 객체와 번역 대상 사이의 거리, 사용자의 양안 사이의 거리 등에 기초하여 결정될 수 있다.
물론 스마트 안경(100) 사용자는 카메라를 통해 입력되는 영상을 기준으로 번역 영역을 지정할 수도 있다. 이런 경우, 번역되는 단어 또는 문장이 포인터 객체에 의해 지정된 영역에 모두 포함될 수 있다.
본 발명은 긴 글을 읽는 사용자에게도 정확하고 신속한 번역 결과를 제공하기 위한 것이라는 점에서, 번역 대상은 사용자가 스마트 안경(100)을 착용하고 읽을 수 있는 외국어로 된 원서, 또는 논문인 것으로 가정한다. 그러나, 이에 한정되지 않고, 번역 대상은 외국어로 된 박물관의 안내 표지판 등 다양하게 존재할 수 있다.
그리고, 본 발명의 스마트 안경(100)은 안경처럼 착용하는 방식이므로, 사용자의 별도의 행위를 수반하지 않고도 시선의 이동에 따라 지속적으로 번역 대상 문서상 포인터 객체를 촬상할 수 있으며, 번역 결과는 안경알에 장착되는 투명 디스플레이 형식으로 사용자에게 즉시 제공될 수 있다.
또한, 본 발명에서는 설명의 편의를 위하여, 스마트 안경(100)을 도 1에 도시된 바와 같이 표현하였으나, 헤드 마운트 디스플레이(Head mounted display) 형태로도 응용할 수 있음은 당업자에게 자명하다.
이와 같이, 본 발명에 따르면, 외국어로 된 서적이나 논문과 같이 긴 글을 읽게 되는 상황에서도, 사용자는 번역을 원하는 단어 또는 문장을 자신의 손가락이나 필기도구와 같이 쉽게 접할 수 있는 포인터 객체로 지정함으로써, 실시간으로 정확하고 신속한 번역 결과를 제공받을 수 있는 장점이 있다.
한편, 본 발명에서는 설명의 편의를 위하여, 문장보다는 단어에 대한 번역 결과가 제공되는 경우를 가정하기로 한다.
그리고, 스마트 안경(100)과 연동되어 단어에 대한 번역 결과를 검색하는 번역 장치(10)는 스마트폰인 것으로 가정하나, 번역 장치(10)는 통신 모듈이 장착된 전자사전, 서버 등 다양한 형태로 존재할 수 있다.
이하, 앞서 설명한 도 1, 및 도 2 내지 도 4를 참조하여, 본 발명의 일 실시예에 따른 스마트 안경(100)이 스마트폰(10)과 연동되어 단어에 대한 번역 결과를 제공하는 동작을 보다 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 스마트 안경(100)의 상세한 구성을 도시하는 도면이다.
그리고, 도 3은 본 발명의 일 실시예에 따른 스마트 안경의 번역 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 2 및 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 스마트 안경(100)은 촬상부(110), 추출부(120), 통신부(130) 및 표시부(140)를 포함하고, 스마트 안경의 번역 방법은 촬상하는 단계(S310), 추출하는 단계(S320), 전송하는 단계(S330), 수신하는 단계(S340), 및 표시하는 단계(S350)를 포함한다.
먼저, 단계(S310)에서 촬상부(110)는 번역 대상 문서상에 존재하는 하나 이상의 포인터 객체를 촬상한다.
포인터 객체의 촬상은 동영상 녹화와 같이, 실시간으로 번역 대상 문서에 존재하는 포인터 객체를 촬상하는 방식으로 이루어질 수 있으며, 이는 사용자가 번역을 원하는 시점에, 신속한 번역 결과를 사용자에게 제공하는 것을 가능하게 한다.
즉, 촬상부(110)는 실시간으로 포인터 객체에 대한 영상을 녹화하고, 이하 설명하는 추출부(120)는 녹화된 영상 중 이벤트 발생 시점에서의 영상에서 포인터 객체에 의해 지시되는 단어나 문장을 추출할 수 있다.
본 발명의 일 실시예에 따르면, 포인터 객체는 사용자의 손, 손가락, 터치펜, 또는 필기도구일 수 있다.
포인터 객체가 사용자의 손가락일 경우, 이하 설명하는 바와 같이, 번역 대상 문서에서 손가락의 끝점이 위치하는 지점에서의 단어가 번역되어 사용자에게 제공될 수 있으며, 필기도구인 경우에는 번역 대상 문서에서 필기도구의 끝점이 위치하는 지점에서의 단어가 번역되어 제공될 수 있다.
이때, 포인터 객체가 필기도구인 경우에는, 번역 대상 문서에 필기도구에 의해 그어진 밑줄이 번역할 단어의 선택에 더 고려될 수 있는 바, 이하에서 보다 상세히 설명하기로 한다.
한편, 번역 대상 지점이 둘 이상의 포인터 객체에 의해 지정되는 영역일 경우에는 지정된 영역 내에 위치하는 단어가 번역되어 사용자에게 제공될 수 있다.
다음으로, 단계(S320)에서 추출부(120)는 단계(S310)에서 촬상된 영상에서 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하거나 또는 하나 이상의 포인터 객체에 의해 지정된 영역 내에 위치하는 단어 또는 문장을 추출한다.
앞서 설명한 바와 같이, 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출하는 경우에 추출부(120)는 번역 대상 문서상 존재하는 포인터 객체의 끝점을 인식하기 위한 모듈(미도시), 및 포인터 객체의 끝점이 인식된 지점에 위치하는 단어 또는 문장을 추출하기 위한 모듈(미도시)을 포함할 수 있다.
그리고, 하나 이상의 포인터 객체에 의해 지정된 영역 내에 위치하는 단어 또는 문장을 추출하는 경우 추출부(120)는 포인터 객체에 의해 지정된 영역을 인식하기 위한 모듈(미도시), 및 지정된 영역 내에 위치하는 단어 또는 문장을 추출하기 위한 모듈(미도시)을 포함할 수 있다.
이때, 지정되는 영역은 영상에서 둘 이상의 포인터 객체에 의해 형성되는 닫힌 영역이거나, 둘 이상의 포인터 객체로부터 나오는 가상의 연장선에 의해 형성되는 닫힌 영역, 또는, 영상에서 둘 이상의 포인터 객체의 끝점에 해당하는 지점을 지나는 가상의 닫힌 영역(폐곡선)일 수 있다.
추출부(120)가 임계 거리 내에 위치하는 단어를 추출하는 경우와 추출부(120)가 지정된 영역 내에 위치하는 단어를 추출하는 경우는 서로 번역 대상 지점을 정의하는 방식의 차이만 존재하는 것으로서, 이하에서는 전자의 동작을 중심으로 설명한다.
본 발명의 일 실시예에 따르면, 추출부(120)는 번역 대상 문서에서 포인터 객체(20)가 소정의 시간 이상 정지해 있는 경우와 같은 이벤트가 발생하는 경우에 한하여 촬상된 영상에서 단어를 추출할 수 있다.
이는 사용자가 번역을 원하지 않는 시점에서 불필요한 추출 과정이 수행되지 않도록 하는 장점을 갖는다.
소정의 시간은 일례로, 2초일 수 있으며, 본 발명의 일 실시예에 따른 추출부(120)는 촬상된 영상에서 포인터 객체가 2초 이상 정지해 있는 경우에, 포인터 객체(20)의 끝점을 인식하고 인식된 지점으로부터 임계 거리 내에 위치하는 단어를 추출하게 된다.
앞서 설명한 바와 같이, 단계(S310)에서 촬상되는 영상은 동영상일 수 있으므로, 포인터 객체(20)가 소정의 시간 이상 정지해 있는 것으로 판단되는 경우에 단어 추출의 대상이 되는 영상은 상기 동영상을 구성하는 다수의 프레임 중 소정의 시간을 경과하는 시점에 해당하는 영상 프레임일 수 있다.
즉, 추출부(120)는 포인터 객체(20)가 영상에서 정지된 시간이 2초를 경과하는 시점에서의 영상 프레임에서 임계 거리 내의 단어를 추출할 수 있다.
동일한 방식으로, 추출부(120)는 촬상된 영상에서 포인터 객체가 2초 이상 정지해 있는 경우에 포인터 객체(20)에 의해 지정된 영역 내에 위치하는 단어를 추출할 수 있다.
한편, 포인터 객체(20)의 끝점, 즉, 사용자 손가락의 끝점이나, 필기도구의 끝점, 또는 둘 이상의 포인터 객체에 의해 지정되는 영역은 영상 처리 분야에서 경계값을 이용하는 다양한 알고리즘을 통하여 인식할 수 있다.
본 발명은 사용자에게 정확하고 신속한 번역 결과를 제공하는 방법에 관한 것이며, 영상에서 경계값을 이용하여 객체를 구분하는 기술은 널리 알려진 공지기술이므로, 본 실시예에서는 영상에서 객체를 구분하는 기술에 대해서는 별도로 설명하지 않도록 하며, 객체를 구분하기 위한 다양한 알고리즘이 본 발명의 추출부(120)에 적용될 수 있다.
본 발명의 일 실시예에 따르면, 포인터 객체(20)의 끝점이 인식된 지점으로부터의 임계 거리는 사용자가 포인터 객체로 가리키는 지점의 바로 위에 존재하는 단어가 번역 대상으로 추출될 수 있도록, 수 픽셀 범위 내로 설정될 수 있다.
예를 들어, 사용자가 자신의 손가락 끝을 이용하여 번역을 원하는 단어를 가리키는 경우, 일반적으로, 손가락 끝점과 단어 사이의 거리는 줄 간격의 절반 보다 짧은 거리를 갖게 된다는 점에서, 임계 거리는 1~10픽셀의 값을 가질 수 있다.
그리고, 이러한 임계 거리는 번역 대상 문서의 글자 크기에 따라 다르게 적용되는 것이 바람직하므로, 본 발명의 일 실시예에 따른 스마트 안경(100)은 임계 거리의 조절을 위한 사용자 설정부(미도시)를 더 포함할 수 있다.
일례로, 원서의 경우, 사용자 설정부(미도시)를 통해 임계 거리가 10픽셀이 되도록 설정되었다면, 원서보다 상대적으로 줄 간격이 짧은 논문의 경우에는 사용자 설정부(미도시)를 통해 임계 거리가 그 보다 짧은 5픽셀이 되도록 설정될 수 있다.
즉, 추출부(120)는 원서의 경우, 손가락 끝점으로부터 10픽셀 범위 내에 위치하는 단어를 번역 대상으로 추출하며, 논문의 경우, 손가락 끝점으로부터 5픽셀 범위 내에 위치하는 단어를 번역 대상으로 추출한다.
또한, 임계 거리는 상기와 같이, 사용자 설정부(미도시)를 통해 사용자에 의해 조절되는 것으로 가정할 수 있으나, 번역 대상 문서를 인식하는 모듈(미도시)를 통해 자동으로 줄 간격을 인식하고, 인식된 줄 간격에 적절한 임계 거리가 설정되도록 하는 것도 가능하다.
한편, 임계 거리 내에 위치하는 단어를 추출하기 위한 전처리 과정으로서, 추출 대상이 되는 영상에 포함된 텍스트를 단어 또는 형태소별로 분리하는 과정이 추가적으로 수행될 수 있다.
그리고, 본 발명에서는 설명의 편의를 위해, 단어를 추출하고 단어에 대한 번역 결과가 제공되는 것으로 가정하나, 문장을 추출하고 문장에 대한 번역 결과가 제공되는 경우에는 이를 위한 전처리 과정으로서, 추출 대상이 되는 영상에 포함된 텍스트를 문장 단위로 분리하는 과정이 수행될 수도 있다.
이 경우, 추출부(120)는 포인터 객체(20)의 끝점이 인식된 지점으로부터 임계 거리 내에 위치하는 문장을 번역 대상으로 추출하게 되며, 이하 설명하는 통신부(130)로 제공하게 된다.
계속하여, 단계(S330)에서 통신부(130)는 단계(S320)에서 추출된 단어에 대한 정보를 스마트폰(10)으로 전송하며, 단계(S340)에서 단어에 대한 번역 결과를 스마트폰(10)으로부터 수신한다.
통신부(130)와 스마트폰(10)의 통신을 위해서는 다양한 통신 표준이 적용될 수 있으나, 단어에 관한 정보를 송수신하는 특성상, 블루투스, NFC(Near Field Communication)와 같은 근거리 무선 통신이 적용되는 것이 바람직하다.
그리고, 앞서 설명한 바와 같이, 번역 대상 문서에서 포인터 객체(20)가 소정의 시간 이상 정지해 있는 이벤트 발생시, 추출부(120)가 단어의 추출을 개시할 수 있으나, 본 발명이 이에 한정되는 것은 아니며, 상기의 이벤트 발생시 통신부(130)가 추출부(120)에 의해 추출된 단어에 관한 정보를 단말장치(10)로 전송하는 것을 개시할 수도 있다.
즉, 통신부(130)는 번역 대상 문서에서 포인터 객체(20)가 소정의 시간 이상 정지해 있는 경우, 단계(S320)에서 추출된 단어에 관한 정보를 단말장치(10)로 전송할 수 있다. 이 경우, 추출부(120)는 이벤트 발생과 관련 없이 지속적으로, 촬상된 영상에서 포인터 객체의 끝점 인식 및 인식된 지점으로부터 임계 거리 내의 단어를 추출하여 통신부(130)로 제공하게 된다.
또한, 본 발명의 다른 실시예에 따르면, 상기의 이벤트 발생시 단말장치(10)가 본 발명의 통신부(130)로부터 전송 받은 단어를 전자사전 DB 또는 웹에서 검색하는 것을 개시할 수도 있으며, 이 경우, 추출부(120)와 통신부(130)는 상기의 이벤트 발생과 관련 없이 지속적으로 각자 자신의 동작을 수행하게 된다.
본 발명에서는 설명의 편의를 위해, 이벤트가 발생하는 경우, 추출부(120)가 단어 등의 추출을 개시하는 것으로 가정하여 설명하기로 하며, 이는 사용자가 번역을 원하지 않는 시점에서 불필요한 추출 과정이 수행되지 않도록 하는 장점을 가짐은 앞서 설명한 바와 같다.
한편, 앞서 설명한 바와 같이, 스마트 안경(100)은 스마트폰(10)과 연동되지 않고, 자체적으로 번역 결과를 생성할 수도 있으며, 이 경우에는 전송하는 단계(S330) 및 수신하는 단계(S340)를 대신하여, 번역 결과를 생성하는 단계(미도시)가 수행될 수 있다.
이를 위해, 스마트 안경(100)은 앞서 설명한 바와 같이, 자체 전자사전 DB나, 웹 접속 모듈(미도시)를 포함할 수 있으며, 번역 결과를 생성하는 단계(미도시)에서는 이러한 전자사전 DB나 웹 접속 모듈(미도시)을 통하여 단계(S320)에서 추출된 단어를 검색하여 번역 결과를 자체적으로 생성할 수 있다.
이러한 동작은 스마트 안경(100)의 생성부(미도시)에 의해 수행될 수 있다.
마찬가지로, 생성부(미도시)의 경우에도, 상기의 이벤트 발생시, 즉, 번역 대상 문서에서 포인터 객체가 소정의 시간 이상 정지해 있는 경우, 단계(S320)에서 추출된 단어를 자체 전자사전 DB나 웹에서 검색하는 것을 개시함으로써, 해당 단어에 대한 번역 결과를 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 단계(S350)에서 표시부(140)는 단계(S340)에서 수신된 번역 결과를 표시한다.
스마트 안경(100)을 착용한 사용자에게 번역 결과가 신속하고 용이하게 표시되도록 표시부(140)는 안경알에 장착되는 투명 디스플레이 방식일 수 있다.
도 4는 본 발명의 다른 실시예에 따른 스마트 안경(100)을 통하여 번역을 원하는 지점의 단어에 대한 번역 결과가 사용자에게 제공되는 상태에 관한 모식도를 도시하는 도면이다.
도 4에 도시된 바와 같이, 사용자는 자신의 필기도구와 같은 포인터 객체를 이용하여 번역 대상 문서상에서 번역을 원하는 지점을 가리킬 수 있으며, 스마트 안경(100)은 해당 지점에 위치하는 단어에 대한 번역 결과를 표시부(140)를 통해 사용자에게 제공할 수 있다.
이 경우, 추출부(120)는 촬상부(110)에 의해 촬상된 영상에서 포인터 객체의 끝점뿐만 아니라, 번역 대상 문서상에 그어진 밑줄을 더 인식하여 단어의 추출에 활용한다.
즉, 추출부(120)는 영상에서 포인터 객체의 끝점, 및 밑줄을 인식하고, 밑줄이 그어진 단어 중에서 포인터 객체의 끝점이 인식된 지점으로부터 임계 거리 내에 위치하는 단어를 추출할 수 있다.
밑줄이 그어진 단어 또한 일반적으로, 인식된 밑줄로부터 임계 거리 내에 위치하는 단어라는 점에서, 밑줄이 그어진 단어를 추출하는 과정에는 앞서 설명한 임계 거리 설정 방식과 유사한 과정이 적용될 수 있다.
한편, 손가락 끝점을 인식하여 단어를 추출하게 되는 모드와, 필기도구의 끝점 및 밑줄을 인식하여 단어를 추출하게 되는 모드는 사용자의 선택에 따라 수동으로 설정될 수 있으며, 추출부(120)에 의해 인식되는 포인터 객체의 특성에 따라, 자동으로 설정될 수도 있다.
본 발명의 일 실시예에 따르면, 번역 대상 문서상에 그어지는 밑줄은 필기도구의 잉크가 직접 문서에 닿아 그어지는 실제의 밑줄뿐만 아니라, 가상의 밑줄일 수도 있다.
즉, 추출부(120)는 번역 대상에 하나 이상의 포인터 객체에 의해 그어지는 가상의 밑줄을 인식하고, 이로부터 임계 거리 내에 위치하는 단어를 추출할 수도 있다.
이를 위해, 추출부(120)는 번역 대상 문서상에서 이동하는 하나 이상의 포인터 객체를 인식하고, 이로부터 임계 거리 내에 위치하는 단어를 추출한다.
이 경우, 번역 대상 문서상에서 이동하는 포인터 객체의 인식은 영상에서 실시간으로 포인터 객체의 움직임을 추적하는 과정에 의해서 수행될 수 있다. 즉, 영상에서 포인터 객체의 움직임을 실시간으로 추적하고, 포인터 객체로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출하여 이에 대한 번역 결과를 제공할 수 있다.
추출의 정확도 향상을 위해, 번역 대상 문서상에서 이동하는 포인터 객체의 인식은 영상에서 N회 이상 반복적으로 동일한 지역에 발생하는 포인터 객체의 움직임을 인식함으로써 수행될 수 있다. 이때, 사용자의 불필요한 동작이 단어 추출에 이용되지 않도록, N은 적어도 2 이상인 것이 바람직하다.
또한, 번역 대상 문서상에서 이동하는 포인터 객체의 인식은 영상에서 포인터 객체가 소정의 시간 이상 정지한 다음, 일정시간 경과 후 다시 소정의 시간 이상 정지하게 되는 경우를 인식함으로써 수행될 수도 있다. 이때, 첫 번째 정지한 지점에서부터 다음 정지한 지점을 잇는 선이 가상의 밑줄에 해당하게 된다. 이때에도, 사용자의 불필요한 동작이 단어 추출에 반영되지 않도록, 소정의 시간과 일정시간은 각각 2초일 수 있다.
이와 같이, 추출부(120)는 번역 대상 문서상에서 이동하는 하나 이상의 포인터 객체를 인식함으로써 실제의 밑줄뿐만 아니라 가상의 밑줄도 인식하여 이로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출할 수 있다.
상기의 추출부(120)의 동작을 제외한 나머지 구성요소들, 즉, 촬상부(110), 통신부(130), 및 표시부(140)의 동작은 앞서 설명한 것과 동일한 바, 보다 상세한 설명은 생략하기로 한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 단말장치 20 : 포인터 객체
100 : 스마트 안경 110 : 촬상부
120 : 추출부 130 : 통신부
140 : 표시부

Claims (20)

  1. 스마트 안경에 있어서,
    번역 대상과 함께 존재하는 하나 이상의 포인터 객체를 촬상하는 촬상부;
    상기 촬상된 영상에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하거나 또는 상기 하나 이상의 포인터 객체에 의해 지정된 영역에 위치하는 단어 또는 문장을 추출하는 추출부; 및
    상기 추출된 단어 또는 문장에 대한 번역 결과를 표시하는 표시부;를 포함하는 것을 특징으로 하는 스마트 안경.
  2. 제 1항에 있어서,
    상기 추출부는 상기 하나 이상의 포인터 객체의 끝점을 인식하고, 인식된 지점으로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  3. 제1항에 있어서,
    상기 추출부는 상기 번역 대상에서 상기 하나 이상의 포인터 객체가 소정의 시간 이상 정지해 있는 경우, 상기 촬상된 영상에서 상기 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  4. 제2항에 있어서,
    상기 추출부는 상기 번역 대상 상에서 이동하는 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  5. 제1항에 있어서,
    상기 추출부는 상기 영상에서 상기 번역 대상에 그어진 밑줄을 인식하고, 상기 밑줄이 그어진 단어 또는 문장 중에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  6. 제1항에 있어서,
    상기 추출부는 상기 영상에서 둘 이상의 포인터 객체의 끝점을 인식하고, 상기 인식된 둘 이상의 끝점을 지나는 가상의 닫힌 영역 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  7. 제6항에 있어서,
    상기 추출부는 상기 인식된 둘 이상의 끝점을 꼭짓점으로 하는 가상의 영역 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  8. 제1항에 있어서,
    상기 추출부는 상기 영상에서 둘 이상의 포인터 객체에 의해 형성되는 가상의 닫힌 영역을 인식하고, 상기 가상의 닫힌 영역 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  9. 제1항에 있어서,
    상기 추출부는 상기 하나 이상의 포인터 객체에 의해 지정된 영역 및 상기 지정된 영역의 주변 영역에 포함된 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경.
  10. 제1항에 있어서,
    상기 추출된 단어 또는 문장에 관한 정보를 번역 장치로 전송하고, 상기 번역 장치로부터 상기 번역 결과를 수신하는 통신부;를 더 포함하는 것을 특징으로 하는 스마트 안경.
  11. 제1항에 있어서,
    상기 하나 이상의 포인터 객체는 사용자의 손가락, 터치펜, 또는 필기도구인 것을 특징으로 하는 스마트 안경.
  12. 제1항에 있어서,
    상기 임계 거리는 상기 번역 대상의 텍스트 줄 간격에 기초하여 설정되는 것을 특징으로 하는 스마트 안경.
  13. 스마트 안경의 번역 방법에 있어서,
    번역 대상과 함께 존재하는 하나 이상의 포인터 객체를 촬상하는 단계;
    상기 촬상된 영상에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하거나 또는 상기 하나 이상의 포인터 객체에 의해 지정된 영역에 위치하는 단어 또는 문장을 추출하는 단계; 및
    상기 추출된 단어 또는 문장에 대한 번역 결과를 표시하는 단계;를 포함하는 것을 특징으로 하는 스마트 안경의 번역 방법.
  14. 제13항에 있어서,
    상기 추출하는 단계는 상기 하나 이상의 포인터 객체의 끝점을 인식하고, 인식된 지점으로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경의 번역 방법.
  15. 제13항에 있어서,
    상기 추출하는 단계는 상기 번역 대상에서 상기 하나 이상의 포인터 객체가 소정의 시간 이상 정지해 있는 경우, 상기 촬상된 영상에서 상기 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경의 번역 방법.
  16. 제13항에 있어서,
    상기 추출하는 단계는 상기 영상에서 상기 번역 대상에 그어진 밑줄을 인식하고, 상기 밑줄이 그어진 단어 또는 문장 중에서 상기 하나 이상의 포인터 객체로부터 임계 거리 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경의 번역 방법.
  17. 제13항에 있어서,
    상기 추출하는 단계는 상기 영상에서 둘 이상의 포인터 객체의 끝점을 인식하고, 상기 인식된 둘 이상의 끝점을 지나는 가상의 닫힌 영역 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경의 번역 방법.
  18. 제13항에 있어서,
    상기 추출하는 단계는 상기 영상에서 둘 이상의 포인터 객체에 의해 형성되는 가상의 닫힌 영역을 인식하고, 상기 가상의 닫힌 영역 내에 위치하는 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경의 번역 방법.
  19. 제13항에 있어서,
    상기 추출하는 단계는 상기 하나 이상의 포인터 객체에 의해 지정된 영역 및 상기 지정된 영역의 주변 영역에 포함된 단어 또는 문장을 추출하는 것을 특징으로 하는 스마트 안경의 번역 방법.
  20. 제13항에 있어서,
    상기 추출된 단어 또는 문장에 관한 정보를 번역 장치로 전송하는 단계; 및
    상기 번역 장치로부터 상기 번역 결과를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 스마트 안경의 번역 방법.
KR1020130026917A 2013-03-13 2013-03-13 스마트 안경 및 이의 번역 방법 KR20140113780A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130026917A KR20140113780A (ko) 2013-03-13 2013-03-13 스마트 안경 및 이의 번역 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130026917A KR20140113780A (ko) 2013-03-13 2013-03-13 스마트 안경 및 이의 번역 방법

Publications (1)

Publication Number Publication Date
KR20140113780A true KR20140113780A (ko) 2014-09-25

Family

ID=51757893

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130026917A KR20140113780A (ko) 2013-03-13 2013-03-13 스마트 안경 및 이의 번역 방법

Country Status (1)

Country Link
KR (1) KR20140113780A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107664857A (zh) * 2016-11-11 2018-02-06 淮安信息职业技术学院 一种智能翻译眼镜
KR20220059751A (ko) * 2020-11-03 2022-05-10 주식회사 포스코아이씨티 키오스크 실시간 점자 변환 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107664857A (zh) * 2016-11-11 2018-02-06 淮安信息职业技术学院 一种智能翻译眼镜
KR20220059751A (ko) * 2020-11-03 2022-05-10 주식회사 포스코아이씨티 키오스크 실시간 점자 변환 장치

Similar Documents

Publication Publication Date Title
WO2020078017A1 (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
CN105487673B (zh) 一种人机交互***、方法及装置
Madhuri et al. Vision-based sign language translation device
US10725552B2 (en) Text input method and device based on gesture recognition, and storage medium
KR102295131B1 (ko) 입력 표시 장치, 입력 표시 방법, 및 프로그램
CN111160333A (zh) Ar眼镜及其文本翻译方法、装置和计算机可读存储介质
US20170053449A1 (en) Apparatus for providing virtual contents to augment usability of real object and method using the same
US20160275050A1 (en) Presentation supporting device, presentation supporting method, and computer-readable recording medium
CN110992783A (zh) 一种基于机器学习的手语翻译方法及翻译设备
KR20090068380A (ko) 개선된 이동 통신 단말
CN111680177A (zh) 数据搜索方法及电子设备、计算机可读存储介质
US20190094534A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
KR101927064B1 (ko) 전자책 또는 전자노트에 대한 요약 데이터 생성 장치 및 방법
CN107608618A (zh) 一种用于可穿戴设备的交互方法、装置和可穿戴设备
Mehrotra et al. Indian sign language recognition using kinect sensor
CN104978577B (zh) 信息处理方法、装置及电子设备
CN112749646A (zh) 一种基于手势识别的交互式点读***
KR102148021B1 (ko) 딥러닝 텍스트 탐지 기술을 활용한 실생활 영상 속의 정보 검색 방법 및 그 장치
Escudeiro et al. Virtual sign translator
WO2013114988A1 (ja) 情報表示装置、情報表示システム、情報表示方法およびプログラム
Rahman et al. An automated navigation system for blind people
KR20140113780A (ko) 스마트 안경 및 이의 번역 방법
US11501504B2 (en) Method and apparatus for augmented reality
Coughlan et al. -Camera-Based Access to Visual Information
Javaid et al. Manual and non-manual sign language recognition framework using hybrid deep learning techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application