KR102171327B1 - Method for proving translation service and terminal device using the same - Google Patents
Method for proving translation service and terminal device using the same Download PDFInfo
- Publication number
- KR102171327B1 KR102171327B1 KR1020180083275A KR20180083275A KR102171327B1 KR 102171327 B1 KR102171327 B1 KR 102171327B1 KR 1020180083275 A KR1020180083275 A KR 1020180083275A KR 20180083275 A KR20180083275 A KR 20180083275A KR 102171327 B1 KR102171327 B1 KR 102171327B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- string
- translation
- handwriting input
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G06K9/00402—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 출원은 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 관한 것으로서, 본 발명의 일 실시예에 의한 번역 서비스 제공 방법은, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계; 사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계; 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함할 수 있다. The present application relates to a method for providing a translation service and a terminal device using the same. In the method for providing a translation service according to an embodiment of the present invention, a target character string is generated by performing character recognition on an input target image. step; A handwriting input device displaying step of displaying a handwriting input device according to a user's request; A modification step of generating a corrected character corresponding to a user's handwriting input applied to the handwriting input device, and generating a corrected character string by modifying the target character string with the corrected character; And a translation step of generating a translation string by translating the modified string into a designated translation language.
Description
본 출원은 외국어로 기재된 이미지에 대한 번역서비스를 제공할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 관한 것이다. The present application relates to a method for providing a translation service capable of providing a translation service for an image written in a foreign language, and a terminal device using the same.
일반적으로, 문자인식 기술은 카메라를 통하여 이미지를 입력 받고, 여기에 포함된 문자를 배경으로부터 분리하여 그 특징을 추출한 후, 미리 저장된 문자의 특징패턴과 비교하여, 가장 유사한 패턴의 텍스트 문자를 인식결과로 나타낸다. 이러한 일반적인 문자인식 기술에 따라, 제한된 범위의 문자나 숫자를 사용하는 일정한 규격의 자동차 번호판 인식이나 우편번호 인식 등의 경우에 높은 문자 인식률을 보이고 있으며 실용화되고 있다.In general, character recognition technology receives an image through a camera, separates the characters contained therein from the background, extracts the features, and compares the feature patterns of previously stored characters to recognize the text characters of the most similar pattern. Represented by According to such a general character recognition technology, a high character recognition rate is shown and is being put into practice in the case of recognition of a vehicle license plate or postal code of a certain standard using a limited range of characters or numbers.
한편, 최근 국제 사회와의 교류가 전 지구적으로 확대되면서 우리나라에서도 많은 정보와 자원의 해외교류가 활발하게 이루어지고 있으며, 이러한 상황으로 외국의 문서를 접할 기회도 더욱 증가되고 있다. 그러나, 세계 각국의 언어의 종류는 다양하며, 사용자가 외국문서의 언어를 모두 이해하는 데에는 한계가 있기 때문에, 사용자가 모르는 언어라고 하더라도 사용자가 이해할 수 있는 언어로 번역하여 제공하는 자동 번역 시스템에 대한 연구가 활발하게 진행되고 있다.On the other hand, as exchanges with the international community have recently expanded globally, a lot of information and resources are being actively exchanged abroad in Korea, and in this situation, opportunities to access foreign documents are increasing. However, there are various kinds of languages around the world, and there is a limit to understanding all the languages of foreign documents. Therefore, even if the user does not know a language, the automatic translation system is provided by translating into a language that the user can understand. Research is being actively conducted.
특히, 최근 대부분의 사람들이 휴대하는 스마트폰의 카메라 기능을 이용하여 좀 더 편리한 방법으로 문자통역을 수행하는 방안들이 제시되고 있다. In particular, methods of performing text interpretation in a more convenient way by using the camera function of a smartphone that most people carry have been proposed.
본 출원은, 외국어로 기재된 이미지에 대한 번역서비스를 제공할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다. The present application is intended to provide a translation service providing method capable of providing a translation service for an image written in a foreign language and a terminal device using the same.
본 출원은, 문자인식의 오류 발생시 사용자의 필기 입력을 통해 교정할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다. The present application is to provide a method for providing a translation service that can be corrected through a user's handwriting input when an error in character recognition occurs, and a terminal device using the same.
본 출원은, 사용자의 필기 입력시 인식된 이미지를 함께 표시할 수 있는 번역 서비스 제공 방법 및 이를 이용하는 단말장치를 제공하고자 한다. The present application is to provide a method for providing a translation service capable of displaying an image recognized when a user inputs a handwriting, and a terminal device using the same.
본 발명의 일 실시예에 의한 번역 서비스 제공 방법은, 단말장치에서의 번역서비스 제공 방법에 관한 것으로, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계; 사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계; 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함할 수 있다. A method of providing a translation service according to an embodiment of the present invention relates to a method of providing a translation service in a terminal device, comprising: a target character string generation step of generating a target character string by performing character recognition on an input target image; A handwriting input device displaying step of displaying a handwriting input device according to a user's request; A modification step of generating a corrected character corresponding to a user's handwriting input applied to the handwriting input device, and generating a corrected character string by modifying the target character string with the corrected character; And a translation step of generating a translation string by translating the modified string into a designated translation language.
본 발명의 일 실시예에 의한 단말장치는, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성부; 사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시부; 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정부; 및 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역부를 포함할 수 있다. A terminal device according to an embodiment of the present invention includes: a target character string generator configured to generate a target character string by performing character recognition on an input target image; A handwriting input device display unit that displays a handwriting input device according to a user's request; A correction unit generating a corrected character corresponding to a user's handwriting input applied to the handwriting input unit, and generating a corrected character string by modifying the target character string with the corrected character; And a translation unit for generating a translation string by translating the modified text string into a designated translation language.
본 발명의 다른 실시예에 의한 단말장치는, 프로세서; 및 상기 프로세서에 커플링된 메모리를 포함하는 것으로서, 상기 메모리는 상기 프로세서에 의하여 실행되도록 구성되는 하나 이상의 모듈을 포함하고, 상기 하나 이상의 모듈은, 입력된 대상 이미지에 대한 문자인식을 수행하여 대상 문자열을 생성하고 사용자의 요청에 따라 필기 입력기를 표시하며, 상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성한 후, 상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는, 명령어를 포함할 수 있다. A terminal device according to another embodiment of the present invention includes a processor; And a memory coupled to the processor, wherein the memory includes one or more modules configured to be executed by the processor, and the one or more modules perform character recognition on the input target image to obtain a target character string. And displays a handwriting input device according to the user's request, generates a corrected character corresponding to the user's handwriting input applied to the handwriting input device, and modifies the target string with the corrected character to generate a corrected character string, It may include a command for generating a translation string by translating the modified string into a designated translation language.
덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.In addition, the solution to the above-described problem does not enumerate all the features of the present invention. Various features of the present invention and advantages and effects thereof may be understood in more detail with reference to the following specific embodiments.
본 발명의 일 실시예에 의한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 의하면, 외국어를 포함하는 이미지에 대한 번역서비스를 제공할 수 있으며, 이미지에 대한 문자인식의 오류 발생시 사용자의 필기 입력을 통해 용이하게 교정할 수 있다. 즉, 외국어 입력을 위한 별도의 가상 키보드 등을 설치할 필요 없이, 필기 입력기를 활용하여 용이하게 외국문자를 입력할 수 있다. According to the method for providing a translation service and a terminal device using the same according to an embodiment of the present invention, it is possible to provide a translation service for an image containing a foreign language, and it is easy through a user's handwriting input when an error in character recognition for an image occurs Can be corrected. That is, without the need to install a separate virtual keyboard for foreign language input, foreign characters can be easily input using a handwriting input device.
본 발명의 일 실시예에 의한 번역 서비스 제공 방법 및 이를 이용하는 단말장치에 의하면, 필기 입력시 인식된 이미지를 함께 표시하는 것이 가능하다. 즉, 사용자는 필기 입력시 인식된 이미지와 비교할 수 있으므로, 외국문자를 정확하게 입력하여 교정할 수 있다.According to a method for providing a translation service and a terminal device using the same according to an embodiment of the present invention, it is possible to display an image recognized during a handwriting input. That is, since the user can compare the image recognized during handwriting input, the foreign character can be accurately input and corrected.
다만, 본 발명의 실시예들에 따른 번역 서비스 제공 방법 및 이를 이용하는 단말장치가 달성할 수 있는 효과는 이상에서 언급한 것들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the translation service providing method according to the embodiments of the present invention and the effects that can be achieved by a terminal device using the same are not limited to those mentioned above, and other effects that are not mentioned are the present invention from the following description. It will be clearly understood by those of ordinary skill in the relevant technical field.
도1은 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템을 나타내는 개략도이다.
도2 및 도3은 본 발명의 일 실시예에 의한 단말장치를 나타내는 블록도이다.
도4는 본 발명의 일 실시예에 의한 대상 이미지 촬영 및 대상영역 설정을 나타내는 개략도이다.
도5는 본 발명의 일 실시예에 의한 대상 문자열 생성을 나타내는 개략도이다.
도6은 본 발명의 일 실시예에 의한 필기 입력기를 나타내는 개략도이다.
도7은 본 발명의 일 실시예에 의한 커서의 위치 또는 커서의 선택영역에 따른 크롭 이미지를 나타내는 개략도이다.
도8은 본 발명의 일 실시예에 의한 번역 서비스 제공 방법을 나타내는 순서도이다. 1 is a schematic diagram showing a system for providing a translation service according to an embodiment of the present invention.
2 and 3 are block diagrams showing a terminal device according to an embodiment of the present invention.
4 is a schematic diagram illustrating photographing a target image and setting a target area according to an embodiment of the present invention.
5 is a schematic diagram showing generation of a target character string according to an embodiment of the present invention.
6 is a schematic diagram showing a handwriting input device according to an embodiment of the present invention.
7 is a schematic diagram illustrating a cropped image according to a location of a cursor or a selection area of a cursor according to an embodiment of the present invention.
8 is a flowchart illustrating a method of providing a translation service according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 즉, 본 발명에서 사용되는 '부'라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '부'는 어떤 역할들을 수행한다. 그렇지만 '부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부'들로 결합되거나 추가적인 구성요소들과 '부'들로 더 분리될 수 있다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not have meanings or roles that are distinguished from each other by themselves. That is, the term'unit' used in the present invention means a hardware component such as software, FPGA, or ASIC, and the'unit' performs certain roles. However,'part' is not limited to software or hardware. The'unit' may be configured to be in an addressable storage medium, or may be configured to reproduce one or more processors. Thus, as an example,'unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Includes subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, database, data structures, tables, arrays and variables. The functions provided in the components and'units' may be combined into a smaller number of components and'units', or may be further divided into additional components and'units'.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all modifications included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.
도1은 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템을 나타내는 개략도이다. 1 is a schematic diagram showing a system for providing a translation service according to an embodiment of the present invention.
도1을 참조하면 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템은, 단말장치(100) 및 서비스 서버(200)를 포함할 수 있다. Referring to FIG. 1, a system for providing a translation service according to an embodiment of the present invention may include a
이하, 도1을 참조하여 본 발명의 일 실시예에 의한 번역 서비스 제공 시스템을 설명한다. Hereinafter, a system for providing a translation service according to an embodiment of the present invention will be described with reference to FIG. 1.
단말장치(100)는 다양한 종류의 어플리케이션들을 실행할 수 있으며, 실행 중인 어플리케이션을 시각이나 청각, 촉각 등으로 표시하여 사용자에게 제공할 수 있다. 단말장치(100)는 어플리케이션을 시각적으로 표시하기 위한 디스플레이부를 포함할 수 있으며, 사용자의 입력을 인가받는 입력부, 적어도 하나의 프로그램이 저장된 메모리 및 프로세서를 포함할 수 있다. The
단말장치(100)에서 실행되는 어플리케이션에는, 번역서비스를 제공하는 번역 어플리케이션이 포함될 수 있다. 번역 어플리케이션은 사용자가 입력하는 다양한 컨텐츠로부터 번역하고자 하는 대상문자열을 추출할 수 있으며, 추출한 문자열을 지정된 번역언어로 번역하여 번역문자열을 생성할 수 있다. 여기서, 사용자가 입력하는 컨텐츠에는 문자나 음성, 이미지 등이 포함될 수 있다.The application executed in the
예를들어, 사용자가 번역하고자 하는 문자를 입력하는 경우에는, 번역 어플리케이션이 단말장치(100)의 디스플레이부에 가상 키보드를 표시하여 제공할 수 있다. 따라서, 사용자는 가상 키보드를 이용하여 번역하고자 하는 대상문자열을 입력할 수 있다. 이후, 번역 어플리케이션은 수신한 대상문자열을 사용자가 지정한 번역언어로 번역하여 번역문자열을 생성할 수 있다. 이때, 생성된 번역문자열은, 단말장치(100)의 디스플레이부에 표시하거나, 스피커를 통해 출력하는 등의 방식으로 사용자에게 제공할 수 있다. For example, when a user inputs a character to be translated, the translation application may display and provide a virtual keyboard on the display unit of the
실시예에 따라서는, 사용자가 외국어로 기재된 인쇄물이나 표지판 등에 대한 번역을 원하는 경우가 있을 수 있다. 이때, 단말장치(100)에 해당 외국어를 입력하기 위한 가상 키보드가 포함되어 있지 않거나, 사용자가 직접 해당 외국어를 전부 입력하기에는 지나치게 많은 양의 문자가 기재되어 있을 수 있다. 이 경우, 사용자는 인쇄물이나 표지판 등을 카메라를 이용하여 촬영한 후, 촬영한 이미지를 번역 어플리케이션에 입력하여 해당 이미지에 대한 번역을 요청할 수 있다. 즉, 번역 어플리케이션은 사용자가 촬영한 이미지 또는 다운로드받은 이미지 등에 대한 문자인식을 수행하여, 해당 이미지에 포함된 대상 문자열을 추출할 수 있으며, 이후 추출한 대상 문자열에 대한 번역을 수행하여 번역문자열을 생성할 수 있다. Depending on the embodiment, there may be a case where a user wants to translate a printed matter or a sign written in a foreign language. In this case, a virtual keyboard for inputting a corresponding foreign language may not be included in the
추가적으로, 사용자 등의 음성을 번역하고자 하는 경우에는, 번역 어플리케이션이 단말장치(100)의 마이크를 활성화하여, 음성을 수신할 수 있다. 이후, 수신한 사용자의 음성에 대응하는 대상 문자열을 생성하고, 대상 문자열을 번역언어로 번역하여, 번역문자열을 생성할 수 있다. Additionally, when a user's voice is to be translated, the translation application can receive the voice by activating the microphone of the
단말장치(100)는 앱 스토어(App store) 또는 플레이 스토어(Play store) 등에 접속하여, 번역 어플리케이션 등 다양한 어플리케이션들을 다운로드받아 설치할 수 있다. 실시예에 따라서는 서비스 서버(200) 또는 타 기기(미도시)와의 유선 또는 무선 통신을 통하여 다운로드받는 것도 가능하다. The
단말장치(100)는 스마트폰, 태블릿 PC 등의 이동 단말기일 수 있으며, 실시예에 따라서는 데스크탑 등의 고정형 장치도 포함될 수 있다. 여기서, 단말장치(100)에는 휴대폰, 스마트 폰(Smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다. The
한편, 단말장치(100)는 통신 네트워크를 통하여 서비스 서버(200)와 연결될 수 있다. 여기서, 통신 네트워크는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 네트워크(LAN: Local Area Network), 도시권 네트워크(MAN: Metropolitan Area Network), 광역 네트워크(WAN: Wide Area Network) 등 다양한 네트워크를 포함할 수 있다. 또한, 통신 네트워크는 공지의 월드와이드웹(WWW: World Wide Web)을 포함할 수도 있다. 다만, 본 발명에 따른 통신 네트워크는 상기 열거된 네트워크에 국한되지 않으며, 공지의 무선 데이터 네트워크, 공지의 전화 네트워크, 공지의 유선 또는 무선 텔레비전 네트워크 등을 포함할 수 있다.Meanwhile, the
서비스 서버(200)는 번역 어플리케이션을 통하여 단말장치(100)와 연결될 수 있으며, 단말장치(100)에게 번역 서비스 등 다양한 서비스를 제공할 수 있다. 실시예에 따라서는, 서비스 서버(200)가 단말장치(100)의 번역요청에 대응하여 번역을 수행하는 것도 가능하다. 즉, 서비스 서버(200)는 수신한 대상 문자열 또는 수정문자열을 지정된 번역언어로 번역할 수 있으며, 번역된 번역문자열을 단말장치(100)로 제공할 수 있다. The
도2는 본 발명의 일 실시예에 의한 단말장치를 나타내는 블록도이다. 2 is a block diagram showing a terminal device according to an embodiment of the present invention.
도2를 참조하면, 본 발명의 일 실시예에 의한 단말장치(100)는, 대상 문자열 생성부(110), 필기 입력기 표시부(120), 수정부(130) 및 번역부(140)를 포함할 수 있다. Referring to FIG. 2, the
이하. 도2를 참조하여 본 발명의 일 실시예에 의한 단말장치를 설명한다. Below. A terminal device according to an embodiment of the present invention will be described with reference to FIG. 2.
대상문자열 생성부(110)는, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성할 수 있다. 사용자는 인쇄물이나 표지판 등에 기재된 외국어를 번역하고자 할 수 있으며, 이 경우 사용자는 해당 인쇄물이나 표지판 등을 촬영한 대상 이미지를 대상문자열 생성부(110)로 입력할 수 있다. The
실시예에 따라서는, 사용자가 가상 키보드 등을 이용하여 직접 외국어를 입력하는 것도 가능하지만, 단말장치(100)에 해당 외국어에 대응하는 가상 키보드가 구비되어 있지 않거나, 사용자가 직접 입력하기에는 지나치게 많은 양의 문자들이 포함되어 있을 수 있다. 따라서, 사용자는 번역하고자 하는 인쇄물이나 표지판을 촬영하여 대상문자 생성부(110)에 입력할 수 있으며, 대상 문자열 생성부(110)는 대상 이미지로부터 문자인식을 수행하여 외국어로 기재된 문자열을 인식할 수 있다. 이후, 대상 문자열 생성부(110)는 인식한 문자열을 대상 문자열로 생성할 수 있으며, 생성한 대상문자열을 도5(a)에 도시한 바와 같이, 대상문자열 표시창(w1)에 표시할 수 있다. Depending on the embodiment, it is possible for the user to directly input a foreign language using a virtual keyboard, etc., but the
한편, 도시하지는 않았으나, 번역 어플리케이션에는 카메라 아이콘이 포함될 수 있으며, 사용자가 카메라 아이콘에 입력을 인가하면 도4(a)와 같이 단말장치(100)의 카메라가 활성화될 수 있다. 이후, 사용자는 카메라의 촬영버튼(s)을 터치하여 대상물을 촬영할 수 있으며, 이에 대응하여 대상 이미지(i)를 생성할 수 있다. Meanwhile, although not illustrated, a camera icon may be included in the translation application, and when a user applies an input to the camera icon, the camera of the
이때, 대상문자열 생성부(110)는 생성된 대상 이미지(i)에 문자인식 알고리즘을 적용하여, 대상 이미지(i)에 포함된 문자열을 인식할 수 있다. 즉, 대상 문자열 생성부(110)는 문자인식 알고리즘을 이용하여 대상 이미지에 포함된 문자열을 인식할 수 있으며, 인식한 문자열을 대상 문자열로 생성할 수 있다. 예를들어, 대상 이미지에 대한 픽셀값의 분포를 전기적 신호인 형상패턴으로 표현할 수 있으며, 문자모델 데이터베이스 등에는 각각의 문자에 대응하는 표준형상패턴이 저장되어 있을 수 있다. 대상 문자열 생성부(110)는 입력되는 형상패턴을 문자모델 데이터베이스에 저장된 표준형상패턴과 비교할 수 있으며, 각각의 형상패턴에 대응하는 표준형상패턴을 추출할 수 있다. 이후, 추출한 표준형상패턴에 대응하는 문자로 각각 변환하여 대상 문자열을 생성할 수 있다. 여기서, 문자모델 데이터베이스는 단말장치(100) 또는 서버(200) 등에 구비될 수 있으며, 대상문자열 생성부(110)는 단말장치(100) 또는 서버(200)와 통신을 통하여 문자모델 데이터베이스에 접속할 수 있다. In this case, the target
한편, 사용자는 문자 인식 알고리즘을 통하여 인식할 인식언어를 미리 설정해둘 수 있다. 즉, 대상문자열 생성부(110)가 대상 이미지로부터 대상 문자열을 추출하기 위해서는, 추출할 대상문자열이 어떤 언어로 기재되어 있는지에 대한 정보가 필요할 수 있다. 따라서, 사용자는 대상 이미지로부터 추출할 인식언어를 미리 설정하여, 대상문자열 생성부(110)가 해당 인식언어로 기재된 문자열을 대상 이미지로부터 추출하도록 할 수 있다. On the other hand, the user can preset a recognition language to be recognized through a character recognition algorithm. That is, in order for the
예를들어, 도4의 경우, 사용자는 촬영한 대상 이미지(i)에 포함된 문자열이 일본어에 해당함을 미리 설정할 수 있다. 이 경우 대상문자열 생성부(110)는 대상 이미지에서 일본어에 대한 문자인식을 수행하여, 일본어로 기재된 대상문자열로 생성할 수 있다. 실시예에 따라서는, 대상문자열 생성부(110)가 문자인식을 수행할 때, 스스로 언어감지를 수행하여 대상 이미지에 포함된 문자열에 대응하는 인식언어를 판별한 후, 대상문자열을 생성하는 것도 가능하다. 여기서, 사용자가 대상 이미지(i)에서 대상문자열을 추출할 인식언어와, 대상문자열을 번역할 번역언어를 함께 지정하는 것도 가능하다. 즉, 도4에 도시한 바와 같이, 사용자는 인식언어를 "일본어"로 설정하고, 번역언어를 "한국어"로 설정할 수 있다. For example, in the case of FIG. 4, the user may preset that a character string included in the photographed target image i corresponds to Japanese. In this case, the target character
추가적으로, 대상문자열 생성부(110)는 대상 이미지 전체에 대한 문자인식을 수행하여 대상 문자열을 생성할 수 있으나, 실시예에 따라서는 사용자가 지정한 대상영역에 한하여 문자인식을 수행하는 것도 가능하다. 즉, 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정할 수 있으며, 특정된 대상영역 내에서 문자인식을 수행하여 대상문자열을 생성할 수 있다. 이 경우, 문자인식을 위한 연산 등을 줄일 수 있다. Additionally, the target character
구체적으로, 도4(b)에 도시한 바와 같이, 사용자는 전체 대상 이미지(i) 중에서 번역이 필요한 영역을 드래그(drag)하는 등의 방식으로 대상 이미지(i)의 표면을 문지를 수 있다. 이 경우, 대상 문자열 생성부(110)는 사용자가 문지른 영역을 스캔하여 대상영역(r)으로 설정할 수 있으며, 대상영역(r)에 대해 문자인식을 수행하여 대상 문자열을 생성할 수 있다. 즉, 도4(b)의 경우에는, 대상영역(r)에 포함된 "明太子"에 대한 문자인식을 수행하여, 대상 문자열을 생성할 수 있다. Specifically, as shown in FIG. 4(b), the user can rub the surface of the target image i by dragging a region that needs to be translated among the entire target image i. In this case, the target
여기서는, 대상문자열 생성부(110)가 이미지로부터 대상문자열을 생성하는 실시예를 제시하였으나, 실시예에 따라서는 대상문자열 생성부(110)는 사용자가 입력하는 문자열, 음성, 동영상 등 다양한 컨텐츠로부터 대상문자열을 생성하는 것도 가능하다. Here, an embodiment in which the
필기 입력기 표시부(120)는 사용자의 요청에 따라 필기 입력기를 표시할 수 있다. 실시예에 따라서는 대상문자열을 수정할 필요가 있으며, 이 경우 필기 입력기 표시부(120)는 필기 입력기를 사용자에게 제공하여, 대상문자열을 수정하도록 할 수 있다.The handwriting input
구체적으로, 도5(a)에 도시한 바와 같이, 대상문자열 생성부(110)에서 생성한 대상 문자열은 대상문자열 표시창(w1)에 표시될 수 있으며, 대상 문자열에 대한 번역문자열은 번역문자열 표시창(w2)에 표시될 수 있다. 즉, 사용자는 자신이 번역을 요청한 대상문자열과, 대상문자열에 대한 번역결과인 번역문자열을, 각각 대상문자열 표시창(w1)과 번역문자열 표시창(w2)을 통하여 확인할 수 있다.Specifically, as shown in Fig. 5(a), the target string generated by the
이때, 도5(b)와 같이 대상문자열 생성부(110)에서 대상문자열을 잘못 인식하는 경우가 발생할 수 있다. 즉, 사용자가 지정한 대상영역(r)에는 "明太子"가 기재되어 있으나, 인식과정에서 오류 등이 발생하여 대상문자열로 "明太干"을 생성할 수 있다. 여기서, 대상 문자열과 대상영역(r)이 동시에 표시되므로, 사용자는 자신이 선택한 대상영역(r)에 대해 문자인식이 정확하게 수행되었는지 여부를 확인할 수 있다. 또한, 번역문자열 표시창(w2)도 함께 제공되므로, 사용자는 번역문자열을 통하여도 대상문자열의 인식오류를 확인할 수 있다. 즉, 대상문자열을 잘못 인식한 경우, 문맥이나 상황과 전혀 맞지 않는 내용으로 번역될 수 있으므로, 이를 통하여 대상문자열에 대한 인식 오류 등을 파악하는 것도 가능하다. In this case, as shown in FIG. 5(b), a case in which the
한편, 대상문자열이 잘못 인식된 경우, 사용자는 대상문자열을 수정하여 정확한 번역결과를 얻고자 할 수 있다. 여기서, 사용자의 단말장치(100)에 일본어 등 외국어에 대응하는 가상 키보드가 구비된 경우에는, 사용자가 이를 이용하여 수정하는 것도 가능하다. 다만, 일반적으로는 단말장치(100)에 모든 외국어에 대응하는 가상 키보드를 구비하고 있지는 않으므로, 가상 키보드를 이용하여 대상문자열을 수정하기에는 어려움이 존재한다. On the other hand, when the target string is recognized incorrectly, the user may modify the target string to obtain an accurate translation result. Here, when a virtual keyboard corresponding to a foreign language such as Japanese is provided in the user's
이를 해결하기 위하여, 필기 입력기 표시부(120)는 가상 키보드 대신에 필기 입력기를 제공할 수 있다. 필기 입력기의 경우, 사용자가 직접 필기 입력으로 해당 문자를 기재하여 입력할 수 있으므로, 간단하게 잘못 인식된 문자를 수정하는 것이 가능하다. To solve this problem, the handwriting input
즉, 도5(b)에 도시한 바와 같이, 가상 키보드(k)는 한국어 자판을 제공할 수 있으나, 한국어 자판의 가상 키보드(k)를 이용하여 한자인 "明太子"를 입력하기에는 어려움이 있다. 따라서, 필기 입력기 표시부(120)는, 필기 입력기 아이콘(a)에 대한 사용자의 입력에 대응하여, 도6에 도시한 바와 같이 필기 입력기(n)를 표시할 수 있다. 이 경우, 사용자는 필기 입력기(n)를 이용하여 "明太子"를 입력함으로써, 잘못 인식된 대상 문자열을 수정할 수 있다. That is, as shown in Fig. 5(b), although the virtual keyboard k can provide a Korean keyboard, it is difficult to input the Chinese character "明太子" using the virtual keyboard k of the Korean keyboard. Accordingly, the handwriting input
필기 입력기(n)는 사용자가 인가하는 필기 입력을 인식할 수 있으며, 인식한 필기 입력에 대응하는 문자를 생성할 수 있다. 여기서, 필기 입력기 표시부(120)는 대상 이미지(i) 중에서 대상영역(r)을 크롭(crop)하여 생성한 크롭 이미지(c)를 더 포함하여 표시할 수 있다. 즉, 필기 입력기 표시부(120)는 대상 이미지(i) 중에서 대상영역(r)을 잘라낼 수 있으며, 잘라낸 대상영역(r)에 대응하는 이미지인 크롭 이미지(c)를 생성할 수 있다. 이후, 크롭 이미지(c)를 필기 입력기(n)에 더 포함하여 표시함으로써, 사용자의 편의성을 향상시킬 수 있다. The handwriting input unit n may recognize a handwriting input applied by a user, and may generate a character corresponding to the recognized handwriting input. Here, the handwriting input
구체적으로, 도6(a)에 도시한 바와 같이, 필기 입력기(n) 내에 크롭 이미지(c)를 오버랩(overlap)하여, 크롭 이미지(c)를 필기 입력기(n)의 배경으로 표시할 수 있다. 이 경우, 사용자는 크롭 이미지(c)를 통하여 자신이 기재할 외국어를 명확하게 인식할 수 있으므로, 해당 외국어를 사전에 알지 못하는 사용자도 용이하게 필기 입력을 통하여 해당 문자를 입력할 수 있다. 여기서, 크롭 이미지(c)는 사용자가 따라 쓰기 쉽도록 이미지 처리를 통하여 가공될 수 있다. Specifically, as shown in Fig. 6(a), by overlapping the crop image c in the handwriting input unit n, the cropped image c may be displayed as the background of the handwriting input unit n. . In this case, since the user can clearly recognize the foreign language to be described through the cropped image c, even a user who does not know the foreign language in advance can easily input the corresponding character through handwriting input. Here, the cropped image c may be processed through image processing so that the user can easily follow along.
또한, 실시예에 따라서는, 도6(b)에 도시한 바와 같이, 필기 입력기(n)와 구별되는 별도의 위치에 크롭 이미지 표시창을 구비할 수 있으며, 크롭 이미지 표시창 내에 크롭 이미지(c)를 표시하는 것도 가능하다. 즉, 사용자는 크롭 이미지 창을 통하여 크롭 이미지(c)를 명확하게 확인할 수 있으며, 이를 통하여 크롭 이미지(c)에 포함된 문자열을 필기 입력기(n)에 정확하게 입력할 수 있다. 여기서, 크롭 이미지(c)는 이미지 처리 등을 통하여 대상영역(r) 내에 포함된 문자열이 강조될 수 있다. 즉, 크롭 이미지(c)의 명도 또는 채도 등을 조절하거나 투명도를 조절하여, 문자열 이외의 영역은 투명하게 처리하고, 문자열은 진하게 강조할 수 있다. In addition, depending on the embodiment, as shown in Fig. 6(b), a crop image display window may be provided at a location separate from the handwriting input device n, and the crop image c is displayed in the crop image display window. It is also possible to indicate. That is, the user can clearly check the crop image c through the crop image window, and through this, the character string included in the crop image c can be accurately input into the handwriting input device n. Here, in the cropped image c, a character string included in the target region r may be emphasized through image processing or the like. That is, by adjusting the brightness or saturation or the like of the cropped image c, or by adjusting the transparency, areas other than the character string can be processed transparently, and the character string can be emphasized deeply.
여기서, 크롭 이미지 표시창은, 사용자 편의를 위하여, 줌인(zoom-in) 또는 줌아웃(zoom-out) 기능을 제공할 수 있다. 즉, 사용자는 크롭 이미지 표시창에 대한 핀치-인(pinch-in) 또는 핀치-아웃(pinch-out) 등의 입력을 인가할 수 있으며, 각각의 사용자의 입력에 대응하여, 크롭 이미지를 줌인(zoom-in) 또는 줌아웃(zoom-out)하여 표시할 수 있다. 실시예에 따라서는, 확대 또는 축소 버튼을 더 포함하는 것도 가능하다. 이를 통하여, 사용자는 크롭 이미지(c)의 크기를 적절히 조절하여 표시할 수 있으며, 표시된 크롭 이미지(c)를 참조하여 필기 입력기(n)에 필기 입력을 인가할 수 있다. Here, the cropped image display window may provide a zoom-in or zoom-out function for user convenience. That is, the user can apply an input such as pinch-in or pinch-out to the crop image display window, and zoom in the crop image in response to each user's input. -in) or zoom-out. Depending on the embodiment, it is also possible to further include an enlargement or reduction button. Through this, the user can appropriately adjust and display the size of the cropped image c, and apply a handwriting input to the handwriting input device n by referring to the displayed cropped image c.
추가적으로, 대상문자열에 포함된 문자의 개수에 따라 크롭 이미지(c)의 표시위치를 변경하는 실시예도 가능하다. 즉, 대상문자열에 포함된 문자의 개수가 설정개수(예를들어, 3개) 이하인 경우에는, 필기 입력기(n) 내에 크롭 이미지(c)를 오버랩하여 표시할 수 있다. 여기서, 대상문자열에 포함된 문자가 설정개수(예를들어, 3개)를 초과하는 경우에는, 필기 입력기(n) 내에 다수의 문자들이 표시되므로, 사용자의 가독성이 떨어질 수 있다. 또한, 사용자가 필기 입력을 인가하는 경우에는, 필기 입력기(n) 내에 사용자의 필기 입력이 표시되므로, 이에 의하여 크롭 이미지(c)가 가려져 표시된 문자를 인식하기 어려운 등의 문제가 발생할 수 있다. Additionally, an embodiment of changing the display position of the cropped image c according to the number of characters included in the target string is also possible. That is, when the number of characters included in the target character string is less than or equal to the set number (eg, 3), the cropped image c may be overlapped and displayed in the handwriting input device n. Here, when the number of characters included in the target string exceeds the set number (eg, 3), since a plurality of characters are displayed in the handwriting input device n, the user's readability may be degraded. In addition, when the user applies the handwriting input, since the user's handwriting input is displayed in the handwriting input unit n, the cropped image c is obscured and it is difficult to recognize the displayed character.
따라서, 대상문자열에 포함된 문자의 개수가 설정개수를 초과하는 경우에는, 필기 입력기(n)와 구별되는 별도의 위치에 구비된 크롭 이미지 표시창 내에 크롭 이미지(c)를 표시할 수 있다. 여기서, 크롭 이미지 표시창의 경우 줌인, 줌아웃 등의 기능을 제공할 수 있으므로, 사용자는 크롭 이미지 표시창을 통하여 다수의 문자들을 효과적을 확인할 수 있으며, 이를 통하여 사용자는 필기 입력기(n)를 통하여 용이하게 필기 입력을 수행할 수 있다. Accordingly, when the number of characters included in the target string exceeds the set number, the cropped image c may be displayed in the cropped image display window provided in a separate location distinguished from the handwriting input device n. Here, in the case of the cropped image display window, functions such as zoom-in and zoom-out can be provided, so that the user can effectively check a number of characters through the cropped image display window, and through this, the user can easily write through the handwriting input device (n). Input can be performed.
한편, 필기 입력기 표시부(120)는, 대상 문자열을 표시하는 대상문자열 표시창(w1) 내에 표시되는 커서(cursor)의 위치에 따라, 표시하는 크롭 이미지(c)를 달리할 수 있다. 즉, 커서의 위치에 따라 대상영역을 크롭(crop)하여, 크롭 이미지(c)를 생성할 수 있다. Meanwhile, the handwriting input
구체적으로, 도7(a)에 도시한 바와 같이, 커서의 위치가 "太"와 "干"사이에 위치하는 경우, 대상영역(r) 상에서 "太"의 다음에 위치하는 문자인 "子"가 크롭되어 크롭 이미지(c)로 표시될 수 있다. 일반적으로, 커서가 위치하는 지점에 문자가 삽입되므로, 사용자는 "太"의 다음에 위치하는 문자인 "子"를 입력하고자 하는 것으로 볼 수 있다. 따라서, 도7(a)에 도시한 바와 같이, 커서가 "太"와 "干"사이에 위치하는 경우에는, 크롭 이미지(c)로 "子"를 생성하여 표시할 수 있다.Specifically, as shown in Fig. 7(a), when the position of the cursor is between "太" and "干", the character "子" which is located after "太" on the target area r May be cropped and displayed as a cropped image (c). In general, since a character is inserted at the point where the cursor is positioned, it can be seen that the user wants to input “子”, which is a character next to “太”. Accordingly, as shown in Fig. 7(a), when the cursor is positioned between “太” and “干”, “子” can be generated and displayed as a cropped image c.
또한, 실시예에 따라서는, 커서에 의해 선택된 선택영역에 따라, 대상영역을 크롭하는 것도 가능하다. 즉, 도7(b)에 도시한 바와 같이, 커서를 이용하여 "干"을 선택하면, 선택영역이 음영으로 표시될 수 있다. 이와 같이, 커서를 이용하여 선택한 선택영역은, 사용자가 수정하고자 하는 영역으로 볼 수 있다. 따라서, 사용자가 커서를 이용하여 선택한 선택영역인 "干"에 대응하는 크롭 이미지(c)인 "子"를 표시할 수 있다. Further, depending on the embodiment, it is also possible to crop the target area according to the selection area selected by the cursor. That is, as shown in Fig. 7(b), when "干" is selected using a cursor, the selected area may be displayed in a shade. In this way, the selection area selected by using the cursor can be viewed as the area to be modified by the user. Accordingly, "子", which is a cropped image c, corresponding to "干", which is the selection area selected by the user using the cursor, can be displayed.
즉, 대상문자열 내에 표시되는 커서의 위치나, 커서에 의하여 선택된 선택영역에 따라 크롭 이미지(c)가 크롭될 수 있으므로, 사용자가 수정하고자 하는 문자에 대응하는 크롭 이미지(c)를 명확하게 표시하는 것이 가능하다. 따라서, 사용자는 자신이 수정하고자 하는 대상문자열에 대응하는 크롭 이미지(c)를 제공받아, 정확하게 필기 입력을 수행할 수 있다. That is, since the crop image (c) can be cropped according to the position of the cursor displayed in the target string or the selection area selected by the cursor, the crop image (c) corresponding to the character to be modified by the user is clearly displayed. It is possible. Accordingly, the user is provided with the cropped image c corresponding to the target string to be modified, and can accurately perform handwriting input.
수정부(130)는 대상 문자열에 포함된 문자를 편집할 수 있다. 수정부(130)는 사용자의 입력에 대응하여 대상문자열에 문자를 추가, 삭제 또는 변경하는 편집 기능을 수행할 수 있으며, 필기 입력기(n) 또는 가상 키보드(k)를 통하여 사용자의 입력을 수신할 수 있다. 실시예에 따라서는, 수정부(130)가 필기 입력기(n)에 인가되는 사용자의 필기 입력에 대응하는 수정문자를 생성할 수 있으며, 수정문자를 대상 문자열에 추가하여 수정문자열을 생성할 수 있다. The
구체적으로, 도5(b)에 도시한 바와 같이, 대상 이미지(i)에 포함된 일본어 문자열 "明太子"를 잘못 인식하여, "明太干"을 대상문자열로 생성한 경우가 존재할 수 있다. 이 경우, 사용자는 가상 키보드(k)를 이용하여 "干"을 삭제할 수 있으며, 이후 크롭 이미지(c)를 참조하여 "子"를 필기 입력기(n)에 필기 입력으로 인가할 수 있다. 이때, 수정부(130)는 필기 입력에 대응하는 "子"를 수정문자로 생성하여 대상문자열에 추가할 수 있으며, 이 경우 대상문자열 표시창(w1)에는 수정된 "明太子"가 표시될 수 있다. Specifically, as shown in Fig. 5(b), there may be a case in which the Japanese character string "明太子" included in the target image i is incorrectly recognized and "明太干" is generated as the target character string. In this case, the user may delete "干" by using the virtual keyboard k, and then apply "子" to the handwriting input device n as a handwriting input by referring to the cropped image c. In this case, the
이와 같이, 수정부(140)는 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성할 수 있으며, 수정문자로 대상문자열을 수정하여 수정문자열을 생성할 수 있다. In this way, the
번역부(140)는 대상 문자열 또는 수정문자열을 지정된 번역언어로 번역하여 번역문자열을 생성할 수 있으며, 이때 번역은 실시간으로 수행될 수 있다. 따라서, 대상 문자열 표시창(w1)에 표시되는 대상문자열이 수정문자열로 수정되면, 번역부(140)는 수정문자열에 대한 번역을 즉시 수행하여, 번역문자열 표시창(w2)에 표시되는 번역문자열을 수정문자열에 대한 번역문자열로 변경하여 표시할 수 있다. The
번역부(140)는 번역엔진을 포함할 수 있으며, 번역엔진을 이용하여 대상문자열 또는 수정문자열을 번역언어로 번역할 수 있다. 번역엔진은 통계기반 기계번역 또는 인공신경망 기계번역을 제공하는 것일 수 있으며, 딥러닝(deep learing) 등 머신러닝(machine learing) 방식으로 학습하여 형성한 것일 수 있다. The
한편, 실시예에 따라서는, 서비스 서버(200)에서 번역을 수행하는 것도 가능하다. 이 경우, 번역부(140)는 서비스 서버(200)로 대상문자열과 사용자가 지정한 번역언어를 전송하여 번역을 요청할 수 있다. 서비스 서버(200)는 번역엔진을 포함할 수 있으며, 번역엔진을 이용하여 번역을 수행한 후, 번역부(140)로 번역문자열을 제공할 수 있다. On the other hand, depending on the embodiment, it is also possible to perform the translation in the
한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 단말장치(100)는, 프로세서(10), 메모리(40) 등의 물리적인 구성을 포함할 수 있으며, 메모리(40) 내에는 프로세서(10)에 의하여 실행되도록 구성되는 하나 이상의 모듈이 포함될 수 있다. 구체적으로, 하나 이상의 모듈에는, 대상문자열 생성모듈, 필기입력기 표시모듈, 수정모듈 및 번역모듈 등이 포함될 수 있다. Meanwhile, as shown in FIG. 3, the
프로세서(10)는, 다양한 소프트웨어 프로그램과, 메모리(40)에 저장되어 있는 명령어 집합을 실행하여 여러 기능을 수행하고 데이터를 처리하는 기능을 수행할 수 있다. 주변인터페이스부(30)는, 컴퓨터 장치의 입출력 주변 장치를 프로세서(10), 메모리(40)에 연결할 수 있으며, 메모리 제어기(20)는 프로세서(10)나 컴퓨터 장치의 구성요소가 메모리(40)에 접근하는 경우에, 메모리 액세스를 제어하는 기능을 수행할 수 있다. 실시예에 따라서는, 프로세서(10), 메모리 제어기(20) 및 주변인터페이스부(30)를 단일 칩 상에 구현하거나, 별개의 칩으로 구현할 수 있다. The
메모리(40)는 고속 랜덤 액세스 메모리, 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치와 같은 불휘발성 메모리 등을 포함할 수 있다. 또한, 메모리(40)는 프로세서(10)로부터 떨어져 위치하는 저장장치나, 인터넷 등의 통신 네트워크를 통하여 엑세스되는 네트워크 부착형 저장장치 등을 더 포함할 수 있다. The
디스플레이부(50)는 사용자가 시각을 통하여 번역 어플리케이션의 내용을 확인할 수 있도록 표시하는 구성일 수 있다. 예를들어, 디스플레이부(50)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플랙시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등을 이용하여 시각적으로 표시할 수 있다. 다만, 본 발명의 내용은 이에 한정되는 것은 아니며, 이외에도 다양한 방식으로 디스플레이부를 구현할 수 있다. 추가적으로, 디스플레이부(50)에는 스피커 등을 더 포함하여, 사용자가 음성이나 음향 등을 청각적으로 인지하도록 할 수 있다. 나아가, 디스플레이부(50)에 햅틱부 등을 더 포함하여, 촉각을 통하여 컨텐츠를 인지하도록 하는 것도 가능하다. 즉, 디스플레이부(50)는 시각, 청각 및 촉각을 이용하여, 사용자가 인지하도록 할 수 있다. The
입력부(60)는 사용자로부터 입력을 인가받는 것으로서, 키보드(keyboard), 키패드(keypad), 마우스(mouse), 터치펜(touch pen), 터치 패드(touch pad), 터치 패널(touch panel), 조그 휠(jog wheel), 조그 스위치(jog switch) 등이 입력부(60)에 해당할 수 있다.The input unit 60 receives input from a user, and includes a keyboard, a keypad, a mouse, a touch pen, a touch pad, a touch panel, and a jog. A jog wheel, a jog switch, or the like may correspond to the input unit 60.
한편, 도3에 도시한 바와 같이, 본 발명의 일 실시예에 의한 단말장치(100)는, 메모리(40)에 운영체제를 비롯하여, 응용프로그램에 해당하는 대상문자열 생성모듈, 필기입력기 표시모듈, 수정모듈 및 번역모듈 등을 포함할 수 있다. 여기서, 각각의 모듈들은 상술한 기능을 수행하기 위한 명령어의 집합으로, 메모리(40)에 저장될 수 있다. Meanwhile, as shown in FIG. 3, the
따라서, 본 발명의 일 실시예에 의한 단말장치(100)는, 프로세서(10)가 메모리(40)에 액세스하여 각각의 모듈에 대응하는 명령어를 실행할 수 있다. 다만, 대상문자열 생성모듈, 필기입력기 표시모듈, 수정모듈 및 번역모듈은 상술한 대상문자열 생성부, 필기입력기 표시부, 수정부 및 번역부에 각각 대응하므로 여기서는 자세한 설명을 생략한다. Accordingly, in the
도8은 본 발명의 일 실시예에 의한 단말장치를 이용한 번역 서비스 제공 방법을 나타내는 순서도이다. 8 is a flowchart illustrating a method of providing a translation service using a terminal device according to an embodiment of the present invention.
도8을 참조하면, 본 발명의 일 실시예에 의한 번역 서비스 제공 방법은 대상문자열 생성단계(S10), 필기입력기 표시단계(S20), 수정단계(S30), 및 번역단계(S40)를 포함할 수 있다. Referring to FIG. 8, a method for providing a translation service according to an embodiment of the present invention includes a target string generation step (S10), a handwriting input device display step (S20), a correction step (S30), and a translation step (S40). I can.
이하, 도8을 참조하여 본 발명의 일 실시예에 의한 번역 서비스 제공 방법을 설명한다. Hereinafter, a method of providing a translation service according to an embodiment of the present invention will be described with reference to FIG. 8.
대상문자열 생성단계(S10)에서는, 입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성할 수 있다. 사용자는 인쇄물이나 표지판 등에 기재된 외국어를 번역하고자 할 수 있으며, 이 경우 사용자는 해당 인쇄물이나 표지판 등을 촬영한 대상 이미지를 단말장치의 번역 어플리케이션으로 입력할 수 있다. 여기서, 대상문자열 생성단계(S10)에서는, 대상 이미지에 문자인식 알고리즘을 적용하여 대상 이미지에 포함된 문자열을 인식할 수 있으며, 인식한 문자열을 대상 문자열로 추출할 수 있다. 다만, 문자인식 알고리즘에 대하여는 앞서 설명하였으므로, 여기서는 구체적인 설명을 생략한다. In the target string generation step S10, a target string may be generated by performing character recognition on the input target image. The user may wish to translate a foreign language written on a printed matter or a sign, and in this case, the user may input a target image photographed of the printed matter or a sign, etc. into a translation application of the terminal device. Here, in the target string generating step (S10), a character string included in the target image may be recognized by applying a character recognition algorithm to the target image, and the recognized character string may be extracted as a target character string. However, since the character recognition algorithm has been described above, detailed descriptions are omitted here.
한편, 사용자는 문자 인식 알고리즘을 통하여 인식할 인식언어를 미리 설정해둘 수 있다. 즉, 대상 이미지로부터 대상 문자열을 추출하기 위해서는, 추출할 대상문자열이 어떤 언어로 기재되어 있는지에 대한 정보가 필요할 수 있다. 따라서, 사용자는 대상 이미지로부터 추출할 인식언어를 미리 설정하여, 해당 인식언어로 기재된 문자열을 대상 이미지로부터 추출하도록 할 수 있다. 여기서, 사용자가 대상 이미지에서 대상문자열을 추출할 인식언어와, 대상문자열을 번역할 번역언어를 함께 지정하는 것도 가능하다. On the other hand, the user can preset a recognition language to be recognized through a character recognition algorithm. That is, in order to extract the target string from the target image, information on the language in which the target string to be extracted is described may be required. Accordingly, the user may set a recognition language to be extracted from the target image in advance, and extract a character string written in the recognition language from the target image. Here, it is possible for the user to designate a recognition language for extracting the target text string from the target image and a translation language for translating the target text string together.
추가적으로, 대상문자열 생성단계(S10)에서는 사용자가 지정한 대상영역에 한하여 문자인식을 수행하도록 할 수 있다. 예를들어, 사용자는 전체 대상 이미지 중에서 번역이 필요한 영역을 드래그(drag)하여 대상 이미지의 표면을 문지를 수 있으며, 사용자가 문지른 영역을 스캔하여 대상영역으로 설정할 수 있다. 이후, 설정된 대상영역에 대해 문자인식을 수행하여, 대상 문자열을 생성할 수 있다. 이 경우, 전체 대상 영역에 대해 문자인식을 수행하는 경우에 비하여, 연산량을 줄일 수 있으므로 보다 신속하게 대상문자열을 생성하는 것이 가능하다. Additionally, in the target character string generation step (S10), character recognition may be performed only in the target area designated by the user. For example, the user may drag a region requiring translation from among the entire target image to rub the surface of the target image, and scan the region rubbed by the user to set it as the target region. Thereafter, character recognition is performed on the set target area, and a target character string may be generated. In this case, compared to the case of performing character recognition on the entire target area, the amount of calculation can be reduced, and thus the target string can be generated more quickly.
한편, 대상문자열 생성단계(S10)에서 생성한 대상 문자열은 대상문자열 표시창에 표시될 수 있으며, 대상 문자열에 대한 제1 번역문자열은 번역문자열 표시창에 표시될 수 있다. 도시하지 않았으나, 대상 문자열이 생성되면 단말장치는 제1 번역단계(미도시)를 수행할 수 있으며, 제1 번역단계를 통하여 생성된 제1 번역문자열이 번역문자열 표시창에 표시될 수 있다. 여기서, 제1 번역문자열은 대상문자열을 지정된 번역언어로 번역하여 생성할 수 있다. 즉, 사용자는 자신이 번역을 요청한 대상문자열과, 대상문자열에 대한 번역결과인 제1 번역문자열을, 각각 대상문자열 표시창과 번역문자열 표시창을 통하여 확인할 수 있다.Meanwhile, the target string generated in the target string generating step (S10) may be displayed on the target string display window, and the first translation string for the target string may be displayed on the translation string display window. Although not shown, when the target string is generated, the terminal device may perform a first translation step (not shown), and the first translation text generated through the first translation step may be displayed on the translation text display window. Here, the first translation string may be generated by translating the target string into a designated translation language. That is, the user can check the target string for which the user has requested translation and the first translation string, which is a translation result of the target string, through the target string display window and the translation string display window, respectively.
이때, 대상문자열 생성단계(S10)에서 대상문자열을 잘못 인식하는 경우가 발생할 수 있다. 다만, 대상 문자열과 대상영역이 동시에 표시되므로, 사용자는 자신이 선택한 대상영역에 대해 문자인식이 정확하게 수행되었는지 여부를 확인할 수 있다. In this case, a case in which the target string is incorrectly recognized in the target string generating step S10 may occur. However, since the target character string and the target area are displayed at the same time, the user can check whether the character recognition has been correctly performed for the target area selected by the user.
한편, 대상문자열이 잘못 인식된 경우, 사용자는 대상문자열을 수정하여 정확한 번역결과를 얻고자 할 수 있다. 여기서, 사용자의 단말장치에 외국어에 대응하는 가상 키보드가 구비된 경우에는, 사용자가 이를 이용하여 직접 수정하는 것도 가능하다. 다만, 일반적으로는 단말장치에 모든 외국어에 대응하는 가상 키보드를 구비하고 있지는 않으므로, 가상 키보드를 이용하여 대상문자열을 수정하기에는 어려움이 있다.On the other hand, when the target string is recognized incorrectly, the user may modify the target string to obtain an accurate translation result. Here, if a virtual keyboard corresponding to a foreign language is provided in the user's terminal device, the user may directly modify it using this. However, in general, since a terminal device does not have a virtual keyboard corresponding to all foreign languages, it is difficult to modify the target string using the virtual keyboard.
이를 해결하기 위하여, 필기 입력기 표시단계(S20)에서는 가상 키보드 대신에 필기 입력기를 제공할 수 있다. 즉, 필기입력기 표시단계(S20)에서는, 사용자의 요청에 따라 필기 입력기를 표시할 수 있다. 필기 입력기의 경우, 사용자가 직접 필기 입력으로 해당 문자를 기재하여 입력할 수 있으므로, 간단하게 잘못 인식된 문자를 수정하는 것이 가능하다. In order to solve this problem, in step S20 of displaying a handwriting input device, a handwriting input device may be provided instead of a virtual keyboard. That is, in the handwriting input device display step S20, the handwriting input device may be displayed according to a user's request. In the case of a handwriting input device, since a user can directly write and input a corresponding character by handwriting input, it is possible to simply correct an incorrectly recognized character.
필기 입력기는 사용자가 인가하는 필기 입력을 인식할 수 있으며, 인식한 필기 입력에 대응하는 문자를 생성할 수 있다. 여기서, 필기 입력기 표시단계(S20)에서는, 대상 이미지 중에서 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시할 수 있다. The handwriting input device may recognize a handwriting input applied by a user, and may generate a character corresponding to the recognized handwriting input. Here, in the handwriting input device display step S20, a cropped image generated by cropping a target area among the target images may be further included and displayed.
구체적으로, 필기 입력기 내에 크롭 이미지를 오버랩(overlap)하여, 크롭 이미지를 필기 입력기의 배경으로 표시할 수 있다. 이 경우, 사용자는 크롭 이미지를 통하여 자신이 기재할 외국어를 명확하게 인식할 수 있으므로, 해당 외국어를 사전에 알지 못하는 사용자도 용이하게 필기 입력을 통하여 해당 문자를 입력할 수 있다. Specifically, the cropped image may be displayed as a background of the handwriting input device by overlapping the cropped image in the handwriting input device. In this case, since the user can clearly recognize the foreign language to be written through the cropped image, even a user who does not know the foreign language in advance can easily input the corresponding character through handwriting input.
또한, 실시예에 따라서는, 필기 입력기와 구별되는 별도의 위치에 크롭 이미지 표시창을 구비할 수 있으며, 크롭 이미지 표시창 내에 크롭 이미지를 표시하는 것도 가능하다. 즉, 사용자는 크롭 이미지 창을 통하여 크롭 이미지를 명확하게 확인할 수 있으며, 이를 통하여 크롭 이미지에 포함된 문자열을 필기 입력기에 정확하게 입력할 수 있다. 여기서, 크롭 이미지는 이미지 처리 등을 통하여 대상영역 내에 포함된 문자열이 강조될 수 있다. 즉, 크롭 이미지의 명도 또는 채도 등을 조절하거나 투명도를 조절하여, 문자열 이외의 영역은 투명하게 처리하고, 문자열을 진하게 강조할 수 있다. In addition, according to an exemplary embodiment, a crop image display window may be provided at a location separate from the handwriting input device, and a crop image may be displayed in the crop image display window. That is, the user can clearly check the cropped image through the cropped image window, and through this, a character string included in the cropped image can be accurately entered into the handwriting input device. Here, in the cropped image, a character string included in the target area may be emphasized through image processing or the like. That is, by adjusting the brightness or saturation of the cropped image, or by adjusting the transparency, areas other than the character string can be processed transparently and the character string can be emphasized.
여기서, 크롭 이미지 표시창은, 사용자 편의를 위하여, 줌인(zoom-in) 또는 줌아웃(zoom-out) 기능을 제공할 수 있다. 즉, 사용자는 크롭 이미지 표시창에 대한 핀치-인(pinch-in) 또는 핀치-아웃(pinch-out) 등의 입력을 인가할 수 있으며, 각각의 사용자의 입력에 대응하여, 크롭 이미지를 줌인(zoom-in) 또는 줌아웃(zoom-out)하여 표시할 수 있다. 이를 통하여, 사용자는 크롭 이미지의 크기를 적절히 조절하여 표시할 수 있으며, 표시된 크롭 이미지를 참조하여 필기 입력기에 필기 입력을 인가할 수 있다. Here, the cropped image display window may provide a zoom-in or zoom-out function for user convenience. That is, the user can apply an input such as pinch-in or pinch-out to the crop image display window, and zoom in the crop image in response to each user's input. -in) or zoom-out. Through this, the user can appropriately adjust and display the size of the cropped image, and can apply a handwriting input to the handwriting input device by referring to the displayed cropped image.
추가적으로, 대상문자열에 포함된 문자의 개수에 따라 크롭 이미지의 표시위치를 변경하도록 설정하는 것도 가능하다. 즉, 대상문자열에 포함된 문자의 개수가 설정개수(예를들어, 3개) 이하인 경우에는, 필기 입력기 내에 크롭 이미지를 오버랩하여 표시하고, 대상문자열에 포함된 문자의 개수가 설정개수를 초과하는 경우에는, 필기 입력기와 구별되는 별도의 위치에 구비된 크롭 이미지 표시창 내에 크롭 이미지를 표시할 수 있다. Additionally, it is also possible to set the display position of the cropped image to be changed according to the number of characters included in the target string. That is, if the number of characters included in the target string is less than the set number (for example, 3), the cropped image is overlapped and displayed in the handwriting input device, and the number of characters included in the target string exceeds the set number. In this case, the cropped image may be displayed in a cropped image display window provided at a separate location distinct from the handwriting input device.
한편, 필기 입력기 표시단계(S20)에서는, 대상 문자열을 표시하는 대상문자열 표시창 내에 표시되는 커서(cursor)의 위치나, 커서에 의해 선택된 선택영역에 따라, 표시하는 크롭 이미지를 달리할 수 있다. 즉, 커서의 위치나, 커서에 의해 선택된 선택영역에 따라 대상영역을 크롭(crop)하여, 크롭 이미지를 생성할 수 있다. 이 경우, 사용자가 수정하고자 하는 문자에 대응하는 크롭 이미지만을 명확하게 표시할 수 있으므로, 사용자는 정확하게 필기 입력을 수행할 수 있다. Meanwhile, in the handwriting input device display step S20, the crop image to be displayed may be different according to the position of the cursor displayed in the target text display window displaying the target text string or the selection area selected by the cursor. That is, a cropped image may be generated by cropping the target area according to the location of the cursor or the selection area selected by the cursor. In this case, since only the cropped image corresponding to the character to be corrected by the user can be clearly displayed, the user can accurately perform handwriting input.
수정단계(S30)에서는, 사용자의 입력에 대응하여 대상문자열에 문자를 추가, 삭제 또는 변경할 수 있다. 구체적으로, 수정단계(S30)에서는 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 수정문자로 대상 문자열을 수정하여 수정문자열을 생성할 수 있다. 실시예에 따라서는, 사용자가 가상 키보드에 인가하는 입력에 대응하여, 대상문자열을 편집하는 것도 가능하다. In the correction step S30, a character may be added, deleted, or changed in the target character string in response to a user's input. Specifically, in the correction step (S30), a correction character corresponding to the user's handwriting input applied to the handwriting input device may be generated, and the target character string may be modified with the corrected character to generate the corrected character string. Depending on the embodiment, it is possible to edit the target string in response to an input applied by the user to the virtual keyboard.
번역단계(S40)에서는, 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성할 수 있다. 여기서, 번역은 실시간으로 수행되어 사용자에게 제공될 수 있다. 번역단계(S40)에서는 번역엔진을 이용하여 수정문자열을 번역언어로 번역할 수 있으며, 번역엔진은 통계기반 기계번역 또는 인공신경망 기계번역을 제공하는 것일 수 있다. 실시예에 따라서는, 번역엔진을 딥러닝(deep learing) 등 머신러닝(machine learing) 방식으로 학습하여 형성할 수 있다.In the translation step S40, the modified text string is translated into a designated translation language, and a translation text string may be generated. Here, translation may be performed in real time and provided to a user. In the translation step (S40), the modified character string may be translated into a translation language using a translation engine, and the translation engine may provide statistical-based machine translation or artificial neural network machine translation. Depending on the embodiment, it may be formed by learning a translation engine in a machine learning method such as deep learning (deep learing).
또한, 실시예에 따라서는, 서비스 서버에서 번역을 수행하는 것도 가능하다. 이 경우, 번역단계(S40)에서는 번역서버로 대상문자열을 전송하여 번역을 요청하고, 번역서버로부터 번역언어로 번역된 번역문자열을 수신할 수 있다. 여기서, 서비스 서버에는 번역엔진이 포함될 수 있으며, 서비스 서버는 번역엔진을 이용하여 번역을 수행할 수 있다. Further, depending on the embodiment, it is also possible to perform the translation in the service server. In this case, in the translation step (S40), the target string is transmitted to the translation server to request translation, and the translation string translated into the translation language may be received from the translation server. Here, the service server may include a translation engine, and the service server may perform translation using the translation engine.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above-described present invention can be implemented as a computer-readable code on a medium on which a program is recorded. The computer-readable medium may be one that continuously stores a program executable by a computer, or temporarily stores a program for execution or download. In addition, the medium may be a variety of recording means or storage means in a form in which a single piece of hardware or several pieces of hardware are combined. The medium is not limited to a medium directly connected to a computer system, but may be distributed on a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks, and And a ROM, RAM, flash memory, and the like, and may be configured to store program instructions. In addition, examples of other media include an app store that distributes applications, a site that supplies or distributes various software, and a recording medium or storage medium managed by a server. Therefore, the detailed description above should not be construed as restrictive in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.The present invention is not limited by the above-described embodiments and the accompanying drawings. It will be apparent to those of ordinary skill in the art to which the present invention pertains, that components according to the present invention can be substituted, modified, and changed within the scope of the technical spirit of the present invention.
10: 프로세서 20: 메모리 제어부
30: 주변인터페이스부 40: 메모리
100: 단말장치 110: 대상 문자열 생성부
120: 필기 입력기 표시부 130: 수정부
140: 번역부 200: 서비스 서버
S10: 대상 문자열 생성단계 S20: 필기 입력기 표시단계
S30: 수정단계 S40: 번역단계10: processor 20: memory control unit
30: peripheral interface unit 40: memory
100: terminal device 110: target string generator
120: handwriting input device display unit 130: revision
140: translation unit 200: service server
S10: Target string generation step S20: Handwriting input method display step
S30: Correction step S40: Translation step
Claims (17)
입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계;
사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계;
상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및
상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함하는 것으로,
상기 대상 문자열 생성 단계는
상기 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정하고, 상기 대상영역 내에서 상기 문자인식을 수행하여 상기 대상문자열을 생성하고,
상기 필기 입력기 표시단계는
상기 대상 이미지 중에서 상기 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시하는 것으로, 상기 필기 입력기 내에 상기 크롭 이미지를 오버랩(overlap)하여, 상기 크롭 이미지를 상기 필기 입력기의 배경에 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
In the method of providing a translation service of a terminal device,
A target string generating step of generating a target string by performing character recognition on the input target image;
A handwriting input device displaying step of displaying a handwriting input device according to a user's request;
A modification step of generating a corrected character corresponding to a user's handwriting input applied to the handwriting input device, and generating a corrected character string by modifying the target character string with the corrected character; And
And a translation step of translating the modified string into a designated translation language to generate a translation string,
The step of generating the target string
In the target image, a target region received from a user is specified, and the character recognition is performed within the target region to generate the target string,
The step of displaying the handwriting input device
Among the target images, a crop image generated by cropping the target area is further included and displayed, and the crop image is displayed on the background of the writing input device by overlapping the crop image in the writing input device. A method for providing a translation service of a terminal device, characterized in that.
사용자로부터 입력받은 인식언어를 이용하여, 상기 대상 이미지에 대한 문자인식을 수행하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 1, wherein the step of generating the target string
A method of providing a translation service for a terminal device, characterized in that character recognition for the target image is performed using a recognition language input from a user.
상기 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정하고, 상기 대상영역 내에서 상기 문자인식을 수행하여 상기 대상문자열을 생성하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 1, wherein the step of generating the target string
A method for providing a translation service of a terminal device, characterized in that, among the target images, a target region received from a user is specified, and the target text string is generated by performing the character recognition within the target region.
상기 대상 이미지 중에서 사용자가 드래그(drag)하여 상기 대상 이미지 표면을 문지른 영역을 스캔하여, 상기 대상영역으로 설정하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 3, wherein the step of generating the target string
A method of providing a translation service of a terminal device, wherein a region of the target image that has been dragged by a user and rubbed on the surface of the target image is scanned and set as the target region.
상기 대상 문자열이 생성되면, 상기 대상문자열을 상기 번역언어로 번역하여 제1 번역문자열을 생성하는 제1 번역단계를 더 포함하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 1,
And a first translation step of generating a first translation string by translating the target string into the translation language when the target string is generated.
상기 대상 이미지 중에서 상기 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 3, wherein the displaying of the handwriting input device comprises:
A method of providing a translation service of a terminal device, further comprising and displaying a cropped image generated by cropping the target region among the target images.
입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계;
사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계;
상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및
상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함하는 것으로,
상기 대상 문자열 생성 단계는
상기 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정하고, 상기 대상영역 내에서 상기 문자인식을 수행하여 상기 대상문자열을 생성하고,
상기 필기 입력기 표시단계는
상기 대상 이미지 중에서 상기 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시하는 것으로, 상기 필기 입력기와 구별되는 위치에 구비된 크롭 이미지 표시창 내에 상기 크롭 이미지를 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
In the method of providing a translation service of a terminal device,
A target string generating step of generating a target string by performing character recognition on the input target image;
A handwriting input device displaying step of displaying a handwriting input device according to a user's request;
A modification step of generating a corrected character corresponding to a user's handwriting input applied to the handwriting input device, and generating a corrected character string by modifying the target character string with the corrected character; And
And a translation step of translating the modified string into a designated translation language to generate a translation string,
The step of generating the target string
In the target image, a target region received from a user is specified, and the character recognition is performed within the target region to generate the target string,
The step of displaying the handwriting input device
A terminal characterized in that the target image further includes and displays a crop image generated by cropping the target area, wherein the crop image is displayed in a crop image display window provided at a location distinct from the handwriting input device. How the device provides translation services.
상기 크롭 이미지 표시창에 대한 사용자의 입력에 대응하여, 상기 크롭 이미지를 줌인(zoom-in) 또는 줌아웃(zoom-out)하여 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 8, wherein the displaying of the handwriting input device comprises:
A method for providing a translation service for a terminal device, wherein the cropped image is zoomed in or zoomed out in response to a user input to the cropped image display window.
입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계;
사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계;
상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및
상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함하는 것으로,
상기 대상 문자열 생성 단계는
상기 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정하고, 상기 대상영역 내에서 상기 문자인식을 수행하여 상기 대상문자열을 생성하고,
상기 필기 입력기 표시단계는
상기 대상 이미지 중에서 상기 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시하는 것으로, 상기 대상문자열에 포함된 문자의 개수가 설정개수 이하면 상기 필기 입력기 내에 상기 크롭 이미지를 오버랩하여 표시하고, 상기 대상문자열에 포함된 문자의 개수가 설정개수를 초과하면 상기 필기 입력기와 구별되는 위치에 구비된 크롭 이미지 표시창 내에 상기 크롭 이미지를 표시하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
In the method of providing a translation service of a terminal device,
A target string generating step of generating a target string by performing character recognition on the input target image;
A handwriting input device displaying step of displaying a handwriting input device according to a user's request;
A modification step of generating a corrected character corresponding to a user's handwriting input applied to the handwriting input device, and generating a corrected character string by modifying the target character string with the corrected character; And
And a translation step of translating the modified string into a designated translation language to generate a translation string,
The step of generating the target string
In the target image, a target region received from a user is specified, and the character recognition is performed within the target region to generate the target string,
The step of displaying the handwriting input device
Among the target images, a cropped image generated by cropping the target area is further included and displayed.If the number of characters included in the target string is less than or equal to the set number, the cropped image is displayed by overlapping the handwriting input device And, when the number of characters included in the target string exceeds the set number, the cropped image is displayed in a cropped image display window provided at a location distinct from the handwriting input device.
입력된 대상 이미지에 대한 문자인식을 수행하여, 대상 문자열을 생성하는 대상 문자열 생성단계;
사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시단계;
상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정단계; 및
상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역단계를 포함하는 것으로,
상기 대상 문자열 생성 단계는
상기 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정하고, 상기 대상영역 내에서 상기 문자인식을 수행하여 상기 대상문자열을 생성하고,
상기 필기 입력기 표시단계는
상기 대상 이미지 중에서 상기 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시하는 것으로, 상기 대상 문자열을 표시하는 대상문자열 표시창 내에 표시되는 커서(cursor)의 위치, 또는 상기 커서에 의해 선택된 선택영역에 따라, 상기 대상영역을 크롭하여 상기 크롭 이미지를 생성하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
In the method of providing a translation service of a terminal device,
A target string generating step of generating a target string by performing character recognition on the input target image;
A handwriting input device displaying step of displaying a handwriting input device according to a user's request;
A modification step of generating a corrected character corresponding to a user's handwriting input applied to the handwriting input device, and generating a corrected character string by modifying the target character string with the corrected character; And
And a translation step of translating the modified string into a designated translation language to generate a translation string,
The step of generating the target string
In the target image, a target region received from a user is specified, and the character recognition is performed within the target region to generate the target string,
The step of displaying the handwriting input device
Among the target images, a cropped image generated by cropping the target area is further included and displayed, and the position of a cursor displayed in the target string display window displaying the target string, or selected by the cursor A method for providing a translation service of a terminal device, comprising cropping the target area according to the selected area to generate the cropped image.
상기 필기 입력기를 이용하여, 상기 대상 문자열 중 적어도 일부를 추가, 삭제 또는 변경하는 편집기능을 제공하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 1, wherein the modifying step
And providing an editing function for adding, deleting, or changing at least a part of the target character string by using the handwriting input device.
상기 수정문자열이 입력되면, 실시간으로 번역하여 상기 번역문자열을 생성하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 1, wherein the translation step
When the modified character string is input, the translation service providing method of a terminal device, characterized in that the translation in real time to generate the translation character string.
번역서버로 상기 대상문자열을 전송하여 번역을 요청하고, 상기 번역서버로부터 상기 번역언어로 번역된 번역문자열을 수신하는 것을 특징으로 하는 단말장치의 번역 서비스 제공 방법.
The method of claim 1, wherein the translation step
A method for providing a translation service of a terminal device, comprising transmitting the target text string to a translation server to request translation, and receiving a translation text string translated into the translation language from the translation server.
A computer program combined with hardware and stored in a medium to execute the method of providing a translation service according to any one of claims 1 to 6 and 8 to 14.
사용자의 요청에 따라, 필기 입력기를 표시하는 필기 입력기 표시부;
상기 필기 입력기에 인가된 사용자의 필기 입력에 대응하는 수정문자를 생성하고, 상기 수정문자로 상기 대상 문자열을 수정하여 수정문자열을 생성하는 수정부; 및
상기 수정문자열을 지정된 번역언어로 번역하여, 번역문자열을 생성하는 번역부를 포함하는 것으로,
상기 대상 문자열 생성부는
상기 대상 이미지 중에서 사용자로부터 입력받은 대상영역을 특정하고, 상기 대상영역 내에서 상기 문자인식을 수행하여 상기 대상문자열을 생성하고,
상기 필기 입력기 표시부는
상기 대상 이미지 중에서 상기 대상영역을 크롭(crop)하여 생성한 크롭 이미지를 더 포함하여 표시하고, 상기 필기 입력기 내에 상기 크롭 이미지를 오버랩(overlap)하여 상기 크롭 이미지를 상기 필기 입력기의 배경에 표시하는 것을 특징으로 하는 단말장치. A target character string generator for generating a target character string by performing character recognition on the input target image, and displaying the target character string on a target character string display window;
A handwriting input device display unit that displays a handwriting input device according to a user's request;
A correction unit generating a corrected character corresponding to a user's handwriting input applied to the handwriting input unit, and generating a corrected character string by modifying the target character string with the corrected character; And
And a translation unit for translating the modified text string into a designated translation language and generating a translation text string,
The target string generator
In the target image, a target region received from a user is specified, and the character recognition is performed within the target region to generate the target string,
The handwriting input device display unit
Displaying a crop image generated by cropping the target region among the target images, and displaying the crop image on the background of the handwriting input device by overlapping the crop image in the writing input device. Terminal device characterized by.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180083275A KR102171327B1 (en) | 2018-07-18 | 2018-07-18 | Method for proving translation service and terminal device using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180083275A KR102171327B1 (en) | 2018-07-18 | 2018-07-18 | Method for proving translation service and terminal device using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200009205A KR20200009205A (en) | 2020-01-30 |
| KR102171327B1 true KR102171327B1 (en) | 2020-10-29 |
Family
ID=69321328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180083275A KR102171327B1 (en) | 2018-07-18 | 2018-07-18 | Method for proving translation service and terminal device using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102171327B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210109361A (en) * | 2020-02-27 | 2021-09-06 | 양기동 | 3D fabric printing type flexible display apparatus, and display control system for the same |
| KR102422221B1 (en) | 2020-03-30 | 2022-07-19 | 라인플러스 주식회사 | Method, system, and computer program for extracting and providing text color and background color in image |
| KR102185090B1 (en) * | 2020-06-16 | 2020-12-01 | (주)켐녹 | Website management device using translation model based on deep learning and operation method of the same |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100992858B1 (en) | 2008-12-30 | 2010-11-09 | 엔에이치엔(주) | Method, system and computer-readable recording medium for correcting result of ocr |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100953627B1 (en) * | 2008-04-11 | 2010-04-20 | 엔에이치엔(주) | Method, apparatus and computer-readable recording medium for reading text on image contained in web page and providing translation service on same text |
| KR20120071417A (en) * | 2010-12-23 | 2012-07-03 | 에스케이플래닛 주식회사 | Real time auto translation system and method, terminal capable of real time translating |
| KR20140008987A (en) * | 2012-07-13 | 2014-01-22 | 삼성전자주식회사 | Method and apparatus for controlling application using recognition of handwriting image |
| KR20160071144A (en) * | 2014-12-11 | 2016-06-21 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
-
2018
- 2018-07-18 KR KR1020180083275A patent/KR102171327B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100992858B1 (en) | 2008-12-30 | 2010-11-09 | 엔에이치엔(주) | Method, system and computer-readable recording medium for correcting result of ocr |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200009205A (en) | 2020-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6896239B2 (en) | User interface provision method, machine-readable storage medium and mobile terminal | |
| US10248878B2 (en) | Character input method and system as well as electronic device and keyboard thereof | |
| KR102171327B1 (en) | Method for proving translation service and terminal device using the same | |
| CN111935532B (en) | Video interaction method and device, electronic equipment and storage medium | |
| KR102061867B1 (en) | Apparatus for generating image and method thereof | |
| CN112115678B (en) | Information display method and device, storage medium and electronic equipment | |
| US11025815B2 (en) | Devices, methods, and graphical user interfaces for assisted photo-taking | |
| KR20170014353A (en) | Apparatus and method for screen navigation based on voice | |
| CN108829686B (en) | Translation information display method, device, equipment and storage medium | |
| WO2014201831A1 (en) | Wearable smart glasses as well as device and method for controlling the same | |
| WO2014161347A1 (en) | Method and device for relocating input box to target position in mobile terminal browser, and storage medium | |
| US20150212713A1 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
| US20200387276A1 (en) | Virtualization of physical activity surface | |
| US20200379946A1 (en) | Device, method, and graphical user interface for migrating data to a first device during a new device set-up workflow | |
| WO2016121310A1 (en) | Image processing device and electronic whiteboard | |
| US20190369938A1 (en) | Information processing method and related electronic device | |
| US10965743B2 (en) | Synchronized annotations in fixed digital documents | |
| US10114501B2 (en) | Wearable electronic device using a touch input and a hovering input and controlling method thereof | |
| US20230244363A1 (en) | Screen capture method and apparatus, and electronic device | |
| WO2022231707A1 (en) | Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer | |
| WO2015145571A1 (en) | Terminal device, display control method, and program | |
| US20140368432A1 (en) | Wearable smart glasses as well as device and method for controlling the same | |
| US20170310920A1 (en) | Method and system for rendering documents with depth camera for telepresence | |
| KR102206486B1 (en) | Method for proving translation service by using input application and terminal device using the same | |
| CN112329563A (en) | Intelligent reading auxiliary method and system based on raspberry pie |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |