JP2021528788A - Translation service provision method using input application and terminal device using this - Google Patents
Translation service provision method using input application and terminal device using this Download PDFInfo
- Publication number
- JP2021528788A JP2021528788A JP2020573205A JP2020573205A JP2021528788A JP 2021528788 A JP2021528788 A JP 2021528788A JP 2020573205 A JP2020573205 A JP 2020573205A JP 2020573205 A JP2020573205 A JP 2020573205A JP 2021528788 A JP2021528788 A JP 2021528788A
- Authority
- JP
- Japan
- Prior art keywords
- translation
- input
- character string
- language
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims abstract description 306
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000010454 slate Substances 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- WWYNJERNGUHSAO-XUDSTZEESA-N (+)-Norgestrel Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](CC)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 WWYNJERNGUHSAO-XUDSTZEESA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
- G06F15/0225—User interface arrangements, e.g. keyboard, display; Interfaces to other computer systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/263—Language identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本出願は、入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置に関し、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法は、端末装置で実行中の第１アプリケーションの要請に応じて、前記第１アプリケーションにコンテンツを入力する入力インターフェースを出力する入力インターフェース出力段階；ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定段階；ユーザが前記入力インターフェースを用いてコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出段階；前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳段階；及び前記翻訳文字列を前記第１アプリケーションの入力窓に入力する入力段階を含むことができる。
【選択図】 図１The present application relates to a method for providing a translation service using an input application and a terminal device using the same, and the method for providing a translation service using an input application according to an embodiment of the present invention is a request for a first application being executed on the terminal device. Input interface output stage of outputting an input interface for inputting content to the first application; the input interface is converted to the translation input mode by the input of the user, and the input language and the translation language selected by the user A translation pair setting stage for setting translation pair information of an input language and a translation language; a target character string extraction stage for extracting a target character string corresponding to the input language from the content when a user inputs content using the input interface. A translation step of translating the target character string into the translation language to generate a translation character string; and an input step of inputting the translation character string into the input window of the first application can be included.
[Selection diagram] Fig. 1
Description
本出願は、第１アプリケーションの入力窓に文字などのコンテンツを入力する入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置に関する。 The present application relates to a method for providing a translation service using an input application for inputting contents such as characters into the input window of the first application, and a terminal device using the same.
最近では、デジタル技術の発達によってモバイル端末の使用が普遍化しており、これを用いた様々なサービスが提供されている。 Recently, the use of mobile terminals has become universal due to the development of digital technology, and various services using this have been provided.
モバイル端末は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タップレット（ｔａｂｌｅｔ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）などを含み、通信、ゲーム、マルチメディアサービスなどのようにパーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎｅｌ Ｃｏｍｐｕｔｅｒ）から提供可能な様々な機能を搭載する方向に発展している。 Mobile terminals include smartphones (smart phones), taplets (tablets), wearable devices (wearable devices), and various types that can be provided from personal computers (PCs) such as communications, games, and multimedia services. It is developing in the direction of installing various functions.
通常、モバイル端末は、ユーザから情報を入力できる情報入力手段を備える必要がある。最近ではモバイル端末の情報入力手段として仮想キーボード入力方式を用いるのが主流である。仮想キーボード入力方式とは、タッチスクリーン上に仮想キーボードを表示し、ユーザが仮想キーボードで所望のキーに接触すると、そのキーに対応するキー値が入力される方式を意味できる。 Usually, a mobile terminal needs to be provided with an information input means capable of inputting information from a user. Recently, it is the mainstream to use the virtual keyboard input method as the information input means of the mobile terminal. The virtual keyboard input method can mean a method in which a virtual keyboard is displayed on a touch screen, and when a user touches a desired key on the virtual keyboard, a key value corresponding to that key is input.
仮想キーボード関連技術は、Ａｒｔｈｕｒ，Ｃ．Ｌａｍｂ，Ｊｒ．等に許与された米国特許第５，２７６，７９４号に開示されている。当該技術では、データフィールドをポインタで選択すれば、仮想キーボードがポップアップしてディスプレイされる。仮想キーボードはキー領域と表示領域を有し、ユーザによってキー領域内に構成された所定のキーが選択されると当該キーの文字が表示領域に表示される。 Virtual keyboard-related technologies are available from Arthur, C.I. Lamb, Jr. It is disclosed in US Pat. No. 5,276,794 granted to the above. With this technology, when a data field is selected with a pointer, a virtual keyboard pops up and is displayed. The virtual keyboard has a key area and a display area, and when a predetermined key configured in the key area is selected by the user, the characters of the key are displayed in the display area.
本出願は、ユーザが入力する文字列などを実時間で翻訳して入力できる、入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置を提供しようとする。 The present application aims to provide a translation service providing method using an input application and a terminal device using the translation service, which can translate and input a character string or the like input by a user in real time.
本出願は、外国語で記載された文字列を選択すれば、自動でユーザの使用する言語に翻訳して提供できる、入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置を提供しようとする。 This application aims to provide a translation service providing method using an input application and a terminal device using the translation service, which can be automatically translated and provided in the language used by the user by selecting a character string written in a foreign language. do.
本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法は、端末装置で実行中の第１アプリケーションの要請に応じて、前記第１アプリケーションにコンテンツを入力する入力インターフェースを出力する入力インターフェース出力段階；ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定段階；ユーザが前記入力インターフェースを用いてコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出段階；前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳段階；及び前記翻訳文字列を前記第１アプリケーションの入力窓に入力する入力段階を含むことができる。 The method of providing a translation service using an input application according to an embodiment of the present invention is an input interface output that outputs an input interface for inputting content to the first application in response to a request of the first application being executed on the terminal device. Step; A translation pair setting stage in which the input interface is converted to the translation input mode by the user's input and the translation pair information of the input language and the translation language is set according to the input language and the translation language selected by the user; the user inputs the input. When the content is input using the interface, the target character string corresponding to the input language is extracted from the content. Target character string extraction stage; The target character string is translated into the translation language to generate a translation character string. Steps; and an input step of inputting the translated character string into the input window of the first application can be included.
本発明の一実施例による端末装置は、実行中の第１アプリケーションの要請に応じて、前記第１アプリケーションにコンテンツを入力する入力インターフェースを出力するインターフェース出力部；ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定部；前記入力インターフェースを用いてユーザがコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出部；前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳部；及び前記翻訳文字列を前記第１アプリケーションの入力窓に入力する入力部を含むことができる。 The terminal device according to an embodiment of the present invention is an interface output unit that outputs an input interface for inputting contents to the first application in response to a request of the first application being executed; the input interface is translated by user input. A translation pair setting unit that switches to the input mode and sets the translation pair information of the input language and the translation language according to the input language and the translation language selected by the user; when the user inputs the content using the input interface, the content A target character string extraction unit that extracts a target character string corresponding to the input language from; a translation unit that translates the target character string into the translation language to generate a translation character string; It can include an input part to input to the input window of the application.
本発明の他の実施例による端末装置は、プロセッサ；及び前記プロセッサに結合されたメモリを含むものであって、前記メモリは前記プロセッサによって実行されるように構成される一つ以上のモジュールを含み、前記一つ以上のモジュールは、端末装置で実行中の第１アプリケーションの要請に応じて、前記第１アプリケーションにコンテンツを入力する入力インターフェースを出力し、ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定し、ユーザが前記入力インターフェースを用いて前記コンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出し、前記対象文字列を前記翻訳言語に翻訳して翻訳文字列を生成し、前記翻訳文字列を前記第１アプリケーションの入力窓に入力する、命令語を含むことができる。 The terminal device according to another embodiment of the present invention includes a processor; and a memory coupled to the processor, wherein the memory includes one or more modules configured to be executed by the processor. , The one or more modules output an input interface for inputting content to the first application in response to a request of the first application being executed on the terminal device, and translate the input interface according to the user's input. The input language and the translation language selected by the user are used to set the translation pair information of the input language and the translation language, and when the user inputs the content using the input interface, the content is changed to the input language. It may include a command word that extracts a corresponding target character string, translates the target character string into the translation language to generate a translation character string, and inputs the translation character string into the input window of the first application. can.
なお、上記した課題の解決手段は、本発明の特徴を全て列挙したものではない。本発明の様々な特徴とそれによる利点及び効果は、次の具体的な実施形態を参照してより詳細に理解されるであろう。 It should be noted that the means for solving the above-mentioned problems does not list all the features of the present invention. The various features of the present invention and their advantages and effects will be understood in more detail with reference to the following specific embodiments.
本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置によれば、ユーザが入力する文字列などを実時間で翻訳して提供することができる。また、外国語で記載された文字列を選択すれば自動でユーザの使用する言語に翻訳して提供することができる。したがって、ユーザは、別の翻訳プログラムなどを使用することなく、入力アプリケーションを用いて便利にコミュニケーションすることができる。 According to the translation service providing method using the input application according to the embodiment of the present invention and the terminal device using the translation service, it is possible to translate and provide a character string or the like input by the user in real time. In addition, if a character string written in a foreign language is selected, it can be automatically translated into the language used by the user and provided. Therefore, the user can conveniently communicate using the input application without using another translation program or the like.
本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置によれば、ユーザが入力する文字列の文体を考慮して翻訳することが可能である。したがって、ユーザは翻訳機能を用いてコミュニケーションをする場合にも、自身の文体やニュアンスを含めることができる。 According to the translation service providing method using the input application according to the embodiment of the present invention and the terminal device using the same, it is possible to translate in consideration of the style of the character string input by the user. Therefore, the user can include his / her style and nuance even when communicating using the translation function.
ただし、本発明の実施例に係る入力アプリケーションを用いた翻訳サービス提供方法及びこれを用いる端末装置が達成できる効果は以上で言及したものに制限されず、言及していない別の効果は、以下の記載から、本発明の属する技術の分野における通常の知識を有する者に明確に理解されるであろう。 However, the effect that can be achieved by the translation service providing method using the input application and the terminal device using the method according to the embodiment of the present invention is not limited to those mentioned above, and other effects not mentioned are as follows. From the description, it will be clearly understood by those who have conventional knowledge in the field of technology to which the present invention belongs.
以下、添付の図面を参照して、本明細書に開示された実施例を詳細に説明する。ただし、図面符号に関係なく、同一又は類似の構成要素には同一の参照番号を付し、その繰り返しの説明は省略するものとする。以下の説明で使われる構成要素に対する接尾辞“モジュール”及び“部”は、明細書作成の容易さだけを考慮して付与又は代替使用されるものであり、それ自体で互いに区別される意味又は役割を有するものではない。すなわち、本発明で使われる‘部’という用語は、ソフトウェア、ＦＰＧＡ又はＡＳＩＣのようなハードウェア構成要素を意味し、‘部’は、ある役割を担う。しかし、‘部’は、ソフトウェア又はハードウェアに限定される意味ではない。‘部’はアドレシング可能な記憶媒体に含まれるように構成されてもよく、一つ又はそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、‘部’は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と‘部’から提供される機能は、より小さい数の構成要素及び‘部’に結合されてもよく、追加の構成要素と‘部’にさらに分離されてもよい。 Hereinafter, examples disclosed in the present specification will be described in detail with reference to the accompanying drawings. However, regardless of the drawing code, the same or similar components shall be given the same reference number, and the repeated description thereof shall be omitted. The suffixes "module" and "part" to the components used in the following description are given or used as alternatives only for ease of specification, meaning or are distinguished from each other by themselves. It does not have a role. That is, the term'part'used in the present invention means a hardware component such as software, FPGA or ASIC, and the'part'plays a role. However, the'part'is not limited to software or hardware. The'part'may be configured to be included in an addressable storage medium or to regenerate one or more processors. Therefore, as an example,'parts' are components such as software components, object-oriented software components, class components and task components, as well as processes, functions, attributes, procedures, subroutines, program code segments, drivers. Includes firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. The components and the functionality provided by the'parts' may be combined into a smaller number of components and'parts', or may be further separated into additional components and'parts'.
また、本明細書に開示された実施例を説明するとき、関連した公知技術についての具体的な説明が、本明細書に開示された実施例の要旨を曖昧にさせ得ると判断される場合、その詳細な説明を省略する。また、添付の図面は本明細書に開示の実施例を容易に理解させるためのものに過ぎず、添付の図面によって本明細書に開示の技術的思想は制限されず、本発明の思想及び技術範囲に含まれる全ての変更、均等物又は代替物を含むものとして理解されるべきである。 In addition, when the examples disclosed in the present specification are described, if it is determined that a specific description of the related publicly known technology can obscure the gist of the examples disclosed in the present specification. The detailed description thereof will be omitted. In addition, the accompanying drawings are merely intended to facilitate the understanding of the embodiments disclosed in the present specification, and the technical ideas disclosed in the present specification are not limited by the attached drawings, and the ideas and techniques of the present invention are not limited. It should be understood as including all modifications, equivalents or alternatives included in the scope.
図１は、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供システムを示す概略図である。 FIG. 1 is a schematic view showing a translation service providing system using an input application according to an embodiment of the present invention.
図１を参照すると、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供システムは、端末装置１００及びサービスサーバー２００を含むことができる。
Referring to FIG. 1, a translation service providing system using an input application according to an embodiment of the present invention can include a
以下、図１を参照して、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供システムを説明する。 Hereinafter, a translation service providing system using an input application according to an embodiment of the present invention will be described with reference to FIG.
端末装置１００は、様々な種類のアプリケーションを実行でき、実行中のアプリケーションを視覚や聴覚などで表示してユーザに提供することができる。端末装置１００は、アプリケーションを視覚的に表示するためのディスプレイ部を含むことができ、ユーザの入力が印加される入力装置部、少なくとも一つのプログラムが記憶されたメモリ及びプロセッサを含むことができる。
The
端末装置１００で実行されるアプリケーションは、ユーザから文字や音声、イメージ、動画などのコンテンツが入力される入力窓を含むことができる。例えば、相手とメッセージをやりとりするメッセンジャーアプリケーション、簡単なメモを作成し保存するメモアプリケーション、文書を作成するためのワードプロセッサアプリケーションなどには入力窓が含まれてよい。以下、入力窓を含むアプリケーションを第１アプリケーションという。
The application executed by the
ユーザが第１アプリケーションの入力窓に文字などを入力しようとする場合には、入力アプリケーションが実行されてよい。入力アプリケーションは、第１アプリケーションとは別個に備えられるもので、第１アプリケーションに付帯して実行可能である。すなわち、入力アプリケーションは、第１アプリケーションの入力窓に文字などのコンテンツを入力する場合に実行され、第１アプリケーションにユーザが入力するコンテンツを入力する機能を果たすことができる。例えば、ユーザが文字を入力しようとする場合には、入力アプリケーションが端末装置のディスプレイ部に仮想キーボードを表示して提供でき、ユーザは仮想キーボードに入力を印加して入力窓に文字列などを入力することができる。この他にも、ユーザが音声やイメージを入力しようとする場合には、端末装置１００に設けられているマイク又はカメラを活性化させて音声やイメージを取得した後、これを第１アプリケーション内に入力させることができる。
When the user intends to input characters or the like in the input window of the first application, the input application may be executed. The input application is provided separately from the first application and can be executed incidentally to the first application. That is, the input application is executed when the content such as characters is input to the input window of the first application, and can fulfill the function of inputting the content input by the user into the first application. For example, when a user wants to input characters, an input application can display and provide a virtual keyboard on the display unit of the terminal device, and the user applies input to the virtual keyboard and inputs a character string or the like in the input window. can do. In addition to this, when the user intends to input voice or image, the microphone or camera provided in the
一方、入力アプリケーションは様々な付加サービスを提供でき、実施例によっては、入力アプリケーションを用いて翻訳サービスを提供することも可能である。例えば、ユーザは、メッセンジャーアプリケーションを用いて外国人とチャットを行うことができる。このとき、ユーザにとって外国語を使うコミュニケーションに困難があり得るが、入力アプリケーションが提供する翻訳サービスを用いてユーザの便宜性を向上させることができる。すなわち、ユーザが韓国語を入力すると、入力アプリケーションで自動で英語に翻訳して提供でき、相手が入力した英語を韓国語に翻訳する逆翻訳機能も提供することができる。したがって、ユーザは別のアプリケーションなどを実行することなく、便利に翻訳サービスの提供を受けることができる。 On the other hand, the input application can provide various additional services, and depending on the embodiment, it is also possible to provide the translation service using the input application. For example, a user can chat with a foreigner using a messenger application. At this time, although it may be difficult for the user to communicate in a foreign language, the convenience of the user can be improved by using the translation service provided by the input application. That is, when the user inputs Korean, the input application can automatically translate it into English and provide it, and can also provide a reverse translation function that translates the English input by the other party into Korean. Therefore, the user can conveniently receive the translation service without executing another application or the like.
端末装置１００は、アプリストア（Ａｐｐｌｉｃａｔｉｏｎ ｓｔｏｒｅ）又はプレイストア（Ｐｌａｙ ｓｔｏｒｅ）などに接続して、入力アプリケーションを含む様々なアプリケーションをダウンロードしてインストールすることができ、実施例によっては、サービスサーバー２００又は他の機器（図示せず）との有線又は無線通信を介してダウンロードすることも可能である。
The
端末装置１００は、スマートフォン、タップレットＰＣなどの移動端末機でよく、実施例によっては、デスクトップなどの固定型装置が含まれてもよい。ここで、端末装置１００には、携帯電話、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タップレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））などが含まれてよい。
The
一方、端末装置１００は、通信ネットワークを介してサービスサーバー２００に接続することができる。ここで、通信ネットワークは、有線ネットワークと無線ネットワークを含むことができ、具体的に、近距離ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市規模ネットワーク（ＭＡＮ：Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広帯域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの様々なネットワークを含むことができる。また、通信ネットワークは、公知のワールドワイドウェブ（ＷＷＷ：Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）を含むことができる。ただし、本発明に係る通信ネットワークは、上に挙げたネットワークに限定されず、公知の無線データネットワーク、公知の電話ネットワーク、公知の有線又は無線テレビジョンネットワークなどを含むことができる。
On the other hand, the
サービスサーバー２００は、入力アプリケーションを介して端末装置１００に接続することができ、端末装置１００に入力アプリケーションを介して翻訳サービスなどの様々なサービスを提供することができる。実施例によっては、サービスサーバー200が入力アプリケーションから受信された文字列に対する翻訳を行い、翻訳された文字列を端末装置１００に提供することも可能である。
The
図２は、本発明の一実施例による端末装置を示すブロック図である。 FIG. 2 is a block diagram showing a terminal device according to an embodiment of the present invention.
図２を参照すると、本発明の一実施例による端末装置１００は、インターフェース出力部１１０、翻訳対設定部１２０、対象文字列抽出部１３０、翻訳部１４０、入力部１５０及び逆翻訳部１６０を含むことができる。
Referring to FIG. 2, the
以下、図２を参照して、本発明の一実施例による端末装置を説明する。 Hereinafter, a terminal device according to an embodiment of the present invention will be described with reference to FIG.
インターフェース出力部１１０は、実行中の第１アプリケーションの要請に応じて、第１アプリケーションにコンテンツを入力する入力インターフェースを出力できる。ユーザは、第１アプリケーションによるサービスなどを受け取るために、第１アプリケーションに文字列や音声などのコンテンツを入力しようとすることがある。この場合、インターフェース出力部１１０は入力アプリケーションを実行し、コンテンツ入力のための入力インターフェースを端末装置のディスプレイ部に出力することができる。
The
具体的に、図４（ａ）を参照すると、第１アプリケーションａはメッセンジャーアプリケーションでよく、ユーザはメッセンジャーアプリケーションを介して相手とメッセージをやりとりすることができる。ユーザは、入力窓ａ２を介して文字列や音声、イメージなどのコンテンツを入力でき、第１アプリケーションａは、ユーザの入力したコンテンツをコンテンツ表示窓ａ１に表示できる。 Specifically, referring to FIG. 4A, the first application a may be a messenger application, and the user can exchange messages with the other party via the messenger application. The user can input contents such as a character string, voice, and an image through the input window a2, and the first application a can display the contents input by the user in the content display window a1.
ここで、第１アプリケーションａの入力窓ａ２にコンテンツを入力するために入力アプリケーションが実行されてよく、インターフェース出力部１１０は入力インターフェースｂを出力して、ユーザが入力インターフェースｂを用いてコンテンツを入力するようにできる。この場合、端末装置１００のディスプレイ部には、一つの領域に第１アプリケーションａが表示され、他の領域には入力インターフェースｂが表示されてよい。ここで、入力インターフェースｂがディスプレイ部内に表示される領域は、設定領域としてあらかじめ設定されていてもよい。
Here, an input application may be executed to input the content to the input window a2 of the first application a, the
一方、インターフェース出力部１１０は、第１アプリケーションの入力窓ａ２にカーソル（ｃｕｒｓｏｒ）が位置する場合には、第１アプリケーションａが入力アプリケーションを呼び出すと判別できる。すなわち、カーソルが入力窓ａ２に位置する場合には、ユーザが当該入力窓ａ２にコンテンツを入力しようとする意図があると見なすことができ、第１アプリケーションの入力窓ａ２にカーソルが位置する場合には入力インターフェースｂを出力させることができる。実施例によっては、ユーザが第１アプリケーションａの入力窓ａ２にカーソルを直接位置させてもよく、第１アプリケーションａが自動で入力窓ａ２にカーソルを位置させてもよい。
On the other hand, when the cursor (cursor) is located in the input window a2 of the first application, the
翻訳対設定部１２０は、ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換できる。ここで、ユーザは、翻訳のための入力言語及び翻訳言語を入力でき、翻訳対設定部１２０は、ユーザの選択した入力言語及び翻訳言語によって、翻訳対情報を設定できる。図４（ａ）を参照すると、入力インターフェースｂには、複数の動作アイコンを含むツールバーｂ２が含まれてよい。ここで、それぞれの動作アイコンは、入力アプリケーションが提供する様々なサービスを実行するためのもので、入力アプリケーションは、それぞれの動作アイコンに対応するサービスを提供できる。例えば、ユーザが検索アイコンを選択すると、ユーザがインターネット検索を行うことができるように別の実行窓を出力したり、検索サイト又は検索アプリケーションを実行したりすることができる。また、顔文字アイコンを選択すると、キャラクターなどの動作や形状を含む顔文字が表示され、ユーザの選択した顔文字を入力窓ａ２が入力できる。一方、ツールバーｂ２には翻訳アイコンｔが含まれてよく、ユーザが翻訳アイコンｔに入力を印加する〔アイコンｔをクリック／選択する〕と、図４（ｂ）に示すように、翻訳入力モードに転換できる。 The translation pair setting unit 120 can convert the input interface to the translation input mode by the input of the user. Here, the user can input an input language and a translation language for translation, and the translation pair setting unit 120 can set the translation pair information according to the input language and the translation language selected by the user. Referring to FIG. 4A, the input interface b may include a toolbar b2 containing a plurality of action icons. Here, each operation icon is for executing various services provided by the input application, and the input application can provide the service corresponding to each operation icon. For example, when a user selects a search icon, another execution window can be output so that the user can perform an Internet search, or a search site or search application can be executed. Further, when the emoticon icon is selected, the emoticon including the action and shape of the character or the like is displayed, and the emoticon selected by the user can be input by the input window a2. On the other hand, the toolbar b2 may include a translation icon t, and when the user applies an input to the translation icon t [click / select the icon t], the translation input mode is set as shown in FIG. 4 (b). Can be converted.
この場合、ユーザは、原文入力窓ｂ３に文字列を入力でき、原文入力窓ｂ３に入力した文字列に対応する翻訳文字列が第１アプリケーションａのコンテンツ表示窓ａ１に表示されてよい。ここで、入力アプリケーションが翻訳を行うためには、ユーザの入力する入力言語と、翻訳しようとする翻訳言語に関する情報を受信する必要がある。そのために、翻訳対設定部１２０は、ユーザから入力言語と翻訳言語を受信することができ、入力言語と翻訳言語を用いて翻訳対情報を生成することができる。 In this case, the user can input a character string in the original text input window b3, and the translated character string corresponding to the character string input in the original text input window b3 may be displayed in the content display window a1 of the first application a. Here, in order for the input application to perform translation, it is necessary to receive information on the input language input by the user and the translation language to be translated. Therefore, the translation pair setting unit 120 can receive the input language and the translation language from the user, and can generate the translation pair information using the input language and the translation language.
具体的に、図４（ｂ）の翻訳設定アイコンｓにユーザが入力を印加すると、図５に示すように、入力言語及び翻訳言語に対する設定窓ｂ４が出力されてよい。ここで、設定窓ｂ４には、入力アプリケーションが提供する入力言語と翻訳言語に対応する複数の言語アイコンｉが表示されてよく、言語アイコンのうち、ユーザの選択した言語アイコンに対応する言語をそれぞれ入力言語と翻訳言語に設定できる。例えば、入力言語として韓国語を選択し、翻訳言語として英語を選択する場合には、韓国語と英語を結び付けて翻訳対情報を生成することができる。 Specifically, when the user applies an input to the translation setting icon s in FIG. 4B, the input language and the setting window b4 for the translation language may be output as shown in FIG. Here, in the setting window b4, a plurality of language icons i corresponding to the input language and the translation language provided by the input application may be displayed, and among the language icons, the language corresponding to the language icon selected by the user is selected. Can be set as input language and translation language. For example, when Korean is selected as the input language and English is selected as the translation language, the translation pair information can be generated by linking Korean and English.
対象文字列抽出部１３０は、入力インターフェースｂを用いてユーザがコンテンツを入力すると、コンテンツから入力言語に対応する対象文字列を抽出できる。ここで、ユーザの入力するコンテンツには、文字列、音声、イメージ、動画などが含まれてよい。 When the user inputs the content using the input interface b, the target character string extraction unit 130 can extract the target character string corresponding to the input language from the content. Here, the content input by the user may include a character string, a voice, an image, a moving image, and the like.
具体的に、図６に示すように、ユーザの入力するコンテンツが文字列である場合には、入力言語に対応するキーボードを含む仮想キーボードｂ１を端末装置１００のディスプレイ部に表示できる。すなわち、ユーザが入力言語として韓国語を選択した場合には、韓国語キーボードが表示され、英語を選択した場合には英語キーボードが表示されてよい。ここでは、入力言語が韓国語で、翻訳言語が英語であるから、韓国語に対応する仮想キーボードｂ１が出力されてよい。
Specifically, as shown in FIG. 6, when the content input by the user is a character string, a virtual keyboard b1 including a keyboard corresponding to the input language can be displayed on the display unit of the
その後、ユーザは、仮想キーボードｂ１を用いて入力言語で文字列を入力でき、ユーザの入力した文字列は原文表示窓ｂ３に表示されてよい。したがって、ユーザは自身の作成した文字列を原文表示窓ｂ３において確認することができ、必要な場合には修正などができる。ここで、対象文字列抽出部１３０は、原文表示窓ｂ３に入力された文字列を受信することができ、受信された文字列を対象文字列として抽出できる。すなわち、ユーザが仮想キーボードｂ１を用いて文字列を直接入力する場合に該当するので、受信した文字列を対象文字列として抽出できる。 After that, the user can input a character string in the input language using the virtual keyboard b1, and the character string input by the user may be displayed in the original text display window b3. Therefore, the user can check the character string created by himself / herself in the original text display window b3, and can make corrections if necessary. Here, the target character string extraction unit 130 can receive the character string input to the original text display window b3, and can extract the received character string as the target character string. That is, since it corresponds to the case where the user directly inputs the character string using the virtual keyboard b1, the received character string can be extracted as the target character string.
一方、実施例によっては、ユーザが音声をコンテンツとして入力することも可能である。図示してはいないが、原文表示窓ｂ３内に音声認識アイコンをさらに含んでもよく、ユーザが音声認識アイコンに入力を印加する場合には、端末装置のマイクを活性化させることができる。その後、マイクを用いてユーザが発話する音声を音声信号として受信でき、受信した音声信号に音声認識アルゴリズムを適用することができる。この場合、対象文字列抽出部１３０は、音声認識アルゴリズムを用いて音声信号に対応する文字列を生成でき、生成した文字列を対象文字列として抽出できる。例えば、端末装置１００又はサービスサーバー２００は音声モデルデータベースなどを備えることができ、音声モデルデータベースにはそれぞれの文字に対応する標準音声パターンが保存されていてよい。この場合、入力される音声信号を、音声モデルデータベースに保存されている標準音声パターンと比較でき、それぞれの音声信号に対応する標準音声パターンを抽出することができる。その後、抽出した標準音声パターンを、対応する文字に変換でき、変換された文字を結合して対象文字列を生成できる。ただし、対象文字列抽出部１３０が音声を文字に変換する方式がこれに限定されるものではなく、この他にも様々な方式で音声を文字に変換できる。
On the other hand, depending on the embodiment, it is also possible for the user to input voice as content. Although not shown, the voice recognition icon may be further included in the original text display window b3, and when the user applies an input to the voice recognition icon, the microphone of the terminal device can be activated. After that, the voice spoken by the user can be received as a voice signal using the microphone, and the voice recognition algorithm can be applied to the received voice signal. In this case, the target character string extraction unit 130 can generate a character string corresponding to the voice signal by using the voice recognition algorithm, and can extract the generated character string as the target character string. For example, the
他の実施例によれば、ユーザがイメージをコンテンツとして入力することも可能である。例えば、印刷物や標識板などに記載された外国語を翻訳して入力しようとする場合もあり、この場合、外国語を直接入力するよりは、これを撮影して生成したイメージを翻訳する方が、ユーザにとって好都合である。図示してはいないが、原文表示窓ｂ３内にカメラアイコンをさらに含んでもよく、ユーザがカメラアイコンに入力を印加すると、端末装置のカメラを活性化させることができる。その後、カメラを用いて、入力言語で作成された文字列を含む対象物を撮影し、イメージを生成でき、生成したイメージに文字認識アルゴリズムを適用することができる。この場合、対象文字列抽出部１３０は、文字認識アルゴリズムを用いて、イメージに含まれた文字列を認識でき、認識した文字列を対象文字列として抽出できる。例えば、イメージに対するピクセル値の分布を、電気的信号である形状パターンで表現でき、文字モデルデータベースなどにはそれぞれの文字に対応する標準形状パターンが保存されていてよい。この場合、入力される形状パターンを、文字モデルデータベースに保存されている標準形状パターンと比較でき、それぞれの形状パターンに対応する標準形状パターンを抽出できる。その後、抽出した標準形状パターンに対応する文字にそれぞれ変換して対象文字列を生成することができる。ただし、対象文字列抽出部１３０がイメージに含まれた文字を認識する方式はこれに限定されるものではなく、その他にも様々な方式でイメージに含まれた文字を認識できる。 According to another embodiment, the user can also input the image as content. For example, you may try to translate and enter a foreign language written on printed matter or signboards. In this case, it is better to translate the image generated by shooting this than to directly enter the foreign language. , Convenient for users. Although not shown, a camera icon may be further included in the original text display window b3, and when the user applies an input to the camera icon, the camera of the terminal device can be activated. After that, an object including a character string created in an input language can be photographed using a camera to generate an image, and a character recognition algorithm can be applied to the generated image. In this case, the target character string extraction unit 130 can recognize the character string included in the image by using the character recognition algorithm, and can extract the recognized character string as the target character string. For example, the distribution of pixel values with respect to an image can be expressed by a shape pattern that is an electrical signal, and a standard shape pattern corresponding to each character may be stored in a character model database or the like. In this case, the input shape pattern can be compared with the standard shape pattern stored in the character model database, and the standard shape pattern corresponding to each shape pattern can be extracted. After that, the target character string can be generated by converting each of the characters corresponding to the extracted standard shape pattern. However, the method in which the target character string extraction unit 130 recognizes the characters included in the image is not limited to this, and the characters included in the image can be recognized by various other methods.
この他にも、対象文字列抽出部１３０は、動画に含まれた音声を認識して対象文字列を抽出することも可能である。 In addition to this, the target character string extraction unit 130 can also recognize the voice included in the moving image and extract the target character string.
翻訳部１４０は、対象文字列を翻訳言語に翻訳して翻訳文字列を生成することができる。ここで、翻訳部１４０は、翻訳エンジンを含むことができ、翻訳エンジンを用いて対象文字列を翻訳言語に翻訳することができる。翻訳エンジンは、統計ベース機械翻訳又は人工神経網機械翻訳を提供するものでよく、ディープラーニングなどのマシンラーニング方式で学習して形成できる。翻訳エンジンで生成された翻訳文字列は、第１アプリケーションａの入力窓ａ２に表示できる。
The
実施例によっては、ユーザの設定した文体情報によって、翻訳部１４０が翻訳文字列の文体を変えて翻訳文字列を生成するようにしてもよい。例えば、文体情報には、文語体、口語体、敬語体などが含まれてよく、翻訳部１４０は、ユーザの選択によって、翻訳文字列を文語体、口語体、敬語体などに生成できる。ユーザは、自身の用途や目的に応じて様々な文体やニュアンスを含めて入力言語で文字列を入力できるが、翻訳過程で文体やニュアンスが省略されることがある。このため、ユーザが自身の所望する文体を文体情報から選択して翻訳文字列の文体を設定するようにすることによって、翻訳文字列に、自身が伝達しようとするニュアンスを含めることができる。実施例によっては、文体情報としてビジネス話法、親睦用話法、ＳＮＳ用話法などに設定することも可能である。翻訳エンジンは、それぞれの文体情報から選択可能な文体に対応する結果を提供できるように、マシンラーニングなどによってそれぞれ学習されてよい。
Depending on the embodiment, the
さらに、実施例によっては、翻訳部１４０が、同一の対象文字列を異なる言語にそれぞれ翻訳してユーザに提供することも可能である。例えば、ユーザが複数の外国人と話し合う場合があり、それぞれの外国人が使用する言語が異なることがある。この場合、対象文字列を維持した状態で、ユーザが翻訳言語を変更する再設定入力を印加すると、対象文字列を再設定入力に対応する翻訳言語に再翻訳して表示することができる。
Further, depending on the embodiment, the
具体的に、図７（ａ）に示すように、ユーザはまず、韓国語を英語に翻訳しようとすることがある。その後、対象文字列を同一に維持した状態で、翻訳設定アイコンｓに入力を印加して、翻訳言語を再設定することができる。すなわち、図７（ｂ）に示すように、複数の言語アイコンの中から翻訳言語として“日本語”を選択して翻訳部１４０に再設定入力を印加できる。この場合、図７（ｃ）に示すように、同一の対象文字列を、再設定入力に対応する日本語に再翻訳して入力窓ａ２に表示することができる。これによって、ユーザは便利に一つの対象文字列を異なる複数の言語に翻訳して入力することができる。
Specifically, as shown in FIG. 7A, the user may first try to translate Korean into English. After that, while maintaining the same target character string, input can be applied to the translation setting icon s to reset the translation language. That is, as shown in FIG. 7B, "Japanese" can be selected as the translation language from the plurality of language icons, and the reset input can be applied to the
一方、実施例によっては、サービスサーバー２００で翻訳を行うことも可能である。この場合、翻訳部１４０はサービスサーバー２００に対象文字列と翻訳対情報を伝送して翻訳を要請できる。サービスサーバー２００は翻訳エンジンを含むことができ、翻訳エンジンを用いて翻訳を行った後、翻訳部１４０に翻訳文字列を提供することができる。
On the other hand, depending on the embodiment, it is also possible to perform translation on the
入力部１５０は翻訳文字列を第１アプリケーションの入力窓ａ２に入力できる。すなわち、図６（ａ）に示すように、翻訳部１４０で生成した翻訳文字列は入力部１５０によって、第１アプリケーションａの入力窓ａ２に表示できる。その後、ユーザが入力窓ａ２の入力ボタンを入力すると、翻訳文字列が第１アプリケーションに入力され、コンテンツ表示窓ａ１に表示され得る。
The
一方、原文表示窓ｂ３には、ユーザが入力言語で入力した対象文字列が表示され、入力窓ａ２には翻訳文字列が表示されてよい。したがって、ユーザは、自身の入力した対象文字列と翻訳された翻訳文字列を確認することができ、異常がないと翻訳文字列を第１アプリケーションの入力窓を介して入力できる。ここでは、ユーザが文字列を入力する場合を例示しているが、ユーザが音声やイメージを入力する場合にも、自身の入力した音声やイメージに対応する対象文字列と翻訳文字列をそれぞれ入力表示窓ｂ３と入力窓ａ２から確認することができる。翻訳では、誤字などを含む場合、全く違う内容に翻訳される危険があるので、入力表示窓ｂ３と入力窓ａ２からユーザが入力前に確認可能に提供すればよい。 On the other hand, the target character string input by the user in the input language may be displayed in the original text display window b3, and the translated character string may be displayed in the input window a2. Therefore, the user can confirm the target character string input by himself / herself and the translated translated character string, and if there is no abnormality, the translated character string can be input through the input window of the first application. Here, the case where the user inputs a character string is illustrated, but when the user inputs a voice or an image, the target character string and the translated character string corresponding to the voice or the image input by the user are input respectively. It can be confirmed from the display window b3 and the input window a2. In the translation, if a typographical error is included, there is a risk that the content will be translated into a completely different content. Therefore, the translation may be provided so that the user can confirm it before inputting from the input display window b3 and the input window a2.
逆翻訳部１６０は、ユーザの要請に応じて、第１アプリケーションに含まれた翻訳言語で表示された文字列を入力言語に逆翻訳することができる。すなわち、ユーザの選択した選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成でき、生成した逆翻訳文字列をユーザに表示することができる。
The
具体的に、図８（ａ）に示すように、第１アプリケーションａのコンテンツ表示窓ａ１内には翻訳言語で表示された複数の文字列が含まれてよい。ここで、ユーザは、複数の文字列から、逆翻訳しようとする文字列を選択し、クリップボードにコピーできる。文字列を選択する時に表示される制御窓ａ３は、第１アプリケーションａによって実行されるものであり、制御窓ａ３を用いて入力アプリケーションの動作を制御することは難しい。したがって、第１アプリケーションａで文字列をクリップボードにコピーすると、入力アプリケーションがクリップボードに接近し、コピーされた文字列に関する情報を抽出でき、これを選択文字列として抽出できる。すなわち、第１アプリケーションと入力アプリケーションはクリップボードを介して選択文字列を共有できる。 Specifically, as shown in FIG. 8A, a plurality of character strings displayed in the translation language may be included in the content display window a1 of the first application a. Here, the user can select a character string to be reverse-translated from a plurality of character strings and copy it to the clipboard. The control window a3 displayed when the character string is selected is executed by the first application a, and it is difficult to control the operation of the input application by using the control window a3. Therefore, when the character string is copied to the clipboard by the first application a, the input application approaches the clipboard and can extract the information about the copied character string, which can be extracted as the selected character string. That is, the first application and the input application can share the selected character string via the clipboard.
その後、逆翻訳部１６０は、翻訳対設定部１２０に設定された翻訳対情報から、翻訳言語に対応する入力言語を抽出でき、抽出した入力言語によって選択文字列を逆翻訳して逆翻訳文字列を生成することができる。ここで、逆翻訳部１６０が逆翻訳を直接行ってもよいが、実施例によっては翻訳部１４０に逆翻訳を要請してもよい。
After that, the
逆翻訳が完了すると、図８（ｂ）に示すように、逆翻訳文字列ｂ５を入力インターフェースｂ上に表示できる。ここで、逆翻訳部１６０は入力アプリケーションに対する制御が可能であるので、入力アプリケーションの入力インターフェースｂ上に限定して逆翻訳文字列ｂ５を表示できる。逆翻訳文字列ｂ５は、設定表示時間（例えば、３秒）だけ表示してもよく、ユーザが逆翻訳文字列ｂ５をタップ（ｔａｐ）又はスワイプ（ｓｗｉｐｅ）する場合に消えるようにしてもよい。したがって、ユーザは、外国人とチャットするなどの場合、相手から伝送されたメッセージを逆翻訳によって容易に確認することができる。ここで、ユーザの翻訳対情報を活用するので、別個に翻訳言語などを設定する必要がなく、自動で逆翻訳を行うことができる。
When the reverse translation is completed, the reverse translation character string b5 can be displayed on the input interface b as shown in FIG. 8 (b). Here, since the
さらに、逆翻訳部１６０は、逆翻訳する文字列の長さによって、表示する逆翻訳文字列ｂ５の大きさなどを調節することができる。図９（ａ）に示すように、選択文字列が３行である場合には、設定されたフォントサイズ（ｆｏｎｔ ｓｉｚｅ）で表示できるが、図９（ｂ）に示すように、７行以上である場合には、設定されたフォントサイズを縮小して逆翻訳文字列が一つの画面内に同時に表示されるようにしてもよい。ここで、フォントサイズ、又はフォントサイズ縮小が適用される逆翻訳文字列の長さなどは、実施例によって様々に設定でき、実施例によっては逆翻訳文字列ｂ５をスクロールなどでて表示することも可能である。
Further, the
一方、逆翻訳文字列は入力インターフェースｂ上に表示されるものであり、入力インターフェースｂがディスプレイ部内に表示されない場合には、逆翻訳文字列が表示されないことがある。ここで、クリップボードにコピーすることはユーザが第１アプリケーション上で行うものであり、ユーザが逆翻訳文字列の生成を意図しない場合もあり得る。したがって、逆翻訳部１６０は、ディスプレイ部内に入力インターフェースｂが表示されない場合には翻訳文字列を表示しなくてもよい。
On the other hand, the reverse translation character string is displayed on the input interface b, and when the input interface b is not displayed in the display unit, the reverse translation character string may not be displayed. Here, copying to the clipboard is performed by the user on the first application, and the user may not intend to generate the reverse translation character string. Therefore, the
ただし、実施例によっては、ユーザが文字列をクリップボードにコピーするために、文字列をタップ又はロングタップすれば、図１０（ａ）に示すように、第１アプリケーションａが入力インターフェースｂを表示しないように設定する場合も存在する。この時、ユーザが設定時間内に再び入力インターフェースを出力させる場合には、ユーザが逆翻訳文字列を確認しようとすると見なすことができる。したがって、図１０（ｂ）に示すように、入力インターフェースｂを出力しながら逆翻訳文字列ｂ５を共に表示し、ユーザに逆翻訳文字列ｂ５を提供することができる。 However, depending on the embodiment, if the user taps or long taps the character string in order to copy the character string to the clipboard, the first application a does not display the input interface b as shown in FIG. 10 (a). There is also a case where it is set as. At this time, if the user outputs the input interface again within the set time, it can be considered that the user tries to confirm the reverse translation character string. Therefore, as shown in FIG. 10B, the reverse translation character string b5 can be displayed together while outputting the input interface b, and the reverse translation character string b5 can be provided to the user.
一方、図３に示すように、本発明の一実施例による端末装置１００は、プロセッサ１０、メモリ４０などの物理的な構成を含むことができ、メモリ４０内には、プロセッサ１０によって実行されるように構成される一つ以上のモジュールを含むことができる。具体的に、一つ以上のモジュールには、インターフェース出力モジュール、翻訳対設定モジュール、対象文字列抽出モジュール、翻訳モジュール、入力モジュール及び逆翻訳モジュールなどを含むことができる。
On the other hand, as shown in FIG. 3, the
プロセッサ１０は、様々なソフトウェアプログラムと、メモリ４０に記憶されている命令語集合を実行して様々な機能を実行し、データを処理する機能を有することができる。周辺インターフェース部３０は、コンピュータ装置の入出力周辺装置をプロセッサ１０、メモリ４０に接続させることができ、メモリ制御器２０は、プロセッサ１０やコンピュータ装置の構成要素がメモリ４０に接近する場合に、メモリアクセスを制御する機能を有することができる。実施例によっては、プロセッサ１０、メモリ制御器２０及び周辺インターフェース部３０を単一チップ上に具現してもよく、別個のチップとして具現してもよい。
The
メモリ４０は、高速ランダムアクセスメモリ、一つ以上の磁気ディスク記憶装置、フラッシュメモリ装置のような不揮発性メモリなどを含むことができる。また、メモリ４０は、プロセッサ１０から離れて位置する記憶装置や、インターネットなどの通信ネットワークを介してアクセスされるネットワーク取り付け型記憶装置などをさらに含むことができる。
The
ディスプレイ部は、ユーザが視覚で第１アプリケーション又は入力アプリケーションの内容を確認できるように表示する構成でよい。例えば、ディスプレイ部は、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、電気泳動ディスプレイ（ｅｌｅｃｔｒｏｐｈｏｒｅｔｉｃ ｄｉｓｐｌａｙ）などを用いて視覚的に表示できる。ただし、本発明の内容はこれに限定されるものではなく、その他にも様々な方式でディスプレイ部を具現することができる。さらに、ディスプレイ部にはスピーカーなどをさらに含み、ユーザが音声や音響などを聴覚的に認知できるようにしてもよい。さらには、ディスプレイ部にハプティック部などをさらに含み、触覚でコンテンツを認知できるようにしてもよい。すなわち、ディスプレイ部は、視覚、聴覚及び触覚を用いてユーザが認知するように構成できる。 The display unit may be configured to display the contents of the first application or the input application so that the user can visually confirm the contents. For example, the display unit includes a liquid crystal display (liquid crystal display), a thin film liquid crystal display (thin film transformer-liquid crystal display), an organic light-emitting diode, and a flexible display (flexilide). It can be visually displayed using a display), an electrophoretic display, or the like. However, the content of the present invention is not limited to this, and the display unit can be realized by various other methods. Further, the display unit may further include a speaker or the like so that the user can audibly recognize voice, sound, or the like. Further, the display unit may further include a haptic unit or the like so that the content can be recognized by tactile sensation. That is, the display unit can be configured to be perceived by the user using visual, auditory, and tactile sensations.
入力装置部は、ユーザから入力が印加されるものであり、キーボード（ｋｅｙｂｏａｒｄ）、キーパッド（ｋｅｙｐａｄ）、マウス（ｍｏｕｓｅ）、タッチペン（ｔｏｕｃｈ ｐｅｎ）、タッチパッド（ｔｏｕｃｈ ｐａｄ）、タッチパネル（ｔｏｕｃｈ ｐａｎｅｌ）、ジョグホイール（ｊｏｇ ｗｈｅｅｌ）、ジョグスイッチ（ｊｏｇ ｓｗｉｔｃｈ）などが入力装置部に該当し得る。 The input device unit receives input from the user, and is a keyboard (keyboard), a keypad (keypad), a mouse (mouse), a touch pen (touch pen), a touch pad (touch pad), and a touch panel (touch panel). , Jog wheel, jog switch, etc. may correspond to the input device unit.
一方、図３に示すように、本発明の一実施例による端末装置１００は、メモリ４０に運営体制をはじめとして、アプリケーションに該当するインターフェース出力モジュール、翻訳対設定モジュール、対象文字列抽出モジュール、翻訳モジュール、入力モジュール及び逆翻訳モジュールなどを含むことができる。ここで、それぞれのモジュールは、上述した機能を果たすための命令語の集合であり、メモリ４０に記憶されてよい。
On the other hand, as shown in FIG. 3, the
したがって、本発明の一実施例による端末装置１００は、プロセッサ１０がメモリ４０にアクセスしてそれぞれのモジュールに対応する命令語を実行することができる。ただし、インターフェース出力モジュール、翻訳対設定モジュール、対象文字列抽出モジュール、翻訳モジュール、入力モジュール及び逆翻訳モジュールは、上述したインターフェース出力部、翻訳対設定部、対象文字列抽出部、翻訳部、入力部及び逆翻訳部にそれぞれ対応するので、ここでは詳細な説明を省略する。
Therefore, in the
図１１及び図１２は、本発明の一実施例による入力アプリケーションを用いた翻訳サービス提供方法を示すフローチャートである。 11 and 12 are flowcharts showing a method of providing a translation service using an input application according to an embodiment of the present invention.
図１１及び図１２を参照すると、本発明の一実施例による翻訳サービス提供方法は、入力インターフェース出力段階（Ｓ１０）、翻訳対設定段階（Ｓ２０）、対象文字列抽出段階（Ｓ３０）、翻訳段階（Ｓ４０）、入力段階（Ｓ５０）及び逆翻訳段階（Ｓ６０）を含むことができる。ここで、各段階は、端末装置によって行われてよい。 With reference to FIGS. 11 and 12, the translation service providing method according to the embodiment of the present invention includes an input interface output stage (S10), a translation pair setting stage (S20), a target character string extraction stage (S30), and a translation stage (S30). S40), an input step (S50) and a reverse translation step (S60) can be included. Here, each step may be performed by a terminal device.
以下、図１１及び図１２を参照して、本発明の一実施例による翻訳サービス提供方法を説明する。 Hereinafter, a method of providing a translation service according to an embodiment of the present invention will be described with reference to FIGS. 11 and 12.
入力インターフェース出力段階（Ｓ１０）では、端末装置で実行中の第１アプリケーションの要請に応じて、第１アプリケーションにコンテンツを入力する入力インターフェースを出力できる。ユーザは、第１アプリケーションによるサービスなどを受け取るために、第１アプリケーションに文字列や音声などのコンテンツを入力しようとすることがある。この場合、入力アプリケーションを実行して、コンテンツ入力のための入力インターフェースを端末装置のディスプレイ部に出力できる。実施例によっては、第１アプリケーションの入力窓にカーソルが位置する場合に入力インターフェースを出力でき、端末装置に含まれるディスプレイ部の設定領域内に入力インターフェースを表示できる。 In the input interface output stage (S10), an input interface for inputting contents to the first application can be output in response to a request of the first application being executed by the terminal device. The user may try to input contents such as a character string and voice into the first application in order to receive a service or the like by the first application. In this case, the input application can be executed to output the input interface for content input to the display unit of the terminal device. Depending on the embodiment, the input interface can be output when the cursor is located in the input window of the first application, and the input interface can be displayed in the setting area of the display unit included in the terminal device.
翻訳対設定段階（Ｓ２０）では、ユーザの入力によって入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、入力言語及び翻訳言語の翻訳対情報を設定できる。具体的に、入力アプリケーションには、翻訳入力モードに転換するための翻訳アイコンなどが存在でき、ユーザが翻訳アイコンに入力を印加すると翻訳入力モードに転換されてよい。この場合、翻訳時に必要な入力言語及び翻訳言語をユーザから受信するためのインターフェースを出力できる。すなわち、複数の言語に対応するそれぞれの言語アイコンが表示されてよく、ユーザは、複数の言語アイコンの中から、それぞれ入力言語と翻訳言語に対応する言語アイコンを選択できる。その後、ユーザの選択した言語アイコンに対応する言語をそれぞれ、前記入力言語と翻訳言語に設定でき、それらを結び付けて翻訳対情報に設定できる。 In the translation pair setting stage (S20), the input interface is switched to the translation input mode by the user's input, and the translation pair information of the input language and the translation language can be set by the input language and the translation language selected by the user. Specifically, the input application may have a translation icon for converting to the translation input mode, and may be converted to the translation input mode when the user applies input to the translation icon. In this case, it is possible to output an input language required for translation and an interface for receiving the translation language from the user. That is, each language icon corresponding to a plurality of languages may be displayed, and the user can select a language icon corresponding to an input language and a translation language from the plurality of language icons. After that, the languages corresponding to the language icons selected by the user can be set as the input language and the translation language, respectively, and they can be linked and set as the translation pair information.
対象文字列抽出段階（Ｓ３０）では、ユーザが入力インターフェースを用いてコンテンツを入力すると、コンテンツから前記入力言語に対応する対象文字列を抽出できる。ここで、コンテンツは、文字列、音声、イメージ及び動画のうち少なくとも一つを含むことができる。 In the target character string extraction stage (S30), when the user inputs the content using the input interface, the target character string corresponding to the input language can be extracted from the content. Here, the content can include at least one of a character string, an audio, an image and a moving image.
実施例によっては、コンテンツとして文字列が入力されてよい。この場合、対象文字列抽出段階（Ｓ３０）では、入力言語に対応するキーボードを含む仮想キーボードを端末装置のディスプレイ部に表示できる。その後、仮想キーボードを介してユーザが入力言語で入力する文字列を受信することができ、文字列を受信した後には、文字列を対象文字列として抽出できる。すなわち、ユーザが仮想キーボードを介して入力した文字列を、対象文字列として抽出できる。 Depending on the embodiment, a character string may be input as the content. In this case, in the target character string extraction stage (S30), a virtual keyboard including a keyboard corresponding to the input language can be displayed on the display unit of the terminal device. After that, the character string input by the user in the input language can be received via the virtual keyboard, and after receiving the character string, the character string can be extracted as the target character string. That is, the character string input by the user via the virtual keyboard can be extracted as the target character string.
また、実施例によっては、コンテンツとして音声を入力することも可能である。この場合、対象文字列抽出段階（Ｓ３０）では、端末装置のマイクを用いて、入力言語で発話される音声を音声信号として受信でき、受信した音声信号に音声認識アルゴリズムを適用して、音声信号に対応する対象文字列を抽出できる。ここで、音声認識アルゴリズムを用いた対象文字列の抽出は前述したので、ここでは詳細な説明を省略する。 Further, depending on the embodiment, it is also possible to input voice as content. In this case, in the target character string extraction stage (S30), the voice spoken in the input language can be received as a voice signal by using the microphone of the terminal device, and the voice recognition algorithm is applied to the received voice signal to apply the voice signal. The target character string corresponding to can be extracted. Here, since the extraction of the target character string using the voice recognition algorithm has been described above, detailed description thereof will be omitted here.
なお、ユーザがコンテンツとしてイメージを入力する場合には、対象文字列抽出段階（Ｓ３０）では、端末装置のカメラを用いて、入力言語で作成された文字列を含むイメージを撮影できる。その後、イメージに文字認識アルゴリズムを適用して、イメージに含まれた文字列を対象文字列として抽出できる。ここで、文字認識アルゴリズムを用いた対象文字列の抽出は前述したので、ここでは詳細な説明を省略する。 When the user inputs an image as content, in the target character string extraction stage (S30), the camera of the terminal device can be used to capture an image including the character string created in the input language. After that, a character recognition algorithm can be applied to the image to extract the character string included in the image as the target character string. Here, since the extraction of the target character string using the character recognition algorithm has been described above, detailed description thereof will be omitted here.
翻訳段階（Ｓ４０）では、対象文字列を翻訳言語に翻訳し、翻訳文字列を生成できる。ここで、統計ベース機械翻訳又は人工神経網機械翻訳を提供する翻訳エンジンを用いて翻訳を行うことができる。実施例によっては、翻訳段階（Ｓ４０）で翻訳サーバーに対象文字列と翻訳対情報を伝送して翻訳を要請し、翻訳サーバーから翻訳言語に翻訳された翻訳文字列を受信する方式で翻訳文字列を生成することも可能である。 In the translation stage (S40), the target character string can be translated into a translation language to generate a translated character string. Here, translation can be performed using a translation engine that provides statistics-based machine translation or artificial neuron machine translation. Depending on the embodiment, the translation character string is transmitted to the translation server at the translation stage (S40) to request translation, and the translation character string translated into the translation language is received from the translation server. It is also possible to generate.
一方、ユーザが翻訳言語を変更する再設定入力を印加すると、対象文字列を再設定入力に対応する翻訳言語に再翻訳した再翻訳文字列を生成することも可能である。すなわち、再設定入力だけでも同一の対象文字列を異なる翻訳言語に翻訳できるので、ユーザの便宜性を高めることができる。 On the other hand, when the user applies a reset input for changing the translation language, it is also possible to generate a retranslation character string in which the target character string is retranslated into the translation language corresponding to the reset input. That is, since the same target character string can be translated into a different translation language only by resetting input, the convenience of the user can be improved.
なお、翻訳段階（Ｓ４０）では、ユーザが設定する文体情報によって、翻訳文字列の文体を口語体、文語体、敬語体などに設定して翻訳文字列を生成することもできる。また、文体情報としてビジネス話法、親睦用話法、ＳＮＳアップロード用話法などを設定することも可能である。すなわち、翻訳文字列が文体を設定することによって、ユーザは自身の用途や目的に応じて様々なニュアンスを含めて翻訳文字列を生成することができる。 In the translation stage (S40), the style of the translated character string can be set to a colloquial style, a literary style, a honorific style, or the like according to the style information set by the user, and the translated character string can be generated. It is also possible to set a business style, a fellowship talk, an SNS upload talk, and the like as stylistic information. That is, by setting the style of the translated character string, the user can generate the translated character string including various nuances according to his / her own use and purpose.
入力段階（Ｓ５０）では、翻訳文字列を第１アプリケーションの入力窓に入力できる。すなわち、翻訳文字列は、第１アプリケーションの入力窓に表示されてよく、その後、ユーザが入力窓の入力ボタンを入力すると、翻訳文字列が第１アプリケーションに入力されてよい。ここで、入力インターフェースには原文表示窓が含まれてよく、ユーザが入力言語で入力した対象文字列は原文表示窓に表示されてよい。したがって、ユーザは、自身の入力した対象文字列と翻訳された翻訳文字列を同時に確認でき、異常がない場合には、翻訳文字列を第１アプリケーションの入力窓を介して入力することができる。 In the input stage (S50), the translated character string can be input to the input window of the first application. That is, the translated character string may be displayed in the input window of the first application, and then when the user inputs the input button of the input window, the translated character string may be input to the first application. Here, the input interface may include a source text display window, and the target character string input by the user in the input language may be displayed in the source text display window. Therefore, the user can confirm the target character string input by himself / herself and the translated translated character string at the same time, and if there is no abnormality, the translated character string can be input through the input window of the first application.
逆翻訳段階（Ｓ６０）では、第１アプリケーションに含まれた翻訳言語で表示された文字列を、入力言語に逆翻訳して逆翻訳文字列を生成することができる。すなわち、ユーザの選択した選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成でき、生成した逆翻訳文字列をユーザに表示できる。ここでは、逆翻訳段階（Ｓ６０）が入力段階（Ｓ５０）以降に行われるとしているが、これに限定されるのではなく、逆翻訳段階（Ｓ６０）は様々な時点に行われてもよい。 In the reverse translation stage (S60), the character string displayed in the translation language included in the first application can be reverse-translated into the input language to generate the reverse translation character string. That is, the selected character string selected by the user can be back-translated into the input language to generate the back-translated character string, and the generated back-translated character string can be displayed to the user. Here, it is assumed that the reverse translation stage (S60) is performed after the input stage (S50), but the present invention is not limited to this, and the reverse translation stage (S60) may be performed at various time points.
逆翻訳段階（Ｓ６０）は、図１２に示すように、まず、第１アプリケーション内に翻訳言語で表示された複数の文字列から、ユーザがクリップボード（ｃｌｉｐｂｏａｒｄ）にコピーした選択文字列を抽出できる（Ｓ６１）。すなわち、第１アプリケーションがコピーした文字列はクリップボードに保存されてよく、入力アプリケーションはクリップボードに接近して、ユーザの選択した選択文字列を抽出できる。 In the reverse translation stage (S60), as shown in FIG. 12, first, a selected character string copied to the clipboard by the user can be extracted from a plurality of character strings displayed in the translation language in the first application (S60). S61). That is, the character string copied by the first application may be saved in the clipboard, and the input application can approach the clipboard and extract the selected character string selected by the user.
その後、翻訳対情報から翻訳言語に対応する入力言語を抽出し、選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成できる（Ｓ６２）。入力アプリケーションが翻訳機能を果たす場合には、翻訳対情報が設定されており、当該翻訳対情報には、ユーザの選択した入力言語と翻訳言語が含まれている。したがって、逆翻訳段階（Ｓ６０）では翻訳対情報を用いて翻訳言語を入力言語に逆翻訳できる。すなわち、選択文字列を入力言語に逆翻訳して逆翻訳文字列を生成できる。 After that, the input language corresponding to the translation language can be extracted from the translation pair information, and the selected character string can be back-translated into the input language to generate the back-translation character string (S62). When the input application performs the translation function, the translation pair information is set, and the translation pair information includes the input language and the translation language selected by the user. Therefore, in the reverse translation stage (S60), the translation language can be back-translated into the input language by using the translation pair information. That is, the selected character string can be back-translated into the input language to generate the back-translated character string.
逆翻訳文字列が生成されると、逆翻訳文字列を入力インターフェース上に表示できる（Ｓ６３）。すなわち、逆翻訳文字列をディスプレイ部内に表示してユーザに提供できる。逆翻訳文字列は、設定表示時間（例えば、３秒）の間に表示されてもよく、実施例によっては、ユーザが逆翻訳文字列をタップ（ｔａｐ）やスワイプ（ｓｗｉｐｅ）するなどの別途のジェスチャを入力する場合に消えるようにしてもよい。 When the reverse translation character string is generated, the reverse translation character string can be displayed on the input interface (S63). That is, the reverse translation character string can be displayed in the display unit and provided to the user. The reverse translation character string may be displayed during the set display time (for example, 3 seconds), and in some embodiments, the user taps (tap) or swipes (swipe) the reverse translation character string. It may disappear when you enter a gesture.
ただし、逆翻訳文字列は、入力インターフェースに表示されるものであり、入力インターフェースが端末装置に含まれるディスプレイ部内に表示されない場合には、逆翻訳文字列を表示しないことがある。ユーザは様々な理由で文字列をコピーでき、文字列をコピーすることが必ずしも逆翻訳文字列の表示を要求することに該当すると見なすことはできない。したがって、入力インターフェースが表示されない場合には逆翻訳文字列を表示しなくてもよい。 However, the reverse translation character string is displayed on the input interface, and if the input interface is not displayed in the display unit included in the terminal device, the reverse translation character string may not be displayed. The user can copy the string for a variety of reasons, and copying the string cannot necessarily be considered to require the display of a reverse translation string. Therefore, if the input interface is not displayed, it is not necessary to display the reverse translation character string.
一方、逆翻訳文字列を生成した後、設定時間内にユーザの入力などによって入力インターフェースが再び出力される場合には、逆翻訳文字列を入力インターフェース上に表示することができる。ユーザが逆翻訳文字列を生成して設定時間以内に、再び入力インターフェースを出力させることは、ユーザに逆翻訳文字列を確認しようとする意図があると見なすことができる。したがって、入力インターフェースを表示しながら逆翻訳文字列を同時に表示できる。 On the other hand, after the reverse translation character string is generated, if the input interface is output again by the user's input within the set time, the reverse translation character string can be displayed on the input interface. If the user generates the reverse translation string and outputs the input interface again within the set time, it can be considered that the user intends to check the reverse translation string. Therefore, the reverse translation character string can be displayed at the same time while displaying the input interface.
前述した本発明は、プログラムが記録された媒体にコンピュータ可読コードとして具現することが可能である。コンピュータ可読媒体は、コンピュータで実行可能なプログラムを続けて記憶するか、実行又はダウンロードのために臨時記憶するものでよい。また、媒体は、単一又は数個のハードウェアが結合した形態の様々な記録手段又は記憶手段であり得るが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含めてプログラム命令語が記憶されるように構成されたものが挙げられる。また、他の媒体の例示に、アプリケーションを流通するアプリストアやその他様々なソフトウェアを供給又は流通するサイト、サーバーなどで管理する記録媒体又は記憶媒体も挙げることができる。したがって、前記の詳細な説明はいずれの面においても制限的に解釈されてはならず、例示的なものとして考慮されるべきである。本発明の範囲は、添付する請求項の合理的解析によって決定されるべきであり、本発明の等価的範囲内における変更はいずれも本発明の範囲に含まれる。 The present invention described above can be embodied as a computer-readable code on a medium on which a program is recorded. The computer-readable medium may be a computer-readable program that is continuously stored or temporarily stored for execution or download. Further, the medium can be various recording means or storage means in the form of a single piece or a combination of several pieces of hardware, but is not limited to a medium directly connected to a certain computer system, and exists distributed on a network. It may be a thing. Examples of media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic-optical media such as floptic discs. Medium), and those configured to store program command words including ROM, RAM, flash memory, and the like. Further, as an example of other media, a recording medium or a storage medium managed by an app store that distributes applications, a site that supplies or distributes various other software, a server, or the like can also be mentioned. Therefore, the above detailed description should not be construed in a restrictive manner in any respect and should be considered as exemplary. The scope of the invention should be determined by rational analysis of the appended claims, and any changes within the equivalent scope of the invention are within the scope of the invention.
本発明は、前述した実施例及び添付の図面によって限定されるものではない。本発明の属する技術の分野における通常の知識を有する者にとって、本発明の技術的思想から逸脱しない範囲内で、本発明に係る構成要素を置換、変形及び変更できるということが明らかであろう。
The present invention is not limited to the examples described above and the accompanying drawings. For those who have ordinary knowledge in the field of technology to which the present invention belongs, it will be clear that the components according to the present invention can be replaced, modified and modified without departing from the technical idea of the present invention.
Claims (17)
端末装置で実行中の第１アプリケーションの要請に応じて、前記第１アプリケーションにコンテンツを入力する入力インターフェースを出力する入力インターフェース出力段階；
ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定段階；
ユーザが前記入力インターフェースを用いてコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出段階；
前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳段階；及び
前記翻訳文字列を前記第１アプリケーションの入力窓に入力する入力段階を含む翻訳サービス提供方法。 It is a method of providing a translation service using an input application.
An input interface output stage that outputs an input interface for inputting content to the first application in response to a request of the first application running on the terminal device;
A translation pair setting stage in which the input interface is converted to the translation input mode by the user's input, and the translation pair information of the input language and the translation language is set according to the input language and the translation language selected by the user;
When the user inputs content using the input interface, the target character string extraction stage of extracting the target character string corresponding to the input language from the content;
A translation service providing method including a translation step of translating the target character string into the translation language to generate a translation character string; and an input step of inputting the translation character string into the input window of the first application.
前記端末装置に含まれるディスプレイ部の設定領域内に、前記入力インターフェースを表示することを特徴とする、請求項１に記載の翻訳サービス提供方法。 The input interface output stage is
The translation service providing method according to claim 1, wherein the input interface is displayed in a setting area of a display unit included in the terminal device.
複数の言語に対応するそれぞれの言語アイコンを表示し、前記言語アイコンからユーザによって選択された言語アイコンに対応する言語を、それぞれ前記入力言語と翻訳言語に設定することを特徴とする、請求項１に記載の翻訳サービス提供方法。 The translation pair setting stage is
Claim 1 is characterized in that each language icon corresponding to a plurality of languages is displayed, and the language corresponding to the language icon selected by the user from the language icon is set to the input language and the translation language, respectively. How to provide the translation service described in.
前記入力言語に対応するキーボードを含む仮想キーボードを前記端末装置のディスプレイ部に表示する段階；及び
前記仮想キーボードを介してユーザが前記入力言語で入力する文字列を受信する段階；及び
前記文字列を前記対象文字列として抽出する段階を含むことを特徴とする、請求項１に記載の翻訳サービス提供方法。 The target character string extraction stage is
A stage in which a virtual keyboard including a keyboard corresponding to the input language is displayed on the display unit of the terminal device; and a stage in which a user receives a character string input in the input language via the virtual keyboard; and the character string is displayed. The method for providing a translation service according to claim 1, further comprising a step of extracting as the target character string.
前記端末装置のマイクを用いて、前記入力言語で発話される音声を音声信号として受信する段階；及び
前記音声信号に音声認識アルゴリズムを適用して、前記音声信号に対応する前記対象文字列を抽出する段階を含むことを特徴とする、請求項１に記載の翻訳サービス提供方法。 The target character string extraction stage is
A step of receiving a voice spoken in the input language as a voice signal using the microphone of the terminal device; and applying a voice recognition algorithm to the voice signal to extract the target character string corresponding to the voice signal. The method for providing a translation service according to claim 1, further comprising a step of performing.
前記端末装置のカメラを用いて、前記入力言語で作成された文字列を含むイメージを撮影する段階；及び
前記イメージに文字認識アルゴリズムを適用して、前記イメージに含まれた前記文字列を前記対象文字列として抽出する段階を含むことを特徴とする、請求項１に記載の翻訳サービス提供方法。 The target character string extraction stage is
The stage of capturing an image including a character string created in the input language using the camera of the terminal device; and applying a character recognition algorithm to the image to target the character string included in the image. The method for providing a translation service according to claim 1, further comprising a step of extracting as a character string.
翻訳サーバーに前記対象文字列と翻訳対情報を伝送して翻訳を要請し、前記翻訳サーバーから前記翻訳言語に翻訳された翻訳文字列を受信することを特徴とする、請求項１に記載の翻訳サービス提供方法。 The translation stage is
The translation according to claim 1, wherein the target character string and the translation pair information are transmitted to the translation server to request translation, and the translation character string translated into the translation language is received from the translation server. Service provision method.
前記翻訳言語を変更する再設定入力を受信すると、前記対象文字列を前記再設定入力に対応する翻訳言語に再翻訳した再翻訳文字列を生成することを特徴とする、請求項１に記載の翻訳サービス提供方法。 The translation stage is
The first aspect of claim 1, wherein when a reset input for changing the translation language is received, a retranslation character string obtained by retranslating the target character string into a translation language corresponding to the reset input is generated. How to provide translation service.
前記抽出した対象文字列が表示される原文表示窓を含むことを特徴とする、請求項１に記載の翻訳サービス提供方法。 The input interface is
The method for providing a translation service according to claim 1, further comprising an original text display window on which the extracted target character string is displayed.
ユーザが設定する文体情報によって、前記翻訳文字列の文体を少なくとも口語体、文語体及び敬語体のいずれか一つに設定して前記翻訳文字列を生成することを特徴とする、請求項１に記載の翻訳サービス提供方法。 The translation stage is
The first aspect of claim 1, wherein the translated character string is generated by setting the style of the translated character string to at least one of a colloquial style, a literary style, and a honorable word style according to the style information set by the user. How to provide translation services.
前記第１アプリケーション内に前記翻訳言語で表示された複数の文字列の中から、ユーザがクリップボード（ｃｌｉｐｂｏａｒｄ）にコピーした選択文字列を抽出する段階；
前記翻訳対情報から前記翻訳言語に対応する前記入力言語を抽出し、前記選択文字列を前記入力言語に逆翻訳して逆翻訳文字列を生成する段階；及び
前記逆翻訳文字列を、前記入力インターフェース上に表示する段階を含む、請求項１１に記載の翻訳サービス提供方法。 The reverse translation stage is
A stage of extracting a selected character string copied to the clipboard by the user from a plurality of character strings displayed in the translation language in the first application;
A step of extracting the input language corresponding to the translation language from the translation pair information and back-translating the selected character string into the input language to generate a back-translation character string; and inputting the back-translation character string into the input language. The translation service providing method according to claim 11, which includes a step of displaying on an interface.
前記入力インターフェースが前記端末装置に含まれるディスプレイ部内に表示される場合に限って、前記逆翻訳文字列を表示することを特徴とする、請求項１２に記載の翻訳サービス提供方法。 The stage of displaying on the input interface is
The translation service providing method according to claim 12, wherein the reverse translation character string is displayed only when the input interface is displayed in a display unit included in the terminal device.
前記逆翻訳文字列を生成後に設定時間内に前記入力インターフェースが再び出力されると、前記逆翻訳文字列を前記入力インターフェース上に表示することを特徴とする、請求項１３に記載の翻訳サービス提供方法。 The stage of displaying on the input interface is
The translation service according to claim 13, wherein when the input interface is output again within a set time after the reverse translation character string is generated, the reverse translation character string is displayed on the input interface. Method.
ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定する翻訳対設定部；
前記入力インターフェースを用いてユーザがコンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出する対象文字列抽出部；
前記対象文字列を前記翻訳言語に翻訳して、翻訳文字列を生成する翻訳部；及び
前記翻訳文字列を前記第１アプリケーションの入力窓に入力する入力部を含む端末装置。 An interface output unit that outputs an input interface for inputting content to the first application in response to a request from the first application being executed;
A translation pair setting unit that converts the input interface to the translation input mode by the user's input and sets the translation pair information of the input language and the translation language according to the input language and the translation language selected by the user;
When a user inputs content using the input interface, a target character string extraction unit that extracts a target character string corresponding to the input language from the content;
A terminal device including a translation unit that translates the target character string into the translation language to generate a translation character string; and an input unit that inputs the translation character string into the input window of the first application.
前記プロセッサに結合されたメモリを含む端末装置であって、
前記メモリは、前記プロセッサによって実行されるように構成される一つ以上のモジュールを含み、
前記一つ以上のモジュールは、
端末装置で実行中の第１アプリケーションの要請に応じて、前記第１アプリケーションにコンテンツを入力する入力インターフェースを出力し、
ユーザの入力によって前記入力インターフェースを翻訳入力モードに転換し、ユーザの選択した入力言語及び翻訳言語によって、前記入力言語及び翻訳言語の翻訳対情報を設定し、
ユーザが前記入力インターフェースを用いて前記コンテンツを入力すると、前記コンテンツから前記入力言語に対応する対象文字列を抽出し、
前記対象文字列を前記翻訳言語に翻訳して翻訳文字列を生成し、
前記翻訳文字列を前記第１アプリケーションの入力窓に入力する、ための命令語を含んでいる、端末装置。
Processor; and a terminal device that includes memory coupled to the processor.
The memory comprises one or more modules configured to be executed by the processor.
The one or more modules
In response to a request from the first application running on the terminal device, an input interface for inputting content to the first application is output.
The input interface is converted to the translation input mode by the input of the user, and the translation pair information of the input language and the translation language is set according to the input language and the translation language selected by the user.
When the user inputs the content using the input interface, the target character string corresponding to the input language is extracted from the content.
The target character string is translated into the translation language to generate a translation character string, and the translation character string is generated.
A terminal device including a command word for inputting the translated character string into the input window of the first application.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2018-0076035 | 2018-06-29 | ||
| KR1020180076035A KR102206486B1 (en) | 2018-06-29 | 2018-06-29 | Method for proving translation service by using input application and terminal device using the same |
| PCT/KR2018/011863 WO2020004717A1 (en) | 2018-06-29 | 2018-10-10 | Method of providing translation service using input application and terminal device using same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021528788A true JP2021528788A (en) | 2021-10-21 |
| JP7145988B2 JP7145988B2 (en) | 2022-10-03 |
Family
ID=68987355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020573205A Active JP7145988B2 (en) | 2018-06-29 | 2018-10-10 | Translation service providing method using input application and terminal device using the same |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7145988B2 (en) |
| KR (1) | KR102206486B1 (en) |
| WO (1) | WO2020004717A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220102302A (en) * | 2021-01-13 | 2022-07-20 | 삼성전자주식회사 | Method for providing clipboard function and electronic device supporting the same |
| WO2024085460A1 (en) * | 2022-10-19 | 2024-04-25 | 삼성전자주식회사 | Electronic device and method for identifying characters included in image |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003196278A (en) * | 2001-12-27 | 2003-07-11 | Brother Ind Ltd | Character input method, character input program and computer readable recording medium |
| JP2006318202A (en) * | 2005-05-12 | 2006-11-24 | Suri Kaiseki Kenkyusho:Kk | Translation apparatus, translation program and translation system |
| JP2008077601A (en) * | 2006-09-25 | 2008-04-03 | Toshiba Corp | Machine translation device, machine translation method and machine translation program |
| JP2008152670A (en) * | 2006-12-19 | 2008-07-03 | Fujitsu Ltd | Translation input support program, storage medium recording the same, translation input support apparatus, and translation input support system |
| JP2009059348A (en) * | 2007-08-31 | 2009-03-19 | Eigyotatsu Kofun Yugenkoshi | Input system and its method for edited translation word/phrase |
| KR101421621B1 (en) * | 2013-07-30 | 2014-07-22 | (주)블루랩스 | Smartphone terminal with language translation and language translation system comprising the same |
| JP2015069365A (en) * | 2013-09-27 | 2015-04-13 | シャープ株式会社 | Information processing equipment and control program |
| KR20150116675A (en) * | 2014-04-08 | 2015-10-16 | 네이버 주식회사 | Method and system for providing translated result |
| KR20180017227A (en) * | 2016-05-18 | 2018-02-20 | 애플 인크. | Applying acknowledgment options within the graphical messaging user interface |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001282791A (en) * | 2000-03-29 | 2001-10-12 | Brother Ind Ltd | Machine translation device |
| WO2012092709A1 (en) * | 2011-01-05 | 2012-07-12 | Google Inc. | Method and system for facilitating text input |
| KR101377601B1 (en) * | 2012-09-20 | 2014-03-25 | 주식회사 인지소프트 | System and method for providing recognition and translation of multiple language in natural scene image using mobile camera |
| KR101882293B1 (en) * | 2016-08-19 | 2018-07-30 | 네이버 주식회사 | Integrated keyboard for character input and content recommendation |
-
2018
- 2018-06-29 KR KR1020180076035A patent/KR102206486B1/en active IP Right Grant
- 2018-10-10 JP JP2020573205A patent/JP7145988B2/en active Active
- 2018-10-10 WO PCT/KR2018/011863 patent/WO2020004717A1/en active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003196278A (en) * | 2001-12-27 | 2003-07-11 | Brother Ind Ltd | Character input method, character input program and computer readable recording medium |
| JP2006318202A (en) * | 2005-05-12 | 2006-11-24 | Suri Kaiseki Kenkyusho:Kk | Translation apparatus, translation program and translation system |
| JP2008077601A (en) * | 2006-09-25 | 2008-04-03 | Toshiba Corp | Machine translation device, machine translation method and machine translation program |
| JP2008152670A (en) * | 2006-12-19 | 2008-07-03 | Fujitsu Ltd | Translation input support program, storage medium recording the same, translation input support apparatus, and translation input support system |
| JP2009059348A (en) * | 2007-08-31 | 2009-03-19 | Eigyotatsu Kofun Yugenkoshi | Input system and its method for edited translation word/phrase |
| KR101421621B1 (en) * | 2013-07-30 | 2014-07-22 | (주)블루랩스 | Smartphone terminal with language translation and language translation system comprising the same |
| JP2015069365A (en) * | 2013-09-27 | 2015-04-13 | シャープ株式会社 | Information processing equipment and control program |
| KR20150116675A (en) * | 2014-04-08 | 2015-10-16 | 네이버 주식회사 | Method and system for providing translated result |
| JP2015201169A (en) * | 2014-04-08 | 2015-11-12 | ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ | Translation result providing method and system based on various semantic categories |
| KR20180017227A (en) * | 2016-05-18 | 2018-02-20 | 애플 인크. | Applying acknowledgment options within the graphical messaging user interface |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102206486B1 (en) | 2021-01-25 |
| KR20200002490A (en) | 2020-01-08 |
| WO2020004717A1 (en) | 2020-01-02 |
| JP7145988B2 (en) | 2022-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9053098B2 (en) | Insertion of translation in displayed text consisting of grammatical variations pertaining to gender, number and tense | |
| CN111462740B (en) | Voice command matching for non-phonetic alphabet language voice assisted application prototype testing | |
| JP7513684B2 (en) | Multimodal interactions between users, automated assistants, and other computing services | |
| US9087046B2 (en) | Swiping action for displaying a translation of a textual image | |
| TWI653545B (en) | Method, system and non-transitory computer-readable media for real-time handwriting recognition | |
| TWI570632B (en) | Multi-script handwriting recognition using a universal recognizer | |
| CN105573503B (en) | For receiving the method and system of the text input on touch-sensitive display device | |
| US20120019540A1 (en) | Sliding Motion To Change Computer Keys | |
| US11126794B2 (en) | Targeted rewrites | |
| US11200893B2 (en) | Multi-modal interaction between users, automated assistants, and other computing services | |
| US11710486B2 (en) | Removal of identifying traits of a user in a virtual environment | |
| Piccolo et al. | Developing an accessible interaction model for touch screen mobile devices: preliminary results | |
| JP2016061855A (en) | Audio learning device and control program | |
| JP7101212B2 (en) | Methods and systems for conference-assisted translation tools | |
| US20200117713A1 (en) | Simultaneous and real time translation and language switching across a set of features | |
| US20200335009A1 (en) | Method of Gesture Selection of Displayed Content on a General User Interface | |
| US20140344768A1 (en) | Method of applying a handwriting signal to activate an application | |
| JP7145988B2 (en) | Translation service providing method using input application and terminal device using the same | |
| US9031831B1 (en) | Method and system for looking up words on a display screen by OCR comprising a set of base forms of recognized inflected words | |
| KR102171327B1 (en) | Method for proving translation service and terminal device using the same | |
| CN110992960A (en) | Control method, control device, electronic equipment and storage medium | |
| US20140195959A1 (en) | Apparatus and method for providing a virtual keypad | |
| US20180217970A1 (en) | Methods and systems for processing intuitive interactive inputs across a note-taking interface | |
| Aziz et al. | Inclusive Voice Interaction Techniques for Creative Object Positioning | |
| Zhang et al. | Developing and Deploying a Real-World Solution for Accessible Slide Reading and Authoring for Blind Users |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7145988 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |