JP2020102226A - Screen display system, screen display method, and screen display processing program - Google Patents
Screen display system, screen display method, and screen display processing program Download PDFInfo
- Publication number
- JP2020102226A JP2020102226A JP2020014484A JP2020014484A JP2020102226A JP 2020102226 A JP2020102226 A JP 2020102226A JP 2020014484 A JP2020014484 A JP 2020014484A JP 2020014484 A JP2020014484 A JP 2020014484A JP 2020102226 A JP2020102226 A JP 2020102226A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character string
- recognition result
- terminal
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Discrimination (AREA)
- Information Transfer Between Computers (AREA)
- Machine Translation (AREA)
Abstract
Description
本発明の実施形態は、画面表示システム、画面表示方法および画面表示処理プログラムに関する。 Embodiments of the present invention relate to a screen display system, a screen display method, and a screen display processing program.
近年、撮像機能を備えたポータブル端末により撮影した画像を、Ｗｅｂ上の画像認識サーバに送信すると、当該サーバにあるデータベースの辞書画像に基づいて撮影した画像が認識され、認識結果に応じた情報が端末に返信されて得られる画像認識サービス（おもてなしサービス）が考えられている（例えば、非特許文献１参照。）。 In recent years, when an image captured by a portable terminal having an imaging function is transmitted to an image recognition server on the Web, the captured image is recognized based on a dictionary image in a database in the server, and information according to the recognition result is displayed. An image recognition service (hospitality service) obtained by returning to a terminal is considered (for example, refer to Non-Patent Document 1).
図６は、従来の画面表示システムの構成例を示す機能ブロック図である。
この画面表示システムは、端末管理システム１１０、画像認識システム１３０、翻訳処理システム１４０を有する。
FIG. 6 is a functional block diagram showing a configuration example of a conventional screen display system.
This screen display system has a terminal management system 110, an image recognition system 130, and a translation processing system 140.
端末管理システム１１０は、端末通信部１１１、端末制御部１１２、画像問合部１１３を有する。画像認識システム１３０は、画像認識部１３１、辞書画像記憶部１３２を有する。ユーザが所持するポータブル端末１２０は、管理システム通信部１２１、カメラ(撮像部)１２２、ディスプレイ（表示部）１２３を備える。 The terminal management system 110 has a terminal communication unit 111, a terminal control unit 112, and an image inquiry unit 113. The image recognition system 130 includes an image recognition unit 131 and a dictionary image storage unit 132. The portable terminal 120 carried by the user includes a management system communication unit 121, a camera (imaging unit) 122, and a display (display unit) 123.
図７は、従来の画面表示システムの動作の一例を示すシーケンス図である。
端末管理システム１１０の端末通信部１１１が、ポータブル端末１２０のユーザ操作によりカメラ１２２で撮影した認識対象の画像データを受信すると（Ｔ１０１〜Ｔ１０４）、この画像データが端末制御部１１２に送られる（Ｔ１０５）。端末制御部１１２は、送られた画像データの認識要求を画像問合部１１３に出力する（Ｔ１０６）。
FIG. 7 is a sequence diagram showing an example of the operation of the conventional screen display system.
When the terminal communication unit 111 of the terminal management system 110 receives the image data of the recognition target captured by the camera 122 by the user operation of the portable terminal 120 (T101 to T104), this image data is sent to the terminal control unit 112 (T105). ). The terminal control unit 112 outputs the sent image data recognition request to the image inquiry unit 113 (T106).
すると、画像問合部１１３は、認識対象の画像データを画像認識システム１３０の画像認識部１３１に送る（Ｔ１０７）。画像認識部１３１は、認識対象の画像データと辞書画像記憶部１３２に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない（Ｔ１０８）、この認識結果（端末管理システム１１０から送られた画像が文字列を含む画像である場合は、その文字列、端末管理システム１１０から送られた画像が文字列を含まない画像である場合は、この画像に含まれる物体（例えば花）の名称を示す文字列）を端末制御部１１２に応答する。（Ｔ１０９，Ｔ１１０）。
そして、端末制御部１１２は、認識結果で示される文字列の翻訳問い合わせを翻訳処理システム１４０に出力する（Ｔ１１１）。
Then, the image inquiry unit 113 sends the image data to be recognized to the image recognition unit 131 of the image recognition system 130 (T107). The image recognition unit 131 performs image recognition by determining the degree of similarity between the image data to be recognized and a large number of dictionary image data stored in the dictionary image storage unit 132 (T108), and the recognition result (terminal management If the image sent from the system 110 is an image containing a character string, the character string, and if the image sent from the terminal management system 110 is an image not containing a character string, an object included in this image ( For example, a character string indicating the name of flower) is returned to the terminal control unit 112. (T109, T110).
Then, the terminal control unit 112 outputs a translation inquiry of the character string indicated by the recognition result to the translation processing system 140 (T111).
この翻訳問い合わせを受けて、翻訳処理システム１４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列）を翻訳結果応答として端末制御部１１２に送る（Ｔ１１２）。 In response to the translation inquiry, the translation processing system 140 translates the pre-translation character string and sends the translation processing result (post-translation character string) to the terminal control unit 112 as a translation result response (T112).
端末制御部１１２は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１１を介してポータブル端末１２０に送信する（Ｔ１１３，Ｔ１１４）。 When the terminal control unit 112 acquires the translation processing result, the terminal control unit 112 generates terminal screen data including the translated character string, and outputs the generated terminal screen data and the display instruction signal to the portable terminal 120 via the terminal communication unit 111. (T113, T114).
ポータブル端末１２０の管理システム通信部１２１は、翻訳後文字列を含む端末画面データをディスプレイ１２３に表示する。これにより、ユーザは当該表示された翻訳後文字列を確認する（Ｔ１１５，Ｔ１１６）。 The management system communication unit 121 of the portable terminal 120 displays the terminal screen data including the translated character string on the display 123. Thereby, the user confirms the displayed translated character string (T115, T116).
上記の画像認識サービスに関連し、画像の認識結果に含まれる文字列を、翻訳処理により例えば日本語から英語に翻訳して、この翻訳結果をポータブル端末に提示する技術があるが、この翻訳結果を提示する際に、ユーザが意図した元文字列とは別の文字列の翻訳結果がポータブル端末に表示されても、ユーザは、これに気付かない可能性がある。 Related to the above image recognition service, there is a technology that translates a character string included in the image recognition result from, for example, Japanese into English and presents the translation result to a portable terminal. When presenting, even if the translation result of a character string different from the original character string intended by the user is displayed on the portable terminal, the user may not notice this.
具体的には、例えば、案内板に「○○」との文字列（元文字列）が記載されている場合で、この「○○」との文字列をユーザが上記のように撮影して、この文字列を翻訳して「〜Park」という翻訳結果を得られるとする。 Specifically, for example, when the character string "O○" (original character string) is written on the guide plate, the user takes the character string "○○" as described above. , Suppose that this character string is translated to obtain a translation result of "~Park".
しかし、ユーザが上記の元文字列を撮影して、この文字列の翻訳結果を得ることを意図していたとしても、上記の「○○」に例えば「＊＊」などの別の種類の文字列が案内板上で隣接しているなどの理由で、この別の文字列を誤って撮影して、この文字列の翻訳結果を得てしまう場合がある。この場合、ユーザは、この翻訳結果が上記の元文字列（「○○」）の翻訳結果であると誤認識してしまう場合がある。特に、上記の元文字列と別の種類の文字列が類似している場合は、上記の翻訳結果の誤認識の可能性が高くなる。 However, even if the user intends to capture the above original character string and obtain the translation result of this character string, another type of character such as "**" may be added to the above "○○". There is a case where the other character string is erroneously photographed and the translation result of this character string is obtained because the rows are adjacent to each other on the guide plate. In this case, the user may mistakenly recognize that the translation result is the translation result of the original character string (“XX”). In particular, when a different type of character string is similar to the above-mentioned original character string, the possibility of erroneous recognition of the above translation result increases.
本発明の目的は、画像認識に応じた翻訳結果の適切な確認を促すことができる画面表示システム、画面表示方法および画面表示処理プログラムを提供することである。 An object of the present invention is to provide a screen display system, a screen display method, and a screen display processing program that can prompt appropriate confirmation of a translation result according to image recognition.
上記目的を達成するために、この発明の実施形態における画面表示システムの第１の態様は、外部の端末により撮影された画像を受信する画像受信手段と、画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶手段と、前記画像受信手段により受信された画像の認識を要求する画像認識要求手段と、前記画像認識要求手段による要求に応答して、前記受信された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力する画像認識手段と、前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記画像認識手段から出力された文字列を翻訳し、前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳する翻訳処理手段と、前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳処理手段による翻訳処理後の文字列および前記翻訳処理手段による翻訳処理前の文字列をそれぞれ含む端末画面を生成し、前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、前記翻訳処理手段による翻訳処理後の文字列を含む端末画面を生成する端末画面生成手段と、前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段とを有するシステムを提供する。 In order to achieve the above object, the first aspect of the screen display system in the embodiment of the present invention is an image receiving unit that receives an image photographed by an external terminal, the image is information indicating the content of the image, And dictionary image storage means for storing as a dictionary image together with information indicating whether or not the translation of the character string is an image, image recognition request means for requesting recognition of the image received by the image receiving means, In response to the request by the image recognition request means, the received image is used as a recognition target image to recognize a dictionary image that is a recognition result of the recognition target image, and the dictionary image that is the recognition result is a character string. When the information including the information indicating that the translation is the intended image is included, it indicates that the character string indicated by the recognition result and the type of the recognition result are the character strings included in the image regarded as the recognition result. When the dictionary image that outputs each information and is the recognition result includes information indicating that the translation of the character string is not intended, the character string indicated by the recognition result and the type of the recognition result Is an image recognition unit that outputs information indicating that it is the name of an object included in the image that is the recognition result, and the type of the recognition result is a character string that is included in the image that is the recognition result. In this case, a translation that translates the character string output from the image recognition means, and translates the name of the object when the type of the recognition result is the name of the object included in the image that is the recognition result. A processing means, a character string after the translation processing by the translation processing means and a character string before the translation processing by the translation processing means when the type of the recognition result is a character string included in the image as the recognition result. A terminal screen including each is generated, and a terminal screen including the character string after the translation processing by the translation processing unit is generated when the type of the recognition result is the name of the object included in the image regarded as the recognition result. There is provided a system having terminal screen generation means and terminal screen transmission means for transmitting the terminal screen generated by the terminal screen generation means to the external terminal.
上記構成のシステムの第２の態様は、第１の態様において、前記端末画面生成手段は、前記翻訳処理手段による翻訳処理後の文字列を含む第１の端末画面、および、前記翻訳処理手段による翻訳処理前の文字列を含む第２の端末画面をそれぞれ生成し、前記端末画面送信手段は、前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に順次表示されるように前記外部の端末に送信するシステムを提供する。 According to a second aspect of the system having the above-mentioned configuration, in the first aspect, the terminal screen generation means includes a first terminal screen including a character string after the translation processing by the translation processing means, and the translation processing means. Each of the second terminal screens including the character string before the translation process is generated, and the terminal screen transmission unit sequentially displays the generated first terminal screen and the second terminal screen on the external terminal. And a system for transmitting to the external terminal.
上記構成のシステムの第３の態様は、第２の態様において、前記端末画面送信手段は、前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に交互に繰り返し表示されるように前記外部の端末に送信するシステムを提供する。 In a third aspect of the system having the above configuration, in the second aspect, the terminal screen transmission means alternately and repeatedly displays the generated first terminal screen and the generated second terminal screen on the external terminal. And a system for transmitting to the external terminal as described above.
本発明の実施形態における画面表示方法の第１の態様は、画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶装置を有する画面表示システムに適用される方法であって、端末により撮影された画像を取得し、前記取得された画像の認識を要求し、前記要求に応答して、前記取得された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力し、前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記出力された文字列を翻訳し、前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳し、前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳した後の文字列および前記翻訳する前の文字列をそれぞれ含む端末画面を生成し、前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、翻訳処理後の文字列を含む端末画面を生成し、前記生成された端末画面を前記端末に送信する方法を提供する。 The first aspect of the screen display method in the embodiment of the present invention stores an image as a dictionary image together with information indicating the content of the image and information indicating whether or not the translation of a character string is intended. A method applied to a screen display system having a dictionary image storage device, comprising: acquiring an image captured by a terminal, requesting recognition of the acquired image, and responding to the request, acquiring the acquired image. When the dictionary image that is the recognition result of the recognition target image is recognized as the image as the recognition target image, and the dictionary image that is the recognition result includes information indicating that the translation of the character string is intended. , A character string indicated by the recognition result, and information indicating that the type of the recognition result is a character string included in the image determined as the recognition result, respectively, and the dictionary image determined as the recognition result, When the information indicating that the translation of the character string is an unintended image is included, the character string indicated by the recognition result and the type of the recognition result are the names of objects included in the image regarded as the recognition result. Information indicating that the type of the recognition result is a character string included in the image that is the recognition result, the output character string is translated, and the type of the recognition result is When the name of the object included in the image recognized as the recognition result, the name of the object is translated, and the translation in the case where the type of the recognition result is a character string included in the image recognized as the recognition result. A terminal screen including the character string after the translation and the character string before translation is generated, and when the type of the recognition result is the name of an object included in the image regarded as the recognition result, after the translation processing, A method of generating a terminal screen including a character string and transmitting the generated terminal screen to the terminal is provided.
上記の方法の第２の態様は、第１の態様において、前記翻訳した後の文字列を含む第１の端末画面、および、前記翻訳する前の文字列を含む第２の端末画面をそれぞれ生成し、前記生成した第１の端末画面、および前記第２の端末画面が前記端末に順次表示されるように前記端末に送信する方法を提供する。 A second aspect of the above method is, in the first aspect, respectively generating a first terminal screen including the translated character string and a second terminal screen including the untranslated character string. Then, there is provided a method of transmitting the generated first terminal screen and the generated second terminal screen to the terminal so that the second terminal screen is sequentially displayed on the terminal.
上記の方法の第３の態様は、第２の態様において、前記生成した第１の端末画面、および前記第２の端末画面が前記端末に交互に繰り返し表示されるように前記端末に送信する方法を提供する。 A third aspect of the above method is, in the second aspect, a method of transmitting to the terminal such that the generated first terminal screen and the second terminal screen are alternately and repeatedly displayed on the terminal. I will provide a.
本発明によれば、画像認識に応じた翻訳結果の適切な確認を促すことが可能になる。 According to the present invention, it is possible to prompt appropriate confirmation of a translation result according to image recognition.
以下図面により本発明の実施の形態について説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態における画面表示システムの構成例を示す機能ブロック図である。
この画面表示システムは、端末管理システム１０、画像認識システム３０、翻訳処理システム４０を有する。
An embodiment of the present invention will be described below with reference to the drawings.
(First embodiment)
First, a first embodiment of the present invention will be described. FIG. 1 is a functional block diagram showing a configuration example of a screen display system according to the first embodiment of the present invention.
This screen display system has a terminal management system 10, an image recognition system 30, and a translation processing system 40.
端末管理システム１０は、端末通信部１１、端末制御部１２、画像問合部１３を有する。画像認識システム３０は、画像認識部３１、辞書画像記憶部３２を有する。
端末管理システム１０、画像認識システム３０、翻訳処理システム４０は、インターネットなどの通信ネットワークに接続されたサーバ装置によって構成され、当該サーバ装置に内蔵されるＣＰＵがハードディスク等の記憶装置に予め記憶させたサーバ制御プログラム（画像認識システム３０については画像認識プログラムを含み、翻訳処理システム４０については翻訳処理プログラムを含む）を実行して電子回路各部の動作を制御することで、各部を機能させる。
なお、これらの端末管理システム１０、画像認識システム３０、翻訳処理システム４０の一部または全部は一体の装置であってもよい。
The terminal management system 10 includes a terminal communication unit 11, a terminal control unit 12, and an image inquiry unit 13. The image recognition system 30 has an image recognition unit 31 and a dictionary image storage unit 32.
The terminal management system 10, the image recognition system 30, and the translation processing system 40 are configured by a server device connected to a communication network such as the Internet, and the CPU incorporated in the server device stores the same in a storage device such as a hard disk in advance. The server control program (including the image recognition program for the image recognition system 30 and the translation processing program for the translation processing system 40) is executed to control the operation of each unit of the electronic circuit, thereby causing each unit to function.
Note that some or all of the terminal management system 10, the image recognition system 30, and the translation processing system 40 may be integrated devices.
端末通信部１１は、（１）通信ネットワークを介して接続されるポータブル端末２０により撮影された画像データを受信して端末制御部１２に送る機能、（２）当該端末制御部１２に送られた画像データの認識結果に応じて、当該端末制御部１２により生成された端末画面データを画面表示指示と共にポータブル端末２０に送信する機能等を有する。 The terminal communication unit 11 (1) has a function of receiving image data captured by the portable terminal 20 connected via the communication network and sending the image data to the terminal control unit 12, (2) being sent to the terminal control unit 12. It has a function of transmitting the terminal screen data generated by the terminal control unit 12 to the portable terminal 20 together with a screen display instruction according to the recognition result of the image data.
端末制御部１２は、（１）端末通信部１１から送られた画像データの認識を画像問合部１３に要求する機能、（２）画像認識システム３０から画像データの認識結果を取得する機能、（３）認識結果の種別が文字列である場合は、この文字列の翻訳を翻訳処理システム４０に問い合わせる機能、（４）翻訳処理結果を含む端末画面データを生成する機能、（５）端末画面データを端末通信部１１に送る機能等を有する。
画像問合部１３は、端末制御部１２からの画像データの認識要求に応じて当該画像データを画像認識システム３０に送る機能等を有する。
The terminal control unit 12 (1) a function of requesting the image inquiry unit 13 to recognize the image data sent from the terminal communication unit 11, (2) a function of acquiring the recognition result of the image data from the image recognition system 30, (3) When the type of the recognition result is a character string, a function of inquiring the translation processing system 40 about the translation of this character string, (4) a function of generating terminal screen data including the translation processing result, (5) a terminal screen It has a function of transmitting data to the terminal communication unit 11.
The image inquiry unit 13 has a function of sending the image data to the image recognition system 30 in response to the image data recognition request from the terminal control unit 12.
画像認識システム３０の画像認識部３１は、（１）画像問合部１３から送られた認識対象の画像データと辞書画像記憶部３２に記憶されている多数の辞書画像データとの類似度を判定して画像認識し、その認識結果を端末制御部１２に応答する機能を有する。
辞書画像記憶部３２は、例えば世の中に存在する多種多様な物事を撮影した多数の画像データを当該画像データの内容を示す（表す）情報と共に辞書画像として記憶する。
The image recognition unit 31 of the image recognition system 30 determines (1) the degree of similarity between the image data of the recognition target sent from the image inquiry unit 13 and a large number of dictionary image data stored in the dictionary image storage unit 32. Then, it has a function of recognizing an image and returning the recognition result to the terminal control unit 12.
The dictionary image storage unit 32 stores, as a dictionary image, a large number of image data obtained by photographing various kinds of things existing in the world, together with information indicating (representing) the content of the image data.
このように構成された端末管理システム１０、画像認識システム３０、翻訳処理システム４０は、ＣＰＵが制御プログラムに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、各種の機能を実現する。 In the terminal management system 10, the image recognition system 30, and the translation processing system 40 configured as described above, the CPU controls the operation of each part of the circuit according to the instruction described in the control program, and the software and the hardware cooperate with each other. By performing the above operation, various functions as described in the following operation description are realized.
なお、ポータブル端末２０は、管理システム通信部２１、カメラ(撮像部)２２、ディスプレイ（表示部）２３を備え、当該ポータブル端末２０も同端末２０に内蔵されるＣＰＵがフラッシュＲＯＭ等の記憶装置に予め記憶させた端末制御プログラムを実行して電子回路各部の動作を制御することで、管理システム通信部２１、カメラ２２、ディスプレイ２３の各部を機能させる。 The portable terminal 20 includes a management system communication unit 21, a camera (imaging unit) 22, and a display (display unit) 23. The portable terminal 20 has a CPU built in the terminal 20 as a storage device such as a flash ROM. By executing the terminal control program stored in advance and controlling the operation of each part of the electronic circuit, each part of the management system communication part 21, the camera 22, and the display 23 is made to function.
管理システム通信部２１は、（１）ユーザの操作に応じてカメラ２２により撮影された画像データを通信ネットワーク上にあるサーバ装置の端末管理システム１０に送信する機能、（２）当該送信した画像データの認識結果に応じた情報を含む端末画面データを端末管理システム１０から受信してディスプレイ２３に表示させる機能等を有する。 The management system communication unit 21 has (1) a function of transmitting image data captured by the camera 22 to the terminal management system 10 of the server device on the communication network in response to a user operation, and (2) the transmitted image data. It has a function of receiving the terminal screen data including the information according to the recognition result from the terminal management system 10 and displaying it on the display 23.
次に、上記構成の画面表示システムの動作について説明する。
図２は、本発明の第１の実施形態における画面表示システムの動作の第１の例を示すシーケンス図である。
端末管理システム１０の端末通信部１１が、ポータブル端末２０の利用開始後のユーザ操作により撮影した認識対象の画像データを受信すると（Ｔ１〜Ｔ４）、この画像データが端末制御部１２に送られる（Ｔ５）。端末制御部１２は、送られた画像データの認識要求を画像問合部１３に出力する（Ｔ６）。
Next, the operation of the screen display system having the above configuration will be described.
FIG. 2 is a sequence diagram showing a first example of operation of the screen display system according to the first embodiment of the present invention.
When the terminal communication unit 11 of the terminal management system 10 receives the image data of the recognition target photographed by the user operation after the use of the portable terminal 20 is started (T1 to T4), the image data is sent to the terminal control unit 12 ( T5). The terminal control unit 12 outputs the sent image data recognition request to the image inquiry unit 13 (T6).
すると、画像問合部１３は、認識対象の画像データ（ここでは文字列「〜公園」を含む画像データ）を画像認識システムの画像認識部３１に送る（Ｔ７）。画像認識部３１は、認識対象の画像データと辞書画像記憶部３２に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない（Ｔ８）、この認識結果（ここでは、上記の文字列「〜公園」を含む画像の当該文字列「〜公園」）およびその種別（認識結果が画像に含まれる文字列であるか否かを示す情報、ここでは「文字列」、または「その他（名称）」）を端末制御部１２に応答する。（Ｔ９）。
本実施形態では、辞書画像データは、文字列の翻訳を意図した画像であるか否かを示す情報を含み、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図した画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列であることを示す情報（「文字列」）となる。また、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図しない画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列でなく、この画像に含まれる物体の名称を示す情報（「その他（名称）」）となる。
Then, the image inquiry unit 13 sends the image data of the recognition target (here, the image data including the character string "-park") to the image recognition unit 31 of the image recognition system (T7). The image recognition unit 31 performs image recognition by determining the degree of similarity between the image data to be recognized and a large number of dictionary image data stored in the dictionary image storage unit 32 (T8). , The character string “˜park” of the image including the character string “˜park”) and its type (information indicating whether or not the recognition result is a character string included in the image, here, “character string”, Alternatively, “other (name)” is returned to the terminal control unit 12. (T9).
In the present embodiment, the dictionary image data includes information indicating whether or not the image is intended to translate a character string, and the dictionary image data that is a recognition result in the above image recognition is intended to translate the character string. If the information indicating that the image is a stored image is included, the above-mentioned type returned together with the recognition result is information indicating that the image is a character string included in the image (“character string”). Further, when the dictionary image data which is the recognition result in the above image recognition includes information indicating that the image is not the translation of the character string, the above-mentioned type that is responded with the recognition result is included in the image. It is not a character string to be displayed, but information indicating the name of an object included in this image (“other (name)”).
そして、端末制御部１２は、認識結果の種別が「文字列」であることを確認すると（Ｔ１０）、認識結果で示される文字列（翻訳前文字列、ここでは「〜公園」）の翻訳問い合わせを翻訳処理システム４０に出力する（Ｔ１１）。 Then, when the terminal control unit 12 confirms that the type of the recognition result is “character string” (T10), it makes a translation inquiry of the character string (pre-translation character string, here “... park”) indicated by the recognition result. Is output to the translation processing system 40 (T11).
この翻訳問い合わせを受けて、翻訳処理システム４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列、ここでは「〜park」）を翻訳結果応答として端末制御部１２に送る（Ｔ１２）。 In response to this translation inquiry, the translation processing system 40 performs translation processing of the pre-translation character string, and the translation processing result (post-translation character string, here, "~park") is sent to the terminal control unit 12 as a translation result response. Send (T12).
端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列、および翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１を介してポータブル端末２０に送信する（Ｔ１３，Ｔ１４）。 When the terminal control unit 12 acquires the translation processing result, it generates terminal screen data including the pre-translation character string and the post-translation character string, which have been previously obtained, and generates the generated terminal screen data and the display instruction signal. It transmits to the portable terminal 20 via the terminal communication part 11 (T13, T14).
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による翻訳前文字列および翻訳後文字列を含む端末画面データをディスプレイ２３に表示する。これにより、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５，Ｔ１６）。 The management system communication unit 21 of the portable terminal 20 displays the terminal screen data including the pre-translation character string and the post-translation character string on the display 23 by recognizing the image data captured by the user operation. Thereby, the user can quickly and easily obtain the pre-translation character string corresponding to the displayed post-translation character string, and confirm the pre-translation character string, or compare the pre-translation character string with the post-translation character string. It is possible (T15, T16).
図３は、本発明の第１の実施形態における画面表示システムの動作の第２の例を示すシーケンス図である。
図３に示す第２の例のシーケンス図において、図２で示した第１の例のシーケンス図と同様の動作部分については、同じ符号Ｔ１〜Ｔ９を付してその説明を省略する。ただし、認識対象の画像データは、文字列を含まない画像データであるとする。
FIG. 3 is a sequence diagram showing a second example of the operation of the screen display system according to the first embodiment of the present invention.
In the sequence diagram of the second example shown in FIG. 3, the same operation parts as those in the sequence diagram of the first example shown in FIG. 2 are designated by the same reference numerals T1 to T9 and the description thereof is omitted. However, it is assumed that the image data to be recognized is image data that does not include a character string.
Ｔ９の後、端末制御部１２は、認識結果の種別が「その他（名称）」、つまり、上記のように、認識対象の画像データが文字列を含まないことを確認すると（Ｔ１０ａ）、認識結果で示される文字列（文字列を含まない画像データに含まれる物体（ここでは薔薇の花）の名称としての翻訳前文字列、ここでは「薔薇」）の翻訳問い合わせを翻訳処理システム４０に出力する（Ｔ１１ａ）。 After T9, when the terminal control unit 12 confirms that the type of the recognition result is “other (name)”, that is, as described above, the image data to be recognized does not include a character string (T10a), the recognition result A translation inquiry of a character string indicated by (a character string before translation as a name of an object (here, rose flower) included in image data that does not include the character string, here “rose”) is output to the translation processing system 40. (T11a).
この翻訳問い合わせを受けて、翻訳処理システム４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列、ここでは「rose」）を翻訳結果応答として端末制御部１２に送る（Ｔ１２ａ）。 In response to this translation inquiry, the translation processing system 40 translates the pre-translation character string, and sends the translation processing result (post-translation character string, here "rose") to the terminal control unit 12 as a translation result response. (T12a).
端末制御部１２は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１を介してポータブル端末２０に送信する（Ｔ１３ａ，Ｔ１４ａ）。
ポータブル端末２０の管理システム通信部２１は、翻訳後文字列を含む端末画面データをディスプレイ２３に表示する（Ｔ１５ａ，Ｔ１６ａ）。
When the translation control result is acquired, the terminal control unit 12 generates terminal screen data including the post-translation character string, and the generated terminal screen data and the display instruction signal via the terminal communication unit 11 to the portable terminal 20. (T13a, T14a).
The management system communication unit 21 of the portable terminal 20 displays the terminal screen data including the translated character string on the display 23 (T15a, T16a).
以上のように、本発明の第１の実施形態における画面表示システムによれば、ポータブル端末２０により撮影された、文字列（例えば、「〜公園」）を含む画像データを受信して辞書画像記憶部３２に記憶されている多数の辞書画像データに基づき画像認識処理した際に、この認識結果としての翻訳前文字列を翻訳して翻訳後文字列（例えば、「〜park」）を得て、これらの翻訳前文字列および翻訳後文字列をあわせてポータブル端末２０に同時に表示する。 As described above, according to the screen display system in the first embodiment of the present invention, the image data including the character string (for example, “to park”) captured by the portable terminal 20 is received to store the dictionary image. When the image recognition processing is performed based on the large number of dictionary image data stored in the unit 32, the pre-translation character string as the recognition result is translated to obtain the post-translation character string (for example, "... park"), These pre-translation character strings and post-translation character strings are displayed together on the portable terminal 20.
これにより、ユーザが翻訳対象として意図していた文字列と異なる文字列を撮影してしまい、この文字列が翻訳前文字列として認識されたとしても、この翻訳前文字列を翻訳後文字列とを同時に確認できるので、ユーザが意図していた文字列の翻訳結果が得られているか否かを容易に確認することが可能になる。 As a result, even if the user captures a character string different from the character string that the user intended to translate, and this character string is recognized as the pre-translation character string, this pre-translation character string is regarded as the post-translation character string. Since it is possible to confirm simultaneously, it becomes possible to easily confirm whether or not the translation result of the character string intended by the user is obtained.
この確認により、翻訳前文字列が、ユーザが意図した文字列と異なる場合、ユーザは、誤った対象物を撮影してしまったことなどに気付くことができ、正しい対象物の再度の撮影を促すことができる。 By this confirmation, if the pre-translation character string is different from the character string intended by the user, the user can notice that he/she has photographed an incorrect target object, and encourages the user to capture the correct target object again. be able to.
（第２の実施形態）
次に、第２の実施形態について説明する。図４は、本発明の第２の実施形態における画面表示システム動作を示すシーケンス図である。
図４に示す第２の実施形態のシーケンス図において、図２で示した第１の実施形態のシーケンス図と同じ動作部分については、同じ符号Ｔ１〜Ｔ２４を付してその説明を省略する。
(Second embodiment)
Next, a second embodiment will be described. FIG. 4 is a sequence diagram showing the operation of the screen display system in the second embodiment of the present invention.
In the sequence diagram of the second embodiment shown in FIG. 4, the same operation parts as those in the sequence diagram of the first embodiment shown in FIG. 2 are designated by the same reference numerals T1 to T24 and the description thereof is omitted.
ただし、Ｔ２４では、端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第１の端末画面データ、および翻訳後文字列を含む第２の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で１種類ずつ順次表示させる指示である表示指示信号を端末通信部１１を介してポータブル端末２０に送信する。 However, at T24, when the translation control result is acquired, the terminal control unit 12 obtains the first terminal screen data including the pre-translation character string and the second terminal screen data including the post-translation character string, which are obtained in advance. Each of the generated terminal screen data and a display instruction signal for instructing the terminal screen data to be sequentially displayed one by one in the order of the pre-translation character string, the post-translation character string, or the reverse order are generated by the terminal communication unit 11. It transmits to the portable terminal 20 via the.
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による第１および第２の端末画面データを、表示指示信号で指示された順序でディスプレイ２３に表示する。これにより、第１の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５ａ，Ｔ１６ａ，Ｔ１５ｂ，Ｔ１６ｂ）。また、第１の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に区別できる。 The management system communication unit 21 of the portable terminal 20 displays the first and second terminal screen data by recognition of the image data captured by the user operation on the display 23 in the order instructed by the display instruction signal. As a result, as in the first embodiment, the user can quickly and easily obtain the pre-translation character string corresponding to the displayed post-translation character string and confirm the pre-translation character string, or the pre-translation character string. Can be compared with the translated character string (T15a, T16a, T15b, T16b). Further, as compared with the first embodiment, the user can clearly distinguish the displayed pre-translation character string from the displayed post-translation character string.
（第３の実施形態）
次に、第３の実施形態について説明する。図５は、本発明の第３の実施形態における画面表示システム動作を示すシーケンス図である。
図５に示す第３の実施形態のシーケンス図において、図２で示した第１の実施形態のシーケンス図と同じ動作部分については、同じ符号Ｔ１〜Ｔ２４を付してその説明を省略する。
(Third Embodiment)
Next, a third embodiment will be described. FIG. 5 is a sequence diagram showing the operation of the screen display system in the third embodiment of the present invention.
In the sequence diagram of the third embodiment shown in FIG. 5, the same operation parts as those in the sequence diagram of the first embodiment shown in FIG. 2 are designated by the same reference numerals T1 to T24 and the description thereof is omitted.
ただし、Ｔ２４では、端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第１の端末画面データ、および翻訳後文字列を含む第２の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で１種類ずつ所定回数だけまたは所定時間にわたって繰り返し表示させる（例えば、翻訳前文字列→翻訳後文字列→翻訳前文字列→翻訳後文字列→…）指示である表示指示信号を端末通信部１１を介してポータブル端末２０に送信する。 However, at T24, when the translation control result is acquired, the terminal control unit 12 obtains the first terminal screen data including the pre-translation character string and the second terminal screen data including the post-translation character string, which are obtained in advance. The generated terminal screen data and the generated terminal screen data are repeatedly displayed one by one for a predetermined number of times or for a predetermined time, for example, in the order of pre-translation character string, post-translation character string, or in the reverse order (for example, before translation). (Character string→Post-translated character string→Pre-translated character string→Post-translated character string→...) A display instruction signal, which is an instruction, is transmitted to the portable terminal 20 via the terminal communication unit 11.
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による第１および第２の端末画面データを、表示指示信号で指示された順序で所定回数だけ繰り返しディスプレイ２３に表示する。これにより、第１の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５ｃ，Ｔ１６ｄ，Ｔ１５ｃ，Ｔ１６ｄ）。また、第１の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に繰り返し区別できる。 The management system communication unit 21 of the portable terminal 20 repeatedly displays the first and second terminal screen data by recognizing the image data captured by the user operation on the display 23 a predetermined number of times in the order instructed by the display instruction signal. .. As a result, as in the first embodiment, the user can quickly and easily obtain the pre-translation character string corresponding to the displayed post-translation character string and confirm the pre-translation character string, or the pre-translation character string. And the post-translation character string can be compared (T15c, T16d, T15c, T16d). Further, compared to the first embodiment, the user can clearly and repeatedly distinguish the displayed pre-translation character string and post-translation character string.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements within a range not departing from the gist of the invention in an implementation stage. Further, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements of different embodiments may be combined appropriately.
また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本システムを実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。 In addition, the method described in each embodiment is, as a program (software means) that can be executed by a computer (computer), for example, a magnetic disk (floppy (registered trademark) disk, hard disk, etc.), optical disk (CD-ROM, It can also be stored in a recording medium such as a DVD, MO, etc.), a semiconductor memory (ROM, RAM, flash memory, etc.), or transmitted by a communication medium for distribution. It should be noted that the programs stored on the medium side also include setting programs for configuring software means (including not only execution programs but also tables and data structures) to be executed by the computer in the computer. A computer that realizes the present system reads a program recorded in a recording medium, constructs software means by a setting program in some cases, and executes the above-described processing by controlling the operation by the software means. The recording medium in the present specification is not limited to distribution, but includes a storage medium such as a magnetic disk or a semiconductor memory provided inside a computer or in a device connected via a network.
１０，１１０…端末管理システム、１１，１１１…端末通信部、１２，１１２…端末制御部、１３，１１３…画像問合部、２０，１２０…ポータブル端末、２１，１２１…管理システム通信部、２２，１２２…カメラ（撮像部）、２３，１２３…ディスプレイ（表示部）、３０，１３０…画像認識システム、３１，１３１…画像認識部、３２，１３２…辞書画像記憶部、４０，１４０…翻訳処理システム。 10, 110... Terminal management system, 11, 111... Terminal communication unit, 12, 112... Terminal control unit, 13, 113... Image inquiry unit, 20, 120... Portable terminal 21, 121... Management system communication unit, 22 , 122... Camera (imaging unit), 23, 123... Display (display unit), 30, 130... Image recognition system, 31, 131... Image recognition unit, 32, 132... Dictionary image storage unit, 40, 140... Translation processing system.
Claims (7)
画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶手段と、
前記画像受信手段により受信された画像の認識を要求する画像認識要求手段と、
前記画像認識要求手段による要求に応答して、前記受信された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力する画像認識手段と、
前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記画像認識手段から出力された文字列を翻訳し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳する翻訳処理手段と、
前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳処理手段による翻訳処理後の文字列および前記翻訳処理手段による翻訳処理前の文字列をそれぞれ含む端末画面を生成し、
前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、前記翻訳処理手段による翻訳処理後の文字列を含む端末画面を生成する端末画面生成手段と、
前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段と
を備えた画面表示システム。 An image receiving means for receiving an image taken by an external terminal,
Dictionary image storage means for storing the image as a dictionary image together with information indicating the content of the image and information indicating whether or not the translation of the character string is intended,
Image recognition requesting means for requesting recognition of the image received by the image receiving means,
In response to the request by the image recognition requesting means, the dictionary image that is the recognition result of the recognition target image is recognized with the received image as the recognition target image,
When the dictionary image used as the recognition result includes information indicating that the character string is an image intended for translation, the character string indicated by the recognition result and the type of the recognition result are the recognition result. Outputs information indicating that it is a character string included in the selected image,
When the dictionary image which is the recognition result includes information indicating that the translation of the character string is not intended, the character string indicated by the recognition result and the type of the recognition result are set as the recognition result. Image recognition means for outputting information indicating that the name of the object included in the image,
If the type of the recognition result is a character string included in the image regarded as the recognition result, the character string output from the image recognition means is translated,
When the type of the recognition result is a name of an object included in the image that is the recognition result, a translation processing unit that translates the name of the object,
A terminal screen including a character string after translation processing by the translation processing unit and a character string before translation processing by the translation processing unit when the type of the recognition result is a character string included in the image regarded as the recognition result Produces
Terminal screen generation means for generating a terminal screen including a character string after translation processing by the translation processing means when the type of the recognition result is the name of an object included in the image regarded as the recognition result,
And a terminal screen transmitting unit that transmits the terminal screen generated by the terminal screen generating unit to the external terminal.
前記翻訳処理手段による翻訳処理後の文字列を含む第１の端末画面、および、前記翻訳処理手段による翻訳処理前の文字列を含む第２の端末画面をそれぞれ生成し、
前記端末画面送信手段は、
前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に順次表示されるように前記外部の端末に送信する請求項１に記載の画面表示システム。 The terminal screen generation means,
A first terminal screen including a character string after the translation processing by the translation processing unit and a second terminal screen including a character string before the translation processing by the translation processing unit are generated,
The terminal screen transmission means,
The screen display system according to claim 1, wherein the generated first terminal screen and the generated second terminal screen are transmitted to the external terminal so as to be sequentially displayed on the external terminal.
前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に交互に繰り返し表示されるように前記外部の端末に送信する請求項２に記載の画面表示システム。 The terminal screen transmission means,
The screen display system according to claim 2, wherein the generated first terminal screen and the generated second terminal screen are transmitted to the external terminal so as to be alternately and repeatedly displayed on the external terminal.
端末により撮影された画像を取得し、
前記取得された画像の認識を要求し、
前記要求に応答して、前記取得された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記出力された文字列を翻訳し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳し、
前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳した後の文字列および前記翻訳する前の文字列をそれぞれ含む端末画面を生成し、
前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、翻訳処理後の文字列を含む端末画面を生成し、
前記生成された端末画面を前記端末に送信する画面表示方法。 It is a method applied to a screen display system having a dictionary image storage device that stores an image as a dictionary image together with information indicating the content of the image and information indicating whether or not the translation of a character string is intended. hand,
Acquire the image taken by the terminal,
Requesting recognition of the acquired image,
In response to the request, the dictionary image which is the recognition result of the recognition target image is recognized with the acquired image as the recognition target image,
When the dictionary image used as the recognition result includes information indicating that the character string is an image intended for translation, the character string indicated by the recognition result and the type of the recognition result are the recognition result. Outputs information indicating that it is a character string included in the selected image,
When the dictionary image which is the recognition result includes information indicating that the translation of the character string is not intended, the character string indicated by the recognition result and the type of the recognition result are set as the recognition result. Output information indicating that it is the name of the object included in the image,
If the type of the recognition result is a character string included in the image regarded as the recognition result, the output character string is translated,
When the type of the recognition result is the name of the object included in the image that is the recognition result, the name of the object is translated,
Generate a terminal screen that includes the character string after translation and the character string before translation when the type of the recognition result is a character string included in the image that is the recognition result,
When the type of the recognition result is the name of an object included in the image that is the recognition result, a terminal screen including a character string after translation processing is generated,
A screen display method for transmitting the generated terminal screen to the terminal.
前記生成した第１の端末画面、および前記第２の端末画面が前記端末に順次表示されるように前記端末に送信する請求項４に記載の画面表示方法。 Generating a first terminal screen including the translated character string and a second terminal screen including the untranslated character string,
The screen display method according to claim 4, wherein the generated first terminal screen and the generated second terminal screen are transmitted to the terminal so as to be sequentially displayed on the terminal.
前記コンピュータを、
前記画像受信手段、前記画像認識要求手段、前記翻訳処理手段、前記端末画面生成手段、および前記端末画面送信手段
として機能させるための画面表示処理プログラム。 A program used for a computer that operates as part of the screen display system according to claim 1,
The computer,
A screen display processing program for functioning as the image receiving unit, the image recognition requesting unit, the translation processing unit, the terminal screen generating unit, and the terminal screen transmitting unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020014484A JP6857757B2 (en) | 2020-01-31 | 2020-01-31 | Screen display system, screen display method and screen display processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020014484A JP6857757B2 (en) | 2020-01-31 | 2020-01-31 | Screen display system, screen display method and screen display processing program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016173623A Division JP2018041199A (en) | 2016-09-06 | 2016-09-06 | Screen display system, screen display method, and screen display processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020102226A true JP2020102226A (en) | 2020-07-02 |
| JP6857757B2 JP6857757B2 (en) | 2021-04-14 |
Family
ID=71141306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020014484A Active JP6857757B2 (en) | 2020-01-31 | 2020-01-31 | Screen display system, screen display method and screen display processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6857757B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030164819A1 (en) * | 2002-03-04 | 2003-09-04 | Alex Waibel | Portable object identification and translation system |
| US20050185060A1 (en) * | 2004-02-20 | 2005-08-25 | Neven Hartmut Sr. | Image base inquiry system for search engines for mobile telephones with integrated camera |
| US20080233980A1 (en) * | 2007-03-22 | 2008-09-25 | Sony Ericsson Mobile Communications Ab | Translation and display of text in picture |
| KR20120023964A (en) * | 2010-09-03 | 2012-03-14 | 엘지전자 주식회사 | Mobile terminal and control method therof |
| JP2014086040A (en) * | 2012-10-26 | 2014-05-12 | Canon Marketing Japan Inc | Information processing system, information processing method, and computer program |
| WO2015069737A2 (en) * | 2013-11-08 | 2015-05-14 | Google Inc. | Presenting translations of text depicted in images |
| JP2016058057A (en) * | 2014-09-09 | 2016-04-21 | 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ | Translation system, translation method, computer program, and storage medium readable by computer |
-
2020
- 2020-01-31 JP JP2020014484A patent/JP6857757B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030164819A1 (en) * | 2002-03-04 | 2003-09-04 | Alex Waibel | Portable object identification and translation system |
| US20050185060A1 (en) * | 2004-02-20 | 2005-08-25 | Neven Hartmut Sr. | Image base inquiry system for search engines for mobile telephones with integrated camera |
| US20080233980A1 (en) * | 2007-03-22 | 2008-09-25 | Sony Ericsson Mobile Communications Ab | Translation and display of text in picture |
| KR20120023964A (en) * | 2010-09-03 | 2012-03-14 | 엘지전자 주식회사 | Mobile terminal and control method therof |
| JP2014086040A (en) * | 2012-10-26 | 2014-05-12 | Canon Marketing Japan Inc | Information processing system, information processing method, and computer program |
| WO2015069737A2 (en) * | 2013-11-08 | 2015-05-14 | Google Inc. | Presenting translations of text depicted in images |
| JP2016535335A (en) * | 2013-11-08 | 2016-11-10 | グーグル インコーポレイテッド | Presentation of translation of text drawn in the image |
| JP2016058057A (en) * | 2014-09-09 | 2016-04-21 | 株式会社Ｔ．Ｊ．Ｐｒｏｍｏｔｉｏｎ | Translation system, translation method, computer program, and storage medium readable by computer |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6857757B2 (en) | 2021-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956686B2 (en) | Information processing system, information processing apparatus, and information processing method | |
| CN106648690B (en) | Automatic code generation method and device | |
| WO2019214359A1 (en) | Data processing method based on simultaneous interpretation, computer device, and storage medium | |
| RU2618937C2 (en) | Updating method, device and unit for updates | |
| CN110727417B (en) | Data processing method and device | |
| US20190213499A1 (en) | Information processing apparatus, artificial intelligence identification method, and program | |
| JP2021034003A (en) | Human object recognition method, apparatus, electronic device, storage medium, and program | |
| WO2018145574A1 (en) | Information processing method and device, terminal, server and storage medium | |
| US11165916B2 (en) | Information processing method, information processing apparatus, and non-transitory recording medium storing instructions for executing an information processing method | |
| CN105468606B (en) | Webpage saving method and device | |
| JP6857757B2 (en) | Screen display system, screen display method and screen display processing program | |
| JP2018041199A (en) | Screen display system, screen display method, and screen display processing program | |
| JP2015102875A (en) | Display system and display control device | |
| CN110992960A (en) | Control method, control device, electronic equipment and storage medium | |
| JP2019101751A (en) | Information presentation device, information presentation system, information presentation method, and program | |
| CN111488267B (en) | Interface test script generation method and device and electronic equipment | |
| CN112380828A (en) | PDF document generation method and device, storage medium and electronic equipment | |
| CN111897529A (en) | Front-end component conversion method, device, equipment and readable storage medium | |
| JP2022511139A (en) | Information processing methods, devices and storage media | |
| JPWO2020026360A1 (en) | Computer systems, screen sharing methods and programs | |
| JP2016051186A (en) | Information presentation device, control method thereof, program, information presentation system, and server device | |
| JP6664293B2 (en) | Device direction estimation method, image recognition device, and control program therefor | |
| JP2013238986A (en) | Processing apparatus, processing system, and output method and program | |
| CN112003788B (en) | Data request sending method, device, equipment and medium | |
| JP2023135538A (en) | Program, information processing method, and information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210322 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6857757 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |