WO2014155742A1 - 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム - Google Patents

情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム Download PDF

Info

Publication number
WO2014155742A1
WO2014155742A1 PCT/JP2013/059765 JP2013059765W WO2014155742A1 WO 2014155742 A1 WO2014155742 A1 WO 2014155742A1 JP 2013059765 W JP2013059765 W JP 2013059765W WO 2014155742 A1 WO2014155742 A1 WO 2014155742A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
character string
translation
converted
original
Prior art date
Application number
PCT/JP2013/059765
Other languages
English (en)
French (fr)
Inventor
宗 益子
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to JP2015505745A priority Critical patent/JP5829354B2/ja
Priority to US14/781,032 priority patent/US9690778B2/en
Priority to PCT/JP2013/059765 priority patent/WO2014155742A1/ja
Publication of WO2014155742A1 publication Critical patent/WO2014155742A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/28Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/287Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters

Definitions

  • the present invention relates to a browsing system, a browsing system control method, a terminal, a terminal control method, a server, a server control method, an information storage medium, and a program.
  • an image including a character string such as “last day” used in bargains and the like and a background image such as a graphic for calling attention may be used. It would be convenient to have a function of reading a character string from such an image and translating it into another language and generating an image including the translated character string and a background image.
  • Patent Document 1 discloses a server that receives an image request from a terminal and transmits an image with a character or character string specified by additional information specified by an image parameter specified in the received image request as an image response. Is disclosed.
  • Patent Document 1 when there are a plurality of character strings added to an image, or when there are a plurality of images to which a character string is added, the processing load on the server tends to increase.
  • the present invention has been made in view of the above problems, and an object thereof is an information processing system capable of avoiding concentration of processing, a control method for the information processing system, an information processing device, and a control method for the information processing device.
  • An information storage medium and a program are provided.
  • an information processing system partially converts a plurality of converted character strings obtained by converting a plurality of original character strings respectively added to at least one of one or a plurality of original images.
  • An acquisition unit for acquiring the converted character string, and an area corresponding to the display region of the original character string in the original image to which the original character string corresponding to the acquired converted character string is added each time the converted character string is acquired A generating unit configured to generate a converted image in which the converted character string is arranged; and a display device that displays on a screen at least a part of an object including one or more images based on display information.
  • Changing means for changing the foreground content of the arrangement area of the original image corresponding to the converted image generated by the generating means to the converted image.
  • the control method of the information processing system acquires part of a plurality of converted character strings obtained by converting a plurality of original character strings respectively added to at least one of one or a plurality of original images.
  • the converted character string is displayed in an area corresponding to the display area of the original character string in the original image to which the original character string corresponding to the acquired converted character string is added.
  • a converted image generated by the generating means in the object is generated on a display device that generates a converted image in which the image is arranged and displays on the screen at least a part of the object including one or more images based on the display information.
  • the content in the foreground of the arrangement area of the original image corresponding to the image is changed to the converted image.
  • the information processing apparatus obtains a part of a plurality of converted character strings obtained by converting a plurality of original character strings respectively added to at least one of one or a plurality of original images.
  • the converted character string is displayed in an area corresponding to the display area of the original character string in the original image to which the original character string corresponding to the acquired converted character string is added.
  • the information processing apparatus control method also acquires a plurality of converted character strings obtained by converting a plurality of original character strings respectively added to at least one of one or a plurality of original images.
  • the converted character string is displayed in an area corresponding to the display area of the original character string in the original image to which the original character string corresponding to the acquired converted character string is added.
  • a converted image generated by the generating means in the object is generated on a display device that generates a converted image in which the image is arranged and displays on the screen at least a part of the object including one or more images based on the display information.
  • the content in the foreground of the arrangement area of the original image corresponding to the image is changed to the converted image.
  • the program of the present invention is an acquisition unit that acquires a plurality of converted character strings obtained by converting a plurality of original character strings respectively added to at least one of one or a plurality of original images, Each time the converted character string is acquired, the converted character string is arranged in an area corresponding to the display area of the original character string in the original image to which the original character string corresponding to the acquired converted character string is added.
  • the generation unit that generates the converted image and the display unit that displays on the screen at least a part of the object including one or more images based on the display information.
  • This is a program that causes a computer to function as changing means for changing the foremost contents of the arrangement area of the original image corresponding to the completed image to the converted image.
  • the information storage medium of the present invention obtains a part of a plurality of converted character strings obtained by converting a plurality of original character strings respectively added to at least one of one or a plurality of original images.
  • the converted character string is displayed in an area corresponding to the display area of the original character string in the original image to which the original character string corresponding to the acquired converted character string is added.
  • Computer is a readable information storage medium.
  • the acquisition unit may partially convert the plurality of converted character strings respectively corresponding to the plurality of original character strings according to an order based on the priority order for the plurality of original character strings. get.
  • the priority may be set based on at least one of a display mode of the original character string and an arrangement position of the image to which the original character string is added in the object. Is set by
  • the priority is set by setting means based on the size of the visual feature amount of the original character string in the object displayed based on the display information.
  • the apparatus further includes the setting unit.
  • receiving means for receiving an acquisition request for any of the images arranged in the forefront in the object from the display device that transmits the acquisition request at a predetermined timing for each image.
  • the content of the foreground area of the image related to the acquisition request in the object is displayed on the forefront of the area generated by the generation means.
  • the image is changed to a converted image having more converted character strings to be arranged than the arranged images.
  • the information processing apparatus further includes range information acquisition means for acquiring range information indicating a range of the object displayed on the screen from the display device at a predetermined timing, and the setting means includes the range Decrease the priority of the original character string not included in the range indicated by the information by at least one step.
  • the display device that transmits an acquisition request for an image corresponding to the original character string at a predetermined timing according to an order based on the priority order set by the setting unit may be the most recent in the object.
  • the image processing apparatus further includes receiving means for receiving an acquisition request for any of the images arranged on the front surface, and the changing means receives an acquisition request for an image related to the acquisition request in the object each time the acquisition request is received.
  • the foreground content is changed to a converted image that is generated by the generating means and has more converted character strings arranged than the image arranged in the foreground of the area.
  • the changing unit may cause the display device to gradually convert the foreground content of the arrangement area of the original image corresponding to the generated converted image in the object to the converted image. Make changes.
  • FIG. 1 It is a figure which shows an example of a structure of the browsing system which concerns on embodiment of this invention. It is a figure which shows an example of the hardware constitutions of an image server. It is a figure which shows an example of the page before translation. It is a figure which shows an example of the page after translation. It is a sequence diagram which shows the outline
  • FIG. 1 is a diagram illustrating an example of a configuration of a browsing system 1 according to an embodiment of the present invention.
  • the browsing system 1 includes a web server 2, an image server 3, a translation server 4, and a user terminal 10.
  • the web server 2, the image server 3, the translation server 4, and the user terminal 10 are connected to the communication network 5 and can communicate with each other.
  • the web server 2, the image server 3, and the translation server 4 communicate with the user terminal 10 in accordance with, for example, HTTP (Hypertext Transfer Protocol).
  • the web server 2 is a server that provides a virtual shopping mall site, for example.
  • the image server 3 includes, for example, a database that stores image data used in a virtual shopping mall site.
  • the translation server 4 executes, for example, processing for translating the designated character string into another language.
  • another application server may be provided with a function of executing processing for generating an image.
  • the web server 2 and the image server 3 may be integrated.
  • the HTTP daemon is activated in the web server 2 and the web browser is activated in the user terminal 10.
  • a processing request (HTTP request) is transmitted from the user terminal 10 to the web server 2
  • a corresponding processing result (HTTP response) is transmitted from the web server 2 to the user terminal 10.
  • the web server 2 transmits page data described in a web page description language to the user terminal 10, and the user terminal 10 displays a page on the screen based on the received page data.
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the image server 3.
  • the image server 3 is realized by, for example, a desktop computer or a laptop computer.
  • the image server 3 includes a control unit 11, a storage unit 12, an optical disc drive unit 13, a communication interface unit 14, an operation unit 15, a display unit 16, and an audio output unit 17.
  • the control unit 11 includes, for example, one or a plurality of microprocessors, and executes information processing according to an operating system or a program stored in the storage unit 12.
  • the storage unit 12 includes, for example, a RAM, a hard disk, or a solid state drive.
  • the optical disk drive unit 13 reads programs and data stored on an optical disk (information storage medium).
  • the program and data are supplied to the storage unit 12 via the optical disc. That is, the program and data are read from the optical disk by the optical disk drive unit 13 and stored in the storage unit 12.
  • the image server 3 may include a component for reading a program or data stored in an information storage medium (for example, a memory card) other than the optical disk. And a program and data may be supplied to the memory
  • the communication interface unit 14 is an interface for connecting the image server 3 to a communication network.
  • the image server 3 can exchange data with other devices via a communication network.
  • the program and data may be supplied to the storage unit 12 via a communication network.
  • the operation unit 15 is for a user to perform an operation.
  • a keyboard, a mouse, a touch pad, a touch panel, a stick (lever), or the like corresponds to the operation unit 15.
  • the display unit 16 is, for example, a liquid crystal display or an organic EL display.
  • the audio output unit 17 is, for example, a speaker or a headphone terminal.
  • the user terminal 10, the web server 2, and the translation server 4 also have the same configuration as the image server 3 described above.
  • FIG. 3A is a diagram illustrating an example of an original page before translation (hereinafter referred to as pre-translation page 6). That is, the pre-translation page 6 is a page that is displayed when the page data held by the web server 2 is processed by the user terminal 10 without undergoing translation processing by the translation server 4 or the like.
  • the pre-translation page 6 is a page displayed based on page data as display information, and includes a character string (hereinafter referred to as a pre-translation character string 61).
  • the pre-translation character string 61 is a character string described in the page data and displayed in the pre-translation page 6.
  • the pre-translation character string 61 is a character string described in a “body” tag.
  • the pre-translation character string 61 is a Japanese character string “currently in super sale. Please enjoy shopping.”
  • the pre-translation page 6 includes an original image (hereinafter referred to as a pre-translation image 7) in which a character string is represented.
  • the pre-translational image 7 is an image whose location is described in the page data and is displayed in the pre-translation page 6. For example, in the case of page data described in HTML, a URL (Uniform Resource Locator) indicating the location of the pre-translation image 7 is described in the “img” tag.
  • URL Uniform Resource Locator
  • the pre-translational image 7 includes, for example, a background image 71 in which a plurality of character strings (hereinafter referred to as pre-translation character strings 72 and 74) are written on the background image 71, and a plurality of pre-translation character strings 72 and 74.
  • This is a converted image.
  • the first pre-translation character string 72 is arranged relatively large in the center portion of the background image 71.
  • the first pre-translation character string 72 is a Japanese character string “last date” representing the last date such as a bargain.
  • the second pre-translation character string 74 is arranged relatively small at a position away from the center of the background image 71 and is less conspicuous than the first pre-translation character string 72.
  • the second pre-translation character string 74 is a Japanese character string “until 12:00” representing a more specific end time on the last day, for example.
  • the pre-translation character strings 72 and 74 are often written in a conspicuous color different from the background image 71.
  • the pre-translation character strings 72 and 74 are often written in a single color, and are often aligned in the horizontal direction, vertical direction, or diagonal direction.
  • FIG. 3B is a diagram illustrating an example of the translated page 8.
  • the post-translation page 8 includes the pre-translation character string 61 described in the pre-translation page 6 in FIG. 3A and the pre-translation character strings 72 and 74 represented in the pre-translation image 7 included in the pre-translation page 6.
  • the translated page 8 includes a translated character string (hereinafter referred to as a translated character string 81).
  • the translated character string 81 is an English character string “Now ⁇ on Super Sale. Please enjoy your shopping. ”.
  • the post-translation page 8 converts an image (hereinafter referred to as a post-translation image 9) representing a character string (hereinafter referred to as post-translation character strings 92 and 94) obtained by translating the pre-translation character strings 72 and 74. It is included as a finished image.
  • the post-translational image 9 is an image in which the post-translation character strings 92 and 94 are written on the same background image 71 as the pre-translational image 71 and the background image 71 and post-translation character strings 92 and 94 are integrated.
  • the first post-translation character string 92 is arranged relatively large in the center portion of the background image 71, like the first pre-translation character string 72.
  • the first post-translation character string 92 is an English character string “FINAL DAY” corresponding to Japanese, for example, the last day.
  • the second post-translation character string 94 is disposed relatively small at a position away from the center of the background image 71.
  • the second post-translation character string 94 is an English character string “until 12mp.m.” corresponding to Japanese, for example, until 12:00 pm.
  • a Japanese character string is translated into an English character string, but the combination of the pre-translation language and the post-translation language is not limited to this mode.
  • the character string may be converted into different types of characters in the same language. For example, a kanji character string may be converted into a hiragana character string or a katakana character string. Further, the number of characters included in the character string is not limited to a plurality and may be one.
  • FIG. 4 is a sequence diagram showing an outline of an example of processing of the browsing system 1.
  • the user terminal 10 transmits a translation request to the translation server 4.
  • the translation request includes location information indicating the location of the original page data to be translated.
  • the location information represents the location of the original page data held by the web server 2.
  • the translation request includes language designation information indicating the pre-translation language and the post-translation language designated by the user.
  • the translation server 4 transmits a page request for requesting the original page data to be translated to the web server 2 based on the location information included in the received translation request.
  • the web server 2 transmits the original page data to be translated to the translation server 4 based on the received page request.
  • the translation server 4 translates the received original page data to be translated.
  • the translation server 4 converts the original page data described in the pre-translation language into page data described in the post-translation language (hereinafter referred to as post-translation page data) based on the language designation information included in the received translation request. Convert.
  • the target to be converted into the post-translation language is a pre-translation character string 61 displayed in the pre-translation page 6.
  • a character string described in a “body” tag is targeted.
  • the translation server 4 adds language designation information to the post-translation page data.
  • the translation server 4 transmits the generated post-translation page data to the user terminal 10.
  • the user terminal 10 draws a translated page that does not include an image on the screen of the display unit, and transmits an image request for requesting image data to the image server 3.
  • the image request includes location information indicating the location of the image data specified by the post-translation page data.
  • the location information represents the location of the pre-translational image data held by the image server 3.
  • the location of the pre-translation image 7 displayed in the pre-translation page 6 is represented in the location information.
  • language designation information is added to the image request. The addition of language designation information is realized, for example, when the user terminal 10 executes a script process designated by page data.
  • the image server 3 executes a series of processes from S107 onward when language designation information indicating that the original page data is translated is added to the received image request.
  • language designation information indicating that the original page data is translated is added to the received image request.
  • the image server 3 specifies the region of the pre-translation character string represented in the pre-translation image data specified by the image request.
  • the image server 3 determines the translation priority for the pre-translation character string in which the area is specified (an example of a function as a setting unit). In other words, the image server 3 determines the order in which a plurality of post-translation character strings are acquired part by part.
  • the image server 3 performs a partial translation process (SP1) on a part of pre-translation character strings to which the first priority is assigned. Specifically, the image server 3 acquires the character data of the pre-translation character string having the first priority (S109), and transmits a translation request including the character data and language designation information to the translation server 4 (S110). ). The translation server 4 translates the pre-translation character string having the first priority (S111), and transmits the character data of the post-translation character string to the image server 3 (S112). Next, the image server 3 generates post-translational image data representing the acquired post-translation character string (S113). As described above, the image server 3 acquires a part of the translated character string and generates post-translational image data in which the character string is represented (an example of an acquisition unit and a function as a generation unit).
  • SP1 partial translation process
  • the image server 3 transmits the post-translational image data acquired by the partial translation process (SP1) to the user terminal 10.
  • the image server 3 performs a partial translation process (SP2) on a part of the pre-translation character string to which the second priority is assigned.
  • the contents of the partial translation process (SP2) are the same as the partial translation process (SP1) described above.
  • the image server 3 obtains another part of the post-translation character string and generates post-translational image data in which it is represented. Such partial translation processing is repeated until partial translation processing is executed for all pre-translation character strings.
  • the image server 3 adds order information indicating the order of generation to the post-translational image data that is sequentially generated. Further, the image server 3 adds an end notification to the post-translational image data generated last.
  • the post-translational image data sequentially generated by the image server 3 is accumulated in a database (not shown), and is read out in order from the oldest in response to an image request from the user terminal 10 and transmitted to the user terminal 10. Is done.
  • the user terminal 10 draws the acquired post-translation image data in the post-translation page displayed on the screen of the display unit (an example of a function as a changing unit).
  • the user terminal 10 further transmits an image request to the image server 3.
  • the user terminal 10 transmits an image request to the image server 3 at every predetermined timing. For example, an image request is transmitted after a predetermined time has elapsed since the previous image acquisition or at regular intervals.
  • the image server 3 transmits the post-translation data generated next to the post-translational image data transmitted in S114 to the user terminal 10.
  • the user terminal 10 draws the acquired post-translational image data in the post-translation page displayed on the screen of the display unit (an example of a function as a changing unit).
  • the transmission of the image request by the user terminal 10 is repeated until it is detected that an end notification is added to the received post-translational image data.
  • the image server 3 transmits the image data before translation to the user terminal 10, and the user terminal 10 translates in the page after translation. After drawing the previous image data, the user terminal 10 may repeatedly transmit an image request for acquiring the translated image data.
  • the process of generating post-translational image data is performed by the image server 3, but is not limited thereto, and may be performed by the web server 2 or another application server.
  • FIG. 5 is a diagram illustrating an example of a processing flow of the image server 3.
  • the processing flow shown in this figure is realized, for example, when the control unit of the image server 3 executes a program stored in the storage unit.
  • FIG. 6 is a diagram illustrating an example of a processing flow of the user terminal 10. The processing flow shown in this figure is realized, for example, when the control unit of the user terminal 10 executes script processing specified by page data.
  • FIG. 7A is a diagram showing an example of the pre-translational image 7 processed in this example.
  • This pre-translational image 7 is the same as that shown in FIG. 3A. That is, the pre-translational image 7 is, for example, an image in which the background image 71 and the plurality of pre-translation character strings 72 and 74 are integrated.
  • the first pre-translation character string 72 is a Japanese character string “last day”, for example, and is relatively large in the center of the background image 71.
  • the second pre-translation character string 74 is a Japanese character string “until 12 pm”, for example, and is arranged relatively small at a position away from the center of the background image 71, and the first pre-translation character Less noticeable than row 72.
  • FIG. 7B is a diagram showing an example of a post-translational image 9A after partial translation
  • FIG. 7C is a diagram showing an example of a post-translational image 9B after full translation.
  • the image server 3 receives an image request from the user terminal 10. Location information indicating the location of the pre-translation image 7 and language designation information are added to the image request.
  • the image server 3 acquires the pre-translation image 7 specified by the received image request from an image database (not shown).
  • the image server 3 identifies areas including the pre-translation character strings 72 and 74 (hereinafter referred to as character string areas 77 and 79) in the pre-translation image 7, respectively.
  • the broken line surrounding the first pre-translation character string 72 represents the character string region 77 of the first pre-translation character string 72
  • the broken line surrounding the second pre-translation character string 74 is the second Represents a character string region 79 of the pre-translation character string 74.
  • Such a character string area is specified as part of a known character recognition process called OCR (Optical Character Recognition), for example.
  • OCR Optical Character Recognition
  • each character included in the character string is recognized by specifying a character string region in the image and collating the character pattern in the region with a pre-registered character pattern.
  • the image server 3 determines the translation priority for the pre-translation character strings 72 and 74 in which the character string regions 77 and 79 are specified. For example, the image server 3 determines the priority of translation based on the display mode of the pre-translation character strings 72 and 74.
  • the display mode includes, for example, the position where the character string is arranged, the size of the character string, the color of the character string itself, and the color difference between the character string and the background.
  • the priority is determined, for example, a higher priority is assigned to a character string having a more conspicuous display mode.
  • a technique for identifying a conspicuous location in an image for example, there is a saliency map.
  • the first pre-translation character string 72 is larger than the second pre-translation character string 74 and closer to the center, so it is determined that the first pre-translation character string 72 is more noticeable.
  • a higher priority than the second pre-translation character string 74 is assigned to the character string 72.
  • the image server 3 acquires character data representing the first pre-translation character string 72 having a high priority among the pre-translation character strings 72 and 74 in the pre-translation image 7.
  • the character data includes, for example, a character code for each character.
  • a known character recognition process is applied to the acquisition of character data.
  • a plurality of pre-translation character strings 72 and 74 shown in the pre-translation image 7 are targeted for translation, and their character data are extracted by character recognition processing.
  • the present invention is not limited to this mode. 6 or the character string added to the pre-translational image 7 so as to be readable can be used as a translation target, and the character data can be read therefrom.
  • a character string with an alt attribute that does not appear in the page may be described in the “img” tag. Character data may be acquired from the data.
  • the image server 3 transmits to the translation server 4 a translation request including the acquired character data representing the first pre-translation character string 72 and language designation information.
  • the image server 3 receives the character data of the first post-translation character string 92 corresponding to the first pre-translation character string 72 translated by the translation server 4.
  • the first translated character string 92 is, for example, an English character string “FINAL DAY”.
  • the image server 3 generates a post-translational image 9A so as to represent the first post-translation character string 92. Specifically, the image server 3 acquires a character image representing the first post-translation character string 92 from a font database (not shown) and synthesizes it with the pre-translational image 7. Thereby, a post-translational image 9A after partial translation as shown in FIG. 7B is generated. That is, in the post-translational image 9A after partial translation, only the first pre-translation character string 72 is replaced with the first post-translation character string 92, and the second pre-translation character string 74 remains untranslated. .
  • the character string region 97 of the first post-translation character string 92 is replaced with the character string region 77 of the first pre-translation character string 72 (see FIG. 7A).
  • the position, size, etc. of the character image are adjusted so as to cover all the reference.
  • background pixels other than the pixels constituting the character image are, for example, the character string region 77 (see FIG. 7A) of the first pre-translation character string 72.
  • the color is the same as that of the background pixel.
  • the image server 3 temporarily stores the generated partially translated image 9A after partial translation in a database (not shown). Order information representing the first generation is added to the post-translational image 9A after partial translation stored here.
  • the image server 3 executes the processing of S35 to S39 for the second pre-translation character string 74 having a low priority among the pre-translation character strings 72 and 74 in the pre-translation image 7 (S40: NO). ).
  • the image server 3 acquires character data representing the second pre-translation character string 74 having a low priority among the pre-translation character strings 72 and 74 in the pre-translation image 7.
  • the image server 3 transmits a translation request including the character data representing the acquired second pre-translation character string 74 and language designation information to the translation server 4.
  • the image server 3 receives the character data of the second post-translation character string 94 corresponding to the second pre-translation character string 74 translated by the translation server 4.
  • the second translated character string 94 is, for example, an English character string “until ⁇ 12 p.m. ”.
  • the image server 3 generates the post-translational image 9B so as to represent the first post-translation character string 92 and the second post-translation character string 94. Specifically, the image server 3 acquires a character image representing the second post-translation character string 94 from a font database (not shown), and synthesizes it with a partially translated image 9A. As a result, a post-translational image 9B after full translation as shown in FIG. 7C is generated. That is, in the post-translational image 9B after full translation, both the first pre-translation character string 72 and the second pre-translation character string 72 are converted into the first post-translation character string 92 and the second post-translation character string 94. Has been replaced.
  • the character string region 99 of the second post-translation character string 94 is replaced with the character string region 79 (see FIG. 7A) of the second pre-translation character string 74.
  • the position, size, etc. of the character image are adjusted so as to cover all the reference.
  • background pixels other than the pixels constituting the character image are, for example, the character string area 79 (see FIG. 7A) of the second pre-translation character string 74.
  • the color is the same as that of the background pixel.
  • the image server 3 temporarily stores the generated post-translational image 9B after translation in a database (not shown).
  • the post-translational image 9B after all translations stored here is appended with order information indicating the second generation and an end notification indicating the end.
  • the user terminal 10 receives a partially translated image 9A from the image server 3 after translation.
  • the user terminal 10 draws a partially translated image 9 ⁇ / b> A in the translated page 8.
  • the user terminal 10 determines whether or not the update timing has arrived. When the update timing comes (S14: YES), the user terminal 10 transmits an image request to the image server 3 in S15.
  • the user terminal 10 receives the translated image 9B after translation from the image server 3.
  • the user terminal 10 renders the post-translational image 9 ⁇ / b> B after translation in the post-translation page 8.
  • FIG. 8 is a diagram showing an example of a drawing process when the partially translated image 9A after partial translation is replaced with the completely translated image 9B after translation.
  • the user terminal 10 increases the rate at which the pixels of the post-translational image 9B after the entire translation replace the pixels of the post-translational image 9A after the partial translation with time. Thereby, the post-translational image 9A after partial translation is gradually replaced with the post-translational image 9B after translation.
  • the user terminal 10 divides the post-translational image 9B after all translation into block units including one or a plurality of pixels, and gradually increases the number of blocks to be displayed over time.
  • the mode of increasing the blocks may be a mode in which the blocks gradually increase while being dispersed, or a mode in which the blocks increase from one side toward the other side, and are not particularly limited.
  • images that gradually become clear as the download progresses such as progressive JPEG or interlaced GIF, may be used.
  • FIG. 9 is a diagram illustrating an example of a processing flow of the image server 3. Regarding steps similar to those in the first processing example, a part of the detailed description is omitted by sharing step numbers.
  • FIG. 10A is a diagram illustrating an example of the pre-translation page 6 including a plurality of pre-translation images 170 and 270 processed in this example.
  • the first pre-translational image 170 is, for example, an image in which the background image 171 and the pre-translation character string 172 are integrated.
  • the pre-translation character string 172 is a Japanese character string “super sale”, for example.
  • the first pre-translational image 170 is arranged relatively large over the entire upper part of the pre-translation page 6.
  • the second pre-translational image 270 is, for example, an image in which the background image 271 and the pre-translation character string 272 are integrated.
  • the pre-translation character string 272 is, for example, a Japanese character string “Would you like to open a shop?”.
  • the second pre-translational image 270 is arranged relatively small in the lower right of the pre-translation page 6 and is less noticeable than the first pre-translational image 170.
  • FIG. 10B is a diagram illustrating an example of a post-translation page 8A after partial translation
  • FIG. 10C is a diagram illustrating an example of a post-translation page 8B after full translation.
  • the user terminal 10 transmits an image request according to a predetermined order for the pre-translation images 170 and 270, and repeats this until all the translations are completed.
  • the image server 3 executes the processing shown in FIG. In the example described below, it is assumed that the image server 3 first receives an image request for the first pre-translational image 170 and then receives an image request for the second pre-translational image 270.
  • the image server 3 receives an image request for the first pre-translational image 170 from the user terminal 10. Location information indicating the location of the first pre-translation image 170 and language designation information are added to the image request.
  • the image server 3 acquires the first pre-translation image 170 specified by the received image request from an image database (not shown).
  • the image server 3 acquires image position information indicating the position of the first pre-translation image 170 in the pre-translation page 6.
  • image position information may be acquired by acquiring page data from the user terminal 10, the web server 2, or the translation server 4 and analyzing it, or an image request transmitted from the user terminal 10 in S31. Image position information may be added to the.
  • the image server 3 specifies the character string area of the first pre-translation character string 172 in the first pre-translation image 170.
  • the image server 3 determines the translation priority for the first pre-translation character string 172. For example, the image server 3 determines the translation priority based on the position of the first pre-translation image 170 in the pre-translation page 6.
  • a higher priority is assigned to the pre-translation character string of the pre-translation image that occupies a more conspicuous position in the page.
  • a technique for identifying a conspicuous portion in a page for example, there is a saliency map.
  • the first pre-translation image 170 occupies many conspicuous portions in the pre-translation page 6, the first pre-translation image 170 added to the first pre-translation image 170 A first priority is assigned to the character string 172.
  • the image server 3 determines whether or not to translate the first pre-translation character string 172 based on the priority. In this example, since the first priority is assigned to the first pre-translation character string 172, it is determined to be translated (S344: YES).
  • the image server 3 acquires character data representing the first pre-translation character string 172 from the first pre-translation image 170.
  • the image server 3 transmits to the translation server 4 a translation request including the acquired character data representing the first pre-translation character string 172 and language designation information.
  • the image server 3 receives the character data of the first post-translation character string 192 corresponding to the first pre-translation character string 172 translated by the translation server 4.
  • the first translated character string 192 is, for example, an English character string “Super ⁇ Sale”.
  • the image server 3 generates the first post-translation image 190 so as to represent the first post-translation character string 192. Specifically, the image server 3 synthesizes a character image representing the first post-translation character string 192 with the first pre-translation image 170. Thereby, a first post-translational image 190 as shown in FIG. 10B is generated.
  • the image server 3 temporarily stores the generated first translated image 190 in a database (not shown).
  • the first post-translation image 190 stored here is added with an end notification indicating that the translation has been completed.
  • the image server 3 receives an image request for the second pre-translational image 270 from the user terminal 10. Location information indicating the location of the second pre-translational image 270 and language designation information are added to the image request.
  • the image server 3 acquires the second pre-translational image 270 specified by the received image request from an image database (not shown).
  • the image server 3 acquires image position information indicating the position of the second pre-translation image 270 in the pre-translation page 6.
  • the image server 3 specifies the character string area of the second pre-translation character string 272 in the second pre-translation image 270.
  • the image server 3 determines the translation priority for the second pre-translation character string 272. For example, the image server 3 determines the translation priority based on the position of the second pre-translation image 270 in the pre-translation page 6.
  • the second pre-translation image 270 since the second pre-translation image 270 does not occupy many conspicuous portions in the pre-translation page 6, the second pre-translation image 270 added to the second pre-translation image 270.
  • a second priority is assigned to the character string 272.
  • the image server 3 determines whether or not to translate the second pre-translation character string 272 based on the priority. In this example, since the second priority is assigned to the second pre-translation character string 272, it is determined not to translate (S344: NO).
  • the user terminal 10 acquires the first post-translation image 190 that has been translated in response to the image request for the first pre-translation image 170, and the second pre-translation image 190 In response to the image request for the image 270, the second pre-translational image 270 that is not translated can be acquired.
  • a post-translation page 8A after partial translation as shown in FIG. 10B is displayed. In other words, in the post-translation page 8A after partial translation, only the first pre-translation image 170 is replaced with the first post-translation image 190, and the second pre-translation image 270 remains untranslated.
  • the image server 3 receives the second round image request from the user terminal 10.
  • the user terminal 10 can omit the transmission of an image request for the first pre-translational image 170 that has already been translated.
  • the image server 3 receives the image request for the second pre-translational image 270.
  • the image server 3 acquires the second pre-translation image 270 and the image position information, specifies the character string area of the second pre-translation character string 272, and prioritizes the translation. To decide.
  • S32 to S34 can be omitted.
  • the image server 3 determines whether or not to translate the second pre-translation character string 272 based on the priority.
  • the second pre-translation character string 272 to which the second priority is assigned is the target of translation (S344: YES).
  • the image server 3 acquires character data representing the second pre-translation character string 272 from the second pre-translation image 270.
  • the image server 3 transmits a translation request including character data representing the acquired second pre-translation character string 272 and language designation information to the translation server 4.
  • the image server 3 receives the character data of the second post-translation character string 292 corresponding to the second pre-translation character string 272 translated by the translation server 4.
  • the second translated character string 292 is, for example, an English character string “Would ⁇ you like to open your shop? ”.
  • the image server 3 generates the second translated image 290 so as to represent the second translated character string 292. Specifically, the image server 3 synthesizes a character image representing the second post-translation character string 292 with the second pre-translation image 270. As a result, a second post-translational image 290 as shown in FIG. 10C is generated.
  • the image server 3 temporarily stores the generated second translated image 290 in a database (not shown).
  • the second post-translational image 290 stored here is appended with an end notification indicating that the translation has been completed.
  • the user terminal 10 can acquire the second translated image 290 that has been translated in response to the image request for the second untranslated image 270. is there.
  • a post-translation page 8B after all translation as shown in FIG. 10C is displayed. That is, in the post-translation page 8B after all translation, both the pre-translation images 170 and 270 are replaced with the post-translation images 190 and 290.
  • the user terminal 10 detects the end notification of both the translated images 190 and 290, the user terminal 10 ends the transmission of the image request.
  • the user terminal 10 transmits an image request for the pre-translation images 170 and 270 in a predetermined order.
  • the present invention is not limited to this mode, and the image server 3 transmits an image request for the pre-translation images 170 and 270.
  • the order may be determined based on the priority and specified for the user terminal 10.
  • FIG. 11 is a diagram illustrating an example of a processing flow of the image server 3. Regarding steps similar to those in the first processing example and the second processing example, a part of the detailed description is omitted by sharing the step numbers.
  • FIG. 12A is a diagram illustrating an example of the pre-translation page 6 including a plurality of pre-translation images 170, 270, and 370 processed in this example.
  • the first pre-translational image 170 and the second pre-translational image 270 are the same as in the second processing example.
  • the third pre-translational image 370 is, for example, an image in which the background image 371 and the pre-translation character string 372 are integrated.
  • the pre-translation character string 372 is, for example, a Japanese character string “shopping basket”.
  • the third pre-translational image 370 is arranged at the top of the pre-translation page 6.
  • FIG. 12B is a diagram illustrating an example of a post-translation page 8A after partial translation
  • FIG. 12C is a diagram illustrating an example of a post-translation page 8B after full translation.
  • the pre-translation page 6 is vertically long and cannot be fully displayed on the display screen of the user terminal 10, so the user needs to scroll the display range.
  • a broken line shown in FIG. 12A represents the current display range 100 of the user terminal 10. That is, in the state of FIG. 12A, the pre-translation character string 61 and the pre-translation images 170 and 370 that are within the display range 100 are displayed on the user terminal 10, and the pre-translation image 270 that is outside the display range 100 is displayed. Is not displayed.
  • the user terminal 10 transmits image requests according to a predetermined order for the pre-translation images 170, 270, and 370, and repeats this until all the translations are completed.
  • the image server 3 executes the processing shown in FIG. In the example described below, the image server 3 first receives an image request for the first pre-translational image 170, then receives an image request for the second pre-translational image 270, and then receives a third pre-translational image. Assume that an image request for image 370 is received.
  • the image server 3 receives an image request for the first pre-translational image 170 from the user terminal 10. Location information indicating the location of the first pre-translation image 170 and language designation information are added to the image request.
  • the image server 3 acquires the first pre-translation image 170 specified by the received image request from an image database (not shown).
  • the image server 3 acquires image position information indicating the position of the first pre-translation image 170 in the pre-translation page 6.
  • image position information may be acquired by acquiring page data from the user terminal 10, the web server 2, or the translation server 4 and analyzing it, or an image request transmitted from the user terminal 10 in S31. Image position information may be added to the.
  • the image server 3 acquires current position information indicating the position of the current display range 100 of the user terminal 10 from the user terminal 10.
  • the image server 3 specifies the character string area of the first pre-translation character string 172 in the first pre-translation image 170.
  • the image server 3 determines the translation priority for the first pre-translation character string 172. For example, the image server 3 determines the priority of translation based on the position of the current display range 100 of the user terminal 10.
  • a higher priority is assigned to the pre-translation character string of the pre-translation image included in the display range 100 or the pre-translation character string of the pre-translation image close to the display range 100.
  • the first pre-translation character string 172 added to the first pre-translation image 170 is A priority of 1 is assigned.
  • the image server 3 determines whether or not to translate the first pre-translation character string 172 based on the priority. In this example, since the first priority is assigned to the first pre-translation character string 172, it is determined to be translated (S344: YES).
  • the image server 3 acquires character data representing the first pre-translation character string 172 from the first pre-translation image 170.
  • the image server 3 transmits to the translation server 4 a translation request including the acquired character data representing the first pre-translation character string 172 and language designation information.
  • the image server 3 receives the character data of the first post-translation character string 192 corresponding to the first pre-translation character string 172 translated by the translation server 4.
  • the first translated character string 192 is, for example, an English character string “Super ⁇ Sale”.
  • the image server 3 generates the first post-translation image 190 so as to represent the first post-translation character string 192. Specifically, the image server 3 synthesizes a character image representing the first post-translation character string 192 with the first pre-translation image 170. As a result, a first post-translational image 190 as shown in FIG. 12B is generated.
  • the image server 3 temporarily stores the generated first translated image 190 in a database (not shown).
  • the first post-translation image 190 stored here is added with an end notification indicating that the translation has been completed.
  • the image server 3 receives an image request for the second pre-translational image 270 from the user terminal 10. Location information indicating the location of the second pre-translational image 270 and language designation information are added to the image request.
  • the image server 3 acquires the second pre-translational image 270 specified by the received image request from an image database (not shown).
  • the image server 3 acquires image position information indicating the position of the second pre-translation image 270 in the pre-translation page 6.
  • the image server 3 acquires current position information indicating the position of the current display range 100 of the user terminal 10 from the user terminal 10.
  • the image server 3 specifies the character string area of the second pre-translation character string 272 in the second pre-translation image 270.
  • the image server 3 determines the translation priority for the second pre-translation character string 272. For example, the image server 3 determines the priority of translation based on the position of the current display range 100 of the user terminal 10.
  • the second pre-translation character string 272 added to the second pre-translation image 270 A priority of 2 is assigned.
  • the image server 3 determines whether or not to translate the second pre-translation character string 272 based on the priority. In this example, since the second priority is assigned to the second pre-translation character string 272, it is determined not to translate (S344: NO).
  • the image server 3 receives an image request for the third pre-translational image 370 from the user terminal 10. Location information indicating the location of the third pre-translational image 370 and language designation information are added to the image request.
  • the image server 3 acquires the first pre-translation image 170 specified by the received image request from an image database (not shown).
  • the image server 3 acquires image position information indicating the position of the first pre-translation image 170 in the pre-translation page 6.
  • the image server 3 acquires current position information indicating the position of the current display range 100 of the user terminal 10 from the user terminal 10.
  • the image server 3 identifies the character string area of the third pre-translation character string 372 in the third pre-translation image 370.
  • the image server 3 determines the translation priority for the third pre-translation character string 372. For example, the image server 3 determines the priority of translation based on the position of the current display range 100 of the user terminal 10.
  • the third pre-translation character string 372 added to the third pre-translation image 370 is also displayed.
  • a first priority is assigned.
  • the image server 3 determines whether or not to translate the third pre-translation character string 372 based on the priority. In this example, since the first priority is also assigned to the third pre-translation character string 372, it is determined to be translated (S344: YES).
  • the image server 3 acquires character data representing the third pre-translation character string 372 from the third pre-translation image 370.
  • the image server 3 transmits a translation request including the character data representing the acquired third pre-translation character string 372 and language designation information to the translation server 4.
  • the image server 3 receives the character data of the third post-translation character string 392 corresponding to the third pre-translation character string 372 translated by the translation server 4.
  • the third post-translation character string 392 is, for example, an English character string “Shopping Cart”.
  • the image server 3 generates the third post-translational image 190 so as to represent the third post-translation character string 392. Specifically, the image server 3 synthesizes a character image representing the third post-translation character string 392 with the third pre-translation image 370. As a result, a third post-translational image 390 as shown in FIG. 12B is generated.
  • the image server 3 temporarily stores the generated third translated image 190 in a database (not shown).
  • the third post-translational image 190 stored here is added with an end notification indicating that the translation has been completed.
  • the user terminal 10 acquires the first post-translation image 190 that has been translated in response to the image request for the first pre-translation image 170, and the second pre-translation image 190 A second untranslated image 270 that is not translated is acquired for the image request of the image 270, and a third translated image 390 that is translated for the image request of the third untranslated image 370 is obtained. It is in a situation that can be acquired. In this case, a post-translation page 8A after partial translation as shown in FIG. 12B is displayed.
  • the post-translation page 8A after partial translation only the first pre-translation image 170 and the third pre-translation image 370 are replaced with the first post-translation image 190 and the third post-translation image 390.
  • the second pre-translational image 270 remains untranslated.
  • the image server 3 receives the second round image request from the user terminal 10.
  • the user terminal 10 can omit the transmission of image requests for the first pre-translation image 170 and the third pre-translation image 370 that have already been translated.
  • the image server 3 receives the image request for the second pre-translational image 270.
  • the image server 3 acquires the second pre-translational image 270, the image position information, and the current position information, and specifies the character string area of the second pre-translation character string 272. , Determine translation priority.
  • S32 to S34 can be omitted.
  • the image server 3 determines whether or not to translate the second pre-translation character string 272 based on the priority.
  • the second pre-translation character string 272 to which the second priority is assigned is the target of translation (S344: YES).
  • the image server 3 acquires character data representing the second pre-translation character string 272 from the second pre-translation image 270.
  • the image server 3 transmits a translation request including the character data representing the acquired second pre-translation character string 272 and language designation information to the translation server 4.
  • the image server 3 receives the character data of the second post-translation character string 292 corresponding to the second pre-translation character string 272 translated by the translation server 4.
  • the second translated character string 292 is, for example, an English character string “Would ⁇ you like to open your shop? ”.
  • the image server 3 generates the second translated image 290 so as to represent the second translated character string 292. Specifically, the image server 3 synthesizes a character image representing the second post-translation character string 292 with the second pre-translation image 270. As a result, a second post-translational image 290 as shown in FIG. 12C is generated.
  • the image server 3 temporarily stores the generated second translated image 290 in a database (not shown).
  • the second post-translational image 290 stored here is appended with an end notification indicating that the translation has been completed.
  • the user terminal 10 can acquire the second translated image 290 that has been translated in response to the image request for the second untranslated image 270. is there.
  • a post-translation page 8B after all translations as shown in FIG. 12C is displayed. That is, in the post-translation page 8B after all translation, all the pre-translation images 170, 270, and 370 are replaced with post-translation images 190, 290, and 390.
  • the user terminal 10 detects all the end notifications of the translated images 190, 290, and 390, the user terminal 10 ends the transmission of the image request.
  • the user terminal 10 transmits the image request for the pre-translation images 170, 270, and 370 according to a predetermined order.
  • the present invention is not limited to this mode.
  • the order in which the requests are transmitted may be determined based on the priority and specified to the user terminal 10.
  • the second processing example, and the third processing example may be appropriately combined. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

 本発明の情報処理システムは、元画像に付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し(S109)、変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元画像について、該変換済み文字列を表す変換済み画像を生成し(S113)、画面に表示されるオブジェクト内における元画像の配置領域の最前面の内容を該変換済み画像に変更させる(S115,S118)。

Description

情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム
 本発明は、閲覧システム、閲覧システムの制御方法、端末、端末の制御方法、サーバ、サーバの制御方法、情報記憶媒体、及びプログラムに関する。
 画像処理の分野では、文字列と背景画像とを含む原画像から文字列を読み取り、翻訳等の変換を行った上で、変換後の文字列と背景画像とを含む新たな画像を生成したい場合がある。
 例えば、仮想商店街サイトでは、バーゲンなどで用いられる「最終日」等の文字列と、注意を喚起するための図形等の背景画像と、を含む画像が用いられることがある。こうした画像から文字列を読み取り、他の言語に翻訳した上で、翻訳後の文字列と背景画像とを含む画像を生成する機能があると便利である。
 特許文献1には、端末から画像要求を受信し、受信された画像要求に指定される画像パラメタにより特定される付加情報で指定される文字又は文字列を付加した画像を画像応答として送信するサーバが開示されている。
国際公開第2012/147936号
 しかしながら、特許文献1に開示された技術では、画像に付加される文字列が複数ある場合や、文字列が付加される画像が複数ある場合などに、サーバの処理負担が大きくなりやすい。
 本発明は上記課題に鑑みてなされたものであって、その目的は、処理の集中を回避することが可能な情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラムを提供することにある。
 上記課題を解決するため、本発明の情報処理システムは、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、を備える。
 また、本発明の情報処理システムの制御方法は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる。
 また、本発明の情報処理装置は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、を備える。
 また、本発明の情報処理装置の制御方法は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる。
 また、本発明のプログラムは、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、としてコンピュータを機能させるプログラムである。
 また、本発明の情報記憶媒体は、1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
 また、本発明の一態様において、前記取得手段は、前記複数の元文字列に対する優先順位に基づく順序にしたがって、該複数の元文字列にそれぞれ対応する前記複数の変換済み文字列を一部ずつ取得する。
 また、本発明の一態様において、前記優先順位は、前記元文字列の表示態様と、前記オブジェクト内における前記元文字列が付加された画像の配置位置と、の少なくともいずれかに基づいて設定手段により設定される。
 また、本発明の一態様において、前記優先順位は、前記表示情報に基づいて表示されるオブジェクト内における前記元文字列の視覚的特徴量の大きさに基づいて設定手段により設定される。
 また、本発明の一態様において、前記設定手段をさらに備える。
 また、本発明の一態様において、画像ごとに所定のタイミングで取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる。
 また、本発明の一態様において、前記オブジェクトの前記画面に表示されている範囲を示す範囲情報を所定のタイミングで前記表示装置から取得する範囲情報取得手段をさらに備え、前記設定手段は、前記範囲情報が示す範囲に含まれない元文字列に対する優先順位を少なくとも1段階下げる。
 また、本発明の一態様において、前記設定手段により設定される優先順位に基づく順序にしたがって所定のタイミングで前記元文字列に対応する画像の取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる。
 また、本発明の一態様において、前記変更手段は、前記表示装置に、前記オブジェクト内における該生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に漸進的に変更させる。
 本発明によると、変換済み画像を生成する処理の集中を回避することが可能であり、このため処理負担の軽減を図ることが可能である。
本発明の実施形態に係る閲覧システムの構成の一例を示す図である。 画像サーバのハードウェア構成の一例を示す図である。 翻訳前ページの一例を示す図である。 翻訳後ページの一例を示す図である。 閲覧システムの処理の一例の概要を示すシーケンス図である。 画像サーバの処理フローの一例を示す図である。 ユーザ端末の処理フローの一例を示す図である。 翻訳前画像の一例を示す図である。 一部翻訳後の翻訳後画像の一例を示す図である。 全部翻訳後の翻訳後画像の一例を示す図である。 画像の描画過程の一例を示す図である。 画像サーバの処理フローの一例を示す図である。 翻訳前画像を含むページの一例を示す図である。 一部翻訳後の翻訳後画像を含むページの一例を示す図である。 全部翻訳後の翻訳後画像を含むページの一例を示す図である。 画像サーバの処理フローの一例を示す図である。 翻訳前画像を含むページの一例を示す図である。 一部翻訳後の翻訳後画像を含むページの一例を示す図である。 全部翻訳後の翻訳後画像を含むページの一例を示す図である。
 以下、本発明の実施形態の例について図面に基づき詳細に説明する。
 図1は、本発明の実施形態に係る閲覧システム1の構成の一例を示す図である。閲覧システム1は、ウェブサーバ2、画像サーバ3、翻訳サーバ4、及びユーザ端末10を備えている。これらウェブサーバ2、画像サーバ3、翻訳サーバ4、及びユーザ端末10は、通信ネットワーク5に接続されており、相互に通信可能となっている。
 ウェブサーバ2、画像サーバ3、及び翻訳サーバ4は、例えばHTTP(Hypertext Transfer Protocol)に則って、ユーザ端末10と通信する。ウェブサーバ2は、例えば、仮想商店街サイトを提供するサーバである。画像サーバ3は、例えば、仮想商店街サイトにおいて利用される画像データを記憶するデータベースを備えている。翻訳サーバ4は、例えば、指定された文字列を他の言語に翻訳する処理を実行する。なお、画像サーバ3の機能のうち、画像を生成する処理を実行する機能を他のアプリケーションサーバに備えさせてもよい。また、ウェブサーバ2及び画像サーバ3は一体であってもよい。
 例えば、ウェブサーバ2ではHTTPデーモンが起動され、ユーザ端末10ではウェブブラウザが起動される。処理要求(HTTPリクエスト)がユーザ端末10からウェブサーバ2に送信されると、これに対応する処理結果(HTTPレスポンス)がウェブサーバ2からユーザ端末10に送信される。例えば、ウェブサーバ2はウェブページ記述言語で記述されたページデータをユーザ端末10に送信し、ユーザ端末10は受信したページデータに基づいて画面にページを表示する。
 図2は、画像サーバ3のハードウェア構成の一例を示す図である。画像サーバ3は、例えば、デスクトップ型コンピュータ又はラップトップ型コンピュータ等によって実現される。
 図2に示されるように、画像サーバ3は、制御部11、記憶部12、光ディスクドライブ部13、通信インタフェース部14、操作部15、表示部16、及び音声出力部17を含んでいる。
 制御部11は、例えば1又は複数のマイクロプロセッサを含み、記憶部12に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部12は、例えばRAM、ハードディスク、又はソリッドステートドライブを含んでいる。光ディスクドライブ部13は、光ディスク(情報記憶媒体)に記憶されたプログラムやデータを読み取る。
 プログラムやデータは、光ディスクを介して記憶部12に供給される。すなわち、プログラムやデータは、光ディスクドライブ部13によって光ディスクから読み出され、記憶部12に記憶される。なお、光ディスク以外の情報記憶媒体(例えばメモリカード)に記憶されたプログラム又はデータを読み取るための構成要素が画像サーバ3に含まれていてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラムやデータが記憶部12に供給されるようにしてもよい。
 通信インタフェース部14は、画像サーバ3を通信ネットワークに接続するためのインタフェースである。画像サーバ3は、通信ネットワークを介して他の装置とデータを授受できるようになっている。なお、プログラム及びデータは、通信ネットワークを介して記憶部12に供給されるようにしてもよい。
 操作部15は、ユーザが操作を行うためのものである。例えば、キーボード、マウス、タッチパッド、タッチパネル、又はスティック(レバー)等が操作部15に相当する。表示部16は、例えば液晶表示ディスプレイ又は有機ELディスプレイ等である。音声出力部17は、例えばスピーカ又はヘッドホン端子等である。
 なお、ユーザ端末10、ウェブサーバ2、及び翻訳サーバ4も、以上に説明した画像サーバ3と同様の構成を備えている。
 図3Aは、翻訳される前の元ページ(以下、翻訳前ページ6という)の一例を示す図である。すなわち、翻訳前ページ6は、ウェブサーバ2が保持するページデータを、翻訳サーバ4等による翻訳処理を経ることなく、ユーザ端末10で処理した場合に表示されるページである。
 翻訳前ページ6は、表示情報としてのページデータに基づいて表示されるページであり、文字列(以下、翻訳前文字列61という)を含んでいる。翻訳前文字列61は、ページデータ内に記述された文字列であって、かつ翻訳前ページ6内に表示される文字列である。例えばHTMLで記述されたページデータの場合、翻訳前文字列61は「body」タグに記述された文字列である。本実施形態では、翻訳前文字列61は「ただいまスーパーセール中。お買い物をお楽しみ下さい。」という日本語の文字列である。
 また、翻訳前ページ6は、文字列が表された元画像(以下、翻訳前画像7という)を含んでいる。翻訳前画像7は、ページデータ内にその所在が記述された画像であって、かつ翻訳前ページ6内に表示される画像である。例えばHTMLで記述されたページデータの場合、「img」タグに翻訳前画像7の所在を表すURL(Uniform Resource Locator)が記述されている。
 翻訳前画像7は、例えば、背景画像71上に複数の文字列(以下、翻訳前文字列72,74という)が書き込まれた、背景画像71と複数の翻訳前文字列72,74とが一体化した画像である。第1の翻訳前文字列72は、背景画像71の中央部分に比較的大きく配置されている。本実施形態では、第1の翻訳前文字列72は、例えばバーゲン等の最終日であることを表す「最終日」という日本語の文字列である。他方、第2の翻訳前文字列74は、背景画像71の中央から離れた位置に比較的小さく配置されており、第1の翻訳前文字列72よりも目立ちにくい。本実施形態では、第2の翻訳前文字列74は、例えば最終日における、より具体的な終了時刻を表す「午後12時まで」という日本語の文字列である。
 なお、こうした翻訳前画像7では、一般に、翻訳前文字列72,74が背景画像71とは異なる目立つ色で書かれていることが多い。また、翻訳前文字列72,74は単色で書かれることが多く、横方向、縦方向、又は斜め方向に整列している場合が多い。
 図3Bは、翻訳後ページ8の一例を示す図である。翻訳後ページ8は、上記図3Aにおける翻訳前ページ6内に記述された翻訳前文字列61と、翻訳前ページ6内に含まれる翻訳前画像7に表された翻訳前文字列72,74と、が翻訳された後のページである。すなわち、翻訳後ページ8は、ウェブサーバ2が保持するページデータを、翻訳サーバ4等による後述の一連の翻訳処理を経た上で、ユーザ端末10で処理した場合に表示されるページである。
 翻訳後ページ8は、上記翻訳前文字列61が翻訳された文字列(以下、翻訳後文字列81という)を含んでいる。本実施形態では、翻訳後文字列81は「Now on Super Sale. Please enjoy your shopping.」という英語の文字列である。
 また、翻訳後ページ8は、上記翻訳前文字列72,74が翻訳された文字列(以下、翻訳後文字列92,94)が表された画像(以下、翻訳後画像9という)を、変換済み画像として含んでいる。翻訳後画像9は、上記翻訳前画像71と同じ背景画像71上に翻訳後文字列92,94が書き込まれた、背景画像71と翻訳後文字列92,94とが一体化した画像である。
 第1の翻訳後文字列92は、上記第1の翻訳前文字列72と同様に、背景画像71の中央部分に比較的大きく配置されている。本実施形態では、第1の翻訳後文字列92は、例えば最終日という日本語に対応する「FINAL DAY」という英語の文字列である。他方、第2の翻訳後文字列94は、上記第2の翻訳前文字列74と同様に、背景画像71の中央から離れた位置に比較的小さく配置されている。本実施形態では、第2の翻訳後文字列94は、例えば午後12時までという日本語に対応する「until 12 p.m.」という英語の文字列である。
 なお、本実施形態では、日本語の文字列を英語の文字列に翻訳しているが、翻訳前言語と翻訳後言語の組み合わせはこの態様に限られない。また、文字列は、同一言語の異なる種類の文字に変換されてもよい。例えば、漢字の文字列が、平仮名の文字列又は片仮名の文字列に変換されてもよい。また、文字列に含まれる文字の数は、複数に限られず1つであってもよい。
 以下、図3Aに示されるような翻訳前ページ6のページデータを基に、図3Bに示されるような翻訳後ページ8が表示されるまでの処理について説明する。
 図4は、閲覧システム1の処理の一例の概要を示すシーケンス図である。
 S101において、ユーザ端末10は、翻訳リクエストを翻訳サーバ4に送信する。翻訳リクエストは、翻訳対象の元ページデータの所在を表す所在情報を含んでいる。ここでは、所在情報は、ウェブサーバ2が保持する元ページデータの所在を表している。また、翻訳リクエストは、ユーザによって指定される翻訳前言語と翻訳後言語とを表す言語指定情報を含んでいる。
 S102において、翻訳サーバ4は、受信した翻訳リクエストに含まれる所在情報に基づいて、翻訳対象の元ページデータを要求するページリクエストをウェブサーバ2に送信する。
 S103において、ウェブサーバ2は、受信したページリクエストに基づいて、翻訳対象の元ページデータを翻訳サーバ4に送信する。
 S104において、翻訳サーバ4は、受信した翻訳対象の元ページデータを翻訳する。翻訳サーバ4は、受信した翻訳リクエストに含まれる言語指定情報に基づいて、翻訳前言語で記述された元ページデータを、翻訳後言語で記述されたページデータ(以下、翻訳後ページデータという)に変換する。図3Aの例では、翻訳後言語に変換される対象は、翻訳前ページ6内に表示される翻訳前文字列61である。例えばHTMLで記述されたページデータの場合、「body」タグに記述された文字列が対象となる。また、翻訳サーバ4は、翻訳後ページデータに言語指定情報を付加する。
 S105において、翻訳サーバ4は、生成された翻訳後ページデータをユーザ端末10に送信する。
 S106において、ユーザ端末10は、受信した翻訳後ページデータに基づいて、表示部の画面に画像を含まない翻訳後ページを描画すると共に、画像データを要求する画像リクエストを画像サーバ3に送信する。画像リクエストは、翻訳後ページデータにより指定される画像データの所在を表す所在情報を含んでいる。ここでは、所在情報は、画像サーバ3が保持する翻訳前画像データの所在を表している。図3Aの例では、翻訳前ページ6内に表示される翻訳前画像7の所在が、所在情報に表されている。また、画像リクエストには、言語指定情報が付加されている。言語指定情報の付加は、例えば、ユーザ端末10がページデータで指定されるスクリプト処理を実行することによって実現される。
 画像サーバ3は、受信した画像リクエストに元ページデータが翻訳されたことを表す言語指定情報が付加されている場合に、S107以降の一連の処理を実行する。以下、画像サーバ3が実行するS107以降の一連の処理について簡潔に説明するが、画像サーバ3の具体的な処理例及びそれに伴うユーザ端末10の具体的な処理例については後述する。
 S107において、画像サーバ3は、画像リクエストにより特定される翻訳前画像データに表された翻訳前文字列の領域を特定する。
 S108において、画像サーバ3は、領域が特定された翻訳前文字列について翻訳の優先度を決定する(設定手段としての機能の一例)。換言すると、画像サーバ3は、複数の翻訳後文字列を一部ずつ取得する順序を決定する。
 画像サーバ3は、第1の優先度が割り当てられた一部の翻訳前文字列に対して一部翻訳処理(SP1)を実施する。具体的には、画像サーバ3は、第1の優先度の翻訳前文字列の文字データを取得し(S109)、当該文字データ及び言語指定情報を含む翻訳リクエストを翻訳サーバ4に送信する(S110)。翻訳サーバ4は、第1の優先度の翻訳前文字列を翻訳し(S111)、翻訳後文字列の文字データを画像サーバ3に送信する(S112)。次に、画像サーバ3は、取得した翻訳後文字列が表された翻訳後画像データを生成する(S113)。このように、画像サーバ3は、一部の翻訳後文字列を取得し、それが表された翻訳後画像データを生成する(取得手段及び生成手段としての機能の一例)。
 S114において、画像サーバ3は、一部翻訳処理(SP1)により取得した翻訳後画像データをユーザ端末10に送信する。
 さらに、画像サーバ3は、第2の優先度が割り当てられた一部の翻訳前文字列に対して一部翻訳処理(SP2)を実施する。一部翻訳処理(SP2)の内容は、上述の一部翻訳処理(SP1)と同様である。これにより、画像サーバ3は、他の一部の翻訳後文字列を取得し、それが表された翻訳後画像データを生成する。こうした一部翻訳処理は、全ての翻訳前文字列に対して一部翻訳処理が実行されるまで繰り返される。
 また、画像サーバ3は、順次生成される翻訳後画像データに、生成した順番を表す順番情報を付加する。また、画像サーバ3は、最後に生成される翻訳後画像データに、終了通知を付加する。
 画像サーバ3により順次生成される翻訳後画像データは、不図示のデータベースに蓄積されていくと共に、ユーザ端末10からの画像リクエストに応じて古いものから順番に読み出されて、ユーザ端末10に送信される。
 S115において、ユーザ端末10は、表示部の画面に表示されている翻訳後ページ内に、取得した翻訳後画像データを描画する(変更手段としての機能の一例)。
 S116において、ユーザ端末10は、さらに画像リクエストを画像サーバ3に送信する。ここで、ユーザ端末10は、所定のタイミング毎に画像リクエストを画像サーバ3に送信する。例えば、前回の画像取得時から所定時間が経過した後や、一定時間おきに、画像リクエストが送信される。
 S117において、画像サーバ3は、上記S114で送信した翻訳後画像データの次に生成された翻訳後データをユーザ端末10に送信する。
 S118において、ユーザ端末10は、表示部の画面に表示されている翻訳後ページ内に、取得した翻訳後画像データを描画する(変更手段としての機能の一例)。
 ユーザ端末10による画像リクエストの送信は、受信した翻訳後画像データに終了通知が付加されていることを検知するまで繰り返される。
 なお、以上に説明した内容に限られず、S106においてユーザ端末10が画像リクエストを送信した後に、画像サーバ3が翻訳前画像データをユーザ端末10に送信し、ユーザ端末10が翻訳後ページ内に翻訳前画像データを描画した上で、ユーザ端末10が翻訳後画像データを取得するための画像リクエストを繰り返し送信してもよい。
 なお、本実施形態では、翻訳後画像データを生成する処理は画像サーバ3により行われるが、これに限られず、ウェブサーバ2や他のアプリケーションサーバにより行われてもよい。
 以下、画像サーバ3の具体的な処理例及びそれに伴うユーザ端末10の具体的な処理例について説明する。
[第1の処理例]
 図5は、画像サーバ3の処理フローの一例を示す図である。この図に示される処理フローは、例えば、画像サーバ3の制御部が記憶部に記憶されているプログラムを実行することによって実現される。図6は、ユーザ端末10の処理フローの一例を示す図である。この図に示される処理フローは、例えば、ユーザ端末10の制御部がページデータで指定されるスクリプト処理を実行することによって実現される。これら図5及び図6に示される処理例は、上記図4に示されるS107以降の一連の処理に対応する。
 図7Aは、本例において処理される翻訳前画像7の一例を示す図である。この翻訳前画像7は、上記図3Aに示されたものと同じである。すなわち、翻訳前画像7は、例えば、背景画像71と複数の翻訳前文字列72,74とが一体化した画像である。第1の翻訳前文字列72は、例えば「最終日」という日本語の文字列であり、背景画像71の中央部分に比較的大きく配置されている。他方、第2の翻訳前文字列74は、例えば「午後12時まで」という日本語の文字列であり、背景画像71の中央から離れた位置に比較的小さく配置され、第1の翻訳前文字列72よりも目立ちにくい。また、図7Bは、一部翻訳後の翻訳後画像9Aの一例を示す図であり、図7Cは、全部翻訳後の翻訳後画像9Bの一例を示す図である。
 図5に示されるS31において、画像サーバ3は、ユーザ端末10から画像リクエストを受信する。画像リクエストには、翻訳前画像7の所在を表す所在情報と、言語指定情報と、が付加されている。
 S32において、画像サーバ3は、受信した画像リクエストにより特定される翻訳前画像7を不図示の画像データベースから取得する。
 S33において、画像サーバ3は、翻訳前画像7内で翻訳前文字列72,74を含む領域(以下、文字列領域77,79という)をそれぞれ特定する。図7Aにおいて、第1の翻訳前文字列72を囲む破線は、第1の翻訳前文字列72の文字列領域77を表しており、第2の翻訳前文字列74を囲む破線は、第2の翻訳前文字列74の文字列領域79を表している。
 こうした文字列領域の特定は、例えばOCR(Optical Character Recognition)とも呼ばれる公知の文字認識処理の一環として行われる。文字認識処理では、画像内の文字列の領域を特定し、その領域内の文字パターンを予め登録された文字パターンと照合することで、文字列に含まれる各文字を認識する。
 S34において、画像サーバ3は、文字列領域77,79が特定された翻訳前文字列72,74について翻訳の優先度を決定する。画像サーバ3は、例えば、各々の翻訳前文字列72,74の表示態様に基づいて翻訳の優先度を決定する。
 表示態様とは、例えば、文字列が配置される位置や、文字列の大きさ、文字列自体の色、文字列と背景の色差などである。優先度の決定に際しては、例えば、より目立ちやすい表示態様の文字列に、より高い優先度が割り当てられる。画像内の目立ちやすい箇所を特定する技術としては、例えばサリエンシーマップなどがある。
 本例の翻訳前画像7では、第1の翻訳前文字列72の方が第2の翻訳前文字列74よりも大きく、中央に近いことから、より目立ちやすいと判断され、第1の翻訳前文字列72に第2の翻訳前文字列74よりも高い優先度が割り当てられる。
 S35において、画像サーバ3は、翻訳前画像7内の翻訳前文字列72,74のうち、優先度の高い第1の翻訳前文字列72を表す文字データを取得する。文字データは、例えば各文字の文字コードを含んでいる。文字データの取得には、例えば公知の文字認識処理が適用される。
 なお、本例では、翻訳前画像7に表された複数の翻訳前文字列72,74を翻訳対象として、それらの文字データを文字認識処理により抽出するが、この態様に限られず、翻訳前ページ6又は翻訳前画像7に読み取り可能に付加された文字列を翻訳対象として、そこから文字データを読み取るようにしてもよい。例えばHTMLで記述されたページデータの場合、「img」タグにページ内に表れないalt属性の文字列が記述されることがあるので、画像サーバ3はそのような文字列を翻訳対象として、ページデータから文字データを取得してもよい。
 S36において、画像サーバ3は、取得した第1の翻訳前文字列72を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
 S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第1の翻訳前文字列72に対応する第1の翻訳後文字列92の文字データを受信する。第1の翻訳後文字列92は、例えば「FINAL DAY」という英語の文字列である。
 S38において、画像サーバ3は、第1の翻訳後文字列92を表すように翻訳後画像9Aを生成する。具体的には、画像サーバ3は、第1の翻訳後文字列92を表す文字画像を不図示のフォントデータベースから取得し、翻訳前画像7に合成する。これにより、図7Bに示されるような一部翻訳後の翻訳後画像9Aが生成される。すなわち、一部翻訳後の翻訳後画像9Aでは、第1の翻訳前文字列72のみが第1の翻訳後文字列92に置き換わっており、第2の翻訳前文字列74は翻訳されないままである。
 第1の翻訳後文字列92を表す文字画像の合成では、例えば、第1の翻訳後文字列92の文字列領域97が、第1の翻訳前文字列72の文字列領域77(図7Aを参照)を全て覆うように、文字画像の位置や大きさなどが調整される。また、第1の翻訳後文字列92の文字列領域97のうち、文字画像を構成する画素以外の背景の画素は、例えば、第1の翻訳前文字列72の文字列領域77(図7Aを参照)の背景の画素と同じ色とされる。
 なお、画像サーバ3が、翻訳前画像7と関連付けて背景画像71を保持している場合には、第1の翻訳後文字列92を表す文字画像を背景画像71に合成することで、一部翻訳後の翻訳後画像9Aを生成してもよい。この場合、背景画像71上に第1の翻訳後文字列92のみが配置され、第2の翻訳前文字列74も第2の翻訳後文字列94も配置されない一部翻訳後の翻訳後画像9Aが生成される。
 S39において、画像サーバ3は、生成した一部翻訳後の翻訳後画像9Aを不図示のデータベースに一時的に記憶する。ここで記憶される一部翻訳後の翻訳後画像9Aには、1番目に生成されたことを表す順番情報が付加されている。
 さらに、画像サーバ3は、翻訳前画像7内の翻訳前文字列72,74のうち、優先度の低い第2の翻訳前文字列74についても、S35~S39の処理を実行する(S40:NO)。
 S35において、画像サーバ3は、翻訳前画像7内の翻訳前文字列72,74のうち、優先度の低い第2の翻訳前文字列74を表す文字データを取得する。
 S36において、画像サーバ3は、取得した第2の翻訳前文字列74を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
 S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第2の翻訳前文字列74に対応する第2の翻訳後文字列94の文字データを受信する。第2の翻訳後文字列94は、例えば「until 12 p.m.」という英語の文字列である。
 S38において、画像サーバ3は、第1の翻訳後文字列92及び第2の翻訳後文字列94を表すように翻訳後画像9Bを生成する。具体的には、画像サーバ3は、第2の翻訳後文字列94を表す文字画像を不図示のフォントデータベースから取得し、一部翻訳後の翻訳後画像9Aに合成する。これにより、図7Cに示されるような、全部翻訳後の翻訳後画像9Bが生成される。すなわち、全部翻訳後の翻訳後画像9Bでは、第1の翻訳前文字列72及び第2の翻訳前文字列72の両方が、第1の翻訳後文字列92及び第2の翻訳後文字列94に置き換わっている。
 第2の翻訳後文字列94を表す文字画像の合成では、例えば、第2の翻訳後文字列94の文字列領域99が、第2の翻訳前文字列74の文字列領域79(図7Aを参照)を全て覆うように、文字画像の位置や大きさなどが調整される。また、第2の翻訳後文字列94の文字列領域99のうち、文字画像を構成する画素以外の背景の画素は、例えば、第2の翻訳前文字列74の文字列領域79(図7Aを参照)の背景の画素と同じ色とされる。
 S39において、画像サーバ3は、生成した全部翻訳後の翻訳後画像9Bを不図示のデータベースに一時的に記憶する。ここで記憶される全部翻訳後の翻訳後画像9Bには、2番目に生成されたことを表す順番情報と、最後であることを表す終了通知と、が付加されている。
 図6に示されるS11において、ユーザ端末10は、一部翻訳後の翻訳後画像9Aを画像サーバ3から受信する。S12において、ユーザ端末10は、翻訳後ページ8内に一部翻訳後の翻訳後画像9Aを描画する。
 S14において、ユーザ端末10は、更新タイミングが到来したか否かを判定する。更新タイミングが到来すると(S14:YES)、S15において、ユーザ端末10は、画像リクエストを画像サーバ3に送信する。
 S16において、ユーザ端末10は、全部翻訳後の翻訳後画像9Bを画像サーバ3から受信する。S17において、ユーザ端末10は、翻訳後ページ8内に全部翻訳後の翻訳後画像9Bを描画する。
 これにより、翻訳後ページ8における一部翻訳後の翻訳後画像9Aが全部翻訳後の翻訳後画像9Bに置き換えられ、図3Bに示される翻訳後ページ8が表示される。
 その後、ユーザ端末10は、全部翻訳後の翻訳後画像9Bに付加されている終了通知を検知すると(S13:YES)、処理を終了する。
 図8は、一部翻訳後の翻訳後画像9Aを全部翻訳後の翻訳後画像9Bに置き換える際の描画過程の一例を示す図である。ユーザ端末10は、全部翻訳後の翻訳後画像9Bの画素が一部翻訳後の翻訳後画像9Aの画素を置換する割合を時間の経過とともに増加させる。これにより、一部翻訳後の翻訳後画像9Aが全部翻訳後の翻訳後画像9Bに漸進的に置換される。例えば、ユーザ端末10は、全部翻訳後の翻訳後画像9Bを1又は複数の画素を含むブロック単位に分割し、表示するブロックの数を時間の経過とともに徐々に増加させる。ブロックの増加態様は、ブロックが分散しながら徐々に増加する態様であってもよいし、一方の側から他方の側に向けて増加する態様であってもよく、特に限定されない。また、翻訳後画像9A,9Bとして、プログレッシブJPEGやインターレースGIF等のダウンロードの進行に伴って徐々に鮮明になる画像が用いられてもよい。
[第2の処理例]
 図9は、画像サーバ3の処理フローの一例を示す図である。上記第1の処理例と類似するステップについては、ステップ番号を共通にすることで詳細な説明を一部省略する。
 図10Aは、本例において処理される複数の翻訳前画像170,270を含む翻訳前ページ6の一例を示す図である。第1の翻訳前画像170は、例えば、背景画像171と翻訳前文字列172とが一体化した画像である。翻訳前文字列172は、例えば「スーパーセール」という日本語の文字列である。第1の翻訳前画像170は、翻訳前ページ6の上部全体に比較的大きく配置されている。他方、第2の翻訳前画像270は、例えば、背景画像271と翻訳前文字列272とが一体化した画像である。翻訳前文字列272は、例えば「お店を開きませんか?」という日本語の文字列である。第2の翻訳前画像270は、翻訳前ページ6の右下に比較的小さく配置され、第1の翻訳前画像170よりも目立ちにくい。また、図10Bは、一部翻訳後の翻訳後ページ8Aの一例を示す図であり、図10Cは、全部翻訳後の翻訳後ページ8Bの一例を示す図である。
 ユーザ端末10は、翻訳前画像170,270について所定の順序に従って画像リクエストを送信し、全てについて翻訳が完了するまでこれを繰り返す。画像サーバ3は、画像リクエストを受信する毎に、図9に示される処理を実行する。以下に説明する例では、画像サーバ3は、まず第1の翻訳前画像170の画像リクエストを受信し、次に第2の翻訳前画像270の画像リクエストを受信するものとする。
 S31において、画像サーバ3は、第1の翻訳前画像170の画像リクエストをユーザ端末10から受信する。画像リクエストには、第1の翻訳前画像170の所在を表す所在情報と、言語指定情報と、が付加されている。
 S32において、画像サーバ3は、受信した画像リクエストにより特定される第1の翻訳前画像170を不図示の画像データベースから取得する。
 S322において、画像サーバ3は、第1の翻訳前画像170の翻訳前ページ6内における位置を表す画像位置情報を取得する。例えば、ユーザ端末10、ウェブサーバ2、又は翻訳サーバ4からページデータを取得し、それを解析することによって画像位置情報を取得してもよいし、上記S31でユーザ端末10から送信される画像リクエストに画像位置情報が付加されてもよい。
 S33において、画像サーバ3は、第1の翻訳前画像170内で第1の翻訳前文字列172の文字列領域を特定する。
 S34において、画像サーバ3は、第1の翻訳前文字列172について翻訳の優先度を決定する。画像サーバ3は、例えば、第1の翻訳前画像170の翻訳前ページ6内における位置に基づいて翻訳の優先度を決定する。
 優先度の決定に際しては、例えば、ページ内のより目立ちやすい位置を占める翻訳前画像の翻訳前文字列に、より高い優先度が割り当てられる。ページ内の目立ちやすい箇所を特定する技術としては、例えばサリエンシーマップなどがある。
 本例の翻訳前ページ6では、第1の翻訳前画像170が翻訳前ページ6内の目立ちやすい箇所を多く占めていることから、第1の翻訳前画像170に付加された第1の翻訳前文字列172に第1の優先度が割り当てられる。
 S344において、画像サーバ3は、第1の翻訳前文字列172を翻訳するか否かを優先度に基づいて判定する。本例では、第1の翻訳前文字列172に第1の優先度が割り当てられているので、翻訳すると判定される(S344:YES)。
 S35において、画像サーバ3は、第1の翻訳前文字列172を表す文字データを第1の翻訳前画像170から取得する。
 S36において、画像サーバ3は、取得した第1の翻訳前文字列172を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
 S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第1の翻訳前文字列172に対応する第1の翻訳後文字列192の文字データを受信する。第1の翻訳後文字列192は、例えば「Super Sale」という英語の文字列である。
 S38において、画像サーバ3は、第1の翻訳後文字列192を表すように第1の翻訳後画像190を生成する。具体的には、画像サーバ3は、第1の翻訳後文字列192を表す文字画像を第1の翻訳前画像170に合成する。これにより、図10Bに示されるような、第1の翻訳後画像190が生成される。
 S39において、画像サーバ3は、生成した第1の翻訳後画像190を不図示のデータベースに一時的に記憶する。ここで記憶される第1の翻訳後画像190には、翻訳が完了したことを表す終了通知が付加されている。
 S31に戻り、画像サーバ3は、第2の翻訳前画像270の画像リクエストをユーザ端末10から受信する。画像リクエストには、第2の翻訳前画像270の所在を表す所在情報と、言語指定情報と、が付加されている。
 S32において、画像サーバ3は、受信した画像リクエストにより特定される第2の翻訳前画像270を不図示の画像データベースから取得する。
 S322において、画像サーバ3は、第2の翻訳前画像270の翻訳前ページ6内における位置を表す画像位置情報を取得する。
 S33において、画像サーバ3は、第2の翻訳前画像270内で第2の翻訳前文字列272の文字列領域を特定する。
 S34において、画像サーバ3は、第2の翻訳前文字列272について翻訳の優先度を決定する。画像サーバ3は、例えば、第2の翻訳前画像270の翻訳前ページ6内における位置に基づいて翻訳の優先度を決定する。
 本例の翻訳前ページ6では、第2の翻訳前画像270が翻訳前ページ6内の目立ちやすい箇所を多く占めていないことから、第2の翻訳前画像270に付加された第2の翻訳前文字列272に第2の優先度が割り当てられる。
 S344において、画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第2の翻訳前文字列272に第2の優先度が割り当てられているので、翻訳しないと判定される(S344:NO)。
 以上の1巡目が完了した時点で、ユーザ端末10は、第1の翻訳前画像170の画像リクエストに対しては翻訳されている第1の翻訳後画像190を取得し、第2の翻訳前画像270の画像リクエストに対しては翻訳されていない第2の翻訳前画像270を取得することが可能な状況にある。この場合、図10Bに示されるような、一部翻訳後の翻訳後ページ8Aが表示される。すなわち、一部翻訳後の翻訳後ページ8Aでは、第1の翻訳前画像170のみが第1の翻訳後画像190に置き換わっており、第2の翻訳前画像270は翻訳されないままである。
 さらに、画像サーバ3は、2巡目の画像リクエストをユーザ端末10から受信する。ここで、ユーザ端末10は、既に翻訳が完了している第1の翻訳前画像170については画像リクエストの送信を省略できる。この場合、画像サーバ3は、第2の翻訳前画像270の画像リクエストを受信する。
 上記と同様に、S32~S34において、画像サーバ3は、第2の翻訳前画像270及び画像位置情報を取得し、第2の翻訳前文字列272の文字列領域を特定し、翻訳の優先度を決定する。ここで、画像サーバ3は、1巡目で決定した優先度の情報を保持している場合には、S32~S34を省略できる。
 画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第1の優先度についての翻訳が既に完了しているので、第2の優先度が割り当てられている第2の翻訳前文字列272が翻訳の対象となる(S344:YES)。
 S35において、画像サーバ3は、第2の翻訳前文字列272を表す文字データを第2の翻訳前画像270から取得する。
 S36において、画像サーバ3は、取得した第2の翻訳前文字列272を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
 S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第2の翻訳前文字列272に対応する第2の翻訳後文字列292の文字データを受信する。第2の翻訳後文字列292は、例えば「Would you like to open your shop ?」という英語の文字列である。
 S38において、画像サーバ3は、第2の翻訳後文字列292を表すように第2の翻訳後画像290を生成する。具体的には、画像サーバ3は、第2の翻訳後文字列292を表す文字画像を第2の翻訳前画像270に合成する。これにより、図10Cに示されるような、第2の翻訳後画像290が生成される。
 S39において、画像サーバ3は、生成した第2の翻訳後画像290を不図示のデータベースに一時的に記憶する。ここで記憶される第2の翻訳後画像290には、翻訳が完了したことを表す終了通知が付加されている。
 以上の2巡目が完了した時点で、ユーザ端末10は、第2の翻訳前画像270の画像リクエストに対しては翻訳されている第2の翻訳後画像290を取得することが可能な状況にある。この場合、図10Cに示されるような、全部翻訳後の翻訳後ページ8Bが表示される。すなわち、全部翻訳後の翻訳後ページ8Bでは、翻訳前画像170,270の両方が翻訳後画像190,290に置き換わっている。
 また、ユーザ端末10は、翻訳後画像190,290の両方の終了通知を検知すると、画像リクエストの送信を終了する。
 なお、本例では、ユーザ端末10は翻訳前画像170,270について所定の順序に従って画像リクエストを送信したが、この態様に限られず、画像サーバ3が翻訳前画像170,270の画像リクエストを送信する順番を優先度に基づき決定し、ユーザ端末10に対して指定してもよい。
[第3の処理例]
 図11は、画像サーバ3の処理フローの一例を示す図である。上記第1の処理例及び第2の処理例と類似するステップについては、ステップ番号を共通にすることで詳細な説明を一部省略する。
 図12Aは、本例において処理される複数の翻訳前画像170,270,370を含む翻訳前ページ6の一例を示す図である。第1の翻訳前画像170及び第2の翻訳前画像270は、上記第2の処理例と同様である。第3の翻訳前画像370は、例えば、背景画像371と翻訳前文字列372とが一体化した画像である。翻訳前文字列372は、例えば「買い物かご」という日本語の文字列である。第3の翻訳前画像370は、翻訳前ページ6の上部に配置されている。また、図12Bは、一部翻訳後の翻訳後ページ8Aの一例を示す図であり、図12Cは、全部翻訳後の翻訳後ページ8Bの一例を示す図である。
 また、本例では、翻訳前ページ6が縦に長く、ユーザ端末10の表示画面には全部を表示しきれないため、ユーザが表示範囲をスクロールする必要がある。図12A中に示される破線は、ユーザ端末10の現在の表示範囲100を表している。すなわち、図12Aの状態では、表示範囲100内にある翻訳前文字列61及び翻訳前画像170,370がユーザ端末10に表示されており、表示範囲100外にある翻訳前画像270がユーザ端末10に表示されていない。
 ユーザ端末10は、翻訳前画像170,270,370について所定の順序に従って画像リクエストを送信し、全てについて翻訳が完了するまでこれを繰り返す。画像サーバ3は、画像リクエストを受信する毎に、図11に示される処理を実行する。以下に説明する例では、画像サーバ3は、まず第1の翻訳前画像170の画像リクエストを受信し、次に第2の翻訳前画像270の画像リクエストを受信し、次に第3の翻訳前画像370の画像リクエストを受信するものとする。
 S31において、画像サーバ3は、第1の翻訳前画像170の画像リクエストをユーザ端末10から受信する。画像リクエストには、第1の翻訳前画像170の所在を表す所在情報と、言語指定情報と、が付加されている。
 S32において、画像サーバ3は、受信した画像リクエストにより特定される第1の翻訳前画像170を不図示の画像データベースから取得する。
 S322において、画像サーバ3は、第1の翻訳前画像170の翻訳前ページ6内における位置を表す画像位置情報を取得する。例えば、ユーザ端末10、ウェブサーバ2、又は翻訳サーバ4からページデータを取得し、それを解析することによって画像位置情報を取得してもよいし、上記S31でユーザ端末10から送信される画像リクエストに画像位置情報が付加されてもよい。
 S323において、画像サーバ3は、ユーザ端末10の現在の表示範囲100の位置を表す現在位置情報をユーザ端末10から取得する。
 S33において、画像サーバ3は、第1の翻訳前画像170内で第1の翻訳前文字列172の文字列領域を特定する。
 S34において、画像サーバ3は、第1の翻訳前文字列172について翻訳の優先度を決定する。画像サーバ3は、例えば、ユーザ端末10の現在の表示範囲100の位置に基づいて翻訳の優先度を決定する。
 優先度の決定に際しては、例えば、表示範囲100に含まれる翻訳前画像の翻訳前文字列や、表示範囲100に近い翻訳前画像の翻訳前文字列に、より高い優先度が割り当てられる。
 本例の翻訳前ページ6では、第1の翻訳前画像170は表示範囲100内に位置していることから、第1の翻訳前画像170に付加された第1の翻訳前文字列172に第1の優先度が割り当てられる。
 S344において、画像サーバ3は、第1の翻訳前文字列172を翻訳するか否かを優先度に基づいて判定する。本例では、第1の翻訳前文字列172に第1の優先度が割り当てられているので、翻訳すると判定される(S344:YES)。
 S35において、画像サーバ3は、第1の翻訳前文字列172を表す文字データを第1の翻訳前画像170から取得する。
 S36において、画像サーバ3は、取得した第1の翻訳前文字列172を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
 S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第1の翻訳前文字列172に対応する第1の翻訳後文字列192の文字データを受信する。第1の翻訳後文字列192は、例えば「Super Sale」という英語の文字列である。
 S38において、画像サーバ3は、第1の翻訳後文字列192を表すように第1の翻訳後画像190を生成する。具体的には、画像サーバ3は、第1の翻訳後文字列192を表す文字画像を第1の翻訳前画像170に合成する。これにより、図12Bに示されるような、第1の翻訳後画像190が生成される。
 S39において、画像サーバ3は、生成した第1の翻訳後画像190を不図示のデータベースに一時的に記憶する。ここで記憶される第1の翻訳後画像190には、翻訳が完了したことを表す終了通知が付加されている。
 S31に戻り、画像サーバ3は、第2の翻訳前画像270の画像リクエストをユーザ端末10から受信する。画像リクエストには、第2の翻訳前画像270の所在を表す所在情報と、言語指定情報と、が付加されている。
 S32において、画像サーバ3は、受信した画像リクエストにより特定される第2の翻訳前画像270を不図示の画像データベースから取得する。
 S322において、画像サーバ3は、第2の翻訳前画像270の翻訳前ページ6内における位置を表す画像位置情報を取得する。
 S323において、画像サーバ3は、ユーザ端末10の現在の表示範囲100の位置を表す現在位置情報をユーザ端末10から取得する。
 S33において、画像サーバ3は、第2の翻訳前画像270内で第2の翻訳前文字列272の文字列領域を特定する。
 S34において、画像サーバ3は、第2の翻訳前文字列272について翻訳の優先度を決定する。画像サーバ3は、例えば、ユーザ端末10の現在の表示範囲100の位置に基づいて翻訳の優先度を決定する。
 本例の翻訳前ページ6では、第2の翻訳前画像270は表示範囲100外に位置していることから、第2の翻訳前画像270に付加された第2の翻訳前文字列272に第2の優先度が割り当てられる。
 S344において、画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第2の翻訳前文字列272に第2の優先度が割り当てられているので、翻訳しないと判定される(S344:NO)。
 S31に戻り、画像サーバ3は、第3の翻訳前画像370の画像リクエストをユーザ端末10から受信する。画像リクエストには、第3の翻訳前画像370の所在を表す所在情報と、言語指定情報と、が付加されている。
 S32において、画像サーバ3は、受信した画像リクエストにより特定される第1の翻訳前画像170を不図示の画像データベースから取得する。
 S322において、画像サーバ3は、第1の翻訳前画像170の翻訳前ページ6内における位置を表す画像位置情報を取得する。
 S323において、画像サーバ3は、ユーザ端末10の現在の表示範囲100の位置を表す現在位置情報をユーザ端末10から取得する。
 S33において、画像サーバ3は、第3の翻訳前画像370内で第3の翻訳前文字列372の文字列領域を特定する。
 S34において、画像サーバ3は、第3の翻訳前文字列372について翻訳の優先度を決定する。画像サーバ3は、例えば、ユーザ端末10の現在の表示範囲100の位置に基づいて翻訳の優先度を決定する。
 本例の翻訳前ページ6では、第3の翻訳前画像370は表示範囲100内に位置していることから、第3の翻訳前画像370に付加された第3の翻訳前文字列372にも第1の優先度が割り当てられる。
 S344において、画像サーバ3は、第3の翻訳前文字列372を翻訳するか否かを優先度に基づいて判定する。本例では、第3の翻訳前文字列372にも第1の優先度が割り当てられているので、翻訳すると判定される(S344:YES)。
 S35において、画像サーバ3は、第3の翻訳前文字列372を表す文字データを第3の翻訳前画像370から取得する。
 S36において、画像サーバ3は、取得した第3の翻訳前文字列372を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
 S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第3の翻訳前文字列372に対応する第3の翻訳後文字列392の文字データを受信する。第3の翻訳後文字列392は、例えば「Shopping Cart」という英語の文字列である。
 S38において、画像サーバ3は、第3の翻訳後文字列392を表すように第3の翻訳後画像190を生成する。具体的には、画像サーバ3は、第3の翻訳後文字列392を表す文字画像を第3の翻訳前画像370に合成する。これにより、図12Bに示されるような、第3の翻訳後画像390が生成される。
 S39において、画像サーバ3は、生成した第3の翻訳後画像190を不図示のデータベースに一時的に記憶する。ここで記憶される第3の翻訳後画像190には、翻訳が完了したことを表す終了通知が付加されている。
 以上の1巡目が完了した時点で、ユーザ端末10は、第1の翻訳前画像170の画像リクエストに対しては翻訳されている第1の翻訳後画像190を取得し、第2の翻訳前画像270の画像リクエストに対しては翻訳されていない第2の翻訳前画像270を取得し、第3の翻訳前画像370の画像リクエストに対しては翻訳されている第3の翻訳後画像390を取得することが可能な状況にある。この場合、図12Bに示されるような、一部翻訳後の翻訳後ページ8Aが表示される。すなわち、一部翻訳後の翻訳後ページ8Aでは、第1の翻訳前画像170及び第3の翻訳前画像370のみが第1の翻訳後画像190及び第3の翻訳後画像390に置き換わっており、第2の翻訳前画像270は翻訳されないままである。
 さらに、画像サーバ3は、2巡目の画像リクエストをユーザ端末10から受信する。ここで、ユーザ端末10は、既に翻訳が完了している第1の翻訳前画像170及び第3の翻訳前画像370については画像リクエストの送信を省略できる。この場合、画像サーバ3は、第2の翻訳前画像270の画像リクエストを受信する。
 上記と同様に、S32~S34において、画像サーバ3は、第2の翻訳前画像270、画像位置情報、及び現在位置情報を取得し、第2の翻訳前文字列272の文字列領域を特定し、翻訳の優先度を決定する。ここで、画像サーバ3は、1巡目で決定した優先度の情報を保持している場合には、S32~S34を省略できる。
 画像サーバ3は、第2の翻訳前文字列272を翻訳するか否かを優先度に基づいて判定する。本例では、第1の優先度についての翻訳が既に完了しているので、第2の優先度が割り当てられている第2の翻訳前文字列272が翻訳の対象となる(S344:YES)。
 S35において、画像サーバ3は、第2の翻訳前文字列272を表す文字データを第2の翻訳前画像270から取得する。
 S36において、画像サーバ3は、取得した第2の翻訳前文字列272を表す文字データと、言語指定情報と、を含む翻訳リクエストを翻訳サーバ4に送信する。
 S37において、画像サーバ3は、翻訳サーバ4によって翻訳された、第2の翻訳前文字列272に対応する第2の翻訳後文字列292の文字データを受信する。第2の翻訳後文字列292は、例えば「Would you like to open your shop ?」という英語の文字列である。
 S38において、画像サーバ3は、第2の翻訳後文字列292を表すように第2の翻訳後画像290を生成する。具体的には、画像サーバ3は、第2の翻訳後文字列292を表す文字画像を第2の翻訳前画像270に合成する。これにより、図12Cに示されるような、第2の翻訳後画像290が生成される。
 S39において、画像サーバ3は、生成した第2の翻訳後画像290を不図示のデータベースに一時的に記憶する。ここで記憶される第2の翻訳後画像290には、翻訳が完了したことを表す終了通知が付加されている。
 以上の2巡目が完了した時点で、ユーザ端末10は、第2の翻訳前画像270の画像リクエストに対しては翻訳されている第2の翻訳後画像290を取得することが可能な状況にある。この場合、図12Cに示されるような、全部翻訳後の翻訳後ページ8Bが表示される。すなわち、全部翻訳後の翻訳後ページ8Bでは、翻訳前画像170,270,370の全てが翻訳後画像190,290,390に置き換わっている。
 また、ユーザ端末10は、翻訳後画像190,290,390の全ての終了通知を検知すると、画像リクエストの送信を終了する。
 なお、本例では、ユーザ端末10は翻訳前画像170,270,370について所定の順序に従って画像リクエストを送信したが、この態様に限られず、画像サーバ3が翻訳前画像170,270,370の画像リクエストを送信する順番を優先度に基づき決定し、ユーザ端末10に対して指定してもよい。
 以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が当業者にとって可能であるのはもちろんである。
 例えば、翻訳の優先度を決定する際には、上記第1の処理例、第2の処理例、及び第3の処理例で説明した優先度の決定手法の2又は3を適宜組み合わせてもよい。
 1 閲覧システム、2 ウェブサーバ、3 画像サーバ、4 翻訳サーバ、5 通信ネットワーク、10 ユーザ端末、11 制御部、12 記憶部、13 光ディスクドライブ部、14 通信インタフェース部、15 操作部、16 表示部、17 音声出力部、6 翻訳前ページ、61 翻訳前文字列(ページ内)、100 表示範囲、7,170,270,370 翻訳前画像、71,171,271,371 背景画像、72,74,172,272,372 翻訳前文字列(画像内)、77,79 文字列領域、8,8A,8B 翻訳後ページ、81 翻訳後文字列(ページ内)、9,9A,9B,190,290,390 翻訳後画像、92,94,192,292,392 翻訳後文字列(画像内)、97,99 文字列領域。

Claims (14)

  1.  1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、
     前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、
     表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、
     を備える情報処理システム。
  2.  前記取得手段は、前記複数の元文字列に対する優先順位に基づく順序にしたがって、該複数の元文字列にそれぞれ対応する前記複数の変換済み文字列を一部ずつ取得する、
     請求項1に記載の情報処理システム。
  3.  前記優先順位は、前記元文字列の表示態様と、前記オブジェクト内における前記元文字列が付加された画像の配置位置と、の少なくともいずれかに基づいて設定手段により設定される、
     請求項2に記載の情報処理システム。
  4.  前記優先順位は、前記表示情報に基づいて表示されるオブジェクト内における前記元文字列の視覚的特徴量の大きさに基づいて設定手段により設定される、
     請求項2に記載の情報処理システム。
  5.  前記設定手段をさらに備える、
     請求項3または4に記載の情報処理システム。
  6.  画像ごとに所定のタイミングで取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、
     前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる、
     請求項5に記載の情報処理システム。
  7.  前記オブジェクトの前記画面に表示されている範囲を示す範囲情報を所定のタイミングで前記表示装置から取得する範囲情報取得手段をさらに備え、
     前記設定手段は、前記範囲情報が示す範囲に含まれない元文字列に対する優先順位を少なくとも1段階下げる、
     請求項6に記載の情報処理システム。
  8.  前記設定手段により設定される優先順位に基づく順序にしたがって所定のタイミングで前記元文字列に対応する画像の取得要求を送信する前記表示装置から前記オブジェクト内の最前面に配置されているいずれかの画像の取得要求を受信する受信手段をさらに備え、
     前記変更手段は、前記取得要求を受信する度に、前記オブジェクト内における該取得要求にかかる画像の配置領域の最前面の内容を、前記生成手段により生成された、該領域の最前面に配置されている画像よりも配置される変換済み文字列が多い変換済み画像に変更させる、
     請求項3に記載の情報処理システム。
  9.  前記変更手段は、前記表示装置に、前記オブジェクト内における該生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に漸進的に変更させる、
     請求項1ないし8の何れかに記載の情報処理システム。
  10.  1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、
     前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、
     表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる、
     情報処理システムの制御方法。
  11.  1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段と、
     前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段と、
     表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段と、
     を備える情報処理装置。
  12.  1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得し、
     前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成し、
     表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる、
     情報処理装置の制御方法。
  13.  1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、
     前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、
     表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、
     としてコンピュータを機能させるプログラム。
  14.  1又は複数の元画像の少なくとも何れかにそれぞれ付加された複数の元文字列をそれぞれ変換してなる複数の変換済み文字列を一部ずつ取得する取得手段、
     前記変換済み文字列を取得する毎に、該取得した変換済み文字列に対応する元文字列が付加された元画像における該元文字列の表示領域に相当する領域に該変換済み文字列が配置された変換済み画像を生成する生成手段、及び、
     表示情報に基づいて1又は複数の画像を含むオブジェクトの少なくとも一部を画面に表示する表示装置に、該オブジェクト内における前記生成手段により生成された変換済み画像に対応する元画像の配置領域の最前面の内容を該変換済み画像に変更させる変更手段、
     としてコンピュータを機能させるプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
PCT/JP2013/059765 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム WO2014155742A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015505745A JP5829354B2 (ja) 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム
US14/781,032 US9690778B2 (en) 2013-03-29 2013-03-29 Information processing system, control method for information processing system, information processing device, control method for information processing device, information storage medium, and program
PCT/JP2013/059765 WO2014155742A1 (ja) 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059765 WO2014155742A1 (ja) 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム

Publications (1)

Publication Number Publication Date
WO2014155742A1 true WO2014155742A1 (ja) 2014-10-02

Family

ID=51622786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059765 WO2014155742A1 (ja) 2013-03-29 2013-03-29 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム

Country Status (3)

Country Link
US (1) US9690778B2 (ja)
JP (1) JP5829354B2 (ja)
WO (1) WO2014155742A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7016612B2 (ja) * 2017-02-10 2022-02-07 株式会社東芝 画像処理装置及びプログラム
JP6866788B2 (ja) * 2017-07-06 2021-04-28 株式会社リコー 情報処理装置及びプログラム
US11347381B2 (en) * 2019-06-13 2022-05-31 International Business Machines Corporation Dynamic synchronized image text localization
US11631234B2 (en) 2019-07-22 2023-04-18 Adobe, Inc. Automatically detecting user-requested objects in images
US11468550B2 (en) 2019-07-22 2022-10-11 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11107219B2 (en) 2019-07-22 2021-08-31 Adobe Inc. Utilizing object attribute detection models to automatically select instances of detected objects in images
US11468110B2 (en) 2020-02-25 2022-10-11 Adobe Inc. Utilizing natural language processing and multiple object detection models to automatically select objects in images
US11055566B1 (en) * 2020-03-12 2021-07-06 Adobe Inc. Utilizing a large-scale object detector to automatically select objects in digital images
US11587234B2 (en) 2021-01-15 2023-02-21 Adobe Inc. Generating class-agnostic object masks in digital images
US11972569B2 (en) 2021-01-26 2024-04-30 Adobe Inc. Segmenting objects in digital images utilizing a multi-object segmentation model framework
JP2022147337A (ja) * 2021-03-23 2022-10-06 株式会社リコー 表示装置、表示方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61228571A (ja) * 1985-04-01 1986-10-11 Ricoh Co Ltd 文書作成編集装置
JP2001216303A (ja) * 2000-02-04 2001-08-10 Fujitsu Ltd 翻訳結果表示装置及び方法並びに翻訳結果表示プログラムを格納したコンピュータ可読の記録媒体
JP2002108855A (ja) * 2000-09-29 2002-04-12 Brother Ind Ltd 文書処理装置
US20080300859A1 (en) * 2003-06-05 2008-12-04 Yen-Fu Chen System and Method for Automatic Natural Language Translation of Embedded Text Regions in Images During Information Transfer
WO2012147936A1 (ja) * 2011-04-28 2012-11-01 楽天株式会社 閲覧システム、端末、画像サーバ、プログラム、プログラムを記録したコンピュータ読み取り可能な記録媒体、及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2758952B2 (ja) * 1989-12-28 1998-05-28 富士通株式会社 日本語文書読取翻訳システムの修正時における表示方式
US7865358B2 (en) * 2000-06-26 2011-01-04 Oracle International Corporation Multi-user functionality for converting data from a first form to a second form
JP2006252049A (ja) * 2005-03-09 2006-09-21 Fuji Xerox Co Ltd 翻訳システム、翻訳方法およびプログラム
JP2006260080A (ja) * 2005-03-16 2006-09-28 Toshiba Corp 光学的文字認識システムおよび光学的文字認識方法
US7778632B2 (en) * 2005-10-28 2010-08-17 Microsoft Corporation Multi-modal device capable of automated actions
US8144990B2 (en) * 2007-03-22 2012-03-27 Sony Ericsson Mobile Communications Ab Translation and display of text in picture
JP5235135B2 (ja) * 2008-12-26 2013-07-10 楽天株式会社 機械翻訳システム及び機械翻訳方法
JP5299011B2 (ja) * 2009-03-25 2013-09-25 セイコーエプソン株式会社 テープ印刷装置、テープ印刷装置の制御方法及びプログラム
JP5211193B2 (ja) * 2010-11-10 2013-06-12 シャープ株式会社 翻訳表示装置
JP5606385B2 (ja) 2011-04-28 2014-10-15 楽天株式会社 サーバ装置、サーバ装置の制御方法、及び、プログラム
US8855413B2 (en) * 2011-05-13 2014-10-07 Abbyy Development Llc Image reflow at word boundaries

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61228571A (ja) * 1985-04-01 1986-10-11 Ricoh Co Ltd 文書作成編集装置
JP2001216303A (ja) * 2000-02-04 2001-08-10 Fujitsu Ltd 翻訳結果表示装置及び方法並びに翻訳結果表示プログラムを格納したコンピュータ可読の記録媒体
JP2002108855A (ja) * 2000-09-29 2002-04-12 Brother Ind Ltd 文書処理装置
US20080300859A1 (en) * 2003-06-05 2008-12-04 Yen-Fu Chen System and Method for Automatic Natural Language Translation of Embedded Text Regions in Images During Information Transfer
WO2012147936A1 (ja) * 2011-04-28 2012-11-01 楽天株式会社 閲覧システム、端末、画像サーバ、プログラム、プログラムを記録したコンピュータ読み取り可能な記録媒体、及び方法

Also Published As

Publication number Publication date
JP5829354B2 (ja) 2015-12-09
US9690778B2 (en) 2017-06-27
US20160299890A1 (en) 2016-10-13
JPWO2014155742A1 (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5829354B2 (ja) 情報処理システム、情報処理システムの制御方法、情報処理装置、情報処理装置の制御方法、情報記憶媒体、及びプログラム
US10956531B2 (en) Dynamic generation of mobile web experience
US8497883B2 (en) Information display device
TWI448953B (zh) 網路文件之可適的伺服式佈局
JP5575511B2 (ja) ウェブサイト閲覧システム、サーバ及びクライアント端末
US20140380229A1 (en) System, method and user interface for designing customizable products from a mobile device
JP2013501997A (ja) ウェブページを表示する方法、装置およびシステム
US20090085921A1 (en) Populate Web-Based Content Based on Space Availability
US9117314B2 (en) Information output apparatus, method, and recording medium for displaying information on a video display
US9619440B2 (en) Document conversion apparatus
WO2022048141A1 (zh) 一种图像处理方法及装置、计算机可读存储介质
JP2007233659A (ja) ネットワークサービスにおける情報配信システム
CN101114300A (zh) 图像形成***和图像形成方法
US20160259771A1 (en) Information processing system, information processing apparatus, control method, and storage medium
TWI435226B (zh) A method of reading a system, a terminal, an image server, a computer program product, a terminal, and an image server
US9706006B2 (en) System and method of context aware adaption of content for a mobile device
JP5525623B2 (ja) 遠隔印刷
EP2317424A1 (en) Information display device
JP2008234147A (ja) 文書画像表示装置、文書画像表示方法及び文書画像表示プログラム
JP4815501B2 (ja) 端末装置及びプログラム
RU2634221C2 (ru) Способ и устройство для отрисовки представления электронного документа на экране
US20150186758A1 (en) Image processing device
JP2011113460A (ja) 情報提供システム
US8533588B2 (en) Overriding images in user interfaces
US9690783B2 (en) Image conversion and method for converting text in an image into a targeted language

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13880692

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015505745

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14781032

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13880692

Country of ref document: EP

Kind code of ref document: A1