JP5674451B2 - Viewer device, browsing system, viewer program, and recording medium - Google Patents
Viewer device, browsing system, viewer program, and recording medium Download PDFInfo
- Publication number
- JP5674451B2 JP5674451B2 JP2010286393A JP2010286393A JP5674451B2 JP 5674451 B2 JP5674451 B2 JP 5674451B2 JP 2010286393 A JP2010286393 A JP 2010286393A JP 2010286393 A JP2010286393 A JP 2010286393A JP 5674451 B2 JP5674451 B2 JP 5674451B2
- Authority
- JP
- Japan
- Prior art keywords
- balloon
- information
- sentence
- image
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/103—Formatting, i.e. changing of presentation of documents
- G06F40/106—Display of layout of documents; Previewing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/53—Processing of non-Latin text
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
本発明は、電子コミックの画像の吹き出し内に原文の台詞を所定の言語に翻訳した翻訳文を表示することができるビューワ装置、閲覧システム、ビューワプログラム及び記録媒体に関する。 The present invention relates to a viewer device, a browsing system, a viewer program, and a recording medium that can display a translated sentence obtained by translating an original sentence into a predetermined language in a balloon of an electronic comic image.
近年の情報技術革新に伴い、雑誌やコミックなどの紙にプリントされることを前提とした書籍をデジタル化し、携帯端末等の電子書籍ビューワで視聴するという情報配信形態が確立されてきた。 With information technology innovation in recent years, an information distribution form has been established in which books that are supposed to be printed on paper such as magazines and comics are digitized and viewed with an electronic book viewer such as a portable terminal.
特許文献１によると、原稿縦書き、翻訳文横書きなら、レイアウト情報を回転し、横書きのレイアウトに変換する。
According to
特許文献２によると、ネームが吹き出しの枠に収まらない場合には、文字の級数を下げたり、文字間隔を詰めたりする。
According to
特許文献３によると、文字列を含むブロックの縦方向のサイズは固定し、横方向のサイズのみを拡大する。 According to Patent Document 3, the vertical size of a block including a character string is fixed, and only the horizontal size is enlarged.
特許文献４によると、流し込んだネームの全文字が縦横過不足無く収まるようにテキストボックスの大きさを調整する。 According to Patent Document 4, the size of the text box is adjusted so that all the characters of the inserted name can be accommodated without any vertical or horizontal shortage.
特許文献５によると、表示画面に帯状のテロップ領域を設けて、吹き出し内の台詞に対する翻訳文を、テロップ領域に字幕で表示させる。 According to Patent Document 5, a belt-like telop area is provided on the display screen, and a translated sentence for the dialogue in the speech balloon is displayed as subtitles in the telop area.
特許文献６によると、画像の元位置に生じるパターンの抜けを周囲の画像の構成パターンから補って塞ぐ。 According to Japanese Patent Application Laid-Open No. 2004-228620, the omission of the pattern that occurs at the original position of the image is compensated from the constituent patterns of the surrounding images and blocked.
単に画像の倍率に応じてテキストボックスの大きさを調整する画像処理技術（特許文献４を参照）や、翻訳文を帯状のテロップ領域に字幕で流して表示する画像処理技術（特許文献５を参照）は知られているが、そのような従来技術を吹き出しに台詞の翻訳文を入れる場合に適用しても、コミックに特有の課題を解決することができない。 An image processing technique that simply adjusts the size of the text box according to the magnification of the image (see Patent Document 4), or an image processing technique that displays the translated text as a subtitle in a band-like telop area (see Patent Document 5) ) Is known, but even if such a conventional technique is applied to a case where a translated sentence is put in a speech balloon, a problem peculiar to comics cannot be solved.
電子コミックでは、縦書きの台詞（例えば日本文）が描かれた吹き出し内に、その台詞の翻訳文（例えば英文）を横書きで表示しようとすると、画像の表示倍率とは無関係に、翻訳文の全文が吹き出しに入らなくなる場合が多い。また、字幕表示では、画像の周囲に（すなわち翻訳文を十分に表示可能な位置）に翻訳文を表示する場合が一般的である。もしも吹き出しの位置にテロップ領域を設け、吹き出しから翻訳文がはみ出してしまえば、登場人物の絵に翻訳文が重なってしまうという問題もある。吹き出し内に翻訳文を収めようとして、数文字ずつテロップで流すようにした場合には、その翻訳文の全体の内容をユーザが把握し難くなるという問題もある。また、縦長の吹き出しを横長の吹き出しに替える場合には、絵柄の無い吹き出し領域の一部に絵柄を追加する必要が出てきてしまう。登場人物の絵柄をそのままユーザに見せたいという著作者の要求もある。このような電子コミックに特有の課題についても、その課題を解決可能な構成についても、先行技術文献に開示されていない。 In an electronic comic, if you try to display a translated sentence (for example, English) in horizontal writing in a speech balloon in which a vertical line (for example, Japanese) is drawn, the translated sentence will be displayed regardless of the display magnification of the image. In many cases, the entire sentence does not enter the balloon. In subtitle display, a translated sentence is generally displayed around an image (that is, a position where the translated sentence can be sufficiently displayed). If a telop area is provided at the position of the speech balloon and the translated sentence protrudes from the speech balloon, there is a problem that the translated sentence overlaps the character's picture. There is also a problem that it becomes difficult for the user to grasp the entire contents of the translated sentence when the translated sentence is put in a balloon in a telop every few characters. In addition, when replacing a vertically long balloon with a horizontally long balloon, it becomes necessary to add a pattern to a part of a balloon area without a pattern. There is also a request from the author to show the characters as they are to the user. Neither the problem peculiar to such an electronic comic nor the configuration capable of solving the problem is disclosed in the prior art documents.
本発明はこのような事情に鑑みてなされたもので、電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を原文表示のときと同じような感覚で適切に観察できるようにすることを目的とする。 The present invention has been made in view of such circumstances, and when a user browses an electronic comic, while protecting the rights of the author, the user feels the same as when the translated sentence is displayed in the original text. The purpose is to make it possible to observe properly.
前記目的を達成するために、本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備え、前記翻訳文表示制御手段は、前記電子コミック情報に基づいて前記吹き出し内の原文が縦書きであり前記翻訳文の所定の言語が横書きであることを検知、又は前記吹き出し内の原文が横書きであり前記翻訳文の所定の言語が縦書きであることを検知すると、前記吹き出しを横方向及び縦方向のうち前記翻訳文の所定の言語の方向のみに拡大させることを特徴とするビューワ装置を提供する。
また、本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備え、前記電子コミック情報の前記吹き出し情報は、吹き出し口の位置情報を含み、前記翻訳文表示制御手段は、前記吹き出し口の位置情報に基づいて前記吹き出し口の位置が移動しないように前記吹き出しを拡大させることを特徴とするビューワ装置を提供する。
また、本発明は、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備え、前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中のコマの枠外に前記吹き出しを拡大させることを特徴とするビューワ装置を提供する。
In order to achieve the above object, the present invention includes display means, balloon area information indicating an existence area in the image of a balloon in which an image of each page or frame of a comic, and a speech of a comic character is entered. Speech information including text information including translation information obtained by translating the speech of the original text in each speech balloon into a predetermined language, and text information associated with each speech balloon, and the image on the screen of the display means for scroll reproduction or frame Information acquisition means for acquiring electronic comic information including display control information for display by reproduction, and displaying the image on the screen of the display means by scroll reproduction or frame reproduction based on the acquired display control information In the speech display in the image displayed on the screen of the image display control means and the display means, the entire sentence of the translated sentence corresponding to the speech balloon is previously stored. A discriminating means for discriminating whether or not the character is entered with a predetermined character size, and the sentence instead of the original text in the speech balloon in the image displayed on the screen based on the acquired speech balloon information and text information; A translated text display control means for displaying a translated text, and when the discriminating means determines that the entire text of the translated text enters, the translated text is displayed in the balloon, and the discriminating means displays the translated text When it is determined that the whole sentence of the sentence does not enter, the translation sentence display control means for expanding the balloon and displaying the translation sentence in the enlarged balloon, the translation sentence display control means, Based on the electronic comic information, it is detected that the original text in the balloon is vertical writing and the predetermined language of the translated sentence is horizontal writing, or the original text in the balloon is horizontal writing. Ri a predetermined language of the translation detects that a vertical writing, providing a viewer and wherein the to expand only in the direction of the predetermined language of the translation of the balloon the horizontal and vertical directions To do.
Further, the present invention provides a display means, balloon-by-page information including an image for each page or frame of a comic, balloon information including balloon area information indicating an existing area in the balloon in which a speech of a comic character is entered, and each balloon. Text information including a translated sentence obtained by translating an original sentence in a predetermined language into text information associated with each balloon, and for displaying the image on the screen of the display means by scroll reproduction or frame reproduction Information acquisition means for acquiring electronic comic information including display control information, and image display control means for displaying the image by scroll reproduction or frame reproduction on the screen of the display means based on the acquired display control information; In the balloon in the image displayed on the screen of the display means, the full text of the translated sentence corresponding to the balloon is set in advance. A discriminating means for discriminating whether or not to enter, and a translation for displaying the translated sentence instead of the original sentence in the balloon in the image displayed on the screen based on the acquired balloon information and text information A sentence display control unit that displays the entire sentence of the translated sentence in the balloon when the determining unit determines that the entire sentence of the translated sentence is included, and does not include the entire sentence of the translated sentence by the determining unit; And the translated sentence display control means for displaying the translated sentence in the expanded balloon, and the balloon information of the electronic comic information is a position of the balloon outlet. The translated sentence display control means expands the balloon so that the position of the balloon does not move based on the position information of the balloon. Providing a viewer apparatus characterized by and.
Further, the present invention provides a display means, balloon-by-page information including an image for each page or frame of a comic, balloon information including balloon area information indicating an existing area in the balloon in which a speech of a comic character is entered, and each balloon. Text information including a translated sentence obtained by translating an original sentence in a predetermined language into text information associated with each balloon, and for displaying the image on the screen of the display means by scroll reproduction or frame reproduction Information acquisition means for acquiring electronic comic information including display control information, and image display control means for displaying the image by scroll reproduction or frame reproduction on the screen of the display means based on the acquired display control information; In the balloon in the image displayed on the screen of the display means, the full text of the translated sentence corresponding to the balloon is set in advance. A discriminating means for discriminating whether or not to enter, and a translation for displaying the translated sentence instead of the original sentence in the balloon in the image displayed on the screen based on the acquired balloon information and text information A sentence display control unit that displays the entire sentence of the translated sentence in the balloon when the determining unit determines that the entire sentence of the translated sentence is included, and does not include the entire sentence of the translated sentence by the determining unit; A translated sentence display control means for enlarging the balloon and displaying the translated sentence in the enlarged balloon, and the translated sentence display control means is displayed on the screen of the display means. Provided is a viewer device that expands the balloon outside the frame of a frame in a displayed image.
即ち、本発明によれば、吹き出し内に台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別し、台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、台詞の翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に台詞の翻訳文を表示させるので、ユーザは、原文表示の場合と同じような感覚で吹き出し内の翻訳文を観察することができる。 That is, according to the present invention, it is determined whether or not the entire sentence of the dialogue translation sentence is included in the balloon in a preset character size, and if it is determined that the entire sentence translation sentence is included, When the entire sentence translation sentence is displayed and it is determined that the entire sentence translation sentence does not enter, the balloon is expanded and the dialogue translation is displayed in the expanded balloon. The translated text in the speech balloon can be observed with the same feeling as in the original text display.
本発明の一実施形態にて、前記電子コミック情報は、前記画像内の登場人物の存在領域を示す登場人物領域情報を含む登場人物情報を有し、前記翻訳文表示制御手段は、前記登場人物領域情報に基づいて前記登場人物の存在領域と重ならないように前記吹き出しを拡大させることを特徴とする。 In one embodiment of the present invention, the electronic comic information includes character information including character area information indicating a character existing area in the image, and the translated sentence display control means includes the character information The balloon is enlarged based on the area information so as not to overlap the existing area of the characters.
本発明の一実施形態にて、前記翻訳文表示制御手段は、前記電子コミック情報に基づいて前記吹き出し内の原文が縦書きであり前記翻訳文の所定の言語が横書きであることを検知、又は前記吹き出し内の原文が横書きであり前記翻訳文の所定の言語が縦書きであることを検知すると、前記吹き出しを横方向及び縦方向のうち前記翻訳文の所定の言語の方向のみに拡大させることを特徴とする。 In one embodiment of the present invention, the translated sentence display control unit detects that the original sentence in the balloon is vertically written and the predetermined language of the translated sentence is horizontally written based on the electronic comic information, or When it is detected that the original sentence in the balloon is horizontal writing and the predetermined language of the translated sentence is vertical writing, the balloon is expanded only in the predetermined language direction of the translated sentence in the horizontal direction and the vertical direction. It is characterized by.
本発明の一実施形態にて、前記吹き出し情報は、吹き出し口の位置情報を含み、前記翻訳文表示制御手段は、前記吹き出し口の位置情報に基づいて前記吹き出し口の位置が移動しないように前記吹き出しを拡大させることを特徴とする。 In one embodiment of the present invention, the balloon information includes position information of a balloon, and the translated sentence display control unit is configured to prevent the position of the balloon from moving based on the position information of the balloon. The balloon is enlarged.
本発明の一実施形態にて、前記吹き出し情報は、吹き出しの描線の種類を含み、前記翻訳文表示制御手段は、前記吹き出しの描線の種類に基づいて、同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なうことを特徴とする。 With an embodiment of the present invention, information out blow above, includes the type of balloon of the drawn lines, the translation display control means, based on the type of the balloon of the drawn line, balloon having the same type of drawn lines The balloon is enlarged so that
本発明の一実施形態にて、表示手段と、コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記翻訳文の全文が吹き出し内に入るように前記画像を拡大させるとともに、この拡大させた前記画像の吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、を備えたことを特徴とするビューワ装置を提供する。 In one embodiment of the present invention, display means, image for each page or frame of a comic, and balloon information including balloon area information indicating a presence area in the image of a balloon in which a speech of a comic character enters , Text information including a translated sentence obtained by translating the dialogue of the original sentence in each balloon into a predetermined language and associated with each balloon, and displaying the image on the screen of the display means by scroll reproduction or frame reproduction Information acquisition means for acquiring electronic comic information including display control information for causing image display, and image display control for displaying the image on the screen of the display means by scroll reproduction or frame reproduction based on the acquired display control information And a sentence in which the entire sentence of the translated sentence corresponding to the balloon is preset in a balloon in the image displayed on the screen of the means and the display means. A discriminating means for discriminating whether or not the size is entered, and displaying the translated sentence in place of the original text in the balloon in the image displayed on the screen based on the acquired balloon information and text information A translated sentence display control means for causing the entire sentence of the translated sentence to be displayed in the balloon when the determining means determines that the entire sentence of the translated sentence is included, and the determining means displays the entire sentence of the translated sentence. When it is determined that it does not enter, the translated sentence display control means for expanding the image so that the entire sentence of the translated sentence enters the balloon and displaying the translated sentence in the balloon of the enlarged image, A viewer apparatus characterized by comprising:
即ち、本発明によれば、吹き出し内に台詞の翻訳文の全文が予め設定された文字サイズで入るか否かを判別し、台詞の翻訳文の全文が入ると判別されると、吹き出し内に台詞の翻訳文の全文を表示させ、台詞の翻訳文の全文が入らないと判別されると、台詞の翻訳文の全文が吹き出し内に入るように画像を拡大させるとともに、この拡大させた画像の吹き出し内に台詞の翻訳文を表示させるので、ユーザは、原文表示の場合と同じような感覚で吹き出し内の翻訳文を観察することができる。 That is, according to the present invention, it is determined whether or not the entire sentence of the dialogue translation sentence is included in the balloon in a preset character size, and if it is determined that the entire sentence translation sentence is included, If the full text of the dialogue translation is displayed and it is determined that the full text of the dialogue translation does not enter, the image is enlarged so that the full text of the dialogue translation falls within the speech balloon, and the Since the translated sentence in the speech is displayed in the balloon, the user can observe the translated sentence in the balloon with the same feeling as in the original sentence display.
本発明の一実施形態にて、前記判別手段は、前記表示手段の画面サイズに応じて表示される吹き出し内に、この吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別することを特徴とする。 In one embodiment of the present invention, the determination unit determines whether or not the entire sentence of the translated sentence corresponding to the balloon is placed in a preset character size in a balloon displayed according to the screen size of the display unit. It is characterized by distinguishing.
本発明の一実施形態にて、前記テキスト情報は、文字サイズ及び文字種を示す文字属性情報を含み、前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成することを特徴とする。 In one embodiment of the present invention, the text information includes character attribute information indicating a character size and a character type, and the translated sentence display control unit is configured to display characters based on the text information and the character attribute information. Is generated.
本発明の一実施形態にて、前記文字サイズを変更させる文字サイズ変更手段を備えたことを特徴とする。 In one embodiment of the present invention, a character size changing means for changing the character size is provided.
本発明の一実施形態にて、前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中の吹き出し内に配置する前記翻訳文の行数、行間隔又は文字間隔を調整する機能を有し、前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別することを特徴とする。 In one embodiment of the present invention, the translated sentence display control unit adjusts the number of lines, the line interval, or the character interval of the translated sentence arranged in a balloon in an image displayed on the screen of the display unit. The discriminating means discriminates whether or not the entire sentence of the translated sentence when adjusted by the translated sentence display control means falls within the balloon.
また、本発明は、前記ビューワ装置の機能を含むユーザ端末と、前記ユーザ端末からの要求に応じて前記電子コミック情報を提供するサーバと、からなる閲覧システムを提供する。 Moreover, this invention provides the browsing system which consists of a user terminal including the function of the said viewer apparatus, and the server which provides the said electronic comic information according to the request | requirement from the said user terminal.
また、本発明は、前記ビューワ装置を実現させるビューワプログラムを提供する。 The present invention also provides a viewer program for realizing the viewer device.
また、本発明は、前記ビューワプログラムが記録された記録媒体を提供する。 The present invention also provides a recording medium on which the viewer program is recorded.
なお、スクロール再生は、いわゆるスクロールビューの再生を含む。スクロール再生では、ページ毎のコンテンツ画像を表示画面上で自動的に（あるいは操作により）スクロールして表示する。コマ再生は、いわゆるコマビューの再生を含む。コマ再生では、コマ毎のコンテンツ画像（ページ毎のコンテンツ画像からコマ単位で切り出された画像を含む）を表示画面上で自動的に（あるいは手動で）切替えて表示する。 The scroll reproduction includes so-called scroll view reproduction. In scroll playback, content images for each page are scrolled and displayed automatically (or by operation) on the display screen. Frame playback includes so-called frame view playback. In frame playback, content images for each frame (including images clipped from the content image for each page in units of frames) are automatically switched (or manually) on the display screen.
本発明によれば、電子コミックをユーザが閲覧する際に、著作者の権利を保護しつつ、ユーザが台詞の翻訳文を原文表示のときと同じような感覚で適切に観察できるようにすることができる。 According to the present invention, when a user views an electronic comic, the user can appropriately observe the translated sentence in the same manner as when displaying the original sentence while protecting the rights of the author. Can do.
以下、添付図面に従って、本発明の実施形態について、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
図１は本発明の好ましい実施形態に係る電子書籍閲覧システムの構成を示す。このシステムは、サーバ１と電子書籍ビューワ２とを含む。サーバ１は、特定の管理者の指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイス、記憶デバイスを備えたコンピュータ装置である。電子書籍ビューワ２は、画像を表示可能な表示デバイス、音を出力可能な音出力デバイス、ユーザの指示入力を受け付け可能な操作デバイス、各種情報の入力（取得）及び出力が可能な入出力デバイス、各種の演算処理及び制御を行なう制御デバイスを備えたユーザ端末である。電子書籍ビューワ２は、例えば、携帯電話、携帯型ゲーム機、携帯型コンピュータ装置などの携帯端末で構成される。なお、サーバ１にアクセスする電子書籍ビューワ２は不特定多数であってもよいものとする。
FIG. 1 shows a configuration of an electronic book browsing system according to a preferred embodiment of the present invention. This system includes a
サーバ１は、解析部１０、データベース（ＤＢ）１１、操作部１６、入出力部１７を備える。
The
ＤＢ１１は、電子コミック情報１２を記憶する。電子コミック情報の詳細は後述する。
The
解析部１０は、ＣＰＵなどの制御デバイスで構成される。ＤＢ１１は、ハードディスクやメモリなどの記憶デバイスで構成される。操作部１６は、キーボード、マウス、タッチパッドなどの操作デバイスで構成される。
The
電子コミック情報は、解析部１０から出力された解析結果、操作部１６から入力された情報、あるいは、入出力部１７を介して入力された情報を含む。
The electronic comic information includes the analysis result output from the
解析部１０は、オリジナルコンテンツから生成されたデジタルのコンテンツ画像（マンガ画像）を解析し、コンテンツ画像の付帯情報を生成する。
The
説明の簡略のため、オリジナルコンテンツはマンガ画像を含む書籍であり、配信されるコンテンツ画像はページ単位（又はコマ単位）の画像（実写、描画を問わない）であるものとする。また、コンテンツ画像は、図２（Ａ）〜（Ｄ）に示すような吹き出しと、吹き出し内の台詞を含んでいるものとする。ただし、吹き出し及び台詞の一方または両方がないページやコマがあってもよい。 For the sake of simplicity, it is assumed that the original content is a book including a manga image, and the content image to be distributed is a page-unit (or frame-unit) image (regardless of actual shooting or drawing). In addition, the content image includes a speech balloon as shown in FIGS. 2A to 2D and a dialogue within the speech balloon. However, there may be pages and frames that do not have one or both of speech balloons and dialogue.
図３は、ヘッダ、ページ単位（又はコマ単位）のコンテンツ画像、及びコンテンツ画像の付帯情報によって構成された電子コミック情報を示す。本例では、電子コミック情報を、ひとつのファイルで構成しているが、コンテンツ画像と付帯情報とを異なるファイルに分けて格納し、複数ファイルで構成してもよい。 FIG. 3 shows electronic comic information composed of a header, a page unit (or frame unit) content image, and supplementary information of the content image. In this example, the electronic comic information is composed of one file, but the content image and the incidental information may be stored separately in different files and may be composed of a plurality of files.
ヘッダは、ファイルの属性（ファイル名など）を示す。 The header indicates file attributes (file name, etc.).
コンテンツ画像は、ページ単位（又はコマ単位）のマンガの画像であり、ページ番号（又はコマ番号）に対応づけられている。コンテンツ画像は、例えば、スキャナなどでオリジナルコンテンツを電子データ化して作成される。オリジナルコンテンツは、マンガ書籍、新聞、週刊誌、オフィス文書（プレゼンテーション文書など）、教科書、参考書など、ページ単位で組まれている。コンテンツ画像の保存形式は任意であり、ＰＤＦファイルやＪＰＥＧ画像ファイルなどの形式で保存される。 The content image is a manga image in page units (or frame units) and is associated with page numbers (or frame numbers). The content image is created, for example, by converting the original content into electronic data using a scanner or the like. Original content is organized in units of pages such as manga books, newspapers, weekly magazines, office documents (such as presentation documents), textbooks, and reference books. The storage format of the content image is arbitrary, and is stored in a format such as a PDF file or a JPEG image file.
コンテンツ画像は、概略画像、詳細画像（高解像度データ）を含み、それぞれ、ページ、コマあるいはアンカーポイントごとに用意される。拡大許可領域を示す情報が付加されていてもよい。 The content image includes a schematic image and a detailed image (high resolution data), and is prepared for each page, frame, or anchor point. Information indicating the enlargement permission area may be added.
付帯情報は、図３に示すように、検索情報、吹き出し情報、テキスト情報、登場人物の情報、表示制御情報、自動読み上げの属性情報、再生エフェクト情報、その他の情報によって構成されている。 As shown in FIG. 3, the supplementary information includes search information, speech balloon information, text information, character information, display control information, automatic reading attribute information, reproduction effect information, and other information.
検索情報は、検索に用いるタグ情報である。例えば、ページ番号（ページ識別情報）、コマ番号（コマ識別情報）、エピソード番号（エピソード識別情報、例えば第何話であるかを示す）、タイトル、作者、出版社（版権者）などの情報を含んでいてもよい。 The search information is tag information used for search. For example, information such as a page number (page identification information), a frame number (frame identification information), an episode number (episode identification information, for example, indicating what episode it is), title, author, publisher (copyright owner), etc. May be included.
吹き出し情報は、ページ単位（又はコマ単位）のコンテンツ画像中の吹き出しに関する情報である。例えば、吹き出しのコンテンツ画像内での存在領域を示す吹き出し領域情報、吹き出しの形状、吹き出しの基点（吹き出し口）の位置と向き、吹き出しの描線の種類（点線、実線など）、コンテンツ画像の要素（話者など）と吹き出しの基点との相対的位置関係（例えば吹き出しの口と吹き出しの口が指し示す話者の顔との位置関係及び間隔）、吹き出しのサイズ、吹き出しの話者の識別情報、吹き出しの属するコマなどである。吹き出し領域情報は、例えば、吹き出しの描線（枠線）のコンテンツ画像内での位置を示す情報（例えば描線上の吹き出し形状に対応する複数点の位置情報、あるいは描線全体のベクトル情報）である。吹き出し領域情報は、吹き出しの全領域（範囲）を示すビットマップ情報でもよい。また、吹き出しの代表位置（例えば中心位置）と吹き出しのサイズによって吹き出し領域情報を表してもよい。例えば、図２（Ａ）〜（Ｄ）のような４つの吹き出し種類があれば、その各々に対応する識別情報Ａ〜Ｄを吹き出しの描線の種類として記憶する。 The balloon information is information related to a balloon in a content image in page units (or frame units). For example, balloon area information indicating the presence area in the content image of the speech balloon, the shape of the speech balloon, the position and orientation of the base point (balloon) of the speech balloon, the type of stroke line drawn (dotted line, solid line, etc.), the content image elements ( Relative position (for example, positional relationship and interval between the mouth of the speech balloon and the speaker's face indicated by the speech balloon mouth), the size of the speech balloon, the identification information of the speaker of the speech balloon, the speech balloon The frame to which the belongs. The balloon area information is, for example, information indicating the position of the balloon drawing line (frame line) in the content image (for example, position information of a plurality of points corresponding to the balloon shape on the drawing line, or vector information of the entire drawing line). The balloon area information may be bitmap information indicating the entire area (range) of the balloon. The balloon area information may be represented by the representative position (for example, the center position) of the balloon and the size of the balloon. For example, if there are four types of balloons as shown in FIGS. 2A to 2D, the identification information A to D corresponding to each type is stored as the type of strokes drawn.
テキスト情報は、コンテンツ画像内のテキストに関する情報である。例えば、各コマおよび各吹き出しに対応する、テキスト（文章）、文字属性情報、行数、行間隔、文字間隔、表示切り替え方法、使用言語、縦書き／横書き、読み方向の区別などである。文字属性情報には、文字サイズ（ポイント数など）、文字種別（フォント、強調文字など）がある。テキスト情報には、吹き出し内の話者の台詞が含まれる。また、吹き出し内に配置された原文の台詞に対応する各種言語の翻訳文とその使用言語（２以上の言語の翻訳文でもよい）も、このテキスト情報に含まれうる。また、吹き出し外に配置されたテキスト（ナレーション、擬音を示す文字列など）やその翻訳文とそのテキストの属性（文字サイズ、フォント、文字装飾など）と、それらの音声読み上げ属性（ボリューム、スピード、繰り返し回数、開始／停止タイミングなど）も、このテキスト情報に含まれうる。表示切り替え方法には、スクロールスピード、スクロール方向、スクロールの開始、終了、一時停止、繰り返しの方法などのスクロール制御情報（スクロール方法）を含みうる。 The text information is information related to the text in the content image. For example, text (sentence), character attribute information, number of lines, line spacing, character spacing, display switching method, language used, vertical writing / horizontal writing, and reading direction corresponding to each frame and each balloon. The character attribute information includes a character size (number of points, etc.) and a character type (font, emphasized character, etc.). The text information includes the speech of the speaker in the speech balloon. In addition, translated texts of various languages corresponding to the lines of the original text arranged in the balloon and the language used (translated sentences of two or more languages) may be included in this text information. In addition, text placed outside the speech balloon (narration, strings indicating onomatopoeia), translated text and attributes of the text (character size, font, character decoration, etc.), and their voice reading attributes (volume, speed, The number of repetitions, start / stop timing, etc.) can also be included in this text information. The display switching method may include scroll control information (scroll method) such as scroll speed, scroll direction, scroll start, stop, pause, and repeat method.
登場人物の情報は、吹き出しの台詞の話者に関する情報である。例えば、登場人物（「話者」ともいう）のコンテンツ画像（概略画像および詳細画像）内での存在領域を示す話者領域情報（顔領域情報など）、話者の識別情報（名称など）、話者の属性（性別、年齢など）。なお、本明細書中の「登場人物」（話者）とは、吹き出しのセリフ（台詞）の発生源を意味し、人間だけでなく、動物、電話、パソコン、電子機器、ロボットなどの非生物が発するセリフも含む。 The character information is information about the speaker of the speech in the speech balloon. For example, speaker area information (such as face area information) indicating an existing area in a content image (schematic image and detailed image) of a character (also referred to as “speaker”), speaker identification information (such as a name), Speaker attributes (gender, age, etc.). “Character” (speaker) in this specification means the source of speech balloons, not only human beings but also non-living animals such as animals, telephones, personal computers, electronic devices, robots, etc. Including the lines from
表示制御情報は、ページ単位又はコマ単位のコンテンツ画像の表示制御に関する情報である。この情報は、画面スクロールおよび／または画面切り替えを含む。画面スクロールの情報は、詳細情報として、スクロールスピード、スクロール方向、スクロール順、スクロールの開始、終了、一時停止、繰り返しの方法などを含みうる。画面切り替えの情報は、詳細情報として、切り替え単位（コマなど）、切り替えタイミングの決定方法（手動、自動、半自動）、切り替えに付随する表示効果（ワイプ、フェードイン／フェードアウト、ディゾルブ）などを含みうる。 The display control information is information related to display control of content images in units of pages or frames. This information includes screen scrolling and / or screen switching. The screen scroll information may include, as detailed information, scroll speed, scroll direction, scroll order, scroll start, end, pause, repeat method, and the like. The screen switching information may include, as detailed information, switching units (such as frames), switching timing determination methods (manual, automatic, semi-automatic), display effects associated with switching (wipe, fade-in / fade-out, dissolve), and the like. .
自動読み上げの属性情報は、例えば、読み上げ速度、音量、話者の感情などである。 The attribute information for automatic reading includes, for example, reading speed, volume, speaker's emotion, and the like.
表示制御情報は再生シナリオを含む。再生シナリオは、コンテンツ画像の部分的な表示領域の単位となる詳細画像の拡大率、前のアンカーポイントに対応する詳細画像から次のアンカーポイントに対応する詳細画像への表示切り替えの速度および表示切り替え方法（スクロール、フェードアウト／フェードインなど）、各アンカーポイントまたは各コマでの視線の停止時間すなわち各アンカーポイントに対応する詳細画像の表示時間の長さである滞在時間、コンテンツ内の概観画像および詳細画像の位置づけ（ページ、セクション）、アンカーポイントの遷移順、見出し情報などを含む。アンカーポイントは、１ページごとの画像の部分領域（典型的にはコマかコマの一部）の視線の止まる位置（アイストップ）である。 The display control information includes a playback scenario. The playback scenario consists of the magnification rate of the detailed image, which is the unit of the partial display area of the content image, the display switching speed from the detailed image corresponding to the previous anchor point to the detailed image corresponding to the next anchor point, and the display switching. Method (scrolling, fade-out / fade-in, etc.), gaze stop time at each anchor point or frame, that is, duration of display of detailed image corresponding to each anchor point, overview image in content and details Image positioning (page, section), transition order of anchor points, heading information, and the like are included. The anchor point is a position (ice top) where the line of sight stops in a partial area (typically a frame or a part of a frame) for each page.
再生シナリオは、各アンカーポイントに対応する詳細画像のテキスト量に適合するような滞在時間を含む。各アンカーポイント周辺での詳細画像のテキスト量が大きければそれだけ一画面内の情報量が多くなるので、その分再生シナリオでは滞在時間が長く設定されている。 The playback scenario includes a dwell time that matches the text amount of the detailed image corresponding to each anchor point. Since the amount of information in one screen increases as the amount of text in the detailed image around each anchor point increases, the stay time is set longer in the playback scenario.
あるいは、各アンカーポイントでの詳細画像の拡大率をサーバ１にアクセスしてきた電子書籍ビューワ２か、機種ごとの画面サイズに適合するような機種ごとの滞在時間を再生シナリオに設定する。
Alternatively, the
あるいは、アンカーポイント間の表示切り替えの速度を再生シナリオに設定する。この速度は、再生状態情報として取得した、サーバ１にアクセスしてきた電子書籍ビューワ２のユーザに対応する過去の閲覧のスピードから決定してもよいし、同一の再生コンテンツを再生した複数の電子書籍ビューワ２から再生状態情報として取得した過去の閲覧のスピードを所定の算術式（平均など）に適用することで決定してもよい。
Alternatively, the display switching speed between anchor points is set in the playback scenario. This speed may be determined from the past browsing speed corresponding to the user of the
表示切り替え方法は、電子書籍ビューワ２のユーザによる操作部２７への指示に応じて決定されてもよいし、所定のデフォルトの切り替え方法としてもよいし、コンテンツ解析情報に基づいて設定されてもよい。例えば、あるコマａのコンテンツ内のキャラクタの視線方向の移動先がアンカーポイントの移動方向の先であるコマｂと一致するならば、コマａからコマｂへの表示切り替え方法をスクロールに設定する。
The display switching method may be determined according to an instruction from the user of the
また、表示制御情報には、ページ画像内のコマの存在領域を示すコマ領域情報が含まれる。 In addition, the display control information includes frame area information indicating the existence area of the frames in the page image.
読み上げ音声に関する情報は、例えば、読み上げ音声の内容、開始タイミング／終了タイミング、読み上げスピード、読み上げ音声ボリューム、読み上げ話者属性（性別、年齢など）である。読み上げ音声の内容は、録音音声でもよいし、人工音声でもよい。読み上げ音声の内容が人工音声の場合は、これを吹き出しおよび／または付随音声の内容と共通化できる。 The information related to the reading voice includes, for example, the contents of the reading voice, the start timing / end timing, the reading speed, the reading voice volume, and the reading speaker attributes (gender, age, etc.). The content of the read-out voice may be a recorded voice or an artificial voice. When the content of the reading voice is an artificial voice, it can be shared with the contents of the speech balloon and / or the accompanying voice.
また、付随音声に関する情報が含まれる。例えば、擬音や効果音の内容（原文および翻訳文のテキスト情報）、出現回数、出現コマ、ボリューム、開始タイミング／終了タイミング、スピード、音量、擬音は解析部１０によりコンテンツ画像から取得されたものでもよいし入出力部１７などから入力されたものでもよい。例えば、吹き出しに入っていない文字情報が擬音の内容となる。擬音に対応する各種言語の翻訳文も、この情報に含まれうる。
Moreover, the information regarding an accompanying audio | voice is contained. For example, the content of the onomatopoeia and sound effects (text information of the original text and the translated text), the number of appearances, the appearance frame, the volume, the start timing / end timing, the speed, the volume, and the onomatopoeia may be acquired from the content image by the
再生エフェクト情報は、再生エフェクトに関する情報である。例えば、端末振動、画面を揺らす、画面フラッシュ、画面切り替えといったエフェクトの種類と開始タイミングである。 The reproduction effect information is information regarding the reproduction effect. For example, the types of effects such as terminal vibration, screen shaking, screen flash, screen switching, and start timing.
その他の情報には、ページめくりに関する情報（たとえば、左開き／右開き）、改行方向（縦書きの場合）などのページ情報が含まれる。また、その他の情報には、ページ余白の領域とその領域に配置する広告データが含まれる。また、その他の情報には、変更可否情報が含まれる。変更可否情報は、レイアウト変更の可否など、オリジナルコンテンツからの改変の可否を示す設定情報である。例えば、翻訳文表示、吹き出し拡大、吹き出し形状変更、画像変更、台詞や擬音の音声読み上げ、ページ全体の左右反転などの可否を示す。なお、改変項目ごとに独立に改変の可否を設定可能である。例えば、翻訳文表示は許可するが、ページ全体の左右反転は禁止するといった設定が可能である。スクロール再生（スクロールビュー）は許可するが、コマ再生（コマビュー）は禁止するといった設定も可能である。 Other information includes page information such as information about page turning (for example, left / right opening), line feed direction (for vertical writing), and the like. Further, the other information includes a page margin area and advertisement data arranged in the area. The other information includes change permission / inhibition information. The change permission / inhibition information is setting information indicating whether or not the original content can be modified, such as layout change permission / inhibition. For example, it indicates whether or not translation display, balloon expansion, balloon shape change, image change, speech reading of dialogue and onomatopoeia, and horizontal reversal of the entire page. It is possible to set whether or not modification can be performed independently for each modification item. For example, it is possible to set to permit the display of the translated text but to prohibit the horizontal flipping of the entire page. Settings such as allowing scroll playback (scroll view) but prohibiting frame playback (frame view) are also possible.
サーバ１の解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。その解析の結果得られた付帯情報は、コンテンツ画像とともに、電子コミック情報となる。電子コミック情報は、ページ単位又はコマ単位でもよいし、エピソード単位でもよい。解析部１０によるコンテンツ画像の解析のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出してもよい。コンテンツ画像の要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の形状のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
The
また、ＯＣＲ（光学文字読取）により、吹き出し内の台詞（原文）を認識し、それを囲む領域を吹き出しの領域と認識してもよい。読み出された台詞の各文字は、文字の向きに応じてソートされる。例えば、台詞が縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。 In addition, the dialogue (original text) in the balloon may be recognized by OCR (optical character reading), and the area surrounding it may be recognized as the balloon area. Each character of the read dialogue is sorted according to the direction of the character. For example, if the dialogue is written vertically, it is sorted from the beginning to the end of the column, and from the right column to the left column.
コマ番号または台詞番号は、所定のルールに従って決定される。例えば、コンテンツ解析結果の情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号または台詞番号が決定される。 The frame number or dialogue number is determined according to a predetermined rule. For example, the representative point of each frame or balloon (such as the center or the center of gravity of the frame or balloon) is sequentially scanned in the horizontal direction from the top right to the bottom left of the frame or balloon included in the content analysis result information. Thus, the page number or dialogue number is determined.
各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを基点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。 The representative point of each frame is a position (anchor point) where the line of sight of the content element for each page stops, and the display unit of the content is switched by scrolling or switching based on the anchor point.
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号または台詞番号が決定されることもできる。 Or although illustration is abbreviate | omitted, a page number or a dialogue number can also be determined according to the rule according to the author of content.
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。 Alternatively, the content analysis rule may be not only a rule according to the author or type of content but also a rule according to the author or type of content learned by artificial intelligence.
ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
Rule learning is performed as follows, for example. First, correct rules are prepared in advance for each of a plurality of basic patterns. The
解析部１０は、ＤＢ１１に蓄積されたコンテンツ画像を解析する。解析の結果取得できた情報は、付帯情報となる。
The
電子コミック情報には解析部１０のページ解析結果に関する情報が含まれる。解析部１０によるページ情報の解析および取得のためには、公知の画像解析技術、テキスト解析技術が使用される。例えば、顔、動物、建築物、自動車その他の物体のコンテンツの要素の位置、サイズ、種類は、それらの画像情報に関する特徴量に基づき自動検出されてもよい。コンテンツの要素の自動検出はマシンラーニングに基づいて行われてもよい。例えば、学習用のサンプルマンガに基づき、コマや吹き出しの外縁の検出確度、矩形以外の領域のコマや吹き出しとしての妥当性の判断閾値などを経験的に設定する。
The electronic comic information includes information about the page analysis result of the
あるいは、ＯＣＲにより、吹き出し内部のテキスト文章（セリフ）を認識し、それを囲む領域をセリフ領域と認識してもよい。読み出されたセリフの各文字は、文字の向きに応じてソートされる。例えば、セリフが縦書きなら列の先頭から最後尾にかけてソートされ、かつ右の列から左の列にかけてソートされる。 Alternatively, the text sentence (serif) inside the balloon may be recognized by OCR, and the area surrounding it may be recognized as a serif area. Each character of the read line is sorted according to the direction of the character. For example, if the words are written vertically, they are sorted from the beginning to the end of the column, and from the right column to the left column.
コマ番号またはセリフ番号は、所定のルールに従って決定される。例えば、コンテンツの種類がマンガの場合、コンテンツ解析情報に含まれるコマまたは吹き出しの位置が最も右上のものから最も左下のものにかけて各コマまたは吹き出しの代表点（コマまたは吹き出しの中心や重心など）を順次水平方向に走査することでページ番号またはセリフ番号が決定される。 The frame number or the serif number is determined according to a predetermined rule. For example, if the content type is manga, the representative point of each frame or balloon (such as the center or center of gravity of the frame or balloon) from the top right to the bottom left of the frame or balloon included in the content analysis information The page number or serif number is determined by sequentially scanning in the horizontal direction.
各コマの代表点は、１ページごとのコンテンツの要素の視線の止まる位置（アンカーポイント）となり、そのアンカーポイントを基点に、コンテンツの表示単位がスクロールや切り替えによって切り替わる。 The representative point of each frame is a position (anchor point) where the line of sight of the content element for each page stops, and the display unit of the content is switched by scrolling or switching based on the anchor point.
あるいは、図示は省略するが、コンテンツの作者に応じたルールに従ってページ番号またはセリフ番号が決定されることもできる。 Or although illustration is abbreviate | omitted, a page number or a serif number can also be determined according to the rule according to the author of content.
あるいは、コンテンツ解析ルールは、コンテンツの作者や種類に応じた規定のルールだけでなく、人工知能により学習されたコンテンツの作者や種類に応じたルールでもよい。 Alternatively, the content analysis rule may be not only a rule according to the author or type of content but also a rule according to the author or type of content learned by artificial intelligence.
ルール学習は、例えば次のように行なう。まず、複数の基本パターンについてそれぞれ正解ルールを予め用意しておく。解析部１０は、複数の基本パターンについてそれぞれ特徴量（コマ境界線の太さや長さなど）を抽出する。そして解析部１０は、抽出された特徴量から、コンテンツ作成者の想定しているコマの読み進み順を推定する。解析部１０は、基本パターンごとに推定した読み進み順と正解ルールとを比較して、コマの読み進み順を推定するパラメータを最適化する。解析部１０は、この最適化されたパラメータに従ってマンガのコマの読み順を推定する。
Rule learning is performed as follows, for example. First, correct rules are prepared in advance for each of a plurality of basic patterns. The
説明の簡略のため、オリジナルコンテンツはマンガであり、オリジナルコンテンツ画像は、マンガの各ページに対応する画像であるとする。マンガとは、絵（実写、描画を問わない）とセリフの双方からなるコンテンツである。 For simplicity of explanation, it is assumed that the original content is a manga and the original content image is an image corresponding to each page of the manga. Manga is content that consists of both pictures (whether live-action or drawing) and lines.
次に、電子書籍ビューワ２について説明する。
Next, the
電子書籍ビューワ２は、図１に示すように、データベース（ＤＢ）２１、表示部２４、表示制御部２５、音声再生部２６、操作部２７、入出力部２９、実行制御部３０を備える。
As shown in FIG. 1, the
ＤＢ２１は、電子コミック情報などの各種情報を格納する。電子コミック情報は、前述のように、コミックのページ毎又はコマ毎のコンテンツ画像と、コミックの登場人物の台詞が入る吹き出しのコンテンツ画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面にコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む。
The
表示部２４は、画像を表示可能な表示デバイスで構成される表示手段である。表示部２４は、例えばＬＣＤにより構成される。
The
表示制御部２５は、画像表示制御手段として、付帯情報内の表示制御情報に基づいて、コンテンツ画像を表示部２４の画面にスクロール再生（又はコマ再生）で表示させる。
The
また、表示制御部２５は、翻訳文表示制御手段として、付帯情報内の吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内の原文の台詞に替えて、その吹き出し内に翻訳文を表示させる。表示制御部２５は、具体的には、付帯情報のテキスト情報と文字属性情報とに基づいて、表示用の文字を生成する。本例では、吹き出し内に原文の台詞が表示されている場合、その原文の台詞の替わりに翻訳文を表示する。
In addition, the
音声再生部２６及びスピーカ２８は、自動読み上げ手段として、付帯情報のテキスト情報及び自動読み上げ属性情報に基づいて、コンテンツ画像内のテキストを読み上げる。
The
操作部２７は、ユーザの指示入力を受け付ける。操作部２７は、表示部２４の画面上に配置したタッチセンサでもよいし、キー入力デバイス、ポインティングデバイスでもよい。
The
入出力部２９は、各種情報の入出力を行なう。本例の入出力部２９は、サーバ１と通信する通信デバイスで構成されており、サーバ１に電子コミック情報要求を送信して、サーバ１から電子コミック情報を受信することで、電子コミック情報を取得する。入出力部２９は、本例のような通信手段には特に限定されず、コンピュータ読み取り可能な記録媒体に対する書き込み・読み出しを行なう手段であってもよい。
The input /
実行制御部３０は、判別手段として、表示部２４の画面に表示される画像中の吹き出し内に、この吹き出しに対応する翻訳文の全文が入るか否かを判別する。実行制御部３０は、具体的には、ＤＢ２１に予め記憶された画面サイズ情報と、付帯情報の吹き出し情報及びテキスト情報とに基づいて、表示部２４の画面サイズに応じて表示される吹き出し内に、翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。
The
なお、表示部２４に表示される文字のサイズは、操作部２７の操作により、変更させることが可能である。
The size of characters displayed on the
表示制御部２５は、実行制御部３０により吹き出し内に翻訳文の全文が入ると判別されると、吹き出し内に翻訳文の全文を表示させ、実行制御部３０により前記翻訳文の全文が入らないと判別されると、吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる。
When the
また、表示制御部２５は、表示部２４の画面に表示される画像中の吹き出し内に配置する翻訳文の行数、行間隔又は文字間隔を調整する機能を有する。実行制御部３０は、表示制御部２５により調整される場合の翻訳文の全文が、吹き出し内に入るか否かを判別する。
In addition, the
また、表示制御部２５は、付帯情報内の登場人物の領域情報に基づいて登場人物の存在領域と重ならないように前記吹き出しを拡大させる。
Further, the
また、表示制御部２５は、表示制御部２５は、付帯情報で示された吹き出しの描線の種類に基づいて、同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なう。
In addition, the
サーバ１のＤＢ１１の情報と電子書籍ビューワ２のＤＢ２１の情報は完全に同じである必要はない。ＤＢ１１は、様々なユーザからの要求に応えるため、様々な種類のコンテンツ画像、例えば、異なる作者のマンガの各巻の画像を格納するライブラリである。ＤＢ２１には、電子書籍ビューワ２のユーザが閲覧したい電子コミック情報のみが格納されていれば足りる。
The information in the
図４はサーバ１と電子書籍ビューワ２との間で実行される配信処理のフローチャートをである。Ｓ１・Ｓ４は電子書籍ビューワ２が実行し、Ｓ２・Ｓ３はサーバ１が実行する。この処理をサーバ１および電子書籍ビューワ２にそれぞれ実行させるプログラムは、サーバ１および電子書籍ビューワ２にそれぞれ備えられたコンピュータ読み取り可能な記憶媒体（ＲＡＭ、ＲＯＭ、ＣＤＲＯＭなど）に記憶されている。
FIG. 4 is a flowchart of distribution processing executed between the
Ｓ１では、電子書籍ビューワ２は、入出力部２９を介して、コンテンツ要求をサーバ１に送信する。
In S <b> 1, the
Ｓ２では、サーバ１は、コンテンツ要求を待機しており、入出力部１７を介して電子書籍ビューワ２からコンテンツ要求を受信すると、Ｓ３に進む。
In S2, the
Ｓ３では、サーバ１は、ＤＢ１１に記憶されている電子コミック情報１２をコンテンツとして、入出力部１７を介して電子書籍ビューワ２に送信する。なお、電子コミック情報１２の送信は、ページ単位あるいはコマ単位で行われてもよい。
In S <b> 3, the
Ｓ４では、電子書籍ビューワ２は、入出力部１７を介して、電子コミック情報１２を受信し、ＤＢ２１に格納する。
In S <b> 4, the
本例では、電子書籍ビューワ２が、電子コミック情報１２を通信で取得する場合を例に説明したが、電子コミック情報の取得態様は特に限定されない。例えば、メモリカードなどの記録媒体から電子コミック情報を読み込むようにしてもよい。
In this example, the case where the
電子コミック情報を取得した電子書籍ビューワ２は、後述の表示処理に進む。
The
図５は電子書籍ビューワ２の実行するスクロールビューの表示処理のフローチャートを示す。図６は電子書籍ビューワ２の実行するコマビューの表示処理のフローチャートを示す。図５または図６のいずれかの処理は、操作部２７からの選択に従って実行される。
FIG. 5 shows a flowchart of scroll view display processing executed by the
図５を参照すると、Ｓ１０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、指定されたコンテンツ画像のページの最初の順のアンカーポイントをカレントアンカーポイントに設定する。
Referring to FIG. 5, in S <b> 10, the
Ｓ１１では、表示制御部２５は、当該ページ全体のコンテンツ画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これをカレント画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出してカレント画像とすることもできる。
In S11, the
Ｓ１２では、表示制御部２５は、詳細画像を表示部２４に表示する。
In S <b> 12, the
Ｓ１３では、表示制御部２５は、付帯情報に基づき、カレントアンカーポイントに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ１４に進み、Ｎｏの場合はＳ１２に戻る。
In S13, the
Ｓ１４では、表示制御部２５は、カレントアンカーポイントが当該ページの最後のアンカーポイントであるか否かを判断する。Ｙｅｓの場合はＳ２１に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ１０以降を繰り返す。Ｎｏの場合はＳ１５に進む。
In S14, the
Ｓ１５では、表示制御部２５は、カレントアンカーポイントの次の順のアンカーポイントを、新たにカレントアンカーポイントに設定する。
In S15, the
Ｓ１６・Ｓ１７では、表示制御部２５は、当該ページ全体の画像からカレントアンカーポイントを基準にして、表示用の画像を切り出し、これを次の詳細画像とする。画像を切り出す代わりに、電子コミック情報２２の詳細画像を用いることもできる。
In S16 and S17, the
Ｓ１８では、表示制御部２５は、現在表示されている詳細画像から次の詳細画像に向けて、コンテンツ画像を所定の増分ずつ（例えば１ドットずつ）スクロールしつつ表示する。
In S <b> 18, the
Ｓ１９では、コンテンツ表示制御部２５は、コンテンツ画像のスクロール表示が次の詳細画像に到達したか否かを判断する。Ｙｅｓの場合はＳ１２に戻り、次の詳細画像を表示する。Ｎｏの場合はＳ１６に戻り、スクロールを継続する。
In S19, the content
図６を参照すると、Ｓ３１では、表示制御部２５は、指定されたページのコンテンツ画像のコマ順序を基準にして、最初のコマをカレントコマとする。
Referring to FIG. 6, in S31, the
Ｓ３２では、表示制御部２５は、カレントコマに対応する部分画像をコンテンツ画像から切り出し、これをカレントコマ画像とする。画像を切り出す代わりに、電子コミック情報２２から詳細画像を読み出して用いることもできる。
In S32, the
Ｓ３３では、表示制御部２５は、カレントコマ画像を表示部２４に表示する。
In S <b> 33, the
Ｓ３４では、表示制御部２５は、電子コミック情報２２の付帯情報に基づき、カレントコマに対応する滞在時間が経過したか否かを判断する。Ｙｅｓの場合はＳ３５に進み、Ｎｏの場合はＳ３３に戻る。
In S <b> 34, the
Ｓ３５では、表示制御部２５は、カレントコマは、当該ページの最後のコマであるか否かを判断する。Ｙｅｓの場合はＳ３６に進み、当該ページの表示を終了する。そして、次のページについて、Ｓ３１以降を繰り返す。Ｎｏの場合はＳ３７に進む。
In S35, the
Ｓ３７では、表示制御部２５は、カレントコマの次の順のコマを、新たにカレントコマに設定する。そして、Ｓ３２に戻り、カレントコマに対応する部分画像を切り出すか、詳細画像を読み出し、これをカレントコマ画像とする。それ以降の処理は上記と同様である。
In S <b> 37, the
図７は、電子書籍ビューワ２にて実行されるコンテンツ画像の表示処理（図５のＳ１２及び図６のＳ３３）の一例を示すフローチャートである。本処理は、電子書籍ビューワ２の制御デバイス（実行制御部３０）によって、ビューワプログラムに従って実行される。図８は、サーバ１から配信されたコンテンツ画像であって、吹き出し内に原文の台詞が入っているコンテンツ画像を示す。
FIG. 7 is a flowchart illustrating an example of content image display processing (S12 in FIG. 5 and S33 in FIG. 6) executed in the
ステップＳ４０では、表示制御部２５は、ＤＢ２１の電子コミック情報２２に基づき、画像の表示処理を開始する。コンテンツ画像は、操作部２７に入力される画像送り指示に従って切り替わりうる。コンテンツ画像の切り替わる単位は、ページ（あるいはコマ）である。また、切り替わる順序は、ページ番号（あるいはコマ番号）に従う。ただし、ユーザがページ（あるいはコマ）の読みとばしなどの不規則な閲覧を希望する場合もあるため、この順序を無視したコンテンツ画像の切り替わり操作が許容されてもよい。
In step S40, the
ステップＳ４２では、表示制御部２５は、コンテンツ画像内に埋め込まれている原文のまま台詞を表示する原文表示を行なうか、コンテンツ画像の付帯情報に含まれる翻訳文を表示する翻訳文表示を行なうかを判定する。原文表示の場合にはステップＳ５２に進み、翻訳文表示の場合にはステップＳ４４に進む。
In step S42, the
例えば、操作部２７により、原文表示を行なうか翻訳文表示を行なうかの選択指示を受け付けうる。本例では、原文表示をデフォルトとし、翻訳文表示が選択指示された場合のみ翻訳文表示を行なう。
For example, the
ステップＳ４４では、表示制御部２５は、付帯情報の吹き出し情報とテキスト情報とＤＢ２１に記憶されている画面サイズ情報とに基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出しの領域内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別する。Ｙｅｓ（吹き出しの領域内に翻訳文の全文が入る場合）であればステップＳ４６に進み、Ｎｏ（吹き出しの領域内に翻訳文の全文が入らない場合）であればステップＳ４８に進む。
In step S44, the
例えば、台詞の翻訳文が横書きである場合には、その翻訳文の横方向の各行ごとに、吹き出しの横方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。台詞の翻訳文が縦書きである場合には、その翻訳文の縦方向の各行ごとに、吹き出しの縦方向の表示サイズと翻訳文１行の表示サイズとを比較して、翻訳文１行の表示サイズの方が大きい場合には、吹き出し内に翻訳文の全文が入らないため、吹き出しを拡大する必要があると判定する。 For example, if the translated sentence of a line is written horizontally, the horizontal display size of the balloon is compared with the display size of one translated sentence for each horizontal line of the translated sentence, and one translated sentence line is compared. If the display size of is larger, the entire sentence of the translated sentence does not enter the balloon, so it is determined that the balloon needs to be enlarged. If the translated sentence of the dialogue is written vertically, the vertical display size of the balloon is compared with the display size of one translated sentence for each vertical line of the translated sentence, When the display size is larger, it is determined that the balloon needs to be enlarged because the entire sentence of the translated sentence does not enter the balloon.
吹き出しの領域内に翻訳文の全文が入ると判別された場合、ステップＳ４６にて、表示制御部２５は、吹き出しを拡大させることなく、コンテンツ画像の吹き出しの領域内に、翻訳文の全文を合成する。
If it is determined that the entire sentence of the translated sentence is in the balloon area, the
吹き出しの領域内に翻訳文の全文が入らないと判別された場合、ステップ４８にて、表示制御部２５は、コミック画像の吹き出しを拡大させるとともに、ステップＳ５０にて、表示制御部２５は、その拡大させた吹き出しの領域内に、翻訳文を合成する。
If it is determined that the entire translated sentence does not fall within the balloon area, the
ステップＳ５２にて、表示制御部２５は、コンテンツ画像内の全ての吹き出しの翻訳文合成が終了したか否かを判定する。
In step S <b> 52, the
ステップＳ５４では、表示制御部２５は、コンテンツ画像を表示部２４に表示させる。原文表示（翻訳文非表示）の場合、例えば図８に示すコンテンツ画像が表示部２４の画面に表示される。翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入ると判別されていれば、図９中の左側の吹き出し内に示すように、吹き出しを拡大することなく、翻訳文の全文（”You’re great. Ritsuko.）を吹き出し内に一度に表示させる。また、翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入らないと判別されていれば、図９中の右側の吹き出し内に示すように、吹き出しを拡大して、翻訳文の全文（"An assistant has been ready for this situation.”）を表示させる。
In step S54, the
以上のように本実施形態では、コンテンツ画像（ページ毎のページ画像又はコマ毎のコマ画像）と、そのコンテンツ画像内の吹き出しの領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを有する電子コミックを取得し（Ｓ４）、取得された表示制御情報に基づいて表示部２４の画面上でコンテンツ画像をスクロール再生又はコマ再生で表示させる表示処理では、少なくとも吹き出し情報及びテキスト情報に基づいて、表示部２４の画面に表示されるコンテンツ画像中の吹き出し内に、その吹き出しに対応する翻訳文の全文が予め設定された文字サイズで入るか否かを判別し（Ｓ４４）、翻訳文の全文が入ると判別された場合には、コンテンツ画像中の吹き出し内の原文の台詞に替えて翻訳文の全文を吹き出し内に合成して表示させ（Ｓ４６及びＳ５４）、翻訳文の全文が入らないと判別された場合には、吹き出しを拡大させるとともに（Ｓ４８）、この拡大させた吹き出し内に翻訳文の全文を合成して表示させる（Ｓ５０及びＳ５４）。
As described above, in the present embodiment, the content image (page image for each page or frame image for each frame), balloon information including balloon area information indicating the balloon area in the content image, and the original text in each balloon Control for displaying text information including translated text obtained by translating the dialogue of the text into a predetermined language and associated with each balloon, and a content image on the screen of the
したがって、吹き出しからはみ出てしまうような長い翻訳文であっても、吹き出しが拡大され、この拡大された吹き出し内に翻訳文の全文を表示し、ユーザに閲覧させることができる。 Therefore, even for a long translated sentence that protrudes from the balloon, the balloon is enlarged, and the entire sentence of the translated sentence can be displayed in the enlarged balloon and viewed by the user.
吹き出し拡大の態様には各種ある。 There are various types of balloon expansion.
図９では、表示制御部２５により、吹き出しの代表点（例えば中心点）を基準にして、吹き出しを周囲に拡大した場合を示している。吹き出しは登場人物の存在領域に重ならないように拡大することが、好ましい。本例では、吹き出しを、その吹き出しの描線の外側に等間隔で拡大している。
FIG. 9 shows a case where the
図１０は、表示制御部２５により、付帯情報内の吹き出し口の位置情報（例えば吹き出しの基点の位置）に基づいて、吹き出し口の位置が移動しないように、吹き出しを拡大させた場合を示している。図１０には、翻訳文が横書きである場合に吹き出しを横方向に伸ばして拡大させた場合を示したが、表示制御部２５は、翻訳文が縦書きである場合、吹き出しを縦方向に伸ばすように拡大させる。
FIG. 10 shows a case where the balloon is expanded by the
また、本例では、三角形の吹き出し口を示したが、吹き出しの形状は特に限定されない。図２（Ｃ）に示したような複数の小円からなる吹き出し口もある。吹き出しは、吹き出し口が設けられている側とは反対側の方向に拡大される。 Further, in this example, a triangular outlet is shown, but the shape of the balloon is not particularly limited. There is also a blowout port composed of a plurality of small circles as shown in FIG. The balloon is expanded in the direction opposite to the side where the balloon is provided.
本例では、必要に応じて、コマの枠外に、吹き出しを拡大させる。表示制御部２５は、付帯情報内の表示制御情報（コマ領域情報など）に基づいて、ページの画像のうち現在のアンカーポインがある現在コマの周辺領域を検出し、その周辺領域に向けて吹き出しを拡大する。
In this example, the balloon is expanded outside the frame of the frame as necessary. The
図１１は、表示制御部２５により、付帯情報内の登場人物領域情報に基づいて、登場人物の存在領域と重ならないように、且つ、コマの枠内に吹き出しが入るようにして、吹き出しを拡大させた場合を示す。なお、登場人物の存在領域のうち特定部分（例えば顔部分）の領域のみと重ならないように、吹き出しを拡大してもよい。また、登場人物の顔部分と吹き出し口との間隔が閾値よりも大きければ、吹き出し口を登場人物の顔部分に重ならない範囲内で顔部分に近づけるようにしてもよい。
In FIG. 11, the
吹き出しをどの方向に拡大するかは、事前に優先順位をつけておき、付帯情報に設定しておくことができる。また、数種類の吹き出し拡大パターン（拡大方向など）を付帯情報に設定しておき、操作部２７でユーザに選択させるようにしてもよい。
In which direction the balloon is to be expanded, priorities can be given in advance and set in the accompanying information. Also, several types of balloon expansion patterns (enlargement direction, etc.) may be set in the incidental information, and the user may be selected by the
また、図１１のようにコマの枠内で吹き出しを拡大させた場合、登場人物の吹き出しが重ならないように表示制御しても、現画像の絵の一部に吹き出しの拡大部分が重なってしまう。このようなコマ枠内での吹き出し拡大を好まない著作者（またはユーザ）が存在する。そこで、設定により、図１０のように積極的にコマの枠外に吹き出しを拡大させるようにしてもよい。例えば、電子コミック情報内の吹き出し情報に、コマ枠外への吹き出し拡大を優先するか否かを示す吹き出し拡大制御情報を設定し、表示制御部２５が拡大制御情報に基づいてコマ枠外への吹き出し拡大を優先するか（あるいはコマ枠内への吹き出し拡大を優先するか）を判別し、その判別結果に基づいて吹き出し拡大方法（コマ枠外への拡大／コマ枠内への吹き出し拡大）を切替えるようにしてもよい。また、操作部２７からの指示入力により、上記吹き出し拡大方法を切替えるようにしてもよい。また、表示制御部２５が、スクロール再生の場合には、自コマに吹き出し拡大部分がかからないようにコマ枠外への拡大を優先し、コマ再生の場合にはコマ枠内への吹き出し拡大を行なうように、切替えてもよい。
Further, when the balloon is enlarged within the frame of the frame as shown in FIG. 11, even if display control is performed so that the balloons of the characters do not overlap, the enlarged part of the balloon overlaps a part of the picture of the current image. . There are authors (or users) who do not like such balloon expansion in the frame. Therefore, by setting, the balloon may be positively expanded outside the frame of the frame as shown in FIG. For example, balloon expansion control information indicating whether or not to give priority to balloon expansion outside the frame frame is set in the balloon information in the electronic comic information, and the
なお、付帯情報内のテキスト情報は、吹き出し内の原文が横書きか縦書きかを示す情報と、翻訳文の所定の言語が横書きか縦書きかを示す情報とを有する。図１０及び図１１に示した場合では、表示制御部２５は、テキスト情報（または吹き出し情報）から、吹き出し内の原文が縦書きであって翻訳文の所定の言語が横書きであることを検知すると、吹き出しを翻訳文の全文が入るように、横方向のみに拡大させている。その一方で、表示制御部２５は、テキスト情報（または吹き出し情報）から、吹き出し内の原文が横書きであって翻訳文の所定の言語が縦書きであることを検知すると、吹き出しを翻訳文の全文が入るように、縦方向のみに拡大させる。
The text information in the supplementary information includes information indicating whether the original sentence in the balloon is horizontal writing or vertical writing, and information indicating whether a predetermined language of the translation sentence is horizontal writing or vertical writing. In the case shown in FIGS. 10 and 11, when the
また、表示制御部２５は、原文の台詞よりも翻訳文が短くなる場合、翻訳文の表示位置をセンタリングする（あるいは文字サイズを大きくする）ようにしてもよい。例えば、スペイン語を英語に翻訳した場合などに翻訳文が短くなりうる。
The
また、表示制御部２５は、コマの縮小率等に応じて、吹き出しの拡大率を変える。また、吹き出しをどの方向・形に拡大するかは、事前に優先順位をつけておいたり、パターンを用意しておき、操作部２７で指定可能にしてもよい。さらに、吹き出しの形状に応じて翻訳文の文字のフォント（書体）やポイント数を変えるようにしてもよい。
Further, the
以上、図７〜図１１を用いて、吹き出し内に翻訳文の全文が入らないと判別された場合に吹き出しを拡大する形態について説明したが、翻訳文の全文が吹き出しに入らないと判別された場合、図１２に示すように、表示制御部２５が、吹き出し内に翻訳文の全て入るようにコンテンツ画像を拡大することでコマ全体を拡大するようにしてもよい。この場合に電子書籍ビューワ２で実行されるコンテンツ画像の表示処理（図５のＳ１２及び図６のＳ３３）の一例のフローチャートをを図１３に示す。本処理は、電子書籍ビューワ２の制御デバイス（実行制御部３０）によって、ビューワプログラムに従って実行される。
As described above, the form of expanding the speech balloon when it is determined that the whole sentence of the translated sentence does not enter the speech balloon has been described with reference to FIGS. 7 to 11, but it has been determined that the entire sentence of the translated sentence does not enter the speech balloon. In this case, as shown in FIG. 12, the
ステップＳ４０〜Ｓ４４及びステップＳ５２は、図７の場合（吹き出し拡大の場合）と同様であり、説明を省略する。 Steps S40 to S44 and step S52 are the same as those in the case of FIG.
吹き出しの領域内に翻訳文の全文が入らないと判別された場合、ステップＳ４９にて、表示制御部２５は、台詞の翻訳文の全文が吹き出し内に入るようにコミック画像を拡大させることでコマ全体を拡大させるとともに、ステップＳ５１にて、表示制御部２５は、その拡大させたコンテンツ画像の吹き出しの領域内に、翻訳文を合成する。
If it is determined that the entire translated sentence does not fall within the balloon area, in step S49, the
ステップＳ５４では、表示制御部２５は、コンテンツ画像を表示部２４に表示させる。原文表示（翻訳文非表示）の場合、例えば図１２の上半分に示すコンテンツ画像が表示部２４の画面に表示される。翻訳文表示の場合であって、ステップＳ４４で翻訳文の全文が吹き出しの領域に入らないと判別されていれば、図１２の下半分に示すように原文表示の場合よりも拡大されたコマのコンテンツ画像が表示部２４の画面に表示され、そのコマの各吹き出し内に翻訳文の全文（例えば"An assistant has been ready for this situation.”）が表示される。
In step S54, the
したがって、吹き出しからはみ出てしまうような長い翻訳文であっても、コマが拡大され、この拡大されたコマの吹き出し内に翻訳文の全文を表示し、ユーザに閲覧させることができる。 Therefore, even for a long translated sentence that protrudes from the balloon, the frame is enlarged, and the entire sentence of the translated sentence can be displayed in the balloon of the enlarged frame and viewed by the user.
本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行なってよいのはもちろんである。 The present invention is not limited to the examples described in the present specification and the examples illustrated in the drawings, and various design changes and improvements may be made without departing from the scope of the present invention.
図１の実行制御部３０及び表示制御部２５は、図３の付帯情報に基づいて、本明細書に記載した以外の各種の制御処理（例えば、検索、翻訳文表示、自動読み上げ、再生エフェクト、その他）を行なってもよい。
The
なお、ビューワ装置は、画像を表示可能な表示手段を備えたどのようなユーザ端末で実施してもよい。また、本明細書に記載のビューワ装置（実施形態では電子書籍ビューワ２）を実現させるビューワプログラムを記録した記録媒体はプログラムを記録可能などのような記録媒体であってもよい。
Note that the viewer device may be implemented by any user terminal provided with display means capable of displaying an image. Further, the recording medium on which the viewer program for realizing the viewer device described in the present specification (the
１：サーバ、２：電子書籍ビューワ、２４：表示部、２５：表示制御部、２６：音声再生部、２７：操作部、２９：入出力部、３０：実行制御部 1: server, 2: electronic book viewer, 24: display unit, 25: display control unit, 26: audio playback unit, 27: operation unit, 29: input / output unit, 30: execution control unit
Claims (12)
コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、
前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、
前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、
前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、
を備え、
前記翻訳文表示制御手段は、前記電子コミック情報に基づいて前記吹き出し内の原文が縦書きであり前記翻訳文の所定の言語が横書きであることを検知、又は前記吹き出し内の原文が横書きであり前記翻訳文の所定の言語が縦書きであることを検知すると、前記吹き出しを横方向及び縦方向のうち前記翻訳文の所定の言語の方向のみに拡大させることを特徴とするビューワ装置。 Display means;
Balloon information including the image for each page or frame of the comic, speech balloon information indicating the presence area in the image of the speech balloon containing the speech of the comic character, and the text of the original text in each speech balloon in a predetermined language Electronic comic information including text information including translated translations and associated with each balloon, and display control information for displaying the image by scroll playback or frame playback on the screen of the display means Information acquisition means to acquire;
Image display control means for displaying the image by scroll reproduction or frame reproduction on the screen of the display means based on the acquired display control information;
A discriminating unit for discriminating whether or not the entire sentence of the translated sentence corresponding to the speech balloon is included in a preset character size in a speech balloon in the image displayed on the screen of the display means;
Translated sentence display control means for displaying the translated sentence instead of the original sentence in the balloon in the image displayed on the screen based on the acquired balloon information and text information, the determining means When it is determined that the entire sentence of the translated sentence is included, the entire sentence of the translated sentence is displayed in the balloon, and when the determining means determines that the entire sentence of the translated sentence does not enter, the balloon is expanded. And a translated sentence display control means for displaying the translated sentence in the expanded balloon,
Equipped with a,
The translated sentence display control means detects based on the electronic comic information that the original sentence in the balloon is vertically written and the predetermined language of the translated sentence is horizontally written, or the original sentence in the balloon is horizontally written When it is detected that the predetermined language of the translated sentence is vertical writing, the viewer device expands the balloon only in the direction of the predetermined language of the translated sentence in the horizontal direction and the vertical direction .
コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、Balloon information including the image for each page or frame of the comic, speech balloon information indicating the presence area in the image of the speech balloon containing the speech of the comic character, and the text of the original text in each speech balloon in a predetermined language Electronic comic information including text information including translated translations and associated with each balloon, and display control information for displaying the image by scroll playback or frame playback on the screen of the display means Information acquisition means to acquire;
前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、Image display control means for displaying the image by scroll reproduction or frame reproduction on the screen of the display means based on the acquired display control information;
前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、A discriminating unit for discriminating whether or not the entire sentence of the translated sentence corresponding to the speech balloon is included in a preset character size in a speech balloon in the image displayed on the screen of the display means;
前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、Translated sentence display control means for displaying the translated sentence instead of the original sentence in the balloon in the image displayed on the screen based on the acquired balloon information and text information, the determining means When it is determined that the entire sentence of the translated sentence is included, the entire sentence of the translated sentence is displayed in the balloon, and when the determining means determines that the entire sentence of the translated sentence does not enter, the balloon is expanded. And a translated sentence display control means for displaying the translated sentence in the expanded balloon,
を備え、With
前記電子コミック情報の前記吹き出し情報は、吹き出し口の位置情報を含み、The balloon information of the electronic comic information includes position information of the balloon,
前記翻訳文表示制御手段は、前記吹き出し口の位置情報に基づいて前記吹き出し口の位置が移動しないように前記吹き出しを拡大させることを特徴とするビューワ装置。The translated sentence display control means enlarges the balloon so that the position of the balloon does not move based on the position information of the balloon.
コミックのページ毎又はコマ毎の画像と、コミックの登場人物の台詞が入る吹き出しの前記画像内の存在領域を示す吹き出し領域情報を含む吹き出し情報と、各吹き出し内の原文の台詞を所定の言語に翻訳した翻訳文を含むテキスト情報であって吹き出し毎に関連づけられたテキスト情報と、前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させるための表示制御情報とを含む電子コミック情報を取得する情報取得手段と、Balloon information including the image for each page or frame of the comic, speech balloon information indicating the presence area in the image of the speech balloon containing the speech of the comic character, and the text of the original text in each speech balloon in a predetermined language Electronic comic information including text information including translated translations and associated with each balloon, and display control information for displaying the image by scroll playback or frame playback on the screen of the display means Information acquisition means to acquire;
前記取得された表示制御情報に基づいて前記表示手段の画面に前記画像をスクロール再生又はコマ再生で表示させる画像表示制御手段と、Image display control means for displaying the image by scroll reproduction or frame reproduction on the screen of the display means based on the acquired display control information;
前記表示手段の画面に表示される画像中の吹き出し内に、この吹き出しに対応する前記翻訳文の全文が予め設定された文字サイズで入るか否かを判別する判別手段と、A discriminating unit for discriminating whether or not the entire sentence of the translated sentence corresponding to the speech balloon is included in a preset character size in a speech balloon in the image displayed on the screen of the display means;
前記取得された吹き出し情報及びテキスト情報に基づいて前記画面に表示される画像中の前記吹き出し内の前記原文の台詞に替えて前記翻訳文を表示させる翻訳文表示制御手段であって、前記判別手段により前記翻訳文の全文が入ると判別されると、前記吹き出し内に前記翻訳文の全文を表示させ、前記判別手段により前記翻訳文の全文が入らないと判別されると、前記吹き出しを拡大させるとともに、この拡大させた吹き出し内に前記翻訳文を表示させる翻訳文表示制御手段と、Translated sentence display control means for displaying the translated sentence instead of the original sentence in the balloon in the image displayed on the screen based on the acquired balloon information and text information, the determining means When it is determined that the entire sentence of the translated sentence is included, the entire sentence of the translated sentence is displayed in the balloon, and when the determining means determines that the entire sentence of the translated sentence does not enter, the balloon is expanded. And a translated sentence display control means for displaying the translated sentence in the expanded balloon,
を備え、With
前記翻訳文表示制御手段は、前記表示手段の画面に表示される画像中のコマの枠外に前記吹き出しを拡大させることを特徴とするビューワ装置。The translated sentence display control means enlarges the balloon outside the frame of the frame in the image displayed on the screen of the display means.
前記翻訳文表示制御手段は、前記登場人物領域情報に基づいて前記登場人物の存在領域と重ならないように前記吹き出しを拡大させることを特徴とする請求項１から３のいずれか１項に記載のビューワ装置。 The electronic comic information includes character information including character region information indicating a character existing region in the image,
The said translation sentence display control part expands the said balloon so that it may not overlap with the said character's presence area based on the said character area information, The any one of Claim 1 to 3 characterized by the above-mentioned. Viewer device.
前記翻訳文表示制御手段は、前記吹き出しの描線の種類に基づいて、同じ種類の描線を有する吹き出しになるように吹き出しの拡大を行なうことを特徴とする請求項１から４のいずれか１項に記載のビューワ装置。 The balloon information includes the type of stroke line drawn,
5. The translated sentence display control means expands a speech balloon so as to be a speech balloon having the same type of drawn line based on the type of drawn line of the speech balloon. The viewer device described.
前記翻訳文表示制御手段は、前記テキスト情報と前記文字属性情報とに基づいて表示用の文字を生成することを特徴とする請求項１から６のいずれか１項に記載のビューワ装置。 The text information includes character attribute information indicating a character size and a character type,
The translation display control means, the viewer apparatus according to any one of claims 1 to 6, characterized in that generating a character for display on the basis of the text information and the character attribute information.
前記判別手段は、前記翻訳文表示制御手段により調整される場合の翻訳文の全文が、前記吹き出し内に入るか否かを判別することを特徴とする請求項１から８のいずれか１項に記載のビューワ装置。 The translated text display control means has a function of adjusting the number of lines, the line spacing, or the character spacing of the translated text arranged in a balloon in the image displayed on the screen of the display means,
Said discriminating means, the full text of the translation of the case to be adjusted by the translation display control means, in any one of claims 1 8, characterized in that to determine whether or not to enter into said balloon The viewer device described.
前記ユーザ端末からの要求に応じて前記電子コミック情報を提供するサーバと、
からなる閲覧システム。 A user terminal including the function of the viewer device according to any one of claims 1 to 9 ,
A server that provides the electronic comic information in response to a request from the user terminal;
A browsing system consisting of
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010286393A JP5674451B2 (en) | 2010-12-22 | 2010-12-22 | Viewer device, browsing system, viewer program, and recording medium |
| PCT/JP2011/076990 WO2012086358A1 (en) | 2010-12-22 | 2011-11-24 | Viewer device, viewing system, viewer program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010286393A JP5674451B2 (en) | 2010-12-22 | 2010-12-22 | Viewer device, browsing system, viewer program, and recording medium |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012133661A JP2012133661A (en) | 2012-07-12 |
| JP2012133661A5 JP2012133661A5 (en) | 2013-08-01 |
| JP5674451B2 true JP5674451B2 (en) | 2015-02-25 |
Family
ID=46313640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010286393A Active JP5674451B2 (en) | 2010-12-22 | 2010-12-22 | Viewer device, browsing system, viewer program, and recording medium |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5674451B2 (en) |
| WO (1) | WO2012086358A1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5376685B2 (en) * | 2011-07-13 | 2013-12-25 | Ｎｅｃビッグローブ株式会社 | CONTENT DATA DISPLAY DEVICE, CONTENT DATA DISPLAY METHOD, AND PROGRAM |
| JP2018061071A (en) * | 2015-02-17 | 2018-04-12 | ギズモモバイル株式会社 | Content creation device, content reproduction device, program, and content creation and reproduction system |
| US11132496B2 (en) * | 2015-07-10 | 2021-09-28 | Rakuten Group, Inc. | Electronic book display device, electronic book display method, and program |
| KR101576563B1 (en) * | 2015-07-14 | 2015-12-22 | 주식회사 위두커뮤니케이션즈 | Method of editing multi-language comic contents |
| CN105718448B (en) * | 2016-01-13 | 2019-03-19 | 北京新美互通科技有限公司 | The method and apparatus that a kind of pair of input character carries out automatic translation |
| JP7200533B2 (en) * | 2018-08-09 | 2023-01-10 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05108716A (en) * | 1991-10-21 | 1993-04-30 | Oki Electric Ind Co Ltd | Machine translation system |
| JP3512386B2 (en) * | 2000-01-20 | 2004-03-29 | 株式会社スクウェア・エニックス | Online composite service provision processing method and online composite service provision processing system |
| JP2001338307A (en) * | 2000-05-29 | 2001-12-07 | Sharp Corp | Electronic cartoon producing device and electronic cartoon display device |
| JP3486159B2 (en) * | 2000-08-01 | 2004-01-13 | 克 三宅 | Comic editing support device, manga editing support system, and recording medium recording manga editing support program |
| JP2003022269A (en) * | 2001-07-09 | 2003-01-24 | Kyodo Printing Co Ltd | Cartoon translation device and its system and cartoon translation method |
| JP4796530B2 (en) * | 2007-03-30 | 2011-10-19 | 株式会社セルシス | Manga display method and electronic equipment for displaying manga |
| JP2010176429A (en) * | 2009-01-29 | 2010-08-12 | Dainippon Printing Co Ltd | Electronic content distribution system |
-
2010
- 2010-12-22 JP JP2010286393A patent/JP5674451B2/en active Active
-
2011
- 2011-11-24 WO PCT/JP2011/076990 patent/WO2012086358A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012086358A1 (en) | 2012-06-28 |
| JP2012133661A (en) | 2012-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5674450B2 (en) | Electronic comic viewer device, electronic comic browsing system, viewer program, recording medium on which the viewer program is recorded, and electronic comic display method | |
| US8719029B2 (en) | File format, server, viewer device for digital comic, digital comic generation device | |
| JP5634853B2 (en) | Electronic comic viewer device, electronic comic browsing system, viewer program, and electronic comic display method | |
| US7603620B2 (en) | Creating visualizations of documents | |
| US8812969B2 (en) | Methods for authoring and interacting with multimedia representations of documents | |
| EP1980960A2 (en) | Methods and apparatuses for converting electronic content descriptions | |
| WO2012086359A1 (en) | Viewer device, viewing system, viewer program, and recording medium | |
| JP5674451B2 (en) | Viewer device, browsing system, viewer program, and recording medium | |
| US8952985B2 (en) | Digital comic editor, method and non-transitory computer-readable medium | |
| US20130104015A1 (en) | Digital comic editor, method and non-transitory computer-readable medium | |
| US8952989B2 (en) | Viewer unit, server unit, display control method, digital comic editing method and non-transitory computer-readable medium | |
| JP5661663B2 (en) | Information extraction device | |
| CA2544391A1 (en) | Information storage medium containing subtitles and processing apparatus therefor | |
| JP2012038286A (en) | Content analyzing apparatus, method and program | |
| JP6543290B2 (en) | Electronic book making program | |
| JP2006065477A (en) | Character recognition device | |
| JP6731011B2 (en) | Device for creating data for displaying electronic books | |
| JPH11272690A (en) | Data display device, method therefor and recording medium recorded with data displaying program | |
| KR101843133B1 (en) | Apparatus for recording and playing written contents and method for controlling the same | |
| KR101968599B1 (en) | Generation method and apparatus of story video according to input text | |
| WO2014042051A1 (en) | Content creation device, method, and program | |
| JP2009032026A (en) | Display control device, method, program and storage medium | |
| KR101843135B1 (en) | Video processing method, apparatus and computer program | |
| JP5528410B2 (en) | Viewer device, server device, display control method, electronic comic editing method and program | |
| JP2002049925A (en) | Apparatus and system for supporting cartoon editing and recording medium having cartoon editing support program recorded thereon |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130611 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140820 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5674451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |