JP2012181748A - Pattern display tool and composite image display system - Google Patents

Abstract

PROBLEM TO BE SOLVED: To enhance viewer's interest by presenting new providing method of content using AR technology.SOLUTION: A pattern display tool includes a first component in which a plurality of identification patterns are drawn and a second component with a display window for displaying the identification patterns, in which an identification pattern displayed in the display window varies according to the movement of the first component. On the other hand, a composite image display device identifies an identification pattern included in the captured image of a pattern display tool captured by image capturing means and superimposes a virtual object image corresponding to the identification pattern onto the captured image to generate a composite image for a display.

Description

本発明は、現実世界の映像に仮想的なオブジェクトの画像を重ね合わせることによって、その仮想オブジェクトがあたかも現実世界の中に存在するかのように表現するAugmented Reality（以下、「ＡＲ」）の技術分野に関する。   According to the present invention, Augmented Reality (hereinafter referred to as “AR”) technology is used to express a virtual object as if it exists in the real world by superimposing a virtual object image on the real world video. Related to the field.

従来、スマートフォンで表現される動画コンテンツ及び音楽コンテンツを、絵本と組み合わせて視聴者に視聴させるフォンブック（登録商標）が好評を博している。フォンブックでは、絵本の一部にスマートフォンを据え付けられるようになっており、視聴者は絵本のページをめくりつつ、開かれたページと関連したコンテンツをスマートフォンで視聴できるようになっている。   2. Description of the Related Art Conventionally, a phone book (registered trademark) that allows a viewer to view video content and music content expressed on a smartphone in combination with a picture book has gained popularity. In the phone book, a smartphone can be installed in a part of a picture book, and the viewer can view the contents related to the opened page on the smartphone while turning the page of the picture book.

一方で、現実世界を強化するＡＲと呼ばれる技術が開示されている（例えば、特許文献１乃至３）。ＡＲとは、現実世界の映像に、仮想的なオブジェクト（以下、「仮想オブジェクト」と称する）の画像を重ね合わせることによって、その仮想オブジェクトがあたかも現実世界の中に存在するかのような画像を提供するものである。   On the other hand, a technique called AR that enhances the real world is disclosed (for example, Patent Documents 1 to 3). AR is an image of a virtual object (hereinafter referred to as a “virtual object”) superimposed on an image of the real world, as if the virtual object exists in the real world. It is to provide.

特開２００４−２１３６７３号公報JP 2004-213673 A 特表２００４−５３４９６３号公報JP-T-2004-534963 特表２００５−５０７１０９号公報JP-T-2005-507109

本発明は、ＡＲ技術を用いた新たなコンテンツの提供方法を提示し、視聴者の興趣を向上させることを課題とする。   It is an object of the present invention to present a new content providing method using AR technology and improve the interest of viewers.

上記課題を解決するために、請求項１に記載の発明は、撮影手段と、前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、前記生成された合成画像を表示手段に表示させる表示制御部と、を備える合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第１部材と、前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、を有する図柄表示具であって、前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする。   In order to solve the above-mentioned problem, the invention described in claim 1 is characterized in that the image capturing means, the identification symbol specifying means for specifying the identification symbol included in the captured image captured by the image capturing means, and the specified Virtual object image acquisition means for acquiring a virtual object image that is an image of a virtual object corresponding to an identification symbol, and a composite image for generating a composite image by superimposing the acquired virtual object image on a captured image including the identification symbol A first member on which a plurality of the identification symbols that can be specified by the identification symbol specifying means in a synthetic image display device comprising: a generating means; and a display control unit that displays the generated composite image on a display means; And a second member having a display window for displaying the identification symbol drawn on the first member, the identification symbol displayed on the display window. Characterized in that it varies with the movement of the first member.

この構成によれば、合成画像表示装置は、撮影手段が撮影した撮影画像に含まれている識別図柄を特定し、当該特定した識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得し、当該取得した仮想オブジェクト画像を、識別図柄を含む撮影画像に重ねて合成画像を生成し、当該生成した合成画像を表示手段に表示させる。また、図柄表示具の表示窓に表示される識別図柄は第１部材の動きに伴って変動する。   According to this configuration, the composite image display device specifies an identification pattern included in the captured image captured by the imaging unit, and acquires a virtual object image that is an image of a virtual object corresponding to the identified identification pattern. Then, the acquired virtual object image is superimposed on the captured image including the identification pattern to generate a composite image, and the generated composite image is displayed on the display unit. Moreover, the identification symbol displayed on the display window of the symbol display tool varies with the movement of the first member.

この発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第１部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。   According to the present invention, the composite image obtained by superimposing the virtual object image on the real world image is displayed on the display means, and the virtual object image of the displayed composite image changes with the movement of the first member. Can improve the interest of the elderly.

請求項２に記載の発明は、請求項１に記載の図柄表示具であって、前記第１部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、前記第１部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする。   The invention according to claim 2 is the symbol display tool according to claim 1, wherein the plurality of identification symbols drawn on the first member has a progression stage corresponding to a progression stage of a predetermined story, respectively. Identification symbols corresponding to the virtual object image to be represented, each identification symbol is drawn in an order according to the progress of the predetermined story, and the first member has the identification symbol in the display window according to the order. It moves to be displayed on the screen.

この発明によれば、表示手段に表示される合成画像の仮想オブジェクト画像は、所定のストーリーの各進行段階を表す画像であるとともに、仮想オブジェクト画像が当該所定のストーリーの進行に応じた順序で変化するので、視聴者はストーリーを楽しむことができる。   According to the present invention, the virtual object image of the composite image displayed on the display means is an image representing each progress stage of the predetermined story, and the virtual object image changes in an order corresponding to the progress of the predetermined story. So viewers can enjoy the story.

請求項３に記載の発明は、請求項１又は２に記載の図柄表示具であって、前記第２部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、前記第１部材に描かれる識別図柄は、前記表示窓に表示された際、前記第２部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする。   The invention according to claim 3 is the symbol display tool according to claim 1 or 2, wherein a part of the predetermined symbol is drawn on at least a part of the periphery of the display window in the second member. The identification symbol drawn on the first member forms the predetermined symbol together with a part of the symbol drawn on the second member when displayed on the display window.

この発明によれば、表示窓に識別図柄が表示された際に所定の図柄が図柄表示具に表示されることから、視聴者は図柄表示具全体を、或いは表示手段に表示される合成画像を違和感なく視聴することができる。   According to the present invention, when the identification symbol is displayed on the display window, the predetermined symbol is displayed on the symbol display tool. Therefore, the viewer can view the entire symbol display tool or a composite image displayed on the display means. You can watch without a sense of incongruity.

請求項４に記載の発明は、合成画像表示装置と、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、前記合成画像表示装置は、撮影手段と、前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、前記生成された合成画像を表示手段に表示させる表示制御部と、を備え、前記図柄表示具は、前記合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第１部材と、前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、を有し、前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする。   The invention according to claim 4 is a composite image display system having a composite image display device and a symbol display tool for displaying an identification symbol, wherein the composite image display device is photographed by a photographing unit and the photographing unit. An identification symbol specifying means for specifying an identification symbol included in the captured image, a virtual object image acquiring means for acquiring a virtual object image that is an image of a virtual object corresponding to the specified identification symbol, and the acquisition A composite image generating unit that generates a composite image by superimposing the generated virtual object image on a photographed image including the identification design, and a display control unit that displays the generated composite image on a display unit. The display tool includes a first member on which a plurality of identification symbols that can be specified by the identification symbol specifying means in the composite image display device are drawn, and a drawing on the first member. And a second member having a display window for displaying the identification symbols which, with the identification symbols displayed on the display window is characterized in that varies with the movement of the first member.

この発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第１部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。   According to the present invention, the composite image obtained by superimposing the virtual object image on the real world image is displayed on the display means, and the virtual object image of the displayed composite image changes with the movement of the first member. Can improve the interest of the elderly.

請求項５に記載の発明は、請求項４に記載の合成画像表示システムであって、前記第１部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、前記第１部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする。   The invention according to claim 5 is the composite image display system according to claim 4, wherein the plurality of identification symbols drawn on the first member are each progress stage corresponding to a progress stage of a predetermined story. The identification symbols corresponding to the virtual object image representing each of the identification symbols are drawn in an order according to the progress of the predetermined story, and the first member has the identification symbols displayed in the order described above. It moves to be displayed in the window.

この発明によれば、表示手段に表示される合成画像の仮想オブジェクト画像は、所定のストーリーの各進行段階を表す画像であるとともに、仮想オブジェクト画像が当該所定のストーリーの進行に応じた順序で変化するので、視聴者はストーリーを楽しむことができる。   According to the present invention, the virtual object image of the composite image displayed on the display means is an image representing each progress stage of the predetermined story, and the virtual object image changes in an order corresponding to the progress of the predetermined story. So viewers can enjoy the story.

請求項６に記載の発明は、請求項４又は５に記載の合成画像表示システムであって、前記第２部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、前記第１部材に描かれる識別図柄は、前記表示窓に表示された際、前記第２部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする。   The invention according to claim 6 is the composite image display system according to claim 4 or 5, wherein a part of a predetermined pattern is drawn on at least a part of the periphery of the display window in the second member. The identification symbol drawn on the first member forms the predetermined symbol together with a part of the symbol drawn on the second member when displayed on the display window.

この発明によれば、表示窓に識別図柄が表示された際に所定の図柄が図柄表示具に表示されることから、視聴者は図柄表示具全体を、或いは表示手段に表示される合成画像を違和感なく視聴することができる。   According to the present invention, when the identification symbol is displayed on the display window, the predetermined symbol is displayed on the symbol display tool. Therefore, the viewer can view the entire symbol display tool or a composite image displayed on the display means. You can watch without a sense of incongruity.

請求項７に記載の発明は、請求項４乃至６の何れか一項に記載の合成画像表示システムであって、前記合成画像表示装置は、前記識別図柄に対応する前記仮想オブジェクト画像を記憶する仮想オブジェクト画像記憶手段、を更に備え、前記仮想オブジェクト画像取得手段は、前記識別図柄特定手段により特定された識別図柄に対応する仮想オブジェクト画像が前記仮想オブジェクト画像記憶手段に記憶されていない場合に、所定のサーバ装置から当該特定された識別図柄に対応する仮想オブジェクト画像をダウンロードすることを特徴とする。   The invention described in claim 7 is the composite image display system according to any one of claims 4 to 6, wherein the composite image display device stores the virtual object image corresponding to the identification symbol. A virtual object image storage means, wherein the virtual object image acquisition means, when a virtual object image corresponding to the identification symbol specified by the identification symbol specification means is not stored in the virtual object image storage means, A virtual object image corresponding to the identified identification symbol is downloaded from a predetermined server device.

この発明によれば、仮想オブジェクト画像が仮想オブジェクト画像記憶手段に記憶されていない場合であっても、合成画像を生成し表示させることができる。また、仮想オブジェクト画像記憶手段に全ての識別図柄に対応する仮想オブジェクト画像を記憶させなくてもよいので、仮想オブジェクト画像記憶手段の記憶領域を節約することができる。   According to this invention, even when the virtual object image is not stored in the virtual object image storage unit, the composite image can be generated and displayed. Further, since it is not necessary to store virtual object images corresponding to all identification symbols in the virtual object image storage unit, the storage area of the virtual object image storage unit can be saved.

請求項８に記載の発明は、撮影手段と、前記撮影手段により撮影された撮影画像を合成画像生成サーバに送信する撮影画像送信手段と、前記合成画像生成サーバが前記撮影画像に含まれている識別図柄を特定し、当該特定した識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を当該撮影画像に重ねて生成した合成画像を、当該合成画像生成サーバから受信する合成画像受信手段と、前記受信した合成画像を表示手段に表示させる表示制御部と、を備える合成画像表示装置とネットワークを介して接続される前記合成画像生成サーバが特定可能な前記識別図柄が複数描かれた第１部材と、前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、を有する図柄表示具であって、前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする。   According to an eighth aspect of the present invention, the photographed image includes photographing means, photographed image transmitting means for sending a photographed image photographed by the photographing means to a composite image generation server, and the composite image generation server. A composite image receiving means for specifying an identification symbol and receiving a composite image generated by superimposing a virtual object image, which is an image of a virtual object corresponding to the identified identification symbol, on the captured image from the composite image generation server; A first member on which a plurality of identification symbols that can be specified by the composite image generation server connected via a network to a composite image display device including a display control unit that displays the received composite image on a display unit; And a second member having a display window for displaying the identification symbol drawn on the first member, wherein the indicator displayed on the display window Symbols, characterized in that varies with the movement of the first member.

この構成によれば、合成画像表示装置は、合成画像生成サーバが生成した合成画像を受信し、当該受信した合成画像を表示手段に表示させる。また、図柄表示具の表示窓に表示される識別図柄は第１部材の動きに伴って変動する。したがって、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第１部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。   According to this configuration, the composite image display device receives the composite image generated by the composite image generation server and causes the display unit to display the received composite image. Moreover, the identification symbol displayed on the display window of the symbol display tool varies with the movement of the first member. Therefore, a composite image in which a virtual object image is superimposed on a real-world image is displayed on the display means, and the virtual object image of the displayed composite image changes with the movement of the first member. Can be improved.

請求項９に記載の発明は、合成画像表示装置と、合成画像生成サーバと、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、前記合成画像表示装置は、撮影手段と、前記撮影手段により撮影された撮影画像を前記合成画像生成サーバに送信する撮影画像送信手段と、前記合成画像生成サーバが生成した合成画像を当該合成画像生成サーバから受信する合成画像受信手段と、前記受信した合成画像を表示手段に表示させる表示制御部と、を備え、前記合成画像生成サーバは、前記合成画像表示装置から受信した撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、前記生成した合成画像を前記合成画像表示装置に送信する合成画像送信手段と、を備え、前記図柄表示具は、前記合成画像生成サーバにおける前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第１部材と、前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、を有し、前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする。   The invention according to claim 9 is a composite image display system including a composite image display device, a composite image generation server, and a symbol display tool for displaying an identification symbol, wherein the composite image display device includes a photographing unit, A captured image transmission unit that transmits the captured image captured by the imaging unit to the composite image generation server; a composite image reception unit that receives the composite image generated by the composite image generation server from the composite image generation server; A display control unit that displays the received composite image on a display unit, and the composite image generation server specifies an identification symbol specifying unit that specifies an identification symbol included in the captured image received from the composite image display device. Virtual object image acquisition means for acquiring a virtual object image that is an image of a virtual object corresponding to the identified identification symbol, and the capture A composite image generating unit that generates a composite image by superimposing the virtual object image that has been generated on the captured image including the identification pattern, and a composite image transmission unit that transmits the generated composite image to the composite image display device. The symbol display tool displays a first member on which a plurality of the identification symbols that can be specified by the identification symbol specifying means in the composite image generation server are displayed, and a display window that displays the identification symbols drawn on the first member The identification symbol displayed on the display window varies with the movement of the first member.

この発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第１部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。   According to the present invention, the composite image obtained by superimposing the virtual object image on the real world image is displayed on the display means, and the virtual object image of the displayed composite image changes with the movement of the first member. Can improve the interest of the elderly.

本発明によれば、現実世界の画像に仮想オブジェクト画像を重ねた合成画像が表示手段に表示され、当該表示される合成画像の仮想オブジェクト画像は第１部材の動きに伴って変化するので、視聴者の興趣を向上させることができる。   According to the present invention, the composite image obtained by superimposing the virtual object image on the real world image is displayed on the display means, and the virtual object image of the displayed composite image changes according to the movement of the first member. Can improve the interest of the elderly.

（ａ）ストーリーボード１の外観の一例を示す図である。（ｂ）ストーリーシート２の外観の一例を示す図である。(A) It is a figure which shows an example of the external appearance of the story board 1. FIG. (B) It is a figure which shows an example of the external appearance of the story sheet 2. FIG. ストーリーボードセットの使用例を示す図である。It is a figure which shows the usage example of a story board set. 携帯端末Ｍの概要構成を示すブロック図である。2 is a block diagram showing a schematic configuration of a mobile terminal M. FIG. コンテンツテーブル１０２４に記述される内容の一例を示す図である。It is a figure which shows an example of the content described in the content table 1024. FIG. ストーリーボードセットを携帯端末Ｍのカメラ１０６で撮影した際の画面例を示す図である。It is a figure which shows the example of a screen at the time of image | photographing a story board set with the camera 106 of the portable terminal M. FIG. ストーリーボードセットを携帯端末Ｍのカメラ１０６で撮影した際の画面例を示す図である。It is a figure which shows the example of a screen at the time of image | photographing a story board set with the camera 106 of the portable terminal M. FIG. ストーリーボードセットを携帯端末Ｍのカメラ１０６で撮影した際の画面例を示す図である。It is a figure which shows the example of a screen at the time of image | photographing a story board set with the camera 106 of the portable terminal M. FIG. 携帯端末Ｍの動作例を示すフローチャートである。10 is a flowchart illustrating an operation example of the mobile terminal M. （ａ）変形例１におけるストーリーボード１Ａの外観の一例を示す図である。（ｂ）変形例１におけるストーリーシート２の外観の一例を示す図である。（ｃ）変形例１におけるストーリーシート４の外観の一例を示す図である。(A) It is a figure which shows an example of the external appearance of the story board 1A in the modification 1. FIG. (B) It is a figure which shows an example of the external appearance of the story sheet 2 in the modification 1. FIG. (C) It is a figure which shows an example of the external appearance of the story sheet 4 in the modification 1. FIG. コンテンツテーブル１０２４Ａに記述される内容の一例を示す図である。It is a figure which shows an example of the content described in the content table 1024A. 変形例１におけるストーリーボードセットを携帯端末Ｍのカメラ１０６で撮影した際の画面例を示す図である。It is a figure which shows the example of a screen at the time of image | photographing the storyboard set in the modification 1 with the camera 106 of the portable terminal M. 変形例１におけるストーリーボードセットを携帯端末Ｍのカメラ１０６で撮影した際の画面例を示す図である。It is a figure which shows the example of a screen at the time of image | photographing the storyboard set in the modification 1 with the camera 106 of the portable terminal M. （ａ）変形例２におけるストーリーボードセット１Ｂの外観の一例を示す図である。（ｂ）変形例２におけるストーリーシート５の外観の一例を示す図である。(A) It is a figure which shows an example of the external appearance of the storyboard set 1B in the modification 2. FIG. (B) It is a figure which shows an example of the external appearance of the story sheet 5 in the modification 2. FIG. 変形例３における携帯端末Ｍの動作例を示すフローチャートである。10 is a flowchart illustrating an operation example of the mobile terminal M in Modification 3. 変形例４におけるコンテンツ処理サーバＳＶの概要構成を示すブロック図である。It is a block diagram which shows the outline | summary structure of the content processing server SV in the modification 4.

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施形態は、ストーリー提供システムについて本発明を適用した場合の実施形態である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In addition, embodiment described below is embodiment at the time of applying this invention about a story provision system.

本実施形態のストーリー提供システムは、ストーリーボードセットと、ストーリー提供アプリケーションプログラム（「ストーリー提供アプリ」）がインストールされた携帯端末Ｍとを含み、ユーザに所定のストーリーを提供するシステムである。   The story providing system of this embodiment is a system that includes a storyboard set and a mobile terminal M in which a story providing application program (“story providing application”) is installed, and provides a predetermined story to the user.

［１．ストーリーボードセットの構成］
先ず、図１及び図２を用いて本実施形態に係るストーリーボードセットの構成について説明する。 [1. Storyboard Set Configuration]
First, the configuration of the storyboard set according to the present embodiment will be described with reference to FIGS. 1 and 2.

ストーリーボードセットは、図１（ａ）に示すストーリーボード１と、図１（ｂ）に示すストーリーシート２とを有する。ストーリーボード１の絵表示部１１には所定のストーリーを表す絵の一部が印刷されている。また、ストーリーボード１にはストーリーシート２を差し込んで通せるようなスリット１２ＬＳ、１２ＲＳが設けられ、スリット１２ＬＳとスリット１２ＲＳの間に表示窓１２が形成されている。ストーリーボードセットにおいては、ストーリーシート２を、矢印２９の向きにストーリーボード１の裏面からスリット１２ＬＳに差し込み、ストーリーボード１の表面の表示窓１２を通過させて、スリット１２ＲＳに差し込み裏面に通すことにより、ストーリーシート２をストーリーボード１にセットすることができる。   The storyboard set includes a storyboard 1 shown in FIG. 1 (a) and a story sheet 2 shown in FIG. 1 (b). A part of a picture representing a predetermined story is printed on the picture display unit 11 of the story board 1. In addition, the story board 1 is provided with slits 12LS and 12RS through which the story sheet 2 can be inserted, and a display window 12 is formed between the slit 12LS and the slit 12RS. In the storyboard set, the story sheet 2 is inserted into the slit 12LS from the back surface of the storyboard 1 in the direction of the arrow 29, passed through the display window 12 on the front surface of the storyboard 1, inserted into the slit 12RS, and passed through the back surface. The story sheet 2 can be set on the story board 1.

ストーリーシート２にはマーカー図柄２１〜２３が印刷されている。ストーリーシート２がストーリーボード１にセットされ、所定の位置にスライドされると、マーカー図柄２１〜２３が表示窓１２に表示されるようになっている。また、マーカー図柄２１〜２３は絵表示部１１に印刷された絵の一部と組み合わせることにより一つの絵を形成するようになっている。   Marker symbols 21 to 23 are printed on the story sheet 2. When the story sheet 2 is set on the story board 1 and slid to a predetermined position, the marker symbols 21 to 23 are displayed on the display window 12. The marker symbols 21 to 23 are combined with a part of the picture printed on the picture display unit 11 to form one picture.

図２（ａ）に示すように、ストーリーシート２をストーリーボード１にセットし、右へスライドさせると、表示窓１２にマーカー図柄２１が表示される。このとき、ストーリーボード１を眺めると、絵表示部１１に印刷された絵の一部（少年の頭部と上半身を表す絵）と、マーカー図柄２１を兼ねる絵（少年の口とお菓子を持った手を表す絵）とによって、一つの絵（少年がお菓子を食べる様子を表す絵）を形成するようになっている。   As shown in FIG. 2A, when the story sheet 2 is set on the story board 1 and slid to the right, the marker symbol 21 is displayed on the display window 12. At this time, when looking at the storyboard 1, a part of the picture printed on the picture display unit 11 (a picture showing the head and upper body of the boy) and a picture that also serves as the marker pattern 21 (with the boy's mouth and sweets) A picture (a picture showing a boy eating sweets) is formed by a picture showing a hand.

次いで、更にストーリーシート２を右へスライドさせると、図２（ｂ）に示すように、表示窓１２にマーカー図柄２２が表示される。このとき、ストーリーボード１を眺めると、絵表示部１１に印刷された絵の一部（少年の頭部と上半身を表す絵）と、マーカー図柄２２を兼ねる絵（少年の手と、虫歯菌を示すキャラクタを表す絵）とによって、一つの絵（少年が虫歯になった様子を表す絵）を形成するようになっている。   Next, when the story sheet 2 is further slid to the right, the marker symbol 22 is displayed on the display window 12 as shown in FIG. At this time, when looking at the storyboard 1, a part of the picture printed on the picture display unit 11 (a picture representing the head and upper body of the boy) and a picture that also serves as the marker pattern 22 (the hand of the boy and caries fungus) A picture (a picture showing a boy becoming a tooth decay) is formed by a picture showing a character to be shown).

次いで、更にストーリーシート２を右へスライドさせると、図２（ｃ）に示すように、表示窓１２にマーカー図柄２３が表示される。このとき、ストーリーボード１を眺めると、絵表示部１１に印刷された絵の一部（少年の頭部と上半身を表す絵）と、マーカー図柄２３を兼ねる絵（少年の口と歯ブラシを持った手を表す絵）とによって、一つの絵（少年が歯を磨いている様子を表す絵）を形成するようになっている。   Next, when the story sheet 2 is further slid to the right, the marker symbol 23 is displayed on the display window 12 as shown in FIG. At this time, when looking at the storyboard 1, a part of the picture printed on the picture display unit 11 (a picture representing the boy's head and upper body) and a picture that also serves as the marker pattern 23 (have the boy's mouth and toothbrush) A picture that represents a hand (a picture showing a boy brushing his teeth).

このように、本実施形態におけるストーリーボードセットは、ストーリーシート２をストーリーボード１にセットし、右へスライドさせることにより、（１）少年がお菓子を食べ、（２）虫歯になり、（３）歯を磨くようになる、という一連のストーリーをユーザに提供するようになっている。   Thus, in the storyboard set in the present embodiment, the story sheet 2 is set on the storyboard 1 and is slid to the right, so that (1) the boy eats sweets, (2) becomes cavities, (3 ) To provide users with a series of stories about brushing their teeth.

［２．携帯端末Ｍの構成］
次に、図３及び図４を用いて携帯端末Ｍの構成について説明する。 [2. Configuration of mobile terminal M]
Next, the configuration of the mobile terminal M will be described with reference to FIGS. 3 and 4.

図３に示すように、携帯端末Ｍは、制御部１０１、記憶部１０２、通信部１０３、タッチパネル１０４、ボタン操作部１０５、及びカメラ１０６を有する。   As illustrated in FIG. 3, the mobile terminal M includes a control unit 101, a storage unit 102, a communication unit 103, a touch panel 104, a button operation unit 105, and a camera 106.

通信部１０３は、インターネット、移動体通信網（基地局等を含む）、及びゲートウェイ等により構築されたネットワークを介した、他の電話機との通話やデータ通信、又はサーバ等とのデータ通信に関する制御等を行う。   The communication unit 103 controls calls and data communication with other telephones or data communication with a server or the like via a network constructed by the Internet, a mobile communication network (including a base station), and a gateway. Etc.

カメラ１０６は、所謂デジタルカメラであり、静止画及び動画を撮影することができる。また、後述するストーリー提供アプリが起動されるとカメラ１０６も起動するようになっており、ストーリー提供アプリの起動中は、レンズ及び画像素子等により取得される撮影画像を１秒間に所定フレーム数（例えば、３０フレーム）分ずつ取得するようになっている。これらの取得された撮影画像は、制御部１０１の制御の下、リアルタイムでタッチパネル１０４に連続して表示される。また、これらの撮影画像は、タッチパネル１０４に表示させるため、及び後述する比較用画像と比較するため、一時的に記憶部１０２に記憶される。   The camera 106 is a so-called digital camera and can capture still images and moving images. In addition, when a story providing application described later is activated, the camera 106 is also activated. During the activation of the story providing application, a captured image acquired by a lens, an image element, or the like is displayed at a predetermined number of frames per second ( For example, 30 frames) are acquired. These acquired captured images are continuously displayed on the touch panel 104 in real time under the control of the control unit 101. In addition, these captured images are temporarily stored in the storage unit 102 for display on the touch panel 104 and for comparison with a comparison image described later.

タッチパネル１０４は、例えば、静電容量方式のタッチセンサと表示装置とからなり、入力装置及び表示装置として機能する。また、ボタン操作部１０５は、ユーザが押下することによりボタン押下信号が制御部１０１に送信され、例えば、表示装置により表示されている画面が閉じられるようになっている。つまり、ユーザは、タッチパネル１０４とボタン操作部１０５に対する入力操作により、携帯端末Ｍに情報を入力することができるようになっている。   The touch panel 104 includes, for example, a capacitive touch sensor and a display device, and functions as an input device and a display device. Further, when the user presses the button operation unit 105, a button press signal is transmitted to the control unit 101, and for example, the screen displayed by the display device is closed. That is, the user can input information to the portable terminal M by an input operation on the touch panel 104 and the button operation unit 105.

記憶部１０２は、例えば、不揮発性メモリ等により構成されており、オペレーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。特に、本実施形態の記憶部１０２には、ストーリー提供アプリがインストールされている。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークＮＷを介して取得されるようにしても良いし、記録媒体に記録されて外付けドライブ装置を介して読み込まれるようにしても良い。   The storage unit 102 includes, for example, a nonvolatile memory and stores various programs such as an operating system and application programs. In particular, a story providing application is installed in the storage unit 102 of the present embodiment. Note that the various programs may be acquired from, for example, another server device or the like via the network NW, or may be recorded on a recording medium and read via an external drive device.

また、記憶部１０２には、ストーリー提供アプリの一部として、ストーリーシート２に印刷されたマーカー図柄２１〜２３をそれぞれデジタル化した比較用画像２１Ｃ〜２３Ｃが記憶されている。また、記憶部１０２には、ストーリー提供アプリの一部として、各比較用画像にそれぞれ対応するコンテンツファイル１０２１〜１０２３が記憶されている。更に、記憶部１０２には、ストーリー提供アプリの一部として、図４に示すコンテンツテーブル１０２４が記憶されている。コンテンツテーブル１０２４は、撮影画像の一部と一致する比較用画像の種別に応じて、コンテンツファイルを取得できるように、比較用画像ＩＤとコンテンツファイルＩＤとを対応付けている。なお、比較用画像ＩＤは、比較用画像を識別するためのＩＤであり、コンテンツファイルＩＤは、コンテンツファイル１０２１〜１０２３を識別するためのＩＤである。   Further, the storage unit 102 stores comparison images 21C to 23C obtained by digitizing the marker symbols 21 to 23 printed on the story sheet 2 as a part of the story providing application. Further, the storage unit 102 stores content files 1021 to 1023 corresponding to the respective comparison images as a part of the story providing application. Further, the storage unit 102 stores a content table 1024 shown in FIG. 4 as a part of the story providing application. The content table 1024 associates the comparison image ID with the content file ID so that the content file can be acquired according to the type of the comparison image that matches a part of the captured image. The comparison image ID is an ID for identifying the comparison image, and the content file ID is an ID for identifying the content files 1021 to 1023.

コンテンツファイル１０２１〜１０２３は、カメラ１０６によって撮影された撮影画像に仮想オブジェクト画像を重ねて表示させるなどの諸機能を実現するコンテンツ実行プログラムと、当該仮想オブジェクト画像とを含んでいる。   The content files 1021 to 1023 include a content execution program that realizes various functions such as displaying a virtual object image superimposed on a photographed image photographed by the camera 106, and the virtual object image.

制御部１０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されている。そして、ＣＰＵが、ＲＯＭや記憶部１０２に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。   The control unit 101 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The CPU implements various functions by reading and executing various programs stored in the ROM or the storage unit 102.

制御部１０１は、ストーリー提供アプリの起動中において、カメラ１０６により撮影された撮影画像内に、比較用画像２１Ｃ〜２３Ｃと一致する部分が含まれているかを所定時間毎に確認する。制御部１０１は、一致する部分が含まれていることを確認した場合には、コンテンツテーブル１０２４を参照して、当該比較用画像２１Ｃ〜２３Ｃの比較用画像ＩＤに対応するコンテンツファイルＩＤを特定し、コンテンツファイル１０２１〜１０２３を取得する。制御部１０１は、コンテンツファイル１０２１〜１０２３を取得すると、これに含まれるコンテンツ実行プログラムを実行し、カメラ１０６により撮影された撮影画像に、取得したコンテンツファイル１０２１〜１０２３に含まれる仮想オブジェクト画像を重ねることにより合成画像を生成し、タッチパネル１０４に表示させる。なお、コンテンツ実行プログラムには、撮影画像に含まれる比較用画像２１Ｃ〜２３Ｃの中心を原点とする何れの座標位置に仮想オブジェクト画像を重ねるかが規定されている。また、撮影画像は上述したように１秒間に所定フレーム数分ずつ撮影されるので、制御部１０１は、それぞれの撮影画像に仮想オブジェクト画像を重ねて合成画像を生成し、タッチパネル１０４に連続表示させる。   During the activation of the story providing application, the control unit 101 confirms, every predetermined time, whether or not the captured image captured by the camera 106 includes a portion that matches the comparison images 21C to 23C. When the control unit 101 confirms that the matching part is included, the control unit 101 refers to the content table 1024 and specifies the content file ID corresponding to the comparison image ID of the comparison images 21C to 23C. , Content files 1021 to 1023 are acquired. When the control unit 101 acquires the content files 1021 to 1023, the control unit 101 executes the content execution program included therein, and superimposes the virtual object image included in the acquired content files 1021 to 1023 on the captured image captured by the camera 106. As a result, a composite image is generated and displayed on the touch panel 104. In the content execution program, it is defined which virtual object image is to be superimposed at which coordinate position with the center of the comparison images 21C to 23C included in the captured image as the origin. Further, as described above, since the photographed images are photographed for a predetermined number of frames per second, the control unit 101 generates a composite image by superimposing virtual object images on the respective photographed images and continuously displays them on the touch panel 104. .

［３．ストーリーボードセット及びストーリー提供アプリの利用方法］
次に、図５乃至７を用いてストーリーボードセット及びストーリー提供アプリの利用方法について説明する。なお、図５は、表示窓１２にマーカー図柄２１が表示された状態のストーリーボード１を、ストーリー提供アプリが起動された携帯端末Ｍのカメラ１０６により撮影した場合における、タッチパネル１０４に表示される画面例を説明するための図である。同様に、図６及び図７は、それぞれ、表示窓１２にマーカー図柄２２、２３が表示された状態のストーリーボード１を、カメラ１０６により撮影した場合におけるタッチパネル１０４に表示される画面例を説明するための図である。 [3. How to use storyboard set and story provision application]
Next, a method for using the storyboard set and the story providing application will be described with reference to FIGS. 5 shows a screen displayed on the touch panel 104 when the storyboard 1 with the marker symbol 21 displayed on the display window 12 is photographed by the camera 106 of the mobile terminal M on which the story providing application is activated. It is a figure for demonstrating an example. Similarly, FIGS. 6 and 7 illustrate examples of screens displayed on the touch panel 104 when the storyboard 1 with the marker symbols 22 and 23 displayed on the display window 12 is captured by the camera 106, respectively. FIG.

まず、ユーザは携帯端末Ｍのストーリー提供アプリを起動させ、カメラ１０６により、表示窓１２がフレーム内に含まれるようにストーリーボード１を撮影しながら、ストーリーボード１にセットしたストーリーシート２をスライドさせる。このとき、携帯端末Ｍの制御部１０１はカメラ１０６により撮影された撮影画像内に比較用画像２１Ｃ〜２３Ｃと一致する部分が含まれているかを所定時間毎に確認する。   First, the user activates the story providing application of the mobile terminal M, and slides the story sheet 2 set on the story board 1 while photographing the story board 1 with the camera 106 so that the display window 12 is included in the frame. . At this time, the control unit 101 of the mobile terminal M checks whether a portion that matches the comparison images 21 </ b> C to 23 </ b> C is included in the captured image captured by the camera 106 every predetermined time.

そして、図５に示すように、表示窓１２にマーカー図柄２１が表示されると、制御部１０１は撮影画像に比較用画像２１Ｃと一致する部分が含まれていることを確認し、比較用画像２１Ｃに対応するコンテンツファイル１０２１を取得する。次いで、制御部１０１は、コンテンツファイル１０２１に含まれるコンテンツ実行プログラムに従って、カメラ１０６により撮影された撮影画像に、コンテンツファイル１０２１に含まれる「音符」を表す仮想オブジェクト画像３Ａ（「音符オブジェクト３Ａ」）を重ねて合成画像を生成し、タッチパネル１０４に表示させる。このとき、連続撮影された撮影画像毎に少しずつ音符オブジェクト３Ａの位置を変化させるアニメーション演出や、音符オブジェクト３Ａを点滅させる点滅演出を加えたり、更には、図示しないスピーカから、お菓子を食べるときに相応しい音楽を出力させたりしてもよい。これらにより、ユーザは、少年が鼻歌を歌いながらお菓子を食べる様子を、タッチパネル１０４等を通して視聴することができる。   Then, as shown in FIG. 5, when the marker symbol 21 is displayed on the display window 12, the control unit 101 confirms that the captured image includes a portion that matches the comparison image 21 </ b> C, and the comparison image The content file 1021 corresponding to 21C is acquired. Next, in accordance with the content execution program included in the content file 1021, the control unit 101 adds a virtual object image 3A (“note object 3A”) representing the “musical note” included in the content file 1021 to the captured image captured by the camera 106. Are superimposed on each other to generate a composite image and display it on the touch panel 104. At this time, an animation effect for changing the position of the note object 3A little by little for each continuously shot image, a blinking effect for blinking the note object 3A, or eating a candy from a speaker (not shown) You may be able to output music suitable for the Thus, the user can watch through the touch panel 104 or the like how the boy eats sweets while singing a nose song.

次いで、ユーザが更にストーリーシート２を右にスライドさせ、図６に示すように、表示窓１２にマーカー図柄２２が表示されると、制御部１０１は撮影画像に比較用画像２２Ｃと一致する部分が含まれていることを確認し、比較用画像２２Ｃに対応するコンテンツファイル１０２２を取得する。次いで、制御部１０１は、コンテンツファイル１０２２に含まれるコンテンツ実行プログラムに従って、カメラ１０６により撮影された撮影画像に、コンテンツファイル１０２２に含まれる「涙」を表す仮想オブジェクト画像３Ｂ（「涙オブジェクト３Ｂ」）及び「星型七角形」を表す仮想オブジェクト画像３Ｃ（「星型七角形オブジェクト３Ｃ」）を重ねて合成画像を生成し、タッチパネル１０４に表示させる。このとき、連続撮影された撮影画像毎に少しずつ、涙オブジェクト３Ｂ及び星型七角形オブジェクト３Ｃの少なくとも何れか一方の位置を変化させるアニメーション演出や点滅させる点滅演出を加えたり、更には、図示しないスピーカから、痛みを表すのに相応しい音楽を出力させたりしてもよい。これらにより、ユーザは、少年が虫歯になって痛がっている様子を、タッチパネル１０４等を通して視聴することができる。   Next, when the user further slides the story sheet 2 to the right and the marker symbol 22 is displayed on the display window 12 as shown in FIG. 6, the control unit 101 has a portion that matches the comparison image 22 </ b> C in the captured image. The content file 1022 corresponding to the comparison image 22C is acquired by confirming that it is included. Next, in accordance with the content execution program included in the content file 1022, the control unit 101 adds a virtual object image 3B (“tears object 3B”) representing “tears” included in the content file 1022 to the captured image captured by the camera 106. And a virtual object image 3 </ b> C representing “star heptagon” (“star heptagon object 3 </ b> C”) is superimposed to generate a composite image and display it on the touch panel 104. At this time, an animation effect for changing the position of at least one of the tear object 3B and the star-shaped heptagon object 3C and a blinking effect for blinking are added little by little for each continuously photographed image. Music suitable for expressing pain may be output from a speaker. Thus, the user can view the state of the boy having a tooth decay and pain through the touch panel 104 or the like.

次いで、ユーザが更にストーリーシート２を右にスライドさせ、図７に示すように、表示窓１２にマーカー図柄２３が表示されると、制御部１０１は撮影画像に比較用画像２３Ｃと一致する部分が含まれていることを確認し、比較用画像２３Ｃに対応するコンテンツファイル１０２３を取得する。次いで、制御部１０１は、コンテンツファイル１０２３に含まれるコンテンツ実行プログラムに従って、カメラ１０６により撮影された撮影画像に、コンテンツファイル１０２３に含まれる「星型四角形」を表す仮想オブジェクト画像３Ｄ（「星型四角形オブジェクト３Ｄ」）を重ねて合成画像を生成し、タッチパネル１０４に表示させる。このとき、連続撮影された撮影画像毎に少しずつ星型四角形オブジェクト３Ｄの位置を変化させるアニメーション演出や点滅させる点滅演出を加えたり、更には、図示しないスピーカから、楽しい様子或いは歯を磨いている様子を表すのに相応しい音楽を出力させたりしてもよい。これらにより、ユーザは、少年が楽しそうに歯を磨いている様子を、タッチパネル１０４等を通して視聴することができる。   Next, when the user further slides the story sheet 2 to the right and the marker symbol 23 is displayed on the display window 12 as shown in FIG. 7, the control unit 101 has a portion that matches the comparison image 23C in the captured image. The content file 1023 corresponding to the comparison image 23 </ b> C is acquired by confirming that it is included. Next, in accordance with the content execution program included in the content file 1023, the control unit 101 adds a virtual object image 3 </ b> D (“star square”) representing the “star square” included in the content file 1023 to the captured image captured by the camera 106. A composite image is generated by superimposing the object 3D ”) and displayed on the touch panel 104. At this time, an animation effect that changes the position of the star-shaped quadrilateral object 3D little by little for each continuously captured image and a blinking effect that blinks are added. It is also possible to output music suitable for expressing the situation. Thus, the user can watch the boy brushing his teeth happily through the touch panel 104 or the like.

［４．携帯端末Ｍの動作例］
次に、図８に示すフローチャートを用いて、ストーリー提供アプリ起動中における携帯端末Ｍの動作例について説明する。なお、図８に示す処理は、携帯端末Ｍの制御部１０１が、ユーザによるストーリー提供アプリを起動させるために操作（「アプリ起動操作」）を検出した場合に開始され、ユーザによるストーリー提供アプリを終了させるための操作（「アプリ終了操作」）、或いは携帯端末Ｍの電源を切断するための操作（「電源オフ操作」）が検出された場合などに終了する。 [4. Example of operation of portable terminal M]
Next, an example of the operation of the mobile terminal M during the activation of the story providing application will be described using the flowchart shown in FIG. The process illustrated in FIG. 8 is started when the control unit 101 of the mobile terminal M detects an operation (“application activation operation”) for activating the story providing application by the user, The process ends when an operation for ending (“application ending operation”) or an operation for turning off the power of the mobile terminal M (“power off operation”) is detected.

まず、携帯端末Ｍの制御部１０１は、アプリ起動操作を検出するとストーリー提供アプリを起動させる（ステップＳ１）。次いで、制御部１０１は、カメラ１０６を起動させる（ステップＳ２）。カメラ１０６が起動すると、カメラ１０６により連続撮影された各撮影画像がタッチパネル１０４に連続表示される。このとき、ユーザはタッチパネル１０４に映し出される画像（映像）を確認しながら、フレーム内に表示窓１２が含まれるように携帯端末Ｍの位置や向きを変位させる。   First, the control part 101 of the portable terminal M will start a story provision application, if application start operation is detected (step S1). Next, the control unit 101 activates the camera 106 (step S2). When the camera 106 is activated, each captured image continuously captured by the camera 106 is continuously displayed on the touch panel 104. At this time, the user displaces the position and orientation of the portable terminal M so that the display window 12 is included in the frame while confirming the image (video) displayed on the touch panel 104.

制御部１０１は、カメラ１０６を起動させると、カメラ１０６により撮影された撮影画像と、各比較用画像２１Ｃ〜２３Ｃを比較し（ステップＳ３）、撮影画像に、何れかの比較用画像２１Ｃ〜２３Ｃが含まれているか否かを判定する（ステップＳ４）。制御部１０１は、撮影画像に、何れの比較用画像２１Ｃ〜２３Ｃも含まれていないと判定した場合には（ステップＳ４：ＮＯ）、ステップＳ３の処理に移行する。一方、制御部１０１は、撮影画像に、何れかの比較用画像２１Ｃ〜２３Ｃが含まれていると判定した場合には（ステップＳ４：ＹＥＳ）、コンテンツファイルテーブル１０２４を参照し、当該含まれていると判定した比較用画像の比較用画像ＩＤに対応するコンテンツファイルＩＤを特定し、当該特定したコンテンツファイルＩＤに基づいてコンテンツファイルを取得する（ステップＳ５）。   When the control unit 101 activates the camera 106, the control unit 101 compares the captured image captured by the camera 106 with each of the comparison images 21 </ b> C to 23 </ b> C (step S <b> 3). Is included (step S4). When it is determined that none of the comparison images 21C to 23C is included in the captured image (step S4: NO), the control unit 101 proceeds to the process of step S3. On the other hand, when the control unit 101 determines that any one of the comparison images 21C to 23C is included in the captured image (step S4: YES), the control unit 101 refers to the content file table 1024 and includes it. The content file ID corresponding to the comparison image ID of the comparison image determined to be present is specified, and the content file is acquired based on the specified content file ID (step S5).

次いで、制御部１０１は、ステップＳ５の処理で取得したコンテンツファイルに含まれるコンテンツ実行プログラムを実行し、仮想オブジェクト画像を撮影画像に重ねて合成画像を生成し、タッチパネル１０４に表示させる（ステップＳ６）。このとき、制御部１０１は、カメラ１０６により連続撮影された各撮影画像に仮想オブジェクト画像を重ねた合成画像を生成し、タッチパネル１０４に連続表示させる。   Next, the control unit 101 executes the content execution program included in the content file acquired in step S5, generates a composite image by superimposing the virtual object image on the captured image, and displays the composite image on the touch panel 104 (step S6). . At this time, the control unit 101 generates a composite image in which the virtual object image is superimposed on each captured image continuously captured by the camera 106 and continuously displays the composite image on the touch panel 104.

次いで、制御部１０１は、その時点で撮影された撮影画像内にステップＳ４の処理で含まれていると判定した比較用画像が未だに含まれているか否かを判定する（ステップＳ７）。制御部１０１は、撮影画像内に比較用画像がまだ含まれていると判定した場合には（ステップＳ７：ＹＥＳ）、ステップＳ７の処理を繰り返す。一方、ストーリーシート２がスライドさせられたなどの理由により、制御部１０１は、撮影画像内に比較用画像が含まれていないと判定した場合には（ステップＳ７：ＮＯ）、ステップＳ３の処理に移行する。   Next, the control unit 101 determines whether or not the comparative image determined to be included in the process of step S4 is still included in the captured image captured at that time (step S7). When it is determined that the comparison image is still included in the captured image (step S7: YES), the control unit 101 repeats the process of step S7. On the other hand, when the control unit 101 determines that the comparison image is not included in the photographed image due to the slide of the story sheet 2 (step S7: NO), the control unit 101 performs the process of step S3. Transition.

以上説明したように、本実施形態のストーリー提供システムは、携帯端末Ｍ（「合成画像表示装置」の一例）と、マーカー図柄２１〜２３（「識別図柄」の一例）を表示するストーリーボードセット（「図柄表示具」の一例）とを有する。携帯端末Ｍの制御部１０１（「識別図柄特定手段」、「仮想オブジェクト画像取得手段」、「合成画像生成手段」、「表示制御部」の一例）は、カメラ１０６（「撮影手段」の一例）により撮影された撮影画像に含まれているマーカー図柄２１〜２３を特定し、当該特定したマーカー図柄２１〜２３に対応する仮想オブジェクトの画像である仮想オブジェクト画像３Ａ〜３Ｄを取得し、当該取得した仮想オブジェクト画像３Ａ〜３Ｄを、マーカー図柄２１〜２３を含む撮影画像に重ねて合成画像を生成し、当該生成した合成画像をタッチパネル１０４（「表示手段」の一例）に表示させる。一方、ストーリーボードセットは、携帯端末Ｍの制御部１０１が特定可能なマーカー図柄２１〜２３が複数描かれたストーリーシート２（「第１部材」の一例）と、ストーリーシート２に描かれたマーカー図柄２１〜２３を表示する表示窓１２を備えるストーリーボード１（「第２部材」の一例）と、を有し、表示窓１２に表示されるマーカー図柄２１〜２３はストーリーシート２の動き（スライド）に伴って変動するようになっている。   As described above, the story providing system according to the present embodiment has a storyboard set (display of an example of “composite image display device”) and a marker board 21 (an example of “identification design”) that displays marker symbols 21 to 23 (an example of “identification symbol”). An example of a “design indicator”. The control unit 101 (an example of “identification symbol specifying unit”, “virtual object image acquisition unit”, “composite image generation unit”, “display control unit”) of the mobile terminal M is a camera 106 (an example of “imaging unit”). The marker symbols 21 to 23 included in the photographed image photographed by the above are specified, virtual object images 3A to 3D that are virtual object images corresponding to the specified marker symbols 21 to 23 are acquired, and the acquired The virtual object images 3A to 3D are superimposed on the captured images including the marker symbols 21 to 23 to generate a composite image, and the generated composite image is displayed on the touch panel 104 (an example of “display unit”). On the other hand, the storyboard set includes a story sheet 2 (an example of “first member”) on which a plurality of marker symbols 21 to 23 that can be specified by the control unit 101 of the mobile terminal M, and a marker drawn on the story sheet 2. And a storyboard 1 (an example of a “second member”) having a display window 12 for displaying the symbols 21 to 23, and the marker symbols 21 to 23 displayed on the display window 12 are movements (slides) of the story sheet 2. ).

したがって、ストーリー提供システムによれば現実世界の画像（撮影画像）に仮想オブジェクト画像３Ａ〜３Ｄを重ねた合成画像がタッチパネル１０４に表示され、当該表示される合成画像の仮想オブジェクト画像３Ａ〜３Ｄはストーリーシート２の動きに伴って変化するので、視聴者の興趣を向上させることができる。   Therefore, according to the story providing system, a composite image obtained by superimposing virtual object images 3A to 3D on a real-world image (photographed image) is displayed on touch panel 104, and virtual object images 3A to 3D of the displayed composite image are stories. Since it changes with the movement of the seat 2, the interest of the viewer can be improved.

また、ストーリーシート２に描かれる複数のマーカー図柄２１〜２３は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す仮想オブジェクト画像３Ａ〜３Ｄと対応するマーカー図柄２１〜２３であり、各マーカー図柄２１〜２３は当該所定のストーリーの進行に応じた順序で描かれており、ストーリーシート２は、当該順序通りにマーカー図柄２１〜２３が表示窓１２に表示されるように動く（スライドする）ようになっている。   Further, the plurality of marker symbols 21 to 23 drawn on the story sheet 2 are marker symbols 21 to 23 corresponding to the virtual object images 3A to 3D representing the respective progression stages according to the progression stages of the predetermined story, respectively. The marker symbols 21 to 23 are drawn in the order according to the progress of the predetermined story, and the story sheet 2 moves so that the marker symbols 21 to 23 are displayed on the display window 12 in accordance with the order (slide). To do).

したがって、タッチパネル１０４に表示される合成画像の仮想オブジェクト画像３Ａ〜３Ｄは、所定のストーリーの各進行段階を表す画像であるとともに、仮想オブジェクト画像３Ａ〜３Ｄが当該所定のストーリーの進行に応じた順序で変化するので、視聴者は所定のストーリーを楽しむことができる。   Therefore, the virtual object images 3A to 3D of the composite image displayed on the touch panel 104 are images representing the progress stages of the predetermined story, and the order in which the virtual object images 3A to 3D correspond to the progress of the predetermined story. Therefore, the viewer can enjoy a predetermined story.

また、ストーリーボード１における表示窓１２の周囲の少なくとも一部には、所定の絵（図柄）の一部が描かれており、ストーリーシート２に描かれるマーカー図柄２１〜２３は、表示窓１２に表示された際、ストーリーボード１に描かれた絵（図柄）の一部とともに所定の絵（図柄）を形成するようになっている。   In addition, a part of a predetermined picture (symbol) is drawn on at least part of the periphery of the display window 12 in the story board 1, and the marker symbols 21 to 23 drawn on the story sheet 2 are displayed on the display window 12. When displayed, a predetermined picture (symbol) is formed together with a part of the picture (symbol) drawn on the story board 1.

したがって、表示窓１２にマーカー図柄２１〜２３が表示された際に所定の絵（図柄）がストーリーボード１に表示されることから、視聴者はストーリーボード１全体を、或いはタッチパネル１０４に表示される合成画像を違和感なく視聴することができる。なお、後述する変形例３で説明するように、マーカー図柄２１〜２３の代わりに２次元コードを用いた場合には、表示窓１２に２次元コードが表示されるので、視聴者に違和感を与える場合があるが、本実施形態では違和感なく視聴させることができる。   Therefore, since the predetermined picture (symbol) is displayed on the storyboard 1 when the marker symbols 21 to 23 are displayed on the display window 12, the viewer displays the entire storyboard 1 or the touch panel 104. The composite image can be viewed without a sense of incongruity. As will be described later in Modification 3, when a two-dimensional code is used in place of the marker symbols 21 to 23, the two-dimensional code is displayed on the display window 12, which makes the viewer feel uncomfortable. Although there is a case, in this embodiment, it is possible to allow viewing without a sense of incongruity.

なお、コンテンツファイル１０２１〜１０２３に含まれるコンテンツ実行プログラムは、撮影画像に仮想オブジェクト画像を重ねた合成画像を表示させた後、所定の条件（例えば、表示開始から所定時間が経過したことという条件、又は、ユーザによる所定の操作が検出されたことという条件など）が満足された場合に、携帯端末Ｍにインストールされているｗｅｂブラウザアプリケーションを起動させ、所定のｗｅｂサイトにアクセスすることとしてもよい。   Note that the content execution program included in the content files 1021 to 1023 displays a composite image obtained by superimposing a virtual object image on a captured image, and then displays a predetermined condition (for example, a condition that a predetermined time has elapsed since the start of display, Alternatively, when a condition that a predetermined operation by the user has been detected is satisfied, a web browser application installed on the mobile terminal M may be activated to access a predetermined web site.

［５．変形例］
次いで、本実施形態の変形例について説明する。なお、変形例の説明では、上述した実施形態との差異点を中心に説明することとし、同様の点については説明を省略する。また、同一の部材については同じ符号を用いて説明する。 [5. Modified example]
Next, a modification of this embodiment will be described. In the description of the modification, the description will focus on differences from the above-described embodiment, and description of similar points will be omitted. The same members will be described using the same reference numerals.

［５．１．変形例１］
［５．１．１．ストーリーボードセットの構成］
まず、図９乃至１２を用いて変形例１について説明する。変形例１におけるストーリーボードセットは、図９（ａ）に示すストーリーボード１Ａと、図９（ｂ）に示すストーリーシート２と、図９（ｃ）に示すストーリーシート４と、を有する。ストーリーボード１Ａは、上記実施形態におけるストーリーボード１を大きくし、新たにストーリーシート４を差し込んで通せるようなスリット１３ＬＳ、１３ＲＳを設けたものであり、スリット１３ＬＳとスリット１３ＲＳの間に表示窓１３が形成されている。 [5.1. Modification 1]
[5.1.1. Storyboard Set Configuration]
First, Modification 1 will be described with reference to FIGS. The storyboard set in the first modification includes a storyboard 1A shown in FIG. 9A, a story sheet 2 shown in FIG. 9B, and a story sheet 4 shown in FIG. 9C. The story board 1A has a larger size than the story board 1 in the above embodiment, and slits 13LS and 13RS are provided so that the story sheet 4 can be inserted and passed through. The display window 13 is provided between the slit 13LS and the slit 13RS. Is formed.

ストーリーシート４にはマーカー図柄４１、４２が印刷されている。ストーリーシート４がストーリーボード１Ａにセットされ、所定の位置にスライドされると、マーカー図柄４１、４２が表示窓１３に表示されるようになっている。なお、マーカー図柄４１、４２は、上記実施形態におけるマーカー図柄２１〜２３とは異なり、絵表示部１１に印刷された絵の一部と組み合わせることにより一つの絵を形成するようにはなっていないが、絵表示部１１に印刷された絵の一部と組み合わせることにより一つの絵を形成するようにしてもよい。   Marker symbols 41 and 42 are printed on the story sheet 4. When the story sheet 4 is set on the story board 1A and slid to a predetermined position, marker symbols 41 and 42 are displayed on the display window 13. In addition, unlike the marker symbols 21 to 23 in the above embodiment, the marker symbols 41 and 42 do not form one picture by combining with a part of the picture printed on the picture display unit 11. However, one picture may be formed by combining with a part of the picture printed on the picture display unit 11.

［５．１．２．携帯端末Ｍの構成］
一方、変形例１における携帯端末Ｍの記憶部１０２には、ストーリーシート４に印刷されたマーカー図柄４１、４２をそれぞれデジタル化した比較用画像４１Ｃ、４２Ｃが記憶されている。また、記憶部１０２には、ストーリー提供アプリの一部として、比較用画像４１Ｃ、４２Ｃにそれぞれ対応するコンテンツファイルが記憶されている。 [5.1.2. Configuration of mobile terminal M]
On the other hand, the storage unit 102 of the mobile terminal M in the first modification stores comparison images 41C and 42C obtained by digitizing the marker symbols 41 and 42 printed on the story sheet 4, respectively. The storage unit 102 stores content files corresponding to the comparison images 41C and 42C, respectively, as part of the story providing application.

また、変形例１における記憶部１０２には、図１０に示すコンテンツテーブル１０２４Ａが記憶されている。コンテンツテーブル１０２４Ａは、撮影画像の一部と一致する比較用画像の数とその種別に応じて、コンテンツファイルを取得できるように、比較用画像ＩＤとコンテンツファイルＩＤとを対応付けている。例えば、撮影画像の一部と一致する比較用画像が比較用画像ＩＤ「PIC0021」の画像一枚である場合には、コンテンツファイルＩＤ「CN0021」のコンテンツファイルが取得されるようになっている。また、撮影画像の一部と一致する比較用画像が比較用画像ＩＤ「PIC0021」、「PIC0041」の二枚である場合には、コンテンツファイルＩＤ「CN0021」、「CN00X1」の２つのコンテンツファイルが取得されるようになっている。   Further, the storage unit 102 according to the first modification stores a content table 1024A illustrated in FIG. In the content table 1024A, the comparison image ID and the content file ID are associated with each other so that the content file can be acquired according to the number and type of the comparison images that match a part of the captured image. For example, when the comparison image that matches a part of the captured image is one image with the comparison image ID “PIC0021”, the content file with the content file ID “CN0021” is acquired. Further, when there are two comparison images with the comparison image IDs “PIC0021” and “PIC0041” that match a part of the captured image, two content files with content file IDs “CN0021” and “CN00X1” are stored. It is supposed to be acquired.

変形例１における制御部１０１は、ストーリー提供アプリの起動中において、カメラ１０６により撮影された撮影画像内に、比較用画像と一致する部分が含まれているかを所定時間毎に確認する。このとき、制御部１０１は、撮影画像内に、比較用画像と一致する部分が２つ（すなわち、表示窓１２及び表示窓１３に対応する部分）あることを確認した場合には、コンテンツテーブル１０２４Ａを参照して、２つのコンテンツファイルを取得する。また、制御部１０１は、２つのコンテンツファイルを取得した場合には、それぞれに含まれるコンテンツ実行プログラムを実行する。なお、撮影画像内に、比較用画像と一致する部分が一つあることを確認した場合については、上記実施形態と同様であるので説明を省略する。   The control unit 101 according to the first modification confirms whether a portion that matches the comparison image is included in the captured image captured by the camera 106 during the activation of the story providing application at predetermined time intervals. At this time, when the control unit 101 confirms that there are two portions (that is, portions corresponding to the display window 12 and the display window 13) that match the comparison image in the captured image, the content table 1024A. To obtain two content files. In addition, when two content files are acquired, the control unit 101 executes a content execution program included in each of the content files. In addition, since it is the same as that of the said embodiment about the case where it confirms that there exists one part which corresponds with the image for a comparison in a picked-up image, description is abbreviate | omitted.

［５．１．３．ストーリーボードセット及びストーリー提供アプリの利用方法］
次に、図１１及び図１２を用いて、変形例１におけるストーリーボードセット及びストーリー提供アプリの利用方法について説明する。なお、図１１は、表示窓１２にマーカー図柄２２が表示され、表示窓１３にマーカー図柄４１が表示された状態のストーリーボード１Ａを、ストーリー提供アプリが起動された携帯端末Ｍのカメラ１０６により撮影した場合における、タッチパネル１０４に表示される画面例を説明するための図である。同様に、図１２は、表示窓１３にマーカー図柄４２が表示された状態のストーリーボード１Ａを、カメラ１０６により撮影した場合における、タッチパネル１０４に表示される画面例を説明するための図である。 [5.1.3. How to use storyboard set and story provision application]
Next, the usage method of the storyboard set and the story providing application in the first modification will be described with reference to FIGS. 11 and 12. In FIG. 11, the story board 1A in which the marker symbol 22 is displayed on the display window 12 and the marker symbol 41 is displayed on the display window 13 is photographed by the camera 106 of the mobile terminal M on which the story providing application is activated. It is a figure for demonstrating the example of a screen displayed on the touch panel 104 in the case of having performed. Similarly, FIG. 12 is a diagram for explaining an example of a screen displayed on the touch panel 104 when the storyboard 1A in a state where the marker symbol 42 is displayed on the display window 13 is photographed by the camera 106.

図１１に示すように、表示窓１２にマーカー図柄２２が表示されるとともに、表示窓１３にマーカー図柄４１が表示されると、制御部１０１は、撮影画像内にこれらに対応する比較用画像が含まれていることを確認し、コンテンツテーブル１０２４Ａを参照して、それぞれの比較用画像ＩＤ「PIC0022」、「PIC0041」に基づいてコンテンツファイルＩＤ「CN0022」及び「CN00Y1」を特定し、コンテンツファイルを取得する。そして、制御部１０１は、コンテンツファイルＩＤが「CN0022」であるコンテンツファイル１０２２に基づいて涙オブジェクト３Ｂ及び星型七角形オブジェクト３Ｃを撮影画像に重ねるとともに、コンテンツファイルＩＤが「CN00Y1」であるコンテンツファイルに基づいて「虫歯メッセージ」を表す仮想オブジェクト画像３Ｅ（「虫歯メッセージオブジェクト３Ｅ」）を撮影画像に重ねて、タッチパネル１０４に表示させる。   As shown in FIG. 11, when the marker symbol 22 is displayed on the display window 12 and the marker symbol 41 is displayed on the display window 13, the control unit 101 displays a comparison image corresponding to these in the captured image. The content file IDs “CN0022” and “CN00Y1” are specified based on the respective comparison image IDs “PIC0022” and “PIC0041” with reference to the content table 1024A, and the content file is identified. get. Then, the control unit 101 superimposes the tear object 3B and the star-shaped heptagon object 3C on the captured image based on the content file 1022 whose content file ID is “CN0022”, and the content file whose content file ID is “CN00Y1”. Based on the above, a virtual object image 3E representing a “tooth decay message” (“tooth decay message object 3E”) is superimposed on the photographed image and displayed on the touch panel 104.

次いで、ユーザが更にストーリーシート４を右にスライドさせ、図１２に示すように、表示窓１２にマーカー図柄２２が表示されるとともに、表示窓１３にマーカー図柄４２が表示されると、制御部１０１は、撮影画像内にマーカー図柄２２に対応する比較用画像（比較用画像ＩＤ：「PIC0022」）及びマーカー図柄４２に対応する比較用画像（比較用画像ＩＤ：「PIC0042」）が含まれていることを確認し、コンテンツテーブル１０２４Ａを参照して、それぞれの比較用画像ＩＤ「PIC0022」、「PIC0042」に基づいてコンテンツファイルＩＤ「CN0022」及び「CN00Y2」を特定し、コンテンツファイルを取得する。そして、制御部１０１は、コンテンツファイルＩＤが「CN0022」であるコンテンツファイル１０２２に基づいて涙オブジェクト３Ｂ及び星型七角形オブジェクト３Ｃを撮影画像に重ねるとともに、コンテンツファイルＩＤが「CN00Y2」であるコンテンツファイルに基づいて「歯磨きメッセージ」を表す仮想オブジェクト画像３Ｆ（「歯磨きメッセージオブジェクト３Ｆ」）を撮影画像に重ねて合成画像を生成し、タッチパネル１０４に表示させる。   Next, when the user further slides the story sheet 4 to the right and the marker symbol 22 is displayed on the display window 12 and the marker symbol 42 is displayed on the display window 13 as shown in FIG. Includes a comparison image (comparison image ID: “PIC0022”) corresponding to the marker symbol 22 and a comparison image (comparison image ID: “PIC0042”) corresponding to the marker symbol 42 in the photographed image. After confirming this, the content file IDs “CN0022” and “CN00Y2” are specified based on the comparison image IDs “PIC0022” and “PIC0042” with reference to the content table 1024A, and the content file is acquired. Then, the control unit 101 superimposes the tear object 3B and the star-shaped heptagon object 3C on the photographed image based on the content file 1022 whose content file ID is “CN0022”, and the content file whose content file ID is “CN00Y2”. Based on the above, a virtual object image 3F representing “toothpaste message” (“toothpaste message object 3F”) is superimposed on the photographed image to generate a composite image and displayed on the touch panel 104.

このように変形例１では、表示窓１２及び表示窓１３にそれぞれ表示されたマーカー図柄の組合せによって、それぞれ異なるメッセージを表す仮想オブジェクト画像が撮影画像に重ねられるようになっている。すなわち、多種多様な仮想オブジェクト画像を撮影画像に重ねることができ、ユーザに提供するストーリーを多様化させることができる。   As described above, in the first modification, the virtual object images representing different messages are superimposed on the captured image by the combination of the marker symbols displayed on the display window 12 and the display window 13, respectively. That is, a variety of virtual object images can be superimposed on the captured image, and the story provided to the user can be diversified.

なお、変形例１では、撮影画像内に比較用画像と一致する部分が２つある場合に、それぞれに対応するコンテンツファイルを取得することとしたが、両者のコンテンツファイルの機能を統合したコンテンツファイルを作成し、２つの比較用画像ＩＤに基づいて当該統合した一つのコンテンツファイルを取得するようにしてもよい。この場合、制御部１０１は、２つのコンテンツファイルに含まれる各コンテンツ実行プログラムを実行する必要が無く、統合された一つのコンテンツファイルに含まれる各コンテンツ実行プログラムを実行すればよい。   In the first modification, when there are two portions in the captured image that match the comparison image, the corresponding content file is acquired. However, the content file in which the functions of both content files are integrated is obtained. And one integrated content file may be acquired based on the two comparison image IDs. In this case, the control unit 101 does not need to execute each content execution program included in the two content files, and may execute each content execution program included in one integrated content file.

また、携帯端末Ｍの制御部１０１の処理に関して、変形例１と上述した実施形態との主な差異点は、カメラ１０６により撮影された撮影画像内に、比較用画像と一致する部分が２つある場合に、それらの組合せに基づいてコンテンツファイルを取得する点である。   Further, regarding the processing of the control unit 101 of the mobile terminal M, the main difference between the modified example 1 and the above-described embodiment is that there are two portions in the captured image captured by the camera 106 that match the comparative image. In some cases, the content file is acquired based on the combination thereof.

［５．２．変形例２］
次に、変形例２について説明する。変形例２におけるストーリーボードセットは、図１３（ａ）に示すように、表示窓１４が設けられたストーリーボード１Ｂと、ストーリーボード１Ｂの裏側にピンＰにより回転可能に取り付けられたストーリーシート５とを有する。図１３（ｂ）に示すように、ストーリーシート５は円形であり、マーカー図柄５１〜５４が表示窓１４から視認できるように、中心から所定距離の位置に印刷されている。なお、図１３（ａ）では、ストーリーボード１Ｂの絵表示部１１Ｂに印刷された絵を図示することを省略しているが、実際には絵表示部１１Ｂには絵が印刷されているものとする。 [5.2. Modification 2]
Next, Modification 2 will be described. As shown in FIG. 13A, the storyboard set in Modification 2 includes a storyboard 1B provided with a display window 14, and a story sheet 5 rotatably attached to the back side of the storyboard 1B by a pin P. Have As shown in FIG. 13B, the story sheet 5 is circular, and is printed at a predetermined distance from the center so that the marker symbols 51 to 54 are visible from the display window 14. In FIG. 13A, illustration of a picture printed on the picture display unit 11B of the storyboard 1B is omitted, but in practice, a picture is printed on the picture display unit 11B. To do.

変形例２における携帯端末Ｍの構成及び動作については、上記実施形態と同様なので詳細な説明は省略するが、携帯端末Ｍの記憶部１０２には、マーカー図柄５１〜５４にそれぞれ対応する比較用画像及びコンテンツファイルが記憶されている。そして、携帯端末Ｍの制御部１０１は、カメラ１０６により撮影された撮影画像に記憶部１０２に記憶された比較用画像と一致する部分が含まれているかを確認し、含まれている場合には当該比較用画像に対応するコンテンツファイルを取得し、コンテンツ実行プログラムを実行するようになっている。   Since the configuration and operation of the mobile terminal M in Modification 2 are the same as in the above embodiment, a detailed description thereof will be omitted, but the storage unit 102 of the mobile terminal M has comparative images corresponding to the marker symbols 51 to 54, respectively. And content files are stored. Then, the control unit 101 of the portable terminal M confirms whether or not the captured image captured by the camera 106 includes a portion that matches the comparison image stored in the storage unit 102. A content file corresponding to the comparison image is acquired and a content execution program is executed.

変形例２におけるストーリーボードセットにおいては、ユーザはカメラ１０６により表示窓がフレーム内に含まれるように撮影しながら、ストーリーシート５を回転させる。これにより、表示窓１４内にマーカー図柄５１〜５４が表示された際、携帯端末Ｍのタッチパネル１０４には、カメラ１０６により撮影された撮影画像に、マーカー図柄５１〜５４に対応する仮想オブジェクト画像が重ねられて表示される。   In the storyboard set according to the second modification, the user rotates the story sheet 5 while photographing so that the display window is included in the frame by the camera 106. Thereby, when the marker symbols 51 to 54 are displayed in the display window 14, the virtual object image corresponding to the marker symbols 51 to 54 is displayed on the touch panel 104 of the mobile terminal M on the captured image captured by the camera 106. Overlaid and displayed.

［５．３．変形例３］
次に、変形例３について説明する。上記実施形態では、ストーリーシート２に絵柄を表したマーカー図柄２１〜２３を印刷しておき、携帯端末Ｍの制御部１０１がマーカー図柄２１〜２３に対応する仮想オブジェクト画像を撮影画像に重ねることとしていたが、変形例３では、絵柄を表したマーカー図柄２１〜２３の代わりに２次元コードを用いることとする。変形例３における２次元コードは、コンテンツファイルＩＤを所定の規則に従ってエンコードすることにより得られ、所定の規則に従ってデコードすることにより元のコンテンツファイルＩＤを取得可能な２次元コードである。このような２次元コードとしては、公知の２次元コードを用いることができ、例えば「Cyber Code（登録商標）」を用いることができる。 [5.3. Modification 3]
Next, Modification 3 will be described. In the above embodiment, the marker symbols 21 to 23 representing the patterns are printed on the story sheet 2, and the control unit 101 of the mobile terminal M superimposes the virtual object images corresponding to the marker symbols 21 to 23 on the captured image. However, in the third modification, a two-dimensional code is used instead of the marker symbols 21 to 23 representing the symbols. The two-dimensional code in the third modification is a two-dimensional code that is obtained by encoding the content file ID according to a predetermined rule, and can acquire the original content file ID by decoding it according to the predetermined rule. As such a two-dimensional code, a known two-dimensional code can be used, and for example, “Cyber Code (registered trademark)” can be used.

［５．３．１．携帯端末Ｍの構成］
変形例３において、携帯端末Ｍにインストールされるストーリー提供アプリには、ストーリーシート２に印刷された２次元コードをデコードし、元のコンテンツファイルＩＤを取得するための２次元コード解析プログラムが組み込まれている。また、携帯端末Ｍの制御部１０１は、２次元コード解析プログラムを実行し、カメラ１０６により撮影された撮影画像に含まれる２次元コードからコンテンツファイルＩＤを取得すると、当該取得したコンテンツファイルＩＤに対応するコンテンツファイルを記憶部１０２にて検索する。制御部１０１は、記憶部１０２にコンテンツファイルＩＤに対応するコンテンツファイルが記憶されていない場合には、通信部１０３を介して、図示しない所定のコンテンツサーバにアクセスし、コンテンツファイルＩＤに対応するコンテンツファイルをダウンロードする。なお、このとき、制御部１０１は、ダウンロード対象のコンテンツファイルに関連するコンテンツファイル（例えば、ダウンロード対象のコンテンツファイルに対応する２次元コードが印刷されたストーリーシートに含まれる他の２次元コードに対応するコンテンツファイル）も併せて一括ダウンロードすることとする。これにより、携帯端末Ｍがコンテンツサーバに繰り返しアクセスする必要がなくなる。 [5.3.1. Configuration of mobile terminal M]
In the third modification, the story providing application installed in the mobile terminal M incorporates a two-dimensional code analysis program for decoding the two-dimensional code printed on the story sheet 2 and acquiring the original content file ID. ing. When the control unit 101 of the mobile terminal M executes the two-dimensional code analysis program and acquires the content file ID from the two-dimensional code included in the captured image captured by the camera 106, the control unit 101 corresponds to the acquired content file ID. The content file to be searched is searched in the storage unit 102. When the content file corresponding to the content file ID is not stored in the storage unit 102, the control unit 101 accesses a predetermined content server (not shown) via the communication unit 103, and the content corresponding to the content file ID Download the file. At this time, the control unit 101 corresponds to a content file related to the content file to be downloaded (for example, another 2D code included in the story sheet on which the 2D code corresponding to the content file to be downloaded is printed). Content files) to be downloaded together. This eliminates the need for the mobile terminal M to repeatedly access the content server.

［５．３．２．携帯端末Ｍの動作例］
次に、図１４に示すフローチャートを用いて、ストーリー提供アプリ起動中における携帯端末Ｍの動作例について説明する。なお、図１４に示す処理は、携帯端末Ｍの制御部１０１が、ユーザによるアプリ起動操作を検出した場合に開始され、ユーザによるアプリ終了操作或いは電源オフ操作が検出された場合などに終了する。 [5.3.2. Example of operation of portable terminal M]
Next, an operation example of the mobile terminal M during the activation of the story providing application will be described using the flowchart shown in FIG. The process illustrated in FIG. 14 is started when the control unit 101 of the mobile terminal M detects an application activation operation by the user, and ends when an application end operation or a power-off operation by the user is detected.

まず、携帯端末Ｍの制御部１０１は、アプリ起動操作を検出するとストーリー提供アプリを起動させる（ステップＳ１０１）。次いで、制御部１０１は、カメラ１０６を起動させる（ステップＳ１０２）。   First, the control part 101 of the portable terminal M will start a story provision application, if application start operation is detected (step S101). Next, the control unit 101 activates the camera 106 (step S102).

次いで、制御部１０１は、カメラ１０６により撮影された撮影画像を解析し（ステップＳ１０３）、撮影画像にデコード可能な２次元コードが含まれているか否かを判定する（ステップＳ１０４）。制御部１０１は、撮影画像にデコード可能な２次元コードが含まれていないと判定した場合には（ステップＳ１０４：ＮＯ）、ステップＳ１０３の処理に移行する。一方、制御部１０１は、撮影画像にデコード可能な２次元コードが含まれていると判定した場合には（ステップＳ１０４：ＹＥＳ）、２次元コードからコンテンツファイルＩＤを取得する（ステップＳ１０５）。   Next, the control unit 101 analyzes the captured image captured by the camera 106 (step S103), and determines whether or not the captured image includes a two-dimensional code that can be decoded (step S104). When the control unit 101 determines that the two-dimensional code that can be decoded is not included in the captured image (step S104: NO), the control unit 101 proceeds to the process of step S103. On the other hand, when it is determined that the captured image includes a two-dimensional code that can be decoded (step S104: YES), the control unit 101 acquires a content file ID from the two-dimensional code (step S105).

次いで、制御部１０１は、取得したコンテンツファイルＩＤに対応するコンテンツファイルを記憶部１０２に記憶されているコンテンツファイルの中から検索する（ステップＳ１０６）。次いで、制御部１０１は、コンテンツファイルが見つかったか否かを判定し（ステップＳ１０７）、見つかった場合には（ステップＳ１０７：ＹＥＳ）、ステップＳ１０９の処理に移行する。一方、制御部１０１は、コンテンツファイルが見つからなかった場合には（ステップＳ１０７：ＮＯ）、コンテンツサーバにアクセスし、ステップＳ１０５の処理で取得したコンテンツファイルＩＤに対応するコンテンツファイルをダウンロードする（ステップＳ１０８）。   Next, the control unit 101 searches the content file stored in the storage unit 102 for a content file corresponding to the acquired content file ID (step S106). Next, the control unit 101 determines whether or not a content file has been found (step S107). If it is found (step S107: YES), the process proceeds to step S109. On the other hand, when the content file is not found (step S107: NO), the control unit 101 accesses the content server and downloads the content file corresponding to the content file ID acquired in the process of step S105 (step S108). ).

次いで、制御部１０１は、ステップＳ１０６の処理で検索したコンテンツファイル、又は、ステップＳ１０８の処理でダウンロードしたコンテンツファイルに含まれるコンテンツ実行プログラムを実行し、仮想オブジェクト画像を、撮影画像に重ねて合成画像を生成し、タッチパネル１０４に表示させる（ステップＳ１０９）。   Next, the control unit 101 executes the content execution program included in the content file searched in the process of step S106 or the content file downloaded in the process of step S108, and superimposes the virtual object image on the photographed image to form a composite image. Is generated and displayed on the touch panel 104 (step S109).

次いで、制御部１０１は、その時点で撮影された撮影画像内にステップＳ１０４の処理でデコード可能と判定した２次元コードが含まれているか否かを判定する（ステップＳ１１０）。制御部１０１は、撮影画像内にデコード可能と判定した２次元コードが含まれていると判定した場合には（ステップＳ１１０：ＹＥＳ）、ステップＳ１１０の処理を繰り返す。一方、制御部１０１は、撮影画像内にデコード可能と判定した２次元コードが含まれていないと判定した場合には（ステップＳ１１０：ＮＯ）、ステップＳ１０３の処理に移行する。   Next, the control unit 101 determines whether or not the two-dimensional code determined to be decodable in the process of step S104 is included in the captured image captured at that time (step S110). If the control unit 101 determines that the two-dimensional code determined to be decodable is included in the captured image (step S110: YES), the control unit 101 repeats the process of step S110. On the other hand, when the control unit 101 determines that the two-dimensional code determined to be decodable is not included in the captured image (step S110: NO), the control unit 101 proceeds to the process of step S103.

以上説明した変形例３においては、携帯端末Ｍの記憶部１０２（「仮想オブジェクト画像記憶手段」の一例）は、２次元コード（「識別図柄」の一例）に対応するコンテンツファイルを記憶し、制御部１０１は、撮影画像に含まれる２次元コードに対応するコンテンツファイルが記憶部１０２に記憶されていない場合に、コンテンツサーバ（「所定のサーバ装置」の一例）から当該２次元コードに対応するコンテンツファイルをダウンロードする。   In the modified example 3 described above, the storage unit 102 (an example of “virtual object image storage unit”) of the mobile terminal M stores a content file corresponding to a two-dimensional code (an example of “identification symbol”) and performs control. When the content file corresponding to the two-dimensional code included in the photographed image is not stored in the storage unit 102, the unit 101 receives content corresponding to the two-dimensional code from the content server (an example of “predetermined server device”). Download the file.

したがって変形例３によれば、携帯端末Ｍはコンテンツファイルが記憶部１０２に記憶されていない場合であっても、合成画像を生成し表示させることができる。また、記憶部１０２に全ての２次元コードに対応するコンテンツファイルを記憶させなくてもよいので、記憶部１０２の記憶領域を節約することができる。   Therefore, according to the modification 3, the portable terminal M can generate and display a composite image even when the content file is not stored in the storage unit 102. Further, since it is not necessary to store content files corresponding to all two-dimensional codes in the storage unit 102, the storage area of the storage unit 102 can be saved.

［５．４．変形例４］
次に、変形例４について説明する。上記実施形態では、携帯端末Ｍが、カメラ１０６により撮影された撮影画像に含まれるマーカー図柄２１〜２３（比較用画像２１Ｃ〜２３Ｃ）に基づいて対応するコンテンツファイルを取得し、当該撮影画像に仮想オブジェクト画像を重ねて合成画像を生成し、タッチパネル１０４に表示させることとしたが、変形例４では、仮想オブジェクト画像を重ねる処理などの一部の処理を、ネットワークを介して接続可能なコンテンツ処理サーバに行わせることとする。 [5.4. Modification 4]
Next, Modification 4 will be described. In the above embodiment, the mobile terminal M acquires the corresponding content file based on the marker symbols 21 to 23 (comparison images 21C to 23C) included in the photographed image photographed by the camera 106, and virtually captures the photographed image. Although a composite image is generated by superimposing object images and displayed on the touch panel 104, in the fourth modification, a part of processing such as processing for superimposing virtual object images can be connected via a network. Let's do it.

ここで、変形例４におけるコンテンツ処理サーバＳＶについて説明する。図１５に示すように変形例４におけるコンテンツ処理サーバＳＶは、制御部１２１、記憶部１２２、及び通信部１２３を有している。通信部１２３は、ネットワークを介した携帯端末Ｍとの通信に関する制御等を行う。   Here, the content processing server SV in the modified example 4 will be described. As shown in FIG. 15, the content processing server SV in the fourth modification includes a control unit 121, a storage unit 122, and a communication unit 123. The communication unit 123 performs control related to communication with the mobile terminal M via the network.

記憶部１２２には、比較用画像２１Ｃ〜２３Ｃや、各比較用画像にそれぞれ対応する仮想オブジェクト画像と、各比較用画像にそれぞれ対応するストーリーを表す文章テキストが記憶されている。   The storage unit 122 stores comparison images 21C to 23C, virtual object images corresponding to the respective comparison images, and sentence text representing stories corresponding to the respective comparison images.

制御部１２１は、携帯端末Ｍから撮影画像が添付されたＥメールを受け付ける。次いで、制御部１２１は、受信したＥメールに添付された撮影画像に比較用画像２１Ｃ〜２３Ｃと一致する部分が含まれているか否かを判定し、含まれていると判定した場合には、当該一致した比較用画像に対応する仮想オブジェクト画像を撮影画像に重ねて合成画像を生成する画像合成処理を行う。次いで、制御部１２１は、一致した比較用画像２１Ｃ〜２３Ｃに対応する文章テキストを本文とする返信Ｅメールを作成し、画像合成処理により生成した合成画像を添付して、送信元の携帯端末Ｍに送信する。   The control unit 121 accepts an e-mail attached with a captured image from the mobile terminal M. Next, the control unit 121 determines whether or not the captured image attached to the received e-mail includes a portion that matches the comparison images 21C to 23C. An image synthesis process is performed in which a virtual object image corresponding to the matching comparison image is superimposed on the captured image to generate a synthesized image. Next, the control unit 121 creates a reply e-mail with the text text corresponding to the matched comparison images 21C to 23C as the body, attaches the synthesized image generated by the image synthesizing process, and sends the source mobile terminal M Send to.

一方、変形例４における携帯端末Ｍの制御部１０１は、ユーザの操作に基づいて撮影されたマーカー図柄２１〜２３を含む撮影画像を、Ｅメールに添付してコンテンツ処理サーバＳＶに送信する。すると、コンテンツ処理サーバＳＶから返信Ｅメールが送信されるので、携帯端末Ｍの制御部１０１は、ユーザの操作に基づいて、返信Ｅメールの本文や、返信Ｅメールに添付されている合成画像をタッチパネル１０４に表示させる。   On the other hand, the control unit 101 of the mobile terminal M in the modified example 4 transmits the captured image including the marker symbols 21 to 23 captured based on the user's operation to the content processing server SV as an email attachment. Then, since a reply e-mail is transmitted from the content processing server SV, the control unit 101 of the mobile terminal M displays the text of the reply e-mail or the composite image attached to the reply e-mail based on the user's operation. It is displayed on the touch panel 104.

すなわち、変形例４におけるストーリー提供システムは、携帯端末Ｍ（「合成画像表示装置」の一例）と、コンテンツ処理サーバＳＶ（「合成画像生成サーバ」の一例）と、マーカー図柄２１〜２３（「識別図柄」の一例）を表示するストーリーボードセットとを有する。携帯端末Ｍの制御部１０１（「撮影画像送信手段」、「合成画像受信手段」、「表示制御部」の一例）は、カメラ１０６（「撮影手段」の一例）により撮影された撮影画像をコンテンツ処理サーバＳＶに送信し、コンテンツ処理サーバＳＶが生成した合成画像をコンテンツ処理サーバＳＶから受信し、当該受信した合成画像をタッチパネル１０４（「表示手段」の一例）に表示させる。また、コンテンツ処理サーバＳＶの制御部１２１（「識別図柄特定手段」、「仮想オブジェクト画像取得手段」、「合成画像生成手段」、「合成画像送信手段」の一例）は、携帯端末Ｍから受信した撮影画像に含まれているマーカー図柄２１〜２３を特定し、特定したマーカー図柄２１〜２３に対応する仮想オブジェクト画像を取得し、当該取得した仮想オブジェクト画像を、マーカー図柄２１〜２３を含む撮影画像に重ねて合成画像を生成し、当該生成した合成画像を携帯端末Ｍに送信する。さらに、ストーリーボードセットは、コンテンツ処理サーバＳＶの制御部１２１が特定可能なマーカー図柄２１〜２３が複数描かれたストーリーシート２（「第１部材」の一例）と、ストーリーシート２に描かれたマーカー図柄２１〜２３を表示する表示窓１２を備えるストーリーボード１（「第２部材」の一例）と、を有し、表示窓１２に表示されるマーカー図柄２１〜２３はストーリーシート２の動き（スライド）に伴って変動するようになっている。   That is, the story providing system in the fourth modification includes a mobile terminal M (an example of “composite image display device”), a content processing server SV (an example of “composite image generation server”), and marker symbols 21 to 23 (“identification”). A storyboard set that displays an example of “design”. The control unit 101 (an example of “captured image transmission unit”, “composite image reception unit”, and “display control unit”) of the portable terminal M uses a captured image captured by the camera 106 (an example of “imaging unit”) as content. The composite image generated by the content processing server SV is received from the content processing server SV, and the received composite image is displayed on the touch panel 104 (an example of “display unit”). Further, the control unit 121 (an example of “identification symbol specifying unit”, “virtual object image acquisition unit”, “composite image generation unit”, “composite image transmission unit”) of the content processing server SV receives from the mobile terminal M. The marker designs 21 to 23 included in the captured image are specified, the virtual object images corresponding to the specified marker designs 21 to 23 are acquired, and the acquired virtual object images are used as the captured images including the marker designs 21 to 23. A composite image is generated by superimposing on the mobile phone M, and the generated composite image is transmitted to the mobile terminal M. Furthermore, the storyboard set is drawn on the story sheet 2 (an example of “first member”) in which a plurality of marker symbols 21 to 23 that can be specified by the control unit 121 of the content processing server SV are drawn, and the story sheet 2 The story board 1 (an example of “second member”) having a display window 12 for displaying the marker symbols 21 to 23, and the marker symbols 21 to 23 displayed on the display window 12 are movements of the story sheet 2 ( (Slides).

このように、変形例４においては、携帯端末Ｍの制御部１０１の代わりに、コンテンツ処理サーバＳＶの制御部１２１が画像合成処理を行うことにより、処理能力の低い携帯端末Ｍであっても仮想オブジェクト画像が重ねられた合成画像をタッチパネル１０４に表示することができる。   As described above, in the fourth modification, instead of the control unit 101 of the mobile terminal M, the control unit 121 of the content processing server SV performs the image composition process, so that even the mobile terminal M with low processing capability is virtual. A composite image in which object images are superimposed can be displayed on the touch panel 104.

なお、変形例４において、コンテンツ処理サーバＳＶの制御部１２１は、画像合成処理により生成された合成画像を返信Ｅメールに添付するのではなく、記憶部１２２に記憶させておくこととし、当該記憶された位置を示すＵＲＬ（Uniform Resource Locator）を返信Ｅメールに記述して送信することとしてもよい。この場合、携帯端末Ｍの制御部１０１は、ユーザの操作に基づいて、返信Ｅメールに記述されたＵＲＬを用いて記憶部１２２にアクセスし、合成画像をダウンロードすることとなる。   In the fourth modification, the control unit 121 of the content processing server SV stores the synthesized image generated by the image synthesizing process in the storage unit 122 instead of attaching it to the reply e-mail. A URL (Uniform Resource Locator) indicating the position may be described in a reply e-mail and transmitted. In this case, the control unit 101 of the mobile terminal M accesses the storage unit 122 using the URL described in the reply e-mail and downloads the composite image based on the user's operation.

また、変形例４において、コンテンツ処理サーバＳＶの制御部１２１が行う処理は、複数のサーバで分担して行うこととしてもよい。例えば、携帯端末Ｍとの間でＥメールを送受信するサーバ、画像合成処理を行うサーバ、返信ＥメールにＵＲＬを記述する場合における合成画像を記憶するサーバなどに分担することができる。   In the fourth modification, the process performed by the control unit 121 of the content processing server SV may be shared by a plurality of servers. For example, it can be shared with a server that transmits / receives e-mail to / from the mobile terminal M, a server that performs image composition processing, a server that stores a composite image when a URL is described in a reply e-mail, and the like.

１、１Ａ、１Ｂ ストーリーボード
１１ 絵表示部
１２、１３、１４ 表示窓
２、４、５ ストーリーシート
２１〜２３、４１、４２ マーカー図柄
Ｍ 携帯端末
１０１ 制御部
１０２ 記憶部
２１Ｃ〜２３Ｃ 比較用画像
１０２１〜１０２３ コンテンツファイル
１０２４、１０２４Ａ コンテンツテーブル
１０３ 通信部
１０４ タッチパネル
１０５ ボタン操作部
１０６ カメラ
３Ａ〜３Ｆ 仮想オブジェクト画像
ＳＶ コンテンツ処理サーバ
１２１ 制御部
１２２ 記憶部
１２３ 通信部 1, 1A, 1B Storyboard 11 Picture display unit 12, 13, 14 Display window 2, 4, 5 Story sheet 21-23, 41, 42 Marker symbol M Mobile terminal 101 Control unit 102 Storage unit 21C-23C Comparison image 1021 -1023 Content file 1024, 1024A Content table 103 Communication unit 104 Touch panel 105 Button operation unit 106 Camera 3A-3F Virtual object image SV Content processing server 121 Control unit 122 Storage unit 123 Communication unit

Claims (9)

撮影手段と、
前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、
前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、
前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、
前記生成された合成画像を表示手段に表示させる表示制御部と、
を備える合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第１部材と、
前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、
を有する図柄表示具であって、
前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする図柄表示具。 Photographing means;
An identification symbol specifying means for specifying an identification symbol included in a photographed image photographed by the photographing means;
Virtual object image acquisition means for acquiring a virtual object image that is an image of a virtual object corresponding to the identified identification symbol;
A composite image generating means for generating a composite image by superimposing the acquired virtual object image on a captured image including the identification symbol;
A display control unit for displaying the generated composite image on a display unit;
A first member on which a plurality of the identification symbols that can be identified by the identification symbol identification means in a composite image display device comprising:
A second member comprising a display window for displaying the identification symbol drawn on the first member;
A design indicator having
The symbol display tool, wherein the identification symbol displayed on the display window varies with the movement of the first member. 請求項１に記載の図柄表示具であって、
前記第１部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、
前記第１部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする図柄表示具。 The symbol display tool according to claim 1,
The plurality of identification symbols drawn on the first member are identification symbols corresponding to the virtual object images representing the respective progress stages according to the progress stages of the predetermined story, respectively. It is drawn in order according to the progress,
The said 1st member moves so that the said identification symbol may be displayed on the said display window according to the said order. 請求項１又は２に記載の図柄表示具であって、
前記第２部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、
前記第１部材に描かれる識別図柄は、前記表示窓に表示された際、前記第２部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする図柄表示具。 The symbol display tool according to claim 1 or 2,
A part of a predetermined pattern is drawn on at least a part of the periphery of the display window in the second member,
When the identification symbol drawn on the first member is displayed on the display window, the symbol display tool forms the predetermined symbol together with a part of the symbol drawn on the second member. 合成画像表示装置と、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、
前記合成画像表示装置は、
撮影手段と、
前記撮影手段により撮影された撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、
前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、
前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、
前記生成された合成画像を表示手段に表示させる表示制御部と、
を備え、
前記図柄表示具は、
前記合成画像表示装置における前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第１部材と、
前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、
を有し、
前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする合成画像表示システム。 A composite image display system having a composite image display device and a design display for displaying an identification design,
The composite image display device includes:
Photographing means;
An identification symbol specifying means for specifying an identification symbol included in a photographed image photographed by the photographing means;
Virtual object image acquisition means for acquiring a virtual object image that is an image of a virtual object corresponding to the identified identification symbol;
A composite image generating means for generating a composite image by superimposing the acquired virtual object image on a captured image including the identification symbol;
A display control unit for displaying the generated composite image on a display unit;
With
The design indicator is
A first member on which a plurality of the identification symbols that can be identified by the identification symbol identification means in the composite image display device are drawn;
A second member comprising a display window for displaying the identification symbol drawn on the first member;
Have
The composite image display system, wherein the identification symbol displayed on the display window varies with the movement of the first member. 請求項４に記載の合成画像表示システムであって、
前記第１部材に描かれる複数の識別図柄は、それぞれ所定のストーリーの進行段階に応じた、各進行段階を表す前記仮想オブジェクト画像と対応する識別図柄であり、各識別図柄は当該所定のストーリーの進行に応じた順序で描かれており、
前記第１部材は、前記順序通りに前記識別図柄が前記表示窓に表示されるように動くことを特徴とする合成画像表示システム。 The composite image display system according to claim 4,
The plurality of identification symbols drawn on the first member are identification symbols corresponding to the virtual object images representing the respective progress stages according to the progress stages of the predetermined story, respectively. It is drawn in order according to the progress,
The composite image display system, wherein the first member moves so that the identification symbol is displayed on the display window in the order. 請求項４又は５に記載の合成画像表示システムであって、
前記第２部材における前記表示窓の周囲の少なくとも一部には、所定の図柄の一部が描かれており、
前記第１部材に描かれる識別図柄は、前記表示窓に表示された際、前記第２部材に描かれた図柄の一部とともに前記所定の図柄を形成することを特徴とする合成画像表示システム。 The composite image display system according to claim 4 or 5,
A part of a predetermined pattern is drawn on at least a part of the periphery of the display window in the second member,
An identification symbol drawn on the first member forms the predetermined symbol together with a part of the symbol drawn on the second member when displayed on the display window. 請求項４乃至６の何れか一項に記載の合成画像表示システムであって、
前記合成画像表示装置は、
前記識別図柄に対応する前記仮想オブジェクト画像を記憶する仮想オブジェクト画像記憶手段、
を更に備え、
前記仮想オブジェクト画像取得手段は、前記識別図柄特定手段により特定された識別図柄に対応する仮想オブジェクト画像が前記仮想オブジェクト画像記憶手段に記憶されていない場合に、所定のサーバ装置から当該特定された識別図柄に対応する仮想オブジェクト画像をダウンロードすることを特徴とする合成画像表示システム。 The composite image display system according to any one of claims 4 to 6,
The composite image display device includes:
Virtual object image storage means for storing the virtual object image corresponding to the identification symbol;
Further comprising
The virtual object image acquisition means, when a virtual object image corresponding to the identification symbol specified by the identification symbol specification means is not stored in the virtual object image storage means, the specified identification from a predetermined server device A composite image display system that downloads a virtual object image corresponding to a symbol. 撮影手段と、
前記撮影手段により撮影された撮影画像を合成画像生成サーバに送信する撮影画像送信手段と、
前記合成画像生成サーバが前記撮影画像に含まれている識別図柄を特定し、当該特定した識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を当該撮影画像に重ねて生成した合成画像を、当該合成画像生成サーバから受信する合成画像受信手段と、
前記受信した合成画像を表示手段に表示させる表示制御部と、
を備える合成画像表示装置とネットワークを介して接続される前記合成画像生成サーバが特定可能な前記識別図柄が複数描かれた第１部材と、
前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、
を有する図柄表示具であって、
前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする図柄表示具。 Photographing means;
A photographed image transmitting means for transmitting a photographed image photographed by the photographing means to a composite image generation server;
The composite image generation server specifies an identification pattern included in the captured image, and generates a composite image generated by superimposing a virtual object image that is an image of a virtual object corresponding to the identified identification pattern on the captured image, A composite image receiving means for receiving from the composite image generation server;
A display control unit for displaying the received composite image on a display unit;
A first member on which a plurality of the identification symbols that can be specified by the composite image generation server connected via a network to a composite image display device comprising:
A second member comprising a display window for displaying the identification symbol drawn on the first member;
A design indicator having
The symbol display tool, wherein the identification symbol displayed on the display window varies with the movement of the first member. 合成画像表示装置と、合成画像生成サーバと、識別図柄を表示する図柄表示具とを有する合成画像表示システムであって、
前記合成画像表示装置は、
撮影手段と、
前記撮影手段により撮影された撮影画像を前記合成画像生成サーバに送信する撮影画像送信手段と、
前記合成画像生成サーバが生成した合成画像を当該合成画像生成サーバから受信する合成画像受信手段と、
前記受信した合成画像を表示手段に表示させる表示制御部と、
を備え、
前記合成画像生成サーバは、
前記合成画像表示装置から受信した撮影画像に含まれている識別図柄を特定する識別図柄特定手段と、
前記特定された識別図柄に対応する仮想オブジェクトの画像である仮想オブジェクト画像を取得する仮想オブジェクト画像取得手段と、
前記取得された仮想オブジェクト画像を、前記識別図柄を含む撮影画像に重ねて合成画像を生成する合成画像生成手段と、
前記生成した合成画像を前記合成画像表示装置に送信する合成画像送信手段と、
を備え、
前記図柄表示具は、
前記合成画像生成サーバにおける前記識別図柄特定手段が特定可能な前記識別図柄が複数描かれた第１部材と、
前記第１部材に描かれた識別図柄を表示する表示窓を備える第２部材と、
を有し、
前記表示窓に表示される識別図柄が前記第１部材の動きに伴って変動することを特徴とする合成画像表示システム。 A composite image display system comprising a composite image display device, a composite image generation server, and a symbol display tool for displaying an identification symbol,
The composite image display device includes:
Photographing means;
A captured image transmission unit that transmits a captured image captured by the imaging unit to the composite image generation server;
A composite image receiving means for receiving the composite image generated by the composite image generation server from the composite image generation server;
A display control unit for displaying the received composite image on a display unit;
With
The composite image generation server includes:
An identification symbol specifying means for specifying an identification symbol included in the photographed image received from the composite image display device;
Virtual object image acquisition means for acquiring a virtual object image that is an image of a virtual object corresponding to the identified identification symbol;
A composite image generating means for generating a composite image by superimposing the acquired virtual object image on a captured image including the identification symbol;
A composite image transmitting means for transmitting the generated composite image to the composite image display device;
With
The design indicator is
A first member on which a plurality of the identification symbols that can be identified by the identification symbol identification means in the composite image generation server are drawn;
A second member comprising a display window for displaying the identification symbol drawn on the first member;
Have
The composite image display system, wherein the identification symbol displayed on the display window varies with the movement of the first member.

Images