JP7044665B2

JP7044665B2 - Generator, generation method, and generation program

Info

Publication number: JP7044665B2
Application number: JP2018159729A
Authority: JP
Inventors: 隼人小林; 幸浩田頭; 哲矢茂木; 正樹野口; 真吾星野
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2018-08-28
Filing date: 2018-08-28
Publication date: 2022-03-30
Anticipated expiration: 2036-01-19
Also published as: JP2018200721A

Description

本発明は、生成装置、生成方法、及び生成プログラムに関する。 The present invention relates to a generator, a generator, and a generator.

従来、画像に含まれる人等の対象物を認識する画像処理に関する技術が提供されている。例えば、人の顔が含まれる画像における両目間の距離に基づく画像処理に関する技術が提供されている。また、上記の技術を用いて、画像と画像に含まれる対象物に関連する情報（文字情報）とを含むコンテンツを生成する場合がある。 Conventionally, a technique related to image processing for recognizing an object such as a person included in an image has been provided. For example, there is provided a technique for image processing based on the distance between both eyes in an image including a human face. In addition, the above-mentioned technique may be used to generate content including an image and information (character information) related to an object contained in the image.

特開２００５－１０８２０７号公報Japanese Unexamined Patent Publication No. 2005-108207

しかしながら、上記の従来技術では画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができるとは限らない。例えば、画像と画像に含まれる対象物に関連する情報とを個別に表示するコンテンツでは、ユーザに画像に含まれる対象物とその対象物に関連する情報との関係を認識させることが難しい場合がある。 However, with the above-mentioned prior art, it is not always possible to generate content that allows the user to appropriately recognize the object included in the image and the information related to the object. For example, in content that displays an image and information related to the object contained in the image separately, it may be difficult for the user to recognize the relationship between the object contained in the image and the information related to the object. be.

本願は、上記に鑑みてなされたものであって、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成する生成装置、生成方法、及び生成プログラムを提供することを目的とする。 The present application is made in view of the above, and provides a generation device, a generation method, and a generation program for generating contents that appropriately recognize an object included in an image and information related to the object to a user. The purpose is to do.

本願に係る生成装置は、対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のコンテンツに含まれた文字情報と、を取得する取得部と、前記文字情報を用いて前記画像から抽出される情報であって、前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて、前記文字情報から生成された前記対象物に関連する関連情報を前記画像に重畳させた重畳画像を生成する生成部と、を備えたことを特徴とする。 The generation device according to the present application uses the acquisition unit for acquiring an image including an object, character information contained in the same content as the image as character information related to the image, and the character information. Information related to the object generated from the character information is superimposed on the image based on the feature area information which is the information extracted from the image and is the information about the area of the object in the image. It is characterized by having a generation unit for generating a superposed image.

実施形態の一態様によれば、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができるという効果を奏する。 According to one aspect of the embodiment, there is an effect that it is possible to generate content that allows the user to appropriately recognize the object included in the image and the information related to the object.

図１は、実施形態に係る生成処理の一例を示す図である。FIG. 1 is a diagram showing an example of a generation process according to an embodiment. 図２は、実施形態に係る配信システムの構成例を示す図である。FIG. 2 is a diagram showing a configuration example of a distribution system according to an embodiment. 図３は、実施形態に係る生成装置の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of the generator according to the embodiment. 図４は、実施形態に係るコンテンツ情報記憶部の一例を示す図である。FIG. 4 is a diagram showing an example of a content information storage unit according to an embodiment. 図５は、実施形態に係る端末装置の構成例を示す図である。FIG. 5 is a diagram showing a configuration example of the terminal device according to the embodiment. 図６は、実施形態に係る端末装置における表示の一例を示す図である。FIG. 6 is a diagram showing an example of display in the terminal device according to the embodiment. 図７は、実施形態に係る生成処理の一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the generation process according to the embodiment. 図８は、実施形態に係る関連情報の指定の一例を示す図である。FIG. 8 is a diagram showing an example of designation of related information according to the embodiment. 図９は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示す図である。FIG. 9 is a diagram showing an example of a generation process using the object information according to the embodiment. 図１０は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示すフローチャートである。FIG. 10 is a flowchart showing an example of a generation process using the object information according to the embodiment. 図１１は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。FIG. 11 is a hardware configuration diagram showing an example of a computer that realizes the function of the generator.

以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。 Hereinafter, a generation apparatus according to the present application, a generation method, and an embodiment for implementing the generation program (hereinafter referred to as “embodiment”) will be described in detail with reference to the drawings. It should be noted that this embodiment does not limit the generator, the generation method, and the generation program according to the present application. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate description is omitted.

（実施形態）
〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１に示す生成処理は、生成装置１００（図３参照）により実行される。図１では、生成装置１００は、画像に含まれる物体（オブジェクト）の位置（範囲）を示す特徴領域情報に基づいて、ユーザに注目させたい対象物に関する関連情報を画像に重畳させた重畳画像（コンテンツ）を生成する例を示す。具体的には、生成装置１００は、対象物を含む画像と文字情報に基づいて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像（コンテンツ）を生成する。 (Embodiment)
[1. Generation process]
First, an example of the generation process according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an example of a generation process according to an embodiment. The generation process shown in FIG. 1 is executed by the generation device 100 (see FIG. 3). In FIG. 1, the generation device 100 superimposes related information on an object to be noticed by the user on the image based on the feature area information indicating the position (range) of the object (object) included in the image (superimposed image). An example of generating content) is shown. Specifically, the generation device 100 generates related information related to the object generated from the character information based on the feature area information of the object extracted from the image based on the image including the object and the character information. Generates a superimposed image (content) superimposed on the image.

図１に示す例では、画像ＩＭ１１と文字情報ＩＣ１１とを用いて重畳画像が生成される例を示す。図１中の画像ＩＭ１１は、帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧを身に着けたモデルＭＤを含む。また、図１中の文字情報ＩＣ１１は、画像ＩＭ１１に関する文章を含む。例えば、画像ＩＭ１１と文字情報ＩＣ１１とは、１つの記事に含まれる画像や文字情報であり、互いに関連する情報を含む。なお、図１では、画像ＩＭ１１中のバッグＢＧを対象物として重畳画像を生成する場合を示す。また、バッグＢＧは、有名ブランド○○のバッグであるものとする。 In the example shown in FIG. 1, an example in which a superimposed image is generated using the image IM 11 and the character information IC 11 is shown. Image IM11 in FIG. 1 includes a model MD wearing a hat HT, a wristwatch WT, and a bag BG. Further, the character information IC 11 in FIG. 1 includes a sentence related to the image IM 11. For example, the image IM 11 and the character information IC 11 are image and character information included in one article, and include information related to each other. Note that FIG. 1 shows a case where a superimposed image is generated using the bag BG in the image IM 11 as an object. In addition, the bag BG shall be a bag of a famous brand XX.

まず、生成装置１００は、画像ＩＭ１１における特徴情報が含まれる領域に関する特徴領域情報ＦＲ１１を抽出する（ステップＳ１１）。例えば、生成装置１００は、画像ＩＭ１１と文字情報ＩＣ１１とに基づいて、画像ＩＭ１１から対象物の領域に関する情報である特徴領域情報ＦＲ１１を抽出する。なお、生成装置１００は、サリエンシーディテクション（Saliency Detection）等の画像処理における種々の従来手法を適宜用いて、画像ＩＭ１１における特徴領域情報ＦＲ１１を抽出する。例えば、生成装置１００は、Ｒ－ＣＮＮ(Regions with Convolutional Neural Network)等の画像認識技術を用いた画像処理を適宜用いてもよい。また、生成装置１００は、画像処理の種々の従来手法等を適宜用いて、画像におけるオブジェクト（物体）の認識による情報の抽出を行ってもよい。 First, the generation device 100 extracts the feature area information FR11 regarding the area including the feature information in the image IM11 (step S11). For example, the generation device 100 extracts the feature area information FR11, which is information about the area of the object, from the image IM11 based on the image IM11 and the character information IC11. The generation device 100 extracts the feature region information FR11 in the image IM 11 by appropriately using various conventional methods in image processing such as saliency detection. For example, the generation device 100 may appropriately use image processing using an image recognition technique such as R-CNN (Regions with Convolutional Neural Network). Further, the generation device 100 may appropriately use various conventional methods of image processing or the like to extract information by recognizing an object (object) in an image.

図１では、生成装置１００は、特徴領域情報ＦＲ１１に示すように、画像ＩＭ１１と文字情報ＩＣ１１とに基づいて、画像ＩＭ１１における特徴領域を抽出する。例えば、特徴領域情報ＦＲ１１は、画像ＩＭ１１における各画素の特徴量を示す。具体的には、特徴領域情報ＦＲ１１の各位置は、画像ＩＭ１１に重畳させた場合に画像ＩＭ１１において重なる位置に対応し、特徴領域情報ＦＲ１１は、画像ＩＭ１１において対応する画素の特徴量を示す。なお、図１中の特徴領域情報ＦＲ１１では、特徴を示す領域を色が濃い態様で示す。すなわち、特徴領域情報ＦＲ１１では、特徴量が大きいほど色が濃い態様で表示される。具体的には、図１中の特徴領域情報ＦＲ１１では、画像ＩＭ１１において人（モデルＭＤ）の顔が位置する領域や、画像ＩＭ１１において帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧが位置する領域が色の濃い態様で示される。すなわち、図１では、生成装置１００は、対象物であるバッグが位置する領域ＡＲ１１（以下、「対象領域ＡＲ１１」とする場合がある）が色の濃い態様で示される。なお、対象領域ＡＲ１１は画像ＩＭ１１における所定の閾値以上の特徴量を含む領域であってもよい。例えば、対象領域ＡＲ１１は、画像ＩＭ１１における画素のうち、特徴量が所定の閾値以上の画素を含む領域に対応する。また、例えば、生成装置１００は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１に含まれるオブジェクトを認識する。具体的には、生成装置１００は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１に含まれる帽子や腕時計やバッグといったオブジェクトを認識する。 In FIG. 1, as shown in the feature area information FR11, the generation device 100 extracts the feature area in the image IM11 based on the image IM11 and the character information IC11. For example, the feature area information FR11 indicates the feature amount of each pixel in the image IM11. Specifically, each position of the feature area information FR11 corresponds to a position overlapping in the image IM11 when superimposed on the image IM11, and the feature area information FR11 indicates the feature amount of the corresponding pixel in the image IM11. In the feature area information FR11 in FIG. 1, the region showing the feature is shown in a dark color mode. That is, in the feature area information FR11, the larger the feature amount, the darker the color is displayed. Specifically, in the feature area information FR11 in FIG. 1, the area where the face of a person (model MD) is located in the image IM11 and the area where the hat HT, the wristwatch WT, and the bag BG are located in the image IM11 are colored. Shown in dark form. That is, in FIG. 1, in the generation device 100, the region AR11 (hereinafter, may be referred to as “target region AR11”) in which the bag as an object is located is shown in a dark mode. The target region AR 11 may be a region including a feature amount equal to or larger than a predetermined threshold value in the image IM 11. For example, the target region AR 11 corresponds to a region of the pixels in the image IM 11 that includes pixels whose feature amount is equal to or greater than a predetermined threshold value. Further, for example, the generation device 100 recognizes an object included in the image IM 11 based on the feature area information FR11. Specifically, the generation device 100 recognizes an object such as a hat, a wristwatch, or a bag included in the image IM11 based on the feature area information FR11.

また、生成装置１００は、対象物となるオブジェクトであるバッグＢＧに関連する関連情報を生成する（ステップＳ１２）。例えば、生成装置１００は、文字情報ＩＣ１１から抽出したトピックに基づいて、対象物となるオブジェクトであるバッグＢＧに関連する関連情報を生成する。この場合、生成装置１００は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報ＩＣ１１からトピックを抽出してもよい。例えば、生成装置１００は、文字情報ＩＣ１１を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報ＩＣ１１から重要なキーワードをトピックとして抽出してもよい。例えば、図１では、生成装置１００は、文字情報ＩＣ１１がファッションに関する文字情報であると判定し、ファッションに関するキーワードをトピックとして抽出してもよい。この場合、生成装置１００は、文字情報ＩＣ１１から「アイテム」、「ブランド○○」、「バッグ」、「最新作」等をトピックとして抽出してもよい。 In addition, the generation device 100 generates related information related to the bag BG, which is an object to be an object (step S12). For example, the generation device 100 generates related information related to the bag BG, which is an object, based on the topic extracted from the character information IC 11. In this case, the generation device 100 may extract a topic from the character information IC 11 by appropriately using various conventional methods such as topic analysis (analysis). For example, the generation device 100 may extract important keywords from the character information IC 11 as a topic by appropriately analyzing the character information IC 11 using a natural language processing technique such as morphological analysis. For example, in FIG. 1, the generation device 100 may determine that the character information IC 11 is character information related to fashion, and may extract a keyword related to fashion as a topic. In this case, the generation device 100 may extract "item", "brand XX", "bag", "latest work" and the like as topics from the character information IC 11.

図１では、生成装置１００は、対象物となるオブジェクト「○○のバッグ」、すなわちバッグＢＧに関連する関連情報を生成する。例えば、生成装置１００は、文字列「ブランド○○の最新バッグ」を含む関連情報ＩＲ１１を生成する。具体的には、生成装置１００は、文字情報ＩＣ１１に含まれる文字列「○○のバッグの最新作が…」等に基づいて、バッグＢＧがブランド○○の最新バッグであると推定し、関連情報ＩＲ１１を生成する。 In FIG. 1, the generation device 100 generates the object “bag of XX”, that is, related information related to the bag BG. For example, the generation device 100 generates the related information IR 11 including the character string “latest bag of brand XX”. Specifically, the generator 100 estimates that the bag BG is the latest bag of the brand XX based on the character string "The latest work of the bag of XX is ..." included in the character information IC 11, and is related. Information IR11 is generated.

そして、生成装置１００は、関連情報ＩＲ１１を画像ＩＭ１１に重畳させることにより、重畳画像ＩＳ１１を生成する（ステップＳ１３）。図１では、生成装置１００は、画像ＩＭ１１における対象物の領域付近に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。具体的には、生成装置１００は、画像ＩＭ１１における余白となる領域（以下、「余白領域」とする場合がある）に、バッグＢＧを指示する関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。なお、ここでいう余白領域とは、画像ＩＭ１１においてオブジェクトが含まれない領域であって、関連情報を重畳させても画像ＩＭ１１に含まれるオブジェクトの認識に影響が小さい領域をいう。 Then, the generation device 100 generates the superimposed image IS11 by superimposing the related information IR11 on the image IM11 (step S13). In FIG. 1, the generation device 100 generates a superimposed image IS11 in which the related information IR11 is superimposed near the region of the object in the image IM11. Specifically, the generation device 100 generates a superposed image IS11 in which the related information IR11 indicating the bag BG is superimposed on the margin area (hereinafter, may be referred to as “margin area”) in the image IM11. .. The margin area referred to here is an area in which the object is not included in the image IM11, and has a small effect on the recognition of the object included in the image IM11 even if the related information is superimposed.

また、生成装置１００は、種々の従来技術を適宜用いて、画像ＩＭ１１における余白領域を判定してもよい。例えば、生成装置１００は、特徴領域情報ＦＲ１１における特徴量が所定の閾値未満の領域に対応する画像ＩＭ１１中の領域を余白領域と判定してもよい。また、生成装置１００は、画像ＩＭ１１における領域内の最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。また、例えば、生成装置１００は、特徴領域情報ＦＲ１１における特徴量が所定の閾値未満の領域に対応する画像ＩＭ１１中の領域内において、最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。なお、上記は一例であって、生成装置１００は、関連情報を重畳させても画像ＩＭ１１に含まれるオブジェクトの認識に影響が小さい領域であれば、どのような基準に基づいて余白領域と判定してもよい。 Further, the generation device 100 may determine the margin region in the image IM 11 by appropriately using various conventional techniques. For example, the generation device 100 may determine a region in the image IM 11 corresponding to a region where the feature amount in the feature region information FR 11 is less than a predetermined threshold value as a margin region. Further, the generation device 100 may determine a region in which the difference between the maximum luminance value and the minimum luminance value in the region in the image IM 11 is less than a predetermined threshold value as a margin region. Further, for example, in the generation device 100, the difference between the maximum luminance value and the minimum luminance value is a predetermined threshold value in the region in the image IM 11 corresponding to the region where the feature amount in the feature region information FR11 is less than a predetermined threshold value. The area less than the margin area may be determined as a margin area. The above is an example, and the generation device 100 determines that the margin area is based on any standard as long as the area has a small effect on the recognition of the object included in the image IM 11 even if the related information is superimposed. You may.

図１では、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左右両側に余白領域ＢＳ１１、ＢＳ１２が含まれると判定する。具体的には、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左側に余白領域ＢＳ１１が含まれ、画像ＩＭ１１中のモデルＭＤの右側に余白領域ＢＳ１２が含まれると判定する。 In FIG. 1, the generation device 100 determines that the margin regions BS11 and BS12 are included on the left and right sides of the model MD in the image IM11. Specifically, the generation device 100 determines that the margin region BS11 is included on the left side of the model MD in the image IM11 and the margin region BS12 is included on the right side of the model MD in the image IM11.

ここで、図１では、余白領域ＢＳ１１に比べて余白領域ＢＳ１２は、画像ＩＭ１１において対象領域ＡＲ１１に対応する部分に近接して位置する。そのため、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ１２に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。具体的には、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ１２におけるバッグＢＧに近接する箇所（図１では下部）に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。 Here, in FIG. 1, the margin area BS12 is located closer to the portion corresponding to the target area AR11 in the image IM11 than the margin area BS11. Therefore, the generation device 100 generates the superimposed image IS11 in which the related information IR11 is superimposed on the margin region BS12 in the image IM11. Specifically, the generation device 100 generates a superimposed image IS11 in which the related information IR11 is superimposed on a portion (lower part in FIG. 1) close to the bag BG in the margin region BS12 in the image IM11.

上述したように、生成装置１００は、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。これにより、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。例えば、生成装置１００は、画像と画像に含まれる対象物に関連する情報とを個別に表示するコンテンツに比べて、対象物に関連する関連情報を画像に重畳させた重畳画像の場合、対象物を含む領域、すなわち画像においてユーザに注目させたい箇所をユーザに提示することができる。 As described above, the generation device 100 generates a superimposed image in which related information related to the object is superimposed on the image based on the feature area information which is information about the area of the object in the image. As a result, the generation device 100 can generate content that allows the user to appropriately recognize the object included in the image and the information related to the object. For example, in the case of a superimposed image in which the image and the information related to the object included in the image are individually displayed, the generator 100 superimposes the related information related to the object on the image, as compared with the content. It is possible to present to the user an area including, that is, a part of the image that the user wants to pay attention to.

なお、図１では、１つの対象物に関する１つの関連情報を画像に表示する場合を示したが、生成装置１００は、画像における複数の対象物の各々に関する複数の関連情報を画像に重畳させた重畳画像を生成してもよい。例えば、生成装置１００は、画像における複数の対象物の各々に関する複数の関連情報を画像に重畳させた重畳画像を生成することにより、ファッション雑誌の表紙のような画像を生成してもよい。すなわち、生成装置１００は、画像における複数の対象物の各々に関する複数の関連情報を画像に重畳させた重畳画像を生成することにより、複数の対象物の位置に応じて複数の関連情報が適切に配置された重畳画像を生成してもよい。 Although FIG. 1 shows a case where one related information about one object is displayed on the image, the generation device 100 superimposes a plurality of related information about each of the plurality of objects on the image on the image. A superposed image may be generated. For example, the generation device 100 may generate an image such as the cover of a fashion magazine by generating a superimposed image in which a plurality of related information about each of a plurality of objects in the image is superimposed on the image. That is, the generation device 100 appropriately superimposes a plurality of related information about each of the plurality of objects in the image on the image, so that the plurality of related information can be appropriately generated according to the positions of the plurality of objects. The arranged superimposed image may be generated.

また、生成装置１００は、画像中の対象物付近に関連画像を重畳させて重畳画像を生成する。これにより、生成装置１００は、関連情報と対象物との関係をユーザが認識しやすい態様で表示される重畳画像（コンテンツ）を生成することができる。このように、生成装置１００は、対象物に関連する関連情報を対象物の付近に配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。また、生成装置１００は、対象物に関連する関連情報を、対象物を指示する表示態様で配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。また、生成装置１００は、画像中の余白領域を判定し、判定した余白領域に関連画像を重畳させて重畳画像を生成する。これにより、生成装置１００は、画像においてオブジェクトが含まれない領域に関連画像を重畳させて重畳画像を生成することができる。したがって、生成装置１００は、重畳させても画像に含まれるオブジェクトの認識率低下を抑制しつつ、関連情報を重畳させて重畳画像を生成することができる。 Further, the generation device 100 superimposes a related image on the vicinity of an object in the image to generate a superposed image. As a result, the generation device 100 can generate a superimposed image (content) in which the relationship between the related information and the object is displayed in a manner that the user can easily recognize. In this way, the generation device 100 arranges the related information related to the object in the vicinity of the object, thereby presenting the user a place to be noticed by the user, and at the same time, the content of the object is used as text information for the user. Can be presented. Further, the generation device 100 arranges the related information related to the object in a display mode for instructing the object, thereby presenting the user a place to be noticed by the user and using the content of the object as character information. It can be presented to the user. Further, the generation device 100 determines a margin area in the image and superimposes the related image on the determined margin area to generate a superimposed image. As a result, the generation device 100 can generate a superimposed image by superimposing the related image on the area where the object is not included in the image. Therefore, the generation device 100 can generate a superposed image by superimposing related information while suppressing a decrease in the recognition rate of the object included in the image even if the superimposing is performed.

また、図１では、関連情報ＩＲ１１が重畳画像ＩＳ１１に常時表示される場合を示したが、関連情報ＩＲ１１は所定の条件を満たす場合にのみ表示されてもよい。例えば、生成装置１００は、関連情報が表示された状態から非表示になったり、関連情報が非表示の状態から表示状態になったりする重畳画像を生成してもよい。すなわち、生成装置１００は、重畳画像として動的コンテンツを生成してもよい。例えば、生成装置１００は、重畳画像中の対象物が表示された領域に所定の操作が行われた場合、その対象物に関する関連情報が表示される重畳画像を生成してもよい。ここでいう、所定の操作には、マウスカーソルを対象物の上に重ねる操作、いわゆるマウスオーバーや、対象物へのクリックやタップなど、種々の操作が含まれる。また、生成装置１００は、オブジェクト（対象物や関連情報）を浮き立たせたり、オブジェクト（対象物や関連情報）の表示態様が定期的に変動したりする重畳画像を生成してもよい。これにより、生成装置１００は、オブジェクト（対象物や関連情報）をユーザが気づきやすくすることができる。すなわち、生成装置１００は、オブジェクト（対象物や関連情報）がユーザに認識されやすくすることができる。また、関連情報は、文字情報に限らず、画像情報や動画情報等の種々の情報であってもよい。例えば、重畳画像が表示された端末装置１０（図２参照）において、対象物であるバッグがマウスオーバーされた場合、端末装置１０は、関連情報と共にバッグ単体の写真をスライドショーしたり、マウスで動かせる３Ｄ（３次元）モデルを表示したりしてもよい。このように、端末装置１０は、オブジェクト（対象物や関連情報）の表示態様を変動させたり、対象物に関する種々の情報を表示したりしてもよい。 Further, although FIG. 1 shows a case where the related information IR 11 is always displayed on the superimposed image IS11, the related information IR 11 may be displayed only when a predetermined condition is satisfied. For example, the generation device 100 may generate a superimposed image in which the related information is hidden from the displayed state or the related information is displayed from the hidden state. That is, the generation device 100 may generate dynamic content as a superimposed image. For example, the generation device 100 may generate a superimposed image in which related information about the object is displayed when a predetermined operation is performed on the area where the object is displayed in the superimposed image. The predetermined operation referred to here includes various operations such as an operation of hovering the mouse cursor on the object, so-called mouse over, and clicking or tapping on the object. Further, the generation device 100 may generate a superposed image in which an object (object or related information) is highlighted or the display mode of the object (object or related information) is periodically changed. As a result, the generation device 100 can make the object (object and related information) easily noticeable by the user. That is, the generation device 100 can make it easy for the user to recognize the object (object or related information). Further, the related information is not limited to text information, but may be various information such as image information and moving image information. For example, in the terminal device 10 (see FIG. 2) in which the superimposed image is displayed, when the object bag is moused over, the terminal device 10 can slide show a photograph of the bag alone or move it with the mouse together with related information. A 3D (three-dimensional) model may be displayed. In this way, the terminal device 10 may change the display mode of the object (object or related information) or display various information about the object.

また、上述した例においては、対象物を含む画像と文字情報に基づいて画像から特徴領域情報を抽出する場合を説明したが、生成装置１００は、画像のみに基づいて画像から特徴領域情報を抽出してもよい。この場合、生成装置１００は、外部のデータベース等の所定の記憶手段に記憶された対象物に関連する情報を関連情報として、画像に重畳させた重畳画像（コンテンツ）を生成してもよい。また、生成装置１００は、関連情報として、対象物に関連する広告情報を画像に重畳させた重畳画像を生成してもよい。 Further, in the above-mentioned example, the case of extracting the feature area information from the image based on the image including the object and the character information has been described, but the generation device 100 extracts the feature area information from the image based only on the image. You may. In this case, the generation device 100 may generate a superimposed image (content) superimposed on the image by using the information related to the object stored in a predetermined storage means such as an external database as the related information. Further, the generation device 100 may generate a superimposed image in which the advertisement information related to the object is superimposed on the image as the related information.

図１では、例えば、生成装置１００は、関連情報として、バッグＢＧに関する広告情報を画像に重畳させた重畳画像を生成してもよい。これにより、実施形態に係る生成装置１００は、画像に含まれる対象物と対象物に関連する広告とを適切にユーザに認識させるコンテンツを生成することができる。したがって、生成装置１００は、広告効果の高いコンテンツを生成することができ、広告効果を向上させることができる。 In FIG. 1, for example, the generation device 100 may generate a superimposed image in which advertising information regarding a bag BG is superimposed on an image as related information. As a result, the generation device 100 according to the embodiment can generate content that allows the user to appropriately recognize the object included in the image and the advertisement related to the object. Therefore, the generation device 100 can generate content having a high advertising effect, and can improve the advertising effect.

また、上述した例においては、対象物であるバッグＢＧを指示する関連情報ＩＲ１１が吹き出しのような形状で表示される場合を示したが、関連情報ＩＲ１１は、ユーザが対象物であるバッグＢＧを認識する確率を高めることができれば、どのような態様であってもよい。また、生成装置１００は、余白領域の形状やサイズに応じて、関連情報の表示態様を変更してもよい。例えば、生成装置１００は、余白領域の形状に合わせた形状で関連情報を表示してもよい。また、例えば、生成装置１００は、余白領域のサイズに合わせたサイズで関連情報を表示してもよい。この場合、生成装置１００は、余白領域のサイズに合わせた関連情報の各文字のフォントサイズを変更してもよい。 Further, in the above-mentioned example, the case where the related information IR11 indicating the bag BG which is the object is displayed in a shape like a balloon is shown, but the related information IR11 shows the bag BG which the user is the object. Any aspect may be used as long as the recognition probability can be increased. Further, the generation device 100 may change the display mode of the related information according to the shape and size of the margin area. For example, the generation device 100 may display related information in a shape that matches the shape of the margin region. Further, for example, the generation device 100 may display related information in a size that matches the size of the margin area. In this case, the generation device 100 may change the font size of each character of the related information according to the size of the margin area.

また、例えば、生成装置１００は、余白領域の色に応じて、関連情報の表示態様を変更してもよい。例えば、生成装置１００は、余白領域の色が白である場合、関連情報を白以外の色で表示してもよい。例えば、生成装置１００は、余白領域の色が白である場合、関連情報の文字を黒で表示し、文字を囲む部分（図１では吹き出し部分）を黄色で表示してもよい。また、例えば、生成装置１００は、余白領域の色の補色を用いて関連情報を表示してもよい。これにより、生成装置１００は、関連情報をユーザが認識する確率を高めることができる。 Further, for example, the generation device 100 may change the display mode of the related information according to the color of the margin area. For example, when the color of the margin area is white, the generation device 100 may display the related information in a color other than white. For example, when the color of the margin area is white, the generation device 100 may display the characters of the related information in black and display the portion surrounding the characters (the balloon portion in FIG. 1) in yellow. Further, for example, the generation device 100 may display related information by using complementary colors of colors in the margin region. Thereby, the generation device 100 can increase the probability that the user recognizes the related information.

〔２．配信システムの構成〕
図２に示すように、配信システム１は、端末装置１０と、提供元端末５０と、生成装置１００とが含まれる。端末装置１０と、提供元端末５０と、生成装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図２は、実施形態に係る配信システムの構成例を示す図である。なお、図２に示した配信システム１には、複数台の端末装置１０や、複数台の提供元端末５０や、複数台の生成装置１００が含まれてもよい。 [2. Distribution system configuration]
As shown in FIG. 2, the distribution system 1 includes a terminal device 10, a provider terminal 50, and a generation device 100. The terminal device 10, the provider terminal 50, and the generation device 100 are connected to each other via a predetermined network N so as to be communicable by wire or wirelessly. FIG. 2 is a diagram showing a configuration example of a distribution system according to an embodiment. The distribution system 1 shown in FIG. 2 may include a plurality of terminal devices 10, a plurality of provider terminals 50, and a plurality of generation devices 100.

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、ユーザによる種々の操作を受け付ける。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、上述した端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現される。 The terminal device 10 is an information processing device used by the user. The terminal device 10 accepts various operations by the user. In the following, the terminal device 10 may be referred to as a user. That is, in the following, the user can be read as the terminal device 10. The terminal device 10 described above is realized by, for example, a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, a PDA (Personal Digital Assistant), or the like.

提供元端末５０は、文字情報や画像等のコンテンツの提供元によって利用される情報処理装置である。例えば、文字情報や画像等のコンテンツの提供元は、提供元端末５０により、図４に示すような文字情報や画像を生成装置１００へ提供する。 The provider terminal 50 is an information processing device used by a provider of contents such as character information and images. For example, the provider of contents such as character information and images provides the character information and images as shown in FIG. 4 to the generation device 100 by the provider terminal 50.

生成装置１００は、画像から抽出される情報であって、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する情報処理装置である。また、本実施形態において生成装置１００は、生成した組合せコンテンツを端末装置１０へ配信するコンテンツ配信サービスを提供する。 The generation device 100 generates a superimposed image in which related information related to the object is superimposed on the image based on the feature area information which is information extracted from the image and is information about the area of the object in the image. It is an information processing device. Further, in the present embodiment, the generation device 100 provides a content distribution service for distributing the generated combination content to the terminal device 10.

〔３．生成装置の構成〕
次に、図３を用いて、実施形態に係る生成装置１００の構成について説明する。図３は、実施形態に係る生成装置１００の構成例を示す図である。図３に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。 [3. Generator configuration]
Next, the configuration of the generation device 100 according to the embodiment will be described with reference to FIG. FIG. 3 is a diagram showing a configuration example of the generation device 100 according to the embodiment. As shown in FIG. 3, the generation device 100 includes a communication unit 110, a storage unit 120, and a control unit 130. The generation device 100 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the generation device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may.

（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。 (Communication unit 110)
The communication unit 110 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 110 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the terminal device 10.

（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、コンテンツ情報記憶部１２１を有する。 (Memory unit 120)
The storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk. As shown in FIG. 3, the storage unit 120 according to the embodiment has a content information storage unit 121.

（コンテンツ情報記憶部１２１）
実施形態に係るコンテンツ情報記憶部１２１は、コンテンツに関する各種情報を記憶する。図４に、実施形態に係るコンテンツ情報記憶部１２１の一例を示す。図４に示すコンテンツ情報記憶部１２１は、「コンテンツＩＤ」、「文字情報」、「画像」、「画像ＩＤ」、「提供元ＩＤ」といった項目を有する。 (Content information storage unit 121)
The content information storage unit 121 according to the embodiment stores various information related to the content. FIG. 4 shows an example of the content information storage unit 121 according to the embodiment. The content information storage unit 121 shown in FIG. 4 has items such as "content ID", "character information", "image", "image ID", and "provider ID".

「コンテンツＩＤ」は、コンテンツを識別するための識別情報を示す。「文字情報」は、対応するコンテンツに含まれる文字情報を示す。また、「画像」は、対応するコンテンツに含まれる画像を示す。図４では、説明のため画像ＩＤにより識別される画像を図示するが、「画像」としては、画像の格納場所を示すファイルパス名などが格納されてもよい。「画像ＩＤ」は、画像を識別するための識別情報を示す。例えば、画像ＩＤ「ＩＭ１１」により識別される画像は、図１の例に示した画像ＩＭ１１に対応する。また、「提供元ＩＤ」は、コンテンツの提供元を識別するための識別情報を示す。 The "content ID" indicates identification information for identifying the content. "Character information" indicates character information included in the corresponding content. Further, "image" indicates an image included in the corresponding content. In FIG. 4, an image identified by an image ID is shown for explanation, but as the “image”, a file path name or the like indicating a storage location of the image may be stored. The "image ID" indicates identification information for identifying an image. For example, the image identified by the image ID "IM11" corresponds to the image IM11 shown in the example of FIG. Further, the "provider ID" indicates identification information for identifying the provider of the content.

例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１１」により識別されるコンテンツＡＴ１１は、文字情報「２０ＸＸ年、春のトレンドファッションアイテム…」と画像ＩＤ「ＩＭ１１」により識別される画像ＩＭ１１を含むコンテンツＡＴ１１であることを示す。また、コンテンツＩＤ「ＡＴ１１」により識別されるコンテンツＡＴ１１は、提供元ＩＤ「ＣＰ１１」により識別される提供元から取得したコンテンツＡＴ１１であることを示す。 For example, in the example shown in FIG. 4, the content AT11 identified by the content ID "AT11" includes the character information "20XX, spring trend fashion item ..." and the image IM11 identified by the image ID "IM11". Indicates that. Further, the content AT11 identified by the content ID "AT11" indicates that the content AT11 is acquired from the provider identified by the provider ID "CP11".

また、例えば、図４に示す例において、コンテンツＩＤ「ＡＴ１２」により識別されるコンテンツは、文字情報「日本代表サッカー選手××は、…」と画像ＩＤ「ＩＭ１２」により識別される画像を含むコンテンツであることを示す。また、コンテンツＩＤ「ＡＴ１２」により識別されるコンテンツは、提供元ＩＤ「ＣＰ１２」により識別される提供元から取得したコンテンツであることを示す。 Further, for example, in the example shown in FIG. 4, the content identified by the content ID "AT12" includes the character information "Japan national soccer player XX is ..." and the image identified by the image ID "IM12". Indicates that. Further, the content identified by the content ID "AT12" indicates that the content is acquired from the provider identified by the provider ID "CP12".

なお、コンテンツ情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、コンテンツ情報記憶部１２１は、コンテンツのカテゴリに関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、コンテンツを取得した日時やコンテンツが作成された日時に関する情報を記憶してもよい。また、例えば、コンテンツ情報記憶部１２１は、コンテンツの文字情報における重要なキーワードやトピックに関する情報を記憶してもよい。また、コンテンツ情報記憶部１２１中の画像は、画像の提供元や画像に関する権利（著作権等）を有する第三者から、画像への加工、すなわち二次加工に関する許諾が得られていることが判断（確認)され、管理（記憶）されているものとする。 The content information storage unit 121 is not limited to the above, and may store various information depending on the purpose. For example, the content information storage unit 121 may store information regarding a content category. Further, for example, the content information storage unit 121 may store information regarding the date and time when the content was acquired and the date and time when the content was created. Further, for example, the content information storage unit 121 may store information about important keywords and topics in the character information of the content. Further, the image in the content information storage unit 121 may be processed into an image, that is, permission for secondary processing has been obtained from the provider of the image or a third party having a right (copyright, etc.) regarding the image. It is assumed that it has been judged (confirmed) and managed (memorized).

（制御部１３０）
図３の説明に戻って、制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。 (Control unit 130)
Returning to the description of FIG. 3, the control unit 130 is an example of various programs (examples of generation programs) stored in the storage device inside the generation device 100 by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). Is realized by executing RAM as a work area. Further, the control unit 130 is realized by, for example, an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

図３に示すように、制御部１３０は、取得部１３１と、抽出部１３２と、判定部１３３と、生成部１３４と、配信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。 As shown in FIG. 3, the control unit 130 includes an acquisition unit 131, an extraction unit 132, a determination unit 133, a generation unit 134, and a distribution unit 135, and has functions and operations of information processing described below. Realize or execute. The internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 3, and may be any other configuration as long as it is configured to perform information processing described later. Further, the connection relationship of each processing unit included in the control unit 130 is not limited to the connection relationship shown in FIG. 3, and may be another connection relationship.

（取得部１３１）
取得部１３１は、対象物を含む画像を取得する。例えば、取得部１３１は、コンテンツ情報記憶部１２１から画像を取得する。また、取得部１３１は、画像に関連する文字情報を取得する。例えば、取得部１３１は、コンテンツ情報記憶部１２１から文字情報を取得する。また、取得部１３１は、画像に関連する関連情報を取得してもよい。例えば、取得部１３１は、外部の情報処理装置から画像に関連する関連情報を取得してもよい。 (Acquisition unit 131)
The acquisition unit 131 acquires an image including an object. For example, the acquisition unit 131 acquires an image from the content information storage unit 121. In addition, the acquisition unit 131 acquires character information related to the image. For example, the acquisition unit 131 acquires character information from the content information storage unit 121. Further, the acquisition unit 131 may acquire related information related to the image. For example, the acquisition unit 131 may acquire related information related to the image from an external information processing device.

また、取得部１３１は、端末装置１０からコンテンツの配信要求を取得する。また、取得部１３１は、外部の情報処理装置からコンテンツ情報記憶部１２１に記憶されるコンテンツを取得する。この場合、例えば、取得部１３１は、提供元端末５０からコンテンツを取得する。また、取得部１３１は、コンテンツにおけるトピックに関する情報を取得してもよい。例えば、取得部１３１は、コンテンツにおけるトピックに関する指定をコンテンツの提供元から取得してもよい。この場合、例えば、取得部１３１は、提供元端末５０からコンテンツにおけるトピックに関する指定を取得する。 Further, the acquisition unit 131 acquires a content distribution request from the terminal device 10. Further, the acquisition unit 131 acquires the content stored in the content information storage unit 121 from the external information processing device. In this case, for example, the acquisition unit 131 acquires the content from the provider terminal 50. In addition, the acquisition unit 131 may acquire information about a topic in the content. For example, the acquisition unit 131 may acquire the designation regarding the topic in the content from the content provider. In this case, for example, the acquisition unit 131 acquires the designation regarding the topic in the content from the provider terminal 50.

（抽出部１３２）
抽出部１３２は、画像における特徴情報が含まれる領域に関する特徴領域情報を抽出する。例えば、抽出部１３２は、画像と文字情報とに基づいて、画像から対象物の領域に関する情報である特徴領域情報を抽出する。なお、抽出部１３２は、サリエンシーディテクション等の画像処理における種々の従来手法を適宜用いて、画像における特徴領域情報を抽出する。例えば、抽出部１３２は、Ｒ－ＣＮＮ等の画像認識技術を用いた画像処理を適宜用いてもよい。また、抽出部１３２は、画像処理等の種々の従来手法を適宜用いて、画像におけるオブジェクト（物体）の認識による情報の抽出を行ってもよい。図１では、抽出部１３２は、特徴領域情報ＦＲ１１に示すように、画像ＩＭ１１と文字情報ＩＣ１１とに基づいて、画像ＩＭ１１における特徴領域を抽出する。 (Extraction unit 132)
The extraction unit 132 extracts the feature area information regarding the area including the feature information in the image. For example, the extraction unit 132 extracts the feature area information, which is information about the area of the object, from the image based on the image and the character information. The extraction unit 132 extracts the feature region information in the image by appropriately using various conventional methods in image processing such as saliency detection. For example, the extraction unit 132 may appropriately use image processing using an image recognition technique such as R-CNN. Further, the extraction unit 132 may extract information by recognizing an object (object) in an image by appropriately using various conventional methods such as image processing. In FIG. 1, as shown in the feature area information FR11, the extraction unit 132 extracts the feature area in the image IM11 based on the image IM11 and the character information IC11.

また、抽出部１３２は、対象物となるオブジェクトであるバッグＢＧに関連する関連情報を生成する。例えば、抽出部１３２は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報からトピックを抽出してもよい。例えば、抽出部１３２は、文字情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報から重要なキーワードをトピックとして抽出してもよい。 In addition, the extraction unit 132 generates related information related to the bag BG, which is an object to be an object. For example, the extraction unit 132 may extract a topic from the character information by appropriately using various conventional methods such as topic analysis (analysis). For example, the extraction unit 132 may extract important keywords from the character information as a topic by appropriately analyzing the character information by using a natural language processing technique such as morphological analysis.

（判定部１３３）
判定部１３３は、種々の従来技術を適宜用いて、画像における余白領域を判定する。例えば、判定部１３３は、特徴領域情報における特徴量が所定の閾値未満の領域に対応する画像中の領域を余白領域と判定してもよい。また、判定部１３３は、画像における領域内の最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。また、例えば、判定部１３３は、特徴領域情報における特徴量が所定の閾値未満の領域に対応する画像中の領域内において、最大の輝度値と最小の輝度値との差が所定の閾値未満の領域を余白領域と判定してもよい。なお、上記は一例であって、判定部１３３は、関連情報を重畳させても画像に含まれるオブジェクトの認識に影響が小さい領域であれば、どのような基準に基づいて余白領域と判定してもよい。 (Judgment unit 133)
The determination unit 133 determines the margin area in the image by appropriately using various conventional techniques. For example, the determination unit 133 may determine a region in the image corresponding to a region where the feature amount in the feature region information is less than a predetermined threshold value as a margin region. Further, the determination unit 133 may determine a region in which the difference between the maximum luminance value and the minimum luminance value in the region in the image is less than a predetermined threshold value as a margin region. Further, for example, in the determination unit 133, the difference between the maximum luminance value and the minimum luminance value is less than the predetermined threshold value in the region in the image corresponding to the region where the feature amount in the feature region information is less than the predetermined threshold value. The area may be determined as a margin area. The above is an example, and the determination unit 133 determines that the margin area is based on what criteria if the area has a small effect on the recognition of the object included in the image even if the related information is superimposed. May be good.

図１では、判定部１３３は、画像ＩＭ１１中のモデルＭＤの左右両側に余白領域ＢＳ１１、ＢＳ１２が含まれると判定する。具体的には、判定部１３３は、画像ＩＭ１１中のモデルＭＤの左側に余白領域ＢＳ１１が含まれ、画像ＩＭ１１中のモデルＭＤの右側に余白領域ＢＳ１２が含まれると判定する。 In FIG. 1, the determination unit 133 determines that the margin regions BS11 and BS12 are included on the left and right sides of the model MD in the image IM11. Specifically, the determination unit 133 determines that the margin region BS11 is included on the left side of the model MD in the image IM11 and the margin region BS12 is included on the right side of the model MD in the image IM11.

また、判定部１３３は、種々の従来技術を適宜用いて、画像に含まれるオブジェクトを判定してもよい。例えば、判定部１３３は、画像処理等の種々の従来手法を適宜用いて、画像におけるオブジェクト（物体）の判定を行ってもよい。図１では、判定部１３３は、特徴領域情報ＦＲ１１に基づいて、画像ＩＭ１１にオブジェクトとしてモデルＭＤ、帽子ＨＴ、腕時計ＷＴ、バッグＢＧ等が含まれると判定する。 Further, the determination unit 133 may determine an object included in the image by appropriately using various conventional techniques. For example, the determination unit 133 may determine an object (object) in an image by appropriately using various conventional methods such as image processing. In FIG. 1, the determination unit 133 determines that the image IM 11 includes a model MD, a hat HT, a wristwatch WT, a bag BG, and the like as objects based on the feature area information FR11.

（生成部１３４）
生成部１３４は、画像から抽出される情報であって、画像における前記対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。また、生成部１３４は、文字情報を用いて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。 (Generation unit 134)
The generation unit 134 generates a superimposed image in which related information related to the object is superimposed on the image based on the feature area information which is information extracted from the image and is information about the area of the object in the image. do. Further, the generation unit 134 generates a superimposed image in which the related information related to the object generated from the character information is superimposed on the image based on the feature area information of the object extracted from the image using the character information. do.

生成部１３４は、画像における対象物の領域付近に関連情報を重畳させた重畳画像を生成する。また、生成部１３４は、対象物と対象物を指示する関連情報とを含む重畳画像を生成する。また、生成部１３４は、画像における余白領域に関連情報を重畳させた重畳画像を生成する。生成部１３４は、関連情報として、対象物に関連する広告情報を画像に重畳させた重畳画像を生成する。 The generation unit 134 generates a superimposed image in which related information is superimposed near the region of the object in the image. In addition, the generation unit 134 generates a superposed image including the object and the related information indicating the object. Further, the generation unit 134 generates a superimposed image in which related information is superimposed on the margin area in the image. The generation unit 134 generates a superimposed image in which the advertisement information related to the object is superimposed on the image as the related information.

また、生成部１３４は、文字情報から抽出したトピックに基づいて、対象物となるオブジェクトに関連する関連情報を生成する。例えば、生成部１３４は、対象物となるオブジェクトに関連する関連情報を生成する。例えば、生成部１３４は、文字情報から抽出したトピックに基づいて、対象物となるオブジェクトに関連する関連情報を生成する。この場合、生成部１３４は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報からトピックを抽出してもよい。例えば、生成部１３４は、文字情報を形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報から重要なキーワードをトピックとして抽出してもよい。 In addition, the generation unit 134 generates related information related to the object as an object based on the topic extracted from the character information. For example, the generation unit 134 generates related information related to the object of interest. For example, the generation unit 134 generates related information related to the object as an object based on the topic extracted from the character information. In this case, the generation unit 134 may extract a topic from the character information by appropriately using various conventional methods such as topic analysis (analysis). For example, the generation unit 134 may extract important keywords from the character information as a topic by appropriately analyzing the character information by using a natural language processing technique such as morphological analysis.

図１では、生成部１３４は、対象物となるオブジェクト「○○のバッグ」、すなわちバッグＢＧに関連する関連情報を生成する。例えば、生成部１３４は、文字列「ブランド○○の最新バッグ」を含む関連情報ＩＲ１１を生成する。具体的には、生成部１３４は、文字情報ＩＣ１１に含まれる文字列「○○のバッグの最新作が…」等に基づいて、バッグＢＧがブランド○○の最新バッグであると推定し、関連情報ＩＲ１１を生成する。 In FIG. 1, the generation unit 134 generates the object “bag of XX”, that is, related information related to the bag BG. For example, the generation unit 134 generates the related information IR11 including the character string “latest bag of brand XX”. Specifically, the generation unit 134 estimates that the bag BG is the latest bag of the brand XX based on the character string "The latest work of the bag of XX is ..." included in the character information IC 11, and is related. Information IR11 is generated.

また、生成部１３４は、関連情報を画像に重畳させることにより、重畳画像（コンテンツ）を生成する。図１では、生成部１３４は、画像ＩＭ１１における対象物の領域付近に関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。具体的には、生成部１３４は、画像ＩＭ１１における余白領域ＢＳ１２の下部に、バッグＢＧを指示する関連情報ＩＲ１１を重畳させた重畳画像ＩＳ１１を生成する。 Further, the generation unit 134 generates a superposed image (content) by superimposing the related information on the image. In FIG. 1, the generation unit 134 generates the superimposed image IS11 in which the related information IR11 is superimposed near the region of the object in the image IM11. Specifically, the generation unit 134 generates the superimposed image IS11 in which the related information IR11 indicating the bag BG is superimposed on the lower portion of the margin region BS12 in the image IM11.

（配信部１３５）
配信部１３５は、生成部１３４により生成された重畳画像（コンテンツ）を端末装置１０へ配信する。また、配信部１３５は、コンテンツ情報記憶部１２１に記憶されたコンテンツを端末装置１０へ配信してもよい。 (Distribution unit 135)
The distribution unit 135 distributes the superimposed image (content) generated by the generation unit 134 to the terminal device 10. Further, the distribution unit 135 may distribute the content stored in the content information storage unit 121 to the terminal device 10.

〔４．端末装置の構成〕
次に、図５を用いて、実施形態に係る端末装置１０の構成について説明する。図５は、実施形態に係る端末装置１０の構成例を示す図である。図５に示すように、端末装置１０は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、制御部１５とを有する。 [4. Configuration of terminal device]
Next, the configuration of the terminal device 10 according to the embodiment will be described with reference to FIG. FIG. 5 is a diagram showing a configuration example of the terminal device 10 according to the embodiment. As shown in FIG. 5, the terminal device 10 includes a communication unit 11, a storage unit 12, an input unit 13, an output unit 14, and a control unit 15.

（通信部１１）
通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、生成装置１００との間で情報の送受信を行う。 (Communication unit 11)
The communication unit 11 is realized by, for example, a communication circuit or the like. Then, the communication unit 11 is connected to a predetermined communication network (not shown) by wire or wirelessly, and transmits / receives information to / from the generation device 100.

（記憶部１２）
記憶部１２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、例えば、端末装置１０にインストールされているアプリケーションに関する情報、例えばプログラム等を記憶する。 (Memory unit 12)
The storage unit 12 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. The storage unit 12 stores, for example, information about an application installed in the terminal device 10, such as a program.

（入力部１３）
入力部１３は、ユーザからの各種操作を受け付ける。例えば、入力部１３は、タッチパネル機能により表示面（例えば表示部１５３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１３は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。例えば、入力部１３は、ユーザによる重畳画像に含まれる関連情報の指定を受け付ける。 (Input unit 13)
The input unit 13 receives various operations from the user. For example, the input unit 13 may receive various operations from the user via the display surface (for example, the display unit 153) by the touch panel function. Further, the input unit 13 may accept various operations from a button provided on the terminal device 10 or a keyboard or mouse connected to the terminal device 10. For example, the input unit 13 accepts the user to specify the related information included in the superimposed image.

（出力部１４）
出力部１４は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。 (Output unit 14)
The output unit 14 is a display screen of a tablet terminal or the like realized by, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display, and is a display device for displaying various information.

（制御部１５）
制御部１５は、例えば、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶部１２などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、インストールされているアプリケーションのプログラムが含まれる。また、制御部１５は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。 (Control unit 15)
The control unit 15 is realized by, for example, using a CPU, an MPU, or the like to execute various programs stored in a storage device such as a storage unit 12 inside the terminal device 10 using the RAM as a work area. For example, these various programs include programs of installed applications. Further, the control unit 15 is realized by an integrated circuit such as an ASIC or FPGA.

図５に示すように、制御部１５は、送信部１５１と、受信部１５２と、表示部１５３とを有し、以下に説明する生成処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図５に示した構成に限られず、後述する生成処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図５に示した接続関係に限られず、他の接続関係であってもよい。 As shown in FIG. 5, the control unit 15 includes a transmission unit 151, a reception unit 152, and a display unit 153, and realizes or executes a function or operation of the generation process described below. The internal configuration of the control unit 15 is not limited to the configuration shown in FIG. 5, and may be any other configuration as long as it is configured to perform the generation process described later. Further, the connection relationship of each processing unit included in the control unit 15 is not limited to the connection relationship shown in FIG. 5, and may be another connection relationship.

送信部１５１は、各種情報を外部の情報処理装置へ送信する。送信部１５１は、入力部１３により受け付けたユーザ操作に従って、生成装置１００へコンテンツの配信要求を送信する。例えば、送信部１５１は、アプリからの配信要求を生成装置１００へ送信する。 The transmission unit 151 transmits various information to an external information processing device. The transmission unit 151 transmits a content distribution request to the generation device 100 according to the user operation received by the input unit 13. For example, the transmission unit 151 transmits a distribution request from the application to the generation device 100.

受信部１５２は、各種情報を外部の情報処理装置から受信する。受信部１５２は、生成装置１００から配信された重畳画像を受信する。具体的には、受信部１５２は、生成装置１００により生成された重畳画像を含むコンテンツを受信する。例えば、受信部１５２は、重畳画像ＩＳ１１を含むウェブページＷ１０（図６参照）を受信する。 The receiving unit 152 receives various information from an external information processing device. The receiving unit 152 receives the superimposed image delivered from the generation device 100. Specifically, the receiving unit 152 receives the content including the superimposed image generated by the generation device 100. For example, the receiving unit 152 receives the web page W10 (see FIG. 6) including the superimposed image IS11.

表示部１５３は、受信部１５２により受信されたコンテンツを表示する。例えば、表示部１５３は、受信部１５２により受信された重畳画像ＩＳ１１を含むウェブページＷ１０（図６参照）を表示する。 The display unit 153 displays the content received by the reception unit 152. For example, the display unit 153 displays a web page W10 (see FIG. 6) including the superimposed image IS11 received by the reception unit 152.

なお、上述した制御部１５による表示処理等の処理は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などにより実現されてもよい。また、上述した表示処理が所定のアプリケーションにより行われる場合や表示処理が専用アプリにより行われる場合、制御部１５は、例えば、所定のアプリや専用アプリを制御するアプリ制御部を有してもよい。 The processing such as the display processing by the control unit 15 described above may be realized by, for example, Javascript (registered trademark). Further, when the above-mentioned display processing is performed by a predetermined application or when the display processing is performed by a dedicated application, the control unit 15 may have, for example, an application control unit that controls the predetermined application or the dedicated application. ..

〔５．組合せコンテンツの表示例〕
次に、図６を用いて、実施形態に係る端末装置１０における重畳画像を含むコンテンツの表示について説明する。図６は、実施形態に係る端末装置における表示の一例を示す図である。図６では、端末装置１０が生成装置１００から重畳画像ＩＳ１１を含むウェブページＷ１０を受信した場合を示す。図６では、端末装置１０が、重畳画像ＩＳ１１を含むファッションサイトＡのウェブページＷ１０を表示する例を示す。このように、生成装置１００が生成した重畳画像ＩＳ１１は端末装置１０においてコンテンツとして表示される。すなわち、生成装置１００は、画像中の対象物であるバッグ付近に関連画像ＩＲ１１を重畳させて表示させる重畳画像ＩＳ１１を端末装置１０へ配信する。これにより、生成装置１００は、関連情報と対象物との関係をユーザが認識しやすい態様で表示される重畳画像（コンテンツ）を端末装置１０に表示させることができる。 [5. Display example of combined content]
Next, the display of the content including the superimposed image in the terminal device 10 according to the embodiment will be described with reference to FIG. FIG. 6 is a diagram showing an example of display in the terminal device according to the embodiment. FIG. 6 shows a case where the terminal device 10 receives the web page W10 including the superimposed image IS11 from the generation device 100. FIG. 6 shows an example in which the terminal device 10 displays the web page W10 of the fashion site A including the superimposed image IS11. In this way, the superimposed image IS11 generated by the generation device 100 is displayed as content in the terminal device 10. That is, the generation device 100 delivers to the terminal device 10 the superposed image IS11 that superimposes and displays the related image IR11 near the bag, which is the object in the image. As a result, the generation device 100 can display the superimposed image (content) displayed on the terminal device 10 in a manner in which the user can easily recognize the relationship between the related information and the object.

〔６．生成処理フロー〕
次に、図７を用いて、実施形態に係る配信システム１におけるコンテンツの生成処理について説明する。図７は、実施形態に係る生成処理の一例を示すフローチャートである。 [6. Generation processing flow]
Next, the content generation process in the distribution system 1 according to the embodiment will be described with reference to FIG. 7. FIG. 7 is a flowchart showing an example of the generation process according to the embodiment.

まず、図７に示す例において、生成装置１００は、画像と画像に対応する文字情報を取得する（ステップＳ１０１）。例えば、生成装置１００は、画像をコンテンツ情報記憶部１２１から取得する。また、例えば、生成装置１００は、画像に関連する文字情報をコンテンツ情報記憶部１２１から取得する。 First, in the example shown in FIG. 7, the generation device 100 acquires an image and character information corresponding to the image (step S101). For example, the generation device 100 acquires an image from the content information storage unit 121. Further, for example, the generation device 100 acquires character information related to the image from the content information storage unit 121.

そして、生成装置１００は、画像から特徴領域情報を抽出する（ステップＳ１０２）。また、生成装置１００は、画像中の余白領域を判定する（ステップＳ１０３）。 Then, the generation device 100 extracts the feature area information from the image (step S102). Further, the generation device 100 determines the margin area in the image (step S103).

その後、生成装置１００は、画像に含まれるオブジェクトに関する関連情報を文字情報から生成する（ステップＳ１０４）。例えば、生成装置１００は、画像に含まれる対象物であるオブジェクトに関する関連情報を文字情報から生成する。また、生成装置１００は、関連情報を重畳可能な余白領域を判定する（ステップＳ１０５）。例えば、生成装置１００は、関連情報を重畳可能な大きさを有する余白領域を判定する。 After that, the generation device 100 generates related information about the object included in the image from the character information (step S104). For example, the generation device 100 generates related information about an object that is an object included in an image from character information. Further, the generation device 100 determines a margin area on which related information can be superimposed (step S105). For example, the generation device 100 determines a margin area having a size capable of superimposing related information.

そして、生成装置１００は、画像に関連情報を重畳した重畳画像を生成する（ステップＳ１０６）。例えば、生成装置１００は、ステップＳ１０６において判定した余白領域に関連情報を重畳した重畳画像を生成する。 Then, the generation device 100 generates a superimposed image in which related information is superimposed on the image (step S106). For example, the generation device 100 generates a superimposed image in which related information is superimposed on the margin area determined in step S106.

〔７．関連情報の指定による出力〕
生成装置１００は、ユーザの指定に応じて所定の情報を出力させる関連情報を画像に重畳させた重畳画像を生成してもよい。この点について、図８を用いて説明する。図８は、実施形態に係る関連情報の指定の一例を示す図である。具体的には、図８は、重畳画像ＩＳ１１に含まれる関連情報ＩＲ１１がユーザにより指定された場合に、対象物「○○のバッグ」に関する音声ＩＶ１１を出力する場合を示す。 [7. Output by specifying related information]
The generation device 100 may generate a superimposed image in which related information for outputting predetermined information is superimposed on the image according to a user's designation. This point will be described with reference to FIG. FIG. 8 is a diagram showing an example of designation of related information according to the embodiment. Specifically, FIG. 8 shows a case where the voice IV11 relating to the object “○○ bag” is output when the related information IR11 included in the superimposed image IS11 is specified by the user.

図８に示す例において、端末装置１０を利用するユーザは、端末装置１０に表示された関連情報ＩＲ１１を押下する（ステップＳ１５）。これにより、端末装置１０を利用するユーザは、指Ｆ１でタッチすることにより、関連情報ＩＲ１１を指定する。 In the example shown in FIG. 8, the user who uses the terminal device 10 presses the related information IR 11 displayed on the terminal device 10 (step S15). As a result, the user who uses the terminal device 10 designates the related information IR 11 by touching it with the finger F1.

そして、ユーザによる指定を受け付けた端末装置１０は、対象物「○○のバッグ」に関する音声ＩＶ１１を出力する（ステップＳ１６）。具体的には、端末装置１０は、対象物「○○のバッグ」に関する情報をスピーカから音声として出力する。これにより、生成装置１００は、端末装置１０を利用するユーザに対象物「○○のバッグ」を認識させることができる。 Then, the terminal device 10 that has received the designation by the user outputs the voice IV11 regarding the object “bag of XX” (step S16). Specifically, the terminal device 10 outputs information about the object "bag of XX" as voice from the speaker. As a result, the generation device 100 can make the user who uses the terminal device 10 recognize the object "○○ bag".

なお、ユーザの指定に基づく出力は、音声による出力に限らず、端末装置１０を利用するユーザの対象物を認識する確率を高めることができれば、どのような態様であってもよい。例えば、関連情報ＩＲ１１がユーザにより指定された場合に、端末装置１０は、対象物「○○のバッグ」に関する動画情報を出力してもよい。また、例えば、関連情報ＩＲ１１がユーザにより指定された場合に、端末装置１０は、対象物「○○のバッグ」の拡大画像を表示してもよい。また、例えば、関連情報ＩＲ１１がユーザにより指定された場合に、端末装置１０は、対象物「○○のバッグ」に関する所定のサイトを表示してもよい。 The output based on the user's designation is not limited to the voice output, and may be in any mode as long as the probability of recognizing the object of the user who uses the terminal device 10 can be increased. For example, when the related information IR 11 is specified by the user, the terminal device 10 may output moving image information about the object "bag of XX". Further, for example, when the related information IR 11 is specified by the user, the terminal device 10 may display an enlarged image of the object “○○ bag”. Further, for example, when the related information IR 11 is specified by the user, the terminal device 10 may display a predetermined site regarding the object "bag of XX".

〔８．オブジェクト情報を用いた生成処理〕
上述した例においては、生成装置１００が対象物を含む画像と文字情報に基づいて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像（コンテンツ）を生成する場合を示した。しかしながら、生成装置１００は、画像から対象物の特徴領域情報を抽出し、抽出した特徴領域情報からオブジェクトを判定してもよい。この点について、図９及び図１０を用いて説明する。図９は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示す図である。 [8. Generation process using object information]
In the above-mentioned example, the generation device 100 uses the image including the object and the feature area information of the object extracted from the image based on the character information to generate the related information related to the object generated from the character information. The case where the superimposed image (content) superimposed on the image is generated is shown. However, the generation device 100 may extract the feature area information of the object from the image and determine the object from the extracted feature area information. This point will be described with reference to FIGS. 9 and 10. FIG. 9 is a diagram showing an example of a generation process using the object information according to the embodiment.

図９に示す例では、画像ＩＭ１１と文字情報ＩＣ１１とを用いて重畳画像が生成される例を示す。図９中の画像ＩＭ１１は、帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧを身に着けたモデルＭＤを含む。また、図９中の文字情報ＩＣ１１は、画像ＩＭ１１に関する文章を含む。例えば、画像ＩＭ１１と文字情報ＩＣ１１とは、１つの記事に含まれる画像や文字情報であり、互いに関連する情報を含む。なお、図９では、画像ＩＭ１１中の腕時計ＷＴを対象物として重畳画像を生成する場合を示す。また、腕時計ＷＴは、ブランド△△の腕時計であるものとする。 In the example shown in FIG. 9, an example in which a superimposed image is generated using the image IM 11 and the character information IC 11 is shown. Image IM11 in FIG. 9 includes a model MD wearing a hat HT, a wristwatch WT, and a bag BG. Further, the character information IC 11 in FIG. 9 includes a sentence related to the image IM 11. For example, the image IM 11 and the character information IC 11 are image and character information included in one article, and include information related to each other. Note that FIG. 9 shows a case where a superposed image is generated using the wristwatch WT in the image IM 11 as an object. In addition, the wristwatch WT shall be a wristwatch of brand △△.

まず、生成装置１００は、画像ＩＭ１１における特徴情報が含まれる領域に関する特徴領域情報ＦＲ２１を抽出する（ステップＳ２１）。例えば、生成装置１００は、画像ＩＭ１１のみに基づいて、画像ＩＭ１１から対象物の領域に関する情報である特徴領域情報ＦＲ２１を抽出する。図９では、生成装置１００は、特徴領域情報ＦＲ２１に示すように、画像ＩＭ１１のみに基づいて、画像ＩＭ１１における特徴領域を抽出する。なお、図９中の特徴領域情報ＦＲ２１では、特徴を示す領域を色が濃い態様で示す。すなわち、特徴領域情報ＦＲ２１では、特徴量が大きいほど色が濃い態様で表示される。具体的には、図９中の特徴領域情報ＦＲ２１では、画像ＩＭ１１において人（モデルＭＤ）の顔が位置する領域や、画像ＩＭ１１において帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧが位置する領域が色の濃い態様で示される。すなわち、図９では、生成装置１００は、対象物である腕時計が位置する領域ＡＲ２１（以下、「対象領域ＡＲ２１」とする場合がある）が色の濃い態様で示される。なお、対象領域ＡＲ２１は画像ＩＭ１１における所定の閾値以上の特徴量を含む領域であってもよい。また、図９の例では、特徴領域情報ＦＲ２１は、図１に示す特徴領域情報ＦＲ１１と比較して、モデルＭＤの顔の領域が他の領域よりも特徴量が大きくなる。 First, the generation device 100 extracts the feature region information FR21 regarding the region including the feature information in the image IM 11 (step S21). For example, the generation device 100 extracts the feature area information FR21 which is information about the area of the object from the image IM11 based only on the image IM11. In FIG. 9, as shown in the feature region information FR21, the generation device 100 extracts the feature region in the image IM 11 based only on the image IM 11. In the feature region information FR21 in FIG. 9, the region showing the feature is shown in a dark color mode. That is, in the feature area information FR21, the larger the feature amount, the darker the color is displayed. Specifically, in the feature area information FR21 in FIG. 9, the area where the face of a person (model MD) is located in the image IM11 and the area where the hat HT, the wristwatch WT, and the bag BG are located in the image IM11 are colored. Shown in dark form. That is, in FIG. 9, in the generation device 100, the region AR21 (hereinafter, may be referred to as “target region AR21”) in which the wristwatch which is the object is located is shown in a dark mode. The target region AR21 may be a region including a feature amount equal to or larger than a predetermined threshold value in the image IM11. Further, in the example of FIG. 9, the feature region information FR21 has a larger feature amount in the face region of the model MD than in the other regions as compared with the feature region information FR11 shown in FIG.

そして、生成装置１００は、特徴領域情報ＦＲ２１に基づいて画像ＩＭ１１に含まれるオブジェクトを判定する（ステップＳ２２）。具体的には、生成装置１００は、画像ＩＭ１１中に人（モデルＭＤ）、帽子ＨＴ、腕時計ＷＴ、及びバッグＢＧが含まれると判定する。例えば、生成装置１００は、Ｒ－ＣＮＮ等の画像認識技術を用いた画像処理を適宜用いてもよい。また、生成装置１００は、画像処理等の種々の従来手法を適宜用いて、画像におけるオブジェクト（物体）の判定を行ってもよい。 Then, the generation device 100 determines the object included in the image IM 11 based on the feature area information FR21 (step S22). Specifically, the generation device 100 determines that the image IM 11 includes a person (model MD), a hat HT, a wristwatch WT, and a bag BG. For example, the generation device 100 may appropriately use image processing using an image recognition technique such as R-CNN. Further, the generation device 100 may determine an object (object) in the image by appropriately using various conventional methods such as image processing.

ステップＳ２２におけるオブジェクト判定により、生成装置１００は、オブジェクト一覧ＯＪ２１に示すように、画像ＩＭ１１中には、モデルＭＤであるオブジェクト「モデル××」や、腕時計ＷＴであるオブジェクト「△△の腕時計」や、バッグＢＧであるオブジェクト「○○のバッグ」等が含まれると判定する。 By the object determination in step S22, as shown in the object list OJ21, the generation device 100 includes an object "model XX" which is a model MD and an object "△△ wristwatch" which is a wristwatch WT in the image IM11. , It is determined that the object "○○ bag" which is a bag BG is included.

そして、生成装置１００は、対象物となるオブジェクトである腕時計ＷＴに関連する関連情報を生成する（ステップＳ２３）。この場合、生成装置１００は、オブジェクト情報ＤＢ１０に格納された腕時計ＷＴに関連する情報に基づいて、腕時計ＷＴに関連する関連情報を生成する。例えば、オブジェクト情報ＤＢ１０は生成装置１００外に設けられてもよい。例えば、オブジェクト情報ＤＢ１０は外部の情報処理装置が有してもよい。この場合、生成装置１００は、オブジェクト情報ＤＢ１０を有する外部の情報処理装置に腕時計ＷＴを指定する情報を送信することにより、外部の情報処理装置から腕時計ＷＴに関する情報を取得してもよい。 Then, the generation device 100 generates related information related to the wristwatch WT, which is an object to be an object (step S23). In this case, the generation device 100 generates the related information related to the wristwatch WT based on the information related to the wristwatch WT stored in the object information DB 10. For example, the object information DB 10 may be provided outside the generation device 100. For example, the object information DB 10 may be possessed by an external information processing device. In this case, the generation device 100 may acquire information about the wristwatch WT from the external information processing device by transmitting information designating the wristwatch WT to an external information processing device having the object information DB 10.

図９に示す例においては、生成装置１００は、オブジェクト情報ＤＢ１０を有する外部の情報処理装置に腕時計ＷＴを指定する情報を送信することにより、外部の情報処理装置から腕時計ＷＴの発売日が「Ｘ月Ｙ日」であることを示す情報を取得した場合を示す。 In the example shown in FIG. 9, the generation device 100 transmits information specifying the wristwatch WT to an external information processing device having the object information DB 10, so that the release date of the wristwatch WT is set to "X" from the external information processing device. The case where the information indicating that it is "month Y day" is acquired is shown.

生成装置１００は、対象物となるオブジェクト「△△の腕時計」、すなわち腕時計ＷＴに関連する関連情報を生成する。例えば、図９では、生成装置１００は、オブジェクト情報ＤＢ１０を有する外部の情報処理装置から取得した腕時計ＷＴの発売日「Ｘ月Ｙ日」に基づいて、文字列「Ｘ月Ｙ日発売△△の腕時計」を含む関連情報ＩＲ２１を生成する。 The generation device 100 generates the object “△△ wristwatch”, that is, related information related to the wristwatch WT. For example, in FIG. 9, the generation device 100 has a character string “released on the X month Y day” based on the release date “X month Y day” of the wristwatch WT acquired from an external information processing device having the object information DB 10. Generate related information IR21 including "watch".

そして、生成装置１００は、関連情報ＩＲ２１を画像ＩＭ１１に重畳させることにより、重畳画像ＩＳ２１を生成する（ステップＳ２４）。図９では、生成装置１００は、画像ＩＭ１１における対象物の領域付近に関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。具体的には、生成装置１００は、画像ＩＭ１１における余白領域に、腕時計ＷＴを指示する関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。 Then, the generation device 100 generates the superimposed image IS21 by superimposing the related information IR21 on the image IM11 (step S24). In FIG. 9, the generation device 100 generates the superimposed image IS21 in which the related information IR21 is superimposed near the region of the object in the image IM11. Specifically, the generation device 100 generates a superimposed image IS21 in which the related information IR21 indicating the wristwatch WT is superimposed on the margin area in the image IM11.

図９では、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左右両側に余白領域ＢＳ２１、ＢＳ２２が含まれると判定する。具体的には、生成装置１００は、画像ＩＭ１１中のモデルＭＤの左側に余白領域ＢＳ２１が含まれ、画像ＩＭ１１中のモデルＭＤの右側に余白領域ＢＳ２２が含まれると判定する。 In FIG. 9, the generation device 100 determines that the margin regions BS21 and BS22 are included on the left and right sides of the model MD in the image IM11. Specifically, the generation device 100 determines that the margin region BS21 is included on the left side of the model MD in the image IM11 and the margin region BS22 is included on the right side of the model MD in the image IM11.

ここで、図９では、余白領域ＢＳ２２に比べて余白領域ＢＳ２１は、画像ＩＭ１１において対象領域ＡＲ２１に対応する部分に近接して位置する。そのため、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ２１に関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。具体的には、生成装置１００は、画像ＩＭ１１中の余白領域ＢＳ２１における腕時計ＷＴに近接する箇所（図９では上部）に関連情報ＩＲ２１を重畳させた重畳画像ＩＳ２１を生成する。このように、生成装置１００は、オブジェクト情報を用いて関連情報を生成することにより、ユーザに訴求効果の高い関連情報を含む重畳画像を生成することができる。 Here, in FIG. 9, the margin region BS 21 is located closer to the portion corresponding to the target region AR 21 in the image IM 11 than the margin region BS 22. Therefore, the generation device 100 generates the superimposed image IS21 in which the related information IR21 is superimposed on the margin region BS21 in the image IM11. Specifically, the generation device 100 generates a superimposed image IS21 in which the related information IR21 is superimposed on a portion (upper part in FIG. 9) close to the wristwatch WT in the margin region BS21 in the image IM11. As described above, the generation device 100 can generate a superimposed image including the related information having a high appealing effect to the user by generating the related information using the object information.

〔９．オブジェクト情報を用いた生成処理フロー〕
次に、図１０を用いて、実施形態に係る配信システム１におけるオブジェクト情報を用いたコンテンツの生成処理について説明する。図１０は、実施形態に係るオブジェクト情報を用いた生成処理の一例を示すフローチャートである。 [9. Generation processing flow using object information]
Next, with reference to FIG. 10, the content generation process using the object information in the distribution system 1 according to the embodiment will be described. FIG. 10 is a flowchart showing an example of a generation process using the object information according to the embodiment.

まず、図１０に示す例において、生成装置１００は、画像と画像に対応する文字情報を取得する（ステップＳ２０１）。例えば、生成装置１００は、画像をコンテンツ情報記憶部１２１から取得する。また、例えば、生成装置１００は、画像に関連する文字情報をコンテンツ情報記憶部１２１から取得する。 First, in the example shown in FIG. 10, the generation device 100 acquires an image and character information corresponding to the image (step S201). For example, the generation device 100 acquires an image from the content information storage unit 121. Further, for example, the generation device 100 acquires character information related to the image from the content information storage unit 121.

そして、生成装置１００は、画像から特徴領域情報を抽出する（ステップＳ２０２）。また、生成装置１００は、画像中の余白領域を判定する（ステップＳ２０３）。そして、生成装置１００は、画像と抽出した特徴領域から画像に含まれるオブジェクトを判定する（ステップＳ２０４）。 Then, the generation device 100 extracts the feature area information from the image (step S202). Further, the generation device 100 determines the margin area in the image (step S203). Then, the generation device 100 determines an object included in the image from the image and the extracted feature area (step S204).

その後、生成装置１００は、画像に含まれるオブジェクトに関する関連情報を文字情報から生成する（ステップＳ２０５）。例えば、生成装置１００は、ステップＳ２０４において判定されたオブジェクトに関する関連情報を文字情報から生成する。また、生成装置１００は、関連情報を重畳可能な余白領域を判定する（ステップＳ２０６）。例えば、生成装置１００は、関連情報を重畳可能な大きさを有する余白領域を判定する。 After that, the generation device 100 generates related information about the object included in the image from the character information (step S205). For example, the generation device 100 generates related information about the object determined in step S204 from the character information. Further, the generation device 100 determines a margin area on which related information can be superimposed (step S206). For example, the generation device 100 determines a margin area having a size capable of superimposing related information.

そして、生成装置１００は、画像に関連情報を重畳した重畳画像を生成する（ステップＳ２０７）。例えば、生成装置１００は、ステップＳ２０７において判定した余白領域に関連情報を重畳した重畳画像を生成する。 Then, the generation device 100 generates a superimposed image in which related information is superimposed on the image (step S207). For example, the generation device 100 generates a superimposed image in which related information is superimposed on the margin area determined in step S207.

〔１０．効果〕
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３４とを有する。取得部１３１は、対象物を含む画像を取得する。生成部１３４は、画像から抽出される情報であって、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。 [10. effect〕
As described above, the generation device 100 according to the embodiment has an acquisition unit 131 and a generation unit 134. The acquisition unit 131 acquires an image including an object. The generation unit 134 generates a superimposed image in which related information related to the object is superimposed on the image based on the feature area information which is information extracted from the image and is information about the area of the object in the image. ..

これにより、実施形態に係る生成装置１００は、画像における対象物の領域に関する情報である特徴領域情報に基づいて、対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。これにより、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。例えば、生成装置１００は、画像と画像に含まれる対象物に関連する情報とを個別に表示するコンテンツに比べて、対象物に関連する関連情報を画像に重畳させた重畳画像の場合、対象物を含む領域、すなわち画像においてユーザに注目させたい箇所をユーザに提示することができる。 As a result, the generation device 100 according to the embodiment generates a superimposed image in which the related information related to the object is superimposed on the image based on the feature area information which is the information about the area of the object in the image. As a result, the generation device 100 can generate content that allows the user to appropriately recognize the object included in the image and the information related to the object. For example, in the case of a superimposed image in which the image and the information related to the object included in the image are individually displayed, the generator 100 superimposes the related information related to the object on the image, as compared with the content. It is possible to present to the user an area including, that is, a part of the image that the user wants to pay attention to.

また、実施形態に係る生成装置１００において、取得部１３１は、画像に関連する文字情報を取得する。生成部１３４は、文字情報を用いて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させた重畳画像を生成する。 Further, in the generation device 100 according to the embodiment, the acquisition unit 131 acquires character information related to the image. The generation unit 134 generates a superimposed image in which related information related to the object generated from the character information is superimposed on the image based on the feature area information of the object extracted from the image using the character information.

これにより、実施形態に係る生成装置１００は、文字情報を用いて画像から抽出された対象物の特徴領域情報に基づいて、文字情報から生成された対象物に関連する関連情報を画像に重畳させることにより、より適切な位置に適切な内容の関連情報を配置することができる。したがって、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。 As a result, the generation device 100 according to the embodiment superimposes the related information related to the object generated from the character information on the image based on the feature area information of the object extracted from the image using the character information. Thereby, the related information of the appropriate content can be arranged at the more appropriate position. Therefore, the generation device 100 can generate content that allows the user to appropriately recognize the object included in the image and the information related to the object.

また、実施形態に係る生成装置１００において、生成部１３４は、画像における対象物の領域付近に関連情報を重畳させた重畳画像を生成する。 Further, in the generation device 100 according to the embodiment, the generation unit 134 generates a superimposed image in which related information is superimposed in the vicinity of the region of the object in the image.

これにより、実施形態に係る生成装置１００は、対象物に関連する関連情報を対象物の付近に配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。したがって、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。 As a result, the generation device 100 according to the embodiment arranges the related information related to the object in the vicinity of the object, presents the user a place to be noticed by the user, and displays the content of the object as text information. Can be presented to the user as. Therefore, the generation device 100 can generate content that allows the user to appropriately recognize the object included in the image and the information related to the object.

また、実施形態に係る生成装置１００において、生成部１３４は、対象物と対象物を指示する関連情報とを含む重畳画像を生成する。 Further, in the generation device 100 according to the embodiment, the generation unit 134 generates a superposed image including an object and related information indicating the object.

これにより、実施形態に係る生成装置１００は、対象物に関連する関連情報を、対象物を指示する表示態様で配置することにより、ユーザに注目させたい箇所をユーザに提示とともに、その対象物の内容を文字情報としてユーザに提示することができる。したがって、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。 As a result, the generation device 100 according to the embodiment arranges the related information related to the object in a display mode for instructing the object, thereby presenting the user a place to be noticed by the user and at the same time presenting the object to the user. The content can be presented to the user as text information. Therefore, the generation device 100 can generate content that allows the user to appropriately recognize the object included in the image and the information related to the object.

また、実施形態に係る生成装置１００において、生成部１３４は、画像における余白領域に関連情報を重畳させた重畳画像を生成する。 Further, in the generation device 100 according to the embodiment, the generation unit 134 generates a superimposed image in which related information is superimposed on the margin area in the image.

これにより、実施形態に係る生成装置１００は、画像中の余白領域を判定し、判定した余白領域に関連画像を重畳させて重畳画像を生成する。これにより、生成装置１００は、画像においてオブジェクトが含まれない領域に関連画像を重畳させて重畳画像を生成することができる。したがって、生成装置１００は、重畳させても画像に含まれるオブジェクトの認識率低下を抑制しつつ、関連情報を重畳させて重畳画像を生成することができる。このように、生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。 As a result, the generation device 100 according to the embodiment determines the margin area in the image and superimposes the related image on the determined margin area to generate the superimposed image. As a result, the generation device 100 can generate a superimposed image by superimposing the related image on the area where the object is not included in the image. Therefore, the generation device 100 can generate a superposed image by superimposing related information while suppressing a decrease in the recognition rate of the object included in the image even if the superimposing is performed. In this way, the generation device 100 can generate content that allows the user to appropriately recognize the object included in the image and the information related to the object.

また、実施形態に係る生成装置１００において、生成部１３４は、ユーザの指定に応じて所定の情報を出力させる関連情報を画像に重畳させた重畳画像を生成する。 Further, in the generation device 100 according to the embodiment, the generation unit 134 generates a superimposed image in which related information for outputting predetermined information is superimposed on the image according to a user's designation.

これにより、実施形態に係る生成装置１００は、端末装置１０を利用するユーザが対象物を認識する確率を高めることができる。生成装置１００は、画像に含まれる対象物と対象物に関連する情報とを適切にユーザに認識させるコンテンツを生成することができる。 Thereby, the generation device 100 according to the embodiment can increase the probability that the user who uses the terminal device 10 recognizes the object. The generation device 100 can generate content that allows the user to appropriately recognize the object included in the image and the information related to the object.

また、実施形態に係る生成装置１００において、生成部１３４は、関連情報として、対象物に関連する広告情報を画像に重畳させた重畳画像を生成する。 Further, in the generation device 100 according to the embodiment, the generation unit 134 generates a superimposed image in which the advertisement information related to the object is superimposed on the image as the related information.

これにより、実施形態に係る生成装置１００は、画像に含まれる対象物と対象物に関連する広告とを適切にユーザに認識させるコンテンツを生成することができる。したがって、生成装置１００は、広告効果の高いコンテンツを生成することができ、広告効果を向上させることができる。 As a result, the generation device 100 according to the embodiment can generate content that allows the user to appropriately recognize the object included in the image and the advertisement related to the object. Therefore, the generation device 100 can generate content having a high advertising effect, and can improve the advertising effect.

〔１１．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。 [11. Hardware configuration]
The generator 100 according to the embodiment described above is realized by, for example, a computer 1000 having a configuration as shown in FIG. FIG. 11 is a hardware configuration diagram showing an example of a computer that realizes the function of the generator. The computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。 The CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each part. The ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。 The HDD 1400 stores a program executed by the CPU 1100, data used by such a program, and the like. The communication interface 1500 receives data from another device via the network N and sends it to the CPU 1100, and transmits the data generated by the CPU 1100 to the other device via the network N.

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。 The CPU 1100 controls an output device such as a display or a printer, and an input device such as a keyboard or a mouse via the input / output interface 1600. The CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the generated data to the output device via the input / output interface 1600.

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。 The media interface 1700 reads a program or data stored in the recording medium 1800 and provides the program or data to the CPU 1100 via the RAM 1200. The CPU 1100 loads the program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program. The recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. And so on.

例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。 For example, when the computer 1000 functions as the generation device 100 according to the embodiment, the CPU 1100 of the computer 1000 realizes the function of the control unit 130 by executing the program loaded on the RAM 1200. The CPU 1100 of the computer 1000 reads and executes these programs from the recording medium 1800, but as another example, these programs may be acquired from another device via the network N.

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure line of the invention. It is possible to carry out the present invention in other modified forms.

〔１２．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。 [12. others〕
Further, among the processes described in the above-described embodiment, all or a part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or part of it can be done automatically by a known method. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the information shown in the figure.

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.

また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the above-described embodiments can be appropriately combined as long as the processing contents do not contradict each other.

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。 Further, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the acquisition unit can be read as an acquisition means or an acquisition circuit.

１配信システム
１００生成装置
１２１コンテンツ情報記憶部
１３０制御部
１３１取得部
１３２抽出部
１３３判定部
１３４生成部
１３５配信部
１０端末装置
１５１送信部
１５２受信部
１５３表示部
Ｎネットワーク 1 Distribution system 100 Generation device 121 Content information storage unit 130 Control unit 131 Acquisition unit 132 Extraction unit 133 Judgment unit 134 Generation unit 135 Distribution unit 10 Terminal device 151 Transmission unit 152 Reception unit 153 Display unit N network

Claims

対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のファッション記事に含まれた文字情報と、を取得する取得部と、
前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて特定された前記対象物に関連する関連情報であって、ユーザの指定に応じて所定の情報を出力させる関連情報を、前記文字情報から抽出された一の情報に関連して前記文字情報から抽出された情報に基づいて生成し、当該関連情報を前記画像に重畳させた重畳画像を生成する生成部と、
を備え、
前記対象物は、前記特徴領域情報に基づいて認識されたファッションアイテムであって、
前記特徴領域情報は、前記画像に含まれるファッションアイテム以外の他の対象物の特徴領域情報よりも特徴量が大きい領域情報である
ことを特徴とする生成装置。 An acquisition unit that acquires an image including an object and character information contained in the same fashion article as the image as character information related to the image.
Related information related to the object specified based on the feature area information which is information about the area of the object in the image, and related information to output predetermined information according to the user's designation. Is generated based on the information extracted from the character information in relation to the one information extracted from the character information, and the generation unit for generating the superimposed image in which the related information is superimposed on the image.
Equipped with
The object is a fashion item recognized based on the feature area information.
The generator is characterized in that the feature area information is area information having a larger feature amount than the feature area information of an object other than the fashion item included in the image.

前記生成部は、
前記画像における前記対象物の領域付近に前記関連情報を重畳させた重畳画像を生成する
ことを特徴とする請求項１に記載の生成装置。 The generator is
The generation device according to claim 1, wherein a superimposed image in which the related information is superimposed is generated in the vicinity of a region of the object in the image.

前記生成部は、
前記対象物と、前記対象物を指示する前記関連情報とを含む前記重畳画像を生成する
ことを特徴とする請求項１または請求項２に記載の生成装置。 The generator is
The generator according to claim 1 or 2, wherein the superimposed image including the object and the related information indicating the object is generated.

前記生成部は、
前記画像における余白領域に前記関連情報を重畳させた重畳画像を生成する
ことを特徴とする請求項１～３のいずれか１項に記載の生成装置。 The generator is
The generator according to any one of claims 1 to 3, wherein a superimposed image is generated by superimposing the related information on a margin area in the image.

前記生成部は、
前記関連情報として、前記対象物に関連する広告情報を前記画像に重畳させた重畳画像を生成する
ことを特徴とする請求項１～４のいずれか１項に記載の生成装置。 The generator is
The generator according to any one of claims 1 to 4, wherein as the related information, an superimposed image in which advertisement information related to the object is superimposed on the image is generated.

コンピュータが実行する生成方法であって、
対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のファッション記事に含まれた文字情報と、を取得する取得工程と、
前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて特定された前記対象物に関連する関連情報であって、ユーザの指定に応じて所定の情報を出力させる関連情報を、前記文字情報から抽出された一の情報に関連して前記文字情報から抽出された情報に基づいて生成し、当該関連情報を前記画像に重畳させた重畳画像を生成する生成工程と、
を含み、
前記対象物は、前記特徴領域情報に基づいて認識されたファッションアイテムであって、
前記特徴領域情報は、前記画像に含まれるファッションアイテム以外の他の対象物の特徴領域情報よりも特徴量が大きい領域情報である
ことを特徴とする生成方法。 It ’s a computer-run generation method.
An acquisition process for acquiring an image including an object and character information contained in the same fashion article as the image as character information related to the image.
Related information related to the object specified based on the feature area information which is information about the area of the object in the image, and related information to output predetermined information according to the user's designation. Is generated based on the information extracted from the character information in relation to the one information extracted from the character information, and the generation step of generating a superimposed image in which the related information is superimposed on the image.
Including
The object is a fashion item recognized based on the feature area information.
The generation method characterized in that the feature area information is area information having a larger feature amount than the feature area information of an object other than the fashion item included in the image.

対象物を含む画像と、当該画像に関連する文字情報として当該画像と同一のファッション記事に含まれた文字情報と、を取得する取得手順と、
前記画像における前記対象物の領域に関する情報である特徴領域情報に基づいて特定された前記対象物に関連する関連情報であって、ユーザの指定に応じて所定の情報を出力させる関連情報を、前記文字情報から抽出された一の情報に関連して前記文字情報から抽出された情報に基づいて生成し、当該関連情報を前記画像に重畳させた重畳画像を生成する生成手順と、
をコンピュータに実行させ、
前記対象物は、前記特徴領域情報に基づいて認識されたファッションアイテムであって、
前記特徴領域情報は、前記画像に含まれるファッションアイテム以外の他の対象物の特徴領域情報よりも特徴量が大きい領域情報である
ことを特徴とする生成プログラム。 An acquisition procedure for acquiring an image including an object and text information contained in the same fashion article as the image as text information related to the image.
Related information related to the object specified based on the feature area information which is information about the area of the object in the image, and related information to output predetermined information according to the user's designation. Is generated based on the information extracted from the character information in relation to the one information extracted from the character information, and the generation procedure for generating a superimposed image in which the related information is superimposed on the image, and
Let the computer run
The object is a fashion item recognized based on the feature area information.
The generation program characterized in that the feature area information is area information having a larger feature amount than the feature area information of an object other than the fashion item included in the image.