JP2018018140A - Image processor, image processing method, program and recording medium - Google Patents
Image processor, image processing method, program and recording medium Download PDFInfo
- Publication number
- JP2018018140A JP2018018140A JP2016145454A JP2016145454A JP2018018140A JP 2018018140 A JP2018018140 A JP 2018018140A JP 2016145454 A JP2016145454 A JP 2016145454A JP 2016145454 A JP2016145454 A JP 2016145454A JP 2018018140 A JP2018018140 A JP 2018018140A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- evaluation
- group
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims abstract description 513
- 239000002131 composite material Substances 0.000 claims description 144
- 238000000605 extraction Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 59
- 238000004458 analytical method Methods 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 13
- 238000010191 image analysis Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000238370 Sepia Species 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、複数のユーザから取得された複数の画像を用いて、合成画像を作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。 The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium that create a composite image using a plurality of images acquired from a plurality of users.
現在、ユーザが所有する複数の画像（画像データ）を、インターネット等を経由して取得し、ユーザから取得した複数の画像を用いてユーザが希望するレイアウトのフォトアルバムを作成するサービスが提供されている。 Currently, a service is provided for acquiring a plurality of images (image data) owned by a user via the Internet or the like and creating a photo album having a layout desired by the user using the plurality of images acquired from the user. Yes.
近年では、一人のユーザが所有する複数の画像だけを用いてフォトアルバムを作成するだけでなく、複数のユーザが所有する複数の画像を用いて１つのフォトアルバムを作成するもの（特許文献１および２参照）が知られている。 In recent years, not only a photo album is created using only a plurality of images owned by a single user, but also a photo album is created using a plurality of images owned by a plurality of users (Patent Document 1 and 2) is known.
また、ユーザが「いいねボタン」によって入力した支持情報に基づいて画像の評価値を算出し、評価値に基づいて画像を選択してアルバムのレイアウトを行うもの（特許文献３）、ライブビデオ等のコンテンツに対して、ユーザが５段階のレーティングを表すコンテンツ評価情報を入力するもの（特許文献４）、および、画像の評価値に基づいて画像を選択し、選択画像をレイアウトするもの（特許文献５）等が知られている。 Further, an evaluation value of an image is calculated based on support information input by a user with a “like button”, an image is selected based on the evaluation value, and an album is laid out (Patent Document 3), live video, or the like The user inputs content evaluation information representing a rating of five levels (Patent Document 4), and selects the image based on the image evaluation value and lays out the selected image (Patent Document 4) 5) etc. are known.
フォトアルバムおよびシャッフルプリント等の１つの合成画像を複数のユーザが共同で作成する場合、例えば、システムが有する自動レイアウト機能により、複数のユーザから取得された複数の画像を用いて合成画像のレイアウトが自動で作成される。 When a plurality of users jointly create one composite image such as a photo album and a shuffle print, the layout of the composite image can be generated using a plurality of images acquired from a plurality of users by an automatic layout function of the system, for example. Created automatically.
しかし、自動レイアウト機能によって作成された合成画像において、ユーザの期待とは異なる画像が大コマ（ｆｒａｍｅ）、つまり、合成画像を作成する場合に使用するテンプレートにおいて他の通常コマよりもサイズが大きい画像配置領域に配置される場合がある。この場合、ユーザは、ユーザが期待する画像を大コマに配置し直すために、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間が発生する。 However, in a composite image created by the automatic layout function, an image different from the user's expectation is a large frame, that is, an image larger in size than other normal frames in a template used when creating a composite image It may be placed in the placement area In this case, the user needs to re-evaluate the image and manually edit the layout in order to rearrange the image expected by the user in the large frame.
例えば、結婚披露宴のアルバムにおいて、面白い画像に対するユーザの評価が高くなって大コマに配置され、新郎・新婦の二人が写っている画像が大コマに配置されない場合がある。このように、多くのユーザから高い評価が与えられた画像であっても大コマには適していない可能性がある。また、システムによる評価が高い画像は「よい画像」ではあるが、「ユーザが大コマに配置したい画像」であるとは限らない。 For example, in a wedding reception album, there is a case where the user's evaluation for an interesting image is high and the image is placed on a large frame, and the image of the groom and the bride is not arranged on the large frame. Thus, even an image that has been highly evaluated by many users may not be suitable for a large frame. An image highly evaluated by the system is a “good image” but is not necessarily an “image that the user wants to place on a large frame”.
また、例えば、幼稚園のアルバムのように、合成画像の作成目的によっては、笑顔の人物が写っている画像をなるべく多く配置したい場合がある。しかし、笑顔の人物であっても、その人物が正面を向いて写っている画像ではないために、合成画像において使用されず、ユーザが期待するレイアウトにならない場合がある。この場合も同様に、ユーザが期待するレイアウトにするために手動でのレイアウトの編集等の手間が発生する。 Also, for example, depending on the purpose of creating a composite image, there may be a case where it is desired to arrange as many images of smiling people as possible, such as a kindergarten album. However, even a smiling person is not an image in which the person is seen facing the front, so it may not be used in the composite image and may not have the layout expected by the user. In this case as well, troubles such as manual layout editing occur in order to obtain the layout expected by the user.
本発明の目的は、ユーザが期待するレイアウトの合成画像を作成することができ、手動でのレイアウトの編集の手間を減らすことができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。 An object of the present invention is to provide an image processing apparatus, an image processing method, a program, and a recording medium capable of creating a composite image having a layout expected by a user and reducing manual layout editing work. It is in.
上記目的を達成するために、本発明は、複数のユーザから複数の画像を取得する画像取得部と、
複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
画像表示部に表示された各々の画像に対して、各々のユーザが２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
各々の画像に付与された肯定的評価に基づいて各々の画像に対するユーザ評価値を算出する評価値算出部と、
各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部とを備える、画像処理装置を提供する。
In order to achieve the above object, the present invention provides an image acquisition unit that acquires a plurality of images from a plurality of users,
For each of the plurality of images and each of the plurality of images, each of the two or more evaluation assigning regions designated by each of the plurality of users to assign each of two or more types of positive evaluations having different evaluation criteria. A display control unit to be displayed on the image display unit;
For each image displayed on the image display unit, each user acquires an affirmative evaluation given by designating each of two or more evaluation giving regions; and
An evaluation value calculation unit that calculates a user evaluation value for each image based on a positive evaluation given to each image;
An image processing apparatus is provided that includes a composite image creating unit that creates a composite image by combining at least some of a plurality of images based on a user evaluation value for each image.
ここで、各々の画像を解析する画像解析部と、
肯定的評価が付与された画像を２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成する評価画像グループ作成部と、
各々の画像の解析結果に基づいて、２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、ユーザ評価値が最も高い第１類似画像のユーザ評価値に対して、第１類似画像以外の第２類似画像のユーザ評価値を加算する評価値加算部と、
各々の評価画像グループに含まれる画像の中から各々の評価画像グループに含まれる第２類似画像を削除して、合成画像において使用する候補画像を含む、２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成する候補画像グループ作成部と、
ユーザ評価値に基づいて、２以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備えることが好ましい。
Here, an image analysis unit for analyzing each image,
The images to which the positive evaluation is assigned are grouped for each image to which each of the two or more types of positive evaluations is assigned, and each of the two or more evaluation image groups corresponding to each of the two or more types of positive evaluations is obtained. An evaluation image group creation section to be created;
A similar image detection unit that detects a group of similar images having similar image contents from images included in each of the two or more evaluation image groups, based on the analysis result of each image;
For each group of similar images, the user evaluation of the second similar image other than the first similar image with respect to the user evaluation value of the first similar image having the highest user evaluation value among the similar images included in the group of similar images. An evaluation value addition unit for adding values;
The second similar image included in each evaluation image group is deleted from the images included in each evaluation image group, and each of the two or more evaluation image groups including the candidate image used in the composite image is supported. A candidate image group creation unit for creating each of two or more candidate image groups;
It is preferable to include a rank determining unit that determines the rank of images included in each of the two or more candidate image groups based on the user evaluation value.
また、評価画像グループ作成部は、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値以上である画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値未満である画像、および、第２種類の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が第２閾値以上である画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成することが好ましい。 In addition, the evaluation image group creation unit performs grouping of images having the first type of positive evaluation among the images to which the first type of positive evaluation has been given, grouping images having a first threshold value or more. An image in which an evaluation image group corresponding to the type of positive evaluation is created and the number of the first type of positive evaluation given among the images assigned with the first type of positive evaluation is less than the first threshold. In addition, among the images assigned with the second type of positive evaluation, the number of images assigned with the second type of positive evaluation is equal to or greater than the second threshold to group the images into the second type of positive evaluation. It is preferable to create a corresponding evaluation image group.
また、評価画像グループ作成部は、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、一定数の画像以外の画像、および、第２種類の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成することが好ましい。 The evaluation image group creating unit groups a certain number of images from the images having the highest number of first-type positive evaluations among the images to which the first-type positive evaluations have been assigned. An evaluation image group corresponding to one type of positive evaluation is created, and an image other than a certain number of images and a second type of positive evaluation are given among images given the first type of positive evaluation. Preferably, a certain number of images are grouped from the images with the highest number of second-type positive evaluations among the images that have been assigned to create an evaluation image group corresponding to the second-type positive evaluation. .
また、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
画像抽出部は、合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、２以上の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された特大コマの数の画像を特大コマに配置することが好ましい。
In addition, an image extraction unit that extracts at least some of the plurality of images based on the user evaluation value for each image,
The image extraction unit selects a candidate image from among images included in two or more candidate image groups as an image to be arranged in an oversized frame having the largest size among frames included in a template that determines an image layout in a composite image. Extract images with the number of extra large frames in descending order of selection priority of the positive evaluation type corresponding to the group and in descending order of the images included in the candidate image group,
It is preferable that the composite image creation unit arranges images of the number of extra large frames extracted by the image extraction unit in the extra large frame.
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが特大コマの次に大きい大コマに配置する画像として、２以上の候補画像グループに含まれる画像のうちの特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された大コマの数の画像を大コマに配置することが好ましい。
In addition, the image extraction unit, as an image to be arranged in a large frame having a size next to the extra large frame among the frames included in the template, is the number of extra large frames among images included in two or more candidate image groups. Images with the number of large frames are extracted from the images other than those in order of increasing selection priority of the type of positive evaluation corresponding to the candidate image group and in descending order of the images included in the candidate image group. ,
It is preferable that the composite image creation unit arranges the images of the number of large frames extracted by the image extraction unit in the large frame.
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、２以上の候補画像グループに含まれる画像のうちの特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数の画像を通常コマに配置することが好ましい。
In addition, the image extraction unit may include an image having the number of extra large frames among images included in two or more candidate image groups as an image to be arranged in a normal frame having a size smaller than a large frame among the frames included in the template. From the images other than the large number of images, the normal frames are selected in descending order of selection priority of the type of positive evaluation corresponding to the candidate image group and in descending order of the images included in the candidate image group. Extract a number of images,
It is preferable that the composite image creation unit arranges the number of normal frame images extracted by the image extraction unit in the normal frame.
また、肯定的評価が付与されていない画像、および、２以上の候補画像グループに含まれる第２類似画像をグルーピングして予備画像グループを作成する予備画像グループ作成部を備え、
画像抽出部は、テンプレートに含まれるコマの数に対して、２以上の候補画像グループに含まれる画像の総数が不足する場合に、予備画像グループに含まれる画像の中から不足する数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された不足する数の画像を、テンプレートに含まれるコマに配置することが好ましい。
In addition, the image processing apparatus includes a preliminary image group creation unit that creates a preliminary image group by grouping images that have not been given a positive evaluation and second similar images included in two or more candidate image groups.
When the total number of images included in two or more candidate image groups is insufficient with respect to the number of frames included in the template, the image extraction unit selects an insufficient number of images from the images included in the preliminary image group. Extract and
It is preferable that the composite image creation unit arranges the insufficient number of images extracted by the image extraction unit on the frames included in the template.
また、表示制御部は、各々のユーザが複数の画像の中で最もよいと考える画像に対して第１肯定的評価を付与するために指定する第１評価付与領域、各々のユーザが複数の画像の中で、合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマの次に大きい大コマに配置したいと考える画像に対して第２肯定的評価を付与するために指定する第２評価付与領域、各々のユーザが複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して第３肯定的評価を付与するために指定する第３評価付与領域、および、各々のユーザが複数の画像の中でよいと考える画像に対して第４肯定的評価を付与するために指定する第４評価付与領域を表示することが好ましい。 In addition, the display control unit includes a first evaluation giving area that is designated to give a first positive evaluation to an image that each user thinks is best among a plurality of images, and each user has a plurality of images. Among the frames included in the template that determines the layout of the image in the composite image, a second positive evaluation is given to an image that is to be placed in the next large frame next to the extra large frame having the largest size. A second evaluation assigning area designated for each of the images, and a third designation designated for assigning a third positive evaluation to an image that each user considers to have a smile on a person in the images. It is preferable to display an evaluation assigning area and a fourth evaluation assigning area that is designated in order to give a fourth positive evaluation to an image that each user considers to be good among a plurality of images.
また、評価画像グループ作成部は、肯定的評価が付与された画像を、第１肯定的評価、第２肯定的評価、第３肯定的評価および第４肯定的評価の各々が付与された画像毎にグルーピングして、第１肯定的評価、第２肯定的評価、第３肯定的評価および第４肯定的評価に対応する第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループを作成し、
類似画像検出部は、各々の画像の解析結果に基づいて、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの各々に含まれる画像の中から類似画像のグループを検出し、
候補画像グループ作成部は、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの各々に含まれる画像の中から、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの各々に含まれる第２類似画像を削除して、第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループに対応する第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループを作成し、
順位決定部は、ユーザ評価値に基づいて、第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループの各々に含まれる画像の順位を決定することが好ましい。
In addition, the evaluation image group creation unit sets the images to which the positive evaluation is given for each image to which each of the first positive evaluation, the second positive evaluation, the third positive evaluation, and the fourth positive evaluation is given. To the first evaluation image group, the second evaluation image group, the third evaluation image group, and the first evaluation image group corresponding to the first positive evaluation, the second positive evaluation, the third positive evaluation, and the fourth positive evaluation. 4 Create an evaluation image group,
Based on the analysis result of each image, the similar image detecting unit selects a similar image from images included in each of the first evaluation image group, the second evaluation image group, the third evaluation image group, and the fourth evaluation image group. Detect groups of
The candidate image group creation unit is configured to select a first evaluation image group, a second evaluation image from images included in each of the first evaluation image group, the second evaluation image group, the third evaluation image group, and the fourth evaluation image group. The second similar image included in each of the group, the third evaluation image group, and the fourth evaluation image group is deleted, and the first evaluation image group, the second evaluation image group, the third evaluation image group, and the fourth evaluation image group Creating a first candidate image group, a second candidate image group, a third candidate image group, and a fourth candidate image group corresponding to
It is preferable that the order determination unit determines the order of images included in each of the first candidate image group, the second candidate image group, the third candidate image group, and the fourth candidate image group based on the user evaluation value.
また、候補画像グループ作成部は、第２評価画像グループに含まれる画像の中から、さらに、第１候補画像グループに含まれる画像を削除して第２候補画像グループを作成し、第４評価画像グループに含まれる画像の中から、さらに、第１候補画像グループおよび第２候補画像グループに含まれる画像を削除して第４候補画像グループを作成することが好ましい。 In addition, the candidate image group creation unit further deletes the images included in the first candidate image group from the images included in the second evaluation image group, creates a second candidate image group, and generates a fourth evaluation image. It is preferable to further delete images included in the first candidate image group and the second candidate image group from the images included in the group to create a fourth candidate image group.
また、候補画像グループ作成部は、第２評価画像グループに含まれる画像の中から、さらに、第１候補画像グループに含まれる画像を削除して第２候補画像グループを作成し、第３評価画像グループに含まれる画像の中から、さらに、第１候補画像グループおよび第２候補画像グループに含まれる画像を削除して第３候補画像グループを作成し、第４評価画像グループに含まれる画像の中から、さらに、第１候補画像グループ、第２候補画像グループおよび第３候補画像グループに含まれる画像を削除して第４候補画像グループを作成することが好ましい。 Further, the candidate image group creating unit further creates a second candidate image group by deleting images included in the first candidate image group from images included in the second evaluation image group, and generates a third evaluation image. From the images included in the group, the images included in the first candidate image group and the second candidate image group are further deleted to create a third candidate image group, and among the images included in the fourth evaluation image group In addition, it is preferable that the fourth candidate image group is created by deleting images included in the first candidate image group, the second candidate image group, and the third candidate image group.
また、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備え、
合成画像は、表紙ページおよび本編ページを含むフォトアルバムであり、
画像抽出部は、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像の中から、表紙ページに配置する画像として、候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、候補画像グループに含まれる画像の順位が最も高い１枚の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された１枚の画像を表紙ページに配置することが好ましい。
In addition, an image extraction unit that extracts at least some of the plurality of images based on the user evaluation value for each image,
A composite image is a photo album that includes a cover page and a main page.
The image extraction unit selects the type of positive evaluation corresponding to the candidate image group as an image to be arranged on the cover page from images included in the first candidate image group, the second candidate image group, and the fourth candidate image group. Extract one image with the highest selection priority and the highest order of images included in the candidate image group,
The composite image creation unit preferably arranges one image extracted by the image extraction unit on the cover page.
また、画像抽出部は、フォトアルバムにおける画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像のうちの表紙ページに配置する１枚の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された特大コマの数の画像を特大コマに配置することが好ましい。
The image extraction unit also includes a first candidate image group, a second candidate image group, and a fourth candidate image as images to be arranged on the extra large frame among the frames included in the template that determines the layout of images in the photo album. Among the images included in the candidate image group, from among images other than one image to be arranged on the cover page, the candidate image group in the descending order of selection priority of the type of positive evaluation corresponding to the candidate image group In order from the highest image ranking, images of extra large frames are extracted,
It is preferable that the composite image creation unit arranges images of the number of extra large frames extracted by the image extraction unit in the extra large frame.
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが特大コマの次に大きい大コマに配置する画像として、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像のうちの表紙ページに配置する１枚の画像および特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された大コマの数の画像を大コマに配置することが好ましい。
In addition, the image extraction unit includes, in the first candidate image group, the second candidate image group, and the fourth candidate image group, as images to be arranged in a large frame having a size next to the extra large frame among the frames included in the template. Out of one image to be arranged on the cover page and images other than the number of extra large frames, in order from the highest selection priority of the type of positive evaluation corresponding to the candidate image group, and the candidate Extract images with the number of large frames in descending order of the images included in the image group,
It is preferable that the composite image creation unit arranges the images of the number of large frames extracted by the image extraction unit in the large frame.
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループに含まれる画像のうちの表紙ページに配置する１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数の画像を通常コマに配置することが好ましい。
In addition, the image extraction unit is included in the first candidate image group, the second candidate image group, and the fourth candidate image group as images to be arranged in a normal frame that is smaller than a large frame among the frames included in the template. The selection priority of the type of positive evaluation corresponding to the candidate image group is selected from one image to be arranged on the cover page of the image, an image of the number of extra large frames, and an image other than the image of the number of large frames. Extract images with the number of normal frames in descending order of the order of the images included in the candidate image group,
It is preferable that the composite image creation unit arranges the number of normal frame images extracted by the image extraction unit in the normal frame.
また、画像抽出部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに配置する画像として、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に抽出する場合に、第１候補画像グループ、第２候補画像グループおよび第３候補画像グループに含まれる画像のうち、表紙ページに配置する１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された通常コマの数以下の画像を通常コマに配置することが好ましい。
In addition, the image extraction unit is given a third positive evaluation as an image to be arranged in a normal frame having a size smaller than the large frame among the frames included in the template than the image given the fourth positive evaluation. Of the images included in the first candidate image group, the second candidate image group, and the third candidate image group, and the number of extra large frames. From images other than images and large-frame images, usually in descending order of selection priority for the type of positive evaluation corresponding to the candidate image group and in descending order of the images included in the candidate image group Extract images less than the number of frames,
It is preferable that the composite image creation unit arranges images in the normal frame that are equal to or less than the number of normal frames extracted by the image extraction unit.
また、画像抽出部は、通常コマに配置する画像として、通常コマの数未満の画像を抽出した場合に、通常コマのうちの通常コマの数未満の通常コマ以外の残りの通常コマに配置する画像として、第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループに含まれる画像のうち、表紙ページに配置する１枚の画像、特大コマの数の画像、大コマの数の画像、および、通常コマの数未満の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像を抽出し、
合成画像作成部は、画像抽出部によって抽出された残りの通常コマの数の画像を残りの通常コマに配置することが好ましい。
In addition, when the image extraction unit extracts an image less than the number of normal frames as an image to be arranged in the normal frame, the image extraction unit arranges it in the remaining normal frames other than the normal frames less than the number of normal frames in the normal frames. Among the images included in the first candidate image group, the second candidate image group, the third candidate image group, and the fourth candidate image group as images, one image to be arranged on the cover page, the number of extra large frames, Among images other than images with a large number of frames and images with less than the number of normal frames, they are included in the candidate image group in descending order of selection priority of the type of positive evaluation corresponding to the candidate image group. Extract the number of images of the remaining normal frames in descending order of image order,
The composite image creation unit preferably arranges the remaining number of normal frames extracted by the image extraction unit in the remaining normal frames.
また、画像抽出部は、複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に抽出するか否かを決定することが好ましい。 In addition, the image extraction unit prioritizes an image assigned with the third positive evaluation over an image assigned with the fourth positive evaluation according to an instruction of at least one first user among the plurality of users. It is preferable to determine whether or not to extract.
また、画像抽出部は、第３候補画像グループに含まれる画像の数が閾値以上である場合に、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に抽出することが好ましい。 Further, the image extraction unit prioritizes an image assigned with the third positive evaluation over an image assigned with the fourth positive evaluation when the number of images included in the third candidate image group is equal to or greater than the threshold. It is preferable to extract automatically.
また、合成画像における画像のレイアウトを決定する複数のテンプレートを記憶するテンプレート記憶部と、
第１テンプレート決定モードの場合に、複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて設定された合成画像の商材の種類、ページ数およびテーマに基づいて、複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定し、第２テンプレート決定モードの場合に、複数の画像の数および各々の画像に付与された肯定的評価に基づいて、複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定するテンプレート決定部とを備え、
合成画像作成部は、テンプレート決定部によって決定されたテンプレートを用いて合成画像を作成することが好ましい。
A template storage unit for storing a plurality of templates for determining the layout of the image in the composite image;
In the case of the first template determination mode, based on the type, number of pages, and theme of the composite image set according to the instruction of at least one first user among the plurality of users, A template to be used when creating a composite image is determined, and in the second template determination mode, the composite image is combined from a plurality of templates based on the number of the plurality of images and the positive evaluation given to each image. A template determining unit that determines a template to be used when creating an image,
The composite image creation unit preferably creates a composite image using the template determined by the template determination unit.
また、テンプレート決定部は、第２テンプレート決定モードの場合に、第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループに含まれる画像の総数、ならびに、第１候補画像グループ、第２候補画像グループおよび第４候補画像グループの各々に含まれる画像の数に応じて、テンプレートに含まれるコマのうち、サイズが最も大きい特大コマおよび特大コマの次に大きい大コマの数を決定し、特大コマおよび大コマの数に応じて、合成画像を作成する時に使用するテンプレートを決定することが好ましい。 Further, the template determination unit, in the second template determination mode, the total number of images included in the first candidate image group, the second candidate image group, the third candidate image group, and the fourth candidate image group, and the first According to the number of images included in each of the candidate image group, the second candidate image group, and the fourth candidate image group, among the frames included in the template, the largest frame that is the second largest after the extra large frame and the extra large frame. It is preferable to determine a template to be used when creating a composite image according to the number of extra large frames and the number of large frames.
また、テンプレート決定部は、テンプレートに含まれるコマのうち、サイズが大コマよりも小さい通常コマに、第４肯定的評価が付与された画像よりも第３肯定的評価が付与された画像を優先的に配置する場合に、第３肯定的評価が付与された画像を優先的に配置しない場合よりも、合成画像を作成する時に使用するテンプレートを、通常コマの数がより多いテンプレートに変更することが好ましい。 In addition, the template determination unit prioritizes an image given the third positive evaluation to an image given the fourth positive evaluation to a normal frame that is smaller than the large frame among the frames included in the template. The template used when creating a composite image is changed to a template with a larger number of normal frames than when an image assigned with the third positive evaluation is not preferentially arranged. Is preferred.
また、各々の画像を解析する画像解析部を備え、
評価値算出部は、さらに、各々の画像の解析結果に基づいて各々の画像の解析評価値を算出し、各々の画像の解析評価値およびユーザ評価値を加算して各々の画像の総合評価値を算出し、
各々の画像の総合評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する画像抽出部を備えることが好ましい。
In addition, an image analysis unit for analyzing each image is provided,
The evaluation value calculation unit further calculates the analysis evaluation value of each image based on the analysis result of each image, and adds the analysis evaluation value of each image and the user evaluation value to obtain the overall evaluation value of each image To calculate
It is preferable to include an image extraction unit that extracts at least a part of the plurality of images based on the comprehensive evaluation value of each image.
また、本発明は、画像取得部が、複数のユーザから複数の画像を取得するステップと、
表示制御部が、複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させるステップと、
評価取得部が、画像表示部に表示された各々の画像に対して、各々のユーザが２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
評価値算出部が、各々の画像に付与された肯定的評価に基づいて各々の画像に対するユーザ評価値を算出するステップと、
合成画像作成部が、各々の画像に対するユーザ評価値に基づいて、複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップとを含む、画像処理方法を提供する。
In the present invention, the image acquisition unit acquires a plurality of images from a plurality of users;
Two or more evaluations that the display control unit designates for each of the plurality of images and each of the plurality of images to give each of two or more types of positive evaluations having different evaluation criteria. Displaying each of the grant areas on the image display unit;
A step in which an evaluation acquisition unit acquires a positive evaluation given by each user specifying each of two or more evaluation grant regions for each image displayed on the image display unit;
An evaluation value calculation unit calculating a user evaluation value for each image based on a positive evaluation given to each image;
And a composite image creating unit that creates a composite image by synthesizing at least some of the plurality of images based on a user evaluation value for each image.
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。 The present invention also provides a program for causing a computer to execute each step of the image processing method described above.
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。 The present invention also provides a computer-readable recording medium on which a program for causing a computer to execute each step of the image processing method described above is recorded.
本発明においては、評価基準が異なる２種類以上の肯定的評価に基づいて、ユーザが期待する画像を、合成画像を作成する場合に使用するテンプレートに含まれる「大コマ」等に自動で配置したり、笑顔の画像を優先的に配置したりすることができる。そのため、ユーザは、ユーザが期待する画像を配置し直す必要がなくなり、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間を省くことができる。 In the present invention, based on two or more types of positive evaluations with different evaluation criteria, an image expected by the user is automatically arranged on a “large frame” or the like included in a template used when creating a composite image. Or a smile image can be preferentially arranged. This eliminates the need for the user to rearrange the image that the user expects, and saves time and effort for re-evaluating the image and manually editing the layout.
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。 Hereinafter, an image processing apparatus, an image processing method, a program, and a recording medium of the present invention will be described in detail based on preferred embodiments shown in the accompanying drawings.
＜ハードウェア構成＞
図１は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、サーバ１２と、ネットワーク１６を介してサーバ１２に接続された複数のユーザの端末装置（クライアント）１４とを備えている。画像処理装置１０は、複数のユーザの各々の端末装置１４からネットワーク１６を介して取得された複数の画像を用いてフォトアルバム、シャッフルプリント等の合成画像を作成する。
<Hardware configuration>
FIG. 1 is a block diagram of an embodiment showing a configuration of an image processing apparatus according to the present invention. An image processing apparatus 10 illustrated in FIG. 1 includes a server 12 and a plurality of user terminal devices (clients) 14 connected to the server 12 via a network 16. The image processing apparatus 10 creates a composite image such as a photo album or a shuffle print using a plurality of images acquired from the terminal devices 14 of the plurality of users via the network 16.
サーバ１２は、端末装置１４からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC（Personal Computer：パーソナルコンピュータ）またはワークステーション等により構成される。 The server 12 performs various data processing for creating a composite image based on an instruction from the terminal device 14, and is configured by, for example, a desktop PC (Personal Computer) or a workstation. .
端末装置１４は、サーバ１２に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。 The terminal device 14 gives various instructions to the server 12 to perform various data processing, and is configured by, for example, a smartphone, a tablet PC, or a notebook PC.
ネットワーク１６は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ１２と端末装置１４との間を相互に接続し、双方向の通信が可能である。 The network 16 is, for example, a telephone line or an internet line, and the server 12 and the terminal device 14 are connected to each other by wire or wireless, and bidirectional communication is possible.
＜サーバの構成＞
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、画像取得部１８と、画像解析部２０と、表示制御部２２と、評価取得部２４と、評価値算出部２６と、評価画像グループ作成部２８と、類似画像検出部３０と、評価値加算部３２と、候補画像グループ作成部３４と、順位決定部３６と、予備画像グループ作成部３８と、テンプレート記憶部４０と、テンプレート決定部４２と、画像抽出部４４と、合成画像作成部４６とを備えている。
<Server configuration>
FIG. 2 is a block diagram of an embodiment showing the configuration of the server shown in FIG. The server 12 shown in the figure includes an image acquisition unit 18, an image analysis unit 20, a display control unit 22, an evaluation acquisition unit 24, an evaluation value calculation unit 26, an evaluation image group creation unit 28, and a similar image detection. Unit 30, evaluation value addition unit 32, candidate image group creation unit 34, rank determination unit 36, preliminary image group creation unit 38, template storage unit 40, template determination unit 42, and image extraction unit 44 And a composite image creation unit 46.
サーバ１２において、画像取得部１８は、複数のユーザの端末装置１４から、ネットワーク１６を介して、複数の画像を取得する。 In the server 12, the image acquisition unit 18 acquires a plurality of images from the terminal devices 14 of a plurality of users via the network 16.
続いて、画像解析部２０は、画像取得部１８によって取得された複数の画像の各々を解析する。 Subsequently, the image analysis unit 20 analyzes each of the plurality of images acquired by the image acquisition unit 18.
画像解析部２０は、例えば、画像の明るさ、色合い、ボケおよびブレの程度等の画質の解析、画像のサイズの解析の他、Exif（Exchangeable Image File Format：エクスチェンジャブル・イメージ・ファイル・フォーマット）などの画像の付帯情報に含まれる撮影日時、撮影場所等の解析、画像に写っている人物および人物以外のオブジェクトの解析、画像に写っている人物の顔認識、画像のシーンの解析、類似画像の判定等を行う。 The image analysis unit 20, for example, analyzes image quality such as image brightness, hue, blur and blur, and image size analysis, as well as Exif (Exchangeable Image File Format). ) And other information included in the accompanying information of the image, analysis of the shooting location, etc., analysis of people and non-human objects in the image, facial recognition of people in the image, analysis of the scene of the image, similarity Image determination and the like are performed.
続いて、表示制御部２２は、複数の画像、および、複数の画像の各々に対して、複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部４８に表示させる。 Subsequently, the display control unit 22 designates each of the plurality of images and each of the plurality of images to give each of two or more types of positive evaluations having different evaluation criteria. Each of the two or more evaluation giving regions is displayed on the image display unit 48.
評価基準とは、例えば、複数の画像の中で、ユーザが最もよいと考える画像、大コマに配置するのによいと考える画像、笑顔がよいと考える画像、よいと考える画像というように、ユーザが画像を評価する際の判断の基準となる項目を表す。 The evaluation criteria are, for example, an image that the user thinks is best among a plurality of images, an image that is considered good to be placed on a large frame, an image that is considered to have a good smile, and an image that is considered good. Represents an item which is a criterion for judgment when evaluating an image.
続いて、評価取得部２４は、表示制御部２２によって画像表示部４８に表示された各々の画像に対して、各々のユーザが２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する。 Subsequently, the evaluation acquisition unit 24 gives affirmation given to each image displayed on the image display unit 48 by the display control unit 22 by each user specifying each of two or more evaluation grant regions. To obtain an evaluation.
続いて、評価値算出部２６は、評価取得部２４によって取得された、各々の画像に付与された肯定的評価に基づいて、各々の画像に対するユーザ評価値を算出する。
また、評価値算出部２６は、画像解析部２０による各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出し、各々の画像の解析評価値およびユーザ評価値を加算して各々の画像の総合評価値を算出する。
Subsequently, the evaluation value calculation unit 26 calculates a user evaluation value for each image based on the positive evaluation given to each image acquired by the evaluation acquisition unit 24.
The evaluation value calculation unit 26 calculates the analysis evaluation value of each image based on the analysis result of each image by the image analysis unit 20, and adds the analysis evaluation value and the user evaluation value of each image. A comprehensive evaluation value of each image is calculated.
評価値算出部２６は、例えば、画像に付与された肯定的評価の数が多いほど、ユーザ評価値が高くなるように算出する。また、例えば、画像の画質がよいほど、解析評価値が高くなるように算出する。 For example, the evaluation value calculation unit 26 calculates the user evaluation value to be higher as the number of positive evaluations given to the image is larger. For example, the analysis evaluation value is calculated to be higher as the image quality is higher.
続いて、評価画像グループ作成部２８は、肯定的評価が付与された画像を２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成する。 Subsequently, the evaluation image group creation unit 28 groups the images to which the positive evaluation is given for each image to which each of the two or more types of positive evaluations is given, and sets each of the two or more types of positive evaluations. Each of two or more corresponding evaluation image groups is created.
続いて、類似画像検出部３０は、各々の画像の解析結果に基づいて、評価画像グループ作成部２８によって作成された２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する。 Subsequently, the similar image detection unit 30 has similar image contents from among the images included in each of the two or more evaluation image groups created by the evaluation image group creation unit 28 based on the analysis result of each image. A group of similar images is detected.
続いて、評価値加算部３２は、類似画像検出部３０によって検出された類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、評価値算出部２６によって算出されたユーザ評価値または総合評価値が最も高い第１類似画像のユーザ評価値または総合評価値に対して、第１類似画像以外の第２類似画像のユーザ評価値または総合評価値を加算する。 Subsequently, the evaluation value adding unit 32 calculates, for each group of similar images detected by the similar image detecting unit 30, among the similar images included in the group of similar images, the user evaluation value calculated by the evaluation value calculating unit 26. Alternatively, the user evaluation value or the comprehensive evaluation value of the second similar image other than the first similar image is added to the user evaluation value or the comprehensive evaluation value of the first similar image having the highest comprehensive evaluation value.
つまり、評価値加算部３２は、第１類似画像をメインの類似画像として、類似画像のグループに含まれる全ての類似画像に付与されたユーザ評価値または総合評価値の加算値を第１類似画像に対するユーザ評価値または総合評価値とする。 In other words, the evaluation value adding unit 32 sets the first similar image as the main similar image, and adds the user evaluation value or the total evaluation value added to all the similar images included in the group of similar images to the first similar image. The user evaluation value or the comprehensive evaluation value for.
続いて、候補画像グループ作成部３４は、各々の評価画像グループに含まれる画像の中から各々の評価画像グループに含まれる第２類似画像を削除して、合成画像において使用する候補画像を含む、２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成する。 Subsequently, the candidate image group creating unit 34 deletes the second similar image included in each evaluation image group from the images included in each evaluation image group, and includes candidate images to be used in the composite image. Each of two or more candidate image groups corresponding to each of the two or more evaluation image groups is created.
「削除」は、第２類似画像を候補画像から除外することを意味する。第２類似画像を「削除」するために、例えば、第２類似画像が候補画像グループの中に含まれないようにしてもよい。また、「削除」するか否かを表すフラグを各々の画像に付与し、第２類似画像に付与されたフラグを、「削除」することを表す状態に設定することなども、第２類似画像を「削除」することに該当する。これ以後の「削除」についても同様である。 “Delete” means that the second similar image is excluded from the candidate images. In order to “delete” the second similar image, for example, the second similar image may not be included in the candidate image group. It is also possible to give a flag indicating whether or not to “delete” to each image and set the flag given to the second similar image to a state indicating “delete”. This corresponds to “deleting”. The same applies to “deletion” thereafter.
続いて、順位決定部３６は、ユーザ評価値または総合評価値に基づいて、候補画像グループ作成部３４によって作成された２以上の候補画像グループの各々に含まれる画像の順位を決定する。 Subsequently, the order determination unit 36 determines the order of images included in each of the two or more candidate image groups created by the candidate image group creation unit 34 based on the user evaluation value or the comprehensive evaluation value.
順位決定部３６は、例えば、ユーザ評価値または総合評価値が高いほど、画像の順位が高くなるように決定する。 For example, the rank determination unit 36 determines that the rank of the image is higher as the user evaluation value or the overall evaluation value is higher.
続いて、予備画像グループ作成部３８は、肯定的評価が付与されていない画像、および、２以上の候補画像グループに含まれる第２類似画像をグルーピングして予備画像グループを作成する。 Subsequently, the preliminary image group creation unit 38 creates a preliminary image group by grouping images that have not been given a positive evaluation and second similar images included in two or more candidate image groups.
予備画像グループは、合成画像において使用する画像の総数が不足する場合に使用する画像を含む。 The preliminary image group includes images used when the total number of images used in the composite image is insufficient.
続いて、テンプレート記憶部４０は、合成画像における画像のレイアウトを決定する複数のテンプレートを記憶する。 Then, the template memory | storage part 40 memorize | stores the some template which determines the layout of the image in a synthesized image.
テンプレートは、合成画像において使用する画像数、画像配置領域（コマ）、背景画像等が決定されているものである。また、画像配置領域には、サイズが最も大きい特大コマ（例えば、テンプレートの見開き１ページにおける７５％以上の面積を占めるコマ）、特大コマの次に大きい大コマ（例えば、テンプレートの５０％以上７５％未満の面積を占めるコマ）、大コマよりも小さい通常コマ（例えば、特大コマおよび大コマ以外のコマ）等が含まれる。 In the template, the number of images to be used in the composite image, an image arrangement area (frame), a background image, and the like are determined. In the image arrangement area, an extra large frame (for example, a frame that occupies an area of 75% or more in one page of a template spread) and a large frame next to the extra large frame (for example, 50% or more of the template 75 Frames that occupy an area of less than%), normal frames that are smaller than large frames (for example, extra large frames and frames other than large frames), and the like.
続いて、テンプレート決定部４２は、合成画像を作成する時に使用するテンプレートを決定するテンプレート決定モードとして、第１テンプレート決定モードおよび第２テンプレート決定モードを有する。 Subsequently, the template determination unit 42 has a first template determination mode and a second template determination mode as template determination modes for determining a template to be used when creating a composite image.
テンプレート決定部４２は、第１テンプレート決定モードの場合、ユーザにより各々の画像に付与された肯定的評価が評価取得部２４によって取得される前に、複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて設定された合成画像の商材の種類、ページ数およびテーマに基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定する。 In the case of the first template determination mode, the template determination unit 42 includes at least one first user among a plurality of users before the evaluation acquisition unit 24 acquires the positive evaluation given to each image by the user. A template to be used when creating a composite image from among a plurality of templates stored in the template storage unit 40 is determined based on the type, number of pages, and theme of the composite image product set in response to the instruction. .
第１ユーザは、例えば、複数のユーザのうち、合成画像を作成する場合のまとめ役となる幹事のユーザである。 The first user is, for example, a secretary user who serves as a collective when creating a composite image among a plurality of users.
また、テンプレート決定部４２は、第２テンプレート決定モードの場合、ユーザにより各々の画像に付与された肯定的評価が評価取得部２４によって取得された後、複数の画像の数および各々の画像に付与された肯定的評価に基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートを決定する。 Further, in the case of the second template determination mode, the template determination unit 42 assigns the number of multiple images and each image after the positive evaluation given to each image by the user is acquired by the evaluation acquisition unit 24. Based on the affirmative evaluation, a template to be used when creating a composite image is determined from a plurality of templates stored in the template storage unit 40.
例えば、テンプレート決定部４２は、デフォルトのテンプレート決定モードを、第１テンプレート決定モードまたは第２テンプレート決定モードに設定しておくことができる。第１ユーザは、デフォルトのテンプレート決定モードをそのまま使用してもよいし、あるいは、デフォルトのテンプレート決定モードから別のテンプレート決定モードに変更してもよい。 For example, the template determination unit 42 can set the default template determination mode to the first template determination mode or the second template determination mode. The first user may use the default template determination mode as it is, or may change from the default template determination mode to another template determination mode.
続いて、画像抽出部４４は、評価値算出部２６によって算出された各々の画像に対するユーザ評価値または各々の画像の総合評価値に基づいて、複数の画像の少なくとも一部の画像を抽出する。 Subsequently, the image extraction unit 44 extracts at least some of the plurality of images based on the user evaluation value for each image calculated by the evaluation value calculation unit 26 or the overall evaluation value of each image.
画像抽出部４４は、例えば、複数の画像の中から、ユーザ評価値または総合評価値が高い順に、一部または全部の画像を抽出する。 For example, the image extraction unit 44 extracts some or all of the images from a plurality of images in descending order of the user evaluation value or the overall evaluation value.
本実施形態の場合、画像抽出部４４は、候補画像グループに対応する肯定的評価の種類の選択優先度、および、候補画像グループに含まれる画像の順位に基づいて、２以上の候補画像グループに含まれる画像の少なくとも一部の画像を抽出する。 In the case of the present embodiment, the image extraction unit 44 adds two or more candidate image groups based on the selection priority of the type of positive evaluation corresponding to the candidate image group and the order of the images included in the candidate image group. At least a part of the included images is extracted.
画像抽出部４４は、例えば、２以上の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、一部または全部の画像を抽出する。 The image extraction unit 44, for example, from among images included in two or more candidate image groups, in descending order of selection priority of the type of positive evaluation corresponding to the candidate image group, and images included in the candidate image group A part or all of the images are extracted in descending order.
肯定的評価の種類の選択優先度は、２以上の候補画像グループから画像を抽出する際の順序を決定する。肯定的評価の種類の選択優先度は、例えば、画像抽出部４４が設定してもよいし、あるいは、第１ユーザが設定してもよい。また、画像抽出部４４が肯定的評価の種類の選択優先度を設定する場合、例えば、合成画像のテーマ等に応じて、肯定的評価の種類の選択優先度を変更してもよい。 The selection priority of the type of positive evaluation determines the order in which images are extracted from two or more candidate image groups. The selection priority of the positive evaluation type may be set by, for example, the image extraction unit 44 or may be set by the first user. Further, when the image extraction unit 44 sets the selection priority of the positive evaluation type, for example, the selection priority of the positive evaluation type may be changed according to the theme of the composite image and the like.
最後に、合成画像作成部４６は、テンプレート決定部４２によって決定されたテンプレートを用いて、画像抽出部４４によって抽出された、複数の画像の少なくとも一部の画像を合成して合成画像を作成する。 Finally, the composite image creation unit 46 creates a composite image by synthesizing at least some of the plurality of images extracted by the image extraction unit 44 using the template determined by the template determination unit 42. .
本実施形態の場合、合成画像作成部４６は、複数の画像の少なくとも一部の画像を、テンプレート決定部４２によって決定されたテンプレートにおける画像配置領域に配置して合成画像を作成する。 In the present embodiment, the composite image creation unit 46 creates a composite image by placing at least some of the plurality of images in the image placement region of the template determined by the template determination unit 42.
画像取得部１８、画像解析部２０、表示制御部２２、評価取得部２４、評価値算出部２６、評価画像グループ作成部２８、類似画像検出部３０、評価値加算部３２、候補画像グループ作成部３４、順位決定部３６、予備画像グループ作成部３８、テンプレート記憶部４０、テンプレート決定部４２、画像抽出部４４および合成画像作成部４６は、例えば、CPU（Central Processing Unit：中央処理装置）等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD（Hard Disk Drive：ハードディスクドライブ）、SSD（Solid State Drive：ソリッドステートドライブ）、SD（Secure Digital：セキュア・デジタル）カード等の記憶装置に保存される。 Image acquisition unit 18, image analysis unit 20, display control unit 22, evaluation acquisition unit 24, evaluation value calculation unit 26, evaluation image group creation unit 28, similar image detection unit 30, evaluation value addition unit 32, candidate image group creation unit 34, the order determination unit 36, the preliminary image group creation unit 38, the template storage unit 40, the template determination unit 42, the image extraction unit 44, and the composite image creation unit 46 are, for example, a CPU (Central Processing Unit). The control device is realized by executing a program loaded in the memory. The data saved by each part is saved in storage devices such as HDD (Hard Disk Drive), SSD (Solid State Drive), SD (Secure Digital) cards, etc. Is done.
＜端末の構成＞
次に、図３は、図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置１４は、画像表示部４８と、指示入力部５０とを備えている。
<Terminal configuration>
Next, FIG. 3 is a block diagram of an embodiment showing the configuration of the user terminal device shown in FIG. The user terminal device 14 shown in the figure includes an image display unit 48 and an instruction input unit 50.
端末装置１４において、画像表示部４８は、各種の画像、設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。 In the terminal device 14, the image display unit 48 displays various images, a setting screen, a selection screen, a confirmation screen, an input screen, a creation screen, and the like, and is configured by a display device such as a liquid crystal display, for example.
続いて、指示入力部５０は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。 Subsequently, the instruction input unit 50 acquires various setting instructions, selection instructions, confirmation instructions, input instructions, creation instructions, and the like input by the user, and includes, for example, an input device such as a keyboard and a mouse. The
本実施形態の場合、画像表示部４８および指示入力部５０は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。 In the case of this embodiment, the image display unit 48 and the instruction input unit 50 are configured by a device in which a display device and an input device are integrated, such as a touch panel.
図示を省略しているが、サーバ１２および端末装置１４は、例えば、サーバ１２と端末装置１４との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。 Although not shown, the server 12 and the terminal device 14 are, for example, a transmission / reception unit that is a communication device that transmits and receives various data between the server 12 and the terminal device 14, and a CPU that controls the operation of each part. The control part etc. which are etc. are provided.
＜第１ユーザによる発起および複数ユーザによる画像アップロード＞
次に、図４および図５に示すフローチャートを参照しながら、画像処理装置１０の動作を説明する。
<Initiation by first user and image upload by multiple users>
Next, the operation of the image processing apparatus 10 will be described with reference to the flowcharts shown in FIGS.
本実施形態の場合、特大コマ、大コマ、通常コマを含むテンプレートを用いて、合成画像として、表紙ページおよび本編ページを含むフォトアルバムを作成する。 In this embodiment, a photo album including a cover page and a main page is created as a composite image using a template including extra large frames, large frames, and normal frames.
合成画像を作成する場合、幹事のユーザである第１ユーザは、第１ユーザの端末装置１４において、指示入力部５０を介して、合成画像の注文情報を入力する。 When creating a composite image, the first user who is the secretary user inputs order information of the composite image via the instruction input unit 50 in the terminal device 14 of the first user.
注文情報は、合成画像を作成するために必要となる情報であり、例えば、フォトアルバム、シャッフルプリント等の合成画像の商材の種類、ページ数、および、テーマ等の情報を含む。 The order information is information necessary for creating a composite image, and includes, for example, information such as the type of product of the composite image such as a photo album and shuffle print, the number of pages, and the theme.
注文情報は、第１ユーザの端末装置１４から、ネットワーク１６を介してサーバ１２に取得され（図４のステップS1）、注文情報に含まれる、合成画像の商材の種類およびページ数に応じて、合成画像において使用する必要入力画像数が決定される（ステップS2）。 The order information is acquired from the terminal device 14 of the first user to the server 12 via the network 16 (step S1 in FIG. 4), and according to the type of product and the number of pages of the composite image included in the order information. The necessary number of input images to be used in the composite image is determined (step S2).
続いて、テンプレート決定部４２により、テンプレート決定モードが第１テンプレート決定モードであるか否かが確認される（ステップS3）。 Subsequently, the template determination unit 42 confirms whether or not the template determination mode is the first template determination mode (step S3).
その結果、第１テンプレート決定モードに設定されている場合（ステップS3において、YES）、テンプレート決定部４２により、合成画像の商材の種類、ページ数およびテーマに基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から合成画像を作成する時に使用するテンプレートが決定される。また、合成画像のテーマに基づいて、テンプレートに含まれる特大コマおよび大コマの数が決定される（ステップS4）。 As a result, when the first template determination mode is set (YES in step S3), the template determination unit 42 stores the template image in the template storage unit 40 based on the product type, the number of pages, and the theme of the composite image. A template to be used when creating a composite image is determined from the plurality of templates. Further, the extra large frame and the number of large frames included in the template are determined based on the theme of the composite image (step S4).
一方、第２テンプレート決定モードに設定されている場合（ステップS3において、NO）、次のステップS5に進む。 On the other hand, when the second template determination mode is set (NO in step S3), the process proceeds to next step S5.
続いて、合成画像において使用する画像をリクエストするリクエスト情報が、サーバ１２から、ネットワーク１６を介して、第１ユーザを含む、複数のユーザの端末装置１４に通知される（ステップS5）。 Subsequently, request information for requesting an image to be used in the composite image is notified from the server 12 to the terminal devices 14 of a plurality of users including the first user via the network 16 (step S5).
リクエスト情報には、例えば、作成する合成画像が、結婚披露宴のフォトアルバムであること、リクエストの内容が、フォトアルバムにおいて使用する画像のアップロードであること、および、リクエストに対する回答期限等が含まれる。 The request information includes, for example, that the composite image to be created is a photo album for a wedding reception, the content of the request is an upload of an image used in the photo album, and a response deadline for the request.
各々のユーザの端末装置１４においては、サーバ１２から、ネットワーク１６を介して、リクエスト情報が受信され、受信されたリクエスト情報が画像表示部４８に表示される（ステップS6）。 In each user terminal device 14, request information is received from the server 12 via the network 16, and the received request information is displayed on the image display unit 48 (step S 6).
各々のユーザは、各々のユーザの端末装置１４の画像表示部４８に表示されたリクエスト情報の内容を参照し、指示入力部５０を介して、リクエスト情報の内容に対応する画像をアップロードする指示を行う。 Each user refers to the content of the request information displayed on the image display unit 48 of the terminal device 14 of each user, and gives an instruction to upload an image corresponding to the content of the request information via the instruction input unit 50. Do.
各々のユーザから画像がアップロードされると、画像取得部１８により、複数のユーザの端末装置１４から、ネットワーク１６を介して、リクエスト情報に対応する複数の画像が取得される（ステップS7）。 When an image is uploaded from each user, the image acquisition unit 18 acquires a plurality of images corresponding to the request information from the terminal devices 14 of the plurality of users via the network 16 (step S7).
リクエストに対する回答期限が経過した後、画像のアップロードが締め切られ（ステップS8）、画像取得部１８によって取得された取得画像数が、必要入力画像数以上であるか否かが確認される（ステップS9）。 After the response deadline for the request has passed, the uploading of images is closed (step S8), and it is confirmed whether or not the number of acquired images acquired by the image acquisition unit 18 is equal to or greater than the number of required input images (step S9). ).
その結果、取得画像数が必要入力画像数未満である場合（ステップS9において、NO）、合成画像において使用する画像を再度リクエストするリクエスト情報が、サーバ１２から、ネットワーク１６を介して、複数のユーザの端末装置１４に通知される（ステップS10）。これ以後は、ステップS6へ戻り、取得画像数が必要画像数以上となるまで上記の動作が繰り返し行われる。 As a result, when the number of acquired images is less than the required number of input images (NO in step S9), request information for requesting an image to be used again in the composite image is sent from the server 12 via the network 16 to a plurality of users. Is notified to the terminal device 14 (step S10). Thereafter, the process returns to step S6, and the above operation is repeated until the number of acquired images becomes equal to or greater than the required number.
一方、取得画像数が必要画像数以上である場合（ステップS9において、YES）、画像解析部２０により、画像取得部１８によって取得された複数の画像の各々が解析される（図５のステップS11）。
また、評価値算出部２６により、各々の画像の解析結果に基づいて、各々の画像の解析評価値が算出される（ステップS12）。
On the other hand, if the number of acquired images is equal to or greater than the required number of images (YES in step S9), the image analysis unit 20 analyzes each of the plurality of images acquired by the image acquisition unit 18 (step S11 in FIG. 5). ).
Further, the evaluation value calculation unit 26 calculates the analysis evaluation value of each image based on the analysis result of each image (step S12).
＜端末における評価の受付＞
続いて、図６に示すように、表示制御部２２により、画像取得部１８によって取得された複数の画像、および、４つの評価付与領域の各々が、ネットワーク１６を介して、各々のユーザの端末装置１４に送付され、画像表示部４８に表示される。
<Reception of evaluation at the terminal>
Subsequently, as shown in FIG. 6, a plurality of images acquired by the image acquisition unit 18 by the display control unit 22 and each of the four evaluation grant areas are respectively connected to each user terminal via the network 16. The image is sent to the device 14 and displayed on the image display unit 48.
図６の例の場合、画像表示部４８には、複数の画像の縮小画像が一覧表示され、その右側において、「ベストショット」（本発明の第１肯定的評価の一例）、「大コマいいね」（本発明の第２肯定的評価の一例）、「笑顔がいいね」（本発明の第３肯定的評価の一例）および「いいね」（本発明の第４肯定的評価の一例）という４種類の肯定的評価に対応する４つの評価付与領域が表示されている。 In the case of the example of FIG. 6, the image display unit 48 displays a list of reduced images of a plurality of images, and on the right side thereof, “best shot” (an example of the first positive evaluation of the present invention), “ “Ne” (an example of the second positive evaluation of the present invention), “Like a smile” (an example of the third positive evaluation of the present invention) and “Like” (an example of the fourth positive evaluation of the present invention) Four evaluation giving areas corresponding to the four types of positive evaluations are displayed.
「ベストショット」の肯定的評価は、各々のユーザが複数の画像の中で最もよいと考える画像に対して付与される。また、「大コマいいね」の肯定的評価は、各々のユーザが複数の画像の中で、テンプレートに含まれるコマのうち、大コマに配置したいと考える画像に対して付与される。「笑顔がいいね」の肯定的評価は、各々のユーザが複数の画像の中で画像に写っている人物の笑顔がよいと考える画像に対して付与される。「いいね」の肯定的評価は、各々のユーザが複数の画像の中でよいと考える画像に対して付与される。 A positive evaluation of “best shot” is given to an image that each user considers best among a plurality of images. Also, a positive evaluation of “Like a large frame” is given to an image that each user wants to place in a large frame among frames included in a template among a plurality of images. A positive evaluation of “smile is good” is given to an image that each user considers a smile of a person in the image to be good. A positive rating of “Like” is given to an image that each user considers to be good among a plurality of images.
なお、図６の例の肯定的評価に限らず、「表紙ページに使う画像」、「おもしろい画像」、「セピア色が似合う画像」および「モノクロが似合う画像」等の各種の肯定的評価に対応する評価付与領域を表示してもよい。
また、一覧表示された複数の縮小画像のうち、例えば、解析評価値が閾値よりも大きい画像に対して星マーク等を付与し、合成画像において使用する画像としておすすめであることを示してもよい。また、類似画像を並べて配置してもよい。
In addition to the positive evaluation in the example of FIG. 6, various positive evaluations such as “image used for cover page”, “interesting image”, “image suitable for sepia”, and “image suitable for monochrome” are supported. You may display the evaluation provision area | region to do.
Further, among the plurality of reduced images displayed in a list, for example, a star mark or the like may be given to an image having an analysis evaluation value larger than a threshold value to indicate that the image is recommended as an image to be used in the composite image. . Similar images may be arranged side by side.
各々のユーザは、指示入力部５０を介して、各々のユーザの端末装置１４の画像表示部４８に表示された複数の画像の中から、ユーザが評価する１枚の画像をタップして選択した後、４種類の評価付与領域の中の１つをタップして選択することにより、選択した画像に対して、選択した評価付与領域に対応する種類の肯定的評価を付与することができる。他の画像および他の評価付与領域を選択した場合も同様である。 Each user taps and selects one image to be evaluated by the user from among a plurality of images displayed on the image display unit 48 of each user terminal device 14 via the instruction input unit 50. Thereafter, by tapping and selecting one of the four types of evaluation imparting regions, a positive evaluation of the type corresponding to the selected evaluation imparting region can be imparted to the selected image. The same applies when other images and other evaluation imparting regions are selected.
つまり、ユーザが「ベストショット」の評価付与領域をタップすると、「ベストショット」の肯定的評価が、選択された画像に付与される。同様に、「大コマいいね」の評価付与領域をタップすると、「大コマいいね」の肯定的評価が、「笑顔がいいね」の評価付与領域をタップすると、「笑顔がいいね」の肯定的評価が、「いいね」の評価付与領域をタップすると、「いいね」の肯定的評価が、選択された画像に付与される。 That is, when the user taps the “best shot” evaluation giving area, a positive evaluation of “best shot” is given to the selected image. Similarly, if you tap the “Like a large frame” rating area, a positive rating for “Like a large frame” will appear. If you tap the “Like a smile” area, “Smile is good”. When a positive evaluation is tapped on a “Like” evaluation giving area, a “Like” positive evaluation is assigned to the selected image.
また、例えば、「ベストショット」の評価付与領域をタップした後、続いて、「笑顔がいいね」の評価付与領域をタップすると、「ベストショット」および「笑顔がいいね」の２つの肯定的評価が、選択された画像に付与される。他の評価付与領域をタップした場合も同様であり、１つの画像に対して、２以上の評価付与領域に対応する２以上の肯定的評価を付与することができる。 In addition, for example, after tapping the “best shot” evaluation giving area and subsequently tapping the “giving smile” evaluation giving area, two positive results of “best shot” and “smile is good” An evaluation is assigned to the selected image. The same applies when tapping other evaluation giving areas, and two or more positive evaluations corresponding to two or more evaluation giving areas can be given to one image.
各々のユーザによって画像が評価されると、評価取得部２４により、各々のユーザの端末装置１４から、ネットワーク１６を介して、各々のユーザによって各々の画像に付与された肯定的評価が取得される（ステップS13）。 When the image is evaluated by each user, the evaluation acquisition unit 24 acquires the positive evaluation given to each image by each user from the terminal device 14 of each user via the network 16. (Step S13).
評価に対する回答期限が経過した後、画像の評価が締め切られ（ステップS14）、評価値算出部２６により、各々の画像に付与された肯定的評価に基づいて、各々の画像に対するユーザ評価値が算出される（ステップS15）。
また、評価値算出部２６により、各々の画像の解析評価値およびユーザ評価値が加算されて各々の画像の総合評価値が算出される（ステップS16）。
After the reply deadline for the evaluation has passed, the evaluation of the image is closed (step S14), and the evaluation value calculation unit 26 calculates the user evaluation value for each image based on the positive evaluation given to each image. (Step S15).
Further, the evaluation value calculation unit 26 adds the analysis evaluation value and the user evaluation value of each image to calculate the total evaluation value of each image (step S16).
続いて、画像がグルーピングされる（ステップS17）。 Subsequently, the images are grouped (step S17).
この場合、評価画像グループ作成部２８により、肯定的評価が付与された画像が、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価の各々が付与された画像毎にグルーピングされ、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価に対応する４つの評価グループ（本発明の第１評価画像グループ、第２評価画像グループ、第３評価画像グループおよび第４評価画像グループの一例）が作成される。 In this case, the images to which the positive evaluation is given by the evaluation image group creating unit 28 are the positive evaluations of “best shot”, “large frame like”, “smile is good”, and “like”. Are grouped for each image to which four images are assigned, and four evaluation groups corresponding to positive evaluations of “best shot”, “large frame like”, “smile is good”, and “like” (first of the present invention) An example of an evaluation image group, a second evaluation image group, a third evaluation image group, and a fourth evaluation image group) is created.
評価画像グループ作成部２８は、第１種類、例えば、「ベストショット」の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値以上である画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が第１閾値未満である画像、および、第２種類、例えば、「大コマいいね」の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が第２閾値以上である画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成する。 The evaluation image group creation unit 28 is an image in which the number of the first type of positive evaluation among the images of the first type, for example, the “best shot” positive evaluation, is greater than or equal to the first threshold. Are created, an evaluation image group corresponding to the first type of positive evaluation is created, and the number of the first type of positive evaluation among the images to which the first type of positive evaluation is assigned is the first. Among images that are less than one threshold value and images that are given a second type, for example, a positive evaluation of “Like a large frame”, the number that is given a second type of positive evaluation is equal to or greater than the second threshold value. Are grouped to create an evaluation image group corresponding to the second type of positive evaluation.
あるいは、評価画像グループ作成部２８は、第１種類の肯定的評価が付与された画像のうち、第１種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第１種類の肯定的評価に対応する評価画像グループを作成し、第１種類の肯定的評価が付与された画像のうち、一定数の画像以外の画像、および、第２種類の肯定的評価が付与された画像のうち、第２種類の肯定的評価が付与された数が最も多い画像から一定数の画像をグルーピングして第２種類の肯定的評価に対応する評価画像グループを作成する。他の種類の肯定的評価の候補画像グループを作成する場合も同様である。 Alternatively, the evaluation image group creation unit 28 groups a certain number of images from the images having the highest number of first-type positive evaluations among the images to which the first-type positive evaluations are given. An evaluation image group corresponding to the first type of positive evaluation is created, and among the images to which the first type of positive evaluation is given, images other than a certain number of images and the second type of positive evaluation are Among the assigned images, a certain number of images are grouped from images having the largest number of the second type of positive evaluations, and an evaluation image group corresponding to the second type of positive evaluations is created. The same applies when creating candidate image groups for other types of positive evaluation.
続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループの各々に含まれる画像の中から類似画像のグループが検出される。 Subsequently, based on the analysis result of each image, the similar image detection unit 30 assigns each of the evaluation image groups of “best shot”, “Like a large frame”, “Like a smile”, and “Like”. A group of similar images is detected from the included images.
続いて、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、総合評価値が最も高い第１類似画像の総合評価値に対して、第１類似画像以外の第２類似画像の総合評価値が加算される。 Subsequently, for each group of similar images, the evaluation value adding unit 32 performs the first similarity on the overall evaluation value of the first similar image having the highest overall evaluation value among the similar images included in the group of similar images. The comprehensive evaluation value of the second similar image other than the image is added.
続いて、候補画像グループ作成部３４により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループの各々に含まれる画像の中から、その各々に含まれる第２類似画像が削除され、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の評価画像グループに対応する「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループが作成される。 Subsequently, each of the images included in each of the evaluation image groups of “best shot”, “Like a large frame”, “Like a smile” and “Like” is selected by the candidate image group creation unit 34. The second similar images included in are deleted, and “Best Shot” and “Large Frame Good” corresponding to the evaluation image groups of “Best Shot”, “Like Large Frame”, “Like Smile” and “Like” “Ne”, “Like a smile” and “Like” candidate image groups are created.
続いて、順位決定部３６により、総合評価値に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループの各々に含まれる画像の順位が決定される。 Subsequently, based on the comprehensive evaluation value, the ranking determination unit 36 determines whether the images included in each of the candidate image groups “best shot”, “large frame like”, “smile is good”, and “like”. Ranking is determined.
続いて、予備画像グループ作成部３８により、肯定的評価が付与されていない画像、および、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる第２類似画像がグルーピングされて予備画像グループが作成される。 Subsequently, images that have not been given a positive evaluation by the preliminary image group creation unit 38 and candidate image groups of “best shot”, “large frame like”, “smile is good”, and “like” Are grouped to create a preliminary image group.
なお、画像をグルーピングする場合のより具体的な動作は後述する。 A more specific operation when grouping images will be described later.
続いて、第２テンプレート決定モードの場合のテンプレートが決定される（ステップS18）。 Subsequently, a template for the second template determination mode is determined (step S18).
この場合、テンプレート決定部４２により、テンプレート決定モードが第２テンプレート決定モードであるか否かが確認される。 In this case, the template determination unit 42 confirms whether or not the template determination mode is the second template determination mode.
テンプレート決定モードが第１テンプレート決定モードに設定されている場合、合成画像を作成する場合に使用するテンプレートはステップS4において既に決定されている。 If the template determination mode is set to the first template determination mode, the template to be used when creating a composite image has already been determined in step S4.
一方、テンプレート決定モードが第２テンプレート決定モードに設定されている場合、テンプレート決定部４２により、画像取得部１８によって取得された複数の画像の数、および、各々の画像に付与された肯定的評価に基づいて、テンプレート記憶部４０に記憶された複数のテンプレートの中から、合成画像を作成する時に使用するテンプレートが決定される。 On the other hand, when the template determination mode is set to the second template determination mode, the number of the plurality of images acquired by the image acquisition unit 18 by the template determination unit 42 and the positive evaluation given to each image Based on the above, a template to be used when creating a composite image is determined from a plurality of templates stored in the template storage unit 40.
テンプレート決定部４２は、第２テンプレート決定モードの場合、例えば、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の各々に含まれる画像の数に応じて、テンプレートに含まれるコマのうち、特大コマおよび大コマの数を決定し、特大コマおよび大コマの数に応じて、合成画像を作成する時に使用するテンプレートを決定する。 In the second template determination mode, the template determination unit 42 includes, for example, the total number of images included in the candidate image groups “best shot”, “large frame like”, “smile is good”, and “like”, In addition, according to the number of images included in each of “Best Shot”, “Like Large Frame”, and “Like”, the number of extra large frames and large frames among the frames included in the template is determined. A template to be used when creating a composite image is determined according to the number of frames and large frames.
なお、第２テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な動作は後述する。 A more specific operation when determining a template in the second template determination mode will be described later.
続いて、合成画像が作成される（ステップS19）。 Subsequently, a composite image is created (step S19).
この場合、画像抽出部４４により、候補画像グループに対応する肯定的評価の種類の選択優先度、および、候補画像グループに含まれる画像の順位に基づいて、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の少なくとも一部の画像が抽出される。 In this case, the image extraction unit 44 selects “best shot” and “large frame like” based on the selection priority of the type of positive evaluation corresponding to the candidate image group and the order of the images included in the candidate image group. ”,“ Like a smile ”, and“ Like ”candidate image groups are extracted.
続いて、合成画像作成部４６により、注文情報に基づいて、画像抽出部４４によって抽出された、複数の画像の少なくとも一部の画像が、テンプレート決定部４２によって決定されたテンプレートにおける画像配置領域に配置されて合成画像が作成される。 Subsequently, based on the order information, the composite image creation unit 46 extracts at least some of the plurality of images extracted by the image extraction unit 44 in the image placement region in the template determined by the template determination unit 42. Arranged to create a composite image
例えば、画像抽出部４４により、テンプレートに含まれるコマのうち、特大コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された特大コマの数の画像が特大コマに配置される。
For example, the image extraction unit 44 can select “best shot”, “Like a large frame”, “Like a smile”, and “Like” as images to be placed on an extra large frame among the frames included in the template. From the images included in the group, images of the number of extra large frames are displayed in descending order of selection priority of the type of positive evaluation corresponding to the candidate image group and in descending order of the images included in the candidate image group. Extracted.
Subsequently, the composite image creating unit 46 arranges images of the number of extra large frames extracted by the image extracting unit 44 in the extra large frames.
また、画像抽出部４４により、テンプレートに含まれるコマのうち、大コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうちの特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された大コマの数の画像が大コマに配置される。
In addition, the image extraction unit 44 can select “best shot”, “Like a large frame”, “Like a smile”, and “Like” as images to be placed on a large frame among the frames included in the template. Among the images included in the group, the images other than the image of the number of extra large frames are selected in descending order of the selection priority of the type of positive evaluation corresponding to the candidate image group, and the images included in the candidate image group Images with the number of large frames are extracted in descending order.
Subsequently, the composite image creating unit 46 arranges the images of the large frames extracted by the image extracting unit 44 in the large frames.
また、画像抽出部４４により、テンプレートに含まれるコマのうち、通常コマに配置する画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうちの特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された通常コマの数の画像が通常コマに配置される。
Further, the image extraction unit 44 can select “best shot”, “Like a large frame”, “Like a smile”, and “Like” as images to be placed on a normal frame among the frames included in the template. Among the images included in the group, among the images with the number of extra large frames and the images other than the images with the large number of frames, the candidates for the positive evaluation type corresponding to the candidate image group are selected in descending order of the priority. Images in the number of normal frames are extracted in descending order of the images included in the image group.
Subsequently, the composite image creation unit 46 arranges the number of normal frames extracted by the image extraction unit 44 in the normal frames.
また、テンプレートに含まれるコマの数に対して、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数が不足する場合、画像抽出部４４により、予備画像グループに含まれる画像の中から不足する数の画像が抽出される。
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された不足する数の画像が、テンプレートに含まれるコマに配置される。
In addition, the total number of images included in the candidate image groups of “Best Shot”, “Like Large Frame”, “Like Smile” and “Like” is insufficient for the number of frames included in the template The image extraction unit 44 extracts an insufficient number of images from the images included in the preliminary image group.
Subsequently, the composite image creation unit 46 places the insufficient number of images extracted by the image extraction unit 44 in the frames included in the template.
なお、合成画像を作成する場合のより具体的な動作は後述する。 A more specific operation for creating a composite image will be described later.
合成画像が作成されると、合成画像作成部４６により、作成された合成画像が、ネットワーク１６を介して、第１ユーザの端末装置１４に送付され、画像表示部４８に表示される（ステップS20）。 When the composite image is created, the composite image created by the composite image creation unit 46 is sent to the terminal device 14 of the first user via the network 16 and displayed on the image display unit 48 (step S20). ).
第１ユーザは、第１ユーザの端末装置１４の画像表示部４８に表示された合成画像の内容を確認し、合成画像作成部４６によって作成された合成画像をそのまま使用してもよいし、あるいは、指示入力部５０を介して、合成画像を編集してもよい。 The first user may check the content of the composite image displayed on the image display unit 48 of the terminal device 14 of the first user and use the composite image created by the composite image creation unit 46 as it is, or The composite image may be edited via the instruction input unit 50.
＜画像のグルーピング＞
次に、図７ないし図１０に示すフローチャートを参照して、画像をグルーピングする場合のより具体的な画像処理装置の動作を説明する。
<Image grouping>
Next, a more specific operation of the image processing apparatus when grouping images will be described with reference to flowcharts shown in FIGS.
本実施形態の場合、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の肯定的評価の順に、肯定的評価の種類の選択優先度が高いとする。 In the case of the present embodiment, it is assumed that the selection priority of the type of positive evaluation is higher in the order of positive evaluation of “best shot”, “Like a large frame”, “Like a smile”, and “Like”.
まず、評価画像グループ作成部２８により、「ベストショット」の肯定的評価が１以上付与された画像がグルーピングされ、「ベストショット」の肯定的評価に対応する評価画像グループが作成される（図７のステップS21）。 First, the evaluation image group creation unit 28 groups images to which one or more “best shot” positive evaluations are given, and creates an evaluation image group corresponding to the positive evaluation of “best shot” (FIG. 7). Step S21).
続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「ベストショット」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS22）。 Subsequently, based on the analysis result of each image, the similar image detection unit 30 detects a group of similar images from images included in the “best shot” evaluation image group (step S22).
続いて、「ベストショット」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS23）。 Subsequently, it is confirmed whether or not a similar image exists in the images included in the evaluation image group of “best shot” (step S23).
その結果、類似画像が存在する場合（ステップS23において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、総合評価値が最も高い第１類似画像の総合評価値に対して、第１類似画像以外の第２類似画像の総合評価値が加算される（ステップS24）。 As a result, when there is a similar image (YES in step S23), the evaluation value adding unit 32 causes the group of similar images to have the highest overall evaluation value among similar images included in the group of similar images. The comprehensive evaluation value of the second similar image other than the first similar image is added to the comprehensive evaluation value of the one similar image (step S24).
続いて、候補画像グループ作成部３４により、「ベストショット」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「ベストショット」の候補画像グループが作成される（ステップS25）。 Subsequently, the candidate image group creation unit 34 deletes the second similar image from the images included in the “best shot” evaluation image group, and includes the candidate images used in the composite image, and the “best shot” candidates. An image group is created (step S25).
続いて、ステップS27へ進む。 Then, it progresses to step S27.
一方、類似画像が存在しない場合（ステップS23において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「ベストショット」の評価画像グループに含まれる全ての画像を含む、「ベストショット」の候補画像グループが作成される（ステップS26）。 On the other hand, when there is no similar image (NO in step S23), the candidate image group creation unit 34 includes all images included in the evaluation image group of “best shot” as candidate images to be used in the composite image. A “best shot” candidate image group is created (step S26).
候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「ベストショット」の候補画像グループに含まれる画像の順位が決定される（ステップS27）。 When the candidate image group is created, the rank determining unit 36 determines the rank of the images included in the “best shot” candidate image group based on the comprehensive evaluation value (step S27).
続いて、評価画像グループ作成部２８により、「大コマいいね」の肯定的評価が１以上付与された画像がグルーピングされ、「大コマいいね」の肯定的評価に対応する評価画像グループが作成される（図８のステップS28）。 Subsequently, the evaluation image group creation unit 28 groups images to which one or more positive evaluations of “Large frame likes” are grouped, and an evaluation image group corresponding to the positive evaluation of “Large frame likes” is created. (Step S28 in FIG. 8).
続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「大コマいいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS29）。 Subsequently, the similar image detection unit 30 detects a group of similar images from the images included in the evaluation image group of “Like a large frame” based on the analysis result of each image (step S29). .
続いて、「大コマいいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS30）。 Subsequently, it is confirmed whether or not a similar image exists in the images included in the evaluation image group “Like a large frame” (step S30).
その結果、類似画像が存在する場合（ステップS30において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第１類似画像の総合評価値に対して第２類似画像の総合評価値が加算される（ステップS31）。 As a result, if there is a similar image (YES in step S30), the evaluation value adding unit 32 similarly applies the first similar image among the similar images included in the group of similar images for each group of similar images. The comprehensive evaluation value of the second similar image is added to the comprehensive evaluation value (step S31).
続いて、候補画像グループ作成部３４により、「大コマいいね」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「大コマいいね」の候補画像グループが作成される（ステップS32）。 Subsequently, the candidate image group creation unit 34 deletes the second similar image from the images included in the evaluation image group of “Like a large frame” and includes a candidate image to be used in the composite image. The candidate image group for “Ne” is created (step S32).
続いて、ステップS34へ進む。 Then, it progresses to step S34.
一方、類似画像が存在しない場合（ステップS30において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「大コマいいね」の評価画像グループに含まれる全ての画像を含む、「大コマいいね」の候補画像グループが作成される（ステップS33）。 On the other hand, if there is no similar image (NO in step S30), the candidate image group creation unit 34 selects all images included in the evaluation image group “Like a large frame” as candidate images to be used in the composite image. Including a candidate image group for “Like a large frame” is created (step S33).
候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「大コマいいね」の候補画像グループに含まれる画像の順位が決定される（ステップS34）。 When the candidate image group is created, the rank determining unit 36 determines the rank of the images included in the “large frame like” candidate image group based on the comprehensive evaluation value (step S34).
続いて、評価画像グループ作成部２８により、「笑顔がいいね」の肯定的評価が１以上付与された画像がグルーピングされ、「笑顔がいいね」の肯定的評価に対応する評価画像グループが作成される（図９のステップS35）。 Subsequently, the evaluation image group creation unit 28 groups images to which one or more positive evaluations of “Like a smile” are grouped, and an evaluation image group corresponding to the positive evaluation of “Like a smile” is created. (Step S35 in FIG. 9).
続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「笑顔がいいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS36）。 Subsequently, based on the analysis result of each image, the similar image detection unit 30 detects a group of similar images from the images included in the evaluation image group “I like smile” (step S36). .
続いて、「笑顔がいいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS37）。 Subsequently, it is confirmed whether or not a similar image exists in the images included in the evaluation image group “I like smile” (step S37).
その結果、類似画像が存在する場合（ステップS37において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第１類似画像の総合評価値に対して第２類似画像の総合評価値が加算される（ステップS38）。 As a result, if there is a similar image (YES in step S37), the evaluation value adding unit 32 similarly applies the first similar image among the similar images included in the group of similar images for each group of similar images. The comprehensive evaluation value of the second similar image is added to the comprehensive evaluation value (step S38).
続いて、候補画像グループ作成部３４により、「笑顔がいいね」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「笑顔がいいね」の候補画像グループが作成される（ステップS39）。 Subsequently, the candidate image group creation unit 34 deletes the second similar image from the images included in the evaluation image group “I like smile” and includes a candidate image to be used in the composite image. A candidate image group of “Ne” is created (step S39).
続いて、ステップS41へ進む。 Then, it progresses to step S41.
一方、類似画像が存在しない場合（ステップS37において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「笑顔がいいね」の評価画像グループに含まれる全ての画像を含む、「笑顔がいいね」の候補画像グループが作成される（ステップS40）。 On the other hand, if there is no similar image (NO in step S37), the candidate image group creation unit 34 selects all images included in the evaluation image group “I like smile” as candidate images to be used in the composite image. Including a candidate image group “I like smile” is created (step S40).
候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「笑顔がいいね」の候補画像グループに含まれる画像の順位が決定される（ステップS41）。 When the candidate image group is created, the rank determining unit 36 determines the rank of the images included in the candidate image group “I like smile” based on the comprehensive evaluation value (step S41).
続いて、評価画像グループ作成部２８により、「いいね」の肯定的評価が１以上付与された画像がグルーピングされ、「いいね」の肯定的評価に対応する評価画像グループが作成される（図１０のステップS42）。 Subsequently, the evaluation image group creation unit 28 groups the images to which one or more “Like” positive evaluations are given, and creates an evaluation image group corresponding to the “Like” positive evaluation (see FIG. 10 steps S42).
続いて、類似画像検出部３０により、各々の画像の解析結果に基づいて、「いいね」の評価画像グループに含まれる画像の中から、類似画像のグループが検出される（ステップS43）。 Subsequently, based on the analysis result of each image, the similar image detection unit 30 detects a group of similar images from images included in the “like” evaluation image group (step S43).
続いて、「いいね」の評価画像グループに含まれる画像の中に類似画像が存在するか否かが確認される（ステップS44）。 Subsequently, it is confirmed whether or not there is a similar image among the images included in the “like” evaluation image group (step S44).
その結果、類似画像が存在する場合（ステップS44において、YES）、評価値加算部３２により、類似画像のグループ毎に、類似画像のグループに含まれる類似画像のうち、同様に、第１類似画像の総合評価値に対して第２類似画像の総合評価値が加算される（ステップS45）。 As a result, if there is a similar image (YES in step S44), the evaluation value adding unit 32 similarly applies the first similar image among the similar images included in the group of similar images for each group of similar images. The total evaluation value of the second similar image is added to the total evaluation value (step S45).
続いて、候補画像グループ作成部３４により、「いいね」の評価画像グループに含まれる画像の中から第２類似画像が削除され、合成画像において使用する候補画像を含む、「いいね」の候補画像グループが作成される（ステップS46）。 Subsequently, the candidate image group creation unit 34 deletes the second similar image from the images included in the “like” evaluation image group, and includes “candidate” candidates including candidate images used in the composite image. An image group is created (step S46).
続いて、ステップS48へ進む。 Then, it progresses to step S48.
一方、類似画像が存在しない場合（ステップS44において、NO）、候補画像グループ作成部３４により、合成画像において使用する候補画像として、「いいね」の評価画像グループに含まれる全ての画像を含む、「いいね」の候補画像グループが作成される（ステップS47）。 On the other hand, if there is no similar image (NO in step S44), the candidate image group creation unit 34 includes all images included in the evaluation image group “like” as candidate images to be used in the composite image. A “like” candidate image group is created (step S47).
候補画像グループが作成されると、順位決定部３６により、総合評価値に基づいて、「いいね」の候補画像グループに含まれる画像の順位が決定される（ステップS48）。 When the candidate image group is created, the rank determining unit 36 determines the rank of the images included in the “like” candidate image group based on the comprehensive evaluation value (step S48).
最後に、予備画像グループ作成部３８により、肯定的評価が付与されていない画像、ならびに、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる第２類似画像がグルーピングされ、予備画像グループが作成される（ステップS49）。 Finally, images that have not been given a positive evaluation by the preliminary image group creation unit 38 and candidate image groups of “best shot”, “large frame like”, “smile is good”, and “like” Are grouped, and a preliminary image group is created (step S49).
なお、例えば、「ベストショット」および「大コマいいね」の両方の肯定的評価が付与された画像は、「ベストショット」および「大コマいいね」の両方の候補画像グループに含まれる。そのため、画像のグルーピングの場合に、例えば、「大コマいいね」の評価画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれている画像を削除して「大コマいいね」の候補画像グループを作成してもよい。同様に、「いいね」の評価画像グループに含まれる画像の中から、「ベストショット」および「大コマいいね」の候補画像グループに含まれている画像を削除して「いいね」の候補画像グループを作成してもよい。 For example, images to which positive evaluations of both “best shot” and “large frame like” are given are included in both “best shot” and “large frame like” candidate image groups. Therefore, in the case of image grouping, for example, images included in the “best shot” candidate image group are deleted from the images included in the evaluation image group of “Like a large frame” and “Large frame” is selected. A “like” candidate image group may be created. Similarly, from the images included in the “Like” evaluation image group, the images included in the “Best Shot” and “Large Frame Like” candidate image groups are deleted, and the “Like” candidate is deleted. An image group may be created.
あるいは、「大コマいいね」の評価画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれている画像を削除して「大コマいいね」の候補画像グループを作成し、「笑顔がいいね」の評価画像グループに含まれる画像の中から、「ベストショット」および「大コマいいね」の候補画像グループに含まれている画像を削除して「笑顔がいいね」の候補画像グループを作成し、「いいね」の評価画像グループに含まれる画像の中から、「ベストショット」、「大コマいいね」および「笑顔がいいね」の候補画像グループに含まれている画像を削除して「いいね」の候補画像グループを作成してもよい。 Or, delete the images included in the “best shot” candidate image group from the images included in the “large frame like” evaluation image group, and create a “large frame like” candidate image group. Then, delete the images included in the “Best Shot” and “Large-Frame Like” candidate image groups from the images included in the “Like a Smile” evaluation image group. ”Candidate image group, and from the images included in the“ Like ”evaluation image group, it is included in the“ Best shot ”,“ Like large frame ”and“ Like smile ”candidate image groups. It is also possible to create a “like” candidate image group by deleting existing images.
その一方で、例えば、「ベストショット」および「大コマいいね」の両方の候補画像グループに重複する画像が含まれているとしても、後述するように、合成画像において使用（配置）された画像は、候補画像グループから削除される。そのため、画像のグルーピングまたは合成画像の作成いずれかの場合に、候補画像グループから重複する画像を削除すればよい。 On the other hand, for example, even if overlapping images are included in both “best shot” and “large frame like” candidate image groups, as described later, the images used (arranged) in the composite image Are deleted from the candidate image group. Therefore, in either case of image grouping or composite image creation, it is only necessary to delete duplicate images from the candidate image group.
＜第２テンプレート決定モードにおけるテンプレートの決定＞
次に、図１１に示すフローチャートを参照して、第２テンプレート決定モードにおいてテンプレートを決定する場合のより具体的な画像処理装置の動作を説明する。
<Determination of template in second template determination mode>
Next, a more specific operation of the image processing apparatus when determining a template in the second template determination mode will be described with reference to the flowchart shown in FIG.
まず、テンプレート決定部４２により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の４つの候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の３つの候補画像グループの各々に含まれる画像の数が算出される（図１１のステップS50）。 First, the template determination unit 42 determines the total number of images included in the four candidate image groups of “best shot”, “large frame like”, “smile is nice”, and “like”, and “best shot”. The number of images included in each of the three candidate image groups “Like a large frame” and “Like” is calculated (step S50 in FIG. 11).
続いて、テンプレート決定部４２により、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像の総数、ならびに、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループの各々に含まれる画像の数に応じて、特大コマおよび大コマの数に応じて、テンプレート記憶部４０に記憶された複数のテンプレートの中から、合成画像を作成する時に使用するテンプレートが決定される。また、テンプレートに含まれる特大コマおよび大コマの数が決定される（ステップS51）。 Subsequently, the template determination unit 42 determines the total number of images included in the candidate image groups of “best shot”, “large frame like”, “smile is nice”, and “like”, as well as “best shot”, According to the number of images included in each of the candidate image groups “Like a large frame” and “Like”, a plurality of templates stored in the template storage unit 40 according to the number of extra large frames and large frames. From among these, a template to be used when creating a composite image is determined. Further, the extra large frame and the number of large frames included in the template are determined (step S51).
続いて、テンプレートの通常コマに、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かが確認される（ステップS52）。 Next, whether or not to place an image with a positive rating of “Like a smile” on a normal frame of the template is given priority over an image with a positive rating of “Like”. Confirmed (step S52).
「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かは、例えば、テンプレート決定部４２が合成画像のテーマ等に基づいて自動で決定してもよいし、あるいは、第１ユーザの指示によって決定してもよい。 For example, the template determination unit 42 may automatically determine whether or not to preferentially arrange an image assigned with a positive evaluation of “smile is good” based on the theme of the composite image, Or you may determine by the instruction | indication of a 1st user.
その結果、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置する場合（ステップS52において、YES）、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合よりも、合成画像を作成する時に使用するテンプレートが、通常コマの数がより多いテンプレートに変更される（ステップS53）。「笑顔がいいね」の肯定的評価が付与された画像の数に応じて、例えば、「笑顔がいいね」の肯定的評価が付与された画像の数が多いほど、通常コマの数がより多いテンプレートに変更される。 As a result, when preferentially placing images with a positive rating of “smiles are good” (YES in step S52), priority is given to images with a positive rating of “smiles are good” The template used when creating the composite image is changed to a template having a larger number of normal frames than when not laying them out (step S53). Depending on the number of images with a positive rating of “Like a smile,” for example, the more images with a positive rating of “Like a smile”, the more normal frames Changed to many templates.
一方、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合（ステップS52において、NO）、テンプレートは変更されない（ステップS54）。 On the other hand, when an image to which a positive evaluation of “smile is good” is not preferentially arranged (NO in step S52), the template is not changed (step S54).
＜合成画像の作成の具体的動作＞
次に、図１２ないし図１５に示すフローチャートを参照して、合成画像を作成する場合のより具体的な画像処理装置の動作を説明する。
<Specific operation of creating composite image>
Next, a more specific operation of the image processing apparatus when creating a composite image will be described with reference to flowcharts shown in FIGS.
まず、画像抽出部４４により、「ベストショット」の候補画像グループに含まれる画像の中から、表紙ページに配置する画像として、「ベストショット」の候補画像グループに含まれる画像の順位が最も高い（１番目）の１枚の画像が抽出される（図１２のステップS55）。 First, among the images included in the “best shot” candidate image group, the image extraction unit 44 has the highest ranking of the images included in the “best shot” candidate image group as images to be arranged on the cover page ( The first image is extracted (step S55 in FIG. 12).
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された表紙ページ用の１枚の画像が、合成画像の表紙ページに配置される（ステップS56）。 Subsequently, one image for the cover page extracted by the image extraction unit 44 is arranged on the cover page of the composite image by the composite image creation unit 46 (step S56).
続いて、「ベストショット」の候補画像グループに含まれる画像の中から、表紙ページ用の画像として抽出された１枚の画像が削除される（ステップS57）。つまり、「ベストショット」の候補画像グループには、順位が２位以下の画像が含まれる。 Subsequently, one image extracted as the cover page image is deleted from the images included in the “best shot” candidate image group (step S57). That is, the “best shot” candidate image group includes images ranked second or lower.
なお、「ベストショット」の候補画像グループに画像が存在しない場合、「大コマいいね」の候補画像グループに含まれる画像の中から、画像の順位が最も高い１枚の画像が表紙用の画像として抽出される。つまり、表紙ページ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、候補画像グループに含まれる画像の順位が最も高い１枚の画像が抽出される。 If there is no image in the “best shot” candidate image group, the image with the highest image ranking among the images included in the “large frame like” candidate image group is the cover image. Extracted as In other words, the type of positive evaluation corresponding to the candidate image group is selected from the images included in the “best shot”, “large frame like” and “like” candidate image groups as images for the cover page. One image having the highest priority and the highest order of images included in the candidate image group is extracted.
続いて、テンプレートに含まれる特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数以下であるか否かが確認される（ステップS58）。 Subsequently, it is confirmed whether or not the number of extra large frames included in the template is equal to or less than the number of images included in the “best shot” candidate image group (step S58).
その結果、特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数よりも多い場合（ステップS58において、NO）、画像抽出部４４により、特大コマ用の画像として、「ベストショット」の候補画像グループに含まれる全ての画像が抽出され、さらに、「大コマいいね」の候補画像グループに含まれる画像の中から、特大コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される（ステップS59）。 As a result, when the number of extra large frames is larger than the number of images included in the “best shot” candidate image group (NO in step S58), the image extracting unit 44 uses the “best” All images included in the “Shot” candidate image group are extracted, and from the images included in the “Large-frame-like” candidate image group, an insufficient number of images as images for extra-large frames are displayed. Are extracted in descending order (step S59).
なお、「大コマいいね」の候補画像グループに含まれる画像の中から特大コマ用の画像を抽出しても特大コマ用の画像の数が不足する場合、さらに、「いいね」の候補画像グループに含まれる画像の中から特大コマ用の画像が抽出される。つまり、特大コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の１枚の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される。 In addition, if the number of images for extra large frames is insufficient even if the images for extra large frames are extracted from the images included in the candidate image group for “Like large frames”, the candidate images for “Like” are further displayed. An image for an extra large frame is extracted from images included in the group. That is, as images for the extra large frames, images other than one image for the cover page among the images included in the candidate images group of “Best Shot”, “Large Frame Like”, and “Like” are selected. Images with the number of extra large frames are extracted in descending order of selection priority of the type of positive evaluation corresponding to the candidate image group and in descending order of the images included in the candidate image group.
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された特大コマ用の画像が、テンプレートの特大コマに配置される（ステップS60）。 Subsequently, the image for the extra large frame extracted by the image extraction unit 44 is arranged on the extra large frame of the template by the composite image creating unit 46 (step S60).
続いて、「大コマいいね」の候補画像グループに含まれる画像の中から、特大コマ用の画像として抽出された画像が削除される（ステップS61）。 Subsequently, the image extracted as the image for the extra large frame is deleted from the images included in the candidate image group “Like a large frame” (step S61).
続いて、ステップS65へ進む。 Then, it progresses to step S65.
一方、特大コマの数が、「ベストショット」の候補画像グループに含まれる画像の数以下である場合（ステップS58において、YES）、画像抽出部４４により、特大コマに配置する画像として、「ベストショット」の候補画像グループに含まれる画像の中から、「ベストショット」の候補画像グループに含まれる画像の順位が高い順に、特大コマの数の画像が抽出される（ステップS62）。 On the other hand, when the number of extra large frames is equal to or less than the number of images included in the “best shot” candidate image group (YES in step S58), the image extracting unit 44 uses the “best” From the images included in the “shot” candidate image group, images of the number of extra large frames are extracted in descending order of the images included in the “best shot” candidate image group (step S62).
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された特大コマの数の画像が、テンプレートの特大コマに配置される（ステップS63）。 Subsequently, the composite image creating unit 46 arranges the image of the number of extra large frames extracted by the image extracting unit 44 in the extra large frame of the template (step S63).
続いて、「ベストショット」の候補画像グループに含まれる画像の中から、特大コマ用の画像として抽出された画像が削除される（ステップS64）。 Subsequently, the image extracted as the image for the extra large frame is deleted from the images included in the “best shot” candidate image group (step S64).
続いて、「ベストショット」の候補画像グループに含まれる画像の中に、合成画像においてまだ使用されていない未使用画像が存在するか否かが確認される（ステップS65）。 Subsequently, it is confirmed whether or not there is an unused image that has not yet been used in the composite image among the images included in the candidate image group of “best shot” (step S65).
その結果、未使用画像が存在しない場合（ステップS65において、NO）、ステップS67へ進む。 As a result, when there is no unused image (NO in step S65), the process proceeds to step S67.
一方、未使用画像が存在する場合（ステップS65において、YES）、「ベストショット」の候補画像グループに含まれる未使用画像が、「大コマいいね」の候補画像グループに追加され、「大コマいいね」の候補画像グループに含まれる画像よりも高い順位に設定される（ステップS66）。 On the other hand, if there is an unused image (YES in step S65), an unused image included in the “best shot” candidate image group is added to the “large top” candidate image group. It is set to a higher rank than the images included in the “like” candidate image group (step S66).
続いて、テンプレートに含まれる大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数以下であるか否かが確認される（図１３のステップS67）。 Subsequently, it is confirmed whether or not the number of large frames included in the template is equal to or smaller than the number of images included in the candidate image group “Like a large frame” (step S67 in FIG. 13).
その結果、大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数よりも多い場合（ステップS67において、NO）、画像抽出部４４により、大コマ用の画像として、「大コマいいね」の候補画像グループに含まれる全ての画像が抽出され、さらに、「いいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される（ステップS68）。 As a result, when the number of large frames is larger than the number of images included in the candidate image group “Like a large frame” (NO in step S67), the image extraction unit 44 uses the image as a large frame image. All images included in the “Like” candidate image group are extracted, and from the images included in the “Like” candidate image group, an insufficient number of images as images for the large frame are displayed. The images are extracted in descending order (step S68).
つまり、大コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の１枚の画像および特大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される。 That is, as the image for the large frame, one image for the cover page and the number of extra large frames among the images included in the candidate images group of “best shot”, “large frame like”, and “like” From the images other than the images, images with the number of large frames are extracted in descending order of selection priority for the type of positive evaluation corresponding to the candidate image group and in descending order of the images included in the candidate image group. Is done.
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された大コマ用の画像が、テンプレートの大コマに配置される（ステップS69）。 Subsequently, the image for large frame extracted by the image extraction unit 44 is arranged in the large frame of the template by the composite image creation unit 46 (step S69).
続いて、「いいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として抽出された画像が削除される（ステップS70）。 Subsequently, the image extracted as the large frame image is deleted from the images included in the “like” candidate image group (step S70).
続いて、ステップS74へ進む。 Then, it progresses to step S74.
一方、大コマの数が、「大コマいいね」の候補画像グループに含まれる画像の数以下である場合（ステップS67において、YES）、画像抽出部４４により、大コマに配置する画像として、「大コマいいね」の候補画像グループに含まれる画像の中から、「大コマいいね」の候補画像グループに含まれる画像の順位が高い順に、大コマの数の画像が抽出される（ステップS71）。 On the other hand, when the number of large frames is equal to or less than the number of images included in the candidate image group “Like a large frame” (YES in step S67), the image extraction unit 44 determines that From the images included in the “large frame like” candidate image group, the images of the number of large frames are extracted in descending order of the images included in the “large frame like” candidate image group (steps). S71).
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された大コマの数の画像が、テンプレートの大コマに配置される（ステップS72）。 Subsequently, the composite image creating unit 46 arranges the images of the number of large frames extracted by the image extracting unit 44 in the large frame of the template (step S72).
続いて、「大コマいいね」の候補画像グループに含まれる画像の中から、大コマ用の画像として抽出された画像が削除される（ステップS73）。 Subsequently, the image extracted as the large frame image is deleted from the images included in the candidate image group “Like a large frame” (step S73).
続いて、通常コマに配置する画像として、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置するか否かが確認される（図１４のステップS74）。 Subsequently, as an image to be placed on a normal frame, whether to place an image with a positive evaluation of “Like a smile” preferentially over an image with a positive rating of “Like” Is confirmed (step S74 in FIG. 14).
画像抽出部４４は、第１ユーザの指示に応じて、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に抽出するか否かを決定してもよいし、あるいは、「笑顔がいいね」の候補画像グループに含まれる画像の数が閾値以上である場合に、「いいね」の肯定的評価が付与された画像よりも、「笑顔がいいね」の肯定的評価が付与された画像を優先的に抽出してもよい。 In response to an instruction from the first user, the image extraction unit 44 preferentially selects an image assigned with a positive evaluation of “Like a smile” over an image assigned with a positive evaluation of “Like”. It may be decided whether or not to extract, or a positive evaluation of “Like” is given when the number of images included in the candidate image group “Like smile” is equal to or greater than a threshold value. Images with a positive evaluation of “I like smile” may be extracted preferentially over images.
その結果、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置しない場合（ステップS74において、NO）、ステップS82へ進む。 As a result, when an image to which a positive evaluation of “smile is good” is not preferentially arranged (NO in step S74), the process proceeds to step S82.
一方、「笑顔がいいね」の肯定的評価が付与された画像を優先的に配置する場合（ステップS74において、YES）、続いて、「大コマいいね」の候補画像グループに含まれる画像の中に未使用画像が存在するか否かが確認される（ステップS75）。 On the other hand, when preferentially arranging images with a positive evaluation of “Like a smile” (YES in step S74), subsequently, the images included in the candidate image group “Like a large frame” are selected. It is confirmed whether or not there is an unused image (step S75).
その結果、未使用画像が存在しない場合（ステップS75において、NO）、ステップS77へ進む。 As a result, when there is no unused image (NO in step S75), the process proceeds to step S77.
一方、未使用画像が存在する場合（ステップS75において、YES）、「大コマいいね」の候補画像グループに含まれる未使用画像が、「笑顔がいいね」の候補画像グループに追加され、「笑顔がいいね」の候補画像グループに含まれる画像よりも高い順位に設定される（ステップS76）。 On the other hand, if there is an unused image (YES in step S75), the unused image included in the “Like a large frame” candidate image group is added to the “Like a smile” candidate image group. It is set in a higher order than the images included in the candidate image group “smile is good” (step S76).
続いて、画像抽出部４４により、通常コマに配置する画像として、「笑顔がいいね」の候補画像グループに含まれる画像の中から、「笑顔がいいね」の候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の数の画像が抽出される（ステップS77）。 Subsequently, an image included in the candidate image group “Like Smile” is selected from the images included in the candidate image group “Like Smile” as images to be arranged in the normal frame by the image extraction unit 44. Images with a number equal to or less than the number of normal frames are extracted in descending order (step S77).
つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」および「笑顔がいいね」の候補画像グループに含まれる画像のうち、表紙ページ用の１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数以下の画像が抽出される。 In other words, among the images included in the candidate image groups of “best shot”, “Like a large frame” and “Like a smile” as an image for a normal frame, one image for a cover page, Among the images other than the number of images and the number of large frames, the positive evaluation type corresponding to the candidate image group is selected in descending order of the priority, and the images included in the candidate image group are ordered in descending order. Images that are less than the number of normal frames are extracted.
笑顔用の画像の数は、例えば、画像抽出部４４が設定してもよいし、あるいは、第１ユーザが設定してもよい。 For example, the number of smile images may be set by the image extraction unit 44 or may be set by the first user.
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された通常コマの数以下の画像が通常コマに配置される（ステップS78）。 Subsequently, the composite image creation unit 46 arranges images equal to or less than the number of normal frames extracted by the image extraction unit 44 in the normal frames (step S78).
続いて、「笑顔がいいね」の候補画像グループに含まれる画像の中から、笑顔用の画像として抽出された画像が削除される（ステップS79）。 Subsequently, the image extracted as the image for smile is deleted from the images included in the candidate image group “I like smile” (step S79).
続いて、「笑顔がいいね」の候補画像グループに含まれる画像の中に未使用画像が存在するか否かが確認される（ステップS80）。 Subsequently, it is confirmed whether or not there is an unused image in the images included in the candidate image group “I like smile” (step S80).
その結果、未使用画像が存在しない場合（ステップS80において、NO）、ステップS82へ進む。 As a result, when there is no unused image (NO in step S80), the process proceeds to step S82.
一方、未使用画像が存在する場合（ステップS80において、YES）、「笑顔がいいね」の候補画像グループに含まれる未使用画像が、「いいね」の候補画像グループに追加され、「いいね」の候補画像グループに含まれる画像よりも高い順位に設定される（ステップS81）。 On the other hand, if there is an unused image (YES in step S80), an unused image included in the “Like a smile” candidate image group is added to the “Like” candidate image group. "Is set in a higher order than the images included in the candidate image group" (step S81).
続いて、通常コマに配置する画像として、通常コマの数未満の画像が抽出された場合、通常コマのうちの通常コマの数未満の通常コマ以外の残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数以下であるか否かが確認される（図１５のステップS82）。 Subsequently, when images less than the number of normal frames are extracted as the images to be placed on the normal frames, the number of remaining normal frames other than the normal frames less than the number of normal frames among the normal frames is “Like”. The number of images included in the candidate image group “” is confirmed (step S82 in FIG. 15).
その結果、残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数よりも多い場合（ステップS82において、NO）、画像抽出部４４により、残りの通常コマ用の画像として、「いいね」の候補画像グループに含まれる全ての画像が抽出され、さらに、予備画像グループに含まれる画像の中から、残りの通常コマ用の画像として不足する数の画像が、画像の順位が高い順に抽出される（ステップS83）。 As a result, when the number of remaining normal frames is larger than the number of images included in the “like” candidate image group (NO in step S82), the image extraction unit 44 causes the remaining normal frame images to be displayed. As a result, all the images included in the “like” candidate image group are extracted, and further, from the images included in the preliminary image group, an insufficient number of images as images for the remaining normal frames are displayed. Extraction is performed in descending order (step S83).
つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」、「笑顔がいいね」および「いいね」の候補画像グループに含まれる画像のうち、表紙ページ用の１枚の画像、特大コマの数の画像、大コマの数の画像および通常コマの数未満の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像が抽出される。笑顔用の画像を優先的に配置しない場合も同様である。 That is, one image for the cover page out of images included in the candidate image groups of “best shot”, “Like a large frame”, “Like a smile” and “Like” as a normal frame image. From among images other than images, images with the number of extra large frames, images with the number of large frames and images with less than the number of normal frames, in order of selection priority of the type of positive evaluation corresponding to the candidate image group, and Images of the number of remaining normal frames are extracted in descending order of the images included in the candidate image group. The same applies when the smile image is not preferentially arranged.
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された残りの通常コマ用の画像が、テンプレートの残りの通常コマに配置され、合成画像の本編ページが作成される（ステップS84）。 Subsequently, the composite image creation unit 46 arranges the remaining normal frame images extracted by the image extraction unit 44 in the remaining normal frames of the template, and creates the main page of the composite image (step S84). .
一方、残りの通常コマの数が、「いいね」の候補画像グループに含まれる画像の数以下である場合（ステップS82において、YES）、画像抽出部４４により、残りの通常コマに配置する画像として、「いいね」の候補画像グループに含まれる画像の中から、「いいね」の候補画像グループに含まれる画像の順位が高い順に、残りの通常コマの数の画像が抽出される（ステップS85）。 On the other hand, if the number of remaining normal frames is equal to or less than the number of images included in the “like” candidate image group (YES in step S82), the image extracting unit 44 uses the images to be arranged in the remaining normal frames. Are extracted from the images included in the “Like” candidate image group in the descending order of the images included in the “Like” candidate image group (Step S1). S85).
つまり、通常コマ用の画像として、「ベストショット」、「大コマいいね」および「いいね」の候補画像グループに含まれる画像のうちの表紙ページ用の１枚の画像、特大コマの数の画像および大コマの数の画像以外の画像の中から、候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、候補画像グループに含まれる画像の順位が高い順に、通常コマの数の画像が抽出される。笑顔用の画像を優先的に配置しない場合も同様である。 That is, as an image for a normal frame, one image for the cover page among images included in the candidate image group of “best shot”, “Like large frame”, and “Like”, the number of extra large frames From images other than images and large-frame images, usually in descending order of selection priority for the type of positive evaluation corresponding to the candidate image group and in descending order of the images included in the candidate image group Images of the number of frames are extracted. The same applies when the smile image is not preferentially arranged.
続いて、合成画像作成部４６により、画像抽出部４４によって抽出された残りの通常コマの数の画像が、テンプレートの残りの通常コマに配置され、合成画像の本編ページが作成される（ステップS86）。 Subsequently, the composite image creation unit 46 arranges the images of the number of remaining normal frames extracted by the image extraction unit 44 in the remaining normal frames of the template, and creates the main page of the composite image (step S86). ).
＜結語＞
このように、画像処理装置１０においては、評価基準が異なる２種類以上の肯定的評価に基づいて、ユーザが期待する画像を、テンプレートに含まれる「大コマ」等に自動で配置したり、笑顔の画像を優先的に配置したりすることができる。そのため、ユーザは、ユーザが期待する画像を配置し直す必要がなくなり、画像の評価のやり直しおよび手動でのレイアウトの編集等の手間を省くことができる。
<Conclusion>
As described above, in the image processing apparatus 10, based on two or more types of positive evaluations having different evaluation criteria, an image expected by the user is automatically arranged on a “large frame” or the like included in the template, or a smile Can be preferentially arranged. This eliminates the need for the user to rearrange the image that the user expects, and saves time and effort for re-evaluating the image and manually editing the layout.
＜変形例＞
本実施形態の場合、合成画像の表紙ページにおいて使用された１枚の画像を、合成画像の本編ページにおいては使用していないが、これに限定されず、合成画像の表紙ページにおいて使用された画像を、合成画像の本編ページにおいて使用してもよい。
<Modification>
In the case of the present embodiment, one image used on the cover page of the composite image is not used on the main page of the composite image, but is not limited to this, and an image used on the cover page of the composite image May be used in the main page of the composite image.
また、合成画像作成部４６は、プリントし、製本することにより、紙媒体のフォトアルバム（フォトブック）等の合成画像を作成してもよいし、これに限らず、テンプレート上に静止画および動画を含む画像を配置し、ディスプレイ上において閲覧する電子アルバム等の合成画像を作成してもよい。さらに、テンプレートを利用することなく、ユーザから取得された静止画や動画などを含む各種のコンテンツを順次表示するスライドショー等の合成画像を作成してもよい。また、スライドショーにおいて、「長く表示したい画像」および「白黒からカラーに移行したい画像」など、種々の肯定的評価項目を設定し、ユーザに対して評価を求めてもよい。 In addition, the composite image creation unit 46 may create a composite image such as a photo album (photo book) on a paper medium by printing and binding, and is not limited to this, and a still image and a moving image on a template. A composite image such as an electronic album to be viewed on a display may be created. Furthermore, a composite image such as a slide show that sequentially displays various contents including a still image and a moving image acquired from the user may be created without using a template. Also, in a slide show, various positive evaluation items such as “image to be displayed for a long time” and “image to be shifted from black and white” may be set and the user may be evaluated.
画像処理装置１０が、サーバ１２および複数のユーザの端末装置１４を備えることは必須ではなく、例えば、サーバ１２および端末装置１４の全ての構成要素を備える装置を構成することもできる。この場合、ネットワーク１６、および、サーバ１２とユーザの端末装置１４との間のやり取りは不要であり、例えば、ユーザから画像処理装置１０へ、あるいは、画像処理装置１０からユーザに対して直接やり取りを行うことができる。 It is not essential that the image processing apparatus 10 includes the server 12 and the terminal devices 14 of a plurality of users. For example, an apparatus including all the components of the server 12 and the terminal device 14 can be configured. In this case, exchange between the network 16 and the server 12 and the terminal device 14 of the user is not necessary. For example, direct exchange from the user to the image processing apparatus 10 or from the image processing apparatus 10 to the user. It can be carried out.
画像取得部１８、画像解析部２０、表示制御部２２、評価取得部２４、評価値算出部２６、評価画像グループ作成部２８、類似画像検出部３０、評価値加算部３２、候補画像グループ作成部３４、順位決定部３６、予備画像グループ作成部３８、テンプレート記憶部４０、テンプレート決定部４２、画像抽出部４４および合成画像作成部４６の全てをサーバ１２が備えることは必須ではなく、そのうちの少なくとも１つが、ユーザの端末装置１４内に備えられていてもよい。 Image acquisition unit 18, image analysis unit 20, display control unit 22, evaluation acquisition unit 24, evaluation value calculation unit 26, evaluation image group creation unit 28, similar image detection unit 30, evaluation value addition unit 32, candidate image group creation unit 34, the order determination unit 36, the preliminary image group creation unit 38, the template storage unit 40, the template determination unit 42, the image extraction unit 44, and the composite image creation unit 46 are not necessarily included in the server 12, and at least One may be provided in the terminal device 14 of the user.
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたプロセッサおよびプロセッサを備えるコンピュータ等によって構成してもよい。本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。 In the apparatus of the present invention, each component included in the apparatus may be configured by dedicated hardware, or each component may be configured by a programmed processor and a computer including a processor. The method of the present invention can be implemented, for example, by a program for causing a computer to execute each step. It is also possible to provide a computer-readable recording medium in which this program is recorded.
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。 Although the present invention has been described in detail above, the present invention is not limited to the above-described embodiment, and it is needless to say that various improvements and modifications may be made without departing from the gist of the present invention.
１０ 画像処理装置
１２ サーバ
１４ 端末装置（クライアント）
１６ ネットワーク
１８ 画像取得部
２０ 画像解析部
２２ 表示制御部
２４ 評価取得部
２６ 評価値算出部
２８ 評価画像グループ作成部
３０ 類似画像検出部
３２ 評価値加算部
３４ 候補画像グループ作成部
３６ 順位決定部
３８ 予備画像グループ作成部
４０ テンプレート記憶部
４２ テンプレート決定部
４４ 画像抽出部
４６ 合成画像作成部
４８ 画像表示部
５０ 指示入力部
10 image processing device 12 server 14 terminal device (client)
DESCRIPTION OF SYMBOLS 16 Network 18 Image acquisition part 20 Image analysis part 22 Display control part 24 Evaluation acquisition part 26 Evaluation value calculation part 28 Evaluation image group creation part 30 Similar image detection part 32 Evaluation value addition part 34 Candidate image group creation part 36 Order determination part 38 Preliminary image group creation unit 40 Template storage unit 42 Template determination unit 44 Image extraction unit 46 Composite image creation unit 48 Image display unit 50 Instruction input unit
Claims (27)
前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させる表示制御部と、
前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得する評価取得部と、
前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出する評価値算出部と、
前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成する合成画像作成部とを備える、画像処理装置。 An image acquisition unit for acquiring a plurality of images from a plurality of users;
The plurality of images, and two or more evaluation assigning areas designated by each of the plurality of users to give each of two or more types of positive evaluations having different evaluation criteria for each of the plurality of images. A display control unit for displaying each of the image display unit,
For each image displayed on the image display unit, an evaluation acquisition unit that acquires a positive evaluation given by each of the users specifying each of the two or more evaluation grant regions;
An evaluation value calculation unit for calculating a user evaluation value for each image based on a positive evaluation given to each image;
An image processing apparatus comprising: a synthesized image creating unit that creates a synthesized image by synthesizing at least some of the plurality of images based on a user evaluation value for each of the images.
前記肯定的評価が付与された画像を前記２種類以上の肯定的評価の各々が付与された画像毎にグルーピングして、前記２種類以上の肯定的評価の各々に対応する２以上の評価画像グループの各々を作成する評価画像グループ作成部と、
前記各々の画像の解析結果に基づいて、前記２以上の評価画像グループの各々に含まれる画像の中から画像の内容が類似する類似画像のグループを検出する類似画像検出部と、
前記類似画像のグループ毎に、前記類似画像のグループに含まれる類似画像のうち、前記ユーザ評価値が最も高い第１類似画像のユーザ評価値に対して、前記第１類似画像以外の第２類似画像のユーザ評価値を加算する評価値加算部と、
前記各々の評価画像グループに含まれる画像の中から前記各々の評価画像グループに含まれる前記第２類似画像を削除して、前記合成画像において使用する候補画像を含む、前記２以上の評価画像グループの各々に対応する２以上の候補画像グループの各々を作成する候補画像グループ作成部と、
前記ユーザ評価値に基づいて、前記２以上の候補画像グループの各々に含まれる画像の順位を決定する順位決定部とを備える、請求項１に記載の画像処理装置。 An image analysis unit for analyzing each of the images;
Two or more evaluation image groups corresponding to each of the two or more types of positive evaluations, wherein the images to which the positive evaluations are provided are grouped for each of the images to which each of the two or more types of positive evaluations is provided. An evaluation image group creation unit for creating each of
A similar image detection unit that detects a group of similar images having similar image contents from images included in each of the two or more evaluation image groups based on the analysis result of each of the images;
For each group of similar images, among the similar images included in the group of similar images, the second similarity other than the first similar image with respect to the user evaluation value of the first similar image having the highest user evaluation value An evaluation value adding unit for adding the user evaluation value of the image;
The two or more evaluation image groups including candidate images to be used in the composite image by deleting the second similar images included in the evaluation image groups from the images included in the evaluation image groups. A candidate image group creating unit that creates each of two or more candidate image groups corresponding to each of
The image processing apparatus according to claim 1, further comprising: a rank determining unit that determines ranks of images included in each of the two or more candidate image groups based on the user evaluation value.
前記画像抽出部は、前記合成画像における画像のレイアウトを決定するテンプレートに含まれるコマのうち、サイズが最も大きい特大コマに配置する画像として、前記２以上の候補画像グループに含まれる画像の中から、前記候補画像グループに対応する肯定的評価の種類の選択優先度が高い順に、かつ、前記候補画像グループに含まれる画像の順位が高い順に、前記特大コマの数の画像を抽出し、
前記合成画像作成部は、前記画像抽出部によって抽出された前記特大コマの数の画像を前記特大コマに配置する、請求項２ないし４のいずれか一項に記載の画像処理装置。 An image extracting unit that extracts at least some of the plurality of images based on a user evaluation value for each of the images;
The image extraction unit is configured to select an image to be placed on an extra large frame having the largest size among frames included in a template that determines an image layout in the composite image from images included in the two or more candidate image groups. , Extracting images of the number of extra large frames in descending order of selection priority of the type of positive evaluation corresponding to the candidate image group, and in descending order of the images included in the candidate image group,
5. The image processing apparatus according to claim 2, wherein the composite image creation unit arranges images of the number of extra large frames extracted by the image extraction unit in the extra large frames.
前記合成画像作成部は、前記画像抽出部によって抽出された前記大コマの数の画像を前記大コマに配置する、請求項５に記載の画像処理装置。 The image extraction unit is configured to place the extra large frame among the images included in the two or more candidate image groups as an image to be arranged in a large frame having a size next to the extra large frame among the frames included in the template. Among the images other than the number of images, the higher the selection priority of the type of positive evaluation corresponding to the candidate image group, and the higher the order of the images included in the candidate image group, the higher the order. Extract images for the number of frames,
The image processing apparatus according to claim 5, wherein the composite image creation unit arranges images of the number of large frames extracted by the image extraction unit in the large frames.
前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数の画像を前記通常コマに配置する、請求項６に記載の画像処理装置。 The image extraction unit is configured to place the extra large frame among the images included in the two or more candidate image groups as an image to be arranged in a normal frame whose size is smaller than the large frame among the frames included in the template. Among the images other than the number of images and the number of images of the large frames, the images included in the candidate image group in the descending order of selection priority of the type of positive evaluation corresponding to the candidate image group. Extract images of the number of normal frames in descending order,
The image processing apparatus according to claim 6, wherein the composite image creation unit arranges images of the number of the normal frames extracted by the image extraction unit in the normal frames.
前記画像抽出部は、前記テンプレートに含まれるコマの数に対して、前記２以上の候補画像グループに含まれる画像の総数が不足する場合に、前記予備画像グループに含まれる画像の中から前記不足する数の画像を抽出し、
前記合成画像作成部は、前記画像抽出部によって抽出された前記不足する数の画像を、前記テンプレートに含まれるコマに配置する、請求項７に記載の画像処理装置。 A preliminary image group creation unit that creates a preliminary image group by grouping the images that are not given the positive evaluation and the second similar images included in the two or more candidate image groups;
The image extraction unit, when the total number of images included in the two or more candidate image groups is insufficient with respect to the number of frames included in the template, the shortage among images included in the preliminary image group. Extract as many images as you want,
The image processing apparatus according to claim 7, wherein the composite image creation unit arranges the insufficient number of images extracted by the image extraction unit in a frame included in the template.
前記類似画像検出部は、前記各々の画像の解析結果に基づいて、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループの各々に含まれる画像の中から前記類似画像のグループを検出し、
前記候補画像グループ作成部は、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループの各々に含まれる画像の中から、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループの各々に含まれる前記第２類似画像を削除して、前記第１評価画像グループ、前記第２評価画像グループ、前記第３評価画像グループおよび前記第４評価画像グループに対応する第１候補画像グループ、第２候補画像グループ、第３候補画像グループおよび第４候補画像グループを作成し、
前記順位決定部は、前記ユーザ評価値に基づいて、前記第１候補画像グループ、前記第２候補画像グループ、前記第３候補画像グループおよび前記第４候補画像グループの各々に含まれる画像の順位を決定する、請求項９に記載の画像処理装置。 The evaluation image group creation unit assigns an image to which the positive evaluation is given to each of the first positive evaluation, the second positive evaluation, the third positive evaluation, and the fourth positive evaluation. A first evaluation image group and a second evaluation image group corresponding to the first positive evaluation, the second positive evaluation, the third positive evaluation, and the fourth positive evaluation. , Create a third evaluation image group and a fourth evaluation image group,
The similar image detection unit is included in each of the first evaluation image group, the second evaluation image group, the third evaluation image group, and the fourth evaluation image group based on the analysis result of each image. Detecting a group of similar images from the image;
The candidate image group creation unit is configured to select the first evaluation image from images included in each of the first evaluation image group, the second evaluation image group, the third evaluation image group, and the fourth evaluation image group. Deleting the second similar images included in each of the group, the second evaluation image group, the third evaluation image group, and the fourth evaluation image group, and the first evaluation image group and the second evaluation image group Creating a first candidate image group, a second candidate image group, a third candidate image group and a fourth candidate image group corresponding to the third evaluation image group and the fourth evaluation image group,
The rank determination unit determines ranks of images included in each of the first candidate image group, the second candidate image group, the third candidate image group, and the fourth candidate image group based on the user evaluation value. The image processing apparatus according to claim 9, wherein the determination is performed.
前記合成画像は、表紙ページおよび本編ページを含むフォトアルバムであり、
前記画像抽出部は、前記第１候補画像グループ、前記第２候補画像グループおよび前記第４候補画像グループに含まれる画像の中から、前記表紙ページに配置する画像として、前記候補画像グループに対応する肯定的評価の種類の選択優先度が最も高く、かつ、前記候補画像グループに含まれる画像の順位が最も高い１枚の画像を抽出し、
前記合成画像作成部は、前記画像抽出部によって抽出された前記１枚の画像を前記表紙ページに配置する、請求項１０ないし１２のいずれか一項に記載の画像処理装置。 An image extracting unit that extracts at least some of the plurality of images based on a user evaluation value for each of the images;
The composite image is a photo album including a cover page and a main part page,
The image extraction unit corresponds to the candidate image group as an image to be arranged on the cover page from images included in the first candidate image group, the second candidate image group, and the fourth candidate image group. Extracting one image having the highest selection priority of the positive evaluation type and the highest ranking of the images included in the candidate image group;
The image processing apparatus according to claim 10, wherein the composite image creation unit arranges the one image extracted by the image extraction unit on the cover page.
前記合成画像作成部は、前記画像抽出部によって抽出された前記特大コマの数の画像を前記特大コマに配置する、請求項１３に記載の画像処理装置。 The image extraction unit includes the first candidate image group, the second candidate image group, and the image to be placed on an extra large frame having the largest size among frames included in a template that determines an image layout in the photo album. Among the images included in the fourth candidate image group, from among images other than one image arranged on the cover page, in order from the highest selection priority of the type of positive evaluation corresponding to the candidate image group, And, in order from the highest order of the images included in the candidate image group, images of the number of extra large frames are extracted,
The image processing apparatus according to claim 13, wherein the composite image creation unit arranges images of the number of extra large frames extracted by the image extraction unit in the extra large frame.
前記合成画像作成部は、前記画像抽出部によって抽出された前記大コマの数の画像を前記大コマに配置する、請求項１４に記載の画像処理装置。 The image extraction unit includes the first candidate image group, the second candidate image group, and the fourth image as images to be arranged in a large frame having a size next to the extra large frame among the frames included in the template. Selection priority of the type of positive evaluation corresponding to the candidate image group from images other than one image arranged on the cover page and images of the number of extra large frames among images included in the candidate image group Extracting images of the number of large frames in descending order of the degree and in descending order of the ranking of the images included in the candidate image group;
The image processing apparatus according to claim 14, wherein the composite image creation unit arranges images of the number of large frames extracted by the image extraction unit in the large frames.
前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数の画像を前記通常コマに配置する、請求項１５に記載の画像処理装置。 The image extraction unit includes the first candidate image group, the second candidate image group, and the fourth candidate as images to be arranged in a normal frame whose size is smaller than the large frame among frames included in the template. Among the images included in the image group, an affirmative corresponding to the candidate image group is selected from one image to be arranged on the cover page, the image of the number of extra large frames, and the image other than the image of the number of large frames. Extracting images of the number of normal frames in descending order of selection priority of the type of target evaluation and in descending order of the ranking of the images included in the candidate image group;
The image processing apparatus according to claim 15, wherein the composite image creation unit arranges images of the number of the normal frames extracted by the image extraction unit in the normal frames.
前記合成画像作成部は、前記画像抽出部によって抽出された前記通常コマの数以下の画像を前記通常コマに配置する、請求項１５に記載の画像処理装置。 The image extraction unit is configured to display the third positive image as an image to be arranged in a normal frame whose size is smaller than the large frame among the frames included in the template. One image to be arranged on the cover page among the images included in the first candidate image group, the second candidate image group, and the third candidate image group when an image with an evaluation is preferentially extracted. The image of the number of extra large frames, and the image other than the image of the number of large frames, in order of selection priority of the type of positive evaluation corresponding to the candidate image group, and the candidate images Extract images that are less than or equal to the number of normal frames in descending order of the images included in the group,
The image processing apparatus according to claim 15, wherein the composite image creation unit arranges images of the number of the normal frames or less extracted by the image extraction unit in the normal frames.
前記合成画像作成部は、前記画像抽出部によって抽出された前記残りの通常コマの数の画像を前記残りの通常コマに配置する、請求項１７に記載の画像処理装置。 When the image extraction unit extracts an image less than the number of normal frames as an image to be arranged in the normal frame, the remaining normal frames other than the normal frames less than the number of normal frames among the normal frames are extracted. One image to be arranged on the cover page among images included in the first candidate image group, the second candidate image group, the third candidate image group, and the fourth candidate image group Selection priority of the type of positive evaluation corresponding to the candidate image group among the images of the number of extra large frames, the image of the number of large frames, and the image less than the number of normal frames Extracting the images of the number of the remaining normal frames in descending order of the order of the images included in the candidate image group,
The image processing device according to claim 17, wherein the composite image creation unit arranges the number of images of the remaining normal frames extracted by the image extraction unit in the remaining normal frames.
第１テンプレート決定モードの場合に、前記複数のユーザのうちの少なくとも一人の第１ユーザの指示に応じて設定された前記合成画像の商材の種類、ページ数およびテーマに基づいて、前記複数のテンプレートの中から前記合成画像を作成する時に使用するテンプレートを決定し、第２テンプレート決定モードの場合に、前記複数の画像の数および前記各々の画像に付与された肯定的評価に基づいて、前記複数のテンプレートの中から前記合成画像を作成する時に使用するテンプレートを決定するテンプレート決定部とを備え、
前記合成画像作成部は、前記テンプレート決定部によって決定されたテンプレートを用いて前記合成画像を作成する、請求項１０ないし２０のいずれか一項に記載の画像処理装置。 A template storage unit for storing a plurality of templates for determining the layout of the image in the composite image;
In the case of the first template determination mode, the plurality of the plurality of users based on the type, the number of pages, and the theme of the composite image set according to the instruction of the first user of at least one of the plurality of users. Determining a template to be used when creating the composite image from the templates, and in the case of the second template determination mode, based on the number of the plurality of images and the positive evaluation given to each of the images, A template determining unit that determines a template to be used when creating the composite image from a plurality of templates;
The image processing apparatus according to any one of claims 10 to 20, wherein the composite image creation unit creates the composite image using the template determined by the template determination unit.
前記評価値算出部は、さらに、前記各々の画像の解析結果に基づいて前記各々の画像の解析評価値を算出し、前記各々の画像の前記解析評価値および前記ユーザ評価値を加算して前記各々の画像の総合評価値を算出し、
前記各々の画像の総合評価値に基づいて、前記複数の画像の少なくとも一部の画像を抽出する画像抽出部を備える、請求項１ないし２３のいずれか一項に記載の画像処理装置。 An image analysis unit for analyzing each of the images;
The evaluation value calculation unit further calculates an analysis evaluation value of each image based on an analysis result of each image, adds the analysis evaluation value and the user evaluation value of each image, and Calculate the overall evaluation value of each image,
The image processing apparatus according to any one of claims 1 to 23, further comprising an image extraction unit that extracts at least a part of the plurality of images based on a comprehensive evaluation value of each of the images.
表示制御部が、前記複数の画像、および、前記複数の画像の各々に対して、前記複数のユーザの各々が評価基準の異なる２種類以上の肯定的評価の各々を付与するために指定する２以上の評価付与領域の各々を画像表示部に表示させるステップと、
評価取得部が、前記画像表示部に表示された各々の画像に対して、前記各々のユーザが前記２以上の評価付与領域の各々を指定することによって付与された肯定的評価を取得するステップと、
評価値算出部が、前記各々の画像に付与された肯定的評価に基づいて前記各々の画像に対するユーザ評価値を算出するステップと、
合成画像作成部が、前記各々の画像に対するユーザ評価値に基づいて、前記複数の画像の少なくとも一部の画像を合成して合成画像を作成するステップとを含む、画像処理方法。 An image acquisition unit acquiring a plurality of images from a plurality of users;
The display control unit designates each of the plurality of images and each of the plurality of images so that each of the plurality of users gives each of two or more types of positive evaluations having different evaluation criteria. Displaying each of the above evaluation grant areas on the image display unit;
A step of obtaining an affirmative evaluation given by each of the users designating each of the two or more evaluation grant areas for each image displayed on the image display unit; ,
An evaluation value calculating unit calculating a user evaluation value for each image based on a positive evaluation given to each image;
An image processing method including: a synthesized image creating unit creating a synthesized image by synthesizing at least some of the plurality of images based on a user evaluation value for each of the images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016145454A JP6673771B2 (en) | 2016-07-25 | 2016-07-25 | Image processing apparatus, image processing method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016145454A JP6673771B2 (en) | 2016-07-25 | 2016-07-25 | Image processing apparatus, image processing method, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018018140A true JP2018018140A (en) | 2018-02-01 |
| JP6673771B2 JP6673771B2 (en) | 2020-03-25 |
Family
ID=61081469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016145454A Active JP6673771B2 (en) | 2016-07-25 | 2016-07-25 | Image processing apparatus, image processing method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6673771B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019160187A (en) * | 2018-03-16 | 2019-09-19 | 大日本印刷株式会社 | Photo book creation system and server device |
| WO2021166515A1 (en) * | 2020-02-17 | 2021-08-26 | ソニーグループ株式会社 | Information processing method, server device, and program |
-
2016
- 2016-07-25 JP JP2016145454A patent/JP6673771B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019160187A (en) * | 2018-03-16 | 2019-09-19 | 大日本印刷株式会社 | Photo book creation system and server device |
| WO2021166515A1 (en) * | 2020-02-17 | 2021-08-26 | ソニーグループ株式会社 | Information processing method, server device, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6673771B2 (en) | 2020-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7286392B2 (en) | Image processing device, image processing method, and program | |
| CN102855906B (en) | Image processing equipment and image processing method | |
| US9378189B2 (en) | Layout apparatus, layout method, and computer-readable recording medium | |
| US9721189B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US9336442B2 (en) | Selecting images using relationship weights | |
| JP7286393B2 (en) | Image processing device, image processing method, and program | |
| JP6463996B2 (en) | Information processing apparatus, method, and program | |
| JP7076974B2 (en) | Image processing equipment, control methods and programs | |
| JP7336211B2 (en) | Image processing device, control method, and program | |
| JP6887816B2 (en) | Image processing equipment, control methods, and programs | |
| JP2022123207A (en) | Image processing apparatus, method for the same, and program | |
| JP7423444B2 (en) | Image processing device, image processing method, program and recording medium | |
| JP2022123214A (en) | Program, image processing apparatus, and image processing method | |
| JP2022123210A (en) | Image processing apparatus, method for controlling the same, and program | |
| JP2018005843A (en) | Image processing apparatus, image processing method, program and recording medium | |
| JP2022123209A (en) | Image processing apparatus, image processing method, and program | |
| JP2022123213A (en) | Image processing apparatus, method for controlling the same, and program | |
| JP2022123212A (en) | Program, image processing apparatus, and image processing method | |
| JP7336209B2 (en) | Image processing device, control method, and program | |
| US20210406588A1 (en) | Image processing device, image processing method, and image processing program | |
| JP6673771B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP6904871B2 (en) | Programs, information processing equipment, and information processing methods | |
| JP6586402B2 (en) | Image classification apparatus, image classification method, and program | |
| JP6586009B2 (en) | Information processing apparatus, processing method, and program | |
| JP2021149196A (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200305 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6673771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |