WO2014034266A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2014034266A1
WO2014034266A1 PCT/JP2013/068426 JP2013068426W WO2014034266A1 WO 2014034266 A1 WO2014034266 A1 WO 2014034266A1 JP 2013068426 W JP2013068426 W JP 2013068426W WO 2014034266 A1 WO2014034266 A1 WO 2014034266A1
Authority
WO
WIPO (PCT)
Prior art keywords
layout
image
information processing
present
processing apparatus
Prior art date
Application number
PCT/JP2013/068426
Other languages
English (en)
French (fr)
Inventor
村田 誠
佐藤 浩司
直樹 澁谷
祐紀 岡村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/408,677 priority Critical patent/US9813566B2/en
Priority to EP13832450.4A priority patent/EP2894605A4/en
Priority to CN201380044223.1A priority patent/CN104584081B/zh
Priority to JP2014532862A priority patent/JP6065913B2/ja
Publication of WO2014034266A1 publication Critical patent/WO2014034266A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872Repositioning or masking

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • an application that generates a photo book (or album; the same shall apply hereinafter) from a plurality of images (still images or moving images; the same applies hereinafter).
  • Examples of the application include an application that arranges an image on a template whose layout is defined in advance, and an application that automatically generates a rectangular grid-based layout and arranges the image according to the generated layout.
  • a photo book can be generated by using an existing application for generating a photo book as described above.
  • a photo book is generated on a template basis, such as an application that arranges images on a template
  • a high quality photo book can be generated depending on the creation of the template.
  • the layout pattern or design pattern
  • the layout pattern is finite.
  • the photobook is generated based on the template.
  • the problem that the layout pattern is fixed is unlikely to occur as in the case, and the problem that requires designer's creation does not occur.
  • the layout tends to be monotonous. For this reason, when an existing application that dynamically generates a layout is used, the user may need to manually edit the layout.
  • the technique disclosed in Patent Document 1 extracts a valid image from a moving image and arranges it in a cartoon layout in order to make it easy to grasp the contents of the moving image.
  • the problem that the layout pattern is fixed as in the case of generating a photo book based on the template described above hardly occurs, and the problem that the designer needs to create does not occur.
  • the technique of Patent Document 1 is a technique for facilitating the grasping of the contents of a moving image, and therefore no consideration is given to generating a high-quality photo book. Therefore, for example, even if the technique of Patent Document 1 is used, it is not always possible to automatically generate a high-quality photobook.
  • This disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of automatically generating a layout for generating a high-quality photo book.
  • the evaluation value calculation unit that calculates the evaluation value of each candidate image based on the information about the image corresponding to each candidate image that is the candidate of the image to be selected, and the page based on the parameter related to the layout
  • a page allocation unit that determines the number of images to be arranged on each page based on the parameters related to the layout and the calculated evaluation value, the parameters related to the layout, and the calculated evaluation value Based on the image selection unit that selects an image from the candidate images, the parameters related to the layout, and the evaluation value corresponding to the selected image, the selected image is arranged for each page.
  • An information processing apparatus is provided that includes a layout generation unit that generates a layout to be performed.
  • the step of calculating the evaluation value of each candidate image based on the information regarding the image corresponding to each candidate image that is the candidate of the image to be selected, and the number of pages based on the parameters regarding the layout Determining and determining the number of images to be arranged on each page based on the layout-related parameters and the calculated evaluation value, and determining the candidate based on the layout-related parameters and the calculated evaluation value
  • a program for causing a computer to execute is provided.
  • a layout for generating a high-quality photo book can be automatically generated.
  • FIG. 1 is an explanatory diagram for explaining a first example of a high-quality photo book according to the present embodiment, and describes the quality related to margins. It is explanatory drawing for. A shown in FIG. 1 and B shown in FIG. 1 each show an example of a high-quality photobook according to the present embodiment.
  • the margin according to the present embodiment is, for example, an area of a peripheral portion where an image is not arranged in a page where a generated layout image is arranged.
  • a region where an image other than a margin (a peripheral portion where an image is not arranged) is not arranged in a page where an image of a generated layout is arranged is referred to as “blank”. ".
  • the upper and lower margins in the photo book are the same (or substantially the same, the same shall apply hereinafter). Some are the same, and the left and right margins are the same, and the margin between the spreads (for example, the margin between the images in FIG. 1A) is the same. For example, by arranging the upper and lower margins, the left and right margins, and the margins between spreads in the same manner, it is possible to give an orderly impression to the user, so that the quality of the photo book can be improved.
  • FIG. 2 is an explanatory diagram for explaining a second example of a high-quality photobook according to the present embodiment, and describes the quality related to the density. It is explanatory drawing for. A1 to A3 shown in FIG. 2 indicate attention areas that are likely to attract the user's attention in the arranged image.
  • the attention area for example, an area having a high density in the image, an area having a large luminance change in the image, an area having a large hue change in the image, and an area having a large edge direction change in the image. Can be mentioned.
  • the attention area is not arranged in the center of the spread page or the attention area is not monotonous so that the attention area does not become monotonous.
  • the so-called Hinomaru composition can be avoided, and by disposing the attention area in various places in the spread page, the attention area can be distributed. It becomes. Therefore, for example, the quality of a photo book can be improved by generating a layout as shown in FIG.
  • FIG. 3 is an explanatory diagram for explaining a third example of a high-quality photo book according to the present embodiment, and describes the quality related to holiday. It is explanatory drawing for. A shown in FIG. 3 and B shown in FIG. 3 each show an example of a high-quality photobook according to the present embodiment.
  • the holiday image according to the present embodiment for example, an image with no focus strength, an image with no color density, an image with no surface fineness, or a subject is dispersed.
  • Examples include images.
  • an image of a rest in an spread page (an image shown as “rest” in FIG. 3A) is noted.
  • position with the image image which is not a holiday.
  • an image to be noticed may be displayed in a large size and a rest image may be arranged in a small size.
  • the images may be arranged so that the images of the holidays are not adjacent to each other in the spread page.
  • the image to be noticed can be shown to the user. is there. Therefore, for example, by generating a layout as shown in FIG. 3A, the quality of the photo book can be improved.
  • the method for realizing the quality related to holidays is not limited to arranging a holiday image, as shown in FIG.
  • a blank space may be provided instead of disposing a holiday image.
  • FIG. 4 is an explanatory diagram for explaining a fourth example of a high-quality photo book according to the present embodiment. It is explanatory drawing for demonstrating the quality regarding sex. The arrows shown in FIG. 4 indicate the directivity of each of the arranged images.
  • the directionality of the image according to the present embodiment is a direction in which the line of sight of the user who viewed the image is easy to move.
  • Examples of the directionality of the image according to the present embodiment include a direction in which a person (an example of a subject) included in the image is facing, a direction in which people and attention points are arranged in the image, and a region with high density in the image. Examples include a direction toward a low density area, a horizon or a boundary direction included in the image, and the like.
  • a high-quality photo book for example, as shown in FIG. 4, it is possible to vary the directionality of each image arranged on a spread page. For example, as shown in FIG. 4, the possibility that the user gets bored of seeing an image is further reduced by not having images with the same direction on the spread page. Further, if the line of sight when the user views the image matches the directionality of the image arranged on the spread page, it is possible to give the user more comfort. Therefore, for example, by generating a layout as shown in FIG. 4, the quality of the photobook can be improved.
  • FIG. 5 is an explanatory diagram for explaining a fifth example of a high quality photo book according to the present embodiment. It is explanatory drawing for demonstrating the quality regarding the balance of the area which occupies.
  • FIG. 5 shows an example in which, for example, the area occupied by the image arranged on each page of the spread is 70 [%] of the entire page.
  • the area occupied by the images arranged on each page of the spread is the same (or substantially the same. The same shall apply hereinafter). Things.
  • the balance of the entire spread page is improved by making the area occupied by the images arranged in each spread page the same. Therefore, for example, by generating a layout as shown in FIG. 5, the quality of the photobook can be improved.
  • FIG. 6 is an explanatory diagram for explaining a sixth example of a high-quality photobook according to this embodiment. It is explanatory drawing for. A1 shown in FIG. 6 and A2 shown in FIG. 6 each show an example of a high-quality photobook according to the present embodiment, for example, the first to fourth pages of the photobook. Further, B1 shown in FIG. 6 shows a comparative example with respect to A1 in FIG. 6 for explaining the quality related to the layout according to the present embodiment, and B2 shown in FIG. 6 shows the quality related to the layout according to the present embodiment. The comparative example with respect to A2 of FIG. 6 for explanation is shown.
  • a high-quality photo book for example, as shown in A1 and A2 of FIG. 6, there is a photobook in which the layout and the number of images arranged on successive pages are not the same.
  • the layout becomes monotonous.
  • the layout of images arranged on successive pages is different and the number of images arranged is different, the layout is prevented from becoming monotonous.
  • a rich layout is realized. Therefore, for example, the quality of a photo book can be improved by generating a layout as shown in FIG. Note that it is also effective in realizing a layout rich in variations to generate a page with a different layout or a page with a different number of images from time to time.
  • FIG. 7 is an explanatory diagram for explaining a seventh example of a high quality photo book according to the present embodiment. It is explanatory drawing for demonstrating.
  • A, B, C2, and D2 shown in FIG. 7 each indicate an example of a high-quality photo book according to the present embodiment.
  • C1 shown in FIG. 7 shows a comparative example with respect to C2 in FIG. 7 for explaining the quality by the image processing according to the present embodiment
  • D1 shown in FIG. 7 is obtained by the image processing according to the present embodiment.
  • the comparative example with respect to D2 of FIG. 7 for demonstrating quality is shown.
  • examples of the image processing according to the present embodiment include framing and processing for enlarging the framed image.
  • framing according to the present embodiment refers to extracting a region to be arranged from the arrangement target image, for example, by cutting out a region to be arranged from the arrangement target image.
  • a high-quality photobook according to the present embodiment for example, as shown in FIG. 7A, a subject detected from an image (A in FIG. 7 shows an example in which a human face is detected). As a reference, an image that has been framed so as to have a three-part composition can be cited. Further, as a high-quality photobook according to the present embodiment, for example, as shown in FIG. 7B, a subject detected from an image (in FIG. 7B, an example in which a flower or the like is detected is shown). Is obtained by framing horizontally or vertically. Further, as a high-quality photobook according to the present embodiment, for example, as shown in C2 of FIG. 7, a subject detected from an image (in FIG.
  • C2 shows an example in which a human face is detected).
  • D2 of FIG. 7 for example, a subject detected from an image (A in FIG. 7 shows an example in which a human face is detected). ), And an image in which the framed image is enlarged in accordance with a region where the image is arranged is arranged.
  • images that have undergone image processing are arranged on a page that constitutes a photo book, for example, an image with a better composition or an image that is easier to see is arranged. It becomes possible to do. Therefore, for example, by generating a layout as shown in A, B, C2, and D2 of FIG. 7, the quality of the photobook can be improved.
  • FIG. 8 is an explanatory diagram for explaining an eighth example of a high quality photo book according to the present embodiment. It is explanatory drawing for demonstrating.
  • a shown in FIG. 8 shows an example of a high-quality photo book according to this embodiment.
  • B shown in FIG. 8 shows a comparative example with respect to A of FIG. 8 for explaining the quality related to the frame division according to the present embodiment.
  • the frame division according to the present embodiment refers to, for example, arranging an area in which an image is arranged on each page constituting the photo book.
  • an area where an image is arranged on each page constituting the photobook may be indicated as “frame”, “image frame”, or “ Koma”.
  • FIG. 8 shows an example in which an image is arranged in a region where an image according to the present embodiment is arranged.
  • FIG. 8A As a high-quality photo book according to the present embodiment, as shown in FIG. 8A, for example, there are no unnatural frames such as a frame that is too long or horizontally or a frame that is too small, or a blank space becomes too large. There is one that is well-balanced so that there are no spaces.
  • FIG. 8B when there are frames that are too long or horizontally long, when there are frames that are too small, or when there is an excessively large space (when the space is hardened). There is a high possibility that the balance of each page constituting the photo book and the entire spread page will be lost. Therefore, for example, by generating a layout as shown in FIG. 8A, the quality of the photo book can be improved.
  • FIG. 9 is an explanatory diagram for explaining a ninth example of a high-quality photo book according to the present embodiment. It is explanatory drawing for demonstrating quality.
  • A1 shown in FIG. 9 and A2 shown in FIG. 9 each show an example of a high-quality photobook according to the present embodiment, for example, the first to fourth pages of the photobook.
  • B1 shown in FIG. 9 shows a comparative example with respect to A1 of FIG. 9 for explaining the quality related to the rotation of the piece according to the present embodiment
  • B2 shown in FIG. 9 shows the frame of the piece according to the present embodiment.
  • the comparative example with respect to A2 of FIG. 9 for demonstrating the quality regarding rotation is shown.
  • the rotation direction and rotation amount of frames are set in a well-balanced manner, or unnatural rotation of a frame (for example, , Rotation of a large frame, rotation due to a rotation angle that is too small, etc.).
  • a frame for example, as shown in B1 of FIG. 9, when the rotation direction and the rotation amount of the frame are the same (or substantially the same) in the entire spread page, for example, as shown in B2 of FIG.
  • the frame is rotated, if the rotation of the frame is very small, the balance of the entire spread page is likely to be lost. Therefore, for example, by generating a layout as shown in A1 and A2 of FIG. 9, the quality of the photobook can be improved.
  • FIG. 10 is an explanatory diagram for explaining a tenth example of a high quality photo book according to the present embodiment. It is explanatory drawing for demonstrating quality.
  • A1 shown in FIG. 10 and A2 shown in FIG. 10 each show an example of a high-quality photobook according to the present embodiment, for example, the first to fourth pages of the photobook.
  • B1 shown in FIG. 10 shows a comparative example with respect to A1 of FIG. 10 for explaining the quality related to the overlap of the frames according to the present embodiment
  • B2 shown in FIG. 10 shows the frame of the frames according to the present embodiment.
  • the comparative example with respect to A2 of FIG. 10 for demonstrating the quality regarding overlap is shown.
  • the subtle overlap or contact state of frames for example, when the frames slightly overlap each other, If there is a little more likely to overlap
  • the user may feel unnaturalness. Therefore, for example, by generating a layout as shown in A1 and A2 of FIG. 9, the quality of the photobook can be improved.
  • a large frame is not superimposed on a small frame, but, for example, as shown in A1 and A2 of FIG. You may overlap.
  • A1 and A2 of FIG. 10 it is possible to realize a more natural overlap between frames by overlapping a small frame on a large frame.
  • the photobooks shown in the first to tenth examples are listed. Needless to say, examples of high-quality photobooks according to the present embodiment are not limited to the first to tenth examples.
  • the information processing apparatus calculates an evaluation value of each candidate image based on information about the image corresponding to each candidate image (evaluation value calculation process).
  • the information processing apparatus determines the number of pages based on, for example, layout parameters, and determines the number of images arranged on each page based on the evaluation value calculated in the evaluation value calculation process. Yes (page allocation process).
  • the information processing apparatus selects an image from candidate images based on, for example, the parameters related to the layout and the evaluation value calculated in the evaluation value calculation process (image selection process). Then, the information processing apparatus according to the present embodiment, for example, a layout that arranges a selected image for each page based on a layout-related parameter and an evaluation value corresponding to the image selected in the image selection process. Is generated (layout generation processing).
  • the candidate image according to the present embodiment is a candidate for an image selected in the image selection process.
  • the information processing apparatus according to the present embodiment includes, for example, a storage unit (described later) included in the information processing apparatus according to the present embodiment, an external recording medium connected to the information processing apparatus according to the present embodiment, and the present embodiment.
  • An image stored in a recording medium or the like provided in an external apparatus such as a server connected to the information processing apparatus via a network (or directly) is set as a candidate image.
  • a wired network such as a LAN (Local Area Network) or a WAN (Wide Area Network), a wireless LAN (WLAN: Wireless Local Area Network) or a wireless WAN via a base station (WWAN: Examples include a wireless network such as Wireless Wide Area Network, or the Internet using a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • LAN Local Area Network
  • WAN Wide Area Network
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the information related to the image according to the present embodiment is data obtained by analyzing the image.
  • information related to the image according to the present embodiment for example, data indicating the area of a region including a predetermined subject detected from the image, data indicating a facial expression of a person (an example of a predetermined subject), or an image detected from the image
  • the information processing apparatus acquires information on the image according to the present embodiment corresponding to each candidate image, for example, by analyzing the candidate image.
  • processing related to analysis of a candidate image according to the present embodiment for example, detection processing such as face detection processing and object detection processing, detection processing for detecting a change in luminance and color in the candidate image, and blur estimation processing of the candidate image And a detection process for detecting a color in the candidate image.
  • the acquisition method of the information regarding the image which concerns on this embodiment is not restricted above.
  • the information processing apparatus according to the present embodiment refers to the metadata corresponding to the candidate image that indicates the analysis result of the candidate image in the external apparatus, and thereby information related to the image according to the present embodiment corresponding to each candidate image. May be obtained.
  • an apparatus an information processing apparatus according to the present embodiment or an external apparatus
  • that analyzes a candidate image uses the arbitrary detection process capable of detecting information regarding the image according to the present embodiment, thereby implementing the present embodiment. Analyze the candidate image according to the form.
  • the parameters relating to the layout according to the present embodiment are parameters corresponding to layout generation conditions indicating the directionality of the layout generated by the information processing apparatus according to the present embodiment, for example.
  • the parameters related to the layout according to the present embodiment for example, “a parameter related to the number of pages of the photo book (for example, a parameter indicating the maximum number of spreads)” or “a parameter related to the number of images arranged on each page of the photo book” (For example, parameters indicating the minimum number, maximum number, average number, etc.) ”,“ parameters indicating the aspect or margin of the photobook spread ”,“ parameters indicating the distance between images to be arranged ”,“ photobook”.
  • the parameters relating to the layout according to the present embodiment may include parameters indicating a background, a frame, and the like. Needless to say, the parameters relating to the layout according to the present embodiment are not limited to the above.
  • FIG. 11 is an explanatory diagram showing an example of parameters related to the layout according to the present embodiment.
  • FIG. 11 shows examples of parameters relating to the three layouts shown in A to C.
  • the information processing apparatus generates a parameter related to the layout based on, for example, a user operation. Then, the information processing apparatus according to the present embodiment performs processing related to the information processing method according to the present embodiment using the generated parameters related to the layout.
  • the user for example, “inputs a value on a setting screen for setting parameters related to layout” (an example of a user operation) or “a knob for setting parameters related to layout (described later).
  • a setting screen for setting parameters related to layout an example of a user operation
  • a knob for setting parameters related to layout described later.
  • selecting a theme associated with a layout parameter The parameters relating to the layout are set by (an example of user operation).
  • the information processing apparatus generates layout parameters as shown in, for example, FIGS. 11A to 11C based on the operation signal corresponding to the user operation as described above.
  • the method for generating parameters related to the layout according to the present embodiment is not limited to the above.
  • the information processing apparatus according to the present embodiment may randomly generate parameters related to the layout.
  • the layout-related parameters according to the present embodiment can be generated more easily than when a design template necessary for generating a photo book on a template basis is generated. Therefore, the parameters related to the layout according to the present embodiment may be generated in advance (that is, a parameter template related to the layout).
  • the information processing apparatus according to the present embodiment selects the parameters regarding the layout generated in advance selected based on the user operation, The processing related to the information processing method according to the present embodiment is performed using parameters relating to the layout generated in advance, which are randomly selected by the information processing apparatus according to the embodiment.
  • FIG. 12 shows a first layout generated as a result of processing related to the information processing method according to the present embodiment using parameters related to the layout according to the present embodiment. It is explanatory drawing which shows the example of.
  • the numbers shown at the bottom of each spread of A and B in FIG. 12 indicate the spread numbers.
  • the number of spreads in the generated layout is 3 (that is, 6 pages) as shown in FIG. It becomes.
  • the number of spreads generated in the processing according to the information processing method according to the present embodiment is 3 (set. Is not limited to the maximum number of spreads). For example, when the number of candidate images is small, a spread number smaller than the set maximum spread number may be generated as shown in FIG.
  • FIG. 13 shows a second layout generated as a result of processing related to the information processing method according to the present embodiment using parameters related to the layout according to the present embodiment. It is explanatory drawing which shows the example of.
  • FIG. 14 shows a third layout generated as a result of the processing related to the information processing method according to the present embodiment being performed using the parameters related to the layout according to the present embodiment. It is explanatory drawing which shows the example of.
  • the margin-related parameters according to the present embodiment include “a parameter that ignores the set margin-related parameters when only one image is arranged on one page constituting the spread”. It may be. One page that constitutes a spread if it contains “a parameter that ignores the parameters related to the set margin when there is one image arranged on one page that constitutes a spread” When the number of images arranged in one is one, as shown in FIG. 14B, a layout in which parameters related to margins are ignored is generated.
  • FIG. 15 shows a fourth layout generated as a result of processing related to the information processing method according to the present embodiment using parameters related to the layout according to the present embodiment. It is explanatory drawing which shows the example of.
  • a layout is generated so as to satisfy the set parameter as shown in FIG. 15, for example.
  • the parameter that defines the distance between images according to the present embodiment is not limited to the parameter that indicates the distance between images in the horizontal direction.
  • the parameters relating to the layout according to the present embodiment may include a parameter indicating the distance between images in the vertical direction as a parameter for defining the distance between images.
  • the distance between the images in the vertical direction is set according to the set parameter indicating the distance between the images in the vertical direction.
  • FIG. 16 is a fifth example of a layout that is generated as a result of processing related to the information processing method according to the present embodiment using parameters related to the layout according to the present embodiment. It is explanatory drawing which shows the example of.
  • a layout is generated so as to satisfy the set parameter, for example, as shown in FIG. .
  • a layout is generated so as to satisfy the set parameter, for example, as shown in FIG. Is done.
  • a layout is generated so as to satisfy the set parameter as shown in FIG. 16C, for example. Is done.
  • FIG. 17 shows a sixth layout generated as a result of processing related to the information processing method according to the present embodiment using parameters related to the layout according to the present embodiment. It is explanatory drawing which shows the example of.
  • a layout is generated so as to satisfy the set parameter, for example, as shown in FIG.
  • a layout is generated so as to satisfy the set parameter as shown in FIG. 17B, for example. .
  • FIG. 18 shows a seventh layout generated as a result of the processing related to the information processing method according to the present embodiment being performed using the parameters related to the layout according to the present embodiment.
  • A1 illustrated in FIG. 18 illustrates an example of parameters relating to a layout for a smartphone (an example of a display device that displays an image arranged in a generated layout).
  • A2 shown in FIG. 18 shows an example of parameters related to the layout for the television receiver (an example of a display device that displays an image arranged in the generated layout).
  • B1 shown in FIG. 18 shows an example of an image displayed on the display screen based on the layout generated in accordance with the parameters related to the layout shown in A1 shown in FIG.
  • B2 shown in FIG. 18 shows an example of an image displayed on the display screen based on the layout generated according to the parameters related to the layout shown in A2 shown in FIG.
  • the parameters relating to the layout according to the present embodiment include “parameters corresponding to the types of display devices that display images arranged in the generated layout”. Also good.
  • the “parameter corresponding to the type of display device that displays the image arranged in the generated layout” is included in the parameters relating to the layout according to the present embodiment, so that, for example, as shown in B1 and B2 of FIG.
  • a photobook more suitable for the type of display device that displays images arranged in the arranged layout can be displayed on the display screen of the display device.
  • [H] Eighth Example of Generated Layout As an example of the generated layout, in the seventh example, “parameter corresponding to the type of display device that displays an image arranged in the generated layout” is set.
  • the parameters included in the parameters related to the layout according to the present embodiment are not limited to the parameters corresponding to the type of display device.
  • the parameters relating to the layout according to the present embodiment may include “parameters corresponding to the types of print settings for printing the images arranged in the generated layout”.
  • the “parameter corresponding to the type of print setting for printing the image arranged in the generated layout” is included in the parameters relating to the layout according to the present embodiment, so that a photo book more suitable for the printing method can be obtained on paper. It is possible to print on a transfer medium such as
  • layouts as shown in the first to eighth examples are generated.
  • examples of layouts generated as a result of processing related to the information processing method according to the present embodiment using parameters related to the layout according to the present embodiment are the first to eighth examples. It goes without saying that it is not limited.
  • the information processing apparatus includes, for example, (1) evaluation value calculation processing, (2) page allocation processing, (3) image selection processing, and (4) as processing related to the information processing method according to this embodiment. ) Perform layout generation processing.
  • the information processing apparatus determines the number of pages of the photo book and the number of images allocated to each page in the process (2) (page allocation process). Further, the information processing apparatus according to the present embodiment is calculated in the process (3) (image selection process) in the layout-related parameters according to the present embodiment and the process (1) (evaluation value calculation process). Based on the evaluation value of each candidate image, an image to be arranged on each page is selected. Further, the information processing apparatus according to the present embodiment is selected in the process (4) (layout generation process) in the parameters related to the layout according to the present embodiment and the process (3) (image selection process). A layout is generated for each page based on the evaluation value corresponding to the image.
  • the information processing apparatus performs the above-described process (1) (evaluation value calculation process) to the process (4) (layout generation process), for example.
  • First example (margin), second example (dense / dense), third example (rest), fourth example (image directionality), fifth example (balance of area occupied by image), first One or more of the sixth example (layout) and the eighth example (frame division) are realized.
  • a specific example of the process (1) (evaluation value calculation process) to the process (4) (layout generation process) will be described later.
  • the information processing apparatus performs the process (3) (image selection process) and the process (4) (layout generation process) based on the layout-related parameters according to the present embodiment. . Therefore, the information processing apparatus according to the present embodiment can automatically generate a dynamic photobook layout by performing processing based on the layout-related parameters set by a user operation or the like.
  • the information processing apparatus generates a high-quality photo book by performing, for example, the process (1) (evaluation value calculation process) to the process (4) (layout generation process). A layout for doing this can be automatically generated.
  • the information processing apparatus automatically generates a layout for generating a high-quality photo book, so that the layout generated in the process (4) (layout generation process) is performed. Based on this, a high-quality photo book can be automatically generated.
  • the process of generating a photo book based on the layout generated in the process (4) (layout generation process) may be performed, for example, in the information processing apparatus according to the present embodiment, or an external apparatus. May be performed.
  • process according to the information processing method according to the present embodiment is not limited to the process (1) (evaluation value calculation process) to the process (4) (layout generation process).
  • the information processing apparatus further adjusts the layout generated in the process (4) (layout generation process) (layout adjustment) as the process related to the information processing method according to the present embodiment. Processing)
  • the information processing apparatus When the information processing apparatus according to the present embodiment performs (5) layout adjustment processing, for example, the first example (margin) of the above-described high-quality photobook, the ninth example (frame rotation), A higher-quality photo book such as the tenth example (overlap of frames) can be realized.
  • a specific example of the process (5) (layout adjustment process) will be described later.
  • the information processing apparatus further includes the layout generated in the process (4) (layout generation process) or the above (5) as the process related to the information processing method according to the present embodiment.
  • a process (image process) for placing the image selected in the process (3) (image selection process) may be performed on the layout adjusted in the process (layout adjustment process).
  • the information processing apparatus performs (6) image processing, thereby generating a layout generated in the process (4) (layout generation process) or the process (5) (layout adjustment process).
  • a photo book is generated based on the layout adjusted in step. That is, the process (image process) of (6) corresponds to a process of generating a photo book based on the generated layout or a layout in which the generated layout is adjusted.
  • the information processing apparatus can automatically generate a high-quality photo book in the information processing apparatus according to the present embodiment by performing the processing (image processing) of (6) above. .
  • the information processing apparatus processes the image selected in the process (3) (image selection process) in the process (6) (image process), and the processed image. May be arranged in the generated layout or the layout in which the generated layout is adjusted.
  • the image selected in the processing (3) (image selection processing) of the above (3) is processed, for example, the seventh example of the high-quality photobook described above ( High-quality photo books such as image processing can be realized.
  • the information processing apparatus includes, for example, a process “(1) (evaluation value calculation process) to a process (4) (layout generation process) as a process related to the information processing method according to the present embodiment.
  • a process “(1) (evaluation value calculation process) to a process (4) (layout generation process) as a process related to the information processing method according to the present embodiment.
  • Process (1) (Evaluation Value Calculation Process) to Process (5) (Layout Adjustment Process) "
  • (6) process (image process) A process (evaluation value calculation process) to (6) process (image process) "are performed.
  • the process according to the information processing method according to the present embodiment will be described more specifically.
  • the information processing apparatus calculates the evaluation value of each candidate image by regarding the entire candidate image as one group.
  • the process (1) evaluation value calculation process
  • the information processing apparatus may group candidate images based on information about images corresponding to the candidate images, and calculate an evaluation value for each group.
  • Examples of processing related to grouping of candidate images according to the present embodiment include clustering processing using information about images.
  • clustering processing using information about images candidate images are grouped based on, for example, events indicated by the images, image similarities, and the like. That is, by performing the clustering process using the information related to the images, the candidate images are grouped from the viewpoint of time and similar images, for example.
  • clustering process from a temporal viewpoint for example, a process using a technique described in “Patent No. 4577173” in which the present applicant is a patentee can be cited.
  • clustering processing from the viewpoint of similar images for example, processing using a technique described in “Patent No. 4811433”, in which the applicant of the present application is a patent right, can be cited.
  • the clustering process from the viewpoint of time according to the present embodiment and the clustering process from the viewpoint of similar images are not limited to the above, and the information processing apparatus according to the present embodiment is not limited to the viewpoint of time and similar images. It is possible to perform grouping using an arbitrary process capable of performing clustering.
  • the information processing apparatus includes, for example, the process (3) (image selection process) and ( Processes related to the information processing method according to the present embodiment, such as the process (4) (layout generation process), are performed for each group.
  • the process (3) image selection process
  • Processes related to the information processing method according to the present embodiment such as the process (4) (layout generation process)
  • the process (4) displayout generation process
  • FIG. 19 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of a candidate image according to the present embodiment.
  • 44 captured images obtained by capturing an athletic meet are shown as candidate images.
  • the information processing apparatus first groups candidate images using information regarding images corresponding to the candidate images shown in FIG.
  • FIG. 20 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment.
  • FIG. 20 shows an example of a result of grouping the candidate images shown in FIG. 19 from the viewpoint of time and grouping similar images in each group.
  • a to H shown in FIG. 20 indicate groups of candidate images, respectively.
  • B1, E1, and F1 to F3 shown in FIG. 20 indicate groups of similar images.
  • the information processing apparatus when the candidate images are grouped as shown in FIG. 20, the information processing apparatus according to the present embodiment performs the process (3) (image selection process) and the process (4) (layout generation) for each group. Processing related to the information processing method according to the present embodiment.
  • FIG. 21 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of an evaluation value calculated by the information processing apparatus according to the present embodiment.
  • A1 to A7 shown in FIG. 21 show examples of evaluation values calculated for some of the images included in the candidate images shown in FIG.
  • the information processing apparatus calculates, for example, an evaluation value that takes a value range of 0.0 to 1.0 for the candidate image.
  • the information processing apparatus detects a predetermined subject such as a face from a candidate image, for example.
  • the information processing apparatus detects a region including a subject by, for example, an arbitrary face detection process or an arbitrary object detection process.
  • the information processing apparatus determines an evaluation value corresponding to the area occupied by the area including the detected subject (for example, a rectangular area) in the entire image.
  • the information processing apparatus includes, for example, a region including a detected subject by referring to a table in which an area including the detected subject occupies the entire image and an evaluation value are associated with each other. The evaluation value corresponding to the area occupied by the entire image is determined.
  • the information processing apparatus may further analyze a region including the detected subject and add or subtract an evaluation value according to the analysis result.
  • examples of the process related to the analysis of the area including the detected subject include an arbitrary facial expression detection process, an arbitrary face orientation determination process, and an arbitrary blur estimation process.
  • the information processing apparatus adds or subtracts the evaluation value according to the facial expression or the orientation of the face. More specifically, the information processing apparatus according to the present embodiment, for example, adds a predetermined value corresponding to the facial expression to the evaluation value when the detected human face (an example of the predetermined subject) is a smile. If the detected human face (an example of a predetermined subject) is an angry face or a crying face, a predetermined value corresponding to the facial expression is subtracted from the evaluation value. Further, the information processing apparatus according to the present embodiment adds a predetermined value corresponding to the orientation of the face to the evaluation value when the orientation of the detected human face (an example of the predetermined subject) is the front.
  • the information processing apparatus When the orientation of the detected human face (an example of a predetermined subject) is a side surface, a predetermined value corresponding to the orientation of the face is subtracted from the evaluation value. In addition, when the detected human face (an example of a predetermined subject) is blurred, the information processing apparatus according to the present embodiment subtracts a predetermined value corresponding to the blur from the evaluation value.
  • the information processing apparatus identifies the addition / subtraction value of the evaluation value corresponding to the analysis result by referring to a table in which the analysis result and the addition / subtraction value of the evaluation value are associated with each other, for example. To do.
  • evaluation value calculation process is not limited to the process of calculating based on a predetermined subject detected from the candidate image.
  • the information processing apparatus detects a change in luminance or color in a candidate image, and determines an evaluation value by detecting an attention area that is larger than a value for which the change is set. May be. More specifically, the information processing apparatus according to the present embodiment determines, for example, an evaluation value corresponding to the area occupied by the detected attention area in the entire image.
  • the information processing apparatus refers to, for example, a table in which the detected area of interest occupies the entire image and the evaluation value are associated with each other to detect the detected area of interest.
  • An evaluation value corresponding to the area occupied in the entire image is determined.
  • the evaluation value associated with the area occupied by the region of interest in the entire image is, for example, a value smaller than the evaluation value associated with the area occupied by the region including the subject described above in the entire image.
  • the evaluation value associated with the area occupied by the region of interest in the entire image may be, for example, the same value as the evaluation value associated with the area occupied by the region including the subject described above in the entire image.
  • the area including the subject may be larger than the evaluation value associated with the area of the entire image.
  • the information processing apparatus may detect a color from a candidate image and determine an evaluation value based on the number of detected colors (corresponding to a color variation), for example. More specifically, the information processing apparatus according to the present embodiment corresponds to the number of detected colors by referring to, for example, a table in which the number of detected colors and evaluation values are associated with each other. The evaluation value to be determined is determined.
  • the information processing apparatus may estimate the degree of blur of a candidate image and adjust the evaluation value based on the estimated degree of blur. More specifically, the information processing apparatus according to the present embodiment refers to, for example, an evaluation value corresponding to the estimated degree of blur by referring to a table in which the degree of blur and the evaluation value are associated with each other. Determine the adjustment value.
  • the adjustment value include a value in which a negative value increases as the estimated degree of blur increases.
  • the candidate image for which the information processing apparatus according to the present embodiment calculates an evaluation value is not limited to a still image.
  • the information processing apparatus uses a technique for calculating a score from a moving image described in “Japanese Patent Application Laid-Open No. 2010-191934” filed by the applicant of the present application. It is also possible to calculate an evaluation value for.
  • an example of processing related to the information processing method according to the present embodiment will be described by taking a case where the candidate image according to the present embodiment is a still image as an example.
  • the information processing apparatus determines the number of pages based on the layout-related parameters according to the present embodiment, and the evaluation calculated in the process (1) (evaluation value calculation process). The number of images arranged on each page is determined based on the value.
  • FIGS. 22 and 23 are explanatory diagrams for explaining an example of processing related to the information processing method according to the present embodiment.
  • FIG. 22 illustrates an example of processing related to determination of the number of pages according to the present embodiment performed for each group.
  • FIG. 23 shows an image of a page allocated for each group.
  • the information processing apparatus determines the number of pages based on, for example, parameters related to the layout according to the present embodiment.
  • the information processing apparatus when the number of candidate images is small, the information processing apparatus according to the present embodiment has fewer pages than the maximum number indicated by the layout-related parameters according to the present embodiment.
  • the number may be determined.
  • the information processing apparatus refers to a table in which the number of pages and the lower limit value of the number of candidate images are associated with each other, and the layout-related parameter corresponding to the number of candidate images Determine the number of pages below the maximum number indicated by.
  • the information processing apparatus assigns the number of pages or the number of spreads for each group.
  • parameters relating to the maximum number of pages an example of parameters relating to the layout according to this embodiment
  • candidate images included in the group The calculation using the number and the total number of candidate images is performed, and the calculation result is rounded off.
  • FIG. 22 shows an example of a calculation for determining the number of spreads assigned to each group.
  • FIGS. 24 to 26 are explanatory diagrams for explaining an example of processing related to the information processing method according to the present embodiment. An example of processing related to determination is shown.
  • FIGS. 24 to 26 show a case where grouping of candidate images as shown in FIG. 20 is performed in the process (1) (evaluation value calculation process). Even if the candidate images are not grouped in the process (1) (evaluation value calculation process), the information processing apparatus according to the present embodiment performs the same process for each page or each It is possible to determine the number of images arranged in a spread.
  • the information processing apparatus calculates the square sum of the evaluation values of the images on each page or each spread.
  • FIG. 25 illustrates an example in which the information processing apparatus according to the present embodiment calculates the square sum of the evaluation values of the images in each spread.
  • the reason why the information processing apparatus according to the present embodiment calculates the square sum of the evaluation values of the images in each page or each spread is to increase the difference between pages or between spreads.
  • the information processing apparatus may calculate, for example, the sum of the cubes of the evaluation values of the images in each page or each spread, and the image evaluation values in each page or each spread A strong high pass filter may be applied.
  • the information processing apparatus calculates the parameters related to the layout according to the present embodiment and the calculated image in each page or each spread.
  • the number of images assigned to each page or each spread is determined based on the square sum of the evaluation values.
  • the information processing apparatus includes, for example, “a page number or spread number determined by the process related to the determination of the number of pages” and “a parameter indicating an average number of images per page (The total number of images to be arranged in the photo book is determined on the basis of “an example of parameters related to the layout according to the present embodiment) or a parameter indicating an average number of images per spread (an example of parameters related to the layout according to the present embodiment)”.
  • the information processing apparatus calculates, for example, the reciprocal of the square sum of the evaluation values, and proportionally distributes the number of images to each page or each spread. To do.
  • the information processing apparatus calculates the reciprocal of the square sum of the evaluation values, and the total number of images to be arranged in the photobook, and the evaluation value.
  • the number of images arranged on each page or each spread is determined by calculation using the reciprocal of the sum of squares.
  • FIG. 26 illustrates an example in which the information processing apparatus according to the present embodiment determines the number of images arranged in each spread.
  • the information processing apparatus by calculating the reciprocal of the square sum of the evaluation values and proportionally distributing the number of images to each page or each spread, the information processing apparatus according to the present embodiment has a page with a large sum of evaluation values.
  • the number of images can be reduced as the spread is increased.
  • the information processing apparatus performs, for example, the process (2-1) (process related to determining the number of pages) and the process (2-2) (process related to determining the number of images). Accordingly, the number of pages (or the number of spreads) and the number of images arranged on each page (or each spread) are determined.
  • the process (2) (page allocation process) according to the present embodiment is not limited to the example shown above.
  • the information processing apparatus according to the present embodiment when the minimum value or the maximum value of the number of images arranged on each page or each spread is set in the parameters related to the layout according to the present embodiment, the minimum The number of pages (or the number of spreads) and the number of images arranged on each page (or each spread) may be adjusted so as to satisfy the value and the maximum value.
  • the information processing apparatus has, for example, the high quality described above.
  • the third example (rest) of the photo book and the sixth example (layout) of the high-quality photo book described above can be realized.
  • the information processing apparatus is based on, for example, the layout-related parameters according to the present embodiment and the evaluation value calculated in the process (1) (evaluation value calculation process). Select an image from the candidate images.
  • the information processing apparatus selects an image from the candidate images for each group. .
  • the information processing apparatus classifies candidate images based on, for example, a comparison result between the calculated evaluation value and a predetermined threshold value.
  • the information processing apparatus selects an image for each group of classified candidate images, for example.
  • a candidate image that is a candidate for a holiday image according to the present embodiment and a candidate image that is not a candidate for a holiday image according to the present embodiment can be cited.
  • an image selected from candidate images that are candidates for a holiday image according to the present embodiment is indicated as “rest image according to the present embodiment”, “vacation”, “vacation”, or “Rest”.
  • an image selected from candidate images that are not candidates for a holiday image according to the present embodiment is indicated as “working image according to the present embodiment”, “working”, “working”, or “work”. There is a case.
  • the predetermined threshold value according to the present embodiment for example, the median value of the evaluation values of the candidate images can be cited.
  • the predetermined threshold according to the present embodiment is not limited to the above.
  • the predetermined threshold value according to the present embodiment may be a fixed value set in advance or a variable value set based on a user operation or the like.
  • FIG. 27 is an explanatory diagram for explaining an example of a process related to the information processing method according to the present embodiment, and shows an example of an image selected in the process (3) (image selection process).
  • FIG. 27 illustrates an example in which the predetermined threshold is the median value of the evaluation values of the candidate images.
  • FIG. 27 shows the evaluation values in a bar graph form, and the numbers “1” to “8” shown in FIG. 27 indicate the descending order of the evaluation values.
  • the selected images are indicated as “working” and “vacation”.
  • the information processing apparatus uses the number of images determined in the process (2) (page allocation process) as the first image number for selecting a working image according to the present embodiment and the present embodiment.
  • the holiday image according to the form is distributed to the second number of images to be selected.
  • the distribution between the first image number and the second image number may be set in advance, for example, or may be set as a parameter relating to the layout according to the present embodiment. Further, the distribution between the first image number and the second image number may be set by a user operation, for example.
  • the information processing apparatus includes, for example, first images in descending order of evaluation values from candidate images having a predetermined threshold value or more (or candidate images larger than the predetermined threshold value, hereinafter the same).
  • a candidate image of the number of images is selected as a working image according to the present embodiment.
  • FIG. 27 illustrates an example in which the information processing apparatus according to the present embodiment selects candidate images with numbers “1” and “2” as working images according to the present embodiment.
  • an image selected in descending order of evaluation values from candidate images having a predetermined threshold value or more corresponds to a working image according to the present embodiment.
  • the information processing apparatus is, for example, in order of decreasing evaluation value from candidate images smaller than a predetermined threshold (or candidate images equal to or lower than a predetermined threshold; hereinafter the same).
  • Two candidate images are selected as a holiday image according to the present embodiment.
  • FIG. 27 illustrates an example in which the information processing apparatus according to the present embodiment selects candidate images numbered “5” and “6” as the holiday images according to the present embodiment.
  • an image selected in descending order of evaluation value from candidate images smaller than a predetermined threshold corresponds to a holiday image according to the present embodiment.
  • the information processing apparatus selects an image for each group of classified candidate images, thereby causing the working image according to the present embodiment and the rest image according to the present embodiment to be selected. Select. For example, when the working image according to the present embodiment and the holiday image according to the present embodiment are selected as described above, the information processing apparatus according to the present embodiment enables the third photo book of the high quality described above. An example (rest) can be realized.
  • the process (3) (image selection process) according to the present embodiment is not limited to the above.
  • the information processing apparatus determines the directionality of each candidate image for each group of classified candidate images, and further selects an image based on the determined directionality of the image. May be.
  • FIG. 28 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of processing related to selection of an image based on the directionality of the image.
  • a shown in FIG. 28 shows an example of the directionality of an image selected by the information processing apparatus according to this embodiment (that is, an example of an OK case), and B shown in FIG.
  • An example of the directionality of an image not selected by the information processing apparatus that is, an example of an NG case
  • the information processing apparatus avoids selecting an image with a fixed image direction as shown in FIG.
  • the information processing apparatus has, for example, a higher evaluation value from a candidate image having a predetermined threshold value or higher in descending order of evaluation value or a candidate image having a smaller value than the predetermined threshold value.
  • a higher evaluation value from a candidate image having a predetermined threshold value or higher in descending order of evaluation value or a candidate image having a smaller value than the predetermined threshold value.
  • the information processing apparatus selects an image without using the directionality of the image, for example.
  • the information processing apparatus can perform, for example, the above-described fourth example of a high-quality photobook (image direction). Can be realized.
  • the information processing apparatus is based on the layout-related parameters according to the present embodiment and the evaluation value corresponding to the image selected in the process (3) (image selection process). To generate a layout for each page.
  • the information processing apparatus when the candidate images are grouped in the process (1) (evaluation value calculation process), the information processing apparatus according to the present embodiment generates a layout for each group.
  • the information processing apparatus for example, the number of images arranged on the page determined in the process (2) (page allocation process) or the arrangement on the determined page.
  • the layout is generated by arranging the area in which the image is arranged on the page.
  • the page where the area where the image according to this embodiment is arranged is arranged, each page of the photo book, but the page where the area where the image according to this embodiment is arranged is arranged as above Not limited to.
  • the page on which the area in which the image according to the present embodiment is arranged may be a spread page including two pages.
  • the information processing apparatus may generate a layout based on, for example, parameters regarding the layout according to the present embodiment and / or information regarding an image corresponding to the selected image.
  • a process related to generation of a layout based on a layout-related parameter according to the present embodiment for example, an area arrangement process described later using a page aspect ratio (an example of a layout-related parameter according to the present embodiment)
  • a blank area arrangement process which will be described later, using a parameter related to a blank in a page according to the present embodiment (an example of a parameter related to a layout according to the present embodiment).
  • processing related to generation of a layout based on information related to an image corresponding to a selected image according to the present embodiment for example, an area described later using an image aspect ratio (information related to an image according to the present embodiment)
  • An arrangement process etc. are mentioned.
  • FIG. 29 and 30 are explanatory diagrams for explaining an example of processing related to the information processing method according to the present embodiment, and show an example of processing (4) (layout generation processing).
  • a shown in FIG. 29 shows an example of a layout generated when an area for arranging one image is arranged on a page.
  • B shown in FIG. 29 shows the process (3) (image selection process).
  • the area in which the image selected in () is arranged shows an example of a page arranged in the generated layout.
  • A1, A2, and B1 to B3 shown in FIG. 30 show an example of a layout generated when an area for arranging four images is arranged on a page.
  • An area in which the image selected in the process (3) (image selection process) is arranged is an example of a page arranged in the generated layout.
  • the information processing apparatus uses, for example, an evaluation value of the selected image as shown in A1 and B1 of FIG. Based on this, the level of the size (hereinafter, sometimes referred to as “frame level”) in the generated layout of the selected image is determined (frame level determination process).
  • the size level in the generated layout of the selected image according to the present embodiment is, for example, how much grid the selected image represents when the area where the image is arranged is represented by a grid. It is an index indicating whether to occupy.
  • the information processing apparatus generates a layout by arranging areas where images are arranged, for example, as shown in A2, B2, and B3 in FIG. 30 (area arrangement processing).
  • FIG. 31 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of frame level determination processing according to the present embodiment. Yes.
  • FIG. 31 shows that the information processing apparatus according to the present embodiment has a frame level 1 (for example, a level indicating that one grid is occupied when an area where an image is arranged is represented by a grid),
  • the frame level 2 for example, a level indicating that four grids are occupied when the area where the image is arranged is represented by a grid
  • An example of the frame level determination process according to the present embodiment in the case of classifying selected images is shown.
  • the information processing apparatus determines the frame level of each image by performing threshold processing using, for example, a predetermined threshold (Th shown in FIG. 31) and the evaluation value of the selected image. .
  • the information processing apparatus according to the present embodiment may perform the frame level determination process according to the present embodiment using a preset threshold other than 0.5 or a threshold set based on a user operation or the like. Good.
  • the information processing apparatus classifies the images selected in the process (3) (image selection process) into two frame levels of frame level 1 or frame level 2.
  • the frame level determined by the information processing apparatus according to the present embodiment is not limited to the above.
  • the information processing apparatus according to the present embodiment occupies nine grids when “frame level 1, frame level 2, or frame level 3 (for example, an area in which an image is arranged is represented by a grid).
  • the frame level of each image may be determined by classifying the image into three or more frame levels, for example, by classifying the image into three or more frame levels.
  • the frame level of each image is determined by threshold processing using an example of the threshold value of the image.
  • the information processing apparatus can realize, for example, the above-described third example (rest) of a high-quality photo book.
  • FIGS. 32 and 33 are explanatory diagrams for explaining an example of processing related to the information processing method according to this embodiment, and show an example of region arrangement processing according to this embodiment.
  • FIG. 32 shows an outline of the area arrangement processing according to the present embodiment
  • FIG. 33 shows an example of the area where the image is arranged, which is arranged by the area arrangement processing according to the present embodiment.
  • the frame level of the image selected in the process (3) is set to the frame level 1 image (for example, the rest image according to the present embodiment).
  • Is an example of region arrangement processing according to the present embodiment taking as an example the case where there are two images and frame level 2 images (for example, corresponding to working images according to the present embodiment). explain.
  • the information processing apparatus arranges the area where the images are arranged so that the holiday images according to the present embodiment are not continuously arranged. For example, as described above, by arranging the region where the images are arranged so that the holiday images according to this embodiment are not continuously arranged, the high-quality photo book according to this embodiment described above, for example, A third example (rest) is realized.
  • the information processing apparatus represents, for example, a region in which an image on a page is arranged by a grid, and is selected from the upper left to the lower right of the page, for example, as illustrated in B1 to B3 in FIG.
  • the area where the image is arranged is arranged.
  • the information processing apparatus when the regions to be arranged for all the images shown in A of FIG. 32 can be arranged, the information processing apparatus according to the present embodiment arranges for all the images.
  • An area where an image is arranged when the area can be arranged is generated on the page.
  • the information processing apparatus may, for example, make the area where the image is arranged larger than the area corresponding to the frame level of the image.
  • the information processing apparatus for example, determines an area in which an image is arranged based on the degree of white space indicated by a white space parameter (an example of a layout related parameter according to the present embodiment) in a page according to the present embodiment. And larger than the area corresponding to the frame level of the image.
  • a white space parameter an example of a layout related parameter according to the present embodiment
  • the information processing apparatus is, for example, when the region corresponding to the blank is continuously arranged as in the holiday image according to the present embodiment illustrated in FIG. Similarly to the replacement of the area in which the rest image according to the present embodiment is arranged as indicated by 33E, the area in which the selected image that has already been arranged is arranged and the area corresponding to the blank may be exchanged. Is possible.
  • an area corresponding to a blank and a rest image according to the present embodiment are continuous like a rest image according to the present embodiment illustrated in D of FIG.
  • the area for arranging the selected image already arranged You may replace the area
  • the information processing apparatus has the above-described high quality photobook third example (rest) and the above-described quality.
  • the sixth example (layout) of a high photobook can be realized.
  • the information processing apparatus performs, for example, the process (4-1) (frame level determination process) and the process (4-2) (area arrangement) as the process (4) (layout generation process). Process).
  • the information processing apparatus performs, for example, the process (4-1) (frame level determination process) and the process (4-2) (area arrangement) as the process (4) (layout generation process).
  • the above-described third example (rest) of a high-quality photobook and the above-described sixth example (layout) of a high-quality photobook can be realized.
  • the process (4) (layout generation process) in the information processing apparatus according to the present embodiment is not limited to the above.
  • the information processing apparatus according to the present embodiment can further perform a blank area arrangement process using a parameter regarding a blank in a page according to the present embodiment (an example of a parameter regarding a layout according to the present embodiment).
  • FIGS. 34 to 36 are explanatory diagrams for explaining an example of processing related to the information processing method according to the present embodiment, and an example of blank area arrangement processing according to the present embodiment. Is shown.
  • FIG. 34 shows an outline of the blank area arrangement processing according to the present embodiment
  • FIGS. 35 to 36 show an example of the blank area arrangement processing according to the present embodiment.
  • the information processing apparatus arranges areas corresponding to blanks, for example, as shown in A2 and B2 of FIG. 34, in order to realize pages as shown in A1 and B1 of FIG. .
  • the information processing apparatus first, when an area where an image is arranged on a page is represented by a grid, the total number of grids occupied by blank frames on the page (blank frames are pages). Is equivalent to the total area of the region occupied by The information processing apparatus according to the present embodiment, for example, represents the number of grids occupied by the image selected in the process (3) (image selection process) when the area where the image is arranged on the page is represented by a grid.
  • the total number of grids of the area occupied by the blank frame in the page is determined based on the parameter related to the blank in the page according to the present embodiment (an example of the parameter related to the layout according to the present embodiment).
  • the page on which the blank frame according to the present embodiment is arranged may be, for example, a spread page composed of two pages.
  • the number of grids occupied by the selected image is 8, and the blank ratio in the page (an example of a parameter related to blank in the page according to the present embodiment) is 50 [%].
  • the information processing apparatus determines the number of blank frames and the size level in the layout in which the blank frames are arranged. (Hereafter, it may be indicated as “blank frame level”).
  • the conditions relating to the determination of the number of blank frames and the frame level of blank frames are not limited to the following conditions. -The number of blank frames must be less than or equal to the number of image frames.-The maximum frame level of blank frames must not be greater than the maximum frame level of image frames.
  • the information processing apparatus creates a blank frame using only blank frames whose frame level is 1, for example. Since the total number of grids in the area occupied by blank frames in the page is 8, when creating a blank frame with only blank frames having a blank frame level of 1, eight blank frames with a frame level of 1 are created. .
  • the information processing apparatus determines 2 which is the maximum number satisfying the above condition as the number of blank frames, and determines the frame level of blank frames as 1. That is, the information processing apparatus according to the present embodiment does not use, for example, six blank frames among eight created blank frames in order to satisfy the above condition.
  • an example of processing related to determination of the number of blank frames and the frame level of blank frames in the information processing apparatus according to the present embodiment is not limited to the above.
  • the information processing apparatus according to the present embodiment has a blank frame frame level of 2. It may be determined whether or not the above condition is satisfied by creating a blank frame including a blank frame.
  • the number of grids occupied by the selected image is 5, and the blank ratio in the page (an example of a parameter related to blank in the page according to the present embodiment) is 20 [%].
  • the area where the image is arranged is arranged on the page by the process (4-2) (area arrangement process).
  • the information processing apparatus according to the present embodiment performs, for example, the photo shown in FIG. 36B by performing the process (5) (layout adjustment process) and the process (6) (image process). Generate book pages.
  • the information processing apparatus according to the present embodiment for example, as illustrated in B2 of FIG.
  • the region corresponding to the blank and the holiday image according to the present embodiment are continuously arranged, Similar to the replacement of the area where the rest image is arranged according to the present embodiment as shown in FIG. 33E, the area where the selected image is already arranged and the area corresponding to the blank or the present embodiment You may replace the area
  • the information processing apparatus further performs, for example, the above processing (4-3) (blank area arrangement processing) as the processing (layout generation processing) (4).
  • processing processing (layout generation processing) (4).
  • the information processing apparatus adjusts the layout generated in the process (4) (layout generation process). More specifically, the information processing apparatus according to the present embodiment performs one or more of the following processes (5-1) to (5-5).
  • the information processing apparatus has a layout in which one image is arranged on one page in the layout generated in the process (4) (layout generation process). If included, adjust margins on the page where one image is placed
  • FIG. 37 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of processing related to margin adjustment according to the present embodiment.
  • A1 and A2 shown in FIG. 37 show an example of the layout generated in the process (4) (layout generation process).
  • B1 to B3 shown in FIG. 37 show an example of the layout adjusted by the process related to the margin adjustment according to the present embodiment.
  • the layout generated in the process (4) is adjusted based on the margin-related parameters (such as the layout-related parameters according to the present embodiment).
  • the information processing apparatus performs the process (5-1) (the process related to margin adjustment) as the process (5) (layout adjustment process).
  • the first example (margin) and the sixth example (layout) of the high-quality photobook described above can be realized.
  • the information processing apparatus is configured to select a selected image based on the selected image arranged in the layout generated in the process (4) (layout generation process). Clip the area to be placed.
  • FIG. 38 and 39 are explanatory diagrams for explaining an example of processing related to the information processing method according to the present embodiment, and show an example of clipping processing according to the present embodiment.
  • a shown in FIG. 38 shows an example of the generated layout before the clipping process is performed
  • B shown in FIG. 38 shows an example of the adjusted layout after the clipping process is performed.
  • C1 and C2 shown in B of FIG. 38 indicate regions where the selected images that have been clipped are arranged.
  • 39 shows an example of an image selected by the process (3) (image selection process), and B and C shown in FIG. 39 have one image arranged on one page.
  • an example of an image arranged in a layout adjusted by clipping by the process (image process) of (6) above is shown.
  • the information processing apparatus for example, displays a frame (area in which the selected image is arranged) outside the aspect limitation indicated by a parameter indicating an aspect ratio limitation (an example of a parameter related to a layout according to the present embodiment).
  • a parameter indicating an aspect ratio limitation an example of a parameter related to a layout according to the present embodiment.
  • the selected image arranged in the frame to be clipped is selected.
  • the information processing apparatus according to the present embodiment gives priority to placing an image as illustrated in C in FIG. 39 instead of B in FIG. Clip (area where the selected image is placed).
  • the information processing apparatus includes the above-described seventh example (image processing) of a high-quality photobook,
  • the eighth example (frame division) of the high-quality photobook described above can be realized.
  • the information processing apparatus rotates an area in which the selected image arranged in the layout generated in the process (4) (layout generation process) is arranged.
  • the information processing apparatus is selected based on the parameters related to the layout according to the present embodiment, such as a parameter indicating the maximum value of the rotation angle ⁇ .
  • the area where the processed image is placed is rotated.
  • the information processing apparatus performs, for example, a reference such as a horizontal direction of a page for each region in which a selected image is arranged, which is arranged on a page (or a spread page).
  • a rotation direction and a rotation angle ⁇ with respect to the direction are set at random.
  • the rotation angle ⁇ is limited by, for example, a parameter indicating the maximum value of the rotation angle ⁇ .
  • the information processing apparatus can perform the rotation process according to the present embodiment even if the rotation angle ⁇ is not limited based on the parameters relating to the layout according to the present embodiment.
  • the information processing apparatus calculates the average ⁇ of the rotation angle ⁇ of the area where the selected image is arranged by the following Equation 1, and the rotation angle ⁇ of the area where the selected image is arranged Is calculated by the following formula 2.
  • N shown in Equations 1 and 2 indicates the number of regions arranged on the page (or spread pages) where the selected image is arranged.
  • the information processing apparatus for example, with respect to an area where the selected image arranged on the page is arranged based on the calculated average ⁇ of the rotation angles and the variance ⁇ of the rotation angles. It is determined whether or not the balance between the set rotation direction and rotation angle ⁇ is good.
  • the information processing apparatus compares the calculated rotation angle average ⁇ with the threshold T1 related to the average rotation angle, and the calculated rotation angle variance ⁇ .
  • the comparison result with the threshold value T2 relating to the dispersion of the rotation angle satisfies a predetermined condition (for example, “
  • the set rotation direction and rotation angle ⁇ are well balanced. Is determined.
  • each of the threshold values T1 and T2 may be a fixed value set in advance, or may be a variable value that can be changed by a user operation or the like.
  • the information processing apparatus When it is determined that the balance between the set rotation direction and the rotation angle ⁇ is good, the information processing apparatus according to this embodiment is an area in which an image selected using the set rotation direction and rotation angle ⁇ is arranged. Rotate. When it is not determined that the balance between the set rotation direction and the rotation angle ⁇ is good, the information processing apparatus according to the present embodiment resets the rotation direction and the rotation angle ⁇ again, It is determined whether or not the rotation angle ⁇ is well balanced.
  • the information processing apparatus for example, by rotating the area where the image selected as described above is arranged, the information processing apparatus according to the present embodiment, for example, performs the above-described ninth example (rotation of frames) of a high-quality photobook. Can be realized.
  • the information processing apparatus selects a selected image arranged in the layout generated in the processing (layout generation processing) (4) above.
  • the area where the selected image is arranged is rotated based on the size in the generated layout.
  • a size in the generated layout according to the present embodiment for example, a frame level according to the present embodiment, an area occupied by a region where a selected image is arranged in a page or a spread page, and the like (hereinafter, referred to as a size) The same shall apply).
  • FIG. 40 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates a second example of the rotation processing according to the present embodiment.
  • a shown in FIG. 40 shows an example of an image arranged by the processing (image processing) of (6) as a result of performing the second example of the rotation processing according to the present embodiment.
  • B shown in FIG. 40 shows a comparative example with respect to A of FIG. 40 for describing a second example of the rotation processing according to the present embodiment.
  • the information processing apparatus for example, as shown in FIG. 40A, does not rotate a large frame (or make the rotation angle smaller) or prevent it from rotating slightly. This prevents the user from perceiving that the rotation is unnatural.
  • the information processing apparatus for example, by rotating the area where the image selected as described above is arranged, the information processing apparatus according to the present embodiment, for example, performs the above-described ninth example (rotation of frames) of a high-quality photobook. Can be realized.
  • the rotation process according to the present embodiment is not limited to the process according to the first example and the process according to the second example.
  • the information processing apparatus according to the present embodiment may further perform the process according to the third example shown below in addition to the process according to the first example or the process according to the second example. .
  • the information processing apparatus reduces and / or translates an area in which a selected image is arranged after being rotated. You may adjust the margin.
  • FIG. 41 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of margin adjustment according to the third example of the rotation processing according to the present embodiment.
  • the information processing apparatus has rotated the area where the selected image after the rotation is arranged so as not to protrude into the arranged margin.
  • the area where the selected image is arranged is reduced and translated.
  • FIG. 41 as shown in FIG. 41C, an example in which the area where the selected image after rotation is arranged is reduced and translated is shown.
  • the rotation according to this embodiment is shown in FIG.
  • An example of the margin adjustment method in the third example of processing is not limited to the example shown in FIG.
  • the information processing apparatus according to the present embodiment may adjust the margin by reducing or translating a region where the selected image after rotation is arranged.
  • the information processing apparatus can realize, for example, the first example (margin) of the high-quality photo book described above.
  • the information processing apparatus for example, enlarges and / or translates an area in which a selected image arranged in the generated layout is arranged, Adjust whitespace in the generated layout.
  • the information processing apparatus moves a frame (an area in which the selected image is arranged) in a direction in which there is a blank.
  • the information processing apparatus determines a movable direction and a movable distance for each frame, for example. Then, for example, the information processing apparatus according to the present embodiment moves a frame from a frame having few movable direction candidates to a direction in which the movable distance is large in order. Also, the information processing apparatus according to the present embodiment, for example, increases the moving amount of the frame as the movable distance increases, that is, as the blank size increases.
  • the information processing apparatus when there is a blank around a frame (area where the selected image is arranged), the frame having a blank around it. To enlarge. Further, for example, as illustrated in FIG. 43, the information processing apparatus according to the present embodiment may translate a frame having a blank around it obliquely in parallel when there is a blank in two directions.
  • FIG. 43 shows an example in which the information processing apparatus according to the present embodiment translates and expands “Koma 2” (an example of an area where the selected image is arranged).
  • An example of the blank adjustment method in the blank adjustment processing according to the present invention is not limited to the example shown in FIG.
  • the information processing apparatus according to the present embodiment may adjust the blank only by enlarging “Koma 2” (an example of an area in which the selected image is arranged).
  • the information processing apparatus can realize, for example, the above-described eighth example (frame division) of a high-quality photobook. it can.
  • the information processing apparatus selects a selected image based on the size of the selected image arranged in the generated layout in the generated layout. Adjusts the overlapping of the area where the is placed.
  • FIG. 44 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of overlap adjustment processing according to the present embodiment.
  • FIG. 44 shows an example of the overlap adjustment processing according to the present embodiment.
  • the size in the generated layout according to the present embodiment is indicated as “area”.
  • the information processing apparatus rearranges, for example, the frames (areas in which the selected images arranged in the generated layout are arranged) in order of size in the generated layout. Then, the information processing apparatus according to the present embodiment sets a depth value Depth in each region so that smaller frames overlap each other on a larger frame in the generated layout, for example, as shown in FIG. To do. It goes without saying that the depth value Depth can be set in each region so that a larger frame overlaps a smaller frame in the generated layout.
  • the information processing apparatus for example, by adjusting the overlapping of the areas where the images selected as described above are arranged, for example, the tenth example (frame top) of the above-described high-quality photobook. (Overlapping) can be realized.
  • the overlap adjustment processing according to the present embodiment is not limited to the above.
  • the information processing apparatus determines, for example, the overlap of the areas where the selected images arranged in the generated layout are arranged, and the selected images are arranged based on the overlap determination result.
  • the overlap of the areas where the selected images are arranged may be adjusted by translating the areas to be processed.
  • FIG. 45 and 46 are explanatory diagrams for explaining an example of processing related to the information processing method according to the present embodiment, and show another example of overlap adjustment processing according to the present embodiment.
  • a shown in FIG. 45 shows an example of a region where the selected image is arranged before the processing related to another example of the overlap adjustment processing according to the fifth example of the present embodiment is performed. Yes.
  • B shown in FIG. 45 shows an example of an area where the selected image is arranged after the process according to another example of the overlap adjustment process according to the present embodiment is performed.
  • the subtle overlap and contact of frames for example, the frames are slightly It is possible to realize a higher quality photo book by avoiding the case of overlapping or cases where frames are likely to overlap with each other.
  • the information processing apparatus determines an overlap between regions where the selected image after rotation is arranged. Then, the information processing apparatus according to this embodiment adjusts the overlap of the areas where the selected images are arranged by translating the area where the selected images are arranged based on the determination result.
  • the information processing apparatus enlarges / reduces whether or not frames (areas in which selected images are arranged) overlap each other.
  • the degree of overlap (an example of the determination result) is determined based on the two determination results of whether or not they overlap.
  • the information processing apparatus translates, for example, as shown in FIG. 46, the region where the image selected according to the determined overlapping degree is arranged.
  • an image selected according to the determined degree of overlap is arranged by referring to a table in which the degree of overlap is associated with the content of processing.
  • the area to be translated is translated.
  • the information processing apparatus can include, for example, the above-described tenth example of high-quality photobook (overlap of frames). ) Can be realized.
  • the information processing apparatus is a layout generated in the process (4) (layout generation process) or a layout adjusted in the process (5) (layout adjustment process).
  • the image selected in the process (3) (image selection process) is arranged.
  • the information processing apparatus arranges the image itself selected in the process (3) (image selection process) in the generated layout or the adjusted layout.
  • the process (6) (image process) is not limited to the above.
  • the information processing apparatus according to the present embodiment performs one or more of the processes shown in the following (6-1) to (6-3) and generates a processed image. Or you may arrange
  • the information processing apparatus for example, selects a subject from a selected image arranged in a generated layout or an adjusted layout. Is detected. When the subject is detected, the information processing apparatus according to the present embodiment changes the composition of the selected image based on the subject included in the selected image, and the image with the changed composition is displayed. Deploy.
  • examples of the subject detected by the information processing apparatus according to the present embodiment from the selected image include a human face and an object such as a car.
  • the information processing apparatus according to the present embodiment detects a subject from a selected image, for example, by performing arbitrary face detection processing or arbitrary object detection processing.
  • FIG. 47 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of image processing according to the first example of the present embodiment.
  • FIG. 47 shows an example in which the information processing apparatus according to the present embodiment detects a human face as a subject from the selected image and changes the selected image to an image of a three-part composition. Yes.
  • the information processing apparatus detects a subject such as a human face from the selected image, for example. Then, when the subject is detected, the information processing apparatus according to the present embodiment performs the framing so that the detected subject is placed on the three-divided point, for example, as illustrated in FIG. Change the composition.
  • the information processing apparatus according to the present embodiment sets, for example, a three-divided point in consideration of the face orientation.
  • an image captured in the Hinomaru composition can be changed to a better composition.
  • the information processing apparatus according to the present embodiment for example, the second example (dense / dense) of the above-described high-quality photo book or the seventh example of the high-quality photo book.
  • An example (image processing) can be realized.
  • composition changed in the image processing according to the first example of the present embodiment is not limited to the three-part composition.
  • the information processing apparatus according to the present embodiment can change the composition of the selected image to an image having another composition such as an obliquely divided composition.
  • the information processing apparatus selects a selected image arranged in a generated layout or an adjusted layout.
  • a predetermined subject is selectively detected from the selected image based on the size in the generated (or adjusted) layout. Then, when a predetermined subject is detected, the information processing apparatus according to the present embodiment arranges an image in which the predetermined subject included in the selected image is enlarged.
  • examples of the predetermined subject detected by the information processing apparatus according to the present embodiment from the selected image include a human face.
  • the information processing apparatus according to the present embodiment detects a predetermined subject from the selected image, for example, by performing an arbitrary face detection process.
  • the information processing apparatus according to the present embodiment does not detect, for example, a landscape or an object as a predetermined subject. For example, when a landscape, an object, or the like is detected as a predetermined subject, the entire subject image may be difficult to see as a result of enlarging the predetermined subject.
  • the information processing apparatus has a frame in a generated layout of a frame (an area in which a selected image is arranged) having a size equal to or smaller than a predetermined threshold (or a frame smaller than the predetermined threshold).
  • a predetermined threshold value in the image processing according to the second example include a threshold value related to a frame level and a threshold value related to an area occupied by a frame on a page or a spread page.
  • the predetermined threshold value in the image processing according to the second example may be a fixed value set in advance or a variable value that can be changed by a user operation or the like.
  • FIG. 48 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of image processing according to the second example of the present embodiment.
  • a shown in FIG. 48 shows an example of an image arranged as a result of performing the second example of the image processing according to the present embodiment.
  • B shown in FIG. 48 shows a comparative example with respect to A in FIG. 48 for explaining a second example of image processing according to the present embodiment.
  • the information processing apparatus for example, when an image arranged in a small frame (area where the selected image is arranged) includes a person, the face of the person becomes too small. There is a risk that the user may have difficulty recognizing the person's face. Therefore, the information processing apparatus according to the present embodiment, for example, when an image arranged in a small frame (area in which the selected image is arranged) includes a person like A1 shown in A of FIG. Arranges an image in which the person's face is enlarged.
  • the present embodiment is concerned.
  • the information processing apparatus can prevent the user who viewed the photobook from becoming difficult to recognize the person's face. Further, for example, by arranging an image in which a face included in an image arranged in a small frame (area where the selected image is arranged) is arranged, the information processing apparatus according to the present embodiment
  • the seventh example (image processing) of the high-quality photobook described above can be realized.
  • the information processing apparatus includes, for example, selected images arranged in a generated layout or an adjusted layout.
  • a predetermined subject is detected from the image arranged over the plurality of pages.
  • the information processing apparatus processes an image arranged across a plurality of pages so that a predetermined subject detected at a boundary between the plurality of pages is not located.
  • examples of the subject detected by the information processing apparatus according to the present embodiment from the selected image include a human face and an object such as a car.
  • the information processing apparatus according to the present embodiment detects a subject from a selected image, for example, by performing arbitrary face detection processing or arbitrary object detection processing.
  • the image processing of the third example according to the present embodiment as a process for preventing a predetermined subject detected at the boundary of a plurality of pages from being positioned, for example, the image according to the first example Similar to the processing, the composition of the selected image is changed, and the framing area is translated from the selected image.
  • FIG. 49 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of image processing according to the third example of the present embodiment.
  • a shown in FIG. 49 shows an example of an image arranged as a result of performing the third example of image processing according to the present embodiment.
  • B shown in FIG. 49 shows a comparative example with respect to A of FIG. 49 for explaining a third example of the image processing according to the present embodiment.
  • the information processing apparatus is arranged so that the face of a person included in the selected image to be arranged is not positioned on the page boundary, for example, A1 shown in A of FIG.
  • the selected image to be processed is processed, and the processed image is arranged.
  • information according to the present embodiment is avoided by avoiding that a human face (an example of a predetermined subject) included in the selected image to be arranged is located at the boundary of the page.
  • the processing device can prevent the user who viewed the photobook from becoming difficult to recognize the person's face.
  • the information processing apparatus according to the present embodiment
  • the seventh example (image processing) of the high-quality photobook described above can be realized.
  • the information processing apparatus includes, for example, a process “(1) (evaluation value calculation process) to a process (4) (layout generation process) as a process related to the information processing method according to the present embodiment.
  • a process “(1) (evaluation value calculation process) to a process (4) (layout generation process) as a process related to the information processing method according to the present embodiment.
  • Process (1) (Evaluation Value Calculation Process) to Process (5) (Layout Adjustment Process) "
  • (6) process (image process) "
  • (1) process (evaluation value calculation process) to (6) process (image process) are performed.
  • the information processing apparatus when candidate images are grouped in the process (1) (evaluation value calculation process) and the subsequent process is performed, the information processing apparatus according to the present embodiment, for example, displays the images in time series. It is possible to realize a photo book arranged in order. Therefore, the user who viewed the photo book realized by the processing according to the information processing method according to the present embodiment can read and interpret the images arranged in the photo book as a time-series story. For example, when candidate images are grouped in the process (1) (evaluation value calculation process) and the subsequent process is performed, similar information is arranged in the information processing apparatus according to the present embodiment. This can also be prevented.
  • the information processing apparatus is calculated in the process (3) (image selection process) in the layout-related parameters according to the present embodiment and the process (1) (evaluation value calculation process). Based on the evaluated value, an image is selected from the candidate images. Therefore, the information processing apparatus according to the present embodiment can automatically select a better image (an image for realizing a higher-quality photo book) even when there are many candidate images. .
  • the information processing apparatus according to the present embodiment is selected in the process (4) (layout generation process) in the parameters related to the layout according to the present embodiment and the process (3) (image selection process).
  • a layout is generated based on the evaluation value corresponding to the image. Therefore, the information processing apparatus according to the present embodiment can automatically generate a high-quality layout.
  • layout variations of various design themes are more easily generated when the processing according to the information processing method according to the present embodiment is used. be able to.
  • the information processing apparatus adjusts the layout generated in the process (4) (layout generation process) in the process (5) (layout adjustment process).
  • the information processing apparatus according to the present embodiment may include an image selected in the process (3) (image selection process) or an image whose composition has been changed in the process (6) (image process).
  • the processed image is arranged in the generated layout or the adjusted layout. Therefore, the information processing apparatus according to the present embodiment can realize, for example, a higher quality photo book.
  • processing related to the information processing method according to the present embodiment is not limited to the processing shown in the processing (1) (evaluation value calculation processing) to the processing (6) (image processing).
  • the information processing apparatus may further perform an evaluation process for evaluating the generated layout (including the adjusted layout). More specifically, the information processing apparatus according to the present embodiment evaluates the generated layout by, for example, scoring the generated layout.
  • the information processing apparatus By scoring the generated layout, for example, when the calculated score is low, the information processing apparatus according to the present embodiment performs the process according to the information processing method according to the present embodiment again. It is possible to regenerate the layout of all pages or a part of pages. Therefore, when the information processing apparatus according to the present embodiment further performs the evaluation process according to the present embodiment, a layout for generating a higher quality photo book can be generated.
  • the information processing apparatus can, for example, layout the best score in the candidate image. It is also possible to select.
  • various settings are performed, for example, by changing parameters related to the layout according to the present embodiment, changing the number of candidate images, or setting by replacing candidate images.
  • the information processing apparatus is calculated when, for example, the calculated score is equal to or less than the set threshold value (or when the calculated score is smaller than the set threshold value). It is determined that the score is low.
  • the threshold for determining the score may be a fixed value set in advance, or a variable value that can be changed by the user or the like.
  • the information processing apparatus when it is determined that the calculated score is low, starts the process related to the information processing method according to the present embodiment (the process (evaluation value) of (1) above).
  • the calculation process is performed), but the process when it is determined that the calculated score is low is not limited to the above.
  • the information processing apparatus according to the present embodiment may perform only a part of the process again, such as the process (5) (layout adjustment process) and the process (6) (image process).
  • the information processing apparatus calculates the score of the generated layout by, for example, a deduction method of calculating a score by deducting from a set reference point.
  • the reference point for calculating the score may be a preset value or a value that can be changed by a user or the like.
  • the process related to scoring the generated layout in the information processing apparatus according to the present embodiment is not limited to the process of calculating the score using the deduction method.
  • FIG. 50 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and shows an example of processing related to scoring of the generated layout in the evaluation processing according to the present embodiment. Yes.
  • a shown in FIG. 50 shows an example of a layout to be deducted in the process related to scoring of the generated layout
  • B shown in FIG. 50 shows an example of a method for calculating a deduction score. Yes.
  • the information processing apparatus calculates a deduction score. Then, the information processing apparatus according to the present embodiment calculates the score of the generated layout by subtracting the deduction score calculated from the set reference point.
  • the information processing apparatus may further perform, for example, a learning process for learning the user's preference with respect to the parameters related to the layout according to the present embodiment.
  • the information processing apparatus for example, based on the number of times the parameters related to the layout are used, or the number of times the parameters related to the layout are used and whether the generated layout is confirmed. The user's preference for the parameters related to the layout is learned.
  • the information processing apparatus By further performing the learning process, the information processing apparatus according to the present embodiment generates a layout more suited to the user's preference by not using the parameters related to the layout according to the present embodiment that the user dislikes, for example. Can do. Further, by further performing the learning process, the information processing apparatus according to the present embodiment can also recommend parameters relating to the layout according to the present embodiment that the user prefers, for example. Needless to say, the process using the result of the learning process according to the present embodiment is not limited to the above.
  • the information processing apparatus for example, when the number of times the parameters related to the layout are used is equal to or less than the first number within the set period (or the parameters related to the layout are used).
  • the number of times given is smaller than the first number, the same shall apply hereinafter
  • parameters relating to the layout are stored as parameters that the user dislikes.
  • the first number of times in the learning process according to the present embodiment may be, for example, a preset fixed value or a variable value that can be changed by the user or the like.
  • the information processing apparatus determines whether the generated layout is used as it is, or whether the generated layout is recreated.
  • the second number of times in the learning processing according to the present embodiment may be, for example, a fixed value set in advance or a variable value that can be changed by the user or the like.
  • the information processing apparatus includes, for example, a storage unit (described later), an external recording medium, a recording medium included in the external apparatus, and the like as the learning data indicating the learning result.
  • the learning data recorded by the learning process according to the present embodiment is not limited to the above.
  • the information processing apparatus may record data indicating parameters related to the layout according to the present embodiment in a storage unit (described later) or the like as learning data.
  • the information processing apparatus for example, when the score calculated in the process (7) (evaluation process) is low, or when an operation signal indicating the recreation of the layout based on the user operation is detected It is determined that the generated layout has been recreated. Further, the information processing apparatus according to the present embodiment detects, for example, an operation signal indicating that the score calculated in the process (7) (evaluation process) is not low or that a layout based on a user operation is to be determined. If it is determined, it is determined that the generated layout is used as it is.
  • the information processing apparatus when it is determined that the generated layout is used as it is, stores parameters relating to the layout corresponding to the generated layout as parameters that the user likes. (To be described later). In the above determination, if it is determined that the generated layout has been recreated, the information processing apparatus according to the present embodiment stores parameters relating to the layout corresponding to the generated layout as parameters that the user dislikes. Part (to be described later).
  • FIG. 51 is an explanatory diagram for explaining an example of processing related to the information processing method according to the present embodiment, and illustrates an example of learning processing according to the present embodiment.
  • the parameters related to the layout according to the present embodiment are associated with “theme”, and the process according to the information processing method according to the present embodiment is performed by the user selecting the “theme”.
  • the example of the learning process which concerns on this embodiment in the case where it is performed is shown.
  • the information processing apparatus when the number of times “theme” is selected is 0 in the set period (the number of times a parameter related to the layout is used). Is an example of the case where the number is equal to or less than the first number of times), the parameters relating to the layout associated with the “theme” are recorded in a storage unit (described later) or the like as parameters that the user does not like.
  • the information processing apparatus determines whether the generated layout is used as it is, or whether the generated layout is recreated.
  • the information processing apparatus determines whether the generated layout is used as it is, or whether the generated layout is recreated.
  • the information processing apparatus determines whether the generated layout is used as it is, or whether the generated layout is recreated.
  • the information processing apparatus sets parameters relating to the layout corresponding to the generated layout. Record it as a favorite parameter in a storage unit (described later) or the like.
  • the information processing apparatus sets parameters relating to the layout corresponding to the generated layout to the user. Is recorded in a storage unit (to be described later) or the like as a parameter disliked.
  • FIG. 52 is a block diagram illustrating an example of the configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, a communication unit 102 and a control unit 104.
  • the information processing apparatus 100 includes, for example, a ROM (Read Only Memory, not shown), a RAM (Random Access Memory, not shown), a storage unit (not shown), and a user-operable operation unit (see FIG. And a display unit (not shown) for displaying various screens on the display screen.
  • the information processing apparatus 100 connects the above-described constituent elements by, for example, a bus as a data transmission path.
  • the ROM (not shown) stores control data such as programs and calculation parameters used by the control unit 104.
  • a RAM (not shown) temporarily stores a program executed by the control unit 104.
  • the storage unit is a storage unit included in the information processing apparatus 100.
  • image data “data indicating parameters related to the layout according to the present embodiment”, “learning data according to the present embodiment”.
  • Various data such as “,” “application” are stored.
  • examples of the storage unit (not shown) include a magnetic recording medium such as a hard disk, and a non-volatile memory such as a flash memory. Further, the storage unit (not shown) may be detachable from the information processing apparatus 100.
  • examples of the operation unit include an operation input device described later
  • examples of the display unit include a display device described later.
  • FIG. 53 is an explanatory diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment.
  • the information processing apparatus 100 includes, for example, an MPU 150, a ROM 152, a RAM 154, a recording medium 156, an input / output interface 158, an operation input device 160, a display device 162, and a communication interface 164.
  • the information processing apparatus 100 connects each component with a bus 166 as a data transmission path, for example.
  • the MPU 150 includes, for example, an MPU (Micro Processing Unit) and various processing circuits, and functions as the control unit 104 that controls the entire information processing apparatus 100. Also, the MPU 150 serves as, for example, an evaluation value calculation unit 110, a page allocation unit 112, an image selection unit 114, a layout generation unit 116, a layout adjustment unit 118, and an image processing unit 120, which will be described later, in the information processing apparatus 100. .
  • MPU Micro Processing Unit
  • the ROM 152 stores programs used by the MPU 150, control data such as calculation parameters, and the like.
  • the RAM 154 temporarily stores a program executed by the MPU 150, for example.
  • the recording medium 156 functions as a storage unit (not shown), and stores various data such as “image data” and “data indicating parameters related to the layout according to the present embodiment”, for example.
  • examples of the recording medium 156 include a magnetic recording medium such as a hard disk and a non-volatile memory such as a flash memory. Further, the recording medium 156 may be detachable from the information processing apparatus 100.
  • the input / output interface 158 connects, for example, the operation input device 160 and the display device 162.
  • the operation input device 160 functions as an operation unit (not shown), and the display device 162 functions as a display unit (not shown).
  • examples of the input / output interface 158 include a USB (Universal Serial Bus) terminal, a DVI (Digital Visual Interface) terminal, an HDMI (High-Definition Multimedia Interface) (registered trademark) terminal, and various processing circuits.
  • the operation input device 160 is provided on the information processing apparatus 100 and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the operation input device 160 include a rotary selector such as a button, a direction key, and a jog dial, or a combination thereof.
  • the display device 162 is provided on the information processing apparatus 100 and is connected to the input / output interface 158 inside the information processing apparatus 100.
  • Examples of the display device 162 include a liquid crystal display (LCD), an organic EL display (Organic ElectroLuminescence display, or an OLED display (Organic Light Emitting Diode display)), and the like.
  • the input / output interface 158 can be connected to an external device such as an operation input device (for example, a keyboard or a mouse) or a display device as an external device of the information processing apparatus 100.
  • the display device 162 may be a device capable of display and user operation, such as a touch screen.
  • the communication interface 164 is a communication unit included in the information processing apparatus 100, and functions as the communication unit 102 for performing wireless / wired communication with an external apparatus such as a server via a network (or directly).
  • examples of the communication interface 164 include a communication antenna and an RF (Radio Frequency) circuit (wireless communication), an IEEE 802.15.1 port and a transmission / reception circuit (wireless communication), an IEEE 802.11b port and a transmission / reception circuit (wireless communication). ), Or a LAN (Local Area Network) terminal and a transmission / reception circuit (wired communication).
  • the information processing apparatus 100 performs processing related to the information processing method according to the present embodiment, for example, with the configuration shown in FIG.
  • the hardware configuration of the information processing apparatus 100 according to the present embodiment is not limited to the configuration illustrated in FIG.
  • the information processing apparatus 100 may include an imaging device that serves as an imaging unit (not shown) that captures a still image or a moving image.
  • the imaging device When the imaging device is provided, the information processing apparatus 100 can process, for example, a captured image generated by imaging with the imaging device as a candidate image.
  • examples of the imaging device include a lens / imaging device and a signal processing circuit.
  • the lens / imaging device includes, for example, an optical lens and an image sensor using a plurality of imaging devices such as CMOS (Complementary Metal Oxide Semiconductor).
  • the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), converts an analog signal generated by the image sensor into a digital signal (image data), and performs various signal processing. Do.
  • Examples of the signal processing performed by the signal processing circuit include white balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, and edge enhancement processing.
  • the information processing apparatus 100 may not include the communication device 164 if the information processing apparatus 100 is configured to perform stand-alone processing, for example. Further, the information processing apparatus 100 can be configured not to include the operation device 160 and the display device 162.
  • the communication unit 102 is a communication unit included in the information processing apparatus 100, and performs wireless / wired communication with an external apparatus such as a server via a network (or directly).
  • the communication of the communication unit 102 is controlled by the control unit 104, for example.
  • examples of the communication unit 102 include a communication antenna and an RF circuit, a LAN terminal, and a transmission / reception circuit, but the configuration of the communication unit 102 is not limited to the above.
  • the communication unit 102 can take a configuration corresponding to an arbitrary standard capable of performing communication, such as a USB terminal and a transmission / reception circuit, or an arbitrary configuration capable of communicating with an external device via a network.
  • the control unit 104 is configured by, for example, an MPU and plays a role of controlling the entire information processing apparatus 100.
  • the control unit 104 includes, for example, an evaluation value calculation unit 110, a page allocation unit 112, an image selection unit 114, a layout generation unit 116, a layout adjustment unit 118, and an image processing unit 120. It plays the role which performs the process which concerns on the information processing method which concerns on a form.
  • Evaluation value calculation unit 110 plays a role of leading the process (1) (evaluation value calculation process).
  • the evaluation value calculation unit 110 calculates the evaluation value of each candidate image based on, for example, information about the image corresponding to each candidate image.
  • the evaluation value calculation unit 110 may group the candidate images based on information about images corresponding to the candidate images, for example, and calculate an evaluation value for each group.
  • the page allocation unit 112 plays a role of leading the process (2) (page allocation process). For example, the page allocation unit 112 determines the number of pages based on the layout-related parameters according to the present embodiment, and is arranged on each page based on the layout-related parameters and the evaluation values calculated by the evaluation value calculation unit 110. The number of images to be determined is determined.
  • the image selection unit 114 plays a role of leading the process (3) (image selection process). For example, the image selection unit 114 selects an image from candidate images based on the parameters related to the layout according to the present embodiment and the evaluation value calculated by the evaluation value calculation unit 110. Here, for example, when the candidate image is grouped in the evaluation value calculation unit 110, the image selection unit 114 selects an image for each group.
  • the layout generation unit 116 plays a role of leading the process (4) (layout generation process). For example, the layout generation unit 116 generates a layout for each page based on the parameters related to the layout according to the present embodiment and the evaluation value corresponding to the image selected by the image selection unit 114. Here, for example, when the candidate values are grouped in the evaluation value calculation unit 110, the layout generation unit 116 generates a layout for each group.
  • the layout adjustment unit 118 plays a leading role in performing the process (5) (layout adjustment process), and adjusts the layout generated by the layout generation unit 116. More specifically, the layout adjustment unit 118 performs, for example, one or more of the processes (5-1) to (5-5) above, thereby performing the layout generation unit 116. Adjust the layout generated in.
  • the image processing unit 120 plays a leading role in performing the processing (image processing) of (6) above, and selects an image on the layout generated by the layout generation unit 116 or the layout adjusted by the layout adjustment unit 118.
  • the image selected in the unit 114 is arranged.
  • the image processing unit 120 performs, for example, one or more of the processes shown in (6-1) to (6-3) above, and generates a layout or adjustment for generating the processed image. May be arranged in a layout.
  • the control unit 104 includes, for example, an evaluation value calculation unit 110, a page allocation unit 112, an image selection unit 114, a layout generation unit 116, a layout adjustment unit 118, and an image processing unit 120, whereby information processing according to the present embodiment is performed.
  • Processes related to the method for example, “process (1) (evaluation value calculation process) to process (4) (layout generation process)” or “process (1) (evaluation value calculation process) to above (Process (5) (Layout Adjustment Process) ”,“ Process (1) (Evaluation Value Calculation Process) to Process (4) (Layout Generation Process), and Process (6) (Image Process) ” , “(1) process (evaluation value calculation process) to (6) process (image process)”) is led.
  • control unit is not limited to the configuration shown in FIG.
  • control unit according to the present embodiment may not include the layout adjustment unit 118 and / or the image processing unit 120.
  • the information processing apparatus according to the present embodiment performs the process (evaluation) of (1) above. It is possible to perform the processing from (value calculation processing) to (4) (layout generation processing). Therefore, for example, even when the control unit according to the present embodiment does not include the layout adjustment unit 118 and / or the image processing unit 120, the information processing apparatus according to the present embodiment is a high-quality photo. A layout for generating a book can be automatically generated.
  • control unit according to the present embodiment may include an evaluation unit (not shown) that performs the process (evaluation process) of (7) above.
  • the control unit according to the present embodiment performs a process (7) (evaluation process) to generate a layout for generating a higher quality photo book. It is also possible to select the layout of the best score in the candidate image.
  • the control unit according to the present embodiment may include a learning unit (not shown) that performs the process (learning process) of (8) above.
  • the control unit according to the present embodiment performs the process (learning process) of the above (8), so that the user's preference for the parameters relating to the layout according to the present embodiment is obtained. It becomes possible to learn. Therefore, when a learning unit (not shown) is provided, the control unit according to the present embodiment generates, for example, a layout that more suits the user's preference, or a layout according to the present embodiment that the user prefers. It is possible to implement the recommendation of the parameter regarding.
  • the information processing apparatus 100 has the configuration shown in FIG. 52, for example, the processing (for example, “processing (1) (evaluation value calculation processing) to processing (layout 4) (layout)” according to the present embodiment.
  • Generation process) “ process (1) (evaluation value calculation process) to process (5) (layout adjustment process) ”,“ process (1) (evaluation value calculation process) to (4) ) Process (layout generation process) and (6) process (image process) ”,“ (1) process (evaluation value calculation process) to (6) process (image process) ”).
  • the information processing apparatus 100 can automatically generate a layout for generating a high-quality photo book with the configuration shown in FIG. 52, for example.
  • the configuration of the information processing apparatus according to the present embodiment is not limited to the configuration shown in FIG.
  • the information processing apparatus individually includes the evaluation value calculation unit 110, the page allocation unit 112, the image selection unit 114, the layout generation unit 116, the layout adjustment unit 118, and the image processing unit 120 illustrated in FIG. (For example, each can be realized by a separate processing circuit).
  • the information processing apparatus according to the present embodiment may have a configuration that does not include, for example, the layout adjustment unit 118 and / or the image processing unit 120. Even when the information processing apparatus according to the present embodiment does not include the layout adjustment unit 118 and / or the image processing unit 120, the information processing apparatus according to the present embodiment performs the process (1) ( The processing from (evaluation value calculation processing) to (4) (layout generation processing) can be performed. Therefore, for example, even when the information processing apparatus according to the present embodiment does not include the layout adjustment unit 118 and / or the image processing unit 120, the information processing apparatus according to the present embodiment is of high quality. A layout for generating a photo book can be automatically generated.
  • the information processing apparatus may include an evaluation unit (not shown) that performs the process (evaluation process) of (7) above.
  • an evaluation unit not shown
  • the information processing apparatus according to the present embodiment performs a process (evaluation process) described in (7) above to generate a higher quality photo book. And the layout of the best score in the candidate image can be selected.
  • the information processing apparatus may include a learning unit (not shown) that performs the process (learning process) of (8) above.
  • a learning unit (not shown)
  • the information processing apparatus according to the present embodiment performs the process (learning process) of (8) above, so that the user's preference for the parameters relating to the layout according to the present embodiment. It becomes possible to learn. Therefore, when the learning unit (not shown) is provided, the information processing apparatus according to the present embodiment generates, for example, a layout that more suits the user's preference, or according to the present embodiment that the user prefers. For example, it is possible to recommend parameters related to the layout.
  • the information processing apparatus may include an imaging unit (not shown), for example.
  • an imaging unit not shown
  • the information processing apparatus can process a captured image generated by imaging in the imaging unit (not shown) as a candidate image.
  • an imaging part not shown
  • the imaging device which concerns on this embodiment mentioned above is mentioned, for example.
  • the information processing apparatus may not include the communication unit 102 when configured to perform stand-alone processing, for example.
  • the information processing apparatus for example, the process (1) (evaluation value calculation process) to the process (4) (as the process related to the information processing method according to the present embodiment). Processing including layout generation processing) is performed.
  • the process (1) (evaluation value calculation process) to the process (4) (layout generation process) for example, the first example (margin) of the above-described high-quality photobook, the second Example (rough / dense), third example (rest), fourth example (image directionality), fifth example (balance of area occupied by image), sixth example (layout), eighth example ( 1 or 2 or more of (frame division) is realized.
  • the information processing apparatus performs the process (3) (image selection process) and the process (4) (layout generation process) based on the layout-related parameters according to the present embodiment. . Therefore, the information processing apparatus according to the present embodiment can automatically generate a dynamic photobook layout by performing processing based on the layout-related parameters set by a user operation or the like.
  • the information processing apparatus can automatically generate a layout for generating a high-quality photo book.
  • the information processing apparatus performs a process related to the information processing method according to the present embodiment described above, thereby realizing, for example, a better photo book as described below.
  • ⁇ Photobook with candidate image time Similar grouping
  • the information processing apparatus has been described as the present embodiment, but the present embodiment is not limited to such a form.
  • a communication device such as a mobile phone or a smartphone, a computer such as a PC (Personal Computer) or a server, a tablet device, a video / music playback device (or video / music recording / playback device), a game machine
  • the present invention can be applied to various devices such as imaging devices such as digital still cameras and digital video cameras.
  • the present embodiment can be applied to a processing IC that can be incorporated in the above-described device, for example.
  • processing related to the information processing method according to the present embodiment is performed by an information processing system including a plurality of devices based on a connection to a network (or communication between devices) such as cloud computing. It may be realized. More specifically, for example, processing related to the information processing method according to the present embodiment is realized by a plurality of devices configuring the information processing system performing processing in cooperation using communication.
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment for example, “process (1) (evaluation value calculation process) to process (4) (layout generation process)” or “ Process (1) (Evaluation Value Calculation Process) to Process (5) (Layout Adjustment Process) ”, Process (1) (Evaluation Value Calculation Process) to Process (4) (Layout Generation Process) , (6) process (image process) ”,“ (1) process (evaluation value calculation process) to (6) process (image process) ”, and“ (7) process
  • a program for causing a computer to function as the information processing apparatus according to the present embodiment is provided.
  • the present embodiment further includes a recording in which the program is stored.
  • a medium can also be provided.
  • An evaluation value calculation unit that calculates an evaluation value of each of the candidate images based on information about images corresponding to each of the candidate images that are candidates for the image to be selected;
  • a page allocation unit that determines the number of pages based on a parameter related to layout, and determines the number of images arranged on each page based on the parameter related to the layout and the calculated evaluation value;
  • An image selection unit that selects an image from the candidate images based on the parameters related to the layout and the calculated evaluation value;
  • a layout generating unit that generates a layout for arranging the selected image for each page, based on the parameters related to the layout and the evaluation value corresponding to the selected image;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), further including a layout adjustment unit that adjusts the generated layout.
  • the layout adjustment unit is a peripheral portion in which the selected image is not arranged in a page in which one image is arranged.
  • the layout adjustment unit clips an area where the selected image is arranged based on the selected image arranged in the generated layout. Processing equipment.
  • the layout adjustment unit rotates an area in which the selected image is arranged based on a parameter related to the layout.
  • the layout adjustment unit rotates the area where the selected image is arranged based on the size of the selected image arranged in the generated layout in the generated layout.
  • the layout adjusting unit reduces and / or translates an area in which the selected image is arranged after being rotated, and the selected image in the page on which the selected image is arranged
  • the information processing apparatus according to any one of (5) to (7), wherein a margin that is a peripheral portion where an image is not arranged is adjusted.
  • the layout adjustment unit enlarges and / or translates an area in which the selected image to be arranged in the generated layout is arranged, thereby selecting the selected image in the generated layout.
  • the information processing apparatus according to any one of (2) to (4), wherein a blank space that is a portion other than a peripheral portion where is not arranged is adjusted.
  • the layout adjustment unit adjusts an overlapping method of regions where the selected images are arranged based on a size of the selected images arranged in the generated layout in the generated layout.
  • the information processing apparatus according to any one of (8).
  • the layout adjustment unit determines an overlap of areas where the selected images are arranged in the generated layout, and translates the area where the selected images are arranged based on the determination result.
  • the information processing apparatus according to (10), wherein an overlap of an area where the selected image is arranged is adjusted.
  • the image processing unit according to any one of (1) to (11), further comprising: an image processing unit that arranges the selected image in the generated layout or a layout in which the generated layout is adjusted. Information processing device. (13) The image processing unit Detecting a subject from the selected images arranged in the layout; The information according to (12), wherein when a subject is detected, the composition of the selected image is changed based on the subject included in the selected image, and the image with the changed composition is arranged. Processing equipment.
  • the image processing unit Selectively detecting a predetermined subject from the selected image based on a size of the selected image arranged in the layout in the layout; The information processing apparatus according to (12), wherein when the predetermined subject is detected, an image in which the predetermined subject included in the selected image is enlarged is arranged.
  • the image processing unit when there is an image arranged across a plurality of pages among the selected images arranged in the layout, An image arranged across the plurality of pages is detected so that a predetermined subject is detected from the images arranged across the plurality of pages, and the predetermined subject detected at the boundary between the plurality of pages is not located.
  • the information processing apparatus according to (12) which performs processing.
  • the evaluation value calculation unit groups the candidate images based on information on images corresponding to the candidate images, calculates the evaluation value for each group, The image selection unit selects an image for each group, The information processing apparatus according to any one of (1) to (15), wherein the layout generation unit generates a layout for each group.
  • the image selection unit classifies the candidate images based on a comparison result between the calculated evaluation value and a predetermined threshold value, The information processing apparatus according to any one of (1) to (16), wherein an image is selected for each group of the classified candidate images.
  • the image selection unit determines the directionality of the image in each of the candidate images for each group of the classified candidate images, and further selects an image based on the determined directionality of the images.
  • the layout generation unit Based on the number of images to be arranged on the determined page or the number of images to be arranged on the decided page and the evaluation value corresponding to the selected image, an area on which the image is arranged is arranged on the page.
  • the layout generation unit further generates the layout based on parameters related to the layout and / or information related to an image corresponding to the selected image.
  • An evaluation value calculation device that calculates an evaluation value of each of the candidate images based on information about images corresponding to each of the candidate images that are candidates for the image to be selected;
  • a page allocation device that determines the number of pages based on a parameter related to layout, and determines the number of images arranged on each page based on the parameter related to the layout and the calculated evaluation value;
  • An image selection device that selects an image from the candidate images based on the layout-related parameter and the calculated evaluation value;
  • a layout generation device that generates a layout for arranging the selected image for each page, based on the parameters related to the layout and the evaluation value corresponding to the selected image;
  • An information processing system that calculates an evaluation value of each of the candidate images based on information about images corresponding to each of the candidate images that are candidates for the image to be selected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、候補画像それぞれの評価値を算出する評価値算出部と、レイアウトに関するパラメータに基づいてページ数を決定し、レイアウトに関するパラメータおよび算出された評価値に基づいて、各ページに配置される画像数を決定するページ割り当て部と、レイアウトに関するパラメータと、算出された評価値とに基づいて、候補画像の中から画像を選択する画像選択部と、レイアウトに関するパラメータと、選択された画像に対応する評価値とに基づいて、ページごとに、選択された画像を配置するレイアウトを生成するレイアウト生成部とを備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 複数の画像(静止画像または動画像。以下、同様とする。)からフォトブック(または、アルバム。以下、同様とする。)を生成するアプリケーションが存在する。上記アプリケーションとしては、例えば、レイアウトが予め規定されているテンプレートに画像を配置するアプリケーションや、自動的に矩形のグリッドベースのレイアウトを生成し、生成したレイアウトに従って画像を配置するアプリケーションが挙げられる。
 また、動画像に基づいて画像を漫画的なレイアウトで配置する技術も開発されている。動画像に基づいて画像を漫画的なレイアウトで配置する技術としては、例えば下記の特許文献1に記載の技術が挙げられる。
特開2010-191934号公報
 例えば上記のようなフォトブックを生成する既存のアプリケーションを用いることによって、フォトブックを生成することが可能である。
 ここで、例えばテンプレートに画像を配置するアプリケーションのように、テンプレートベースでフォトブックを生成する場合には、テンプレートの作りこみ次第で、質の高いフォトブックを生成することができる可能性はある。しかしながら、テンプレートベースでフォトブックを生成する場合には、レイアウトパターン(または、デザインパターン)が固定であり、また、レイアウトパターンが有限であるため、ユーザを飽きさせやすい。また、テンプレートベースでフォトブックを生成する場合には、レイアウトパターンの数を増やすためには、デザイナーの作りこみが必要となる。
 また、例えば、自動的に矩形のグリッドベースのレイアウトを生成し、生成したレイアウトに従って画像を配置するアプリケーションのように、動的にレイアウトを生成する場合には、上記テンプレートベースでフォトブックを生成する場合のような、レイアウトパターンが固定である問題は生じ難く、また、デザイナーの作りこみが必要な問題は生じない。しかしながら、動的にレイアウトを生成する既存のアプリケーションは、矩形のグリッドベースのレイアウトを生成するため、レイアウトが単調となりやすい。そのため、動的にレイアウトを生成する既存のアプリケーションが用いられるときには、ユーザが手動でレイアウトを編集する必要がある場合が生じていた。
 よって、例えば上記のようなフォトブックを生成する既存のアプリケーションを用いたとしても、質の高いフォトブックを自動的に生成することは、望むべくもない。
 また、例えば特許文献1の技術は、動画像の内容把握を容易とするために、動画像から有効な画像を抽出して漫画的なレイアウトで配置するものであるので、例えば特許文献1の技術を用いる場合には、上記テンプレートベースでフォトブックを生成する場合のような、レイアウトパターンが固定である問題は生じ難く、また、デザイナーの作りこみが必要な問題は生じない。しかしながら、例えば特許文献1の技術は、動画像の内容把握を容易とするための技術であるため、質の高いフォトブックを生成することについては、考慮がなされていない。よって、例えば特許文献1の技術を用いたとしても、質の高いフォトブックを自動的に生成することができるとは限らない。
 本開示では、質の高いフォトブックを生成するためのレイアウトを自動的に生成することが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、上記候補画像それぞれの評価値を算出する評価値算出部と、レイアウトに関するパラメータに基づいてページ数を決定し、上記レイアウトに関するパラメータおよび算出された上記評価値に基づいて、各ページに配置される画像数を決定するページ割り当て部と、上記レイアウトに関するパラメータと、算出された上記評価値とに基づいて、上記候補画像の中から画像を選択する画像選択部と、上記レイアウトに関するパラメータと、選択された画像に対応する上記評価値とに基づいて、ページごとに、選択された上記画像を配置するレイアウトを生成するレイアウト生成部と、を備える、情報処理装置が提供される。
 また、本開示によれば、選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、上記候補画像それぞれの評価値を算出するステップと、レイアウトに関するパラメータに基づいてページ数を決定し、上記レイアウトに関するパラメータおよび算出された上記評価値に基づいて、各ページに配置される画像数を決定するステップと、上記レイアウトに関するパラメータと、算出された上記評価値とに基づいて、上記候補画像の中から画像を選択するステップと、上記レイアウトに関するパラメータと、選択された画像に対応する上記評価値とに基づいて、ページごとに、選択された上記画像を配置するレイアウトを生成するステップと、を有する、情報処理方法が提供される。
 また、本開示によれば、選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、上記候補画像それぞれの評価値を算出するステップ、レイアウトに関するパラメータに基づいてページ数を決定し、上記レイアウトに関するパラメータおよび算出された上記評価値に基づいて、各ページに配置される画像数を決定するステップ、上記レイアウトに関するパラメータと、算出された上記評価値とに基づいて、上記候補画像の中から画像を選択するステップ、上記レイアウトに関するパラメータと、選択された画像に対応する上記評価値とに基づいて、ページごとに、選択された上記画像を配置するレイアウトを生成するステップ、をコンピュータに実行させるためのプログラムが提供される。
 本開示によれば、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
本実施形態に係る質の高いフォトブックの第1の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第2の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第3の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第4の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第5の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第6の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第7の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第8の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第9の例を説明するための説明図である。 本実施形態に係る質の高いフォトブックの第10の例を説明するための説明図である。 本実施形態に係るレイアウトに関するパラメータの一例を示す説明図である。 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第1の例を示す説明図である。 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第2の例を示す説明図である。 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第3の例を示す説明図である。 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第4の例を示す説明図である。 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第5の例を示す説明図である。 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第6の例を示す説明図である。 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第7の例を示す説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。 本実施形態に係る情報処理装置の構成の一例を示すブロック図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示す説明図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、以下では、下記に示す順序で説明を行う。
  1.本実施形態に係る情報処理方法
  2.本実施形態に係る情報処理装置
  3.本実施形態に係るプログラム
(本実施形態に係る情報処理方法)
 本実施形態に係る情報処理装置の構成について説明する前に、まず、本実施形態に係る情報処理方法について説明する。以下では、本実施形態に係る情報処理装置が、本実施形態に係る情報処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る情報処理方法について説明する。
[1]本実施形態に係る質の高いフォトブックの一例
 まず、本実施形態に係る情報処理装置における本実施形態に係る情報処理方法に係る処理について説明する前に、本実施形態に係る質の高いフォトブックの一例を示す。
〔A〕質の高いフォトブックの第1の例:余白
 図1は、本実施形態に係る質の高いフォトブックの第1の例を説明するための説明図であり、余白に関する質を説明するための説明図である。図1に示すA、図1に示すBは、それぞれ本実施形態に係る質の高いフォトブックの一例を示している。
 ここで、本実施形態に係る余白とは、例えば、生成されたレイアウトの画像が配置されるページにおける、画像が配置されない周辺部分の領域である。また、以下では、例えば図1のBに示すように、生成されたレイアウトの画像が配置されるページにおける、余白(画像が配置されない周辺部分)以外の画像が配置されない部分の領域を、「空白」と示す。
 本実施形態に係る質の高いフォトブックとしては、例えば図1のA、図1のBに示すように、フォトブックにおける上下の余白が同一(または、略同一。以下、同様とする。)であるもの、左右の余白が同一であるもの、見開き間の余白(例えば図1のAの画像間の余白)が、同一であるものが挙げられる。例えば上下の余白、左右の余白、見開き間の余白それぞれが同一に配置されることによって、ユーザに対して整然とした印象を与えることが可能であるので、フォトブックの質を向上させることができる。
〔B〕質の高いフォトブックの第2の例:粗密
 図2は、本実施形態に係る質の高いフォトブックの第2の例を説明するための説明図であり、粗密に関する質を説明するための説明図である。図2に示すA1~A3は、配置される画像においてユーザの注意をよりひくと考えられる注目領域を示している。ここで、本実施形態に係る注目領域としては、例えば、画像における密度が高い領域や、画像における輝度変化が大きい領域、画像における色相変化が大きい領域、画像におけるエッジの方向変化が大きい領域などが挙げられる。
 本実施形態に係る質の高いフォトブックとしては、例えば図2のA1~A3に示すように、注目領域を見開きページの中心に配置しないものや、注目領域が単調とならないように、注目領域を見開きページの中で様々なところに配置するものが挙げられる。注目領域を見開きページの中心に配置しないことによって、いわゆる日の丸構図を回避することができ、また、注目領域を見開きページの中で様々なところに配置することによって、注目領域を分散させることが可能となる。よって、例えば図2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔C〕質の高いフォトブックの第3の例:休み
 図3は、本実施形態に係る質の高いフォトブックの第3の例を説明するための説明図であり、休みに関する質を説明するための説明図である。図3に示すA、図3に示すBは、それぞれ本実施形態に係る質の高いフォトブックの一例を示している。
 ここで、本実施形態に係る休みの画像としては、例えば、ピントの合い方に強弱がない画像や、色の密集がない画像、面が細かくなっているところがない画像、被写体が分散している画像などが挙げられる。
 本実施形態に係る質の高いフォトブックとしては、例えば図3のAに示すように、見開きページの中で休みの画像(図3のAにおいて“休み”と示している画像)と、注目させたい画像(休みではない画像。図3のAの“1”、“2”、“4”が付された画像)とを混在して配置させるものが挙げられる。また、例えば図3のAに示すように、見開きページの中で、注目させたい画像を大きく表示し、休みの画像を小さく配置してもよい。さらに、例えば図3のAに示すように、見開きページの中で、休みの画像が隣り合わないように配置してもよい。
 例えば図3のAに示すように、見開きページの中で休みの画像と注目させたい画像とを混在して配置させることによって、見開きページの中で注目させたい画像のみが配置される場合と比べて、当該見開きページに配置された画像を見るユーザに与える負担をより軽減することができる。また、例えば図3のAに示すように、見開きページの中で休みの画像と注目させたい画像とを混在して配置させる場合であっても、注目させたい画像をユーザに見せることが可能である。よって、例えば図3のAに示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
 なお、本実施形態に係る休みに関する質を実現するための方法は、図3のAに示すように、休みの画像を配置することに限られない。例えば図3のBに示すように、休みの画像を配置する代わりに、空白を設けてもよい。
〔D〕質の高いフォトブックの第4の例:画像の方向性
 図4は、本実施形態に係る質の高いフォトブックの第4の例を説明するための説明図であり、画像の方向性に関する質を説明するための説明図である。図4に示す矢印は、配置される画像それぞれの方向性を示している。
 ここで、本実施形態に係る画像の方向性とは、画像を見たユーザの視線が動きやすい方向である。本実施形態に係る画像の方向性としては、例えば、画像に含まれる人(被写体の一例)が向いている方向や、画像において人や注目点が並んでいる方向、画像における密度が高い領域から密度が低い領域へと向かう方向、画像に含まれる地平線や境目の方向などが挙げられる。
 本実施形態に係る質の高いフォトブックとしては、例えば図4に示すように、見開きページに配置された画像それぞれの方向性をばらつかせることが挙げられる。例えば図4に示すように、見開きページにおいて同じ方向性の画像が続かないことによって、例えばユーザが画像をみることに飽きる可能性が、より低減される。また、ユーザが画像をみるときの目線と、見開きページに配置された画像の方向性とが一致すれば、さらに心地よさをユーザに与えることが可能となる。よって、例えば図4に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔E〕質の高いフォトブックの第5の例:画像が占める面積のバランス
 図5は、本実施形態に係る質の高いフォトブックの第5の例を説明するための説明図であり、画像が占める面積のバランスに関する質を説明するための説明図である。ここで、図5は、例えば、見開きの各ページにおいて配置された画像が占める面積が、ページ全体の70[%]である例を示している。
 本実施形態に係る質の高いフォトブックとしては、例えば図5に示すように、見開きの各ページにおいて配置された画像が占める面積を同一(または、略同一。以下、同様とする。)とするものが挙げられる。例えば図5に示すように、見開きの各ページにおいて配置された画像が占める面積を同一とすることによって、見開きページ全体のバランスが向上する。よって、例えば図5に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔F〕質の高いフォトブックの第6の例:レイアウト
 図6は、本実施形態に係る質の高いフォトブックの第6の例を説明するための説明図であり、レイアウトに関する質を説明するための説明図である。図6に示すA1、図6に示すA2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示しており、例えばフォトブックの1ページ目~4ページ目を示している。また、図6に示すB1は、本実施形態に係るレイアウトに関する質を説明するための図6のA1に対する比較例を示しており、図6に示すB2は、本実施形態に係るレイアウトに関する質を説明するための図6のA2に対する比較例を示している。
 本実施形態に係る質の高いフォトブックとしては、例えば図6のA1、A2に示すように、連続するページに配置される画像のレイアウトや枚数が同一とならないものが挙げられる。ここで、例えば図6のB1、B2に示すように、連続するページに配置される画像のレイアウトや枚数が同一である場合には、レイアウトが単調となる。これに対して、例えば図6のA1、A2に示すように、連続するページに配置される画像のレイアウトが異なり、また、配置される画像の枚数が異なれば、レイアウトが単調となることが回避され、バリエーション豊かなレイアウトが実現される。よって、例えば図6に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。なお、フォトブックを構成する複数のページにおいて、たまにレイアウトが異なるページや、画像の枚数が異なるページを生成することも、バリエーション豊かなレイアウトを実現する上で効果的である。
〔G〕質の高いフォトブックの第7の例:画像処理
 図7は、本実施形態に係る質の高いフォトブックの第7の例を説明するための説明図であり、画像処理による質を説明するための説明図である。図7に示すA、B、C2、D2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示している。また、図7に示すC1は、本実施形態に係る画像処理による質を説明するための図7のC2に対する比較例を示しており、図7に示すD1は、本実施形態に係る画像処理による質を説明するための図7のD2に対する比較例を示している。
 ここで、本実施形態に係る画像処理としては、例えば、フレーミングや、フレーミングされた画像を拡大する処理などが挙げられる。また、本実施形態に係るフレーミングとは、例えば、配置対象の画像から配置する領域を切り取ることなどによって、配置対象の画像から配置する領域を抽出することをいう。
 本実施形態に係る質の高いフォトブックとしては、例えば図7のAに示すように、画像から検出された被写体(図7のAでは、人の顔を検出した例を示している。)を基準として、画像が3分割構図となるようにフレーミングしたものが挙げられる。また、本実施形態に係る質の高いフォトブックとしては、例えば図7のBに示すように、画像から検出された被写体(図7のBでは、花などを検出した例を示している。)を、横または縦にフレーミングしたものが挙げられる。また、本実施形態に係る質の高いフォトブックとしては、例えば図7のC2に示すように、画像から検出された被写体(図7のC2では、人の顔を検出した例を示している。)がページの境目に配置されないようにフレーミングしたものが挙げられる。また、本実施形態に係る質の高いフォトブックとしては、例えば図7のD2に示すように、画像から検出された被写体(図7のAでは、人の顔を検出した例を示している。)をフレーミングし、フレーミングされた画像が、画像が配置される領域に合わせて拡大された画像が配置されるものが挙げられる。
 例えば、図7のA、B、C2、D2に示すように画像処理が行われた画像がフォトブックを構成するページに配置されることによって、例えば、よりよい構図の画像やより見やすい画像を配置することが可能となる。よって、例えば図7のA、B、C2、D2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔H〕質の高いフォトブックの第8の例:コマ割り
 図8は、本実施形態に係る質の高いフォトブックの第8の例を説明するための説明図であり、コマ割りに関する質を説明するための説明図である。図8に示すAは、本実施形態に係る質の高いフォトブックの一例を示している。また、図8に示すBは、本実施形態に係るコマ割りに関する質を説明するための図8のAに対する比較例を示している。
 ここで、本実施形態に係るコマ割りとは、例えば、フォトブックを構成する各ページにおいて、画像が配置される領域を配置することをいう。以下では、フォトブックを構成する各ページにおいて画像が配置される領域を、「コマ」、「画像コマ」、または、「Koma」と示す場合がある。なお、図8では、本実施形態に係る画像が配置される領域に画像が配置されている例を示している。
 本実施形態に係る質の高いフォトブックとしては、例えば図8のAに示すように、縦長・横長すぎるコマや、小さすぎるコマなどの不自然なコマが存在しないものや、空白が大きくなり過ぎないようにバランスのよく空白が配置されるものが挙げられる。ここで、例えば図8のBに示すように、縦長・横長すぎるコマが存在する場合や、小さすぎるコマが存在する場合、大きくなり過ぎた空白が存在する場合(空白が固まっている場合)には、フォトブックを構成する各ページや、見開きページ全体のバランスが崩れる可能性が高い。よって、例えば図8のAに示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔I〕質の高いフォトブックの第9の例:コマの回転
 図9は、本実施形態に係る質の高いフォトブックの第9の例を説明するための説明図であり、コマの回転に関する質を説明するための説明図である。図9に示すA1、図9に示すA2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示しており、例えばフォトブックの1ページ目~4ページ目を示している。また、図9に示すB1は、本実施形態に係るコマの回転に関する質を説明するための図9のA1に対する比較例を示しており、図9に示すB2は、本実施形態に係るコマの回転に関する質を説明するための図9のA2に対する比較例を示している。
 本実施形態に係る質の高いフォトブックとしては、例えば図9のA1、A2に示すように、コマの回転方向、回転量がバランスよく設定されているものや、不自然なコマの回転(例えば、大きいコマの回転や、小さすぎる回転角による回転など)を行わないものが挙げられる。ここで、例えば図9のB1に示すように、コマの回転方向や回転量が、見開きページ全体において同一(または、略同一)である場合や、例えば図9のB2に示すように、大きいコマが回転している場合、コマの回転が微小である場合には、見開きページ全体のバランスが崩れる可能性が高い。よって、例えば図9のA1、A2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
〔J〕質の高いフォトブックの第10の例:コマの重なり
 図10は、本実施形態に係る質の高いフォトブックの第10の例を説明するための説明図であり、コマの重なりに関する質を説明するための説明図である。図10に示すA1、図10に示すA2は、それぞれ本実施形態に係る質の高いフォトブックの一例を示しており、例えばフォトブックの1ページ目~4ページ目を示している。また、図10に示すB1は、本実施形態に係るコマの重なりに関する質を説明するための図10のA1に対する比較例を示しており、図10に示すB2は、本実施形態に係るコマの重なりに関する質を説明するための図10のA2に対する比較例を示している。
 本実施形態に係る質の高いフォトブックとしては、例えば図10のA1、A2に示すように、コマ同士の微妙な重なり具合や接し具合(例えば、コマ同士が微かに重なる場合や、コマ同士があとわずかで重なりそうな場合)を回避するものが挙げられる。ここで、例えば図10のB1に示すように、コマ同士が微かに重なる場合や、コマ同士があとわずかで重なりそうな場合には、ユーザが不自然さを感じる恐れがある。よって、例えば図9のA1、A2に示すようにレイアウトを生成することによって、フォトブックの質を向上させることができる。
 また、本実施形態では、例えば図10のB1に示すように、大きなコマを小さなコマの上に重ねるのではなく、例えば図10のA1、A2に示すように、小さなコマを大きなコマの上に重ねてもよい。例えば図10のA1、A2に示すように、小さなコマを大きなコマの上に重ねることによって、より自然なコマ同士の重なりを実現することが可能となる。
 本実施形態に係る質の高いフォトブックとしては、例えば、上記第1の例~上記第10の例に示すフォトブックが挙げられる。なお、本実施形態に係る質の高いフォトブックの例が、上記第1の例~上記第10の例に限られないことは、言うまでもない。
[2]本実施形態に係る情報処理方法の概要
 次に、上述した本実施形態に係る質の高いフォトブックの例の1または2以上を実現することが可能な、本実施形態に係る情報処理方法に係る処理について説明する。
 上述したように、例えば上述したフォトブックを生成する既存のアプリケーションを用いたとしても、質の高いフォトブックを自動的に生成することは、望むべくもなく、また、例えば特許文献1に記載の技術を用いたとしても、質の高いフォトブックを自動的に生成することができるとは限らない。
 そこで、本実施形態に係る情報処理装置は、例えば、候補画像それぞれに対応する画像に関する情報に基づいて、候補画像それぞれの評価値を算出する(評価値算出処理)。また、本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータに基づいてページ数を決定し、上記評価値算出処理において算出された評価値に基づいて各ページに配置される画像数を決定する(ページ割り当て処理)。また、本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータと、上記評価値算出処理において算出された評価値とに基づいて、候補画像の中から画像を選択する(画像選択処理)。そして、本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータと、上記画像選択処理において選択された画像に対応する評価値とに基づいて、ページごとに、選択された画像を配置するレイアウトを生成する(レイアウト生成処理)。
 ここで、本実施形態に係る候補画像とは、上記画像選択処理において選択される画像の候補である。本実施形態に係る情報処理装置は、例えば、本実施形態に係る情報処理装置が備える記憶部(後述する)や、本実施形態に係る情報処理装置に接続された外部記録媒体、本実施形態に係る情報処理装置とネットワークを介して(あるいは、直接的に)接続されたサーバなどの外部装置が備える記録媒体などに記憶されている画像を、候補画像とする。本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(WLAN:Wireless Local Area Network)や基地局を介した無線WAN(WWAN:Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
 また、本実施形態に係る画像に関する情報とは、画像を解析することにより得られるデータである。本実施形態に係る画像に関する情報としては、例えば、画像から検出された所定の被写体を含む領域の面積を示すデータや、人(所定の被写体の一例)の表情を示すデータ、画像から検出された注目領域の面積を示すデータ、画像のぼけ度合いを示すデータ、画像に含まれる色の種類を示すデータなどが挙げられる。
 ここで、本実施形態に係る情報処理装置は、例えば、候補画像を解析することによって、候補画像それぞれに対応する本実施形態に係る画像に関する情報を取得する。本実施形態に係る候補画像の解析に係る処理としては、例えば、顔検出処理や物体検出処理などの検出処理や、候補画像における輝度や色の変化を検出する検出処理、候補画像のぼけ推定処理、候補画像における色を検出する検出処理などが挙げられる。
 なお、本実施形態に係る画像に関する情報の取得方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、外部装置における候補画像の解析結果を示す、候補画像に対応するメタデータを参照することによって、候補画像それぞれに対応する本実施形態に係る画像に関する情報を取得してもよい。また、候補画像を解析する装置(本実施形態に係る情報処理装置や、外部装置)は、本実施形態に係る画像に関する情報を検出することが可能な任意の検出処理を用いることによって、本実施形態に係る候補画像を解析する。
 また、本実施形態に係るレイアウトに関するパラメータとは、例えば、本実施形態に係る情報処理装置が生成するレイアウトの方向性を示す、レイアウトの生成条件に相当するパラメータである。本実施形態に係るレイアウトに関するパラメータとしては、例えば、“フォトブックのページ数に関するパラメータ(例えば、最大見開き数を示すパラメータなど)”や、“フォトブックの各ページに配置される画像の枚数に関するパラメータ(例えば、最小枚数、最大枚数、平均枚数などを示すパラメータ)”、“フォトブックの見開きのアスペクトやマージンを示すパラメータ”、“配置される画像間の距離を示すパラメータ”、“フォトブックの各ページにおける空白に関するパラメータ”、“見開きレイアウトのON/OFFに関するパラメータ”など、様々なパラメータが挙げられる。また、本実施形態に係るレイアウトに関するパラメータには、背景やフレームなどを示すパラメータが含まれていてもよい。なお、本実施形態に係るレイアウトに関するパラメータが、上記に限られないことは、言うまでもない。
 図11は、本実施形態に係るレイアウトに関するパラメータの一例を示す説明図である。図11では、A~Cに示す3つのレイアウトに関するパラメータの例を示している。
 本実施形態に係る情報処理装置は、例えば、ユーザ操作に基づいてレイアウトに関するパラメータを生成する。そして、本実施形態に係る情報処理装置は、生成したレイアウトに関するパラメータを用いて、本実施形態に係る情報処理方法に係る処理を行う。
 より具体的には、ユーザは、例えば、“レイアウトに関するパラメータを設定するための設定画面上で値を入力すること”(ユーザ操作の一例)や、“レイアウトに関するパラメータを設定するためのツマミ(後述する操作部の一例)を動かすこと”(ユーザ操作の一例)、“レイアウトに関するパラメータと対応付けられているテーマを選択すること”
(ユーザ操作の一例)、などによって、レイアウトに関するパラメータを設定する。本実施形態に係る情報処理装置は、上記のようなユーザ操作に応じた操作信号に基づいて例えば図11のA~Cに示すような、レイアウトに関するパラメータを生成する。
 なお、本実施形態に係るレイアウトに関するパラメータの生成方法は、上記に限られない。例えば、本実施形態に係る情報処理装置は、レイアウトに関するパラメータをランダムに生成してもよい。
 また、例えば図11に示すように、本実施形態に係るレイアウトに関するパラメータは、テンプレートベースでフォトブックを生成する場合に必要なデザインテンプレートを生成するよりもより簡易に生成することが可能である。よって、本実施形態に係るレイアウトに関するパラメータが、予め生成されたもの(すなわち、レイアウトに関するパラメータのテンプレート)であってもよい。本実施形態に係るレイアウトに関するパラメータが、予め生成されたものである場合、本実施形態に係る情報処理装置は、例えば、ユーザ操作に基づき選択された、予め生成されているレイアウトに関するパラメータや、本実施形態に係る情報処理装置がランダムに選択した、予め生成されているレイアウトに関するパラメータを用いて、本実施形態に係る情報処理方法に係る処理を行う。
 ここで、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの一例について説明する。
〔a〕生成されるレイアウト第1の例
 図12は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第1の例を示す説明図である。ここで、図12に示すA、Bは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“最大見開き数=3”が設定されている場合において生成されるレイアウトの例を示している。また、図12のA、Bそれぞれの見開きの下部に示す番号は、見開きの番号を示している。
 本実施形態に係るレイアウトに関するパラメータとして“最大見開き数=3”が設定されている場合には、例えば図12のAに示すように、生成されるレイアウトにおける見開き数は3(すなわち、6ページ)となる。
 なお、本実施形態に係るレイアウトに関するパラメータとして“最大見開き数=3”が設定されている場合において、本実施形態に係る情報処理方法に係る処理において生成される見開き数は、3(設定されている最大見開き数)に限られない。例えば、候補画像の数が少ない場合などには、図12のBに示すように、設定されている最大見開き数よりも少ない見開き数が生成されることも起こりうる。
〔b〕生成されるレイアウト第2の例
 図13は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第2の例を示す説明図である。ここで、図13は、本実施形態に係るレイアウトに関するパラメータとして“見開きに含まれる画像の平均数=6、見開きに含まれる画像の最大数=12、見開きに含まれる画像の最小数=1”が設定されている場合において生成されるレイアウトの例を示している。また、図13に示す各見開きの下部に示す番号は、見開きに含まれる画像数の一例を示している。
 本実施形態に係るレイアウトに関するパラメータとして“見開きに含まれる画像の平均数=6、見開きに含まれる画像の最大数=12、見開きに含まれる画像の最小数=1”が設定されている場合には、例えば図13に示すように、設定されているパラメータを満たすようにレイアウトが生成される。
〔c〕生成されるレイアウト第3の例
 図14は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第3の例を示す説明図である。ここで、図14に示すA、Bは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“見開きのアスペクト比=2.0、TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”が設定されている場合において生成されるレイアウトの例を示している。
 本実施形態に係るレイアウトに関するパラメータとして“見開きのアスペクト比=2.0、TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”が設定されている場合には、例えば図14のAに示すように、設定されているパラメータを満たすようにレイアウトが生成される。
 なお、本実施形態に係る余白に関するパラメータは、“TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”に限られない。例えば、本実施形態に係る余白に関するパラメータには、“見開きを構成する1つのページに配置される画像が1枚である場合には、設定されている余白に関するパラメータを無視するパラメータ”が含まれていてもよい。“見開きを構成する1つのページに配置される画像が1枚である場合には、設定されている余白に関するパラメータを無視するパラメータ”が含まれている場合には、見開きを構成する1つのページに配置される画像が1枚であるときに、図14のBに示すように、余白に関するパラメータが無視されたレイアウトが生成される。
〔d〕生成されるレイアウト第4の例
 図15は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第4の例を示す説明図である。ここで、図15は、本実施形態に係るレイアウトに関するパラメータとして“水平方向の画像間の距離=x”が設定されている場合において生成されるレイアウトの例を示している。
 本実施形態に係るレイアウトに関するパラメータとして“水平方向の画像間の距離=x”が設定されている場合には、例えば図15に示すように、設定されているパラメータを満たすようにレイアウトが生成される。
 なお、本実施形態に係る画像間の距離を規定するパラメータは、水平方向の画像間の距離を示すパラメータに限られない。例えば、本実施形態に係るレイアウトに関するパラメータには、画像間の距離を規定するパラメータとして垂直方向の画像間の距離を示すパラメータが含まれていてもよい。垂直方向の画像間の距離を示すパラメータが含まれる場合には、垂直方向の画像間の距離が、設定されている垂直方向の画像間の距離を示すパラメータに応じて設定される。
〔e〕生成されるレイアウト第5の例
 図16は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第5の例を示す説明図である。ここで、図16に示すAは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“空白=0[%]”が設定されている場合において生成されるレイアウトの例を示している。また、図16に示すBは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“空白=50[%]”が設定されている場合において生成されるレイアウトの例を示している。また、図16に示すCは、それぞれ本実施形態に係るレイアウトに関するパラメータとして“空白=15[%]”が設定されている場合において生成されるレイアウトの例を示している。
 本実施形態に係るレイアウトに関するパラメータとして“空白=0[%]”が設定されている場合には、例えば図16のAに示すように、設定されているパラメータを満たすようにレイアウトが生成される。また、本実施形態に係るレイアウトに関するパラメータとして“空白=50[%]”が設定されている場合には、例えば図16のBに示すように、設定されているパラメータを満たすようにレイアウトが生成される。また、本実施形態に係るレイアウトに関するパラメータとして“空白=15[%]”が設定されている場合には、例えば図16のCに示すように、設定されているパラメータを満たすようにレイアウトが生成される。
〔f〕生成されるレイアウト第6の例
 図17は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第6の例を示す説明図である。ここで、図17に示すAは、本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=OFF”(見開きのレイアウトにしないためのパラメータ)が設定されている場合において生成されるレイアウトの例を示している。また、図17に示すBは、本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=ON”(見開きのレイアウトにするためのパラメータ)が設定されている場合において生成されるレイアウトの例を示している。
 本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=OFF”が設定されている場合には、例えば図17のAに示すように、設定されているパラメータを満たすようにレイアウトが生成される。また、本実施形態に係るレイアウトに関するパラメータとして“見開きレイアウト=ON”が設定されている場合には、例えば図17のBに示すように、設定されているパラメータを満たすようにレイアウトが生成される。
〔g〕生成されるレイアウト第7の例
 図18は、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの第7の例を示す説明図である。図18に示すA1は、スマートフォン(生成されたレイアウトに配置された画像を表示する表示装置の一例)用のレイアウトに関するパラメータの一例を示している。また、図18に示すA2は、テレビ受像機(生成されたレイアウトに配置された画像を表示する表示装置の一例)用のレイアウトに関するパラメータの一例を示している。図18に示すB1は、図18に示すA1に示すレイアウトに関するパラメータに応じて生成されたレイアウトに基づいて表示画面に表示される画像の一例を示している。また、図18に示すB2は、図18に示すA2に示すレイアウトに関するパラメータに応じて生成されたレイアウトに基づいて表示画面に表示される画像の一例を示している。
 例えば図18のA1、A2に示すように、本実施形態に係るレイアウトに関するパラメータには、“生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータ”が含まれていてもよい。“生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータ”が本実施形態に係るレイアウトに関するパラメータに含まれることによって、例えば図18のB1、B2に示すように、生成されたレイアウトに配置された画像を表示する表示装置の種類により適したフォトブックを、当該表示装置の表示画面に表示させることができる。
〔h〕生成されるレイアウト第8の例
 上記生成されるレイアウトの例として、上記第7の例では、“生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータ”が本実施形態に係るレイアウトに関するパラメータに含まれる場合を示したが、本実施形態に係るレイアウトに関するパラメータに含まれるパラメータは、表示装置の種類に対応するパラメータに限られない。例えば、本実施形態に係るレイアウトに関するパラメータには、“生成されたレイアウトに配置された画像を印刷するための印刷設定の種類に対応するパラメータ”が含まれていてもよい。
 “生成されたレイアウトに配置された画像を印刷するための印刷設定の種類に対応するパラメータ”が本実施形態に係るレイアウトに関するパラメータに含まれることによって、印刷の仕方により適したフォトブックを、紙などの転写媒体に印刷することが可能となる。
 本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われることによって、例えば、上記第1の例~上記第8の例に示すようなレイアウトが生成される。なお、本実施形態に係るレイアウトに関するパラメータを用いて本実施形態に係る情報処理方法に係る処理が行われた結果、生成されるレイアウトの一例が、上記第1の例~上記第8の例に限られないことは、言うまでもない。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、(1)評価値算出処理、(2)ページ割り当て処理、(3)画像選択処理、および(4)レイアウト生成処理を行う。
 ここで、本実施形態に係る情報処理装置は、上記(2)の処理(ページ割り当て処理)において、フォトブックのページ数と、各ページに割り当てられる画像数とを決定する。また、本実施形態に係る情報処理装置は、上記(3)の処理(画像選択処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(1)の処理(評価値算出処理)において算出された候補画像それぞれの評価値とに基づいて、各ページに配置される画像を選択する。また、本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(3)の処理(画像選択処理)において選択された画像に対応する評価値とに基づいて、ページごとにレイアウトを生成する。
 よって、本実施形態に係る情報処理装置が、上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)、第2の例(粗密)、第3の例(休み)、第4の例(画像の方向性)、第5の例(画像が占める面積のバランス)、第6の例(レイアウト)、第8の例(コマ割り)のうちの、1または2以上が実現される。なお、上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)の具体例については、後述する。
 また、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに基づいて、上記(3)の処理(画像選択処理)と上記(4)の処理(レイアウト生成処理)とを行う。よって、本実施形態に係る情報処理装置は、ユーザ操作などによって設定されたレイアウトに関するパラメータに基づいて処理を行うことによって、動的なフォトブックのレイアウトを、自動的に生成することができる。
 したがって、本実施形態に係る情報処理装置が、例えば、上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)を行うことによって、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
 また、本実施形態に係る情報処理装置が、質の高いフォトブックを生成するためのレイアウトを自動的に生成することによって、上記(4)の処理(レイアウト生成処理)において生成された当該レイアウトに基づいて、質の高いフォトブックを自動的に生成することが可能となる。ここで、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに基づいてフォトブックを生成する処理は、例えば、本実施形態に係る情報処理装置において行われてもよいし、外部装置において行われてもよい。
 なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)に限られない。
 例えば、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、さらに、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する処理(レイアウト調整処理)を行ってもよい
 本実施形態に係る情報処理装置が、(5)レイアウト調整処理を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)や、第9の例(コマの回転)、第10の例(コマの重なり)など、より質の高いフォトブックを実現することができる。なお、上記(5)の処理(レイアウト調整処理)の具体例については、後述する。
 また、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、さらに、上記(4)の処理(レイアウト生成処理)において生成されたレイアウト、または、上記(5)の処理(レイアウト調整処理)において調整されたレイアウトに、上記(3)の処理(画像選択処理)において選択された画像を配置する処理(画像処理)を行ってもよい。
 本実施形態に係る情報処理装置が、(6)画像処理を行うことによって、上記(4)の処理(レイアウト生成処理)において生成されたレイアウト、または、上記(5)の処理(レイアウト調整処理)において調整されたレイアウトに基づいて、フォトブックが生成される。つまり、上記(6)の処理(画像処理)は、生成されたレイアウト、または生成されたレイアウトが調整されたレイアウトに基づいてフォトブックを生成する処理に相当する。
 よって、本実施形態に係る情報処理装置が、上記(6)の処理(画像処理)を行うことによって、本実施形態に係る情報処理装置において質の高いフォトブックを自動的に生成することができる。
 また、本実施形態に係る情報処理装置は、上記(6)の処理(画像処理)において、例えば、上記(3)の処理(画像選択処理)において選択された画像を処理し、処理後の画像を、生成されたレイアウト、または生成されたレイアウトが調整されたレイアウトに配置してもよい。上記(6)の処理(画像処理)において、上記(3)の処理(画像選択処理)において選択された画像が処理されることによって、例えば、上述した質の高いフォトブックの第7の例(画像処理)など、より質の高いフォトブックを実現することができる。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、 “上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)~上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)~上記(6)の処理(画像処理)”を行う。以下、本実施形態に係る情報処理方法に係る処理について、より具体的に説明する。
[3]本実施形態に係る情報処理方法に係る処理の具体例
(1)評価値算出処理
 本実施形態に係る情報処理装置は、候補画像それぞれに対応する画像に関する情報に基づいて、候補画像それぞれの評価値を算出する。
 ここで、本実施形態に係る情報処理装置は、例えば、候補画像全体を1つのグループとして捉えて候補画像それぞれの評価値を算出する。
 なお、本実施形態に係る(1)の処理(評価値算出処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、候補画像それぞれに対応する画像に関する情報に基づいて候補画像をグループ化し、グループごとに評価値を算出してもよい。
 本実施形態に係る候補画像のグループ化に係る処理としては、例えば、画像に関する情報を用いたクラスタリング処理が挙げられる。画像に関する情報を用いたクラスタリング処理によって、候補画像は、例えば、画像が示すイベントや、画像の類似などに基づきグループ化がされる。つまり、画像に関する情報を用いたクラスタリング処理が行われることによって、候補画像は、例えば、時間的な観点や、類似した画像の観点からグループ化される。
 ここで、時間的な観点によるクラスタリング処理としては、例えば、本件出願人が特許権者である「特許第4577173号公報」に記載の技術を用いた処理が挙げられる。また、類似した画像の観点によるクラスタリング処理としては、例えば、本件出願人が特許権者である「特許第4811433号公報」に記載の技術を用いた処理が挙げられる。なお、本実施形態に係る時間的な観点によるクラスタリング処理、類似した画像の観点によるクラスタリング処理は、上記に限られず、本実施形態に係る情報処理装置は、時間的な観点、類似した画像の観点でクラスタリングを行うことが可能な任意の処理を用いてグループ化を行うことが可能である。
 (1)の処理(評価値算出処理)においてグループごとに評価値を算出する場合には、本実施形態に係る情報処理装置は、例えば、後述する(3)の処理(画像選択処理)や(4)の処理(レイアウト生成処理)などの、本実施形態に係る情報処理方法に係る処理を、グループごとに行う。候補画像をグループ化し、グループごとに本実施形態に係る情報処理方法に係る処理が行われることによって、例えば、フォトブックに配置される画像をみたユーザに時系列のストーリーを感じさせることが可能となる。また、グループごとに本実施形態に係る情報処理方法に係る処理が行われることによって、例えば、同じような画像(類似する画像)が、何度もフォトブックに配置されることを防止することができる。
 以下、本実施形態に係る情報処理装置が、候補画像をグループ化して処理を行う場合を主に例に挙げて、(1)の処理(評価値算出処理)について説明する。
 図19は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る候補画像の一例を示している。図19では、候補画像として、運動会を撮像した44枚の撮像画像を示している。
 本実施形態に係る情報処理装置は、まず、図19に示す候補画像それぞれに対応する画像に関する情報を用いて、候補画像をグループ化する。
 図20は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図20は、図19に示す候補画像が、時間的な観点からグループ化され、かつ、各グループ内で、類似する画像がグループ化された結果の一例を示している。図20に示すA~Hは、それぞれ候補画像のグループを示している。また、図20に示すB1、E1、F1~F3は、類似する画像のグループを示している。
 例えば図20に示すように候補画像がグループ化された場合には、本実施形態に係る情報処理装置は、グループごとに(3)の処理(画像選択処理)や(4)の処理(レイアウト生成処理)などの本実施形態に係る情報処理方法に係る処理を行う。
 図21は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る情報処理装置が算出した評価値の一例を示している。図21に示すA1~A7は、図20に示す候補画像に含まれる一部の画像に対して算出された評価値の一例を示している。
 本実施形態に係る情報処理装置は、例えば、候補画像に対して0.0~1.0の値の範囲をとる評価値を算出する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、候補画像から顔などの所定の被写体を検出する。ここで、本実施形態に係る情報処理装置は、例えば、任意の顔検出処理や任意の物体検出処理などによって、被写体を含む領域を検出する。そして、本実施形態に係る情報処理装置は、検出された被写体を含む領域(例えば、矩形の領域)が画像全体に占める面積に対応する評価値を決定する。本実施形態に係る情報処理装置は、例えば、検出された被写体を含む領域が画像全体に占める面積と、評価値とが対応付けられたテーブルなどを参照することによって、検出された被写体を含む領域が画像全体に占める面積に対応する評価値を決定する。
 また、本実施形態に係る情報処理装置は、さらに、検出された被写体を含む領域を解析し、解析結果に応じて評価値を加減算してもよい。ここで、検出された被写体を含む領域の解析に係る処理としては、例えば、任意の表情検出処理、任意の顔の向き判定処理、および任意のぼけ推定処理などが挙げられる。
 例えば、検出された被写体が人の顔である場合、本実施形態に係る情報処理装置は、表情や顔の向きに応じて評価値を加減算する。より具体的には、本実施形態に係る情報処理装置は、例えば、検出された人の顔(所定の被写体の一例)が笑顔である場合には評価値に表情に応じた所定の値を加算し、検出された人の顔(所定の被写体の一例)が怒り顔や泣き顔である場合には評価値から表情に応じた所定の値を減算する。また、本実施形態に係る情報処理装置は、検出された人の顔(所定の被写体の一例)の向きが正面である場合には評価値に顔の向きに応じた所定の値を加算し、検出された人の顔(所定の被写体の一例)の向きが側面である場合には評価値から顔の向きに応じた所定の値を減算する。また、本実施形態に係る情報処理装置は、検出された人の顔(所定の被写体の一例)がぼやけている場合には、評価値からぼやけに対応する所定の値を減算する。ここで、本実施形態に係る情報処理装置は、例えば、解析結果と、評価値の加減算値とが対応付けられたテーブルなどを参照することによって、解析結果に対応する評価値の加減算値を特定する。
 なお、本実施形態に係る評価値の算出処理は、候補画像から検出された所定の被写体に基づいて算出する処理に限られない。
 例えば、本実施形態に係る情報処理装置は、候補画像における輝度や色の変化を検出し、当該変化が設定されている値よりも大きな領域である注目領域を検出することによって、評価値を決定してもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、検出された注目領域が画像全体に占める面積に対応する評価値を決定する。
 ここで、本実施形態に係る情報処理装置は、例えば、検出された注目領域が画像全体に占める面積と、評価値とが対応付けられたテーブルなどを参照することによって、検出された注目領域が画像全体に占める面積に対応する評価値を決定する。なお、注目領域が画像全体に占める面積と対応付られる評価値は、例えば、上述した被写体を含む領域が画像全体に占める面積と対応付られる評価値よりも小さい値をとる。なお、注目領域が画像全体に占める面積と対応付られる評価値は、例えば、上述した被写体を含む領域が画像全体に占める面積と対応付られる評価値と同一の値であってもよいし、上述した被写体を含む領域が画像全体に占める面積と対応付られる評価値よりも大きくてもよい。
 また、本実施形態に係る情報処理装置は、例えば、候補画像から色を検出し、検出された色の数(色のバリエーションに相当する。)に基づいて評価値を決定してもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、検出された色の数と、評価値とが対応付けられたテーブルなどを参照することによって、検出された色の数に対応する評価値を決定する。
 また、本実施形態に係る情報処理装置は、例えば、候補画像のぼけの度合いを推定し、推定されたぼけの度合いに基づいて評価値を調整してもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、ぼけの度合いと、評価値とが対応付けられたテーブルなどを参照することによって、推定されたぼけの度合いに対応する評価値の調整値を決定する。ここで、上記調整値としては、例えば、推定されたぼけの度合いが大きい程、マイナスの値が大きくなる値が挙げられる。
 また、上記では、静止画像である候補画像に対する評価値算出処理の一例を示したが、本実施形態に係る情報処理装置が評価値を算出する対象の候補画像は、静止画像に限られない。
 例えば、本実施形態に係る情報処理装置は、本件出願人が出願した「特開2010-191934号公報」に記載の動画像からスコアを算出する技術を用いることなどによって、動画像である候補画像に対して評価値を算出することも可能である。以下では、本実施形態に係る候補画像が、静止画像である場合を例に挙げて、本実施形態に係る情報処理方法に係る処理の一例について説明する。
(2)ページ割り当て処理
 本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに基づいてページ数を決定し、上記(1)の処理(評価値算出処理)において算出された評価値に基づいて各ページに配置される画像数を決定する。
(2-1)ページ数の決定に係る処理
 図22、図23は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図である。図22は、グループごとに行われる本実施形態に係るページ数の決定に係る処理の一例を示している。また、図23は、グループごとに割り当てられるページのイメージを示している。
 本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータに基づいてページ数を決定する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、“ページの最大数=30”(本実施形態に係るレイアウトに関するパラメータの一例)などの、ページの最大数に係るパラメータを参照することによって、ページ数を決定する。また、本実施形態に係る情報処理装置は、例えば、ページ数を1/2することによって、見開き数を決定してもよい。
 なお、図12を参照して示したように、例えば、候補画像の数が少ない場合には、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータが示す最大数より少ないページ数を決定してもよい。本実施形態に係る情報処理装置は、例えば、ページの数と、候補画像の数の下限値とが対応付けられているテーブルなどを参照することによって、候補画像の数に対応する、レイアウトに関するパラメータが示す最大数以下のページ数を決定する。
 例えば図20に示すように、候補画像がグループ化された場合には、本実施形態に係る情報処理装置は、グループごとにページ数または見開き数を割り当てる。グループごとにページ数または見開き数を割り当てる方法としては、例えば、図22に示すように、ページの最大数に係るパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)、グループに含まれる候補画像の数、および候補画像の総数を用いた演算を行い、演算結果を四捨五入することが挙げられる。ここで、図22では、グループごとに割り当てる見開き数を決定する演算の一例を示している。
(2-2)画像数の決定に係る処理
 図24~図26は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る画像数の決定に係る処理の一例を示している。ここで、図24~26では、上記(1)の処理(評価値算出処理)において図20に示すような候補画像のグループ化が行われた場合を示している。なお、上記(1)の処理(評価値算出処理)において候補画像のグループ化が行われていない場合であっても、本実施形態に係る情報処理装置は、同様の処理によって、各ページまたは各見開きに配置される画像数を決定することが可能である。
 本実施形態に係る情報処理装置は、例えば図24に示すように、各ページまたは各見開きにおける画像の評価値の総和が均等となるように、各ページまたは各見開きごとに候補画像の数を決定する。例えば、候補画像が100枚で評価値の総和が30.0点であり、決定されたページ数が6(すなわち、見開き数が3)である場合には、本実施形態に係る情報処理装置は、図24に示すように、1つの見開きにおける画像の評価値の総和が、“30.0/3=10.0[点]”となるように、各見開きごとに候補画像の数を決定する。
 各ページまたは各見開きごとに候補画像の数が決定されると、本実施形態に係る情報処理装置は、各ページまたは各見開きにおける画像の評価値の二乗和を算出する。図25では、本実施形態に係る情報処理装置が、各見開きにおける画像の評価値の二乗和を算出した例を示している。ここで、本実施形態に係る情報処理装置が各ページまたは各見開きにおける画像の評価値の二乗和を算出するのは、ページ間または見開き間における差をより大きくするためである。なお、本実施形態に係る情報処理装置は、例えば、各ページまたは各見開きにおける画像の評価値の三乗和を算出してもよく、また、各ページまたは各見開きにおける画像の評価値に対して強いハイパス・フィルタをかけてもよい。
 各ページまたは各見開きにおける画像の評価値の二乗和が算出されると、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータと、算出された各ページまたは各見開きにおける画像の評価値の二乗和とに基づいて、各ページまたは各見開きに割り当てる画像数を決定する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、“上記ページ数の決定に係る処理により決定されたページ数または見開き数”と、“ページごとの平均画像数を示すパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)、または見開きごとの平均画像数を示すパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)”とに基づいて、フォトブックに配置する画像の総数を決定する。例えば、上記ページ数の決定に係る処理により決定された見開き数が3であり、見開きごとの平均画像数を示すパラメータが3である場合には、本実施形態に係る情報処理装置は、フォトブックに配置する画像の総数として3×3=9[枚]を決定する。
 また、フォトブックに配置する画像の総数が決定されると、本実施形態に係る情報処理装置は、例えば、評価値の二乗和の逆数を算出し、各ページまたは各見開きに画像数を比例配分する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、例えば図26に示すように、評価値の二乗和の逆数を算出し、フォトブックに配置する画像の総数、および当該評価値の二乗和の逆数を用いた演算によって、各ページまたは各見開きに配置される画像数を決定する。ここで、図26では、本実施形態に係る情報処理装置が、各見開きに配置される画像数を決定した例を示している。
 例えば上記のように、評価値の二乗和の逆数を算出して、各ページまたは各見開きに画像数を比例配分することによって、本実施形態に係る情報処理装置は、評価値の総和が大きなページまたは見開き程、画像数を少なくすることが可能となる。
 本実施形態に係る情報処理装置は、例えば、上記(2-1)の処理(ページ数の決定に係る処理)、および上記(2-2)の処理(画像数の決定に係る処理)を行うことによって、ページ数(または見開き数)と各ページ(または各見開き)に配置される画像数とを決定する。
 なお、本実施形態に係る(2)の処理(ページ割り当て処理)は、上記に示す例に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに、各ページまたは各見開きに配置される画像数の最小値や最大値が設定されている場合には、当該最小値や最大値を満たすように、ページ数(または見開き数)と各ページ(または各見開き)に配置される画像数とを調整してもよい。
 例えば上記のようにページ数(または見開き数)と各ページ(または各見開き)に配置される画像数とを決定することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
(3)画像選択処理
 本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータと、上記(1)の処理(評価値算出処理)において算出された評価値とに基づいて、候補画像の中から画像を選択する。また、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)において候補画像がグループ化されている場合には、グループごとに、候補画像の中から画像を選択する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、算出された評価値と所定の閾値との比較結果に基づいて、候補画像を分類する。そして、本実施形態に係る情報処理装置は、例えば、分類された候補画像のグループごとに、画像を選択する。
 ここで、候補画像の分類としては、例えば、本実施形態に係る休みの画像の候補となる候補画像と、本実施形態に係る休みの画像の候補とならない候補画像とが挙げられる。以下では、本実施形態に係る休みの画像の候補となる候補画像から選択される画像を、「本実施形態に係る休みの画像」、「休み」、「休」、または「Rest」と示す場合がある。また、以下では、本実施形態に係る休みの画像の候補とならない候補画像から選択される画像を、「本実施形態に係る働く画像」、「働く」、「働」、または「Work」と示す場合がある。
 また、本実施形態に係る所定の閾値としては、例えば、候補画像の評価値の中央値が挙げられる。なお、本実施形態に係る所定の閾値は、上記に限られない。例えば、本実施形態に係る所定の閾値は、予め設定された固定値であってもよいし、ユーザ操作などに基づき設定される可変値であってもよい。
 図27は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、(3)の処理(画像選択処理)において選択される画像の一例を示している。ここで、図27は、所定の閾値が候補画像の評価値の中央値である例を示している。また、図27は、評価値を棒グラフ状に示しており、図27に示す“1”~“8”の番号は、評価値が大きい順を示している。また、図27では、選択される画像を「働く」、「休み」と示している。
 本実施形態に係る情報処理装置は、例えば、上記(2)の処理(ページ割り当て処理)において決定された画像数を、本実施形態に係る働く画像を選択する第1の画像数と、本実施形態に係る休みの画像を選択する第2の画像数とに配分する。ここで、第1の画像数と第2の画像数との配分は、例えば、予め設定されていてもよいし、本実施形態に係るレイアウトに関するパラメータに設定されていてもよい。また、第1の画像数と第2の画像数との配分は、例えば、ユーザ操作などによって設定されてもよい。
 本実施形態に係る情報処理装置は、例えば、所定の閾値以上の候補画像(または、所定の閾値より大きな候補画像。以下、同様とする。)の中から、評価値が高い順に、第1の画像数の候補画像を、本実施形態に係る働く画像として選択する。例えば図27では、本実施形態に係る情報処理装置が、“1”、“2”の番号が付された候補画像を、本実施形態に係る働く画像として選択した例を示している。ここで、所定の閾値以上の候補画像の中から評価値が高い順に選択された画像は、本実施形態に係る働く画像に該当する。
 また、本実施形態に係る情報処理装置は、例えば、所定の閾値より小さな候補画像(または、所定の閾値以下の候補画像。以下、同様とする。)の中から、評価値が高い順に、第2の画像数の候補画像を、本実施形態に係る休みの画像として選択する。例えば図27では、本実施形態に係る情報処理装置が、“5”、“6”の番号が付された候補画像を、本実施形態に係る休みの画像として選択した例を示している。ここで、所定の閾値より小さな候補画像の中から評価値が高い順に選択された画像は、本実施形態に係る休みの画像に該当する。
 本実施形態に係る情報処理装置は、例えば上記のように、分類された候補画像のグループごとに画像を選択することによって、本実施形態に係る働く画像と、本実施形態に係る休みの画像とを選択する。例えば上記のように本実施形態に係る働く画像と本実施形態に係る休みの画像とが選択されることによって、本実施形態に係る情報処理装置は、上述した質の高いフォトブックの第3の例(休み)を実現することができる。
 なお、本実施形態に係る(3)の処理(画像選択処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、分類された候補画像のグループごとに、候補画像それぞれにおける画像の方向性を判定し、さらに判定された画像の方向性に基づいて、画像を選択してもよい。
 図28は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、画像の方向性に基づく画像の選択に係る処理の一例を示している。図28に示すAは、本実施形態に係る情報処理装置が選択する画像の方向性の一例(すなわち、OKなケースの一例)を示しており、図28に示すBは、本実施形態に係る情報処理装置が選択しない画像の方向性の一例(すなわち、NGなケースの一例)を示している。
 上述した質の高いフォトブックの第4の例(画像の方向性)に示すように、フォトブックの質をより向上させる方法としては、配置された画像それぞれの方向性をばらつかせることが挙げられる。そこで、本実施形態に係る情報処理装置は、例えば、画像の選択に際して、図28のBに示すように画像の方向が一定の画像が選択されることを回避する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、所定の閾値以上の候補画像の中から評価値が高い順に、または、所定の閾値より小さな候補画像の中から評価値が高い順に、画像を選択する場合には、評価値が高い画像であっても、一つ前に選択された画像と方向性が同一の画像(または、方向性が略同一の画像)は選択しない。
 例えば上記のように、画像の方向性に基づいて選択対象の画像をスキップすることによって、例えば図28のAに示すような、配置された画像それぞれの方向性をばらつかせることを実現することが可能となる。なお、所定の閾値以上の候補画像の中から評価値が高い順に、または、所定の閾値より小さな候補画像の中から評価値が高い順に、画像を選択する場合において、候補画像の方向性が全て同一(または略同一)のときには、本実施形態に係る情報処理装置は、例えば、画像の方向性を用いずに画像を選択する。
 例えば上記のように判定された画像の方向性に基づいて画像を選択することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第4の例(画像の方向性)を実現することができる。
(4)レイアウト生成処理
 本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータと、上記(3)の処理(画像選択処理)において選択された画像に対応する評価値とに基づいて、ページごとにレイアウトを生成する。また、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)において候補画像がグループ化されている場合には、グループごとにレイアウトを生成する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、上記(2)の処理(ページ割り当て処理)において決定されたページに配置される画像数、または、当該決定されたページに配置される画像数および上記(3)の処理(画像選択処理)において選択された画像に対応する評価値に基づいて、画像が配置される領域をページに配置することにより、レイアウトを生成する。ここで、本実施形態に係る画像が配置される領域が配置されるページは、フォトブックの各ページが挙げられるが、本実施形態に係る画像が配置される領域が配置されるページは、上記に限られない。例えば、本実施形態に係る画像が配置される領域が配置されるページは、2つのページからなる見開きページであってもよい。
 また、本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータ、および/または、選択された画像に対応する画像に関する情報に基づいて、レイアウトを生成してもよい。
 ここで、本実施形態に係るレイアウトに関するパラメータに基づくレイアウトの生成に係る処理としては、例えば、ページのアスペクト比(本実施形態に係るレイアウトに関するパラメータの一例)を用いた後述する領域配置処理や、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)を用いた後述する空白領域配置処理などが挙げられる。また、本実施形態に係る選択された画像に対応する画像に関する情報に基づくレイアウトの生成に係る処理としては、例えば、画像のアスペクト比(本実施形態に係る画像に関する情報)を用いた後述する領域配置処理などが挙げられる。
 図29、図30は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、(4)の処理(レイアウト生成処理)の一例を示している。図29に示すAは、ページに1枚の画像を配置する領域を配置する場合に生成されるレイアウトの一例を示しており、図29に示すBは、上記(3)の処理(画像選択処理)において選択された画像が配置される領域が、生成されたレイアウトに配置されたページの一例を示している。また、図30に示すA1、A2、B1~B3は、ページに4枚の画像を配置する領域を配置する場合に生成されるレイアウトの一例を示しており、図30に示すA3、B4は、上記(3)の処理(画像選択処理)において選択された画像が配置される領域が、生成されたレイアウトに配置されたページの一例を示している。
 ページに1枚の画像を配置する領域を配置する場合には、本実施形態に係る情報処理装置は、例えば図29のAに示すように、グリッド数(X,Y)=(1,1)の領域を、画像が配置される領域としてページに配置する。
 また、ページに2枚以上の画像を配置する領域を配置する場合には、本実施形態に係る情報処理装置は、例えば図30のA1、B1に示すように、選択された画像の評価値に基づいて、選択された画像の生成されたレイアウトにおけるサイズのレベル(以下、「コマレベル」と示す場合がある。)を決定する(コマレベル決定処理)。ここで、本実施形態に係る選択された画像の生成されたレイアウトにおけるサイズのレベルとは、例えば、画像が配置される領域をグリッドで表した場合に、選択された画像がどの程度のグリッドを占有するかを示す指標である。
 そして、本実施形態に係る情報処理装置は、例えば図30のA2、B2、B3に示すように、画像が配置される領域を配置して、レイアウトを生成する(領域配置処理)。
(4-1)コマレベル決定処理
 図31は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係るコマレベル決定処理の一例を示している。ここで、図31は、本実施形態に係る情報処理装置が、コマレベル1(例えば、画像が配置される領域をグリッドで表した場合に、1つのグリッドを占有することを示すレベル)と、コマレベル2(例えば、画像が配置される領域をグリッドで表した場合に、4つのグリッドを占有することを示すレベル)との2つのレベルに、上記(3)の処理(画像選択処理)において選択された画像を分類する場合における、本実施形態に係るコマレベル決定処理の一例を示している。
 本実施形態に係る情報処理装置は、例えば、所定の閾値(図31に示すTh)と、選択された画像の評価値とを用いた閾値処理を行うことによって、各画像のコマレベルを決定する。
 なお、図31では、所定の閾値としてTh=0.5が設定されている例を示しているが、本実施形態に係るコマレベル決定処理において用いられる閾値は、上記に限られない。例えば、本実施形態に係る情報処理装置は、0.5以外の予め設定された閾値や、ユーザ操作などに基づき設定される閾値を用いて、本実施形態に係るコマレベル決定処理を行ってもよい。
 また、図31では、本実施形態に係る情報処理装置が、上記(3)の処理(画像選択処理)において選択された画像を、コマレベル1またはコマレベル2の2つのコマレベルに分類することにより各画像のコマレベルを決定する例を示しているが、本実施形態に係る情報処理装置が決定するコマレベルは、上記に限られない。例えば、本実施形態に係る情報処理装置は、“コマレベル1、コマレベル2、または、コマレベル3(例えば、画像が配置される領域をグリッドで表した場合に、9つのグリッドを占有することを示すレベル)”の3つのコマレベルに分類するなど、3つ以上のコマレベルに分類することにより、各画像のコマレベルを決定してもよい。選択された各画像を3つ以上のコマレベルに分類する場合には、例えば、Th1=0.33、Th2=0.67などの複数の所定の閾値(3つのコマレベルに分類する場合の所定の閾値の一例)を用いた閾値処理によって、各画像のコマレベルを決定する。
 例えば上記のようにコマレベルを決定することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第3の例(休み)を実現することができる。
(4-2)領域配置処理
 図32、図33は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る領域配置処理の一例を示している。ここで、図32は、本実施形態に係る領域配置処理の概要を示しており、図33は、本実施形態に係る領域配置処理によって配置される、画像が配置される領域の一例を示している。以下では、例えば図32のAに示すように、上記(3)の処理(画像選択処理)において選択された画像のコマレベルが、コマレベル1の画像(例えば本実施形態に係る休みの画像に該当する。)が2枚、コマレベル2の画像(例えば本実施形態に係る働く画像に該当する。)が2枚である場合を例に挙げて、本実施形態に係る領域配置処理の一例について説明する。
 本実施形態に係る情報処理装置は、例えば、本実施形態に係る休みの画像が連続して配置されないように、画像が配置される領域を配置する。例えば、上記のように、本実施形態に係る休みの画像が連続して配置されないように、画像が配置される領域を配置することによって、例えば上述した本実施形態に係る質の高いフォトブックの第3の例(休み)が実現される。
 また、本実施形態に係る情報処理装置は、例えば、ページにおける画像が配置される領域をグリッドで表し、例えば図32のB1~B3に示すように、ページの左上から右下に向けて選択された画像を配置する領域を配置していく。
 ここで、例えば図32に示すようにページにおける画像が配置される領域をグリッド数(X,Y)=(4,3)の領域で表した場合には、図32のB2、B3に示すように、図32のAに示す全ての画像について配置する領域を配置することはできない。よって、本実施形態に係る情報処理装置は、ページにおける画像が配置される領域をグリッド数(X,Y)=(4,3)の領域で表すことはできないと判定する。
 上記のようにページにおける画像が配置される領域を一のグリッド数(X,Y)の領域で表すことはできないと判定すると、本実施形態に係る情報処理装置は、例えば図33に示すように、ページにおける画像が配置される領域を他のグリッド数(X,Y)の領域で表して、再度ページの左上から右下に向けて選択された画像を配置する領域を配置する。ここで、図33では、本実施形態に係る情報処理装置が、ページにおける画像が配置される領域をグリッド数(X,Y)=(3,4)の領域で表した場合を示している。
 例えば、図33のFに示すように図32のAに示す全ての画像について配置する領域を配置することができた場合には、本実施形態に係る情報処理装置は、全ての画像について配置する領域を配置することができた場合における画像が配置される領域を、ページに生成する。
 ここで、図33のB、Cに示すように、本実施形態に係る情報処理装置は、例えば、画像が配置される領域を、画像のコマレベルに対応する領域よりも大きくしてもよい。本実施形態に係る情報処理装置は、例えば、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)が示す空白の度合いに基づいて、画像が配置される領域を、画像のコマレベルに対応する領域よりも大きくする。
 また、図33のDに示すように選択された画像を配置する領域を配置するときに、本実施形態に係る休みの画像が連続して配置されてしまう場合には、図33のEに示すように、既に配置されている選択された画像を配置する領域と、当該本実施形態に係る休みの画像を配置する領域とを入れ替えてもよい。また、本実施形態に係る情報処理装置は、例えば、空白に対応する領域が、図33のDに示す本実施形態に係る休みの画像のように連続して配置されてしまう場合には、図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域とを入れ替えることも可能である。さらに、本実施形態に係る情報処理装置は、例えば、空白に対応する領域と本実施形態に係る休みの画像とが、図33のDに示す本実施形態に係る休みの画像のように連続して配置されてしまう場合には、図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域または本実施形態に係る休みの画像を配置する領域とを入れ替えてもよい。
 例えば上記のように画像が配置される領域を配置することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
 本実施形態に係る情報処理装置は、(4)の処理(レイアウト生成処理)として、例えば上記(4-1)の処理(コマレベル決定処理)、および上記(4-2)の処理(領域配置処理)を行う。本実施形態に係る情報処理装置が、(4)の処理(レイアウト生成処理)として、例えば上記(4-1)の処理(コマレベル決定処理)、および上記(4-2)の処理(領域配置処理)を行うことによって、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
 なお、本実施形態に係る情報処理装置における(4)の処理(レイアウト生成処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)を用いた空白領域配置処理をさらに行うことも可能である。
(4-3)空白領域配置処理
 図34~図36は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る空白領域配置処理の一例を示している。ここで、図34は、本実施形態に係る空白領域配置処理の概要を示しており、図35~図36は、本実施形態に係る空白領域配置処理の一例を示している。
 上記本実施形態に係る質の高いフォトブックの第3の例(休み)において示したように、質の高いフォトブックを実現する一の方法としては、例えば図34のA1、B1に示すように、空白に対応する領域(以下、例えば、「空白コマ」または「Empty」と示す場合がある。)を配置することが挙げられる。そこで、本実施形態に係る情報処理装置は、例えば図34のA1、B1に示すようなページを実現するために、例えば図34のA2、B2に示すように、空白に対応する領域を配置する。
 より具体的には、本実施形態に係る情報処理装置は、まず、ページにおいて画像が配置される領域をグリッドで表した場合に、空白コマがページにおいて占める領域の総グリッド数(空白コマがページにおいて占める領域の総面積に相当する。)を決定する。本実施形態に係る情報処理装置は、例えば、ページにおいて画像が配置される領域をグリッドで表した場合に、上記(3)の処理(画像選択処理)において選択された画像が占有するグリッド数と、本実施形態に係るページにおける空白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)とに基づいて、空白コマがページにおいて占める領域の総グリッド数を決定する。ここで、本実施形態に係る空白コマが配置されるページは、例えば、2つのページからなる見開きページであってもよい。
 例えば、図35に示すように、選択された画像が占有するグリッド数が8であり、ページにおける空白率(本実施形態に係るページにおける空白に関するパラメータの一例)が50[%]である場合には、例えば“8×50/(100-50)=8”の演算により、空白コマがページにおいて占める領域の総グリッド数は8と決定される。
 例えば上記のように、空白コマがページにおいて占める領域の総グリッド数が決定されると、本実施形態に係る情報処理装置は、空白コマの数と、空白コマの配置されたレイアウトにおけるサイズのレベル(以下、「空白コマのコマレベル」と示す場合がある。)とを決定する。
 ここで、空白コマの数と空白コマのコマレベルとの決定方法としては、例えば、下記に示す条件を満たすように決定する方法が挙げられる。なお、空白コマの数と空白コマのコマレベルとの決定に係る条件が、下記に示す条件に限られないことは、言うまでもない。
  ・空白コマの数は、画像コマの数以下であること
  ・空白コマの最大コマレベルは、画像コマの最大コマレベルよりも大きくならないこと
  ・できるだけ小さいコマレベルの空白コマから構成されること
 より具体的には、本実施形態に係る情報処理装置は、例えば、空白コマのコマレベルが1である空白コマのみで空白コマを作る。空白コマがページにおいて占める領域の総グリッド数が8であるので、空白コマのコマレベルが1である空白コマのみで空白コマを作る場合には、コマレベルが1の空白コマが8つ作られる。
 ここで、上記のように、空白コマのコマレベルが1である空白コマのみで空白コマを作った場合には、8(空白コマの数)>2(画像コマの数)であるので、上記条件を満たさない。よって、本実施形態に係る情報処理装置は、上記条件を満たす最大数である2を空白コマの数として決定し、また、空白コマのコマレベルを1と決定する。つまり、本実施形態に係る情報処理装置は、上記条件を満たすために、例えば、作られた8つの空白コマのうち、6つの空白コマを使用しない。
 なお、本実施形態に係る情報処理装置における空白コマの数と空白コマのコマレベルとの決定に係る処理の例は、上記に限られない。例えば、空白コマのコマレベルが1である空白コマのみで空白コマを作ったときに上記条件を満たさないと判定された場合、本実施形態に係る情報処理装置は、空白コマのコマレベルが2である空白コマを含めた空白コマを作って、上記条件を満たすか否かを判定してもよい。
 ここで、本実施形態に係る空白領域配置処理の具体例を挙げる。
 例えば、図36のAに示すように、選択された画像が占有するグリッド数が5であり、ページにおける空白率(本実施形態に係るページにおける空白に関するパラメータの一例)が20[%]である場合には、例えば“5×20/(100-20)=1.25”の演算により、空白コマがページにおいて占める領域の総グリッド数は1と決定される。
 また、図36のB1に示すように、ページにおける画像が配置される領域をグリッド数(X,Y)=(3,2)と決定された場合には、例えば図36のB2に示すように、上記(4-2)の処理(領域配置処理)により画像が配置される領域がページに配置される。そして、本実施形態に係る情報処理装置は、例えば、上記(5)の処理(レイアウト調整処理)、および上記(6)の処理(画像処理)を行うことによって、例えば図36のBに示すフォトブックのページを生成する。なお、本実施形態に係る情報処理装置は、例えば図36のB2に示すように、空白に対応する領域と本実施形態に係る休みの画像とが連続して配置されてしまう場合には、例えば図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域または本実施形態に係る休みの画像を配置する領域とを入れ替えてもよい。また、上述したように、本実施形態に係る情報処理装置は、例えば、空白に対応する領域が、図33のDに示す本実施形態に係る休みの画像のように連続して配置されてしまう場合には、図33のEに示すような本実施形態に係る休みの画像を配置する領域の入れ替えと同様に、既に配置されている選択された画像を配置する領域と、空白に対応する領域とを入れ替えることも可能である。
 本実施形態に係る情報処理装置が、(4)の処理(レイアウト生成処理)として、例えば上記(4-3)の処理(空白領域配置処理)をさらに行うことによって、例えば、上述した質の高いフォトブックの第3の例(休み)と、上述した質の高いフォトブックの第5の例(画像が占める面積のバランス)と、上述した質の高いフォトブックの第8の例(コマ割り)とを実現することができる。
(5)レイアウト調整処理
 本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する。より具体的には、本実施形態に係る情報処理装置は、例えば下記の(5-1)の処理~(5-5)の処理のうちの、1または2以上の処理を行う。
(5-1)余白の調整に係る処理
 本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに、1ページに1つの画像を配置するレイアウトが含まれる場合には、1つの画像が配置されるページにおける余白を調整する
 図37は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る余白の調整に係る処理の一例を示している。ここで、図37に示すA1、A2は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトの一例を示している。また、図37に示すB1~B3は、本実施形態に係る余白の調整に係る処理により調整されたレイアウトの一例を示している。
 本実施形態に係る情報処理装置は、例えば、“TOPの余白=OUTSIDEの余白=BOTTOMの余白=INSIDEの余白=x(xは、正の実数)”や、“余白のON/OFFを示すパラメータ”などの余白に関するパラメータ(本実施形態に係るレイアウトに関するパラメータ)に基づいて、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する。
 本実施形態に係る情報処理装置が、(5)の処理(レイアウト調整処理)として(5-1)の処理(余白の調整に係る処理)を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)と、上述した質の高いフォトブックの第6の例(レイアウト)とを実現することができる。
(5-2)クリッピング処理
 本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに配置される選択された画像に基づいて、選択された画像が配置される領域をクリッピングする。
 図38、図39は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係るクリッピング処理の一例を示している。ここで、図38に示すAは、クリッピング処理が行われる前の生成されたレイアウトの一例を示しており、図38に示すBは、クリッピング処理が行われた後の調整されたレイアウトの一例を示している。また、図38のBに示すC1、C2は、クリッピングされた、選択された画像が配置される領域を示している。また、図39に示すAは、上記(3)の処理(画像選択処理)により選択された画像の一例を示しており、図39に示すB、Cは、1ページに1枚の画像が配置される場合において、上記(6)の処理(画像処理)によって、クリッピングされることにより調整されたレイアウトに配置される画像の一例を示している。
 本実施形態に係る情報処理装置は、例えば、アスペクト比の制限を示すパラメータ(本実施形態に係るレイアウトに関するパラメータの一例)が示すアスペクト制限外のコマ(選択された画像が配置される領域)をクリッピングする。上記のように、アスペクト制限外のコマをクリッピングすることによって、例えば、縦長または横長すぎるコマを抑制することができる。
 ここで、本実施形態に係るクリッピング処理としては、クリッピングする対象のコマに配置される選択された画像に対応する画像に関する情報に基づいて、クリッピングする対象のコマに配置される選択された画像のアスペクト比を優先してクリッピングする処理が挙げられる。より具体的には、例えば図39のAに示すように、クリッピングする対象のコマに配置される選択された画像のアスペクト比(本実施形態に係る画像に関する情報の一例)が、当該選択された画像が横長の画像であることを示す場合には、本実施形態に係る情報処理装置は、図39のBではなく図39のCに示すような画像が配置されることを優先して、コマ(選択された画像が配置される領域)をクリッピングする。
 例えば上記のように選択された画像が配置される領域をクリッピングすることによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第7の例(画像処理)と、上述した質の高いフォトブックの第8の例(コマ割り)とを実現することができる。
(5-3)回転処理
 本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに配置される選択された画像が配置される領域を回転させる。
(5-3-1)回転処理の第1の例
 本実施形態に係る情報処理装置は、例えば、回転角θの最大値を示すパラメータなど、本実施形態に係るレイアウトに関するパラメータに基づいて、選択された画像が配置される領域を回転させる。
 より具体的には、本実施形態に係る情報処理装置は、例えば、ページ(または見開きページ)に配置された、選択された画像が配置される領域それぞれに対して、ページの水平方向などの基準方向に対する回転方向および回転角度θを、ランダムに設定する。なお、回転角度θには、例えば、回転角θの最大値を示すパラメータにより、制限が設けられる。なお、本実施形態に係る情報処理装置は、回転角度θに本実施形態に係るレイアウトに関するパラメータに基づく制限が設けられていなくても、本実施形態に係る回転処理を行うことが可能である。
 また、本実施形態に係る情報処理装置は、選択された画像が配置される領域の回転角θの平均μを下記の数式1により算出し、選択された画像が配置される領域の回転角θの分散σを下記の数式2により算出する。ここで、数式1、数式2に示す“N”は、ページ(または見開きページ)に配置された、選択された画像が配置される領域の数を示している。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 そして、本実施形態に係る情報処理装置は、例えば、算出された回転角の平均μと回転角の分散σとに基づいて、ページに配置された選択された画像が配置される領域に対してそれぞれ設定した回転方向および回転角度θのバランスが、よいか否かを判定する。
 より具体的には、本実施形態に係る情報処理装置は、例えば、算出された回転角の平均μと回転角の平均に係る閾値T1との比較結果と、算出された回転角の分散σと回転角の分散に係る閾値T2との比較結果とが、所定の条件(例えば、“|σ|<T1かつμ>T2”)を満たす場合に、設定した回転方向および回転角度θのバランスがよいと判定する。ここで、閾値T1、T2それぞれは、予め設定されている固定値であってもよいし、ユーザ操作などにより変更可能な可変値であってもよい。
 設定した回転方向および回転角度θのバランスがよいと判定された場合には、本実施形態に係る情報処理装置は、設定した回転方向および回転角度θを用いて選択された画像が配置される領域を回転させる。また、設定した回転方向および回転角度θのバランスがよいと判定されない場合には、本実施形態に係る情報処理装置は、回転方向および回転角度θを再度設定し直して、再度設定した回転方向および回転角度θのバランスがよいか否かを判定する。
 例えば上記のように選択された画像が配置される領域を回転させることによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第9の例(コマの回転)を実現することができる。
(5-3-2)回転処理の第2の例
 本実施形態に係る情報処理装置は、例えば、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトに配置される選択された画像の生成されたレイアウトにおけるサイズに基づいて、選択された画像が配置される領域を回転させる。
 ここで、本実施形態に係る生成されたレイアウトにおけるサイズとしては、例えば本実施形態に係るコマレベルや、選択された画像が配置される領域がページまたは見開きページに占める面積などが挙げられる(以下、同様とする。)。
 図40は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る回転処理の第2の例を示している。ここで、図40に示すAは、本実施形態に係る回転処理の第2の例が行われた結果、(6)の処理(画像処理)により配置される画像の一例を示している。また、図40に示すBは、本実施形態に係る回転処理の第2の例を説明するための図40のAに対する比較例を示している。
 例えば図40のBに示すように、大きなコマ(選択された画像が配置される領域)が大きく回転していたり、コマがわずかに回転している場合には、コマの回転が不自然であるとユーザに捉えられる恐れがある。そこで、本実施形態に係る情報処理装置は、例えば図40のAに示すように、大きなコマは回転させないこと(または、回転角をより小さくさせること)や、わずかすぎる回転はさせないことによって、コマの回転が不自然であるとユーザに捉えられることを防止する。
 例えば上記のように選択された画像が配置される領域を回転させることによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第9の例(コマの回転)を実現することができる。
 本実施形態に係る回転処理は、上記第1の例に係る処理、上記第2の例に係る処理に限られない。例えば、本実施形態に係る情報処理装置は、上記第1の例に係る処理、または、上記第2の例に係る処理に加え、下記に示す第3の例に係る処理をさらに行ってもよい。
(5-3-3)回転処理の第3の例
 例えば、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域を、縮小、および/または、平行移動させて余白を調整してもよい。
 図41は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る回転処理の第3の例による余白の調整の一例を示している。
 例えば図41に示すように、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域が、配置されている余白にはみ出さないように、回転させた後の選択された画像が配置される領域を、縮小および平行移動させる。なお、図41では、図41のCに示すように、回転させた後の選択された画像が配置される領域を、縮小および平行移動された例を示しているが、本実施形態に係る回転処理の第3の例にいける余白の調整方法の一例は、図41に示す例に限られない。例えば、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域を、縮小または平行移動させることによって、余白を調整してもよい。
 例えば上記のように余白を調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第1の例(余白)を実現することができる。
(5-4)空白調整処理
 本実施形態に係る情報処理装置は、例えば、生成されたレイアウトに配置される選択された画像が配置される領域を、拡大および/または、平行移動させることによって、生成されたレイアウトにおける空白を調整する。
 図42、図43は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る空白調整処理の一例を示している。
 本実施形態に係る情報処理装置は、例えば図42のA~Dに示すように、空白がある方向に、コマ(選択された画像が配置される領域)を移動する。ここで、本実施形態に係る情報処理装置は、例えば、コマごとに、移動可能な方向と移動可能な距離を判定する。そして、本実施形態に係る情報処理装置は、例えば、移動可能な方向の候補が少ないコマから、順により移動可能な距離が大きい方向へとコマを移動させる。また、本実施形態に係る情報処理装置は、例えば、移動可能な距離が大きいほど、すなわち、空白の大きさが大きいほどコマの移動量を大きくする。
 また、本実施形態に係る情報処理装置は、例えば図43に示すように、コマ(選択された画像が配置される領域)の周囲に空白が存在する場合には、周囲に空白が存在するコマを拡大する。また、本実施形態に係る情報処理装置は、例えば図43に示すように、2方向に空白が存在する場合には、周囲に空白が存在するコマを斜めに平行移動させてもよい。
 なお、図43では、本実施形態に係る情報処理装置が、“Koma 2”(選択された画像が配置される領域の一例)を平行移動および拡大させた例を示しているが、本実施形態に係る空白調整処理における空白の調整方法の一例は、図43に示す例に限られない。例えば、本実施形態に係る情報処理装置は、“Koma 2”(選択された画像が配置される領域の一例)を拡大させることのみによって、空白を調整してもよい。
 例えば上記のように生成されたレイアウトにおける空白を調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第8の例(コマ割り)を実現することができる。
(5-5)重なり調整処理
 また、本実施形態に係る情報処理装置は、例えば、生成されたレイアウトに配置される選択された画像の、生成されたレイアウトにおけるサイズに基づいて、選択された画像が配置される領域の重なり方を調整する。
 図44は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る重なり調整処理の一例を示している。ここで、図44は、本実施形態に係る重なり調整処理の一例を示している。また、図44では、本実施形態に係る生成されたレイアウトにおけるサイズを「面積」と示している。
 本実施形態に係る情報処理装置は、例えば、コマ(生成されたレイアウトに配置される選択された画像が配置される領域)を、生成されたレイアウトにおけるサイズ順に並び替える。そして、本実施形態に係る情報処理装置は、例えば図44に示すように、生成されたレイアウトにおけるサイズが大きなコマの上に、より小さなコマが重なるように、各領域に深さ値Depthを設定する。なお、生成されたレイアウトにおけるサイズが小さなコマの上に、より大きなコマが重なるように、各領域に深さ値Depthを設定することが可能であることは、言うまでもない。
 例えば上記のように選択された画像が配置される領域の重なり方を調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第10の例(コマの重なり)を実現することができる。
 なお、本実施形態に係る重なり調整処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、例えば、生成されたレイアウトに配置される選択された画像が配置される領域の重なりを判定し、重なりの判定結果に基づいて選択された画像が配置される領域を平行移動させて、選択された画像が配置される領域の重なりを調整してもよい。
 図45、図46は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る重なり調整処理の他の例を示している。ここで、図45に示すAは、本実施形態の第5の例に係る重なり調整処理の他の例に係る処理が行われる前の、選択された画像が配置される領域の一例を示している。また、図45に示すBは、本実施形態に係る重なり調整処理の他の例に係る処理が行われた後の、選択された画像が配置される領域の一例を示している。
 上記質の高いフォトブックの第10の例(コマの重なり)において示したように、例えば図45のAに示すような、コマ同士の微妙な重なり具合や接し具合(例えば、コマ同士が微かに重なる場合や、コマ同士があとわずかで重なりそうな場合)を回避することによって、より質の高いフォトブックを実現することが可能となる。
 そこで、本実施形態に係る情報処理装置は、回転させた後の選択された画像が配置される領域同士の重なりを判定する。そして、本実施形態に係る情報処理装置は、判定結果に基づいて選択された画像が配置される領域を平行移動させて、選択された画像が配置される領域の重なりを調整する。
 より具体的には、本実施形態に係る情報処理装置は、例えば図46に示すように、コマ(選択された画像が配置される領域)が重なっているか否かと、コマを拡大/縮小した場合に重なっているか否かとの2つの判定結果に基づいて、重なり度(上記判定結果の一例)を判定する。ここで、上記のような2つの判定結果に基づき重なり度を判定することによって、コマ同士の微妙な重なり具合や接し具合を判定することが可能となる。
 そして、本実施形態に係る情報処理装置は、例えば図46に示すように、判定された重なり度に応じて選択された画像が配置される領域を平行移動させる。ここで、本実施形態に係る情報処理装置は、例えば、重なり度と処理の内容とが対応付けられたテーブルなどを参照することによって、判定された重なり度に応じて選択された画像が配置される領域を平行移動させる。
 例えば上記のように選択された画像が配置される領域の重なりを調整することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第10の例(コマの重なり)を実現することができる。
(6)画像処理
 本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において生成されたレイアウト、または、上記(5)の処理(レイアウト調整処理)において調整されたレイアウトに、上記(3)の処理(画像選択処理)において選択された画像を配置する。
 ここで、本実施形態に係る情報処理装置は、上記(3)の処理(画像選択処理)において選択された画像そのものを生成されたレイアウトまたは調整されたレイアウトに配置するが、本実施形態に係る(6)の処理(画像処理)は、上記に限られない。例えば、本実施形態に係る情報処理装置は、下記の(6-1)~(6-3)に示す処理のうちの、1または2以上の処理を行い、処理後の画像を生成されたレイアウトまたは調整されたレイアウトに配置してもよい。
(6-1)画像処理の第1の例:構図の変更に係る処理
 本実施形態に係る情報処理装置は、例えば、生成されたレイアウトまたは調整されたレイアウトに配置される選択された画像から被写体を検出する。そして、被写体が検出された場合には、本実施形態に係る情報処理装置は、選択された画像に含まれる被写体に基づいて選択された画像の構図を変更して、構図が変更された画像を配置する。
 ここで、本実施形態に係る情報処理装置が、選択された画像から検出する被写体としては、例えば、人間の顔や、車などの物体などが挙げられる。本実施形態に係る情報処理装置は、例えば、任意の顔検出処理や、任意の物体検出処理を行うことによって、選択された画像から被写体を検出する。
 図47は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態の第1の例に係る画像処理の一例を示している。ここで、図47は、本実施形態に係る情報処理装置が、選択された画像から人間の顔を被写体として検出して、当該選択された画像を三分割構図の画像に変更する例を示している。
 本実施形態に係る情報処理装置は、例えば、選択された画像から人間の顔などの被写体を検出する。そして、本実施形態に係る情報処理装置は、被写体が検出された場合には、例えば図47に示すように、検出された被写体が三分割点に乗るようにフレーミングすることによって、選択された画像の構図を変更する。ここで、本実施形態に係る情報処理装置は、例えば、顔の向きを考慮して三分割点を設定する。
 例えば図47に示すように、選択された画像を三分割構図の画像に変更することによって、例えば日の丸構図で撮像された画像を、よりよい構図に変更することが可能となる。また、例えばよりよい構図に変更することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第2の例(粗密)や、質の高いフォトブックの第7の例(画像処理)を実現することができる。
 なお、本実施形態の第1の例に係る画像処理において変更される構図は、三分割構図に限られない。例えば、本実施形態に係る情報処理装置は、選択された画像の構図を、斜め二分割構図などの他の構図の画像に変更することも可能である。
(6-2)画像処理の第2の例:選択的なフレーミングに係る処理
 本実施形態に係る情報処理装置は、例えば、生成されたレイアウトまたは調整されたレイアウトに配置される選択された画像の、生成された(または調整された)レイアウトにおけるサイズに基づいて、選択された画像から所定の被写体を選択的に検出する。そして、本実施形態に係る情報処理装置は、所定の被写体が検出された場合には、選択された画像に含まれる所定の被写体が拡大された画像を配置する。
 ここで、本実施形態に係る情報処理装置が、選択された画像から検出する所定の被写体としては、例えば、人間の顔が挙げられる。本実施形態に係る情報処理装置は、例えば、任意の顔検出処理を行うことによって、選択された画像から所定の被写体を検出する。なお、本実施形態に係る情報処理装置は、例えば、景色や物などは所定の被写体として検出しない。例えば、景色や物などを所定の被写体として検出した場合には、所定の被写体が拡大された結果、画像の全体像が見えにくくなる恐れがあるからである。
 また、本実施形態に係る情報処理装置は、例えば、コマ(選択された画像が配置される領域)の生成されたレイアウトにおけるサイズが、所定の閾値以下のコマ(または、所定の閾値より小さいコマ)から、所定の被写体を選択的に検出する。ここで、第2の例に係る画像処理における所定の閾値としては、例えば、コマレベルに関する閾値や、ページまたは見開きページにコマが占める面積に関する閾値が挙げらえる。また、第2の例に係る画像処理における所定の閾値は、予め設定されている固定値であってもよいし、ユーザ操作などにより変更可能な可変値であってもよい。
 図48は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態の第2の例に係る画像処理の一例を示している。ここで、図48に示すAは、本実施形態に係る画像処理の第2の例が行われた結果配置される画像の一例を示している。また、図48に示すBは、本実施形態に係る画像処理の第2の例を説明するための図48のAに対する比較例を示している。
 例えば図48のBに示すB1のように、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像が人を含む場合には、当該人の顔が小さくなりすぎることによって、ユーザが当該人の顔を認識し難くなる恐れがある。そこで、本実施形態に係る情報処理装置は、例えば図48のAに示すA1のように、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像が人を含む場合には、当該人の顔が拡大された画像を配置する。
 例えば図48のAに示すように、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像に含まれる顔が拡大された画像を配置することによって、本実施形態に係る情報処理装置は、フォトブックをみたユーザが当該人の顔を認識し難くなることを防止することができる。また、例えば、サイズが小さなコマ(選択された画像が配置される領域)に配置される画像に含まれる顔が拡大された画像を配置することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第7の例(画像処理)を実現することができる。
(6-3)画像処理の第3の例:ページまたぎに係る処理
 本実施形態に係る情報処理装置は、例えば、生成されたレイアウトまたは調整されたレイアウトに配置される選択された画像のうち、複数のページにまたがって配置される画像がある場合には、複数のページにまたがって配置される画像から所定の被写体を検出する。そして、本実施形態に係る情報処理装置は、例えば、複数のページの境目に検出された所定の被写体が位置しないように、複数のページにまたがって配置される画像を処理する。
 ここで、本実施形態に係る情報処理装置が、選択された画像から検出する被写体としては、例えば、人間の顔や、車などの物体などが挙げられる。本実施形態に係る情報処理装置は、例えば、任意の顔検出処理や、任意の物体検出処理を行うことによって、選択された画像から被写体を検出する。
 また、本実施形態に係る第3の例の画像処理における、複数のページの境目に検出された所定の被写体が位置しないようにするための処理としては、例えば、上記第1の例に係る画像処理と同様に選択された画像の構図を変更することや、選択された画像からフレーミングする領域を平行移動させることなどが挙げられる。
 図49は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態の第3の例に係る画像処理の一例を示している。ここで、図49に示すAは、本実施形態に係る画像処理の第3の例が行われた結果配置される画像の一例を示している。また、図49に示すBは、本実施形態に係る画像処理の第3の例を説明するための図49のAに対する比較例を示している。
 例えば図49のBに示すB1のように、配置される選択された画像に含まれる人の顔が、ページの境目に位置する場合には、ユーザが当該人の顔を認識し難くなる恐れがある。そこで、本実施形態に係る情報処理装置は、例えば図49のAに示すA1のように、配置される選択された画像に含まれる人の顔が、ページの境目に位置しないように、当該配置される選択された画像を処理し、処理後の画像を配置する。
 例えば図49のAに示すように、配置される選択された画像に含まれる人の顔(所定の被写体の一例)がページの境目に位置することを回避することによって、本実施形態に係る情報処理装置は、フォトブックをみたユーザが当該人の顔を認識し難くなることを防止することができる。また、例えば、配置される選択された画像に含まれる人の顔(所定の被写体の一例)がページの境目に位置することを回避することによって、本実施形態に係る情報処理装置は、例えば、上述した質の高いフォトブックの第7の例(画像処理)を実現することができる。
 本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、 “上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)~上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)~上記(6)の処理(画像処理)”を行う。
 ここで、例えば、上記(1)の処理(評価値算出処理)において候補画像をグループ化して、後段の処理を行う場合には、本実施形態に係る情報処理装置は、例えば、画像が時系列順に並んだフォトブックを実現することが可能となる。よって、本実施形態に係る情報処理方法に係る処理によって実現されたフォトブックをみたユーザは、フォトブックに配置された画像を、時系列のストーリーとして読み解くことができる。また、例えば、上記(1)の処理(評価値算出処理)において候補画像をグループ化して、後段の処理を行う場合には、本実施形態に係る情報処理装置は、類似する画像が配置されることを防止することもできる。
 また、本実施形態に係る情報処理装置は、上記(3)の処理(画像選択処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(1)の処理(評価値算出処理)において算出された評価値とに基づいて、候補画像の中から画像を選択する。よって、本実施形態に係る情報処理装置は、候補画像が多数存在する場合であっても、よりよい画像(より質の高いフォトブックを実現するための画像)を自動的に選択することができる。
 また、本実施形態に係る情報処理装置は、上記(4)の処理(レイアウト生成処理)において、本実施形態に係るレイアウトに関するパラメータと、上記(3)の処理(画像選択処理)において選択された画像に対応する評価値とに基づいて、レイアウトを生成する。よって、本実施形態に係る情報処理装置は、質のよいレイアウトを自動的に生成することができる。また、本実施形態に係るレイアウトに関するパラメータに基づいて処理が行われるので、本実施形態に係る情報処理方法に係る処理を用いる場合には、様々なデザインテーマのレイアウトのバリエーションをより容易に生成することができる。
 また、本実施形態に係る情報処理装置は、上記(5)の処理(レイアウト調整処理)において、上記(4)の処理(レイアウト生成処理)において生成されたレイアウトを調整する。また、本実施形態に係る情報処理装置は、上記(6)の処理(画像処理)において、上記(3)の処理(画像選択処理)において選択された画像、または、構図を変更した画像などの処理後の画像を、生成されたレイアウトまたは調整されたレイアウトに配置する。よって、本実施形態に係る情報処理装置は、例えばより質の高いフォトブックを実現することができる。
 なお、本実施形態に係る情報処理方法に係る処理は、上記(1)の処理(評価値算出処理)~上記(6)の処理(画像処理)に示す処理に限られない。
(7)評価処理
 例えば、本実施形態に係る情報処理装置は、生成されたレイアウト(調整されたレイアウトも含む。)を評価する評価処理をさらに行ってもよい。より具体的には、本実施形態に係る情報処理装置は、例えば、生成されたレイアウトをスコアリングすることによって、生成されたレイアウトを評価する。
 生成されたレイアウトがスコアリングされることによって、本実施形態に係る情報処理装置は、例えば、算出されたスコアが低い場合には再度本実施形態に係る情報処理方法に係る処理を行うことによって、全てのページまたは一部のページのレイアウトを生成し直すことが可能となる。よって、本実施形態に係る情報処理装置が本実施形態に係る評価処理をさらに行うことによって、より質の高いフォトブックを生成するためのレイアウトを生成することができる。
 また、候補画像に対して、様々な設定を用いてレイアウトを生成して、生成したレイアウトの評価を行うことによって、本実施形態に係る情報処理装置は、例えば、当該候補画像におけるベストスコアのレイアウトを選択することも可能である。ここで、本実施形態では、例えば、本実施形態に係るレイアウトに関するパラメータを変更することや、候補画像の枚数の変更すること、候補画像の入れ替えによる設定などによって、様々な設定が行われる。
 ここで、本実施形態に係る情報処理装置は、例えば、算出されたスコアが設定されている閾値以下の場合(または、算出されたスコアが設定されている閾値より小さい場合)に、算出されたスコアが低いと判定する。上記スコアの判定に係る閾値は、予め設定されている固定値であってもよいし、ユーザなどにより変更可能な可変値であってもよい。
 また、本実施形態に係る情報処理装置は、算出されたスコアが低いと判定された場合には、本実施形態に係る情報処理方法に係る処理を最初から(上記(1)の処理(評価値算出処理)から)行うが、算出されたスコアが低いと判定された場合における処理は、上記に限られない。例えば、本実施形態に係る情報処理装置は、上記(5)の処理(レイアウト調整処理)や上記(6)の処理(画像処理)など、一部の処理のみを再度行ってもよい。
 また、本実施形態に係る情報処理装置は、例えば、設定されている基準点から減点してスコアを算出する減点方式によって、生成されたレイアウトのスコアを算出する。上記スコアの算出に係る基準点は、予め設定されている値であってもよいし、ユーザなどにより変更可能な値であってもよい。なお、本実施形態に係る情報処理装置における生成されたレイアウトのスコアリングに係る処理が、減点方式でスコアを算出する処理に限られないことは、言うまでもない。
 図50は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る評価処理における生成されたレイアウトのスコアリングに係る処理の一例を示している。ここで、図50に示すAは、生成されたレイアウトのスコアリングに係る処理において減点対象となるレイアウトの一例を示しており、図50に示すBは、減点スコアの算出方法の一例を示している。
 生成されたレイアウトが、例えば図50のBに示すような減点対象に該当する場合には、本実施形態に係る情報処理装置は、減点スコアを算出する。そして、本実施形態に係る情報処理装置は、設定されている基準点から算出した減点スコアを減算することによって、生成されたレイアウトのスコアを算出する。
(8)学習処理
 また、本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習する学習処理を、さらに行ってもよい。本実施形態に係る情報処理装置は、例えば、レイアウトに関するパラメータが用いられた回数、または、レイアウトに関するパラメータが用いられた回数および生成されたレイアウトが確定されたか否かに基づいて、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習する。
 学習処理をさらに行うことによって、本実施形態に係る情報処理装置は、例えば、ユーザが嫌いな本実施形態に係るレイアウトに関するパラメータを用いないことによって、よりユーザの嗜好に合ったレイアウトを生成することができる。また、学習処理をさらに行うことによって、本実施形態に係る情報処理装置は、例えば、ユーザがより好む本実施形態に係るレイアウトに関するパラメータを、レコメンドすることも可能となる。なお、本実施形態に係る、本実施形態に係る学習処理の結果を用いた処理が、上記に限られないことは、言うまでもない。
 より具体的には、本実施形態に係る情報処理装置は、例えば、設定されている期間内に、レイアウトに関するパラメータが用いられた回数が第1の回数以下の場合(または、レイアウトに関するパラメータが用いられた回数が第1の回数より小さい場合。以下、同様とする。)に、当該レイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶する。ここで、本実施形態に係る学習処理における第1の回数は、例えば、予め設定されている固定値であってもよいし、ユーザなどにより変更可能な可変値であってもよい。
 また、例えば、レイアウトに関するパラメータが用いられた回数が第2の回数を超えた場合(または、レイアウトに関するパラメータが用いられた回数が第2の回数以上の場合。以下、同様とする。)となった場合には、本実施形態に係る情報処理装置は、生成されたレイアウトがそのまま用いられたか、または、生成されたレイアウトが作り直されたかを判定する。ここで、本実施形態に係る学習処理における第2の回数は、例えば、予め設定されている固定値であってもよいし、ユーザなどにより変更可能な可変値であってもよい。
 また、本実施形態に係る情報処理装置は、例えば、本実施形態に係るレイアウトに関するパラメータそのものを、学習結果を示す学習データとして記憶部(後述する)や外部記録媒体、外部装置が備える記録媒体などの記録媒体に記録するが、本実施形態に係る学習処理により記録される学習データは、上記に限られない。例えば、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータを示すデータを、学習データとして記憶部(後述する)などに記録してもよい。
 本実施形態に係る情報処理装置は、例えば、上記(7)の処理(評価処理)において算出されたスコアが低い場合、または、ユーザ操作に基づくレイアウトの作り直しを示す操作信号が検出された場合に、生成されたレイアウトが作り直されたと判定する。また、本実施形態に係る情報処理装置は、例えば、上記(7)の処理(評価処理)において算出されたスコアが低くない場合や、ユーザ操作に基づくレイアウトを確定することを示す操作信号が検出された場合に、生成されたレイアウトがそのまま用いられたと判定する。
 上記判定において、生成されたレイアウトがそのまま用いられたと判定された場合には、本実施形態に係る情報処理装置は、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが好きなパラメータとして記憶部(後述する)などに記録する。また、上記判定において、生成されたレイアウトが作り直されたと判定された場合には、本実施形態に係る情報処理装置は、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶部(後述する)などに記録する。
 図51は、本実施形態に係る情報処理方法に係る処理の一例を説明するための説明図であり、本実施形態に係る学習処理の一例を示している。なお、図51では、本実施形態に係るレイアウトに関するパラメータが「テーマ」と対応付けられており、ユーザが、当該「テーマ」を選択することによって、本実施形態に係る情報処理方法に係る処理が行われる場合における、本実施形態に係る学習処理の一例を示している。
 例えば図51のAに示すように、本実施形態に係る情報処理装置は、設定されている期間において、「テーマ」が選択された回数が0回である場合(レイアウトに関するパラメータが用いられた回数が第1の回数以下の場合の一例)には、当該「テーマ」と対応付けられているレイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶部(後述する)などに記録する。
 また、例えば図51のBに示すように、レイアウトに関するパラメータが用いられた回数が10回である場合(レイアウトに関するパラメータが用いられた回数が第2の回数を超えた場合の一例)となった場合には、本実施形態に係る情報処理装置は、生成されたレイアウトがそのまま用いられたか、または、生成されたレイアウトが作り直されたかを判定する。生成されたレイアウトがそのまま用いられたと判定された場合には、本実施形態に係る情報処理装置は、例えば図51のBに示すように、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが好きなパラメータとして記憶部(後述する)などに記録する。また、生成されたレイアウトが作り直されたと判定された場合には、本実施形態に係る情報処理装置は、例えば図51のBに示すように、生成されたレイアウトに対応するレイアウトに関するパラメータを、ユーザが嫌いなパラメータとして記憶部(後述する)などに記録する。
(本実施形態に係る情報処理装置)
 次に、上述した本実施形態に係る情報処理方法に係る処理を行うことが可能な、本実施形態に係る情報処理装置の構成の一例について、説明する。
 図52は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。情報処理装置100は、例えば、通信部102と、制御部104とを備える。
 また、情報処理装置100は、例えば、ROM(Read Only Memory。図示せず)や、RAM(Random Access Memory。図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。情報処理装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
 ここで、ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
 記憶部(図示せず)は、情報処理装置100が備える記憶手段であり、例えば、“画像データ”や、“本実施形態に係るレイアウトに関するパラメータを示すデータ”、“本実施形態に係る学習データ”、“アプリケーション”など様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、情報処理装置100から着脱可能であってもよい。
 また、操作部(図示せず)としては、後述する操作入力デバイスが挙げられ、表示部(図示せず)としては、後述する表示デバイスが挙げられる。
[情報処理装置100のハードウェア構成例]
 図53は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示す説明図である。情報処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、情報処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
 MPU150は、例えば、MPU(Micro Processing Unit)や各種処理回路などで構成され、情報処理装置100全体を制御する制御部104として機能する。また、MPU150は、情報処理装置100において、例えば、後述する評価値算出部110、ページ割り当て部112、画像選択部114、レイアウト生成部116、レイアウト調整部118、および画像処理部120の役目を果たす。
 ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
 記録媒体156は、記憶部(図示せず)として機能し、例えば、“画像データ”や、“本実施形態に係るレイアウトに関するパラメータを示すデータ”など様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、情報処理装置100から着脱可能であってもよい。
 入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)(登録商標)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、情報処理装置100上に備えられ、情報処理装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(Organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。
 なお、入出力インタフェース158が、情報処理装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
 通信インタフェース164は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、サーバなどの外部装置と無線/有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
 情報処理装置100は、例えば図53に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係る情報処理装置100のハードウェア構成は、図53に示す構成に限られない。例えば、情報処理装置100は、静止画像または動画像を撮像する撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、情報処理装置100は、例えば、撮像デバイスにおける撮像により生成された撮像画像を、候補画像として処理することが可能となる。
 ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理などが挙げられる。
 また、情報処理装置100は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス164を備えていなくてもよい。また、情報処理装置100は、操作デバイス160や表示デバイス162を備えない構成をとることも可能である。
 再度図52を参照して、情報処理装置100の構成の一例について説明する。通信部102は、情報処理装置100が備える通信手段であり、ネットワークを介して(あるいは、直接的に)、サーバなどの外部装置と無線/有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、USB端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
 制御部104は、例えばMPUなどで構成され、情報処理装置100全体を制御する役目を果たす。また、制御部104は、例えば、評価値算出部110と、ページ割り当て部112と、画像選択部114と、レイアウト生成部116と、レイアウト調整部118と、画像処理部120とを備え、本実施形態に係る情報処理方法に係る処理を主導的に行う役目を果たす。
 評価値算出部110は、上記(1)の処理(評価値算出処理)を主導的に行う役目を果たす。評価値算出部110は、例えば、候補画像それぞれに対応する画像に関する情報に基づいて、候補画像それぞれの評価値を算出する。また、評価値算出部110は、例えば、候補画像それぞれに対応する画像に関する情報に基づいて候補画像をグループ化して、グループごとに評価値を算出してもよい。
 ページ割り当て部112は、上記(2)の処理(ページ割り当て処理)を主導的に行う役目を果たす。ページ割り当て部112は、例えば、本実施形態に係るレイアウトに関するパラメータに基づいてページ数を決定し、当該レイアウトに関するパラメータおよび評価値算出部110において算出された評価値に基づいて、各ページに配置される画像数を決定する。
 画像選択部114は、上記(3)の処理(画像選択処理)を主導的に行う役目を果たす。画像選択部114は、例えば、本実施形態に係るレイアウトに関するパラメータと、評価値算出部110において算出された評価値とに基づいて、候補画像の中から画像を選択する。ここで、例えば評価値算出部110において候補画像がグループ化された場合には、画像選択部114は、グループごとに画像を選択する。
 レイアウト生成部116は、上記(4)の処理(レイアウト生成処理)を主導的に行う役目を果たす。レイアウト生成部116は、例えば、本実施形態に係るレイアウトに関するパラメータと、画像選択部114において選択された画像に対応する評価値とに基づいて、ページごとにレイアウトを生成する。ここで、例えば評価値算出部110において候補画像がグループ化された場合には、レイアウト生成部116は、グループごとにレイアウトを生成する。
 レイアウト調整部118は、上記(5)の処理(レイアウト調整処理)を主導的に行う役目を果たし、レイアウト生成部116において生成されたレイアウトを調整する。より具体的には、レイアウト調整部118は、例えば、上記(5-1)の処理~上記(5-5)の処理のうちの、1または2以上の処理を行うことによって、レイアウト生成部116において生成されたレイアウトを調整する。
 画像処理部120は、上記(6)の処理(画像処理)を主導的に行う役目を果たし、レイアウト生成部116において生成されたレイアウト、または、レイアウト調整部118において調整されたレイアウトに、画像選択部114において選択された画像を配置する。また、画像処理部120は、例えば、上記(6-1)~上記(6-3)に示す処理のうちの、1または2以上の処理を行い、処理後の画像を生成されたレイアウトまたは調整されたレイアウトに配置してもよい。
 制御部104は、例えば、評価値算出部110、ページ割り当て部112、画像選択部114、レイアウト生成部116、レイアウト調整部118、および画像処理部120を備えることによって、本実施形態に係る情報処理方法に係る処理(例えば、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)~上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)~上記(6)の処理(画像処理)”)を主導的に行う。
 なお、本実施形態に係る制御部の構成は、図52に示す構成に限られない。
 例えば、本実施形態に係る制御部は、レイアウト調整部118、および/または、画像処理部120を備えていなくてもよい。本実施形態に係る制御部が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)を行うことが可能である。よって、例えば、本実施形態に係る制御部が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
 また、本実施形態に係る制御部は、上記(7)の処理(評価処理)を行う評価部(図示せず)を備えていてもよい。評価部(図示せず)を備える場合には、本実施形態に係る制御部は、上記(7)の処理(評価処理)を行うことによって、より質の高いフォトブックを生成するためのレイアウトを生成することができ、また、候補画像におけるベストスコアのレイアウトを選択することも可能となる。
 また、本実施形態に係る制御部は、上記(8)の処理(学習処理)を行う学習部(図示せず)を備えていてもよい。学習部(図示せず)を備える場合には、本実施形態に係る制御部は、上記(8)の処理(学習処理)を行うことによって、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習することが可能となる。よって、学習部(図示せず)を備える場合には、本実施形態に係る制御部は、例えば、よりユーザの嗜好に合ったレイアウトを生成することや、ユーザがより好む本実施形態に係るレイアウトに関するパラメータをレコメンドすることなどを実現することができる。
 情報処理装置100は、例えば図52に示す構成によって、本実施形態に係る情報処理方法に係る処理(例えば、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)~上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)、および上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)~上記(6)の処理(画像処理)”)を行う。したがって、情報処理装置100は、例えば図52に示す構成によって、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
 なお、本実施形態に係る情報処理装置の構成は、図52に示す構成に限られない。
 例えば、本実施形態に係る情報処理装置は、図52に示す評価値算出部110、ページ割り当て部112、画像選択部114、レイアウト生成部116、レイアウト調整部118、および画像処理部120を個別に備える(例えば、それぞれを個別の処理回路で実現する)ことができる。
 また、本実施形態に係る情報処理装置は、例えば、レイアウト調整部118、および/または、画像処理部120を備えない構成をとることも可能である。本実施形態に係る情報処理装置が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)を行うことができる。よって、例えば、本実施形態に係る情報処理装置が、レイアウト調整部118、および/または、画像処理部120を備えていない場合であっても、本実施形態に係る情報処理装置は、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
 また、本実施形態に係る情報処理装置は、上記(7)の処理(評価処理)を行う評価部(図示せず)を備えていてもよい。評価部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、上記(7)の処理(評価処理)を行うことによって、より質の高いフォトブックを生成するためのレイアウトを生成することができ、また、候補画像におけるベストスコアのレイアウトを選択することも可能となる。
 また、本実施形態に係る情報処理装置は、上記(8)の処理(学習処理)を行う学習部(図示せず)を備えていてもよい。学習部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、上記(8)の処理(学習処理)を行うことによって、本実施形態に係るレイアウトに関するパラメータに対するユーザの嗜好を学習することが可能となる。よって、学習部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、例えば、よりユーザの嗜好に合ったレイアウトを生成することや、ユーザがより好む本実施形態に係るレイアウトに関するパラメータをレコメンドすることなどを実現することができる。
 また、本実施形態に係る情報処理装置は、例えば、撮像部(図示せず)を備えていてもよい。撮像部(図示せず)を備える場合には、本実施形態に係る情報処理装置は、撮像部(図示せず)における撮像により生成された撮像画像を、候補画像として処理することが可能となる。撮像部(図示せず)としては、例えば、上述した本実施形態に係る撮像デバイスが挙げられる。
 また、本実施形態に係る情報処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部102を備えていなくてもよい。
 以上のように、本実施形態に係る情報処理装置は、本実施形態に係る情報処理方法に係る処理として、例えば、上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)を含む処理を行う。上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)を行うことによって、例えば、上述した質の高いフォトブックの第1の例(余白)、第2の例(粗密)、第3の例(休み)、第4の例(画像の方向性)、第5の例(画像が占める面積のバランス)、第6の例(レイアウト)、第8の例(コマ割り)のうちの、1または2以上が実現される。
 また、本実施形態に係る情報処理装置は、本実施形態に係るレイアウトに関するパラメータに基づいて、上記(3)の処理(画像選択処理)と上記(4)の処理(レイアウト生成処理)とを行う。よって、本実施形態に係る情報処理装置は、ユーザ操作などによって設定されたレイアウトに関するパラメータに基づいて処理を行うことによって、動的なフォトブックのレイアウトを、自動的に生成することができる。
 したがって、本実施形態に係る情報処理装置は、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
 また、本実施形態に係る情報処理装置が、上述した本実施形態に係る情報処理方法に係る処理を行うことによって、例えば下記に示すよりよいフォトブックを実現することができる。
  ・候補画像の時間・類似グルーピングが実現されているフォトブック
  ・候補画像のうちのよい画像が選択されたフォトブック
  ・質の良いレイアウトが実現されているフォトブック
  ・デザインのバリエーションをより容易に増やすことが可能なフォトブック
 以上、本実施形態として情報処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、PC(Personal Computer)やサーバなどのコンピュータ、タブレット型の装置、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ICに適用することもできる。
 また、本実施形態に係る情報処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続(または各装置間の通信)を前提とした、複数の装置からなる情報処理システムにより実現されてもよい。より具体的には、例えば、情報処理システムを構成する複数の装置が、通信を用いて連携して処理を行うことによって、本実施形態に係る情報処理方法に係る処理が実現される。
(本実施形態に係るプログラム)
 コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)”や、“上記(1)の処理(評価値算出処理)~上記(5)の処理(レイアウト調整処理)”、“上記(1)の処理(評価値算出処理)~上記(4)の処理(レイアウト生成処理)、上記(6)の処理(画像処理)”、“上記(1)の処理(評価値算出処理)~上記(6)の処理(画像処理)”、および“さらに、上記(7)の処理(評価処理)および/または上記(8)の処理(学習処理)を行う処理”)など、本実施形態に係る情報処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいて実行されることによって、質の高いフォトブックを生成するためのレイアウトを自動的に生成することができる。
 また、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラムによって、上述した本実施形態に係る情報処理方法に係る処理を行うことによって実現される効果を奏することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上記では、コンピュータを、本実施形態に係る情報処理装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
 上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
 なお、以下のような構成も本開示の技術的範囲に属する。
(1)
 選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出する評価値算出部と、
 レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するページ割り当て部と、
 前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択する画像選択部と、
 前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するレイアウト生成部と、
 を備える、情報処理装置。
(2)
 生成されたレイアウトを調整するレイアウト調整部をさらに備える、(1)に記載の情報処理装置。
(3)
 前記レイアウト調整部は、前記生成されたレイアウトに、1ページに1つの画像を配置するレイアウトが含まれる場合には、1つの画像が配置されるページにおける、前記選択された画像が配置されない周辺部分である余白を調整する、(2)に記載の情報処理装置。
(4)
 前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像に基づいて、前記選択された画像が配置される領域をクリッピングする、(2)、または(3)に記載の情報処理装置。
(5)
 前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域を回転させる、(2)~(4)のいずれか1つに記載の情報処理装置。
(6)
 前記レイアウト調整部は、前記レイアウトに関するパラメータに基づいて、前記選択された画像が配置される領域を回転させる、(5)に記載の情報処理装置。
(7)
 前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像の前記生成されたレイアウトにおけるサイズに基づいて、前記選択された画像が配置される領域を回転させる、(5)に記載の情報処理装置。
(8)
 前記レイアウト調整部は、回転させた後の前記選択された画像が配置される領域を、縮小、および/または、平行移動させて、前記選択された画像が配置されるページにおける、前記選択された画像が配置されない周辺部分である余白を調整する、(5)~(7)のいずれか1つに記載の情報処理装置。
(9)
 前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域を、拡大および/または、平行移動させることによって、前記生成されたレイアウトにおける、前記選択された画像が配置されない周辺部分以外の部分である空白を調整する、(2)~(4)のいずれか1つに記載の情報処理装置。
(10)
 前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像の前記生成されたレイアウトにおけるサイズに基づいて、前記選択された画像が配置される領域の重なり方を調整する、(2)~(8)のいずれか1つに記載の情報処理装置。
(11)
 前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域の重なりを判定し、判定結果に基づいて前記選択された画像が配置される領域を平行移動させて、前記選択された画像が配置される領域の重なりを調整する、(10)に記載の情報処理装置。
(12)
 前記生成されたレイアウト、または、前記生成されたレイアウトが調整されたレイアウトに、選択された前記画像を配置する画像処理部をさらに備える、(1)~(11)のいずれか1つに記載の情報処理装置。
(13)
 前記画像処理部は、
 前記レイアウトに配置される前記選択された画像から被写体を検出し、
 被写体が検出された場合には、前記選択された画像に含まれる被写体に基づいて前記選択された画像の構図を変更して、構図が変更された画像を配置する、(12)に記載の情報処理装置。
(14)
 前記画像処理部は、
 前記レイアウトに配置される前記選択された画像の前記レイアウトにおけるサイズに基づいて、前記選択された画像から所定の被写体を選択的に検出し、
 前記所定の被写体が検出された場合には、前記選択された画像に含まれる前記所定の被写体が拡大された画像を配置する、(12)に記載の情報処理装置。
(15)
 前記画像処理部は、前記レイアウトに配置される前記選択された画像のうち、複数のページにまたがって配置される画像がある場合には、
 前記複数のページにまたがって配置される画像から所定の被写体を検出し、前記複数のページの境目に検出された所定の被写体が位置しないように、前記複数のページにまたがって配置される画像を処理する、(12)に記載の情報処理装置。
(16)
 前記評価値算出部は、前記候補画像それぞれに対応する画像に関する情報に基づいて前記候補画像をグループ化して、グループごとに前記評価値を算出し、
 前記画像選択部は、前記グループごとに画像を選択し、
 前記レイアウト生成部は、前記グループごとにレイアウトを生成する、(1)~(15)のいずれか1つに記載の情報処理装置。
(17)
 前記画像選択部は、算出された前記評価値と所定の閾値との比較結果に基づいて、前記候補画像を分類し、
 分類された前記候補画像のグループごとに、画像を選択する、(1)~(16)のいずれか1つに記載の情報処理装置。
(18)
 前記画像選択部は、分類された前記候補画像のグループごとに、前記候補画像それぞれにおける画像の方向性を判定し、さらに判定された画像の方向性に基づいて、画像を選択する、(17)に記載の情報処理装置。
(19)
 前記レイアウト生成部は、
 決定されたページに配置される画像数、または、前記決定されたページに配置される画像数および前記選択された画像に対応する前記評価値に基づいて、画像が配置される領域をページに配置することにより、前記レイアウトを生成する、(1)~(18)のいずれか1つに記載の情報処理装置。
(20)
 前記レイアウト生成部は、さらに、前記レイアウトに関するパラメータ、および/または、前記選択された画像に対応する画像に関する情報に基づいて、前記レイアウトを生成する、(19)に記載の情報処理装置。
(21)
 生成されたレイアウトを評価する評価部をさらに備える、(1)~(20)のいずれか1つに記載の情報処理装置。
(22)
 レイアウトに関するパラメータが用いられた回数、または、前記レイアウトに関するパラメータが用いられた回数および生成されたレイアウトが確定されたか否かに基づいて、レイアウトに関するパラメータに対するユーザの嗜好を学習する学習部をさらに備える、(1)~(21)のいずれか1つに記載の情報処理装置。
(23)
 前記レイアウトに関するパラメータには、生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータが含まれる、(1)~(22)のいずれか1つに記載の情報処理装置。
(24)
 前記レイアウトに関するパラメータには、生成されたレイアウトに配置された画像を印刷するための印刷設定の種類に対応するパラメータが含まれる、(1)~(22)のいずれか1つに記載の情報処理装置。
(25)
 選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出するステップと、
 レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するステップと、
 前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択するステップと、
 前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するステップと、
 を有する、情報処理方法。
(26)
 選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出するステップ、
 レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するステップ、
 前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択するステップ、
 前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するステップ、
 をコンピュータに実行させるためのプログラム。
(27)
 選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出する評価値算出装置と、
 レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するページ割り当て装置と、
 前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択する画像選択装置と、
 前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するレイアウト生成装置と、
 を有する、情報処理システム。
 100  情報処理装置
 102  通信部
 104  制御部
 110  評価値算出部
 112  ページ割り当て部
 114  画像選択部
 116  レイアウト生成部
 118  レイアウト調整部
 120  画像処理部
 
 

Claims (19)

  1.  選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出する評価値算出部と、
     レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するページ割り当て部と、
     前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択する画像選択部と、
     前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するレイアウト生成部と、
     を備える、情報処理装置。
  2.  生成されたレイアウトを調整するレイアウト調整部をさらに備える、請求項1に記載の情報処理装置。
  3.  前記レイアウト調整部は、前記生成されたレイアウトに、1ページに1つの画像を配置するレイアウトが含まれる場合には、1つの画像が配置されるページにおける、前記選択された画像が配置されない周辺部分である余白を調整する、請求項2に記載の情報処理装置。
  4.  前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像に基づいて、前記選択された画像が配置される領域をクリッピングする、請求項2に記載の情報処理装置。
  5.  前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域を回転させる、請求項2に記載の情報処理装置。
  6.  前記レイアウト調整部は、前記レイアウトに関するパラメータに基づいて、前記選択された画像が配置される領域を回転させる、請求項5に記載の情報処理装置。
  7.  前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像が配置される領域を、拡大および/または、平行移動させることによって、前記生成されたレイアウトにおける、前記選択された画像が配置されない周辺部分以外の部分である空白を調整する、請求項2に記載の情報処理装置。
  8.  前記レイアウト調整部は、前記生成されたレイアウトに配置される前記選択された画像の前記生成されたレイアウトにおけるサイズに基づいて、前記選択された画像が配置される領域の重なり方を調整する、請求項2に記載の情報処理装置。
  9.  前記生成されたレイアウト、または、前記生成されたレイアウトが調整されたレイアウトに、選択された前記画像を配置する画像処理部をさらに備える、請求項1に記載の情報処理装置。
  10.  前記評価値算出部は、前記候補画像それぞれに対応する画像に関する情報に基づいて前記候補画像をグループ化して、グループごとに前記評価値を算出し、
     前記画像選択部は、前記グループごとに画像を選択し、
     前記レイアウト生成部は、前記グループごとにレイアウトを生成する、請求項1に記載の情報処理装置。
  11.  前記画像選択部は、算出された前記評価値と所定の閾値との比較結果に基づいて、前記候補画像を分類し、
     分類された前記候補画像のグループごとに、画像を選択する、請求項1に記載の情報処理装置。
  12.  前記レイアウト生成部は、
     決定されたページに配置される画像数、または、前記決定されたページに配置される画像数および前記選択された画像に対応する前記評価値に基づいて、画像が配置される領域をページに配置することにより、前記レイアウトを生成する、請求項1に記載の情報処理装置。
  13.  前記レイアウト生成部は、さらに、前記レイアウトに関するパラメータ、および/または、前記選択された画像に対応する画像に関する情報に基づいて、前記レイアウトを生成する、請求項12に記載の情報処理装置。
  14.  生成されたレイアウトを評価する評価部をさらに備える、請求項1に記載の情報処理装置。
  15.  レイアウトに関するパラメータが用いられた回数、または、前記レイアウトに関するパラメータが用いられた回数および生成されたレイアウトが確定されたか否かに基づいて、レイアウトに関するパラメータに対するユーザの嗜好を学習する学習部をさらに備える、請求項1に記載の情報処理装置。
  16.  前記レイアウトに関するパラメータには、生成されたレイアウトに配置された画像を表示する表示装置の種類に対応するパラメータが含まれる、請求項1に記載の情報処理装置。
  17.  前記レイアウトに関するパラメータには、生成されたレイアウトに配置された画像を印刷するための印刷設定の種類に対応するパラメータが含まれる、請求項1に記載の情報処理装置。
  18.  選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出するステップと、
     レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するステップと、
     前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択するステップと、
     前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するステップと、
     を有する、情報処理方法。
  19.  選択される画像の候補である候補画像それぞれに対応する画像に関する情報に基づいて、前記候補画像それぞれの評価値を算出するステップ、
     レイアウトに関するパラメータに基づいてページ数を決定し、前記レイアウトに関するパラメータおよび算出された前記評価値に基づいて、各ページに配置される画像数を決定するステップ、
     前記レイアウトに関するパラメータと、算出された前記評価値とに基づいて、前記候補画像の中から画像を選択するステップ、
     前記レイアウトに関するパラメータと、選択された画像に対応する前記評価値とに基づいて、ページごとに、選択された前記画像を配置するレイアウトを生成するステップ、
     をコンピュータに実行させるためのプログラム。
     
PCT/JP2013/068426 2012-09-03 2013-07-04 情報処理装置、情報処理方法、およびプログラム WO2014034266A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/408,677 US9813566B2 (en) 2012-09-03 2013-07-04 Information processing device, information processing method, and program for generating a layout
EP13832450.4A EP2894605A4 (en) 2012-09-03 2013-07-04 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
CN201380044223.1A CN104584081B (zh) 2012-09-03 2013-07-04 信息处理设备、信息处理方法和程序
JP2014532862A JP6065913B2 (ja) 2012-09-03 2013-07-04 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012193229 2012-09-03
JP2012-193229 2012-09-03

Publications (1)

Publication Number Publication Date
WO2014034266A1 true WO2014034266A1 (ja) 2014-03-06

Family

ID=50183088

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068426 WO2014034266A1 (ja) 2012-09-03 2013-07-04 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US9813566B2 (ja)
EP (1) EP2894605A4 (ja)
JP (1) JP6065913B2 (ja)
CN (1) CN104584081B (ja)
WO (1) WO2014034266A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017199961A (ja) * 2016-04-25 2017-11-02 富士フイルム株式会社 画像合成装置、画像合成方法および画像合成プログラム
JP2019067259A (ja) * 2017-10-03 2019-04-25 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP2020057381A (ja) * 2018-09-28 2020-04-09 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム
JP7414409B2 (ja) 2019-06-07 2024-01-16 キヤノン株式会社 学習方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489104B2 (en) 2013-11-14 2016-11-08 Apple Inc. Viewable frame identification
US9582160B2 (en) * 2013-11-14 2017-02-28 Apple Inc. Semi-automatic organic layout for media streams
JP6463996B2 (ja) * 2015-03-06 2019-02-06 キヤノン株式会社 情報処理装置、方法およびプログラム
US20160321810A1 (en) * 2015-04-28 2016-11-03 Pixart Imaging (Penang) Sdn. Bhd. Optical navigation sensor, electronic device with optical navigation function and operation method thereof
US20160357713A1 (en) * 2015-06-04 2016-12-08 Dan Tocchini System and Method for Enrichment of Content Using Color Topography Engine
US20170024404A1 (en) * 2015-06-21 2017-01-26 Dan Tocchini System and Method for Dynamic Predictive Analytics for Pattern Search and Publishing Engine for with Constraint Satisfaction
US20170024363A1 (en) * 2015-06-21 2017-01-26 Dan Tocchini System and Method for Dynamic Predictive Analytics for Pattern Search and Publishing Engine
US10628628B2 (en) * 2015-07-24 2020-04-21 Collage.Com, Inc. Method, system, and computer program product for arranging content in a plurality of regions to obtain a content-aware layout
JP6532398B2 (ja) * 2015-08-07 2019-06-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9665963B1 (en) * 2015-10-27 2017-05-30 Google Inc. Dynamic collage layout generation
JP6595956B2 (ja) * 2016-07-04 2019-10-23 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6942464B2 (ja) * 2016-12-09 2021-09-29 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11182837B2 (en) * 2017-08-24 2021-11-23 Shutterfly, Llc System and method for automatically generating a new portion of a photo product design based on user input portion
JP6936958B2 (ja) * 2017-11-08 2021-09-22 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
KR102054300B1 (ko) * 2017-11-22 2019-12-10 (주)스냅스 맞춤형 포토북 서비스를 추천하는 포토북 제작 장치 및 그 방법
JP7086630B2 (ja) * 2018-02-09 2022-06-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7341677B2 (ja) * 2019-02-28 2023-09-11 キヤノン株式会社 装置、方法、及びプログラム
JP7216255B1 (ja) * 2021-11-05 2023-01-31 楽天グループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255160A (ja) * 1995-03-16 1996-10-01 Sony Corp レイアウト装置および表示装置
JP2003030673A (ja) * 2001-07-13 2003-01-31 Seiko Epson Corp 画像レイアウト評価方法および画像レイアウト評価システムならびに画像レイアウト評価処理プログラム
JP2003274139A (ja) * 2002-03-14 2003-09-26 Seiko Epson Corp オブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラム及び画像レイアウトプログラム、並びにオブジェクトレイアウト方法及び画像レイアウト方法
JP2004280597A (ja) * 2003-03-17 2004-10-07 Seiko Epson Corp レイアウト評価システム及びレイアウト評価プログラム、並びにレイアウト評価方法
JP2007133832A (ja) * 2005-11-14 2007-05-31 Seiko Epson Corp デジタルコンテンツ作成システム、デジタルコンテンツ作成方法およびプログラム
JP2007172573A (ja) * 2005-09-28 2007-07-05 Seiko Epson Corp 文書作成システム、文書作成方法、プログラムおよび記憶媒体
JP2007312058A (ja) * 2006-05-18 2007-11-29 Fujifilm Corp アルバム作成システム、アルバム作成方法及びプログラム
JP2007324639A (ja) * 2006-05-30 2007-12-13 Fujifilm Corp インデックスアルバム冊子作成方法および装置ならびにプログラム
JP2010191934A (ja) 2009-01-20 2010-09-02 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP4577173B2 (ja) 2005-09-29 2010-11-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4811433B2 (ja) 2007-09-05 2011-11-09 ソニー株式会社 画像選択装置、画像選択方法、およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222947B1 (en) * 1997-02-19 2001-04-24 Canon Kabushiki Kaisha Image editing apparatus and method and medium on which programs are recorded
US20020040375A1 (en) * 2000-04-27 2002-04-04 Simon Richard A. Method of organizing digital images on a page
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
JP4064448B2 (ja) * 2005-11-29 2008-03-19 松下電器産業株式会社 入出力装置、入出力方法及びそのプログラム
JP5098506B2 (ja) * 2007-08-10 2012-12-12 セイコーエプソン株式会社 印刷装置およびその制御方法並びにプログラム
US8732611B2 (en) * 2007-09-04 2014-05-20 Apple Inc. Graphical user interface for mobile electronic device
JP2012507189A (ja) * 2008-10-26 2012-03-22 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. コンテンツベース・フィルタリング及びテーマベース・クラスタリングを用いたページ内へのイメージの配置
US8320667B2 (en) * 2009-02-25 2012-11-27 Hewlett-Packard Development Company, L.P. Automatic and scalable image selection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255160A (ja) * 1995-03-16 1996-10-01 Sony Corp レイアウト装置および表示装置
JP2003030673A (ja) * 2001-07-13 2003-01-31 Seiko Epson Corp 画像レイアウト評価方法および画像レイアウト評価システムならびに画像レイアウト評価処理プログラム
JP2003274139A (ja) * 2002-03-14 2003-09-26 Seiko Epson Corp オブジェクトレイアウト装置、画像レイアウト装置、オブジェクトレイアウトプログラム及び画像レイアウトプログラム、並びにオブジェクトレイアウト方法及び画像レイアウト方法
JP2004280597A (ja) * 2003-03-17 2004-10-07 Seiko Epson Corp レイアウト評価システム及びレイアウト評価プログラム、並びにレイアウト評価方法
JP2007172573A (ja) * 2005-09-28 2007-07-05 Seiko Epson Corp 文書作成システム、文書作成方法、プログラムおよび記憶媒体
JP4577173B2 (ja) 2005-09-29 2010-11-10 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2007133832A (ja) * 2005-11-14 2007-05-31 Seiko Epson Corp デジタルコンテンツ作成システム、デジタルコンテンツ作成方法およびプログラム
JP2007312058A (ja) * 2006-05-18 2007-11-29 Fujifilm Corp アルバム作成システム、アルバム作成方法及びプログラム
JP2007324639A (ja) * 2006-05-30 2007-12-13 Fujifilm Corp インデックスアルバム冊子作成方法および装置ならびにプログラム
JP4811433B2 (ja) 2007-09-05 2011-11-09 ソニー株式会社 画像選択装置、画像選択方法、およびプログラム
JP2010191934A (ja) 2009-01-20 2010-09-02 Sony Corp 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2894605A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017199961A (ja) * 2016-04-25 2017-11-02 富士フイルム株式会社 画像合成装置、画像合成方法および画像合成プログラム
WO2017187751A1 (ja) * 2016-04-25 2017-11-02 富士フイルム株式会社 画像合成装置、画像合成方法および画像合成プログラム
US10719965B2 (en) 2016-04-25 2020-07-21 Fujifilm Corporation Image combination apparatus, image combination method, and image combination program
JP2019067259A (ja) * 2017-10-03 2019-04-25 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP2020057381A (ja) * 2018-09-28 2020-04-09 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム
JP7414409B2 (ja) 2019-06-07 2024-01-16 キヤノン株式会社 学習方法

Also Published As

Publication number Publication date
CN104584081A (zh) 2015-04-29
US20150189107A1 (en) 2015-07-02
CN104584081B (zh) 2018-04-27
JPWO2014034266A1 (ja) 2016-08-08
US9813566B2 (en) 2017-11-07
EP2894605A1 (en) 2015-07-15
EP2894605A4 (en) 2016-04-27
JP6065913B2 (ja) 2017-01-25

Similar Documents

Publication Publication Date Title
JP6065913B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109325988B (zh) 一种面部表情合成方法、装置及电子设备
CN102741879B (zh) 由单眼图像产生深度图的方法及其***
US9100678B2 (en) Image display method, server, and image display system
US8847974B2 (en) Display processing apparatus
JP2019504386A (ja) 顔画像処理方法および装置、ならびに記憶媒体
EP2525561B1 (en) Data-generating device, data-generating method, data-generating program, and recording medium
JP2006331393A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
CN104951495B (zh) 用于管理代表性视频图像的设备和方法
CN102346914A (zh) 图像处理装置、图像处理方法
JP2008234124A (ja) 代表色抽出方法、および代表色抽出装置
US20130027435A1 (en) Image display system, image display method, social network service system, and computer-readable medium
US9020255B2 (en) Image processing apparatus, image processing method, and storage medium
JP2011054081A (ja) 画像処理装置および方法、並びにプログラム
JP5787644B2 (ja) 画像処理装置および画像処理装置の制御方法
CN114845158B (zh) 视频封面的生成方法、视频发布方法及相关设备
US20120250997A1 (en) Image processing apparatus, image processing method, and storage medium
US9092889B2 (en) Image processing apparatus, image processing method, and program storage medium
US8633943B2 (en) Image display apparatus, image display method, and program storage medium for arranging and displaying images of a plurality of tones
JP5532004B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4265562B2 (ja) 画像処理装置及び方法
JP6842194B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP5448799B2 (ja) 表示制御装置及び表示制御方法
Yu et al. Effects of Image Size on Clutter Perception: More Evidence for Proto-Object Segmentation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13832450

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14408677

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2014532862

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE