JP2017117403A - Image processing device, image processing method and computer program - Google Patents
Image processing device, image processing method and computer program Download PDFInfo
- Publication number
- JP2017117403A JP2017117403A JP2015255235A JP2015255235A JP2017117403A JP 2017117403 A JP2017117403 A JP 2017117403A JP 2015255235 A JP2015255235 A JP 2015255235A JP 2015255235 A JP2015255235 A JP 2015255235A JP 2017117403 A JP2017117403 A JP 2017117403A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- layout
- cover
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 70
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title 1
- 238000000034 method Methods 0.000 abstract description 107
- 238000003384 imaging method Methods 0.000 description 127
- 230000008569 process Effects 0.000 description 64
- 238000003702 image correction Methods 0.000 description 31
- 238000004458 analytical method Methods 0.000 description 20
- 238000012937 correction Methods 0.000 description 20
- 238000010191 image analysis Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 11
- 238000009966 trimming Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010187 selection method Methods 0.000 description 4
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 3
- 201000005111 ocular hyperemia Diseases 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、画像表示技術に関するものである。 The present invention relates to an image display technique.
デジタルカメラの普及に加え、近年ではスマートデバイスの普及及びスマートデバイスのカメラ性能の向上により、ユーザの写真撮影枚数が急激に増加している。撮影した写真をまとめる一手段としてフォトブックが注目されている。しかし、フォトブックの作成には、大量の写真群からよい写真を選別し、レイアウトを試行錯誤するため手間がかかる。近年ではこのような問題を解決するために、自動で写真を解析してレイアウトを提案するサービスが登場しつつある。 In recent years, in addition to the spread of digital cameras, the number of photographs taken by users has increased rapidly due to the spread of smart devices and the improvement of camera performance of smart devices. Photobooks are attracting attention as a means of collecting photographs taken. However, it takes time and effort to create a photo book because a good photo is selected from a large number of photo groups and the layout is trial and error. In recent years, in order to solve such problems, services that automatically analyze photos and propose layouts are emerging.
特許文献１では、電子アルバム内の大量画像群からアルバムの表紙画像を自動的に選択する方法として、撮影頻度、画像データの解像度に基づいて画像データをグループ分けし、グループごとに画像を選択する手法が提案されている。
In
しかしながら、特許文献１に記載の画像選択では、画像データをグループ化し、グループごとに表紙画像を自動選択しているため、表紙レイアウトの表示までに時間がかかり、編集を含む表紙レイアウトの完了までを効率よく行うことができない。
However, in the image selection described in
本発明はこのような問題に鑑みてなされたものであり、フォトアルバムの作成において、表紙レイアウトの完了までを効率よく行うための技術を提供する。 The present invention has been made in view of such a problem, and provides a technique for efficiently performing up to the completion of a cover layout in creating a photo album.
本発明の一様態は、画像データ群から選択された画像データに基づく画像をレイアウトしたレイアウト画像データを生成する生成手段と、前記生成手段により生成されたレイアウト画像データに基づいてレイアウト画像を表示部に表示させる表示制御手段と、を備え、前記生成手段は、表紙に対応するレイアウト画像データ及び本身に対応するレイアウト画像データを生成し、前記生成手段が表紙に対応するレイアウト画像データを生成した場合、前記表示制御手段は、前記表紙に対応するレイアウト画像データに基づいて、表紙のレイアウト画像を前記表示部に表示させ、前記生成手段は、前記表紙のレイアウト画像の表示のバックグラウンドで、前記本身に対応するレイアウト画像データを生成することを特徴とする。 According to one aspect of the present invention, a generation unit that generates layout image data in which an image based on image data selected from an image data group is laid out, and a display unit that displays a layout image based on the layout image data generated by the generation unit Display control means to be displayed, wherein the generation means generates layout image data corresponding to a cover and layout image data corresponding to the body, and the generation means generates layout image data corresponding to the cover The display control means displays a cover layout image on the display unit based on the layout image data corresponding to the cover, and the generation means displays the main body in the background of the display of the cover layout image. The layout image data corresponding to is generated.
本発明の構成によれば、フォトアルバムの作成において、表紙レイアウトの完了までを効率よく行うことができる。 According to the configuration of the present invention, in the creation of a photo album, the cover layout can be efficiently completed.
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings. The embodiment described below shows an example when the present invention is specifically implemented, and is one of the specific examples of the configurations described in the claims.
［第１の実施形態］
本実施形態では、画像処理装置の一例について説明する。この画像処理装置は、画像データ群から選択された画像データに基づく画像をフォトアルバムの表紙にレイアウトすることにより表紙のレイアウト画像を生成する。また、画像データ群から選択された画像データに基づく画像をフォトアルバムの本身にレイアウトすることにより本身のレイアウト画像を生成する。本身のレイアウト画像の生成は、表紙レイアウト画像の表示のバックグラウンドで動作する。
[First Embodiment]
In this embodiment, an example of an image processing apparatus will be described. This image processing apparatus generates a cover layout image by laying out an image based on image data selected from an image data group on a cover of a photo album. Also, a layout image of the body is generated by laying out an image based on the image data selected from the image data group on the body of the photo album. The generation of the body layout image operates in the background of the display of the cover layout image.
以下では、電子アルバム（フォトアルバム）の表紙及び裏表紙、並びに本身の各ページに画像を自動的にレイアウトするアプリケーションソフトウェアを画像処理装置において実行するケースについて説明する。 In the following, a case will be described in which application software for automatically laying out images on the front and back covers of an electronic album (photo album) and each page of the body is executed in the image processing apparatus.
先ず、本実施形態に係る画像処理装置１００のハードウェア構成例について、図１のブロック図を用いて説明する。ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ１０１は、画像処理装置１００全体の動作制御を行うと共に、画像処理装置１００が行うものとして後述する表示制御を含む各処理を実行若しくは制御する。なお、ＣＰＵ１０１は単数であっても良いし複数であっても良い。ＲＯＭ１０２には、書き換え不要な本装置の設定データや、書き換え不要の本装置のコンピュータプログラム（ブートプログラムなど）が格納されている。
First, a hardware configuration example of the
ＲＡＭ１０３は、ＨＤＤ（ハードディスクドライブ装置）１０４やＲＯＭ１０２からロードされたコンピュータプログラムやデータ、データ通信装置１０８を介して外部から受信したデータを格納するためのエリアを有する。更にＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０３は、各種のエリアを適宜提供することができる。
The
ＨＤＤ１０４は、大容量情報記憶装置の一例である。ＨＤＤ１０４には、ＯＳ（オペレーティングシステム）や、画像処理装置１００が行うものとして後述する各処理をＣＰＵ１０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムには、上記のアプリケーションソフトウェアが含まれている。なお、アプリケーションソフトウェアは、例えば、外部装置からダウンロードして、ＨＤＤ１０４等に保存される。また、このデータには、以下の説明において予め作成されているもの（既知の情報）として登場する情報が含まれている。ＨＤＤ１０４に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従ってＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。
The
ディスプレイ１０５は、表示部の一例であり、ＣＰＵ１０１による処理結果を画像や文字などでもって表示する。キーボード１０６及びマウス１０７は、ユーザインターフェースの一例であり、ユーザが操作することで各種の指示をＣＰＵ１０１に対して入力することができる。なお、ディスプレイ１０５、キーボード１０６、マウス１０７の代わりにタッチパネル画面を用いても構わない。
The
データ通信装置１０８は、外部機器とのデータ通信を行うためのものである。例えば、データ通信装置１０８は、インターネットやＬＡＮを介して端末装置、プリンタ、複合機との間のデータ通信を行う。
The
ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ディスプレイ１０５、キーボード１０６、マウス１０７、データ通信装置１０８は何れも、バス１０９に接続されている。なお、上述したような構成の画像処理装置１００には、例えば、ＰＣ（パーソナルコンピュータ）、タブレット端末装置、スマートフォン等を適用することができる。
The
次に、上記のアプリケーションソフトウェアにおいて、後述する自動レイアウト機能に係る機能部について、図２のブロック図を用いて説明する。このアプリケーションソフトウェアは様々な機能を持つが、図２では、特に自動レイアウト機能に係る機能部を示している。図２に示す如く、アプリケーションソフトウェアは、指定部２０１と、自動レイアウト処理部２１８と、を含む。自動レイアウト機能は、撮像された複数の写真から所定枚数の写真を選択してレイアウトし、ディスプレイ１０５に表示する、フォトアルバム作成用の機能である。
Next, in the above application software, a functional unit related to an automatic layout function described later will be described with reference to the block diagram of FIG. Although this application software has various functions, FIG. 2 particularly shows a function unit related to the automatic layout function. As shown in FIG. 2, the application software includes a
図２に示す如く、自動レイアウト処理部２１８は、複数の機能部により構成されており、該複数の機能部によって自動レイアウト処理部２１８の機能が実現される。なお、図２では、指定部２０１は自動レイアウト処理部２１８とは別個の機能部として示しているが、指定部２０１は自動レイアウト処理部２１８内に含めても構わない。
As shown in FIG. 2, the automatic
このアプリケーションソフトウェアは、例えば、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動する。
The application software is activated when, for example, an application icon displayed on the
なお、以降の説明では、図２に示した機能部を処理の主体として説明する場合があるが、実際には、該機能部に対応するコンピュータプログラムをＣＰＵ１０１が実行することで該機能部の機能が実現される。
In the following description, the function unit shown in FIG. 2 may be described as the subject of processing, but in reality, the function of the function unit is executed by the
また、後述するそれぞれの機能部の機能は、その一部若しくは全部を他の機能部に任せても構わないし、他の機能部と協調動作を行うことで実現させるようにしても構わない。つまり、複数の機能部によって自動レイアウト処理部２１８の機能が実現されるのであれば、個々の機能部がどのような動作を行うのかについては特定の形態に限らない。
In addition, some or all of the functions of the functional units described later may be left to other functional units, or may be realized by performing cooperative operations with other functional units. In other words, as long as the function of the automatic
指定部２０１は、「フォトアルバムの作成条件を構成する様々な情報」を取得し、該取得した情報を自動レイアウト処理部２１８に供給する。「フォトアルバムの作成条件を構成する様々な情報」は、例えば、ユーザがキーボード１０６やマウス１０７を操作して、ディスプレイ１０５に表示されたＧＵＩ（グラフィカルユーザインターフェース）上で設定した情報である。ユーザがＧＵＩ上でこれらの情報の設定を行った後で完了指示を入力すると、指定部２０１は、該ＧＵＩ上で設定された「フォトアルバムの作成条件を構成する様々な情報」を取得する。もちろん、予めＧＵＩ上で作成してＨＤＤ１０４に保存した「フォトアルバムの作成条件を構成する様々な情報」を指定部２０１がＨＤＤ１０４から取得するようにしても構わない。設定される条件には、たとえば対象となる画像や主人公のＩＤ、アルバムの見開き数、テンプレート情報、画像補正のＯＮ／ＯＦＦ条件等の指定が含まれる。画像の指定は、たとえば撮像日時など個別の画像の付随情報や属性情報による指定であってもよいし、デバイスやディレクトリの指定など、画像を含むファイルシステムの構造に基づく指定であってもよい。なお、本実施形態において、「見開き」とは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。
The
画像取得部２０２は、ＨＤＤ１０４から撮像画像データ群（１つのフォトアルバムを作成する際に各ページにレイアウトする候補となる撮像画像データ群）を読み出す。なお、指定部２０１が取得した情報の中に、画像取得部２０２が読み出す撮像画像データの条件が含まれているような場合には、画像取得部２０２は、この条件に従った撮像画像データをＨＤＤ１０４から読み出す。例えば、指定部２０１が取得した情報の中に「撮像日時がＸＸ年１月１日〜ＸＸ年１２月３１日の撮像画像」という条件が含まれていたとする。この場合、画像取得部２０２は、ＸＸ年１月１日〜ＸＸ年１２月３１日の期間内の撮像日時の撮像画像データ（例えば、この期間内の撮像日時を示す付加情報が添付された撮像画像データ）をＨＤＤ１０４から読み出す。
The
ＨＤＤ１０４に保存されている撮像画像データとしては、静止画像データや、動画から切り出された切り出し画像データが挙げられる。静止画像データや切り出し画像は、デジタルカメラやスマートデバイス等の撮像デバイスから取得したものである。撮像デバイスは、画像処理装置１００が備えていてもよいし、外部装置が備えるものであってもよい。なお、撮像デバイスが外部装置である場合は、画像データはデータ通信装置１０８を介して取得する。また、静止画像データや切り出し画像データは、データ通信装置１０８を介してネットワークやサーバから取得した画像データであってもよい。ネットワークやサーバから取得した画像データとしては、ソーシャルネットワーキングサービス画像データ（以下、「ＳＮＳ画像データ」という）が挙げられる。ＣＰＵ１０１は、各画像データに対して、該画像データに付随したデータを解析して保存元を判定する。ＳＮＳ画像データは、アプリケーションソフトウェアを介してＳＮＳから取得され、アプリケーションソフトウェアによる管理の下でその取得先を管理してもよい。画像データは、上述した画像データに限定されるものではなく、他の種類の画像データであってもよい。
Examples of the captured image data stored in the
画像変換部２０３は、画像取得部２０２が取得したそれぞれの撮像画像データについて、該撮像画像データの縮小画像データ（例えば短辺が４２０画素のサイズを有し、且つ各画素がｓＲＧＢの色情報を有する）を、解析画像データとして生成する。
For each captured image data acquired by the
画像解析部２０４は画像変換部２０３が生成したそれぞれの解析画像データに対し、特徴量抽出、顔認識、個人認識、表情認識等の解析処理を行う。また、画像解析部２０４は、該解析画像の生成元である撮像画像データの付帯情報（例えばExif情報）から該撮像画像データの撮像日時を取得する。
The
画像分類部２０５は、画像取得部２０２が取得した撮像画像データ群を、画像解析部２０４による解析処理の結果及び撮像日時等に基づいて複数のシーンに分割（シーン分類）する。シーンとは、旅行や日常、結婚式等の撮像シーンのことである。シーンとは、例えば、一つの撮像対象について一時期の撮像機会に撮像された画像データの集まりであるということもできる。
The
入力部２０６は、指定部２０１が取得した情報のうち、主人公を特定する情報（例えば、主人公の識別情報）を取得する。
The
画像得点部２０７は、画像取得部２０２が取得したそれぞれの撮像画像データに対して得点を求める。画像得点部２０７による得点の求め方については後述するとおりであるが、その際に用いる情報は下記の情報に限るものではない。
The
入力部２０８は、指定部２０１が取得した情報のうち、フォトアルバムの見開きの数を取得する。
The
見開き割当部２０９は、画像分類部２０５によって分類されたそれぞれのグループ若しくは該それぞれのグループに基づいて再編成されたそれぞれのグループ、をフォトアルバムのそれぞれの見開きに割り当てる。ここでいう見開きとは、例えば、フォトアルバムを作成した際の見開き２ページである。ここでは見開きで説明するがページでもよい。
The
選択部２１０は、見開きごとに、該見開きに割り当てたグループ内のそれぞれの撮像画像データについて画像得点部２０７が求めた得点に基づいて、該それぞれの撮像画像データのうち該見開きにおける写真スロットに配置するための撮像画像データを選択する。なお、写真スロットに配置される画像は、撮像画像データに基づく撮像画像である。以下、撮像画像データに基づく画像を「撮像画像」という。
For each spread, the
入力部２１１は、指定部２０１が取得した情報のうち、表紙用のテンプレート群、本身用のテンプレート群、を取得する。表紙用のテンプレート群とは、表紙及び裏表紙のレイアウト（表紙内のそれぞれの写真スロットのレイアウト及び裏表紙内のそれぞれの写真スロットのレイアウト）を表すテンプレート群である。本身用のテンプレート群とは、本身内の各見開きのレイアウト（見開き内のそれぞれの写真スロットのレイアウト）を表すテンプレート群である。ここでいうところのテンプレートとは、表紙の見開きページ（表紙のページ及び裏表紙のページ）のテンプレート、本身の見開きのページのテンプレートである。
The
レイアウト部２１２は、入力部２１１が入力したそれぞれのテンプレートのうち、選択部２１０が選択した撮像画像データに基づいて１つのテンプレートを選択すると共に撮像画像データのテンプレートにおける配置を決定する。
The
入力部２１３は、指定部２０１が取得した情報のうち、撮像画像に対する画像補正を実施するか否かを示すフラグ値を取得する。画像補正のオンまたはオフは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。
The
画像補正部２１４は、入力部２１３が取得したフラグ値が、画像補正を実施することを示す値である場合には、撮像画像に対して、覆い焼き補正、赤目補正、コントラスト補正等の補正処理を施す。もちろん、画像補正部２１４は、入力部２１３が取得したフラグ値が、画像補正を実施しないことを示す値である場合には、補正処理は実行しない。
When the flag value acquired by the
なお、画像変換部２０３から画像補正部２１４に入力する画像データの画素数は、レイアウト部２１２で決定したレイアウト画像データのサイズに合わせて変えることができる。本実施形態では、レイアウト画像データを生成した後に、各画像に画像補正を行うものとしたが、これに限定されず、レイアウト（配置）する前に、各画像の補正を行うようにしてもよい。
Note that the number of pixels of the image data input from the
出力部２１５は、レイアウト部２１２が選択したテンプレート上のそれぞれの写真スロットに、該写真スロットに割り当てられた撮像画像データを、該写真スロットのサイズにリサイズして配置したレイアウト画像データ（本身の画像データ）を生成する。また、出力部２１５は、レイアウト部２１７が選択したテンプレート上のそれぞれの写真スロットに、該写真スロットに割り当てられた撮像画像データを、該写真スロットのサイズにリサイズして配置した画像データ（表紙／裏表紙の画像データ）を生成する。なお、このレイアウト画像データは、テンプレートに画像データを配置することで得られる一体化された画像データであり、例えば、ビットマップデータである。そして出力部２１５は、生成したレイアウト画像をレイアウト情報として出力する。
The
選択部２１６は、画像取得部２０２が取得したそれぞれの撮像画像データについて画像得点部２０７が求めた得点に基づいて、該それぞれの撮像画像データのうち表紙、裏表紙における写真スロットに配置する撮像画像データを選択する。
Based on the score obtained by the
レイアウト部２１７は、入力部２１１が入力したそれぞれのテンプレートのうち、選択部２１６が選択した撮像画像データに基づいて１つの表紙用のテンプレートを選択すると共に撮像画像データのテンプレートにおける配置を決定する。
The
なお上記の説明では、画像補正や写真スロットに配置する対象となる画像は撮像画像であったが、該撮像画像から生成した解析画像であっても構わない。もちろん、撮像画像から生成した他の画像であっても構わない。これは、撮像画像を取り扱う他の処理であっても同様であり、撮像画像の代わりに解析画像など他の画像を使用しても構わない。 In the above description, the image to be placed in the image correction or the photo slot is a captured image, but may be an analysis image generated from the captured image. Of course, another image generated from the captured image may be used. The same applies to other processes that handle captured images, and other images such as analysis images may be used instead of captured images.
ここで、上記の「フォトアルバムの作成条件を構成する様々な情報」を画像処理装置１００に入力するためのＧＵＩの構成例について、図３を用いて説明する。このＧＵＩ３０１は、例えば、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより起動してディスプレイ１０５の表示画面に表示される。なお、図３のＧＵＩ３０１を含め、後述する全てのＧＵＩへのユーザ入力に応じて行われる処理は何れも、ＣＰＵ１０１によって実行若しくは制御される。
Here, a configuration example of a GUI for inputting the “various information constituting the photo album creation conditions” to the
パスボックス３０２は、フォトアルバムにレイアウトする候補となる撮像画像群が保存されているＨＤＤ１０４内のフォルダのパスを入力するためのもので、例えばユーザがキーボード１０６を操作してパスを入力することができる。なお、ユーザがキーボード１０６やマウス１０７を操作してフォルダ選択ボタン３０３を指示すると、ＨＤＤ１０４内のフォルダ／データのツリー構造が表示されたウィンドウが別途ディスプレイ１０５に表示される。このウィンドウ上でユーザがキーボード１０６やマウス１０７を操作して所望のフォルダを指定すると、そのフォルダのパスがパスボックス３０２内に表示される。このように、パスボックス３０２、フォルダ選択ボタン３０３の何れかにより、フォトアルバムにレイアウトする候補となる撮像画像群を指定することができる。
A
領域３０４内には、様々な人の顔画像が一覧表示されており、ユーザはキーボード１０６やマウス１０７を操作して何れか１つの顔画像を指定することができる。領域３０４内に表示されているそれぞれの顔画像は、撮像画像から抽出され、顔画像（人物）ごとに固有の識別情報と関連づけてＨＤＤ１０４に登録されているものである。ユーザがキーボード１０６やマウス１０７を操作して何れか１つの顔画像を指定すると、該指定された顔画像に対応する識別情報が、主人公の識別情報（主人公ＩＤ）としてＨＤＤ１０４に登録される。なお、主人公の識別情報の指定方法はこのように手動であっても良いし、後述するように、画像の解析結果に応じて指定しても良い。
A list of face images of various people is displayed in the
見開き数ボックス３０５は、フォトアルバムにおける見開き数を入力するためのもので、例えばユーザがキーボード１０６やマウス１０７を操作して見開き数を入力することができる。なお、見開き数の入力方法はこれに限定されず、例えば、数値が並んだリストを表示させてそこから見開き数としての所望の数値をユーザがキーボード１０６やマウス１０７を操作して指定しても良い。
The
領域３０６内には、テンプレートのテイスト（ポップ調やシック調等）が分かるイラスト画像がアイコンとして一覧表示されており、ユーザはキーボード１０６やマウス１０７を操作して任意のアイコンを指定することができる。本実施形態では、各テイストには、それぞれ１又は２以上のテンプレートが割当てられており、１つのテイストが選択されると、そのテイストに割当てられた全てのテンプレートが設定される。そして、後述するように、設定されたテンプレートの中から選択された画像に最も合致したテンプレートを選択する。このように１つのアイコンを指定することで、表紙用のテンプレートと、本身用のテンプレート（見開き数分のテンプレート）と、を選択することができる。なお、ユーザは領域３０４の複数のアイコンを指定することで、表紙、本身のそれぞれについて複数のテンプレートを候補として指定するようにしてもよい。後述する図４のフローチャートに従った処理では、ユーザが１つのテイストを選択することにより、表紙用のテンプレート群、本身用のテンプレート群が選択されたものとして説明している。本実施形態では、テンプレートとは、画像を配置するための画像配置枠（写真スロット）を１以上有する。
In the
チェックボックス３０７は、画像補正のＯＮ／ＯＦＦを指定するためのもので、ユーザがキーボード１０６やマウス１０７を操作してチェックボックス３０７をオン（チェックを入れる）／オフ（チェックを外す）することができる。チェックボックス３０７をオンにすると、画像補正をＯＮにすることが設定され、オフにすると、画像補正をＯＦＦにすることが設定される。なお、画像補正のＯＮ／ＯＦＦを設定する方法はこれに限らない。また、画像補正の種類毎にチェックボックスを設けるようにしても構わない。
A
ラジオボタン３１０は、作成するフォトアルバムの商材を選択するためのものでる。ユーザがキーボード１０６やマウス１０７を操作して、上側のラジオボタンを指定すると、商材としてＡ４サイズが設定され、下側のラジオボタンを指定すると、商材としてＡ５サイズが設定される。なお、商材の指定方法についてはこの方法に限るものではなく、例えば、プルダウンなどによる一覧から商材を指定できるようにしても良い。
The
ユーザがキーボード１０６やマウス１０７を操作してＯＫボタン３０８を指定すると、図３のＧＵＩ３０１において設定した内容が指定部２０１を介して自動レイアウト処理部２１８に入力される。より具体的には、パスボックス３０２に入力されているパスは画像取得部２０２に通知され、領域３０４内で指定された顔画像に対応する識別情報は入力部２０６に通知される。また、見開き数ボックス３０５に入力されている見開き数は入力部２０８に通知され、領域３０６内で指定されたアイコンに対応するテンプレートの情報（テンプレートを特定可能な情報）は入力部２１１に通知される。また、チェックボックス３０７の情報（チェックの有無）は入力部２１３に通知される。
When the user operates the
一方、ユーザがキーボード１０６やマウス１０７を操作してリセットボタン３０９を指定すると、図３のＧＵＩ３０１において設定された内容は破棄され、ディスプレイ１０５においてＧＵＩ３０１を非表示にする。
On the other hand, when the user designates the
次に、ＣＰＵ１０１が自動レイアウト処理部２１８を実行することで行う処理について、図４のフローチャートを用いて説明する。
Next, processing performed by the
＜ステップＳ４０１＞
画像変換部２０３は、画像取得部２０２が取得した画像データ群に含まれる画像データに順次着目（選択）して、着目画像データから上記の解析画像データを生成する。なお、解析画像データは、指定部２０１が取得した情報に含まれている「解析画像の縦横の画素数、画素値の色空間などの生成パラメータ」に基づいて生成される。
<Step S401>
The
＜ステップＳ４０２＞
画像解析部２０４は、ステップＳ４０１で生成された解析画像データから特徴量を抽出すると共に、該解析画像データの生成元の撮像画像データの付帯情報（例えばＥｘｉｆ情報）から該撮像画像の撮像日時を取得する。抽出する特徴量には、様々なものを用いることができるが、以下では一例として、ピント量を特徴量として抽出する。
<Step S402>
The
画像中のエッジの検出方法として公知のソーベルフィルタを用いることができる。ソーベルフィルタを用いて画像データに基づく画像からエッジを検出し、該検出したエッジの始点と終点の輝度差を始点と終点との間の距離で割ればエッジの傾き（輝度勾配）を算出できる。そして、画像中のエッジの傾きの平均値を算出する。傾きの平均値が大きい画像は、傾きの平均値が小さい画像よりもピントが合っていると考えることが出来る。そこで、この傾きに対してそれぞれ異なる複数の閾値を予め設定し、画像から求めた傾きの平均値がどの閾値以上であるのかを判別することで、該画像におけるピント量を算出することができる。本実施形態では互いに異なる２つの閾値θ１、θ２（θ１＜θ２）を設定し、求めた傾きの平均値ＡがＡ＜θ１であればピント量＝×（許容できない）、θ１≦Ａ＜θ２であればピント量＝△（許容できる）、Ａ≧θ２であれば、ピント量＝○（好適）と判別する。ピント量＝○とは、フォトアルバムに採用したいピントの傾きを表す。ピント量＝△とは、許容できるピントの傾きを表す。ピント量＝×とは、許容できない傾きを表す。 A known Sobel filter can be used as a method for detecting an edge in an image. An edge slope (luminance gradient) can be calculated by detecting an edge from an image based on image data using a Sobel filter and dividing the luminance difference between the start point and the end point of the detected edge by the distance between the start point and the end point. . Then, the average value of the inclination of the edge in the image is calculated. An image having a large average value of inclination can be considered to be in focus as compared with an image having a small average value of inclination. Therefore, by setting a plurality of different threshold values for the inclination in advance and determining which threshold value the average value of the inclination obtained from the image is greater than, it is possible to calculate the focus amount in the image. In this embodiment, two different threshold values θ1 and θ2 (θ1 <θ2) are set, and if the obtained average value A of the inclination is A <θ1, the focus amount = × (unacceptable), and θ1 ≦ A <θ2. If so, it is determined that the focus amount = Δ (allowable), and if A ≧ θ2, the focus amount = ◯ (preferred). “Amount of focus = ◯” represents the inclination of the focus to be adopted for the photo album. The focus amount = Δ represents an allowable focus inclination. The amount of focus = x represents an unacceptable inclination.
＜ステップＳ４０３＞
画像解析部２０４は、ステップＳ４０１で生成された解析画像データに基づく解析画像から人の顔を検出する。画像から顔を検出する方法としては、例えば、公知技術を用いることができる。例えば、複数用意した弱識別器から強識別器を作成するAdaboostが挙げられる。本実施形態では、Adaboostにより作成した強識別器により、画像から人の顔を検出する。この顔検出処理により、画像上における人の顔の領域（顔領域（矩形領域））の座標位置及びサイズを取得する。なお、サイズの代わりに、顔の領域の左上隅の座標位置と右下隅の座標位置とを取得するようにしても良い。なお、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてAdaboostによって強識別器を作成することができる。これにより、顔以外のオブジェクトを検出することができる。
<Step S403>
The
＜ステップＳ４０４＞
画像解析部２０４は、ステップＳ４０３で検出したそれぞれの顔領域に対し、該顔領域内の顔が誰の顔であるのかを認識する処理である個人認識処理を行う。例えば、ＨＤＤ１０４に予め登録されている様々な人の顔の画像について、ステップＳ４０３で検出した顔領域内の画像との類似度を求める。そして、ＨＤＤ１０４に予め登録されている様々な人の顔の画像のうち、閾値以上であって且つ最大の類似度を求めた画像を特定し、該特定した画像と予め関連づけられている識別情報（該画像内の顔を有する個人の識別情報（個人ＩＤ））を取得する。なお、求めた類似度が何れも閾値未満であった場合には、新規の識別情報を発行し、ステップＳ４０３で検出した顔領域内の画像を、該発行した識別情報と関連づけてＨＤＤ１０４に登録する。
<Step S404>
The
なお、本ステップでは、ステップＳ４０３で検出した顔領域内の顔を有する人の識別情報を取得することができるのであれば、どのような個人認識処理を採用しても構わない。 In this step, any personal recognition process may be employed as long as identification information of a person having a face in the face area detected in step S403 can be acquired.
そして画像解析部２０４は、ステップＳ４０２〜Ｓ４０４にて収集した情報を画像解析情報としてＨＤＤ１０４に登録する。画像解析情報の一例を図５に示す。画像解析情報は、それぞれの撮像画像データについて、該撮像画像データに固有のＩＤ（画像ＩＤ）、該撮像画像データの撮像日時、ピント量、該撮像画像から検出した人の顔の数、該撮像画像から検出したそれぞれの人の顔の領域の左上隅及び右下隅の座標位置を含む。例えば、画像ＩＤ＝１の撮像画像については、以下のような情報が登録されている。
The
撮像日時＝「２０１５年７月１日１０時１１分１２秒」
ピント量＝「○」
検出した人の顔の数＝「６」
個人ＩＤ＝１の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝２の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝３の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝４の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝５の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
個人ＩＤ＝６の人の顔の領域の左上隅の座標位置及び右下隅の座標位置
なお、顔画像が検出されなかった撮像画像については、顔画像に係る情報は登録されず、ステップＳ４０２で取得した撮像日時及びピント量が保存される。
Date and time of imaging = “10:11:12 on July 1, 2015”
Focus amount = "○"
Number of detected human faces = “6”
Upper left corner coordinate position and lower right corner coordinate position of person ID = 1 person face area Upper left corner coordinate position and lower right corner coordinate position of person ID = 2 person face area Person ID = 3 person Upper left corner coordinate position and lower right corner coordinate position of human face area Upper left corner coordinate position and lower right corner coordinate position of human face area with personal ID = 4 Upper left corner of human face area with personal ID = 5 The coordinate position of the corner and the coordinate position of the lower right corner. The coordinate position of the upper left corner and the coordinate position of the lower right corner of the face area of the person with the personal ID = 6. Information is not registered, and the imaging date and time and the amount of focus acquired in step S402 are stored.
＜ステップＳ４０５＞
画像取得部２０２が取得した撮像画像データ群の全てをステップＳ４０１で選択した場合には、処理はステップＳ４０５を介してステップＳ４０６に進む。一方、画像取得部２０２が取得した撮像画像データ群のうち未選択の撮像画像データが残っている場合には、処理はステップＳ４０１に戻る。
<Step S405>
When all the captured image data groups acquired by the
＜ステップＳ４０６＞
画像分類部２０５は、ＨＤＤ１０４に登録した画像解析情報から、画像取得部２０２が取得したそれぞれの撮像画像データの撮像日時を取得する。そして画像分類部２０５は、該取得したそれぞれの撮像画像データの撮像日時に基づいて、画像取得部２０２が取得した撮像画像データ群を複数のグループ（サブ画像群）に分割（シーン分割）する。
<Step S406>
The
シーン分割方法の一例としては次のような方法が挙げられる。例えば、画像取得部２０２が取得したそれぞれの撮像画像データを撮像日時が古い順に見た場合に、Ｎ（Ｎは１以上の整数）番目の撮像画像データの撮像日時と、（Ｎ＋１）番目の撮像画像データの撮像日時と、の差が２日以上であるとする。このとき、Ｎ番目の撮像画像データと（Ｎ＋１）番目の撮像画像データとの間にグループの境界を設定する。
An example of the scene division method is the following method. For example, when each captured image data acquired by the
撮像日時が古い順においてＮ番目の撮像画像データの撮像日時と（Ｎ＋１）番目の撮像画像データの撮像日時との差が１日以下であれば、以下の通りである。撮像日時が古い順においてＮ番目の撮像画像データの撮像日時と（Ｎ＋１）番目の撮像画像データの撮像日時との差が１６時間以上であれば、Ｎ番目の撮像画像データと（Ｎ＋１）番目の撮像画像データとの間にグループの境界を設定する。また、撮像日時が古い順において隣接する撮像画像データ間で撮像日時の差が、どの撮像画像データ間であっても１６時間未満であるとする。この場合、１日で撮像した撮像画像データ群において最初に撮像した撮像画像データの撮像日時と最後に撮像した撮像画像データの撮像日時との差が４時間未満であれば、該１日の撮像画像データ群を１つのグループとする。一方、該１日で撮像した撮像画像データ群において最初に撮像した撮像画像データの撮像日時と最後に撮像した撮像画像データの撮像日時との差が４時間以上であったとする。この場合、該１日で撮像した撮像画像の枚数が５０枚未満（１日で撮像した撮像画像の数が５０未満）であれば、該１日の撮像画像データ群を１つのグループとする。このような撮像画像データのグループ分けの一例を図６（Ａ）に示す。図６（Ａ）〜（Ｃ）において横軸は撮像日時（左側に向かうほど古く、右側に向かうほど新しい）、縦軸は撮像画像データの数を示す。図６（Ａ）では、撮像画像データ群をグループ６０１〜６０８の８個のグループに分割している。図６（Ａ）において矢印はグループの境界を示している。なお、上記のシーン分割方法の説明において使用した撮像日時の差に対する閾値や撮像画像データの数に対する閾値は一例であり、これらの値に限るものではない。
If the difference between the imaging date / time of the N-th captured image data and the imaging date / time of the (N + 1) -th captured image data in the order of the imaging date / time is 1 day or less, it is as follows. If the difference between the imaging date / time of the N-th captured image data and the imaging date / time of the (N + 1) -th captured image data in the order of the imaging date / time is 16 hours or more, the N-th captured image data and the (N + 1) -th image data A group boundary is set between the captured image data. In addition, it is assumed that the difference in the imaging date / time between adjacent captured image data in the order of the imaging date / time is less than 16 hours between any captured image data. In this case, if the difference between the imaging date / time of the first captured image data and the imaging date / time of the last captured image data in the captured image data group captured in one day is less than 4 hours, the imaging of the day is performed. A group of image data is defined as one group. On the other hand, it is assumed that the difference between the imaging date / time of the first captured image data and the imaging date / time of the last captured image data in the group of captured image data captured in one day is 4 hours or more. In this case, if the number of captured images captured in one day is less than 50 (the number of captured images captured in one day is less than 50), the captured image data group for one day is set as one group. An example of such grouping of captured image data is shown in FIG. 6A to 6C, the horizontal axis indicates the imaging date and time (older toward the left side and newer toward the right side), and the vertical axis indicates the number of captured image data. In FIG. 6A, the captured image data group is divided into eight
＜ステップＳ４０７＞
画像分類部２０５は、ステップＳ２０６で分割したそれぞれのグループのうち１つを着目グループとして選択し、該着目グループがどのシーンに分類されるのかを判断する。本実施形態では、グループが、旅行、日常、セレモニーのどのシーンに分類されるのかを判断する。もちろん、シーンの種類はこれらの種類に限るものではない。
<Step S407>
The
本ステップのために、ＨＤＤ１０４には予め、グループがどのシーンに分類されるのかを判断するための基準となるデータ（シーン分類基準データ）が登録されている。シーン分類基準データの作成方法の一例を以下に示す。
For this step, data (scene classification reference data) serving as a reference for determining in which scene a group is classified is registered in the
例えば、旅行の画像として予め判断されている画像データ群（旅行画像データ群）、日常の画像として予め判断されている画像データ群（日常画像データ群）、セレモニーの画像として予め判断されている画像データ群（セレモニー画像データ群）を予め複数用意する。そして、旅行画像データ群、日常画像データ群、セレモニー画像データ群、のそれぞれについて、撮像期間の平均及び標準偏差、撮像数の平均及び標準偏差、撮像人数の平均及び標準偏差、を求める。例えば、旅行画像データ群について、撮像期間の平均及び標準偏差、撮像数の平均及び標準偏差、撮像人数の平均及び標準偏差、を求める場合について説明する。 For example, an image data group (travel image data group) previously determined as a travel image, an image data group (daily image data group) previously determined as a daily image, and an image previously determined as a ceremony image A plurality of data groups (ceremony image data groups) are prepared in advance. Then, for each of the travel image data group, the daily image data group, and the ceremony image data group, the average and standard deviation of the imaging period, the average and standard deviation of the number of imaging, and the average and standard deviation of the number of imaging people are obtained. For example, the case where the average and standard deviation of the imaging period, the average and standard deviation of the number of imaging, and the average and standard deviation of the number of imaging people are obtained for the travel image data group will be described.
画像データ群の撮像期間とは、該画像データ群において最も過去に撮像した画像の撮像日時と最近撮像した画像の撮像日時との差分である。然るに、それぞれの旅行画像群について、該旅行画像データ群において最も過去に撮像した画像データの撮像日時と最近撮像した画像データの撮像日時との差分を、該旅行画像データ群の撮像期間として求める。また、該それぞれの旅行画像データ群について求めた撮像期間の平均及び標準偏差を求める。 The imaging period of the image data group is a difference between the imaging date / time of the image captured most recently in the image data group and the imaging date / time of the most recently captured image. However, for each travel image group, the difference between the imaging date and time of the image data captured most recently in the travel image data group and the imaging date and time of the most recently captured image data is obtained as the imaging period of the travel image data group. Further, the average and standard deviation of the imaging periods obtained for each of the travel image data groups are obtained.
また、画像データ群の撮像数とは、該画像データ群を構成する画像データの数である。然るに、それぞれの旅行画像データ群について、該旅行画像データ群を構成する撮像画像データの数を求める。また、該それぞれの旅行画像データ群について求めた撮像画像データの数の平均及び標準偏差を求める。 Further, the number of image data groups captured is the number of image data constituting the image data group. However, for each travel image data group, the number of captured image data constituting the travel image data group is obtained. Further, the average and standard deviation of the number of captured image data obtained for each of the travel image data groups are obtained.
また、画像データ群の撮像人数とは、該画像データ群を構成するそれぞれの画像に写っている顔の数である。然るに、全ての旅行画像データ群について、該旅行画像データ群を構成するそれぞれの撮像画像データに基づく撮像画像に写っている顔の数を公知の顔認識などの技術でもって求める。また、該求めた顔の数の平均及び標準偏差を求める。 In addition, the number of captured images of the image data group is the number of faces that appear in each image that constitutes the image data group. However, for all the travel image data groups, the number of faces appearing in the captured images based on the respective captured image data constituting the travel image data groups is obtained by a known technique such as face recognition. Further, the average and standard deviation of the obtained number of faces are obtained.
日常画像データ群、セレモニー画像データ群についても同様にして、撮像期間の平均及び標準偏差、撮像数の平均及び標準偏差、撮像人数の平均及び標準偏差、を求める。そして、このようにして旅行画像データ群、日常画像データ群、セレモニー画像データ群のそれぞれについて求めた、撮像期間の平均及び標準偏差、撮像数の平均及び標準偏差、撮像人数の平均及び標準偏差、を、シーン分類基準データとしてＨＤＤ１０４に予め登録しておく。シーン分類基準データの一例を図７に示す。
Similarly for the daily image data group and the ceremony image data group, the average and standard deviation of the imaging period, the average and standard deviation of the number of imaging, and the average and standard deviation of the number of imaging people are obtained. And the travel image data group, the daily image data group, and the ceremony image data group obtained in this way, the average and standard deviation of the imaging period, the average and standard deviation of the number of imaging, the average and standard deviation of the number of imaging people, Are registered in advance in the
画像分類部２０５は、着目グループについて、上記と同様にして、撮像期間、撮像数、撮像人数の平均を求める。そして、画像分類部２０５は、シーン分類基準データを参照し、着目グループについて、旅行（シーン１）についての得点、日常（シーン２）についての得点、セレモニー（シーン３）についての得点を以下のようにして求める。
The
シーンｉの撮像期間の得点＝５０−｜１０×（シーンｉの撮像期間の平均−選択グループの撮像期間）／シーンｉの撮像期間の標準偏差｜
シーンｉの撮像枚数の得点＝５０−｜１０×（シーンｉの撮像枚数の平均−選択グループの撮像枚数）／シーンｉの撮像枚数の標準偏差｜
シーンｉの撮像人数の得点＝５０−｜１０×（シーンｉの撮像人数の平均−選択グループの撮像人数の平均）／シーンｉの撮像人数の標準偏差｜
シーンｉの得点＝（シーンｉの撮像期間の得点＋シーンｉの撮像枚数の得点＋シーンｉの撮像人数の得点）／３
ただし、ｉ＝１，２，３
そして画像分類部２０５は、着目グループについて求めたシーン１の得点、シーン２の得点、シーン３の得点、のうち最も高い得点のシーンを、該着目グループのシーンとして決定（分類）する。最も高い得点のシーンが複数個ある場合には、予め設定された優先順位において最も高いシーンを採用する。例えば、日常＞セレモニー＞旅行の順を予め設定しておく。なお、この優先順位は一例であり、他の優先順位を採用しても良いし、この優先順位をユーザがキーボード１０６やマウス１０７を操作して変更しても構わない。例えば、図６（Ａ）のグループ６０５の撮像期間が３６時間、撮像枚数が３００枚、撮像人数の平均が１．７人であるとする。この場合、図７のシーン分類基準データ及び上記の式を用いると、旅行の得点は４５．３２、日常の得点は１８．３８、セレモニーの得点は−２９．９２となり、グループ６０５のシーンは旅行に分類される。なお、それぞれのグループがどのシーンに分類されたのかについては、例えば、グループ毎に、分類先のシーンに固有の識別情報を対応付けてＨＤＤ１０４で管理する。
Score of imaging period of scene i = 50− | 10 × (average of imaging period of scene i−imaging period of selected group) / standard deviation of imaging period of scene i |
Score of number of shots of scene i = 50− | 10 × (average of number of shots of scene i−number of shots of selected group) / standard deviation of number of shots of scene i |
Score of the number of photographers of scene i = 50− | 10 × (average of number of photographers of scene i−average number of photographers of selected group) / standard deviation of number of photographers of scene i |
Score of scene i = (score of imaging period of scene i + score of number of images of scene i + score of number of people of scene i) / 3
However, i = 1, 2, 3
Then, the
＜ステップＳ４０８＞
ステップＳ４０６で分割したそれぞれのグループの全てをステップＳ４０７で選択した場合には、処理はステップＳ４０９に進む。一方、ステップＳ４０６で分割したそれぞれのグループのうち未選択のグループが残っている場合には、処理はステップＳ４０７に戻る。
<Step S408>
If all the groups divided in step S406 are selected in step S407, the process proceeds to step S409. On the other hand, if an unselected group remains among the groups divided in step S406, the process returns to step S407.
＜ステップＳ４０９＞
入力部２０６は、指定部２０１が取得した情報のうち、主人公を特定する情報（ここでは主人公ＩＤとする）を取得する。なお、主人公ＩＤとは、画像取得部２０２が取得した撮像画像データ群に登場する人のうち主人公としての人に固有のＩＤ（図５の個人ＩＤ）である。この主人公ＩＤは、ユーザが上記のＧＵＩを用いて指定しても良いし、以下の処理によって、ユーザ操作を介さずに決定しても良い。
<Step S409>
The
例えば、上記のステップＳ４０４の処理によって、それぞれの撮像画像データにおいてどの個人ＩＤを有する人が登場したのかの情報を取得することができる。そのため、画像取得部２０２が取得した撮像画像データ群におけるそれぞれの人の登場回数、各シーンにおけるそれぞれの人の登場回数、それぞれの人が登場するシーンの個数、等を求めることが可能となる。この様な情報から、それぞれの人のうちその人を主人公とするのかを決定することができる。例えば、画像取得部２０２が取得した撮像画像データ群が複数のシーンによって構成されている場合には、最も多くのシーンに登場している人の個人ＩＤを主人公ＩＤとする。また、画像取得部２０２が取得した撮像画像データ群が単一シーンで構成されている場合には、該単一シーンで最も多く登場している人の個人ＩＤを主人公ＩＤとする。なお、入力部２０６は、ユーザが図３のＧＵＩ３０１において領域３０４内で顔画像を指定している場合には、このような主人公ＩＤの決定処理は行わずに、該指定された顔画像に対応する識別情報を主人公ＩＤとして取得する。
For example, by the processing in step S404 described above, it is possible to acquire information as to which person ID has appeared in each captured image data. Therefore, the number of appearances of each person in the captured image data group acquired by the
＜ステップＳ４１０＞
画像得点部２０７は、画像取得部２０２が取得した撮像画像データ群のうちの１つの着目画像データに対して、メイン写真スロット（メインスロット）用の得点及びサブ写真スロット（サブスロット）用の得点を求める。ここで、メイン写真スロット及びサブ写真スロットについて、図１０（Ａ）を用いて説明する。図１０（Ａ）の（１−１）〜（４−４）は、入力部２１１が入力するテンプレート群である。なお、図１０ではテンプレートにおける写真スロットについて説明するために、写真スロット以外の情報は省略している。例えば表紙用のテンプレートには、写真スロットに加えてタイトルなどのテキスト情報を配置するための領域（文字入力領域）も設けられる。
<Step S410>
The
（１−１）のテンプレート１００１において１００２〜１００４は写真スロットであるが、写真スロット１００２は他の写真スロット１００３及び１００４よりもサイズが大きい。このような場合、写真スロット１００２をメイン写真スロット、写真スロット１００３及び１００４をサブ写真スロットとする。そこで、着目画像データについてメイン写真スロット用の得点及びサブ写真スロット用の得点を求めるために用いる基準データを、例えば以下のようにして予め作成しておく。
In the
メイン写真スロットに配置する画像（画像データに基づく画像）として好ましいもの、サブ写真スロットに配置する画像として好ましいもの、は、その画像のシーンによって異なる。メイン写真スロットに配置する画像として好ましい画像の特徴、サブ写真スロットに配置する画像として好ましい画像の特徴、画像のシーン、の関係の一例を図８（ａ）に示す。図８（ａ）の表は、旅行、日常、セレモニーのシーン毎に得点が高くなる画像の特徴をまとめた表である。 What is preferable as an image (image based on image data) to be arranged in the main photo slot and which is preferable as an image to be arranged in the sub photo slot differ depending on the scene of the image. FIG. 8A shows an example of the relationship between the characteristics of an image preferable as an image to be arranged in the main photo slot, the characteristics of an image preferable as an image to be arranged in the sub-photo slot, and an image scene. The table in FIG. 8A is a table that summarizes the characteristics of an image with a high score for each scene of travel, daily life, and ceremony.
図８（ａ）に示すように、写真スロットの種類に応じて、得点が高くなる特徴が異なる。例えば、シーン「旅行」については、人物と風景が入ったひいた画像は、メイン写真スロット用の得点が高くなり、顔のアップや横顔の画像は、サブ写真スロット用の得点が高くなる。例えば、シーン「日常」については、顔のアップや横顔の画像は、メイン写真スロット用の得点が高くなり、人物と風景が入ったひいた画像は、サブ写真スロット用の得点が高くなる。例えば、シーン「セレモニー」については、２人の距離が近い画像は、メイン写真スロット用の得点が高くなり、大人数の画像は、サブ写真スロット用の得点が高くなる。このように、シーン及び写真スロットの種類に応じて、得点が高くなる特徴、言い換えれば、評価基準が異なる。本実施形態では、シーン及び写真スロットの種類に応じた得点が高くなる特徴、すなわち上記の基準データはＨＤＤ１０４に予め登録しておく。なお、得点が高くなる特徴は、上述したものに限定されるものではない。
As shown in FIG. 8 (a), the feature of increasing the score differs depending on the type of photo slot. For example, for the scene “Travel”, a scored image of a person and a landscape has a high score for the main photo slot, and a face-up or profile image has a high score for the sub-photo slot. For example, for the scene “daily life”, a face-up or profile image has a high score for the main photo slot, and a clipped image of a person and a landscape has a high score for the sub-photo slot. For example, for the scene “ceremony”, an image close to the distance between two people has a high score for the main photo slot, and an image of a large number of people has a high score for the sub photo slot. As described above, according to the type of the scene and the photo slot, the feature that the score is high, in other words, the evaluation criterion is different. In the present embodiment, the feature that the score according to the type of the scene and the photo slot becomes high, that is, the reference data is registered in the
なお、上記の基準データについては、例えば次のようにして用意しておく。メイン写真スロットについて図８（ａ）で規定している条件を満たす旅行の画像データ群、日常の画像データ群、セレモニーの画像データ群、を予め用意する。サブ写真スロットについて図８（ａ）で規定している条件を満たす旅行の画像データ群、日常の画像データ群、セレモニーの画像データ群、を予め用意する。そして、メイン写真スロット用に用意した各シーンの画像データ群について、該画像データ群に登場する顔の数、顔の登場位置、顔のサイズ、の平均及び標準偏差を求める。同様にして、サブ写真スロット用に用意した各シーンの画像データ群について、該画像データ群に登場する顔の数、顔の登場位置、顔のサイズ、の平均及び標準偏差を求める。このようにしてメイン写真スロット及びサブ写真スロットについて求めた、顔の数、顔の登場位置、顔のサイズ、の平均及び標準偏差を、上記の基準データとしてＨＤＤ１０４に予め登録しておく。
The reference data is prepared as follows, for example. For the main photo slot, a travel image data group, a daily image data group, and a ceremony image data group satisfying the conditions defined in FIG. 8A are prepared in advance. For the sub-photo slot, a travel image data group, a daily image data group, and a ceremony image data group that satisfy the conditions defined in FIG. 8A are prepared in advance. Then, for the image data group of each scene prepared for the main photo slot, the average and standard deviation of the number of faces appearing in the image data group, the appearance position of the face, and the face size are obtained. Similarly, for the image data group of each scene prepared for the sub-photo slot, the number of faces appearing in the image data group, the appearance position of the face, the average of the face size, and the standard deviation are obtained. The average and standard deviation of the number of faces, the appearance position of the face, and the face size obtained for the main photo slot and the sub photo slot in this way are registered in advance in the
そして画像得点部２０７は、着目画像データに基づく着目画像Ｉに対して、メイン写真スロット用の得点（１）及びサブ写真スロット用の得点（２）を、以下のようにして求める。
Then, the
＜メイン写真スロット用の得点＞
顔数の得点（１）＝５０−｜１０×（着目画像Ｉのシーンについてメイン写真スロット用に求めた顔数の平均−着目画像Ｉに登場する主人公の顔の数）／着目画像Ｉのシーンについてメイン写真スロット用に求めた顔数の標準偏差｜
顔登場位置の得点（１）＝５０−｜１０×（着目画像Ｉのシーンについてメイン写真スロット用に求めた顔登場位置の平均−着目画像Ｉに登場する主人公の顔の登場位置）／着目画像Ｉのシーンについてメイン写真スロット用に求めた顔登場位置の標準偏差｜
顔サイズの得点（１）＝５０−｜１０×（着目画像Ｉのシーンについてメイン写真スロット用に求めた顔サイズの平均−着目画像Ｉに登場する主人公の顔のサイズ）／着目画像Ｉのシーンについてメイン写真スロット用に求めた顔サイズの標準偏差｜
得点（１）＝（顔数の得点（１）＋顔登場位置の得点（１）＋顔サイズの得点（１））／３
＜サブ写真スロット用の得点＞
顔数の得点（２）＝５０−｜１０×（着目画像Ｉのシーンについてサブ写真スロット用に求めた顔数の平均−着目画像Ｉに登場する主人公の顔の数）／着目画像Ｉのシーンについてサブ写真スロット用に求めた顔数の標準偏差｜
顔登場位置の得点（２）＝５０−｜１０×（着目画像Ｉのシーンについてサブ写真スロット用に求めた顔登場位置の平均−着目画像Ｉに登場する主人公の顔の登場位置）／着目画像Ｉのシーンについてサブ写真スロット用に求めた顔登場位置の標準偏差｜
顔サイズの得点（２）＝５０−｜１０×（着目画像Ｉのシーンについてサブ写真スロット用に求めた顔サイズの平均−着目画像Ｉに登場する主人公の顔のサイズ）／着目画像Ｉのシーンについてサブ写真スロット用に求めた顔サイズの標準偏差｜
得点（２）＝（顔数の得点（２）＋顔登場位置の得点（２）＋顔サイズの得点（２））／３
「着目画像Ｉに登場する主人公の顔」の数については、図５の画像解析情報の、着目画像Ｉに対応する画像ＩＤの行において、主人公ＩＤに対応する個人ＩＤに左上隅の位置及び右下隅の位置が登録されていれば「１」、登録されていなければ「０」となる。また、「着目画像Ｉに登場する主人公の顔」の登場位置、サイズについては、図５の画像解析情報の、着目画像Ｉに対応する画像ＩＤの行において、主人公ＩＤに対応する個人ＩＤに登録されている左上隅の位置及び右下隅の位置を参照すれば特定できる。
<Score for main photo slot>
Score of number of faces (1) = 50− | 10 × (average number of faces obtained for main photo slot for scene of target image I−number of faces of main character appearing in target image I) / scene of target image I Standard deviation of the number of faces found for the main photo slot for
Score of face appearance position (1) = 50− | 10 × (average of face appearance positions obtained for main photo slot for scene of target image I−appearance position of face of main character appearing in target image I) / target image Standard deviation of face appearance position obtained for main photo slot for scene I |
Score of face size (1) = 50− | 10 × (average of face sizes obtained for the main photo slot for the scene of the target image I−the size of the face of the main character appearing in the target image I) / the scene of the target image I Standard deviation of face size calculated for the main photo slot |
Score (1) = (Face number score (1) + Face appearance position score (1) + Face size score (1)) / 3
<Score for sub-photo slot>
Score of the number of faces (2) = 50− | 10 × (the average number of faces obtained for the sub-photo slot for the scene of the target image I−the number of faces of the main character appearing in the target image I) / the scene of the target image I Standard deviation of the number of faces found for the sub-photo slot for
Score of face appearance position (2) = 50− | 10 × (average of face appearance positions obtained for sub-photo slot for scene of target image I−appearance position of face of main character appearing in target image I) / target image Standard deviation of face appearance position obtained for sub-photo slot for scene I |
Score of face size (2) = 50− | 10 × (average of face sizes obtained for sub-photo slot for scene of target image I−the size of the face of the main character appearing in target image I) / scene of target image I Standard deviation of face size found for sub-photo slot for |
Score (2) = (Face number score (2) + Face appearance position score (2) + Face size score (2)) / 3
Regarding the number of “the face of the main character appearing in the target image I”, the position of the upper left corner and the right of the personal ID corresponding to the main character ID in the row of the image ID corresponding to the main image I in the image analysis information of FIG. It is “1” if the position of the lower corner is registered, and “0” if it is not registered. Further, the appearance position and size of “the face of the main character appearing in the target image I” are registered in the personal ID corresponding to the main character ID in the row of the image ID corresponding to the target image I in the image analysis information of FIG. It can be specified by referring to the position of the upper left corner and the position of the lower right corner.
また、フォトアルバムに使う画像はピントが合っている方が好ましい為、図５に示すピント＝「○」である撮像画像に対しては更に得点を加算してもよい。それぞれの画像ＩＤに対応する撮像画像について求めた、メイン写真スロット用の得点（１）及びサブ写真スロット用の得点（２）の一例を図８（ｂ）に示す。 Further, since it is preferable that the image used for the photo album is in focus, a score may be further added to the captured image in which focus = “◯” shown in FIG. FIG. 8B shows an example of the score (1) for the main photo slot and the score (2) for the sub photo slot obtained for the captured image corresponding to each image ID.
＜ステップＳ４１１＞
画像取得部２０２が取得した撮像画像データ群の全てをステップＳ４１０で処理した場合には、処理はステップＳ４１２に進む。一方、画像取得部２０２が取得した撮像画像データ群のうちステップＳ４１０で未処理の撮像画像データが残っている場合には、処理はステップＳ４１０に戻る。
<Step S411>
If all of the captured image data groups acquired by the
＜ステップＳ４１２＞
選択部２１６は、画像取得部２０２が取得した撮像画像データ群から、表紙及び裏表紙で１ページとする表紙ページにレイアウトする規定数の撮像画像データを選択する。以下では画像データ選択数（規定数）＝３として説明するが、規定数はこの数に限るものではない。例えば、この画像データ選択数は、図３のＧＵＩ３０１においてラジオボタン３１０によって指定した商材のサイズによって変えてもよい。例えば、Ａ４サイズ、Ａ５サイズのそれぞれに対応する画像データ選択数を予め保持しているテーブルから設定してもよい。また、ユーザが図３のＧＵＩ３０１等において、おもて表紙及び裏表紙に用いる画像データの数を指定できるようにしてもよい。
<Step S412>
The
選択部２１６による表紙用撮像画像データの選択方法について、図１９を用いて説明する。図１９においてＳｔａｒｔは、画像取得部２０２が取得した撮像画像データ群において最も過去に撮像された撮像画像データの撮像日時を表している。Ｅｎｄは、画像取得部２０２が取得した撮像画像データ群において最近撮像された撮像画像データの撮像日時を表している。然るに、（Ｓｔａｒｔ−Ｅｎｄ）が、画像取得部２０２が取得した撮像画像データ群の撮像期間を表している。すなわち、図１９は、アルバム作成に用いる撮影期間（指定された撮影期間）を表している。
A method for selecting the captured image data for the cover by the
先ず、画像取得部２０２が取得した撮像画像データ群（図１９（Ａ））から、表紙に配置する撮像画像データを選択する。本実施形態では、表紙に配置する撮像画像としては、画像取得部２０２が取得した撮像画像データ群のうち、メイン写真スロット用の得点が最も高かった撮像画像データを選択する。表紙に配置する撮像画像データとして選択された撮像画像データを、図１９（Ｂ）において（１）として表している。なお、シーンによってメイン写真スロット用として好ましい画像は異なるが、ここでは、ステップＳ４１０で求めたメイン写真スロット用の得点をそのまま、ここでいう「メイン写真スロット用の得点」として用いる。
First, captured image data to be arranged on the cover is selected from the captured image data group acquired by the image acquisition unit 202 (FIG. 19A). In the present embodiment, the captured image data having the highest score for the main photo slot is selected from the captured image data group acquired by the
次に、裏表紙に配置する撮像画像データ（２つ）を、画像取得部２０２が取得した撮像画像データ群から選択する。画像選択は撮像期間の一部に集中しないように、以下に説明するように撮像期間を細分化して、それぞれから画像データを取得する。
Next, the captured image data (two) to be arranged on the back cover is selected from the captured image data group acquired by the
先ず、裏表紙に配置する１枚目の撮像画像データを選択する。そのために先ず、図１９（Ｃ）に示す如く、撮像期間を２つの分割期間に分割する。そして図１９（Ｄ）に示す如く、２つの分割期間のうち、撮像画像データ（１）が属する分割期間（点線）を省いた残りの分割期間（実線）に属する撮像画像群のうちサブ写真スロット用の得点が最高の撮像画像データを、裏表紙に配置する撮像画像データとして選択する。裏表紙に配置する１つ目の撮像画像データとして選択された撮像画像データを、図１９（Ｄ）において（２）として示している。 First, the first captured image data to be arranged on the back cover is selected. For this purpose, first, as shown in FIG. 19C, the imaging period is divided into two divided periods. Then, as shown in FIG. 19D, among the two divided periods, the sub photograph slot in the captured image group belonging to the remaining divided period (solid line) excluding the divided period (dotted line) to which the captured image data (1) belongs. The captured image data with the highest score is selected as the captured image data to be arranged on the back cover. The captured image data selected as the first captured image data to be arranged on the back cover is shown as (2) in FIG.
次に、裏表紙に配置する２つ目の撮像画像データを選択する。そのために先ず、図１９（Ｅ）に示す如く、各分割期間を２つに分割することにより撮像期間を４つの分割期間に分割する。図１９（Ｆ）に示す如く、４つの分割期間のうち撮像画像（１）及び（２）が属する分割期間（点線）を省いた残りの分割期間（実線）に属する撮像画像データ群のうちサブ写真スロット用の得点が最高の撮像画像データを裏表紙に配置する撮像画像データとして選択する。裏表紙に配置する２枚目の撮像画像として選択された撮像画像データを、図１９（Ｆ）において（３）として示している。 Next, the second captured image data to be arranged on the back cover is selected. For this purpose, first, as shown in FIG. 19E, the imaging period is divided into four divided periods by dividing each divided period into two. As shown in FIG. 19F, among the four divided periods, a sub-image of a group of captured image data belonging to the remaining divided period (solid line) from which the divided period (dotted line) to which the captured images (1) and (2) belong is omitted. The captured image data having the highest score for the photo slot is selected as captured image data to be arranged on the back cover. The captured image data selected as the second captured image to be arranged on the back cover is shown as (3) in FIG.
表紙に配置するものとして選択された撮像画像データは、メイン写真スロット用の得点が最高の撮像画像データであるため、表紙だけでなく、本身において何れかの見開きでも使用されることになる。 The picked-up image data selected to be arranged on the cover is the picked-up image data having the highest score for the main photo slot, so that it is used not only for the cover but also for any spread in the body.
なお、上記の説明において表紙に配置するものとして選択した撮像画像データを裏表紙に、裏表紙に配置するものとして選択した撮像画像データを表紙に配置するようにしても構わない。また、上記の説明では、おもて表紙に配置する画像データの得点の基準と、裏表紙に配置する画像データの得点の基準を異なるものとした。具体的には、おもて表紙の場合は、「メイン写真スロット用の得点」を用い、裏表紙の場合は、「サブ写真スロット用の得点」としたが、おもて表紙及び裏表紙のいずれの場合も同じ基準としてもよい。また、表紙、裏表紙のそれぞれに配置する撮像画像データの数は上記の数に限らない（０もあり得る）。 In the above description, the captured image data selected to be arranged on the cover may be arranged on the back cover, and the captured image data selected to be arranged on the back cover may be arranged on the cover. In the above description, the criteria for scoring the image data to be arranged on the front cover are different from the criteria for scoring the image data to be arranged on the back cover. Specifically, the score for the main photo slot is used for the front cover, and the score for the sub photo slot is used for the back cover. In either case, the same standard may be used. Further, the number of captured image data to be arranged on each of the front cover and the back cover is not limited to the above number (it may be 0).
また、メイン写真スロット用の得点やサブ写真スロット用の得点を用いずに、顔検出結果を利用して表紙に配置する撮像画像や裏表紙に配置する撮像画像を決定してもよい。例えば、人物を含む撮像画像を表紙に配置し、人物を含まない画像を裏表紙に配置するようにしても構わない。また、ここではメイン写真スロット用の得点、サブ写真スロット用の得点、を用いて表紙及び裏表紙に配置する撮像画像データを選択したが、画像分類部２０５による分類結果に基づいて、予め設定したシーンの画像データを優先して選択してもよい。例えば、表紙に旅行の画像データを配置する場合は、画像分類結果から旅行と判定された画像データ群の中からメイン写真スロット用の得点が最高の画像データを選択する。そして、その後は図１９を用いて上述したように撮像期間を分割してサブ写真スロット用の得点が最高の画像データを順次選択して裏表紙用の画像データとしてもよい。
Further, the captured image to be arranged on the front cover or the captured image to be arranged on the back cover may be determined using the face detection result without using the score for the main photo slot or the score for the sub photo slot. For example, a captured image including a person may be arranged on the cover, and an image not containing a person may be arranged on the back cover. Also, here, the captured image data to be arranged on the front cover and the back cover is selected using the score for the main photo slot and the score for the sub photo slot, but it is set in advance based on the classification result by the
また、上記の説明では、表紙用画像データを選択した分割期間とは別の分割期間から裏表紙用画像データを選択するように設定したが、表紙用画像を選択した分割期間と同じ分割期間から裏表紙用画像データを選択するように設定してもよい。 In the above description, the back cover image data is set to be selected from a division period different from the division period in which the cover image data is selected. However, from the same division period as that in which the cover image is selected. You may set so that the image data for back covers may be selected.
＜ステップＳ４１３＞
レイアウト部２１７は、ステップＳ４１２で選択した画像データを基にしてテンプレートを選択する。入力部２１１が入力したテンプレート群のうち、表紙ページに適用するテンプレートを、ステップＳ４１２で選択した撮像画像データに基づいて選択する。以下では具体例を挙げてステップＳ４１３における処理を説明するために、入力部２１１は、図２０の（１−１）〜（２−４）の８枚のテンプレートを入力したとする。
<Step S413>
The
この８枚のテンプレートの何れも、左側に裏表紙用の撮像画像データのレイアウト、右側に表紙用の撮像画像データのレイアウト、を規定したものである。（１−１）のテンプレート２００１では、写真スロット２００３，２００４が裏表紙用の撮像画像データを配置するためのもので、写真スロット２００２は表紙用の撮像画像データを配置するためのものである。本実施形態では、表紙用の写真スロット２００２は、裏表紙用の写真スロット２００３，２００４よりもサイズが大きい。タイトル２００８は、フォトアルバムのタイトルなどのテキスト情報を入力するためのテキスト領域である。
Each of the eight templates defines the layout of the captured image data for the back cover on the left side and the layout of the captured image data for the cover on the right side. In the
なお、ステップＳ４１２で表紙用に１つの撮像画像データ、裏表紙用に２つの撮像画像データを選択している場合、図２０に示すように写真スロットの数が３のテンプレート群を候補とする。ここで、ステップＳ４１２にて選択した３つの撮像画像データに基づく撮像画像は、縦長（縦向き）の画像２００５、縦長（縦向き）の画像２００６、横長（横向き）の画像２００７、であったとする。なお、画像２００６及び２００７は裏表紙に配置する撮像画像であり、画像２００５は表紙に配置する撮像画像である。 If one picked-up image data for the front cover and two picked-up image data for the back cover are selected in step S412, a template group with three photo slots is selected as a candidate as shown in FIG. Here, it is assumed that the captured images based on the three captured image data selected in step S412 are a vertically long (vertical) image 2005, a vertically long (vertically oriented) image 2006, and a horizontally long (landscape) image 2007. . Note that images 2006 and 2007 are captured images placed on the back cover, and image 2005 is a captured image placed on the cover.
先ず、表紙に配置する画像２００５が縦長の画像であるから、表紙用の写真スロットも縦長である必要がある。然るに、テンプレート（１−１）〜（２−４）のうち、表紙用の写真スロットが縦長であるテンプレート（１−１）〜（１−４）が候補となる。そして、本実施形態では、裏表紙については、テンプレートの左上に撮像日時のより古い画像、右下に撮像日時のより新しい画像をレイアウトするものとする。撮像日時のより古い画像データに基づく画像は縦長の画像２００６、撮像日時のより新しい画像データに基づく画像は横長の画像２００７であるから、テンプレート（１−１）〜（１−４）のうちテンプレート（１−２）が最終候補となる。 First, since the image 2005 to be arranged on the cover is a vertically long image, the cover photo slot must also be vertically long. However, among the templates (1-1) to (2-4), the templates (1-1) to (1-4) whose cover photo slots are vertically long are candidates. In the present embodiment, with respect to the back cover, it is assumed that an image with an older imaging date and time is laid out at the upper left of the template and an image with a newer imaging date and time at the lower right. Since an image based on image data with an older imaging date and time is a vertically long image 2006 and an image based on newer image data with an imaging date and time is a horizontally elongated image 2007, a template among the templates (1-1) to (1-4). (1-2) is the final candidate.
然るに、この場合は、（１−２）のレイアウトを、表紙ページのテンプレートとして選択する。このようにステップＳ４１３では、レイアウトに用いるテンプレートと、テンプレートのいずれのスロットにいずれの画像をレイアウトするかが決定する。なお、決定した情報は、出力部２１５に入力する。
In this case, however, the layout of (1-2) is selected as a cover page template. Thus, in step S413, it is determined which template is used for layout and which image is to be laid out in which slot of the template. The determined information is input to the
なお、表紙ページのテンプレートの選択方法は上記の方法に限るものではなく、他の方法を採用しても構わない。また、テンプレートは、図２０に示すようなものに限定されるものではない。例えば、裏表紙のページと、画像を配置するスロットの枠を一致させるようにしてもよいし、スロットの一部が他のスロットの一部と重なるようにしてもよい。スロットの一部が重なる場合は、重複部分はいずれか一方の画像を前面に配置するようにすればよく、例えば、得点の高い画像を前面に配置するようにすればよい。 The method for selecting a cover page template is not limited to the above method, and other methods may be adopted. Further, the template is not limited to that shown in FIG. For example, the back cover page and the slot frame in which the image is arranged may coincide with each other, or a part of the slot may overlap with a part of the other slot. When a part of the slot overlaps, any one of the overlapping portions may be arranged in the front, for example, an image with a high score may be arranged in the front.
また図２０では、３枚の撮像画像をレイアウトするテンプレートの選択方法について説明したが、撮像画像の数が３でなくても、テンプレートの選択方法は同様に適用することができる。なお、表紙用のテンプレートは、配置する画像の数に応じたテンプレートがそれぞれ複数、ＨＤＤ１０４に登録されているものとする。また、配置する画像数の異なる複数のテンプレートを用意し、それぞれぞれのテンプレートに画像を配置して得られたレイアウト画像を評価し、評価値の高いものを表紙のレイアウト画像として決定するようにしてもよい。例えば、配置する画像のトリミング量やタイトル領域に重複している顔の個数を評価基準とし、トリミング量が小さいものを高評価、タイトル領域に重複している顔の個数が少ないものを高評価としてもよい。
In FIG. 20, the template selection method for laying out three captured images has been described. However, even if the number of captured images is not three, the template selection method can be similarly applied. It is assumed that a plurality of templates corresponding to the number of images to be arranged are registered in the
＜ステップＳ４１４＞
画像補正部２１４は、入力部２１３が取得したフラグ値が、画像補正を実施することを示す値である場合には、選択部２１６が選択した３つの撮像画像データのそれぞれに対して、覆い焼き補正、赤目補正、コントラスト補正等の補正処理を施す。もちろん、画像補正部２１４は、入力部２１３が取得したフラグ値が、画像補正を実施しないことを示す値である場合には、補正処理は実行しない。補正する画像の画素数は短辺１２００画素で、ｓＲＧＢの色空間に変換した画像に対して画像補正ＯＮ／ＯＦＦを実施する。
<Step S414>
When the flag value acquired by the
＜ステップＳ４１５＞
出力部２１５は、ステップＳ４１３で選択したテンプレート上のそれぞれの写真スロットに、該写真スロットに対してステップＳ４１２で選択された撮像画像データを、該写真スロットのサイズにリサイズして配置した「表紙／裏表紙ページの画像データ」として生成する。すなわち、レイアウト画像データを１つの画像データとして生成する。そして出力部２１５は、この生成した「表紙／裏表紙のページの画像データに基づく画像」をレイアウト情報として出力する。出力先はディスプレイ１０５であっても良いし、ＨＤＤ１０４であっても良い。本実施形態では、この「表紙／裏表紙のページの画像」をユーザに確認させると共に、必要であれば編集を可能にするために、「表紙／裏表紙のページの画像」をディスプレイ１０５に対して出力する。
<Step S415>
The
＜ステップＳ４１６＞
詳しくは後述するが、ステップＳ４１６以降の処理は、「表紙／裏表紙のページの画像に基づく画像」を含む編集画面の表示、該編集画面に対する操作入力の受け付け、操作入力に応じた処理の実行を行っているバックグラウンドで動作する。
<Step S416>
As will be described in detail later, the processing in and after step S416 includes display of an editing screen including “images based on images on the front and back cover pages”, reception of operation input on the editing screen, and execution of processing according to the operation input. Work in the background.
入力部２０８は、指定部２０１が取得した情報のうち、フォトアルバムの見開きの数を取得する。そして見開き割当部２０９は、ステップＳ４０６において分割したグループの数と、入力部２０８が取得した見開きの数と、が同じであるか否かを判定する。この判定の結果、同じである場合には、処理はステップＳ４２０に進み、同じではない場合には、処理はステップＳ４１７に進む。例えば、図６（Ａ）の場合は、グループ分割数＝８であるから、入力部２０８が取得した見開きの数＝８であれば、処理はステップＳ４２０に進むことになる。
The
＜ステップＳ４１７＞
見開き割当部２０９は、ステップＳ４０６において分割したグループの数Ｘ＜入力部２０８が取得した見開きの数Ｙであるか否かを判断する。この判断の結果、Ｘ＜Ｙであれば、処理はステップＳ４１８に進み、Ｘ≧Ｙであれば、処理はステップＳ４１９に進む。
<Step S417>
The
＜ステップＳ４１８＞
見開き割当部２０９は、Ｘ＝Ｙとなるべく、画像取得部２０２が取得した撮像画像データ群のグループ再分割（サブシーン分割）を行う。以下では具体的な例を挙げてステップＳ４１８の処理を説明するために、図６（Ａ）のように、Ｘ＝８となっている状態において、Ｙ＝１０であるケースを例にとる。この場合、図６（Ｂ）に示す如く、点線で示す部分で図６（Ａ）のグループ６０２及び６０５を分割することで、１０個のグループ６０１〜６１０を生成する。この点線の位置（分割基準線）の位置は、例えば、以下のようにして求める。
<Step S418>
The
先ず、図６（Ａ）のグループ６０１〜６０８のそれぞれのグループのうち、撮像画像データの数が多いグループを特定する。Ｘ＝８，Ｙ＝１０の場合、２カ所に分割基準線を設ける必要があるため、グループ６０１〜６０８のそれぞれのグループのうち、撮像画像データの数が最も多いグループ及び２番目に多いグループの２つのグループを特定する。図６（Ａ）の場合、撮像画像データの数が最も多いグループはグループ６０５であり、２番目に多いグループはグループ６０１及び６０２である。ここで、グループ６０１とグループ６０２とでは撮像画像データの数は同じであるが、撮像期間がグループ６０２の方がグループ６０１よりも長い。然るにこの場合には、グループ６０２を選択する。然るに、結果として、グループ６０５及びグループ６０２のそれぞれを２つのグループに分割する。なお、それでも決定できない場合には、たとえば時間的に早いグループを優先的に再分割するなど、適宜決めておけばよい。
First, among the
先ず、グループ６０２の分割方法について説明する。図６（Ａ）においてグループ６０２には、撮像画像データ数のピークが２つ存在するためのその間の位置（撮像日時の境界）を分割基準線の位置とする。次に、グループ６０５の分割方法について説明する。図６（Ａ）においてグループ６０５には、撮像画像データの数のピークが３つ存在するが、分割後の２つのグループ間で撮像画像データの数の差がより小さくなるようにする。したがって、ここでは、３つのピークの間の位置（撮像日時の境界）のうち右側の位置を分割基準線の位置とする。なお、ここでは撮像日の違う箇所で分割したが、撮像画像データの数が多い箇所が単一日であった場合は、単一日の中で時間差が最大の箇所で分割する。なお、本ステップにおけるグループ分割方法には様々なグループ分割方法を用いることができ、特定のグループ分割方法に限るものではない。
First, a method for dividing the
＜ステップＳ４１９＞
見開き割当部２０９は、Ｘ＝Ｙとなるべく、画像取得部２０２が取得した撮像画像データ群のグループ再分割（シーン統合）を行う。以下では具体的な例を挙げてステップＳ４１９の処理を説明するために、図６（Ａ）のように、Ｘ＝８となっている状態において、Ｙ＝６であるケースを例にとる。この場合、幾つかのグループを統合して１つのグループとすることでグループ数を減らしてＸ＝Ｙを達成する。図６（Ｃ）に示す如く、点線で示す部分で図６（Ａ）のグループ６０３及び６０４を統合し、且つ図６（Ａ）のグループ６０７及び６０８を統合することで、６個のグループ６０１〜６０６を生成する。この点線の位置（統合基準線）の位置は、例えば、以下のようにして求める。
<Step S419>
The
先ず、図６（Ａ）のグループ６０１〜６０８のそれぞれのグループのうち、撮像画像データの数が少ないグループを特定する。Ｘ＝８，Ｙ＝６の場合、２カ所に統合基準線を設ける必要があるため、グループ６０１〜６０８のそれぞれのグループのうち、撮像画像データの数が最も少ないグループ及び２番目に少ないグループの２つのグループを特定する。図６（Ａ）の場合、撮像画像データの数が最も少ないグループはグループ６０８であり、２番目に少ないグループはグループ６０３及び６０７である。ここで、グループ６０３とグループ６０７とでは撮像画像データの数は同じであるが、グループ６０７は、統合対象となるグループ６０８と隣接しているため、この場合には、グループ６０３を選択する。然るに、結果として、グループ６０３及びグループ６０８のそれぞれを統合対象とする。
First, among the
先ず、グループ６０３の統合方法について説明する。グループ６０３に属する撮像画像データ群の撮像日時のうち最近の撮像日時と、グループ６０３に隣接するグループ６０４に属する撮像画像データ群の撮像日時のうち最も過去の撮像日時との差をＤＡとする。また、グループ６０３に隣接するグループ６０２に属する撮像画像データ群の撮像日時のうち最近の撮像日時と、グループ６０３に属する撮像画像データ群の撮像日時のうち最も過去の撮像日時との差をＤＢとする。このとき、ＤＡ＜ＤＢであるから、グループ６０３をグループ６０４と統合することで、図６（Ｃ）のグループ６０３を生成する。
First, a method for integrating the
グループ６０８については隣接しているグループはグループ６０７のみであるため、グループ６０８をグループ６０７と統合することで、図６（Ｃ）のグループ６０６を生成する。
Since the
なお、本ステップにおけるグループ統合方法には様々なグループ統合方法を用いることができ、特定のグループ統合方法に限るものではない。例えば、統合対象のグループを撮像データの数が少ないグループに統合するようにしてもよい。 Various group integration methods can be used as the group integration method in this step, and the method is not limited to a specific group integration method. For example, the group to be integrated may be integrated into a group with a small number of imaging data.
＜ステップＳ４２０＞
見開き割当部２０９は、入力部２０８が取得した見開きの数と同数のグループのそれぞれを、何れかの見開きに割り当てる。どの見開きにどのグループを割り当てるのかについては様々な方法があるが、例えば、より先頭の見開きには、撮像日時（グループ中の任意の撮像画像データの撮像日時）がより過去のグループを割り当てる。なお、後述するように、１つの見開きページ内では、画像データは撮像日時に並んでいなくてもよい。
<Step S420>
The
＜ステップＳ４２１＞
選択部２１０は先ず、それぞれの見開きのうち未選択の見開きを１つ選択し、該選択した見開きに割り当てられたグループに属する撮像画像データ群のうち、該見開きにおいて表示対象となる撮像画像データを選択する。選択した見開きに割り当てられたグループに属する撮像画像データ群のうち、該見開きにおいて表示対象となる４つの撮像画像データを選択する処理について、図９を例にとり説明する。なお、ここでは、見開きとは、２ページを指し、最初の見開き及び最後の見開きは、１ページとする。
<Step S421>
First, the
図９においてＳｔａｒｔは、選択された見開きに割り当てられたグループ（着目グループ）に属する撮像画像データ群において最も過去に撮像された撮像画像データの撮像日時を表している。Ｅｎｄは、着目グループに属する撮像画像データ群において最近撮像された撮像画像データの撮像日時を表している。然るに、（Ｓｔａｒｔ−Ｅｎｄ）が、着目グループの撮像期間を表している。 In FIG. 9, Start represents the imaging date and time of the captured image data captured most recently in the captured image data group belonging to the group (group of interest) assigned to the selected spread. End represents the imaging date and time of captured image data recently captured in the captured image data group belonging to the group of interest. However, (Start-End) represents the imaging period of the group of interest.
先ず、着目グループに属する撮像画像データ群（図９（Ａ））から、メイン写真スロットに配置する撮像画像データを選択する。メイン写真スロットに配置する撮像画像データとしては、着目グループに属するそれぞれの撮像画像データのうち、メイン写真スロット用の得点が最も高かった撮像画像データを選択する。メイン写真スロットに配置する撮像画像データとして選択された撮像画像データを、図９（Ｂ）において（１）として表している。 First, picked-up image data to be arranged in the main photo slot is selected from the picked-up image data group (FIG. 9A) belonging to the group of interest. As the captured image data to be arranged in the main photo slot, the captured image data having the highest score for the main photo slot is selected from the captured image data belonging to the group of interest. Captured image data selected as captured image data to be placed in the main photo slot is represented as (1) in FIG. 9B.
次に、サブ写真スロットに配置する撮像画像データ（３つ）を、着目グループに属する撮像画像データ群から選択する。画像選択は撮像期間の一部に集中しないように、以下に説明するように撮像期間を細分化して画像データを選択する。 Next, picked-up image data (three) to be arranged in the sub-photo slot is selected from the picked-up image data group belonging to the group of interest. The image selection is performed by subdividing the imaging period as described below so that the image selection does not concentrate on a part of the imaging period.
先ず、サブ写真スロットに配置する１つ目の撮像画像データを選択する。そのために先ず、図９（Ｃ）に示す如く、撮像期間を２つの分割期間に分割する。そして図９（Ｄ）に示す如く、２つの分割期間のうち、撮像画像データ（１）が属する分割期間（点線）を省いた残りの分割期間（実線）に属する撮像画像データ群のうちサブ写真スロット用の得点が最高の撮像画像データを、サブ写真スロットに配置する撮像画像データとして選択する。サブ写真スロットに配置する１枚目の撮像画像データとして選択された撮像画像データを、図９（Ｄ）において（２）として示している。 First, the first captured image data to be arranged in the sub photo slot is selected. Therefore, first, as shown in FIG. 9C, the imaging period is divided into two divided periods. Then, as shown in FIG. 9D, of the two divided periods, sub-pictures of the captured image data group belonging to the remaining divided period (solid line) excluding the divided period (dotted line) to which the captured image data (1) belongs. The captured image data with the highest score for the slot is selected as captured image data to be arranged in the sub-photo slot. The picked-up image data selected as the first picked-up image data to be arranged in the sub-photo slot is shown as (2) in FIG. 9D.
次に、サブ写真スロットに配置する２つ目の撮像画像データを選択する。そのために先ず、図９（Ｅ）に示す如く、各分割期間を２つに分割することにより撮像期間を４つの分割期間に分割する。図９（Ｆ）に示す如く、４つの分割期間のうち撮像画像データ（１）及び（２）が属する分割期間（点線）を省いた残りの分割期間（実線）に属する撮像画像データ群のうちサブ写真スロット用の得点が最高の撮像画像データをサブ写真スロットに配置する撮像画像データとして選択する。サブ写真スロットに配置する２つ目の撮像画像データとして選択された撮像画像データを、図９（Ｆ）において（３）として示している。 Next, the second captured image data to be arranged in the sub photo slot is selected. Therefore, first, as shown in FIG. 9E, the imaging period is divided into four divided periods by dividing each divided period into two. As shown in FIG. 9F, among the captured image data groups belonging to the remaining divided periods (solid lines) from which the divided periods (dotted lines) to which the captured image data (1) and (2) belong are excluded from the four divided periods. The captured image data with the highest score for the sub photo slot is selected as the captured image data to be arranged in the sub photo slot. The captured image data selected as the second captured image data to be arranged in the sub-photo slot is shown as (3) in FIG. 9F.
次に、サブ写真スロットに配置する３つ目の撮像画像データを選択する。サブ写真スロットに配置する撮像画像を上記の４分割した分割期間のうち、撮像画像データ（１）〜（３）が属していない分割期間Ｇから撮像画像データを選択する。ここで、本実施形態では、画像データの数に関わらず、時間に応じて撮像期間を分割しているので、図９（Ｇ）に斜線で示す如く、分割期間Ｇには、何れの撮像画像データも属していない分割期間が発生してしまう。このような場合は、図９（Ｈ）に示す如く、撮像画像データ（１）〜（３）が属する分割期間のそれぞれを２つの分割期間に分割して６つの分割期間とする。図９（Ｉ）のように６つの分割期間のうち撮像画像データ（１）〜（３）が属する分割期間（点線）及び分割期間Ｇを省いた残りの分割期間（実線）に属する撮像画像データ群のうちサブ写真スロット用の得点が最高の撮像画像データをサブ写真スロット用の撮像画像データとして選択する。サブ写真スロットに配置する３枚目の撮像画像データとして選択された撮像画像データを、図９（Ｉ）において（４）として示している。 Next, the third captured image data to be arranged in the sub photo slot is selected. The captured image data is selected from the divided period G to which the captured image data (1) to (3) do not belong, among the divided periods obtained by dividing the captured image arranged in the sub-photo slot into the above four divided periods. Here, in the present embodiment, since the imaging period is divided according to time regardless of the number of image data, as shown by the oblique lines in FIG. A division period that does not belong to data occurs. In such a case, as shown in FIG. 9 (H), each of the divided periods to which the captured image data (1) to (3) belong is divided into two divided periods to be six divided periods. As shown in FIG. 9I, among the six divided periods, the captured image data belonging to the divided period (dotted line) to which the captured image data (1) to (3) belong and the remaining divided period (solid line) excluding the divided period G. The captured image data having the highest score for the sub-photo slot in the group is selected as the captured image data for the sub-photo slot. The captured image data selected as the third captured image data to be arranged in the sub-photo slot is shown as (4) in FIG.
このような動作を行う選択部２１０の機能構成例について、図１１のブロック図を用いて説明する。
A functional configuration example of the
画像群取得部１１０２は、画像取得部２０２が取得した撮像画像データ群のうち、対象とする見開きに割り当てられたグループに属する撮像画像データ群を取得する。更に画像群取得部１１０２は、該グループに属するそれぞれの撮像画像データの撮像日時、メイン写真スロット用の得点、サブ写真スロット用の得点を取得する。
The image
カウンタ１１０３は、１つのグループから画像データが選択された回数Ｃをカウントする。カウンタ１１０３は、１つのグループについての画像データ選択が完了し、次のグループについて画像データ選択を行う際には、Ｃの値を０にリセットする。
The
分割部１１０５は、撮像期間を上記の如く分割する。分割部１１０５は先ず、画像群取得部１１０２が取得したそれぞれの撮像画像データの撮像日時において元も過去の撮像日時と最近の撮像日時との差分、即ち撮像期間を求める。そして分割部１１０５は、撮像期間を２Ｃ個の分割期間に均等に分割する。なお、撮像期間の分割は２Ｃ個の分割期間に均等に分割することに限るものではなく、撮像期間を選択したい画像の個数の分割期間となるように均等に分割してもよい。
The
設定部１１０６は、グループに属するそれぞれの撮像画像データに係る情報を管理する。
The
得点軸設定部１１０４は、画像選択部１１０８がメイン写真スロット用の撮像画像データを選択する際には、得点軸として、メイン写真スロット用の撮像データを選択するための評価基準（メイン写真スロット用評価基準）を画像選択部１１０８に供給する。また、得点軸設定部１１０４は、画像選択部１１０８がサブ写真スロット用の撮像画像データを選択する際には、得点軸として、サブ写真スロット用の撮像を選択するための評価基準（サブ写真スロット用評価基準）を画像選択部１１０８に供給する。例えば、得点軸設定部１１０４は、Ｃ＝０であればメイン写真スロット用評価基準を画像選択部１１０８に供給し、Ｃ＞０であればサブ写真スロット用評価基準を画像選択部１１０８に供給する。
When the
画像選択部１１０８は、グループに属する撮像画像データ群からメイン写真スロット用の撮像画像データ、サブ写真スロット用の撮像画像データを選択する。画像選択部１１０８は、得点軸設定部１１０４からメイン写真スロット用評価基準を受けた場合には、グループに属する撮像画像データ群からメイン写真スロット用の得点が最高の撮像画像データを選択するための処理を行う。また、画像選択部１１０８は、得点軸設定部１１０４からサブ写真スロット用評価基準を受けた場合には、グループに属する撮像画像データ群からサブ写真スロット用の得点が最高の撮像画像データを選択するための処理を行う。このように、画像選択部１１０８は、得点軸設定部１１０４から受けた得点軸に対応する得点が最高の撮像画像を、グループに属する撮像画像データ群から選択するための処理を行う。なお、図９を用いて説明したように、画像データが１つもない分割期間からは画像データは選択しない。また、本実施形態では、分割期間から選択する画像データの数を１としたが、２以上でも構わない。
The
なお、本実施形態では、利用する得点軸として、メイン写真スロット用の得点軸、サブ写真スロット用の得点軸を例に挙げて説明したが、別の得点軸を用いてもよい。例えば、メイン写真スロット用の得点軸、サブ写真スロット用の得点軸に加えて、さらに、人物関連度用の得点軸を用いるようにしてもよい。なお、人物関連度は、例えば、人物の登場回数や一緒に写った回数に基づいて得点化することができる。具体的には、登場回数が多い場合は、人物関連度が高いと判定することができ、一緒に写った回数が多いと人物関連度が高いと判定することができる。また、各得点軸を切り替えるようにしたが、メイン写真スロット用の得点軸、サブ写真スロット用の得点軸、人物関連度用の得点軸などを組み合わせた統合得点軸を用いてもよい。このとき、メイン写真スロット用の得点、サブ写真スロット用の得点、人物関連度の得点、の統合得点を算出する際の各得点の重みを変更してもよい。また、処理する回数によって利用する得点軸をランダムに変更してもよいし、予め用意したテーブルを参照して得点軸を切り替えるようにしてもよい。 In the present embodiment, the scoring axis for the main photo slot and the scoring axis for the sub photo slot have been described as examples of the scoring axis to be used. However, another scoring axis may be used. For example, in addition to the score axis for the main photo slot and the score axis for the sub photo slot, a score axis for the degree of person relevance may be used. Note that the degree of person relevance can be scored based on, for example, the number of appearances of the person or the number of times the person appears together. Specifically, when the number of appearances is large, it can be determined that the degree of person relevance is high, and when the number of appearances is large, it can be determined that the degree of person relevance is high. Further, although each score axis is switched, an integrated score axis combining a score axis for the main photo slot, a score axis for the sub photo slot, a score axis for the person relevance degree, and the like may be used. At this time, the weight of each score when calculating the integrated score of the score for the main photo slot, the score for the sub photo slot, and the score of the person relevance may be changed. Further, the score axis to be used may be randomly changed according to the number of times of processing, or the score axis may be switched with reference to a table prepared in advance.
類似判定部１１０９は、グループから選択された撮像画像データと、該グループから前回選択された撮像画像データとの類似度を求める。この類似度が閾値以上であれば類似していると判定し、閾値未満であれば類似していないと判定する。類似していないと判定された場合は、そのグループから選択した撮像画像データを出力し、類似していると判定された場合は、そのグループから選択した撮像画像データを破棄する。類似判定は、パターンマッチングによる判定、ＳＨＩＦＴ法を用いた判定などを用いることができる。類似判定に用いる閾値は、比較する画像データの撮像日時の差に応じて変更する。例えば、類似判定結果が０〜１００のレンジで出力される場合に１００に近いほど似ているとし、閾値以上であれば類似していると判定し、閾値未満であれば類似していないと判定する。連写などにより撮像日時の差が短い場合（例えば１５秒以内）は、閾値を低く設定する（例えば、６０に設定する）。それ以外は閾値を８０に設定する。閾値を低くすることにより、類似していると判断されやすくなり、少しの類似であっても類似画像と判断され、選択画像データが解除されることになる。本実施形態では、このように、撮像日時の差に応じて判定基準を変更する。
The
統合部１１１２は、類似判定部１１０９で非類似と判定された撮像画像データから、最終的に残す撮像画像データを選別する。複数の分割期間から撮像画像データが選択された場合にいずれの分割期間の撮像画像を選別するかを判断する。この判断の際には、画像選択部１１０８で画像選択の際に用いた得点を用い、最高得点の画像データを選択する。なお、本実施形態では、最高得点の画像を選択するものとしたが、これに限定されるものではない。例えば、画像データが選択された区間のうち、隣接する区間から画像データが選択されていない区間から選択するようにしてもよい。
The
枚数設定部１１０１は、１つの見開きにおいて配置される撮像画像データに基づく撮像画像の総数を設定する。画像管理部１１１３は、統合部１１１２で選択された撮像画像データを選択画像データとして追加し、枚数設定部１１０１で設定された必要数を超えていないかを判定する。必要数に到達した場合は画像データ選択処理を終了する。必要枚数に達成していない場合は、カウンタ１１０３にカウントアップを指示し、上述した画像データ選択処理を再度実行させる。図１１に示す構成を有する選択部２１０が行う画像データ選択処理について、図１２のフローチャートに従って説明する。
The
＜ステップＳ１２０１＞
枚数設定部１１０１は、処理対象の見開きに割り当てられたグループから選択する撮像画像データの総数を設定する。
<Step S1201>
The
＜ステップＳ１２０２＞
画像群取得部１１０２は、画像取得部２０２が取得した撮像画像データ群のうち、処理対象の見開きに割り当てられたグループに属する撮像画像データ群を取得する。
<Step S1202>
The image
＜ステップＳ１２０３＞
カウンタ１１０３は、画像選択部１１０８による画像データ選択回数Ｃをカウントする。初期状態では、画像選択は実行されていないのでＣ＝０である。
<Step S1203>
The
＜ステップＳ１２０４＞
得点軸設定部１１０４は、画像選択回数Ｃに応じて得点軸を画像選択部１１０８に供給する。本実施形態では、画像データ選択回数Ｃ＝０のときは、メイン写真スロット用の得点軸を設定し、画像データ選択回数Ｃ＝１以上のときは、サブ写真スロット用の得点軸を設定する。
<Step S1204>
The score
＜ステップＳ１２０５＞
分割部１１０５は、処理対象の見開きに割り当てられたグループに属する撮像画像において最も過去の撮像日時と最近の撮像日時との差分を撮像期間として求め、該求めた撮像期間を画像選択回数Ｃに応じた個数の分割期間（区間）に分割する。なお、第１回目のステップＳ１２０５では画像選択回数Ｃ＝０であるため、撮像期間の分割は行われない。
<Step S1205>
The
＜ステップＳ１２０６＞
設定部１１０６は、グループに属するそれぞれの撮像画像データに係る情報を管理する。撮像画像データに係る情報としては、ステップＳ４１０で求めた画像の得点、撮影時間情報、いずれの分割期間に属するものであるかの情報、選択済みの画像か否かの情報が挙げられる。
<Step S1206>
The
＜ステップＳ１２０７＞
分割部１１０５により分割されたそれぞれの分割期間のうち未選択があるか判定する。未選択区間がない、すなわち、全ての分割期間から既に撮像画像データが選択されている場合には、処理はステップＳ１２１１に進む。一方、分割期間から未だ撮像画像データが選択されていない未選択区間がある場合には、処理はステップＳ１２０８に進む。
<Step S1207>
It is determined whether or not there is any unselected among the respective divided periods divided by the
＜ステップＳ１２０８＞
画像選択部１１０８は、得点軸設定部１１０４から供給された得点軸に従って、ステップＳ１２０７において未選択とされた分割期間から１つの撮像画像データを選択する。
<Step S1208>
The
＜ステップＳ１２０９＞
類似判定部１１０９は、今回のステップＳ１２０８で選択した撮像画像データと前回ステップＳ１２０８で選択した撮像画像データとの類似度を求める。そしてこの類似度が閾値以上であれば類似していると判断して、処理はステップＳ１２１０に進む。一方、類似度が閾値未満であれば類似していないと判断して、処理はステップＳ１２１１に進む。
<Step S1209>
The
＜ステップＳ１２１０＞
類似判定部１１０９は、ステップＳ１２０８で選択した撮像画像データを破棄する。
<Step S1210>
The
＜ステップＳ１２１１＞
分割部１１０５により分割されたそれぞれの分割期間のうち未選択の分割期間が残っている場合には、処理はステップＳ１２０６に戻り、残っていない場合には、処理はステップＳ１２１２に進む。
<Step S1211>
If an unselected divided period remains among the divided periods divided by the
＜ステップＳ１２１２＞
統合部１１１２は、類似判定部１１０９で非類似と判定された各分割期間からの選択画像データから、最終的に残す画像データを選別する。すなわち、ステップＳ１２０７〜Ｓ１２１１で２以上の撮像画像データが残った場合、何れか１つを残すための選別を行う。
<Step S1212>
The
＜ステップＳ１２１３＞
画像管理部１１１３は、ステップＳ１２１２を経て残った撮像画像データを、処理対象となる見開きに対して使用する画像データ（選択画像データ）として追加する。
<Step S1213>
The
＜ステップＳ１２１４＞
画像管理部１１１３は、ステップＳ１２１３による追加の結果として現在の選択画像データの数が枚数設定部１１０１で設定された必要数を超えていないかを判定する。必要枚数に到達した場合は画像データ選択処理を終了する。一方、必要枚数に達成していない場合は、処理はステップＳ１２０３に戻る。この場合、カウンタ１１０３は画像データ選択回数Ｃを１つインクリメントし、以降の各ステップの処理が行われる。その結果、前回よりも２倍多い分割期間が設定される。分割期間がより細かく分割されることにより、分割期間内での撮像画像データに対する得点によるランクが変化するので、前回では選択されなかった撮像画像データが選択される。
<Step S1214>
The
＜ステップＳ４２２＞
レイアウト部２１２は、画像レイアウトの決定のために、ステップＳ４２１で選択した画像データを基にしてテンプレートを選択する。入力部２１１が入力したテンプレート群のうち、着目する見開きに適用するテンプレートを、該着目する見開きについて選択した撮像画像データに基づいて選択する。以下では具体例を挙げてステップＳ４２２における処理を説明するために、入力部２１１は、図１０（Ａ）の（１−１）〜（４−４）の１６枚のテンプレートを入力したとする。なお、ステップＳ４２２ではメイン写真スロット用に１枚の撮像画像データ、サブ写真スロット用に２つの撮像画像データを選択しているとする。この場合は、図１０（Ａ）に示すように写真スロットの数が３のテンプレート群を候補とする。ここで、ステップＳ４２１にて選択した３つの撮像画像データに基づく画像を撮像日時が古いものから順に並べると、図１０（Ｂ）に示す如く、縦長（縦向き）の画像１００６、横長（横向き）の画像１００７、縦長（縦向き）の画像１００５であったとする。なお、画像１００６及び１００７はサブ写真スロットに配置する撮像画像であり、画像１００５はメイン写真スロットに配置する撮像画像である。
<Step S422>
The
本実施形態では、テンプレートの左上に撮像日時のより古い画像、右下に撮像日時のより新しい画像をレイアウトするものとする。図１０（Ｂ）に示す如く、メイン写真スロットに配置する縦長の画像１００５の撮像日時が最近であるため、右下に最近の撮像日時の縦長のメイン写真スロット用の画像を配置するレイアウト（３−１）〜（３−４）が候補として残る。
In the present embodiment, it is assumed that an image with an older imaging date and time is laid out in the upper left of the template and an image with a newer imaging date and time in the lower right. As shown in FIG. 10B, since the image capturing date / time of the vertically
また、撮像日時が最も古い画像は縦長のサブ写真スロット用の画像１００６であり、左上に最も古い撮像日時の縦長のサブ写真スロット用の画像を配置するレイアウト（３−１）、（３−２）が候補として残る。
The image with the oldest shooting date and time is the
また、撮像日時が２番目に古い画像は横長のサブ写真スロット用の画像１００７であり、左上及び右下以外に２番目に古い撮像日時の横長のサブ写真スロット用の画像を配置するレイアウトは、（３−２）のみである。
Also, the image with the second oldest shooting date / time is the
然るに、この場合は、（３−２）のレイアウトを、着目する見開きに適用するテンプレートとして選択する。なお、着目する見開きに適用するテンプレートの選択方法は上記の方法に限るものではなく、他の方法を採用しても構わない。 In this case, however, the layout of (3-2) is selected as a template to be applied to the target spread. Note that the method for selecting a template to be applied to the target spread is not limited to the above method, and other methods may be adopted.
＜ステップＳ４２３＞
画像補正部２１４は、入力部２１３が取得したフラグ値が、画像補正を実施することを示す値である場合には、選択部２１０が選択した３つの撮像画像データのそれぞれに対して、覆い焼き補正、赤目補正、コントラスト補正等の補正処理を施す。もちろん、画像補正部２１４は、入力部２１３が取得したフラグ値が、画像補正を実施しないことを示す値である場合には、補正処理は実行しない。補正する画像の画素数は短辺１２００画素で、ｓＲＧＢの色空間に変換した画像に対して画像補正ＯＮ／ＯＦＦを実施する。
<Step S423>
When the flag value acquired by the
＜ステップＳ４２４＞
出力部２１５は、ステップＳ４２２で選択したテンプレート上のそれぞれの写真スロットに、該写真スロットに対してステップＳ４２１で選択された撮像画像データを、該写真スロットのサイズにリサイズして配置した「見開きのページの画像データ」を生成する。なお、配置する画像は撮像画像の代わりに、該撮像画像から生成した解析画像であっても良い。そして出力部２１５は、この生成した「見開きのページの画像データ」をレイアウト情報として出力する。出力先はディスプレイ１０５であっても良いし、ＨＤＤ１０４であっても良い。本実施形態では、「見開きのページの画像」をユーザに確認させると共に、必要であれば編集を可能にするために、「見開きのページの画像」をディスプレイ１０５に対して出力する。
<Step S424>
The
＜ステップＳ４２５＞
ステップＳ４２１において全ての見開きを選択した場合には、図４のフローチャートに従った処理は終了する。一方、未選択の見開きが残っている場合には、処理はステップＳ４２１に戻る。
<Step S425>
If all spreads are selected in step S421, the process according to the flowchart of FIG. 4 ends. On the other hand, if an unselected spread remains, the process returns to step S421.
次に、自動レイアウト処理部２１８による上記の処理中にディスプレイ１０５に表示される画面の推移について、その推移を表す図１５のフローチャートを用いて説明する。上記の通り、例えば、ディスプレイ１０５に表示されているアプリケーションのアイコンがユーザによりマウス１０７を使ってダブルクリックされることにより図３のＧＵＩ３０１がディスプレイ１０５に表示される（Ｓ１５０１）。図３のＧＵＩ３０１は、アルバムの作成条件を設定する設定画面である。
Next, the transition of the screen displayed on the
図３のＧＵＩ３０１において上記の通り様々な設定を行ってから、ユーザがキーボード１０６やマウス１０７を操作してＯＫボタン３０８を指定すると、図４のフローチャートに従った処理が開始される。更に、ディスプレイ１０５には、図２１に示すような、処理の進行の度合いを表したウィンドウ２１０１が表示される（Ｓ１５０２）。
When various settings are performed as described above in the
進捗バー２１０２は、図４のフローチャートに従った処理の開始時には０％を指し、該処理が進むにつれ、その長さは長くなり、ステップＳ４１５の処理が完了した時点で１００％を指す。すなわち、本実施形態では、「アルバム作成進捗表示」において、解析画像が生成されてから表紙のレイアウト画像データが作成されるまでの処理の進行度を表示する。その間の進捗バー２１０２の長さは、図４のフローチャートにおいて予め設定した各処理を完了するたびに対応する長さとなるように更新される。また、顔検出や個人認識などの解析処理には処理時間がかかるため、解析実行時には画像の数に応じて表示を更新してもよい。
The
そして、進捗バー２１０２が１００％を指し示すと、即ち、ステップＳ４１５の処理が完了とすると、図１６に例示するＧＵＩをディスプレイ１０５に表示する（Ｓ１５０３）。
When the
領域１６０１には、撮像画像がレイアウトされた結果のプレビュー画面が表示される。図１６では起動直後のＧＵＩを示しており、この時点では、表紙ページ（おもて表紙及び裏表紙の見開きページ）の画像しか生成されていないため、この表紙ページの画像が領域１６０１内に表示されている。
An
写真スロット１６０２は、裏表紙用の写真スロットであり、この写真スロット１６０２には裏表紙に割り当てられた撮像画像が配置される。写真スロット１６０３は、表紙用の写真スロットで、この写真スロット１６０３には表紙に割り当てられた撮像画像が配置される。
A
タイトル領域１６０４は、フォトアルバムのタイトルなどのテキスト情報を入力するための領域であり、ＧＵＩの起動直後の時点では何も表示されていない。例えば、ユーザがキーボード１０６やマウス１０７を操作してタイトル領域１６０４を指定することでタイトル領域１６０４に文字入力が可能となり、キーボード１０６やマウス１０７等の入力手段を操作してタイトル領域１６０４に文字を入力する。また、タイトル領域１６０４は、マウス１０７によるドラッグ操作などによって、その位置を移動させることができる。
A title area 1604 is an area for inputting text information such as a title of a photo album, and nothing is displayed immediately after starting up the GUI. For example, the user can input characters into the title area 1604 by operating the
ユーザがキーボード１０６やマウス１０７を操作して表紙ページの写真スロットのうち所望の写真スロット（図１６では写真スロット１６０２、１６０３の何れか）を指定して画像入替えボタン１６０５を指定する。この指定を受け付けると、ディスプレイ１０５には図１７に例示するＧＵＩ１７０１が表示される。ＧＵＩ１７０１は、ユーザが指定した写真スロットに現在配置されている撮像画像を所望の撮像画像に置き換えるための操作を受け付けるＧＵＩである。すなわち、ＧＵＩ１７０１は、画像入替画面である。このＧＵＩ１７０１については後述する。
The user operates the
図１６に戻って、ユーザがキーボード１０６やマウス１０７を操作して表紙ページの写真スロットのうち所望の写真スロット（図１６では写真スロット１６０２、１６０３の何れか）を指定して画像編集ボタン１６０６を指定する。この指定を受け付けると、ディスプレイ１０５には図１８に例示するＧＵＩが表示される。図１８に例示するＧＵＩは、ユーザが指定した写真スロットに現在配置されている撮像画像をリサイズ、回転、トリミングするための操作を受け付けるＧＵＩである。すなわち、図１８のＧＵＩは、画像編集画面である。このＧＵＩについては後述する。
Returning to FIG. 16, the user operates the
図１６に戻って、ユーザがキーボード１０６やマウス１０７を操作してボタン１６０８を指定すると、次のページのレイアウト結果が領域１６０１に表示される。ユーザがキーボード１０６やマウス１０７を操作してボタン１６０７を指定すると、前のページのレイアウト結果が領域１６０１に表示される。すなわち、ボタン１６０７、ボタン１６０８は、表示するレイアウト画像を切り替える切替部である。
Returning to FIG. 16, when the user operates the
ここで、図１６のＧＵＩが表示された時点では、本身のレイアウトは作成途中である。図１６のＧＵＩを表示し、このＧＵＩを操作してタイトル入力や画像の調整などをユーザが行っている間に、本身のレイアウト処理をバックグランドで実行する。そのため、本身のレイアウトが作成中の間は、ボタン１６０７，１６０８は機能しないように非表示にしてもよいし、またはグレーアウトして押せないようにしてもよい（無効化）。このとき、ボタン１６０７，１６０８が押下された場合は、「レイアウト作成中」等の表示をするようにしてもよい。
Here, when the GUI of FIG. 16 is displayed, the main layout is being created. The GUI shown in FIG. 16 is displayed, and the user performs the body layout process in the background while inputting the title and adjusting the image by operating the GUI. Therefore, while the main layout is being created, the
次に、バックグランドで実行中の本身のレイアウト作成が完了したか（図４のフローチャートに従った処理が完了したか）否かを判定する（Ｓ１５０４）。レイアウト作成が完了した場合には、処理はＳ１５０５に進み、未だ完了していない場合には、処理はＳ１５０３に戻る。なお、本実施形態では、本身の全てのレイアウトが完了するまで、ステップＳ１５０５に進まないものとしたが、これに限定されず、本身の複数の見開きページのうち、処理が完了した見開きページが有る場合は、ステップＳ１５０５に進むようにしてもよい。 Next, it is determined whether or not the creation of the body layout being executed in the background has been completed (the process according to the flowchart of FIG. 4 has been completed) (S1504). If the layout creation is completed, the process proceeds to S1505. If the layout creation has not been completed, the process returns to S1503. In the present embodiment, the process does not proceed to step S1505 until the entire layout of the main body is completed. However, the present invention is not limited to this, and there is a spread page that has been processed among a plurality of main spread pages. In that case, the process may proceed to step S1505.
レイアウト作成が完了すると、ボタン１６０７、１６０８を有効化し（指示可能にし）、ユーザが表紙ページ以外のページのレイアウト結果に関してもプレビューによる確認、及び編集できるようにする（Ｓ１５０５）。
When the layout creation is completed, the
図１６においてユーザがキーボード１０６やマウス１０７を操作して発注ボタン１６０９を指定すると、フォトアルバムの発注処理を行う。フォトアルバムの発注処理では、この時点で作成されているページの画像データを、フォトアルバムを作成する業者のサーバ装置などに転送する。一般には、表紙・裏表紙、本身の確認と編集作業が終了した時点で発注ボタン１６０９が指定されるので、これにより、完成したフォトアルバムを発注することができる。
In FIG. 16, when the user operates the
次に、上記の図１７のＧＵＩ１７０１について説明する。領域１７０２には入れ替え候補となるおすすめの撮像画像が表示される。このおすすめの撮像画像は、例えば、次のようにして決める。画像選択時に、ユーザが入換えを希望した希望撮像画像（画像入れ替えボタン１６０５を指定する前に指定した写真スロットに配置されている撮像画像）と同区間に属していた撮像画像群のうち得点が高い順に２番目以降の撮像画像をおすすめの撮像画像とする。このときの得点とは、希望撮像画像が配置されている写真スロット（若しくは表紙、裏表紙）に設定された得点軸の得点とする。そしてＮ（２以上の整数）番目までの撮像画像をおすすめの撮像画像とした場合、領域１７０２にはＮ枚の撮像画像がおすすめの撮像画像として表示されることになる。これにより、希望撮像画像と類似した特徴を有し且つ得点の高い画像と容易に入れ替えをすることができる。また、これに限定されず、アルバム作成に用いる撮影期間のうち得点が高い順に、すなわち、得点が２番目以降の撮像画像をおすすめの撮像画像としてもよい。
Next, the
領域１７０３には、ＨＤＤ１０４に保存されている全ての撮像画像が表示される。なお、撮像画像が多い場合は、ユーザのスクロールバーの移動操作に伴い、撮像画像を順に表示させる。なお、所望の条件を満たす撮像画像のみを領域１７０３に表示させるべく、その条件を指定するようにしても良い。
In a
ユーザはキーボード１０６やマウス１０７を操作して領域１７０２及び領域１７０３から所望の撮像画像を選択してからＯＫボタン１７０４を指定すると、ＧＵＩ１７０１は消去される。そして、図１６のＧＵＩにおいてユーザが画像入れ替えを希望して指定した写真スロット内の撮像画像は、ＧＵＩ１７０１においてユーザが指定した撮像画像に入れ替えられる。一方、ユーザがキーボード１０６やマウス１０７を操作してキャンセルボタン１７０５を指定すると、ＧＵＩ１７０１は消去され、画像入れ替えは行われない。
When the user operates the
次に、図１８のＧＵＩについて説明する。プレビュー領域１８０１には、画像編集ボタン１６０６を指定する際に図１６のＧＵＩにおいてユーザが指定した写真スロット内の撮像画像（編集対象画像）が、該写真スロットとサイズ比率で同じアスペクト比で表示される。
Next, the GUI in FIG. 18 will be described. In the
ユーザがキーボード１０６やマウス１０７を操作して拡大ボタン１８０２を指定するたびに編集対象画像は拡大される。編集対象画像が拡大されると、そのサイズはプレビュー領域１８０１よりも大きくなりはみ出してしまうが、そのはみ出した部分は表示せず、プレビュー領域１８０１に収まる部分だけがプレビュー領域１８０１内に表示される。すなわち、プレビュー領域１８０１に表示される部分を、撮像画像からトリミングする。拡大ボタン１８０２を指定するたびに、例えば５％ずつ拡大させる。
Each time the user operates the
ユーザがキーボード１０６やマウス１０７を操作して縮小ボタン１８０３を指定するたびに編集対象画像は縮小される。縮小ボタン１８０３は編集対象画像がプレビュー領域１８０１よりも大きいサイズの場合にのみ有効となり、プレビュー領域１８０１と同サイズとなった場合には無効となる。縮小ボタン１８０３を指定するたびに、例えば５％ずつ縮小させる。
Each time the user operates the
ユーザがキーボード１０６やマウス１０７を操作してボタン１８０４を指定するたびに、プレビュー領域１８０１内の画像は左回りに９０度回転させられる。ユーザがキーボード１０６やマウス１０７を操作してボタン１８０５を指定するたびに、プレビュー領域１８０１内の画像は右回りに９０度回転させられる。なお、画像を回転する際にプレビュー領域１８０１に空白領域が生じないように、プレビュー領域１８０１内の画像を適宜リサイズする。また、プレビュー領域１８０１上で画像をドラックして任意の方向に移動することにより、プレビュー領域１８０１に含まれていない他の画像部分をプレビュー領域１８０１内に表示させることができる。
Each time the user operates the
なお、ここでは、拡大率及び縮小率は何れも５％としたが、この値に限るものではない。また、この拡大率や縮小率はユーザがテキスト入力やバーの長さ調節などによって適宜変更できるようにしても構わない。また、ここでは、画像編集の一例として画像の拡大／縮小、回転、を示したが、色味調整や階調調整などの他の画像編集を可能にするＧＵＩ（操作部）を構成しても構わない。 Here, the enlargement ratio and the reduction ratio are both 5%, but are not limited to these values. Further, the enlargement ratio and reduction ratio may be appropriately changed by the user by inputting text or adjusting the length of the bar. In this example, image enlargement / reduction and rotation are shown as an example of image editing. However, a GUI (operation unit) that enables other image editing such as color adjustment and gradation adjustment may be configured. I do not care.
また、ここでは説明のために、画像得点化後に表紙・裏表紙画像の選択及びレイアウトを実行する方法を説明したが、見開き割当後に各見開きごとに高スコアの画像を選択して表紙画像に用いてもよい。その際、採用する画像枚数はページ見開き数を最大数と設定し、それ以下の画像枚数で表紙を作成してもよい。利用する画像枚数は、レイアウト後の最大画像サイズの解像度、レイアウト後の最小画像サイズ内の顔サイズなどによって設定してもよい。 For the sake of explanation, the method for selecting and laying out the front and back cover images after scoring the image has been described. However, after assigning the spread, an image with a high score is selected for each spread and used as the cover image. May be. At that time, the number of images to be adopted may be set such that the number of page spreads is set to the maximum number, and the cover is created with the number of images less than that. The number of images to be used may be set according to the resolution of the maximum image size after layout, the face size within the minimum image size after layout, and the like.
本実施形態では、表紙・裏表紙のレイアウト処理を本身のレイアウト処理よりも先に実行し、表紙・裏表紙のレイアウト（画像をテンプレートに配置したレイアウト画像）が完成した時点でレイアウト結果をプレビューする。これにより、ユーザはタイトル入力などの編集を行うことができる。ユーザが表紙の編集作業を行っている間にバックグランドで本身のレイアウト処理を行い、完成した時点でプレビュー及び編集可能とすることで、アルバム作成を効率的に行うことができる。また、表紙・裏表紙のレイアウトが完成した時点でプレビューすることで、編集開始までのユーザの待機時間を低減することができる。 In the present embodiment, the front cover / back cover layout process is executed prior to the main body layout process, and the layout result is previewed when the front cover / back cover layout (the layout image in which the image is arranged in the template) is completed. . As a result, the user can edit title input and the like. An album can be efficiently created by performing a body layout process in the background while the user is editing the cover, and enabling preview and editing when completed. In addition, by previewing when the front cover / back cover layout is completed, it is possible to reduce the waiting time of the user until the start of editing.
更に、表紙・裏表紙に利用する画像の選択条件を変更することにより、バリエーションに富んだ画像選択を行うことができ、ユーザ満足度の高いアルバムの表紙を作成することができる。 Furthermore, by changing the selection conditions of the images used for the front cover and back cover, it is possible to perform image selection rich in variations, and to create an album cover with high user satisfaction.
［第２の実施形態］
以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態では、タイトル領域に画像に含まれる顔領域が重ならないように、撮像画像をトリミングする。本実施形態では、レイアウト部２１７は、図２２に例示する構成を有する。
[Second Embodiment]
In the following, differences from the first embodiment will be described mainly, and unless otherwise noted, the same as the first embodiment. In the present embodiment, the captured image is trimmed so that the face area included in the image does not overlap the title area. In the present embodiment, the
取得部２２０１は、入力部２１１が入力したテンプレート群のうち、表紙／裏表紙に適用する候補となるテンプレート群を取得する。取得部２２０１によって取得されるテンプレートには、タイトル領域が設けられている。
The
取得部２２０２は、取得部２２０１が取得したそれぞれのテンプレートにおけるタイトル領域の座標位置（テンプレートに添付された情報に含まれている）を取得する。この座標位置は、タイトル領域の４隅の座標位置であっても良いし、左上隅及び右下隅の座標位置であっても良いし、１隅の座標位置と縦横サイズであっても良い。
The
取得部２２０３は、選択部２１６が選択した撮像画像データ（表紙用の撮像画像データ）を取得する。
The
取得部２２０４は、取得部２２０３が取得した撮像画像データについての画像解析部２０４による解析結果に含まれている、該撮像画像中の顔の数、該顔の座標位置を取得する。座標位置は、顔領域の４隅若しくは対向する２隅の座標位置、若しくは１隅の座標位置と縦横サイズである。
The
選定部２２０５は、取得部２２０２が取得したタイトル領域の座標位置と、それぞれの顔の座標位置と、を用いて、タイトル領域に最も近い顔の座標位置を特定する。例えば、それぞれの顔の座標位置をテンプレート上の座標位置に変換し、変換後の座標位置のうち、タイトル領域に最も近い座標位置を特定する。
The
判定部２２０６は、取得部２２０２が取得したタイトル領域の座標位置と、それぞれの顔の座標位置と、を用いて、タイトル領域と重複している顔の座標位置を特定する。トリミング部２２０７は、選択部２１６が選択した撮像画像から表示対象となる部分画像をトリミングする。判定部２２０６及びトリミング部２２０７の動作について、図１４を用いて説明する。
The
図１４に示す領域２４０１は、表紙用の撮像画像をレイアウトする領域（写真スロット）であり、図１４では説明上、該撮像画像全体は示しておらず顔（顔領域２４０２，２４０３）のみを示し、顔以外は省略している。顔領域２４０２の左上隅の座標位置は（Ｆ１ｘ、Ｆ１ｙ）で、顔領域２４０２の縦サイズ＝Ｆ１Ｈ、横サイズ＝Ｆ１Ｗ、顔領域２４０３の縦サイズ＝Ｆ２Ｈ（＞Ｆ１Ｈ）、横サイズ＝Ｆ２Ｗ（＞Ｆ１Ｗ）である。領域２４０４はタイトル領域であり、その左上隅の座標位置は（Ｔｘ，Ｔｙ）、縦サイズ＝ＴＨ、横サイズ＝ＴＷである。ここでは説明上、表紙用の撮像画像に含まれている顔の数は２つとし、検出された顔は面内回転が０度の状態とし、検出された顔の幅および高さは同じ長さとする。
An
また、領域２４０１にレイアウトする撮像画像のサイズは領域２４０１のサイズよりも十分に大きいものとし、領域２４０１内には、撮像画像の一部の領域がトリミングされて表示されているものとする。また、図１４においてｘ軸の増加方向を右方向とし、ｙ軸の増加方向を下方向とする。
In addition, the size of the captured image laid out in the
このような状況において、選定部２２０５は先ず、それぞれの顔領域の縦サイズのうち最大の縦サイズを特定する。図１４の場合、Ｆ２Ｈ＞Ｆ１Ｈであるから、最大の縦サイズとしてＦ２Ｈを特定する。そして選定部２２０５は、領域２４０４の縦横サイズを最大の縦サイズＦ２Ｈだけ広げた領域２４０５（横サイズ＝ＪＷ、縦横サイズ＝ＪＨ）を、以下の重なり判定を行うタイトル領域として設定する。
In such a situation, the
そして選定部２２０５は、顔領域２４０３よりも顔領域２４０２の方が領域２４０４に近いと判断するため、判定部２２０６は、顔領域２４０２と領域２４０５とが重複しているか否かを判断する。重複判断には様々な方法が考えられるが、ここでは、顔領域２４０２の左上隅の座標位置（Ｆ１ｘ、Ｆ１ｙ）が領域２４０５に含まれているか否かを判断する。なお、ここでは、顔検出結果で顔と判定された顔領域２４０２に対し、所定幅のマージンを縦及び横にそれぞれ設けた領域をトリミング対象領域とする。顔検出結果は検出時に顔サイズを誤って判定する可能性があるためである。図１４では、実際には、領域２４０４に顔がかかっていないが、トリミング対象領域が重なっているため、顔領域２４０２が領域２４０４に重なっていると判定される。なお、マージンは、固定値としてもよいし、顔領域２４０３のサイズに応じて適宜設定してもよい。例えば、顔領域２４０３に対して上下左右に１０％のマージンを設定するようにしてもよい。
Since the
ここではタイトル領域に顔領域がかかった場合には一律の判定基準で回避する方法を記載したが、かかる顔サイズに応じて判定基準を変更してもよい。例えば、顔が小さい場合は判定基準を緩くし、顔が大きい場合は判定基準を厳しくしてもよい。 Here, a method of avoiding with a uniform determination criterion when a face region covers the title region has been described, but the determination criterion may be changed according to the face size. For example, if the face is small, the criterion may be relaxed, and if the face is large, the criterion may be strict.
判定部２２０６が重複していると判断した場合、トリミング部２２０７は、撮像画像において現在領域２４０１に表示している部分領域を｛Ｆ１Ｈ−（Ｔｙ＋ＴＨ＋Ｆ２Ｈ）｝の量だけｙ方向に移動させた部分領域を特定する。そしてトリミング部２２０７は、該特定した部分領域内の画像（撮像画像の部分画像）を領域２４０１内に配置する。
When it is determined that the
以上説明したレイアウト部２１７の動作について、図２３のフローチャートに従って説明する。ステップＳ２３０１では、取得部２２０１は、入力部２１１が入力したテンプレート群のうち、表紙／裏表紙に適用する候補となるテンプレート群を取得する。ステップＳ２３０２では、取得部２２０２は、取得部２２０１が取得したそれぞれのテンプレートにおけるタイトル領域の座標位置を取得する。ステップＳ２３０３では、取得部２２０３は、選択部２１６が選択した撮像画像（表紙用の撮像画像）を取得する。ステップＳ２３０４では、取得部２２０４は、取得部２２０３が取得した撮像画像についての画像解析部２０４による解析結果に含まれている、該撮像画像中の顔の数、該顔の座標位置を取得する。ステップＳ２３０５では、選定部２２０５は、取得部２２０２が取得したタイトル領域の座標位置と、それぞれの顔の座標位置と、を用いて、タイトル領域に最も近い顔の座標位置を特定する。ステップＳ２３０６では、選定部２２０５は先ず、それぞれの顔領域の縦サイズのうち最大の縦サイズを特定し、該特定した縦サイズ分だけタイトル領域を拡大した拡大領域を設定する。そして判定部２２０６は、ステップＳ２３０５で特定した座標位置によって規定される顔領域と拡大領域とが重複しているか否かを判定する。
The operation of the
この判定の結果、重複している場合には、処理はステップＳ２３０７に進み、重複していない場合には、図２３のフローチャートに従った処理は完了する。ステップＳ２３０７では、トリミング部２２０７は、撮像画像において現在表示中の部分領域を上記の分だけｙ方向に移動させた部分領域を特定し、該特定した部分領域内の画像を表紙に配置する。
If the result of this determination is that there is an overlap, the process proceeds to step S2307. If there is no overlap, the process according to the flowchart of FIG. 23 is completed. In step S2307, the
このように、表紙を作成する際に表紙画像の顔領域がタイトル領域に重ならないように制御することにより、アルバムの表紙の完成度・ユーザの満足度を上げることができる。更に、表示前にタイトル領域に顔領域がかからないように制御しておくことで、ユーザの編集にかかる手間を軽減することができる。なお、拡大領域の代わりに元のテキスト領域との重複判定を行うようにしても構わない。 In this way, when creating a cover, by controlling so that the face area of the cover image does not overlap the title area, it is possible to improve the degree of album cover completeness and user satisfaction. Furthermore, by controlling so that the face area does not cover the title area before display, it is possible to reduce the time and effort required for editing by the user. Note that the overlap determination with the original text area may be performed instead of the enlarged area.
［第３の実施形態］
以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１，２の実施形態では、表紙に配置する画像及び裏表紙に配置する画像を補正してからレイアウトした表紙ページの画像を表示していた。本実施形態では、表紙ページの画像をより早く表示するべく、表紙に配置する画像及び裏表紙に配置する画像は補正せずにレイアウトして表紙ページの画像を生成して表示し、該表示後に画像補正を行って表示を更新する。この手順について、図１３のフローチャートを用いて説明する。
[Third Embodiment]
In the following, differences from the first embodiment will be described mainly, and unless otherwise noted, the same as the first embodiment. In the first and second embodiments, the image of the cover page laid out after correcting the image to be arranged on the cover and the image to be arranged on the back cover is displayed. In this embodiment, in order to display the cover page image more quickly, the image to be arranged on the cover and the image to be arranged on the back cover are laid out without correction, and the cover page image is generated and displayed. Perform image correction and update the display. This procedure will be described with reference to the flowchart of FIG.
選択部２１６が第１の実施形態と同様にして、表紙及び裏表紙で１ページとする表紙ページにレイアウトする規定数の撮像画像データを選択する（Ｓ２５０１）。次に、レイアウト部２１７が、第１の実施形態と同様にして、表紙／裏表紙に適用するテンプレートを選択する（Ｓ２５０２）。次に、出力部２１５は、第１の実施形態と同様にしてテンプレート上のそれぞれの写真スロットに撮像画像を配置した「表紙ページの画像データ」を生成し（Ｓ２５０３）、「表紙ページの画像データ」をレイアウト情報として出力する（Ｓ２５０４）。これによりディスプレイ１０５には、この表紙ページの画像データに基づく「表紙ページの画像」を含むＧＵＩが表示される。ここで、この「表紙ページの画像」は第１の実施形態のように補正されたものではない。そこで次に、画像補正部２１４は、「表紙ページの画像」にレイアウトされた撮像画像を第１の実施形態と同様にして補正する（Ｓ２５０５）。そして、出力部２１５はＳ２５０３と同様にして、この補正された撮像画像をテンプレート上のそれぞれの写真スロットに配置した「表紙ページの画像データ」を生成し、「表紙ページの画像データ」をレイアウト情報として出力する（Ｓ２５０６）。これによりディスプレイ１０５に表示中のＧＵＩに含まれている撮像画像は、補正前の撮像画像から補正後の撮像画像に更新される。補正を適用する画像の順番は表紙画像を初めに行い、次に裏表紙画像に対して処理を行う。画像が複数ある場合には表示サイズが小さい画像から補正処理を実行する。
In the same manner as in the first embodiment, the
そして、表紙・裏表紙に利用されている全ての画像に対して画像補正を実行した場合には、図１３のフローチャートに従った処理は完了し、未だ画像補正を行っていない画像が残っている場合には、Ｓ２５０５，Ｓ２５０６の処理を繰り返す。 When image correction is performed on all images used for the front and back covers, the processing according to the flowchart of FIG. 13 is completed, and an image that has not been subjected to image correction still remains. In that case, the processing of S2505 and S2506 is repeated.
ここでは説明のために、画像補正を行う順を表紙と裏表紙で設定したが、選択部２１６で利用した画像得点の順によって処理順を設定してもよい。また、マルチスレッドで表紙・裏表紙で採用した画像を同時に画像補正を実行して、補正できた画像から順に表示してもよい。
Here, for the sake of explanation, the order of image correction is set for the front cover and the back cover, but the processing order may be set according to the order of the image scores used by the
このように表紙・裏表紙のレイアウト結果を表示する際に、はじめは画像補正なしの状態で表示を行う。その後、画像補正が適用された画像から表示を更新することにより、より速く表紙・裏表紙のレイアウト結果を表示することができ、ユーザが編集作業に着手できるまでの時間を短縮することができる。 When displaying the cover / back cover layout results in this way, the display is first performed without image correction. Thereafter, by updating the display from the image to which the image correction is applied, the layout result of the front cover / back cover can be displayed more quickly, and the time until the user can start editing can be shortened.
［第４の実施形態］
上記の実施形態では、表紙ページとして、おもて表紙及び裏表紙のいずれも作成する場合について説明したが、裏表紙を生成せずに、おもて表紙のみを生成するようにしてもよい。
[Fourth Embodiment]
In the above-described embodiment, the case where both the front cover and the back cover are created as the cover page has been described. However, only the front cover may be generated without generating the back cover.
上記の第２の実施形態では、選択した画像に含まれる顔領域がタイトル領域にかからないように、撮像画像をトリミングするものとしたが、これに限定されず、選択した画像の顔領域がタイトル領域に重ならないテンプレートを選択するようにしてもよい。すなわち、タイトル位置及び／又はスロットの位置が異なる複数の表紙テンプレートを予め用意しておき、その中から選択した画像に含まれる顔領域がタイトル領域にかからないテンプレートを選択するようにしてもよい。 In the second embodiment, the captured image is trimmed so that the face area included in the selected image does not cover the title area. However, the present invention is not limited to this, and the face area of the selected image is the title area. You may make it select the template which does not overlap. That is, a plurality of cover templates having different title positions and / or slot positions may be prepared in advance, and a template in which the face area included in the selected image does not cover the title area may be selected.
上記の実施形態では、フォトアルバムを作成するアプリケーションについて説明したが、作成するものはフォトアルバムに限るものではない。例えば、お勧め画像を自動選択するような画像選択処理を備えるアプリケーションや画像処理装置を対象として上記の実施形態の構成を適用しても構わない。 In the above embodiment, an application for creating a photo album has been described. However, what is created is not limited to a photo album. For example, the configuration of the above-described embodiment may be applied to an application or an image processing apparatus that includes an image selection process that automatically selects a recommended image.
また、図１では、ローカル環境を想定した画像処理装置を例に挙げて説明したが、画像処理装置はこれに限定されるものではない。例えば、サーバ上の画像処理装置であってもよい。この場合は、サーバ内に保存されている画像データを利用又は画像データをアップロードするようにすればよい。 In FIG. 1, an image processing apparatus that assumes a local environment has been described as an example. However, the image processing apparatus is not limited to this. For example, an image processing apparatus on a server may be used. In this case, image data stored in the server may be used or image data may be uploaded.
また、上述した実施形態では、図９に示すように、画像データを選択してから順に期間分割するようにしたが、これに限定されるものではない。例えば、選択する画像データの数に応じて、予めその数に分割してもよい。この場合の画像データ選択方法について、図９を用いて説明する。なお一例として、４つの撮像画像データを選択したい場合について説明する。 In the above-described embodiment, as shown in FIG. 9, the image data is selected and then divided into periods in order, but the present invention is not limited to this. For example, according to the number of image data to be selected, the number may be divided in advance. The image data selection method in this case will be described with reference to FIG. As an example, a case where four pieces of captured image data are desired to be selected will be described.
まず、図９（Ｅ）に示すように撮像期間を４等分する。そして、撮像期間に関わらず、１つ目の撮像画像データを選択する。次に、２つ目の撮像画像データは、１つ目の撮像画像データが選択されていない３つの撮像期間から選択する。次に、３つ目の撮像画像データは、１つ目の撮像画像データも２つ目の撮像画像データも選択されていない２つの撮像期間から選択する。４つ目の撮像画像データは、１つ目の撮像画像データも２つ目の撮像画像データも３つ目の撮像画像データも選択されていない撮像期間から選択する。なお、その撮像期間に撮像画像データが存在しない場合は、図９（Ｈ）と同様に、１つ目の撮像画像データを取得した撮像期間、２つ目の撮像画像データを取得した撮像期間、３つ目の撮像画像データを取得した撮像期間を分割して、撮像画像データを選択すればよい。 First, as shown in FIG. 9E, the imaging period is divided into four equal parts. Then, the first captured image data is selected regardless of the imaging period. Next, the second captured image data is selected from three imaging periods in which the first captured image data is not selected. Next, the third captured image data is selected from two imaging periods in which neither the first captured image data nor the second captured image data is selected. The fourth captured image data is selected from an imaging period in which neither the first captured image data, the second captured image data, nor the third captured image data is selected. If there is no captured image data in the imaging period, as in FIG. 9H, the imaging period in which the first captured image data is acquired, the imaging period in which the second captured image data is acquired, What is necessary is just to divide | segment the imaging period which acquired the 3rd captured image data, and to select captured image data.
また、上述した実施形態では、画像が写真であるものとし、撮像日時に基づいてグループ分けをするようにしたが、画像データを作成した日時でグループ分けをするようにしてもよい。また、上記の各実施形態はその一部若しくは全部を適宜組み合わせて使用しても構わない。 In the above-described embodiment, the images are assumed to be photographs, and grouping is performed based on the shooting date and time. However, grouping may be performed based on the date and time when the image data is created. Moreover, you may use each said embodiment combining some or all suitably.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０１：ＣＰＵ １０５：ディスプレイ 101: CPU 105: Display
Claims (11)
前記生成手段により生成されたレイアウト画像データに基づいてレイアウト画像を表示部に表示させる表示制御手段と、
を備え、
前記生成手段は、表紙に対応するレイアウト画像データ及び本身に対応するレイアウト画像データを生成し、
前記生成手段が表紙に対応するレイアウト画像データを生成した場合、前記表示制御手段は、前記表紙に対応するレイアウト画像データに基づいて、表紙のレイアウト画像を前記表示部に表示させ、
前記生成手段は、前記表紙のレイアウト画像の表示のバックグラウンドで、前記本身に対応するレイアウト画像データを生成することを特徴とする画像処理装置。 Generating means for generating layout image data in which an image based on image data selected from the image data group is laid out;
Display control means for displaying a layout image on a display unit based on the layout image data generated by the generating means;
With
The generating means generates layout image data corresponding to a cover and layout image data corresponding to the body,
When the generation unit generates layout image data corresponding to a cover, the display control unit displays a cover layout image on the display unit based on the layout image data corresponding to the cover,
The image processing apparatus, wherein the generation unit generates layout image data corresponding to the body in a background of display of the layout image of the cover.
前記編集画面は、ユーザの指示を受ける操作部を有することを特徴とする請求項１に記載の画像処理装置。 The display control means displays a layout image corresponding to the cover on an editing screen for editing the layout image,
The image processing apparatus according to claim 1, wherein the editing screen includes an operation unit that receives an instruction from a user.
前記表紙に対応するレイアウト画像の表示後に、該表紙に対応するレイアウト画像を補正した補正後のレイアウト画像を表示することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。 The display control means includes
6. The image processing apparatus according to claim 1, wherein after the layout image corresponding to the cover is displayed, a corrected layout image obtained by correcting the layout image corresponding to the cover is displayed. .
前記切替部は、前記生成手段による本身に対応するレイアウト画像データの生成が完了するまでは無効化されており、前記生成手段による本身に対応するレイアウト画像データの生成が完了すると有効化されることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。 The display control means displays a switching unit for instructing display of a layout image corresponding to the body,
The switching unit is invalidated until generation of layout image data corresponding to the body by the generation unit is completed, and is enabled when generation of layout image data corresponding to the body by the generation unit is completed. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記画像データ群から選択された画像データに基づく画像の一部を文字入力領域と重ねたレイアウト画像データを生成する場合、該文字入力領域に該画像データに基づく画像内に含まれる顔が重複しないように前記レイアウト画像データを生成することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。 The generating means includes
When generating layout image data in which a part of an image based on image data selected from the image data group is overlapped with a character input area, faces included in the image based on the image data do not overlap with the character input area The image processing apparatus according to claim 1, wherein the layout image data is generated as described above.
前記生成工程において生成されたレイアウト画像データに基づいてレイアウト画像を表示部に表示させる表示制御工程と、
を備え、
前記生成工程では、表紙に対応するレイアウト画像データ及び本身に対応するレイアウト画像データを生成し、
前記生成工程において表紙に対応するレイアウト画像データを生成した場合、前記表示制御工程では、前記表紙に対応するレイアウト画像データに基づいて、表紙のレイアウト画像を前記表示部に表示させ、
前記生成工程では、前記表紙のレイアウト画像の表示のバックグラウンドで、前記本身に対応するレイアウト画像データを生成することを特徴とする画像処理方法。 A generation step of generating layout image data in which an image based on image data selected from the image data group is laid out;
A display control step for displaying a layout image on a display unit based on the layout image data generated in the generation step;
With
In the generation step, layout image data corresponding to the cover and layout image data corresponding to the body are generated,
When layout image data corresponding to a cover is generated in the generating step, the display control step displays a cover layout image on the display unit based on the layout image data corresponding to the cover,
In the generating step, layout image data corresponding to the body is generated in the background of display of the layout image of the cover.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015255235A JP6647039B2 (en) | 2015-12-25 | 2015-12-25 | Image processing apparatus, image processing method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015255235A JP6647039B2 (en) | 2015-12-25 | 2015-12-25 | Image processing apparatus, image processing method, and computer program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017117403A true JP2017117403A (en) | 2017-06-29 |
| JP2017117403A5 JP2017117403A5 (en) | 2019-01-24 |
| JP6647039B2 JP6647039B2 (en) | 2020-02-14 |
Family
ID=59234970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015255235A Active JP6647039B2 (en) | 2015-12-25 | 2015-12-25 | Image processing apparatus, image processing method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6647039B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3694200A1 (en) * | 2019-02-06 | 2020-08-12 | PlanetArt LLC | Custom recommendations application for creating photo book cover |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003111009A (en) * | 2001-09-28 | 2003-04-11 | Fuji Photo Film Co Ltd | Electronic album editing device |
| JP2003196318A (en) * | 2002-08-05 | 2003-07-11 | Hitachi Ltd | Method and device for displaying image |
| JP2010147584A (en) * | 2008-12-16 | 2010-07-01 | Noritsu Koki Co Ltd | Image layout setting method and image layout setting device |
| JP2010154021A (en) * | 2008-12-24 | 2010-07-08 | Noritsu Koki Co Ltd | Device and program for ordering multi image print |
| JP2012058808A (en) * | 2010-09-06 | 2012-03-22 | Seiko Epson Corp | Information processing equipment and program, and information processing method |
-
2015
- 2015-12-25 JP JP2015255235A patent/JP6647039B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003111009A (en) * | 2001-09-28 | 2003-04-11 | Fuji Photo Film Co Ltd | Electronic album editing device |
| JP2003196318A (en) * | 2002-08-05 | 2003-07-11 | Hitachi Ltd | Method and device for displaying image |
| JP2010147584A (en) * | 2008-12-16 | 2010-07-01 | Noritsu Koki Co Ltd | Image layout setting method and image layout setting device |
| JP2010154021A (en) * | 2008-12-24 | 2010-07-08 | Noritsu Koki Co Ltd | Device and program for ordering multi image print |
| JP2012058808A (en) * | 2010-09-06 | 2012-03-22 | Seiko Epson Corp | Information processing equipment and program, and information processing method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3694200A1 (en) * | 2019-02-06 | 2020-08-12 | PlanetArt LLC | Custom recommendations application for creating photo book cover |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6647039B2 (en) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7487362B2 (en) | Image processing device, image processing method, and program | |
| JP6938422B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP7286392B2 (en) | Image processing device, image processing method, and program | |
| JP6902886B2 (en) | Image processing equipment, methods and programs | |
| JP6711937B2 (en) | Image processing device, image processing method, and program | |
| JP7286393B2 (en) | Image processing device, image processing method, and program | |
| JP6719206B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6494504B2 (en) | Information processing apparatus, control method, and program | |
| CN108234814B (en) | Control method and storage medium | |
| JP2018097491A (en) | Image processing device, image processing method and program | |
| JP7076974B2 (en) | Image processing equipment, control methods and programs | |
| US10545656B2 (en) | Information processing apparatus and display controlling method for displaying an item in a display area in response to movement | |
| JP6681192B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2018097482A (en) | Image processing apparatus, control method, and program | |
| JP6532398B2 (en) | Image processing apparatus, image processing method and program | |
| JP6422409B2 (en) | Display control apparatus, display control method, and program | |
| US11556582B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium storing program | |
| KR20200067260A (en) | Image processing apparatus for laying out image on template and image processing method | |
| JP2018097481A (en) | Image processing apparatus, control method, and program | |
| JP7027101B2 (en) | Information processing equipment, control methods, and programs | |
| JP6765978B2 (en) | Information processing equipment and programs | |
| JP6647039B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP7451242B2 (en) | Image processing device, image processing method, and program | |
| JP2021149195A (en) | Program, image processing method, and image processing apparatus | |
| JP6572054B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200114 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6647039 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |