JP6054330B2 - 画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体 - Google Patents

画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6054330B2
JP6054330B2 JP2014066442A JP2014066442A JP6054330B2 JP 6054330 B2 JP6054330 B2 JP 6054330B2 JP 2014066442 A JP2014066442 A JP 2014066442A JP 2014066442 A JP2014066442 A JP 2014066442A JP 6054330 B2 JP6054330 B2 JP 6054330B2
Authority
JP
Japan
Prior art keywords
image
arrangement
image data
layout
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014066442A
Other languages
English (en)
Other versions
JP2015192209A (ja
Inventor
陽平 桃木
陽平 桃木
啓 山路
啓 山路
秀寿 ▲高▼仲
秀寿 ▲高▼仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014066442A priority Critical patent/JP6054330B2/ja
Priority to US14/670,437 priority patent/US9305213B2/en
Publication of JP2015192209A publication Critical patent/JP2015192209A/ja
Application granted granted Critical
Publication of JP6054330B2 publication Critical patent/JP6054330B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、複数の画像が配置された画像レイアウトを生成する画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体に関するものである。
従来から、複数の画像データを用いたフォトブック(フォトアルバム)等の画像商材の自動生成が行われており、フォトブック等の自動生成に際して、画像データの自動レイアウトが行われている(特許文献1、2参照)。
特許文献1および2には、バイナリーツリー(二分木)を利用して所定のエリア(被レイアウト領域)内にオブジェクト(画像)のセットを配置する方法が開示されており、画像レイアウトのスコアを算出し、スコアに基づいて画像レイアウトを生成する旨が開示されている。
特開2005−110280号公報 特開2010−262678号公報
特許文献1および2を利用すれば、複数の画像を配置した画像レイアウトを自動生成することができるが、特許文献1および2に示すように、ブランクスペースの面積やイメージエリアの一様性等を表わすスコアに基づいて画像レイアウトを生成したとしても類似性の高い画像どうしが離れて配置された画像レイアウトが生成される場合があり、生成された画像レイアウトがユーザにとって好ましい画像レイアウトであるとは限らなかった。
本発明の目的は、上記従来技術の問題点を解消し、類似性の高い画像どうしがまとまって配置された画像レイアウトを複数生成することができる画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体を提供することにある。
上記課題を解決するために、本発明は、複数の画像データを取得する画像データ取得部と、複数の画像データから第1の画像データを抽出し、仮想の配置領域に第1の画像データに基づく第1の画像を配置する第1画像配置部と、複数の画像データから、仮想の配置領域に配置する新たな画像データを抽出する画像データ抽出部と、画像データ抽出部によって抽出された新たな画像データと、仮想の配置領域に配置されたそれぞれの配置画像の画像データとの間の画像間距離を算出し、算出された画像間距離に基づいて1つの配置画像を選択する配置画像選択部と、配置画像選択部によって選択された配置画像の上下左右のいずれかに、選択された配置画像に合わせてアスペクト比を維持しつつサイズ調整を行って、新たな画像データに基づく新たな画像を配置する第2画像配置部と、全ての配置画像が全体として矩形のセット画像を構成するように、全ての配置画像のアスペクト比を維持しつつサイズ調整を行って矩形のセット画像を生成するサイズ調整部と、複数の画像データのうち仮想の配置領域に配置される画像データがなくなるまで、画像データ抽出部による新たな画像データの抽出、配置画像選択部による配置画像の選択、第2画像配置部による新たな画像の配置、サイズ調整部による矩形のセット画像の生成を繰り返して、最後に生成された矩形のセット画像を画像レイアウトとする装置制御部とを備えることを特徴とする画像レイアウト生成装置を提供する。
また、画像データは、画像特徴量を有し、配置画像選択部は、新たな画像データの画像特徴量と配置画像の画像データの画像特徴量とに基づいて画像間距離を算出することが好ましい。
また、画像特徴量は、撮影日時情報、撮影位置情報、画像の色味の情報、および画像の撮影内容の情報の少なくとも1つを含むことが好ましい。
また、画像データ取得部によって取得された複数の画像データのそれぞれの画像特徴量を算出する画像特徴量算出部を更に備えることが好ましい。
また、画像特徴量は、画像データの横幅を縦幅で除算したアスペクト比の値を更に含むものであり、画像データ抽出部は、アスペクト比の値が0.5〜2.0の範囲に含まれる画像データを抽出した後に、アスペクト比の値が0.5〜2.0の範囲から外れる画像データを抽出することが好ましい。
また、装置制御部は、第1画像配置部による第1の画像の配置、画像データ抽出部による新たな画像データの抽出、配置画像選択部による配置画像の選択、および第2画像配置部による新たな画像の配置と並行して、画像レイアウトに対応する二分木を生成することが好ましい。
また、本発明は、上述の画像レイアウト生成装置と、画像レイアウト生成装置によって生成された複数の画像レイアウトを格納する格納部と、格納部に格納された画像レイアウトを表示する表示部と、ユーザの指示に基づいて画像レイアウトを編集する画像レイアウト編集部と、ユーザの指示に基づいて画像レイアウトを画像商材として出力する出力部とを備え、表示部は、画像レイアウトと共に二分木を表示し、画像レイアウト編集部は、ユーザによる二分木の編集に基づいて画像レイアウトを編集することを特徴とする画像商材作成システムを提供する。
また、画像レイアウトに基づいてレイアウトスコアを算出するスコア算出部を更に備え、表示部は、スコア算出部によって算出されたレイアウトスコアに基づいて格納部に格納された複数の画像レイアウトを表示することが好ましい。
また、画像レイアウト編集部は、表示部に表示された複数の画像レイアウトから1つの画像レイアウトをユーザに選択させ、出力部は、ユーザによって選択された画像レイアウトを画像商材として出力することが好ましい。
また、本発明は、複数の画像を所定の表示領域にレイアウトした画像レイアウトを生成する画像レイアウト生成方法であって、複数の画像データから第1の画像データを抽出し、仮想の配置領域に第1の画像データに基づく第1の画像を配置する第1の画像配置ステップと、複数の画像データから、仮想の配置領域に配置する新たな画像データを抽出する画像データ抽出ステップと、画像データ抽出ステップによって抽出された新たな画像データと、仮想の配置領域に配置されたそれぞれの配置画像の画像データとの間の画像間距離を算出し、算出された画像間距離に基づいて1つの配置画像を選択する配置画像選択ステップと、配置画像選択ステップによって選択された配置画像の上下左右のいずれかに、選択された配置画像に合わせてアスペクト比を維持しつつサイズ調整を行って、新たな画像データに基づく新たな画像を配置する第2の画像配置ステップと、全ての配置画像が全体として矩形のセット画像を構成するように、全ての配置画像のアスペクト比を維持しつつサイズ調整を行って矩形のセット画像を生成するサイズ調整ステップと、複数の画像データのうち仮想の配置領域に配置される画像データがなくなるまで、画像データ抽出ステップ、配置画像選択ステップ、第2の画像配置ステップ、およびサイズ調整ステップを順次繰り返す繰り返しステップと、繰り返しステップを繰り返して最後に生成された矩形のセット画像を画像レイアウトとして出力する画像レイアウト出力ステップとを備えることを特徴とする画像レイアウト生成方法を提供する。
また、画像データは、画像特徴量を有し、配置画像選択ステップは、新たな画像データの画像特徴量と配置画像の画像データの画像特徴量とに基づいて画像間距離を算出することが好ましい。
また、画像特徴量は、撮影日時情報、撮影位置情報、画像の色味の情報、および画像の撮影内容の情報の少なくとも1つを含むことが好ましい。
複数の画像データのそれぞれの画像特徴量を算出する画像特徴量算出ステップを更に備えることが好ましい。
また、画像特徴量は、画像データの横幅を縦幅で除算したアスペクト比の値を更に含むものであり、画像データ抽出ステップは、アスペクト比の値が0.5〜2.0の範囲に含まれる画像データを抽出した後に、アスペクト比の値が0.5〜2.0の範囲から外れる画像データを抽出することが好ましい。
また、第1の画像配置ステップ、画像データ抽出ステップ、配置画像選択ステップ、および第2の画像配置ステップと並行して、画像レイアウトに対応する二分木を生成することが好ましい。
また、本発明は、コンピュータに、上述のいずれかに記載の画像レイアウト生成方法の各ステップを実行させるための画像レイアウト生成プログラムを提供する。
また、本発明は、上述の画像レイアウト生成プログラムが記録されたコンピュータ読取可能な記録媒体を提供する。
本発明によれば、類似性の高い画像どうしがまとまって配置されたユーザにとって好ましい画像レイアウトを複数生成することができ、また、ユーザにとって好ましい画像レイアウトを有する画像商材を作成することができる。
本発明の実施の形態1に係る画像レイアウト生成装置の全体構成を示すブロック図である。 図1の画像レイアウト生成装置における、画像レイアウト生成フローを示すフローチャートである。 (A)は、図1の画像レイアウト生成装置において、レイアウトを行う複数の画像を示す模式図であり、(B)は、レイアウトが行われる被レイアウト領域を示す模式図である。 (A)は、1枚目の画像配置と、その論理構造(二分木)とを示す模式図であり、(B)は、1回目の画像選択と、その論理構造とを示す模式図であり、(C)は、2枚目の画像配置の一例と、その論理構造とを示す模式図である。 (A)は、2回目の画像選択の一例と、その論理構造とを示す模式図であり、(B)は、3枚目の画像配置の一例と、その論理構造とを示す模式図であり、(C)は、3枚目の画像配置よって生成された矩形のセット画像の一例を示す模式図である。 (A)は、3回目の画像配置の一例と、その論理構造とを示す模式図であり、(B)は、4枚目の画像配置の一例と、その論理構造とを示す模式図であり、(C)は、論理構造に基づいて順次配置画像をサイズ調整することを示す模式図であり、(D)は、4枚目の画像配置によって生成された矩形のセット画像の一例を示す模式図である。 仮想領域において生成された画像レイアウトを、実際にレイアウトを行う被レイアウト領域に配置した場合の一例を示す模式図である。 (A)は、従来技術に基づいてレイアウトされた画像レイアウトの一例を示す模式図であり、(B)は、実施の形態1に係る画像レイアウト生成装置よって生成された画像レイアウトの一例を示す模式図である。 本発明の実施の形態2に係る画像レイアウト生成装置の一部を示すブロック図である。 (A)は、画像レイアウトに用いられる複数の画像を示す模式図であり、(B)は、画像の画像特徴量に基づいて生成された二分木の一例を示す模式図であり、(C)は、(B)の二分木に基づいて生成された画像レイアウトの一例を示す模式図である。 アスペクト比が規定値を超える画像を配置する場合の一例を示す論理構造と、その画像配置とを示す模式図である。 画像レイアウトに対応する二分木とフォトブックの見開きページとの関係を説明する説明図である。 本発明の実施の形態3に係る画像商材作成システムの全体構成を示すブロック図である。 画像レイアウトと対応する二分木とを並列表示した画像レイアウト編集画面の一例を示す模式図である。 スコア順に並べられた画像レイアウト選択画面の一例を示す模式図である。
本発明に係る画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
実施の形態1
図1は、本発明の実施の形態1に係る画像レイアウト生成装置10の全体構成を示すブロック図である。図1の画像レイアウト生成装置10は、順次接続される画像データ取得部12と、第1画像配置部14と、画像データ抽出部16と、配置画像選択部18と、第2画像配置部20と、サイズ調整部22と、これらの各部に接続する装置制御部24とを備える。
画像データ取得部12は、画像データを記録した記録装置や記録媒体等から画像レイアウトに使用する複数の画像データを取得するものであり、例えば、PCや画像サーバ等に接続して、記憶された画像データを取得し、また、デジタルスチルカメラ(DSC)や携帯電話等に用いられる記録媒体を読み取って記録媒体に記憶された画像データを取得してもよい。
第1画像配置部14は、画像レイアウトを生成するための仮想のレイアウト領域(仮想領域)に1枚目の画像を配置するものであり、画像データ取得部12によって取得された複数の画像データから、1枚目の画像データ(第1の画像データ)を抽出し、仮想領域に配置するものである。なお、仮想領域は、例えば、画像レイアウト生成装置10の有する図示しない内部メモリ上に構成された仮想のレイアウト領域である。
画像データ抽出部16は、既に仮想領域に配置された画像(配置画像)の画像データを除く複数の画像データから、新たに仮想領域に配置する画像データ(新たな画像データ)を抽出するものである。画像データ抽出部16による新たな画像データの抽出は、ランダムに行われてもよく、また、後述する画像特徴量等の所定の基準に基づいて行われてもよい。
配置画像選択部18は、配置画像のうち1つの画像を選択するものである。なお、配置画像選択部18は、画像データ抽出部16において抽出された新たな画像データと、各配置画像の画像データとの間の距離(画像間距離)をそれぞれ算出し、画像間距離の最も小さい配置画像を選択する。
なお、画像間距離は、画像データの有する画像特徴量に基づいて算出されるものであり、例えば、画像特徴量の差分が画像間距離として算出される。また、画像特徴量としては、例えば、撮影日時情報、撮影位置情報などのメタ情報や、画像データに基づいて画像解析を行った画像解析結果などが挙げられ、また、画像解析結果としては、画像の色味や撮影内容等が挙げられる。なお、画像特徴量は、画像データに紐付いて記憶されていればよく、例えば、画像データのメタ情報として画像データとともに記憶されていてもよく、また、画像データと別データとして記憶されていてもよい。
実施の形態1では、それぞれの画像データは予め比較可能な所定の画像特徴量を有する。そのため、それぞれ画像データの画像特徴量から算出される画像間距離は、画像データ間の類似性を表す指標となり、画像間距離が小さければ小さいほど画像データ間の類似性は高くなり、画像間距離が大きければ大きいほど画像データ間の類似性は低くなる。
よって、配置画像選択部18は、新たな画像データと最も類似性の高い配置画像を選択する。
第2画像配置部20は、画像データ抽出部16によって抽出された新たな画像データを配置画像選択部18によって選択された配置画像の上下左右のいずれかに、選択された配置画像と新たな画像とが1つの矩形セットを構成するように新たな画像のアスペクト比を維持しつつ拡大処理または縮小処理を施して配置するものである。新たな画像の配置(上下左右)は、ランダムに行われてもよく、また、所定の基準、例えば、上下左右の順に行われてもよい。
サイズ調整部22は、仮想領域に配置された配置画像が全体として矩形のセット画像を構成するように、配置画像のそれぞれのアスペクト比を維持しつつサイズ調整を行うものである。配置画像のサイズ調整は、仮想領域に新しく配置された画像から順に(つまり、最初に配置された画像が最後となるように)行われる。
装置制御部24は、画像レイアウト生成装置10の各部を制御することで、後述する画像レイアウト生成方法に従って画像レイアウトを生成する。また、装置制御部24は、第1画像配置部14、画像データ抽出部16、配置画像選択部18および第2画像配置部20と共に本発明の二分木生成部26を構成し、装置制御部24は、第1画像配置部14、画像データ抽出部16、配置画像選択部18および第2画像配置部20によって画像レイアウトを生成する過程において、装置制御部24は、第1画像配置部14、画像データ抽出部16、配置画像選択部18および第2画像配置部20と共に画像レイアウトの論理構造に対応する二分木を生成する。なお、二分木の詳細については後述する。
装置制御部24は、画像データ取得部12によって取得された全ての画像データが仮想領域に配置されるまで、画像データ抽出部16による新たな画像データの抽出、配置画像選択部18による配置画像の選択、第2画像配置部20における新たな画像の配置、およびサイズ調整部22における仮想領域に配置された配置画像のサイズ調整を繰り返して、全ての画像データを有する矩形のセット画像を生成し1つの画像レイアウトとして出力する。
次に、図2に示すフローチャートに基づいて図1の画像レイアウト生成装置における画像レイアウトの生成動作(画像レイアウト生成方法)について説明する。なお、ここでは、画像商材をフォトブックとし、フォトブックの所定のページ(見開きページ)に画像レイアウトを行うことを前提として説明を行う。また、二分木の生成は、装置制御部24と第1画像配置部14、画像データ抽出部16、配置画像選択部18および第2画像配置部の各部との間で行われるが、ここでは簡単のため、二分木生成における装置制御部24の記載を省略する。
まず、ステップS1として、画像データ取得部12は、記録装置または記録媒体等から画像レイアウトに使用する複数の画像データを取得する。ここでは、図3(A)に示すように画像1a〜1dに対応する4つの画像データを取得し、これらの画像1a〜1dを仮想領域に配置して画像レイアウトを生成し、生成された画像レイアウトを図3(B)に示す被レイアウト領域Sに配置することで画像レイアウトの生成を行う。
ステップS2では、第1画像配置部14は、画像データ取得部12によって取得された複数の画像データから1つの画像データを選択し、上述の仮想領域に1枚目の画像(第1の画像)として配置し、且つ仮想領域における画像の画像配置に対応する二分木を生成する。図4(A)の(画像配置)は、仮想領域における画像配置を示し、(論理構造)は、仮想領域における画像配置の論理構造(二分木)を示すものである。ここでは、図4(A)に示すように、第1画像配置部14は、複数の画像データから画像1aの画像データを選択し、画像1aを第1の画像として仮想領域に配置し、仮想領域における画像1aの画像配置に対応する二分木を生成する。
続く、ステップS3では、画像データ抽出部16は、上述の仮想領域に既に配置された画像データを除く複数の画像データから仮想領域に配置する新たな画像データを抽出する。上述のとおり、画像1aが仮想領域に配置されているため、画像1aを除いた画像1b〜1dのうち、画像データ抽出部16は、例えば、画像1bの画像データを新たな画像データとして抽出する。
ステップS4では、配置画像選択部18は、上述の画像特徴量に基づいて、画像データ抽出部16によって抽出された新たな画像データと、既に仮想領域に配置された各配置画像の画像データとの画像間距離を算出し、仮想領域に配置された配置画像の中から新たな画像データに最も近い配置画像を選択する。ここでは、図4(B)の(画像選択)に示すように、仮想領域には画像1aしか配置されていないため、配置画像選択部18は、画像1aの画像データと画像1bの画像データとの画像間距離の算出を省略してもよい。配置画像選択部18は、画像1aを選択する。
ステップS5では、第2画像配置部20は、配置画像選択部18によって選択された配置画像の上下左右のいずれかに、画像データ抽出部16によって抽出された新たな画像を、アスペクト比を維持しつつサイズ調整(拡大処理または縮小処理)を行って配置し、選択された配置画像と新たに配置された画像とによって1つの矩形セットを構成すると共に、新たに配置された画像を二分木に追加することで二分木を更新する。例えば、第2画像配置部20による画像の配置はランダムに行われる。ここでは、図4(C)の(画像配置)に示すように、第2画像配置部20は、仮想領域に配置された画像1aの右側に、画像1aの高さに合わせてアスペクト比を維持しつつサイズ調整を行った画像1bを配置して、画像1aと画像1bとによって1つの矩形セットを構成し、また、二分木として、画像1aと画像1bとをそれぞれリーフとし、画像1aと画像1bとが1つのノードによって連結された論理構造を形成する。なお、二分木は、1つのノードに対して2つのリーフを有し、本発明の画像レイアウト生成装置における1つのリーフは、1つの画像またはノードによってまとめられた複数の画像を表す。また、ノードには、2つのリーフにそれぞれ対応する画像(または複数の画像)の位置関係を規定する情報(ノード情報)が含まれる。よって、画像1aと画像1bとを繋ぐノードには、画像1aの右側に画像1bが配置される旨のノード情報が含まれる。
次に、ステップS6として、サイズ調整部22は、上述のステップS5において構成された矩形セットを維持しつつ、同じくステップS5において生成された二分木に基づいて、仮想領域に配置された配置画像が全体として1つの矩形のセット画像となるように、それぞれの配置画像のアスペクト比を維持しつつサイズ調整を行う。なお、図4(C)の(画像配置)では、画像1aと画像1bとが既に矩形のセット画像となっているためステップS6でのサイズ調整は不要である。また、ステップS6におけるサイズ調整の詳細については繰り返しステップであるステップS7において説明する。
ステップS7として、装置制御部24は、ステップS1で取得された全ての画像データが仮想領域に配置されたか否かを確認し、配置されていない画像データがある場合には、再度、上述のステップS3〜S6および本ステップS7を繰り返す。装置制御部24は、画像データ取得部12によって取得された全ての画像データが仮想領域に配置されたことを確認した場合には、繰り返しを辞めてステップS8に進む。上述のステップS1においては、画像1a〜1dに対応する4枚の画像データが取得されており、この時点で仮想領域に配置されている画像データは、画像1aと画像1bの2枚の画像データである。よって、残りの画像1cと画像1dの2枚に対応する画像データを仮想領域に配置するまで、ステップS3〜S7を繰り返す。
ステップS7によりステップS3(2回目)に戻って、画像データ抽出部16は、画像1cの画像データを仮想領域に配置する新たな画像データとして抽出し、ステップS4(2回目)として、配置画像選択部18は、新たな画像データである画像1cの画像データと、仮想領域に配置された画像1aの画像データおよび画像1bの画像データとの画像間距離をそれぞれ算出し、算出されたそれぞれの画像間距離に基づいて1つの配置画像を選択する。ここでは、画像1cと画像1aとの画像間距離の方が画像1cと画像1bとの画像間距離よりも小さいため、配置画像選択部18は、図5(A)の(画像選択)に示すように、仮想領域に配置された画像1aと画像1bとのうち、画像1aを選択する。
次に、ステップS5(2回目)として、第2画像配置部20は、図5(B)の(画像配置)に示すように、選択された画像1aの上方に、画像1aの幅に合わせてアスペクト比を維持しつつサイズ調整を行った新たな画像1cを配置するとともに、図5(B)の(論理構造)に示すように画像1aと画像1bとからなる二分木に新たな画像1cを追加する。二分木への画像1cの追加は、新たな画像1cと選択された画像1aとの結びつきが近くなるように、画像1a側のリーフに新たなノードを追加して、画像1aと画像1cとを1つのノードでまとめて、画像1aおよび画像1cを繋ぐノードと画像1bとを更に1つのノードによってまとめることで行われる。なお、上述のとおり、画像1aおよび画像1cを繋ぐノードは、画像1aの上方に画像1cが配置されるというノード情報を有する。また、二分木は階層構造を採り、最下層に近いノードから順にレベル1、レベル2、……とレベル分けがなされ、ノードのレベルによってノードの内包する構造を把握することができる。例えば、レベル1のノードは2枚の画像がリーフとしてまとめられたものであり、ここでは、画像1aおよび画像1cを繋ぐノードが該当する。また、レベル2のノードは、レベル1のノードとレベル1のノードまたは1枚の画像からなるリーフとを繋ぐものであり、画像1aおよび画像1cのノードと画像1bのリーフとを繋ぐノードが該当する。
続くステップS6(2回目)では、サイズ調整部22は、図5(B)に示した二分木に基づいて、仮想領域に配置された配置画像が全体として矩形のセット画像となるようにサイズ調整を行う。具体的には、レベル1のノードに基づいて、画像1aと画像1cとが矩形のセットとなるようにアスペクト比を維持しつつサイズ調整を行い(なお、実際には、上述のステップS5において1つの矩形セットとなるように調整されているためサイズ調整の必要はない。)、更に、レベル2のノードに基づいて1つの矩形セットとなった画像1aおよび画像1bと画像1cとが矩形のセットとなるようにアスペクト比を維持しつつサイズ調整を行う。このように、二分木に基づいてアスペクト比を維持しつつサイズ調整を行うことで、図5(C)に示す矩形のセット画像が生成される。
続くステップS7(2回目)として、上述と同様に、装置制御部24は、ステップS1において取得した画像1a〜1dの画像データうち、画像1dの画像データが配置されていないことを確認して、ステップS3〜S7を繰り返す。
ステップS3(3回目)として、画像データ抽出部16は、画像1dの画像データを仮想領域に配置する新たな画像データとして抽出し、ステップS4(3回目)として、配置画像選択部18は、新たな画像データである画像1dの画像データと、仮想領域に配置された画像1a〜画像1cの画像データとの間の画像間距離をそれぞれ算出し、算出された画像間距離に基づいて1つの画像を選択する。ここでは、算出されたそれぞれの画像間距離のうち画像1dと画像1cとの画像間距離が最も小さいため、配置画像選択部18は、図6(A)の(画像選択)に示すように、仮想領域に配置された画像1a〜画像1cから画像1cを選択する。
続くステップS5(3回目)として、第2画像配置部20は、図6(B)の(画像配置)に示すように、選択された画像1cの左側に、画像1cの高さに合わせてアスペクト比を維持しつつサイズ調整を行った新たな画像1dを配置して矩形セットを構成するとともに、図6(B)の(論理構造)に示すように、画像1a〜1cによって構成された二分木に新たな画像1dを追加する。二分木への画像1dの追加は、画像1cのリーフに対して、画像1cと画像1dとを繋ぐ新たなノードを設けることで行われる。
そして、ステップS6(3回目)として、サイズ調整部22は、上述の二分木に基づいて、仮想領域に配置された画像1a〜1dに対してアスペクト比を維持しつつサイズ調整を行うことで、全体として矩形のセット画像を構成する。具体的には、図6(B)の(論理構造)に示した二分木に基づいて、画像1cと画像1dとからなる矩形のセットに対して、図6(C)に示すように、レベル2のノードに基づいて、画像1cと画像1dとからなる矩形のセットの下方に画像1aを配置して新たな矩形のセットを構成し、図6(D)に示すように、レベル3のノードに基づいて、新たな矩形のセットの右方に画像1bを配置することで全体として矩形のセット画像を生成する。
ステップS7(3回目)において、装置制御部24は、ステップS1において取得した全ての画像データが配置されたことを確認してステップS8に進み、ステップS8として、サイズ調整部22は、図7に示すように、生成された矩形のセット画像をフォトブックの所定ページの被レイアウト領域S(表示領域、印画領域)に対応するようにサイズ調整を行って1つの画像レイアウトとして出力する。
なお、画像レイアウト生成装置10における画像レイアウトの生成は1つに限られず、画像データ抽出部16における新たな画像データの抽出や第2画像配置部20における新たな画像の配置を変更することで、同一の複数画像データから複数通りの画像レイアウトを生成することができる。例えば、画像データ抽出部16における新たな画像データの抽出を上述のとおりに固定したとしても(つまり、1回目の抽出:画像1a、2回目の抽出:画像1b、3回目の抽出:画像1cと固定)、図6(B)の(論理構造)から、想定できる画像レイアウトを挙げると、レベル1のノードにおいて上下左右の4通りの配置があり、同様に、レベル2のノード、レベル3のノードにおいて4通りずつの配置が考えられるため、64通りの画像レイアウトを生成することができる。
例えば、従来技術における画像レイアウトの自動生成では、複数の画像レイアウトを生成することはできるが、図8(A)に示すように、フォトブックの左ページの海の写真(海1〜海4)の中に夕食の写真(夕食1)が入り、また、フォトブックの右ページの夕食の写真(夕食2〜夕食4)の中に海の写真(海5)が入ってしまう画像レイアウトが生成されてしまう場合がある。
本発明の実施の形態1に係る画像レイアウト生成装置10によって画像レイアウトを生成すれば、図8(B)に示すように、海の写真(海1〜海5)が1つにまとめられ、夕食の写真(夕食1〜夕食4)が1つにまとめられた、ユーザの満足度の高い画像レイアウトを生成することができる。
上述のとおり、本発明の実施の形態1に係る画像レイアウト生成装置によれば、レイアウトを行う複数の画像の枚数に依らないで、画像のアスペクト比が維持され、且つ類似性の高い画像どうしのまとまった画像レイアウトを生成することができるため、ユーザにとって満足度の高い画像レイアウトを複数生成することができる。
実施の形態2
実施の形態1に係る画像レイアウト生成装置10は、画像データが画像特徴量を有することを前提として画像レイアウトを生成したが、画像データが常に画像特徴量を有するとは限らない。そのため、画像レイアウト生成装置は、複数の画像データを取得した後に各画像データの画像特徴量を算出する構成を備えてもよい。
図9は、本発明の実施の形態2に係る画像レイアウト生成装置28の部分構成を示すブロック図である。図9の画像レイアウト生成装置28は、画像データ取得部12と第1画像配置部14との間に画像特徴量算出部30を有し、画像特徴量算出部30によって複数の画像データのそれぞれの画像特徴量を算出し、算出された画像特徴量に基づいて画像レイアウトを行うものである。なお、画像レイアウト生成装置28は、画像特徴量算出部30を除いて、画像レイアウト生成装置10と同様の構成を備えるものであるため、画像特徴量算出部30を中心に画像レイアウト生成装置28の構成および動作を説明し、それ以外の説明を省略する。
画像特徴量算出部30は、画像データ取得部12の取得した複数の画像データについてそれぞれの画像データの画像特徴量を算出する。なお、上述のとおり、画像特徴量算出部30は、撮影日時情報、撮影位置情報等のメタ情報を画像特徴量として算出してもよく、画像データに基づいて画像解析を行い、画像解析によって算出された画像の色味や撮影内容等の情報(画像解析結果)を画像特徴量としてもよく、また、上述のメタ情報と画像解析結果とを組み合わせて画像特徴量を算出してもよい。なお、画像特徴量は、画像間距離を算出するために複数の画像データ間で比較可能なものであり、所定の基準に基づいて算出されたものである。
なお、上述の画像解析は、画像特徴量算出部30以外で行われてもよく、例えば、画像解析結果は、画像データのメタ情報の1つとして画像データに紐付いて記憶されていてもよい。
また、画像特徴量算出部30は、例えば、図10(A)に示すような複数の画像のそれぞれの画像特徴量を算出し、画像レイアウト生成装置28の第1画像配置部14、画像データ抽出部16、配置画像選択部18、第2画像配置部20およびサイズ調整部22において、上述のステップS1〜S8を行うことで、例えば、画像特徴量によって関連する画像どうしがまとめられた図10(B)に示す二分木を生成し、また、図10(C)に示すような撮影日時、撮影場所、画像内容等に関連したまとまりのある画像レイアウトを生成することができる。
また、上述の画像特徴量算出部30は、画像特徴量として、画像データ取得部12で取得された複数の画像データのアスペクト比の値(ここでは、画像の横幅/縦幅で得られた値)をそれぞれ算出してもよい。この場合、第1画像配置部14および画像データ抽出部16は、画像特徴量算出部30によって算出されたアスペクト比の値が所定の範囲から外れる場合には、つまり、取得された複数の画像データの中にパノラマ写真のような画像が含まれる場合には、アスペクト比の値が所定の範囲内に含まれる画像データを先に抽出し、アスペクト比の値が所定の範囲内に含まれる画像データが全て抽出された後にアスペクト比の値が所定の範囲から外れる画像データが抽出されるように、第1の画像データおよび新たな画像データの抽出をおこなってもよい。なお、アスペクト比の値の範囲としては、例えば、0.5〜2.0が挙げられる。一般的な写真のアスペクト比の値(横幅/縦幅)は、例えば、1.33(4/3)、1.50(3/2)または1.78(16/9)であり、写真の縦と横とが入れ替わったとしても上述のアスペクト比の値の範囲0.5〜2.0に含まれる。
図11の(論理構造)に示すように、パノラマ写真と考えられる画像1eを最後に配置することで、図11の(画像配置)に示すように、偏ったアスペクト比とならないセット画像を生成することができる。
また、画像特徴量算出部30は、複数の画像データのそれぞれの画像特徴量を算出し、画像特徴量に基づいて複数の画像データを複数の画像グループに組分けしてもよい。なお、画像グループは少なくとも1つの画像データからなる。画像特徴量算出部30は、例えば、複数の画像データを画像特徴量に基づいて並べて、画像特徴量が所定値以上離れた箇所で複数の画像データを区切ることで、複数の画像データを複数の画像グループに組分けする。
例えば、複数の画像データをフォトブックの見開きページにレイアウトする場合、図12(A)に示すように、左ページおよび右ページのそれぞれに配置される複数の画像データを事前に組分けしておき、それぞれの画像グループにおいて画像レイアウトを生成してもよい。事前に組分けすることで、図12(B)に示すように、左ページと右ページとにまたがって配置される画像データが無くなり、ユーザにとって満足度の高い画像レイアウトを生成することができる。
また、画像特徴量算出部30は、上述の組分けと同様に、複数の画像データのそれぞれの画像特徴量を算出し、画像特徴量に基づいて複数の画像データの並び順を決定してもよい。この場合、例えば、画像データ抽出部16は、上述の並び順に基づいて画像データを抽出してもよく、配置画像選択部18は、上述の並び順に基づいて配置画像を選択してもよい。
上述と同様に、類似性の高い画像どうしがまとまった画像レイアウトを生成することができるため、ユーザにとって満足度の高い画像レイアウトを複数生成することができる。
以上より、本発明の実施の形態2に係る画像レイアウト生成装置によれば、実施の形態1と同様に、類似性の高い画像どうしがまとまった画像レイアウトを生成することができ、ユーザにとってより満足度の高い画像レイアウトを複数生成することができる。
実施の形態3
本発明の画像レイアウト生成装置を利用して画像商材作成システムを構成してもよい。図13は、本発明の画像商材作成システム32の全体構成を示すブロック図である。
画像商材作成システム32は、順次接続される画像レイアウト生成装置10、28、表示制御部34、および表示部36と、画像レイアウト生成装置10、28に接続される出力部38および格納部40とを備え、画像レイアウト生成装置10、28、表示制御部34、表示部36、出力部38および格納部40のそれぞれに接続されるシステム制御部42とシステム制御部42に接続される操作部44とを備える。
画像レイアウト生成装置10、28は、実施の形態1、2に記載のとおり、取得した複数の画像データに基づいて複数の画像を被レイアウト領域に配置した画像レイアウトを生成するものである。
表示制御部34は、画像レイアウト生成装置10、28において生成された画像レイアウトのデータ(画像レイアウトデータ)を取得し、また、システム制御部42からの画像レイアウト編集画面または画像レイアウト選択画面等の管理画面の画面表示データ等を取得して、画像レイアウトまたは管理画面を表示部36に表示させるものである。
また、表示部36は、画像等を表示する表示画面を有し、表示制御部34の指示に基づいて表示画面に画像レイアウトを表示し、また、表示画面に上述の管理画面を操作可能に表示するものである。なお、表示部36としては、液晶ディスプレイ等、種々の公知の表示装置を利用することができる。
出力部38は、画像レイアウトデータを画像商材として外部に出力するものである。出力部38は、例えば、プリンタ等の印刷装置や記録装置に接続され、これら印刷装置や記録装置に画像レイアウトデータを出力する。なお、印刷装置は、複数の画像を含む画像レイアウトを紙媒体等に印刷して画像商材を生成するものであり、記録装置は所定の記録媒体等に画像レイアウトデータを記録するものである。
格納部40は、画像データ取得部によって取得された複数の画像データ、画像レイアウト生成部によって生成された複数の画像レイアウトデータ、および画像レイアウトデータに対応する二分木の情報等を記憶するものであり、例えば、HDDやSSD等の記録媒体によって構成される。
システム制御部42は、画像商材作成システム32の各部に直接的または間接的に接続し、操作部44からのユーザの指示に基づいて、または、図示しない内部メモリに記憶された所定のプログラム等に基づいて、画像商材作成システム32の各部を制御するものである。例えば、上述の管理画面を通じた画像レイアウトの編集や画像商材として出力する画像レイアウトの選択は、システム制御部42を通じて行われる。
操作部44は、ユーザから各種指示を受け、これらの指示をシステム制御部42へ出力するものであり、例えば、キーボードやマウス等の種々の公知の構成を利用することができる。
図14は、画像商材作成システム32における画像レイアウト編集画面の一例を示す模式図である。画像商材作成システム32では、表示部36において、生成された画像レイアウトと共に画像レイアウトに対応する二分木を表示することができ、二分木に基づいて画像レイアウトを編集することができる。
ユーザは、操作部44を操作してシステム制御部42を介して画像レイアウト編集画面を操作することで、画像レイアウトを編集する。例えば、ユーザが、操作部44によりシステム制御部42を操作して、画像レイアウト編集画面に表示された二分木の所定のノードaを選択すると、ノードaによってまとめられた4つの画像(以下、ノードaの画像)が選択され、同じく画像レイアウト編集画面に表示された画像レイアウトのノードaに対応する4つの画像が強調表示される。また、ユーザは、例えば、ノードaの画像がノードbによってまとめられた8つの画像(以下、ノードbの画像)の下方に配置されるというノードcの情報を、ノードaの画像がノードbの上方に配置されるように変更することで、画像レイアウトにおいても、ノードaの画像がノードbの画像の上方に配置されるように画像レイアウトを編集することができる。また、ユーザは、同様に、二分木のノードaを削除することで、画像レイアウトにおいて対応するノードaの画像を削除することができる。
また、画像商材作成システム32は、画像レイアウト生成装置10、28によって生成された画像レイアウトのスコアを算出するスコア算出部を備えてもよい。なお、本発明のスコア算出部は、上述のシステム制御部42によって構成される。
また、スコア算出部は、生成された画像レイアウトにおいて、例えば、画像自体のスコアとその画像の被レイアウト領域における面積とに基づいて画像レイアウトのスコア(レイアウトスコア)を算出してもよく、更に、画像レイアウトの縁領域の幅(例えば、上下の縁の幅と左右の縁の幅を加算または平均したもの等)に基づいてレイアウトスコアを算出してもよい。
例えば、画像レイアウトのレイアウトスコアは、画像自体のスコアをP、画像の被レイアウト領域における面積をA、画像レイアウトに配置された画像の枚数をN、縁領域の幅をWとすると、以下の(1)式で計算することができる。
なお、画像自体のスコアとしては、画像の色味、画像の内容、画像のボケやブレ等や、画像に写る顔画像の数(登場人数)、顔画像の大きさ、顔画像の表情等を考慮して算出されたスコアや、SNSサービス等によって他のユーザから付けられた評価(例えば、Facebook(登録商標)の「いいね」の数)等が挙げられる。
また、スコア算出部は、画像が所定サイズよりも小さく配置されてしまう場合には、その画像レイアウトのレイアウトスコアを下げてもよい。
また、画像商材作成システム32は、スコア算出部によって算出されたレイアウトスコアに基づいて、生成した複数の画像レイアウトを表示部36にレイアウトスコア順に並べて表示してもよい。
図15は、画像レイアウト選択画面の一例を示す模式図である。画像商材作成システム32では、表示部36において生成された複数の画像レイアウトをレイアウトスコア順に並べて表示するとともに、ユーザが操作部44を操作して、レイアウトスコア順に並べて表示された複数の画像レイアウトの1つを選択することで、出力される画像レイアウトを変更することができる。
上述のとおり、本発明の実施の形態3に係る画像商材作成システムによれば、生成された画像レイアウトを二分木に基づいて簡単に編集することができ、また、生成された複数のレイアウト画像をレイアウトスコア順に表示することで、ユーザが望む画像レイアウトを簡単に選択することができるため、ユーザにとって満足度の高い画像商材を生成することができる。
また、上述の画像レイアウト生成装置は、画像レイアウトの生成と二分木の生成とを並行して行っているが、例えば、先に画像レイアウトの論理構造を表わす二分木を作成し、二分木に基づいて画像レイアウトを生成してもよい。
なお、上述の本発明の画像レイアウト生成方法は、画像レイアウト生成プログラムを実行することによって、それぞれコンピュータにおいて処理され得る。例えば、本発明の画像レイアウト生成プログラムは、上述した画像レイアウト生成方法の各ステップをコンピュータのCPUに行わせる手順を有するものである。これらの手順からなるプログラムは、1つまたは複数のプログラムモジュールとして構成されていてもよい。
これらのコンピュータが実行する手順からなる画像レイアウト生成プログラムは、コンピュータの図示しない内部メモリ等に記憶されるものであってもよく、また、記録媒体に記憶されるものであってもよく、実行時に、当該CPU等によって、図示しない内部メモリまたは記録媒体から読み出されて実行されるものである。
したがって、本発明は、上述の画像レイアウト生成プログラムを記憶したコンピュータ読み取り可能なメモリもしくは記録媒体であってもよい。
以上、本発明の画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体について詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
1a〜1e 画像、 10、28 画像レイアウト生成装置、 12 画像データ取得部、 14 第1画像配置部、 16 画像データ抽出部、 18 配置画像選択部、 20 第2画像配置部、 22 サイズ調整部、 24 装置制御部、 28 画像レイアウト生成装置、 30 画像特徴量算出部、 32 画像商材作成システム、 36 表示部、 38 出力部、 40 格納部。

Claims (17)

  1. 複数の画像データを取得する画像データ取得部と、
    前記複数の画像データから第1の画像データを抽出し、仮想の配置領域に前記第1の画像データに基づく第1の画像を配置する第1画像配置部と、
    前記複数の画像データから、前記仮想の配置領域に配置する新たな画像データを抽出する画像データ抽出部と、
    前記画像データ抽出部によって抽出された前記新たな画像データと、前記仮想の配置領域に配置されたそれぞれの配置画像の画像データとの間の画像間距離を算出し、算出された前記画像間距離に基づいて1つの前記配置画像を選択する配置画像選択部と、
    前記配置画像選択部によって選択された前記配置画像の上下左右のいずれかに、選択された前記配置画像に合わせてアスペクト比を維持しつつサイズ調整を行って、前記新たな画像データに基づく新たな画像を配置する第2画像配置部と、
    全ての前記配置画像が全体として矩形のセット画像を構成するように、全ての前記配置画像のアスペクト比を維持しつつ、それぞれの前記配置画像のサイズ調整を行って矩形のセット画像を生成するサイズ調整部と、
    前記複数の画像データのうち前記仮想の配置領域に配置される画像データがなくなるまで、前記画像データ抽出部による前記新たな画像データの抽出、前記配置画像選択部による前記配置画像の選択、前記第2画像配置部による前記新たな画像の配置、前記サイズ調整部による前記矩形のセット画像の生成を繰り返して、最後に生成された前記矩形のセット画像を画像レイアウトとする装置制御部とを備えることを特徴とする画像レイアウト生成装置。
  2. 前記画像データは、画像特徴量を有し、
    前記配置画像選択部は、前記新たな画像データの画像特徴量と前記配置画像の画像データの画像特徴量とに基づいて前記画像間距離を算出することを特徴とする請求項1に記載の画像レイアウト生成装置。
  3. 前記画像特徴量は、撮影日時情報、撮影位置情報、画像の色味の情報、および画像の撮影内容の情報の少なくとも1つを含むことを特徴とする請求項2に記載の画像レイアウト生成装置。
  4. 前記画像データ取得部によって取得された前記複数の画像データのそれぞれの画像特徴量を算出する画像特徴量算出部を更に備えることを特徴とする請求項2または3に記載の画像レイアウト生成装置。
  5. 前記画像特徴量は、前記画像データの横幅を縦幅で除算したアスペクト比の値を更に含むものであり、
    前記画像データ抽出部は、前記アスペクト比の値が0.5〜2.0の範囲に含まれる画像データを抽出した後に、前記アスペクト比の値が0.5〜2.0の範囲から外れる画像データを抽出することを特徴とする請求項2〜4のいずれか一項に記載の画像レイアウト生成装置。
  6. 前記装置制御部は、前記第1画像配置部による前記第1の画像の配置、前記画像データ抽出部による前記新たな画像データの抽出、前記配置画像選択部による前記配置画像の選択、および前記第2画像配置部による前記新たな画像の配置と並行して、前記画像レイアウトに対応する二分木を生成することを特徴とする請求項1〜5のいずれか一項に記載の画像レイアウト生成装置。
  7. 請求項6に記載の画像レイアウト生成装置と、
    前記画像レイアウト生成装置によって生成された複数の前記画像レイアウトを格納する格納部と、
    前記格納部に格納された前記画像レイアウトを表示する表示部と、
    ユーザの指示に基づいて前記画像レイアウトを編集する画像レイアウト編集部と、
    ユーザの指示に基づいて前記画像レイアウトを画像商材として出力する出力部とを備え、
    前記表示部は、前記画像レイアウトと共に前記二分木を表示し、
    前記画像レイアウト編集部は、ユーザによる前記二分木の編集に基づいて前記画像レイアウトを編集することを特徴とする画像商材作成システム。
  8. 前記画像レイアウトに基づいてレイアウトスコアを算出するスコア算出部を更に備え、
    前記表示部は、前記スコア算出部によって算出された前記レイアウトスコアに基づいて前記格納部に格納された前記複数の画像レイアウトを表示することを特徴とする請求項7に記載の画像商材作成システム。
  9. 前記画像レイアウト編集部は、前記表示部に表示された前記複数の画像レイアウトから1つの画像レイアウトをユーザに選択させ、
    前記出力部は、ユーザによって選択された前記画像レイアウトを前記画像商材として出力することを特徴とする請求項8に記載の画像商材作成システム。
  10. 複数の画像を所定の表示領域にレイアウトした画像レイアウトを生成する画像レイアウト生成方法であって、
    複数の画像データから第1の画像データを抽出し、仮想の配置領域に前記第1の画像データに基づく第1の画像を配置する第1の画像配置ステップと、
    前記複数の画像データから、前記仮想の配置領域に配置する新たな画像データを抽出する画像データ抽出ステップと、
    前記画像データ抽出ステップによって抽出された前記新たな画像データと、前記仮想の配置領域に配置されたそれぞれの配置画像の画像データとの間の画像間距離を算出し、算出された前記画像間距離に基づいて1つの前記配置画像を選択する配置画像選択ステップと、
    前記配置画像選択ステップによって選択された前記配置画像の上下左右のいずれかに、選択された前記配置画像に合わせてアスペクト比を維持しつつサイズ調整を行って、前記新たな画像データに基づく新たな画像を配置する第2の画像配置ステップと、
    全ての前記配置画像が全体として矩形のセット画像を構成するように、全ての前記配置画像のアスペクト比を維持しつつ、それぞれの前記配置画像のサイズ調整を行って矩形のセット画像を生成するサイズ調整ステップと、
    前記複数の画像データのうち前記仮想の配置領域に配置される画像データがなくなるまで、前記画像データ抽出ステップ、前記配置画像選択ステップ、前記第2の画像配置ステップ、および前記サイズ調整ステップを順次繰り返す繰り返しステップと、
    前記繰り返しステップを繰り返して最後に生成された前記矩形のセット画像を前記画像レイアウトとして出力する画像レイアウト出力ステップとを備えることを特徴とする画像レイアウト生成方法。
  11. 前記画像データは、画像特徴量を有し、
    前記配置画像選択ステップは、前記新たな画像データの画像特徴量と前記配置画像の画像データの画像特徴量とに基づいて前記画像間距離を算出することを特徴とする請求項10に記載の画像レイアウト生成方法。
  12. 前記画像特徴量は、撮影日時情報、撮影位置情報、画像の色味の情報、および画像の撮影内容の情報の少なくとも1つを含むことを特徴とする請求項11に記載の画像レイアウト生成方法。
  13. 前記複数の画像データのそれぞれの画像特徴量を算出する画像特徴量算出ステップを更に備えることを特徴とする請求項11または12に記載の画像レイアウト生成方法。
  14. 前記画像特徴量は、前記画像データの横幅を縦幅で除算したアスペクト比の値を更に含むものであり、
    前記画像データ抽出ステップは、前記アスペクト比の値が0.5〜2.0の範囲に含まれる画像データを抽出した後に、前記アスペクト比の値が0.5〜2.0の範囲から外れる画像データを抽出することを特徴とする請求項11〜13のいずれか一項に記載の画像レイアウト生成方法。
  15. 前記第1の画像配置ステップ、前記画像データ抽出ステップ、前記配置画像選択ステップ、および前記第2の画像配置ステップと並行して、前記画像レイアウトに対応する二分木を生成することを特徴とする請求項10〜14のいずれか一項に記載の画像レイアウト生成方法。
  16. コンピュータに、請求項10〜15のいずれか一項に記載の画像レイアウト生成方法の各ステップを実行させるための画像レイアウト生成プログラム。
  17. 請求項16に記載の画像レイアウト生成プログラムが記録されたコンピュータ読取可能な記録媒体。
JP2014066442A 2014-03-27 2014-03-27 画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体 Active JP6054330B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014066442A JP6054330B2 (ja) 2014-03-27 2014-03-27 画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体
US14/670,437 US9305213B2 (en) 2014-03-27 2015-03-27 Image layout generating apparatus, image product creation system, image layout generating method, and recording medium for image layout generating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014066442A JP6054330B2 (ja) 2014-03-27 2014-03-27 画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2015192209A JP2015192209A (ja) 2015-11-02
JP6054330B2 true JP6054330B2 (ja) 2016-12-27

Family

ID=54190831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014066442A Active JP6054330B2 (ja) 2014-03-27 2014-03-27 画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US9305213B2 (ja)
JP (1) JP6054330B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102373170B1 (ko) * 2015-01-07 2022-03-11 삼성전자주식회사 하나 이상의 아이템들을 동시에 표시하는 방법 및 이를 위한 전자 장치
US10887509B2 (en) * 2015-12-07 2021-01-05 Facebook, Inc. Systems and methods for dynamically providing layouts based on media content selection
KR102553886B1 (ko) 2015-12-24 2023-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 제어 방법
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7171235B2 (ja) * 2018-05-17 2022-11-15 キヤノン株式会社 画像処理装置、プログラム、画像処理方法
CN110457500A (zh) * 2019-08-06 2019-11-15 浙江大学 一种基于依存树的图案交互编辑方法
US11580295B2 (en) * 2020-06-19 2023-02-14 Adobe Inc. Systems for generating layouts of text objects

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065627B2 (en) 2003-09-30 2011-11-22 Hewlett-Packard Development Company, L.P. Single pass automatic photo album page layout
US7743322B2 (en) 2003-09-30 2010-06-22 Hewlett-Packard Development Company, L.P. Automatic photo album page layout
JP2008269076A (ja) * 2007-04-17 2008-11-06 Sony Corp 情報処理装置および方法、並びにプログラム
JP5183384B2 (ja) * 2008-09-18 2013-04-17 キヤノン株式会社 レイアウト処理方法、レイアウト処理装置、レイアウト制御プログラム
JP5665428B2 (ja) * 2010-08-31 2015-02-04 キヤノン株式会社 画像処理装置及び画像処理方法
US8774528B2 (en) * 2010-09-24 2014-07-08 Kodak Alaris Inc. Method of selecting important digital images
US20130239003A1 (en) * 2012-03-06 2013-09-12 Touchalbums Llc Digital album production and distribution architecture

Also Published As

Publication number Publication date
JP2015192209A (ja) 2015-11-02
US20150278595A1 (en) 2015-10-01
US9305213B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
JP6054330B2 (ja) 画像レイアウト生成装置、画像商材作成システム、画像レイアウト生成方法ならびに画像レイアウト生成プログラムおよび記録媒体
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US9329762B1 (en) Methods and systems for reversing editing operations in media-rich projects
US7515294B2 (en) Image extracting method, image extracting apparatus, and program for implementing the method
US20200234076A1 (en) Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program
TWI435268B (zh) 電腦執行用於產生與事件有關圖形表示之方法與系統
JP2012044646A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020140577A (ja) 装置、方法、及びプログラム
CN104049838A (zh) 布局编辑装置、布局编辑方法及存储介质
JP2007129434A (ja) 情報処理装置および方法、並びにプログラム
JP7341677B2 (ja) 装置、方法、及びプログラム
JP2020140576A (ja) 装置、方法、及びプログラム
JP5938379B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5859471B2 (ja) 電子アルバム作成装置および電子アルバムの製造方法
JP5200065B2 (ja) コンテンツ配信システム、方法およびプログラム
JP2016167299A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2017037435A (ja) 表示制御装置、表示制御方法、及びプログラム
US20130101231A1 (en) Making image-based product from digitial image collection
JP2012038286A (ja) コンテンツ解析装置、方法およびプログラム
JP2019067237A (ja) 情報処理方法、情報処理装置およびプログラム
JP2023001178A (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP6197063B2 (ja) 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
US8988423B2 (en) Electronic album generating apparatus, stereoscopic image pasting apparatus, and methods and programs for controlling operation of same
JP7451242B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161130

R150 Certificate of patent or registration of utility model

Ref document number: 6054330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250