JP2018055534A - 画像抽出システム,画像抽出方法およびそのプログラム - Google Patents

画像抽出システム,画像抽出方法およびそのプログラム Download PDF

Info

Publication number
JP2018055534A
JP2018055534A JP2016192883A JP2016192883A JP2018055534A JP 2018055534 A JP2018055534 A JP 2018055534A JP 2016192883 A JP2016192883 A JP 2016192883A JP 2016192883 A JP2016192883 A JP 2016192883A JP 2018055534 A JP2018055534 A JP 2018055534A
Authority
JP
Japan
Prior art keywords
theme
image
image extraction
images
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016192883A
Other languages
English (en)
Other versions
JP6674879B2 (ja
Inventor
徹也 松本
Tetsuya Matsumoto
徹也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016192883A priority Critical patent/JP6674879B2/ja
Priority to US15/681,780 priority patent/US10445580B2/en
Publication of JP2018055534A publication Critical patent/JP2018055534A/ja
Application granted granted Critical
Publication of JP6674879B2 publication Critical patent/JP6674879B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】テーマに合った画像を抽出する画像抽出システム,画像抽出方法およびそのプログラムを提供する。
【解決手段】複数の画像から第1のテーマ,第2のテーマが決定される(ステップ42,43)。決定した第2のテーマを変更する場合には(ステップ44でYES),変更する第2のテーマが入力される(ステップ45)。第1のテーマにもとづいて,複数の画像から画像を抽出する第1の画像抽出処理が行われ(ステップ46),第2のテーマにもとづいて,複数の画像から画像を抽出する第2の画像抽出処理が行われる(ステップ47)。抽出された画像が表示される(ステップ48)。
【選択図】図7

Description

この発明は,画像抽出システム,画像抽出方法およびそのプログラムに関する。
多数の画像からユーザが画像を選択して,ユーザによって選択された画像を用いてアルバムを作成することが実現されている。多数の画像の中から所望の画像をユーザが選択するのは面倒であるため,画像抽出アルゴリズムにしたがってコンピュータが画像を抽出し,抽出された画像を用いてアルバムを作成することが行われている。アルバムを作成する場合に,アルバムに貼付される画像の内容とアルバムのテンプレートとが無関係であると,作成するアルバムに一貫性が無くなるので,アルバムに貼付される画像を解析し,解析された画像のテーマからテンプレートを選択するものがある(特許文献1)。また,アルバムに含める画像群のタイトルを決定するもの(特許文献2),デザインテーマが選択され,選択されたデザインテーマに関連付けられたテンプレートにしたがって印刷コンテンツのレイアウトを行うものもある(特許文献3)。
特開2015-89112号公報 特開2007-199924号公報 特許第5676996号
複数の画像によって表されるテーマを決定し,その決定したテーマに沿った画像を,複数の画像の中から抽出しようとする場合,決定したテーマが適切でなければ,ユーザが意図したものと異なる画像が抽出されてしまう。特許文献1に記載のものは,解析された画像のテーマからテンプレートを選択するものであり,特許文献2に記載のものは,画像群のタイトルを決定するものであり,特許文献3に記載のものは,デザインテーマに関連付けられたテンプレートにたがってレイアウトを行うものであるから,いずれにおいてもできるだけテーマに沿った画像を抽出することは考えられていない。
この発明は,できるだけテーマに合った画像を抽出することを目的とする。
この発明による画像抽出システムは,複数の画像によって表される第1のテーマを,上記複数の画像から決定する第1のテーマ決定手段,複数の画像によって表される第2のテーマを,複数の画像から決定する,あるいは第2のテーマの入力を受け付けることにより第2のテーマを決定する第2のテーマ決定手段,ならびに第1のテーマ決定手段によって決定した第1のテーマに関連づけられる画像を複数の画像から抽出する第1の画像抽出処理および第2のテーマ決定手段によって決定した第2のテーマに関連づけられる画像を複数の画像から抽出する第2の画像抽出処理の少なくとも一方の画像抽出処理を行う画像抽出手段を備えていることを特徴とする。
この発明は,画像抽出システムに適した画像抽出方法も提供している。すなわち,この方法は,第1のテーマ決定手段が,複数の画像によって表される第1のテーマを,複数の画像から決定し,第2のテーマ決定手段が,複数の画像によって表される第2のテーマを,複数の画像から決定する,あるいは第2のテーマの入力を受け付けることにより第2のテーマを決定し,画像抽出手段が,第1のテーマ決定手段によって決定した第1のテーマに関連づけられる画像を複数の画像から抽出する第1の画像抽出処理および第2のテーマ決定手段によって決定した第2のテーマに関連づけられる画像を複数の画像から抽出する第2の画像抽出処理の少なくとも一方の画像抽出処理を行うものである。
第2のテーマ決定手段は,たとえば,複数の画像によって表される第2のテーマを,複数の画像から決定してもよい。この場合,第1のテーマ決定手段によって決定した第1のテーマまたは第2のテーマ決定手段によって決定した第2のテーマの指定を受け付けるテーマ受付手段をさらに備えることが好ましい。また,画像抽出手段は,たとえば,テーマ受付手段によって第1のテーマの指定を受け付けた場合には,第1のテーマに関連づけられる画像を複数の画像から抽出する第1の画像抽出処理を行い,テーマ受付手段によって第2のテーマの指定を受け付けた場合には,第2のテーマに関連づけられる画像を複数の画像から抽出する第2の画像抽出処理を行う。
画像抽出手段において第1の画像抽出処理が行われた場合には,第1のテーマに関連づけられる第1のテンプレートを決定し,かつ画像抽出手段において第2の画像抽出処理が行われた場合には,第2のテーマに関連づけられる第2のテンプレートを決定するテンプレート決定手段,およびテンプレート決定手段において第1のテンプレートが決定された場合には第1の画像抽出処理において抽出された画像を第1のテンプレートに貼り付け,かつテンプレート決定手段において第2のテンプレートが決定された場合には第2の画像抽出処理において抽出された画像を第2のテンプレートに貼り付け,第1のテンプレートと第2のテンプレートとを含むアルバムを生成するアルバム生成手段をさらに備えてもよい。
複数の画像について第1のテーマ決定手段によって決定した第1のテーマの合致の程度を表す第1のテーマ合致度を算出する第1のテーマ合致度算出手段,複数の画像について第2のテーマ決定手段によって決定した第2のテーマの合致の程度を表す第2のテーマ合致度を算出する第2のテーマ合致度算出手段,および第1のテーマ合致度算出手段によって算出された第1のテーマ合致度と第2のテーマ合致度算出手段によって算出された第2のテーマ合致度との比率に応じたテーマとなるアルバムを,画像抽出手段によって抽出された画像を用いて生成するアルバム生成手段をさらに備えてもよい。
画像抽出手段は,第1のテーマ合致度算出手段によって算出された第1のテーマ合致度と第2のテーマ合致度算出手段によって算出された第2のテーマ合致度との比率と,第1の画像抽出処理により抽出される画像の数と第2の画像抽出処理により抽出される画像の数との比率と,が一致するように第1の画像抽出処理および第2の画像抽出処理を行なってもよい。
第1のテーマ決定手段によって決定した第1のテーマおよび第2のテーマ決定手段によって決定した第2のテーマにおいて共通に使用されるテンプレートに,画像抽出手段によって抽出した画像を貼り付けてアルバムを生成するアルバム生成手段をさらに備えてもよい。
第1のテーマ決定手段によって決定した第1のテーマと第2のテーマ決定手段によって決定した第2のテーマとの比率に応じたテーマをもつテンプレートに,画像抽出手段によって抽出した画像を貼り付けてアルバムを生成するアルバム生成手段をさらに備えてもよい。
第1のテーマ決定手段によって決定した第1のテーマと第2のテーマ決定手段によって決定した第2のテーマとの比率に応じたテーマをもつテンプレートを生成するテンプレート生成手段をさらに備えてもよい。
画像抽出手段は,たとえば,第1のテーマ決定手段によって決定した第1のテーマと第2のテーマ決定手段によって決定した第2のテーマとの比率に応じたテーマに合った画像を抽出させる第1の画像抽出処理および第2の画像抽出処理の少なくとも一方を行うものでもよい。
第2のテーマ決定手段は,第2のテーマの入力を受け付けることにより上記第2のテーマを決定し,複数の画像について上記第1のテーマ決定手段によって決定した第1のテーマの合致の程度を表す第1のテーマ合致度を算出する第1のテーマ合致度算出手段,および複数の画像について第2のテーマ決定手段によって決定した第2のテーマの合致の程度を表す第2のテーマ合致度を算出する第2のテーマ合致度算出手段をさらに備えてもよい。この場合,画像抽出手段は,たとえば,第1のテーマ合致度算出手段によって算出された第1のテーマ合致度が第2のテーマ合致度算出手段によって算出された第2のテーマ合致度よりも高い場合には,第1の画像抽出処理を行い,第2のテーマ合致度算出手段によって算出された第2のテーマ合致度が第1のテーマ合致度算出手段によって算出された第1のテーマ合致度よりも高い場合には,第2の画像抽出処理を行う。
この発明によると,複数の画像によって表される第1のテーマが複数の画像から決定される。また,複数の画像によって表される第2のテーマが複数の画像から決定される,あるいは第2のテーマの入力を受け付けることにより第2のテーマが決定される。第1のテーマに関連づけられる画像を複数の画像から抽出する第1の画像抽出処理および第2のテーマに関連づけられる画像を複数の画像から抽出する第2の画像抽出処理の少なくとも一方の画像抽出処理が行われる。第1の画像抽出処理は,複数の画像から決定された第1のテーマにもとづいて行われるものであるから,第1のテーマの決定が適切でない場合には抽出される画像がユーザの意図に沿わないことがある。この発明によると,複数の画像によって表される第2のテーマが複数の画像から決定される,あるいは第2のテーマの入力を受け付けることにより第2のテーマが決定される。第1の画像抽出処理だけでなく,第2のテーマにもとづく第2の画像抽出処理が行われる余地があるから,第1の画像抽出処理では,適切に画像を抽出できない可能性がある場合には,第2の画像抽出処理を行うことができ,第2の画像抽出処理により比較的適切な画像抽出が行われることとなる。
画像抽出システムの電気的構成を示すブロック図である。 メモリ・カードに格納されている画像ファイルを示している。 画像の一例である。 画像の一例である。 画像の一例である。 画像の一例である。 画像抽出システムの処理手順を示すフローチャートである。 テーマ決定ウインドウの一例である。 被写体タグ・テーブルの一例である。 第1のテーマ決定処理手順を示すフローチャートである。 画像抽出システムの処理手順を示すフローチャートである。 テーマ決定ウインドウの一例である。 画像抽出システムの処理手順を示すフローチャートである。 テンプレート・テーブルの一例である。 画像抽出システムの処理手順を示すフローチャートである。 画像抽出システムの処理手順を示すフローチャートである。 画像抽出システムの処理手順を示すフローチャートである。 画像抽出システムの処理手順を示すフローチャートである。 テンプレートの一例である。 画像抽出システムの処理手順を示すフローチャートである。 画像抽出システムの処理手順を示すフローチャートである。
[実施例1]
図1は,実施例1を示すもので,画像抽出システム1の電気的構成を示すブロック図である。
画像抽出システム1の全体の動作は,CPU(Central Processing Unit)2によって統括される。
画像抽出システム1には,画像抽出システム1にコマンド等を与えるための入力装置としてキーボード3およびマウス4が含まれている。これらのキーボード3およびマウス4からのコマンド等は,入力制御装置5を介してCPU2に与えられる。また,画像抽出システム1には,データ等を一時的に記憶するメモリ8,ハードディスク7およびハードディスク7にアクセスするためのハードディスク・ドライブ6ならびに表示装置10および表示装置10を制御するための表示制御装置9が含まれている。
画像抽出システム1には,さらに,メモリ・カード12にアクセスするためのメモリ・カード・リーダ・ライタ11,CD-ROM(Compact Disc Read Only Memory)14にアクセスするためのCD-ROMドライブ13およびインターネットなどのネットワークと接続するための通信装置15が含まれている。
後述する動作を制御する,コンピュータが読み取り可能なプログラムが格納されているCD-ROM14(記録媒体)がCD-ROMドライブ13によって読み取られ,その読み取られたプログラムが画像抽出システム1にインストールされる。そのようなプログラムは,CD-ROM14以外のメモリ・カード12のような可搬型記録媒体に格納されていてもよいし,画像抽出システム1にあらかじめインストールされていてもよい。また,インターネットなどのネットワークを介して通信装置15によってプログラムが受信され,受信されたプログラムが画像抽出システム1にインストールされるようにしてもよい。
図2は,メモリ・カード12に保存されている画像ファイルを表している。
メモリ・カード12には,IMG001からIMG500までの画像ファイル名によって表される500個の画像ファイルが保存されているものとする。もっとも,画像ファイル名は連続している必要は無い。たとえば,ユーザは,メモリ・カード12を持参して旅行などに行き,旅行先などにおいて撮影することにより500個の画像ファイルがメモリ・カード12に格納される。また,旅行などの単独のイベントだけでなく,結婚式における撮影により得られた画像ファイルと結婚式後の旅行(たとえば,新婚旅行)における撮影により得られた画像ファイルとがメモリ・カード12に格納されていてもよい。このように複数のイベントにおける撮影により得られた画像ファイルがメモリ・カード12(メモリ・カード12に限られない。)に格納されていてもよい。
図3から図6は,メモリ・カード12に保存されている500個の画像ファイルのうち,一部の画像ファイルによって表される画像31から34を示している。
図3は,画像ファイル名IMG001によって表される画像31の一例である。画像31は,山と川と太陽とが含まれている画像の一例である。
図4は,画像ファイル名IMG002によって表される画像32の一例である。画像32は,花と雲とが含まれている画像の一例である。
図5は,画像ファイル名IMG003によって表される画像33の一例である。画像33は,人物と山と雲と花とが含まれている画像の一例である。
図6は,画像ファイル名IMG004によって表される画像34の一例である。画像34は,料理と花とが含まれている画像の一例である。
図7は,画像抽出システム1の処理手順を示すフローチャートである。
表示装置10の表示画面には,複数の画像が保存されている保存場所を指定するための保存場所指定画像が表示される。保存場所指定画像を用いて,ハードディスク7,CD-ROM14,メモリ・カード12,ネットワーク上の保存領域などの保存場所をユーザは指定することができる。画像抽出システム1にUSB(Universal Serial Bus)メモリ(図示略)を接続できる場合には,保存場所としてUSBメモリの指定もできる。ユーザは,キーボード3またはマウス4を用いて,アルバムの生成に用いる画像の保存場所を指定する(ステップ41)。この実施例では,画像の保存場所としてメモリ・カード12がユーザによって指定されたものとする。画像の保存場所を指定する前または画像の保存場所を指定した後に,次に述べる第1のテーマおよび第2のテーマを決定する複数の画像の範囲を特定してもよい。たとえば,撮影期間が指定され,その指定された撮影期間内に撮影された複数の画像から第1のテーマおよび第2のテーマを決定するようにしてもよい。
メモリ・カード12に格納されている複数の画像ファイルがCPU2によって読み取られる。第1のテーマ決定アルゴリズムにもとづいて,読み取られた複数の画像ファイルによって表される複数の画像の第1のテーマが,CPU2(第1のテーマ決定手段)によって決定される(ステップ42)。第1のテーマの決定方法について詳しくは後述する(図9参照)。第1のテーマが決定されると,第2のテーマ決定アルゴリズム(第1のテーマ決定アルゴリズムと同じでもよい)にもとづいて,メモリ・カード12から読み取られた複数の画像ファイルによって表される複数の画像の第2のテーマが,CPU2(第2のテーマ決定手段)によって決定される(ステップ43)。第2のテーマの決定方法についても詳しくは後述する。
図8は,表示装置10の表示画面に表示されるテーマ決定ウインドウ50の一例である。
テーマ決定ウインドウ50には,画像表示領域51とテーマ表示領域52とが含まれている。
画像表示領域51には,ユーザによって指定された保存場所に保存されている画像(サムネイル画像)が一覧で表示されている。この実施例では,保存場所としてメモリ・カード12が指定されたから,メモリ・カード12に格納されている画像ファイルによって表される画像31-34などが画像表示領域51に表示されている。
テーマ表示領域52には,「第1のテーマ」という文字列の横に第1のテーマ表示ボックス53が形成されており,「第2のテーマ」という文字列の横の第2のテーマ表示ボックス54が形成されている。第1のテーマ表示ボックス53には,図7ステップ42において決定した第1のテーマが表示される。第2のテーマ表示ボックス54には,図7ステップ43において決定した第2のテーマが表示される。この実施例では,メモリ・カード12には,結婚式というイベントにおける撮影により得られた画像ファイルと旅行というイベントにおける撮影により得られた画像ファイルとが格納されている。メモリ・カード12に格納されている複数の画像ファイルから,第1のテーマとして「旅行」が決定され,第2のテーマとして「結婚」が決定されたものとする。このため,第1のテーマ表示ボックス53には,「旅行」が表示され,第2のテーマ表示ボックス54には,「結婚」が表示されている。
また,テーマ表示領域52には,「画像抽出」の文字が表示されている画像抽出ボタン55も形成されている。画像抽出ボタン55は,指定された保存場所に保存されている複数の画像から,第1のテーマ,第2のテーマなどに関連付けられる画像を抽出する場合に,ユーザによってマウス4などによりクリックされる。
図7に戻って,ユーザは,第2のテーマ表示ボックス54に表示されている第2のテーマを確認して,その第2のテーマが適切かどうかを判断する。適切でないと考える場合には,第2のテーマを変更するために(ステップ44でYES),第2のテーマ表示ボックス54に表示されている第2のテーマを,キーボード3を用いて消去して,ユーザはキーボード3を用いて第2のテーマを新たに入力する(ステップ45)。第2のテーマを変更する必要が無ければ(ステップ44でNO),ステップ45の処理はスキップされる。このように第2のテーマは,CPU2(第2のテーマ決定手段)によって決定されてもよいし,キーボード3(第2のテーマ決定手段)により入力されたテーマをCPU2が受け付けることにより,第2のテーマが決定されてもよい。
第2のテーマではなく,第1のテーマを変更できるようにしてもよいし,第1のテーマと第2のテーマとの両方のテーマを変更できるようにしてもよい。分かりやすくするために,第1のテーマと第2のテーマとを区別しているが,2つのテーマが決定されればよく,2つのテーマのうち,少なくとも一方のテーマを変更できればよい。2つのテーマのうち,いずれか一方のテーマが第1のテーマであり,他方のテーマが第2のテーマである。
つづいて,決定された第1のテーマに関連づけられる画像が,指定された保存場所に保存されている複数の画像(または指定された保存場所に保存されている複数の画像のうち,指定された撮影期間に撮影された画像)から抽出される第1の画像抽出処理がCPU2(画像抽出手段)によって行われる(ステップ46)。例えば,第1のテーマとの合致度が高い(しきい値以上の)画像であり,画像としての評価が高い画像(適正な明るさをもつ画像,合焦している画像,被写体が見切れていない画像など)が複数の画像から抽出される。第1のテーマとの合致度が高い画像とは,第1のテーマに合った被写体(たとえば,あらかじめ定められている)が含まれており,かつ評価の高い(しきい値以上の)被写体(被写体の位置が中央に近いほど評価が高い,被写体が合焦しているほど評価が高い)が含まれている画像である。同様に,決定された第2のテーマに関連づけられる画像が,指定された保存場所に保存されている複数の画像から抽出される第2の画像抽出処理がCPU2によって行われる(ステップ47)。
第1の画像抽出処理により抽出された画像および第2の画像抽出処理により抽出された画像が表示装置10の表示画面に表示される(ステップ48)。このようにして抽出された画像は第1のテーマまたは第2のテーマに沿ったものとなる。多数の画像の中から第1のテーマおよび第2のテーマに沿った画像が抽出されるようになる。
抽出された画像を用いて,アルバムを生成することにより,生成されたアルバムには,第1のテーマおよび第2のテーマの少なくとも一方のテーマに沿った画像が貼り付けられることとなり,第1のテーマおよび第2のテーマの少なくとも一方のテーマに沿ったアルバムが生成されるようになる。
上述の実施例においては,第1の画像抽出処理および第2の画像抽出処理との両方の画像抽出処理が行われているが,第1の画像抽出処理および第2の画像抽出処理の少なくとも一方の画像抽出処理が行われてもよい。少なくとも一方の画像抽出処理が行われ,抽出された画像を用いてアルバムが生成されることにより,第1のテーマおよび第2のテーマの少なくとも一方のテーマに沿ったアルバムが生成されることとなる。
図9は,被写体タグ・テーブルの一例である。
被写体タグ・テーブルには,テーマに対応して被写体タグが記憶されている。被写体タグ・テーブルは,メモリ8に格納されている。被写体タグは,テーマに沿った画像の状況,テーマに沿った被写体などを示している。たとえば,「子ども」のテーマに対応した被写体タグとして,「誕生日」,「入学式」などが格納されており,「旅行」のテーマに対応した被写体タグとして,「乗り物(飛行機,電車,自動車)」,「観光地」などが格納されている。被写体タグ・テーブルには,第1のテーマ,第2のテーマを決定するのに用いられる。
図10は,第1のテーマ決定処理手順(図7ステップ42の処理手順)(第1のテーマ決定アルゴリズム)を示すフローチャートである。
指定された保存場所(メモリ・カード12)に保存されている複数の画像のそれぞれのヘッダには,被写体タグが格納されている。複数の画像のそれぞれに付与されている被写体タグがCPU2によって読み取られる(ステップ61)。画像に被写体タグが付与されていない場合には,CPU2によって画像解析が行われ,画像に含まれている被写体が検出されることにより被写体タグが得られる。
また,複数の画像の撮影期間がCPU2によって算出される(ステップ62)。複数の画像の撮影間隔に比べて画像の撮影期間が長い場合には,複数の画像が複数のグループに分けられ,それぞれのグループにおける撮影期間が算出される。たとえば,メモリ・カード12に保存されている画像が,結婚式における撮影により得られた画像と,結婚式とは別の日の旅行における撮影により得られた画像とが含まれている場合,たとえば,結婚式の画像は,数時間の間に多数の撮影が行われることにより,結婚式の画像が多数得られ,結婚式の日とは別の日の旅行中に多数の撮影が行われることにより,旅行の画像が多数得られる。画像の撮影期間に偏りがあるので,結婚式の画像のグループと旅行の画像のグループとに分けることができる。結婚式の画像の撮影期間は,たとえば,1日であり,旅行の画像の撮影期間は,たとえば,1週間と算出される。画像ファイルのヘッダには,撮影日時を示すデータが格納されているので,その撮影日時を示すデータを用いて撮影期間を算出できる。
つづいて,保存場所に保存されている複数の画像のそれぞれに含まれている人物がCPU2によって検出され,検出された人数の数がCPU2によって算出される(ステップ63)。
さらに,保存場所に保存されている複数の画像のそれぞれの撮影場所がCPU2によって検出される(ステップ64)。画像ファイルのヘッダには,撮影場所を示すデータが格納されているので,その撮影場所を示すデータを読み取ることにより,画像の撮影場所が分かる。
画像に付与されている被写体タグが読み取られ(ステップ61),撮影期間が算出され(ステップ62),人物の数が算出され(ステップ63),撮影場所が検出されると(ステップ64),読み取られた被写体タグ,算出された撮影期間,算出された人物の数および検出された撮影場所のそれぞれから,複数のテーマ候補がCPU2によって決定される(ステップ65)。たとえば,読み取られた被写体タグが,「旅行」や「結婚」についてのものが多い場合には,「旅行」,「結婚」がテーマ候補となる。また,撮影期間が1日の場合には,「子ども」,「結婚」など,1日で撮影が終了するようなテーマがテーマ候補となる。さらに,算出された人数が2人であれば,その人物は,夫婦である可能性が高く,算出された人数が3人から5人であれば,その人物は家族である可能性が高い。さらに,撮影場所が学校であれば「子供」がテーマ候補となり,撮影場所が観光地であれば「旅行」がテーマ候補となり,撮影場所が結婚式場であれば「結婚」がテーマ候補となる。
被写体タグにもとづいてテーマ候補が決定され,かつテーマ候補評価値が算出される。たとえば,複数の画像の中に乗り物や観光地の画像が多い場合には,テーマ候補として「旅行」が決定され,決定されたテーマ候補に対応する被写体タグの多さに応じたテーマ候補評価値が算出される。算出されたテーマ候補が,算出された撮影期間,人物の数,および撮影場所によって補正される。例えば,「旅行」の場合は,数日間にわたった撮影されることが多いから,撮影期間が数日間の場合には,「旅行」のテーマ候補評価値は高くなる。また,「旅行」の場合は,夫婦,家族での旅行などが考えられ,かつ風景の画像も多いと考えられるので,人物の数が2人から5人または人物が0人の画像が多い場合には,「旅行」のテーマ候補評価値が高くなる。さらに,撮影場所が観光地などの場合にも,「旅行」のテーマ候補評価値が高くなる。このように,決定されたテーマ候補についてのテーマ候補評価値が高く(または低く)なるように補正され,補正されたテーマ候補評価値がもっとも高いテーマ候補がCPU2によって第1のテーマと決定される(ステップ66)。また,補正されたテーマ候補評価値が第1のテーマの次に高いテーマ候補がCPU2によって第2のテーマと決定される。もちろん,他の方法により第1のテーマおよび第2のテーマが決定されてもよい。
実施例1によると,第1の画像抽出処理だけでなく,第2のテーマにもとづく第2の画像抽出処理が行われる余地があるから,第1の画像抽出処理では,適切に画像を抽出できない可能性がある場合には,第2の画像抽出処理を行うことができ,第2の画像抽出処理により比較的適切な画像抽出が行われることとなる。
[実施例2]
図11および図12は,実施例2を示すものである。
図11は,画像抽出システム1の処理手順を示すフローチャートである。図11は,実施例1の図7に対応する。図12は,テーマ決定ウインドウ50Aの一例である。図12は,実施例1の図8に対応する。
図7ステップ41から43と同様に,複数の画像の保存場所が指定され(ステップ71),複数の画像から第1のテーマが決定され(ステップ72),複数の画像から第2のテーマが決定される(ステップ73)。
この実施例においては,決定された第1のテーマおよび第2のテーマのうち,いずれかのテーマがユーザによって指定される(ステップ74)。
図12を参照して,テーマ決定ウインドウ50Aには,画像表示領域51とテーマ表示領域52Aとが含まれている。
テーマ表示領域52Aには,第1のテーマ表示ボックス53の横に,「指定」の文字が付与されている第1の指定ボタン56が形成され,第2のテーマ表示ボックス54の横に,「指定」の文字が付与されている第2の指定ボタン57が形成されている。
第1の指定ボタン56がユーザによってマウス4を用いてクリックされることにより,第1のテーマ表示ボックス53に表示されているテーマが指定される。第2の指定ボタン57がユーザによってマウス4を用いてクリックされることにより,第2のテーマ表示ボックス54に表示されているテーマが指定される。第1のテーマ表示ボックス53に表示されるテーマおよび第2のテーマ表示ボックス54に表示されるテーマの少なくとも一方を消去し,ユーザによって新たに入力されたテーマが指定されてもよい。
ユーザによって第1のテーマが指定されると(ステップ75でYES),指定された第1のテーマはCPU2(テーマ受付手段)によって受け付けられ,図7のステップ46のように,第1のテーマに関連づけられる画像が複数の画像から抽出される第1の画像抽出処理が行われる(ステップ76)。
ユーザによって第2のテーマが指定されると(ステップ75でNO),指定された第2のテーマもCPU2(テーマ受付手段)によって受け付けられ,図7のステップ47のように,第2のテーマに関連づけられる画像が複数の画像から抽出される第2の画像抽出処理が行われる(ステップ78)。
このようにして抽出された画像が,表示装置10の表示画面に表示される(ステップ79)。
実施例2によると,ユーザによって指定されたテーマにもとづく画像抽出処理が行われるようになる。
[実施例3]
図13は,実施例3を示すもので,画像抽出システム1の処理手順を示すフローチャートである。
図13に示す処理は,実施例1の図7または実施例2の図11に示す処理の後に行われる。
被写体タグ・テーブルと同様に,テンプレートがテーマに関連づけられてメモリ8に記憶されている。テンプレートは,複数ページから構成され,各ページに画像貼付領域が規定されている。テンプレートに規定されている画像貼付領域に,上述のようにして抽出された画像が貼り付けられることにより,アルバム(電子アルバム)が生成される。紙に印刷されることにより,紙のアルバムが生成される。
第1の画像抽出処理が行われた場合には(ステップ81でYES),第1のテーマに合致した画像が抽出されたということであるから,第1のテーマに関連付けられているテンプレートがCPU2(テンプレート決定手段)によって決定される(ステップ82)。
図14は,テンプレート・テーブルの一例である。
テンプレート・テーブルは,メモリ8に格納されている。
テーマに対応して,複数のテンプレート(テンプレートを特定するデータ)およびテンプレート評価値が格納されている。たとえば,「子供」のテーマには,テンプレートT1,テンプレートT2などが格納されており,「旅行」のテーマには,テンプレートT11,テンプレートT12などが格納されており,「結婚」のテーマには,テンプレートT21,テンプレートT22などが格納されている。それぞれのテンプレートには,テーマとの合致度を表すテンプレート評価値L1,L2なども算出されている。同じテーマのテンプレートであっても,テンプレート評価値が異なり,テンプレート評価値が高いほど,そのテーマに適したテンプレートとなる。
図13に戻って,第1の画像抽出処理が行われた場合(ステップ81でYES),第1のテーマに関連付けられているテンプレートを決定するために,決定した第1のテーマに対応して格納されているテンプレートがテンプレート・テーブルの中から見つけられる。たとえば,第1のテーマが「旅行」であるとすると,「旅行」のテーマに関連付けられているテンプレートT11,テンプレートT12などがCPU2によって見つけられる。つづいて,第1のテーマを決定する際に算出されたテーマ候補評価値に近いテンプレート評価値をもつテンプレートが第1のテンプレートとしてCPU2によって決定される。テンプレート評価値とテーマ候補評価値とは,いずれもCPU2によってたとえば,0から100までの範囲となるように規格化されたうえで,近いかどうか(テンプレート評価値とテーマ候補評価値との差分差が一定値以内にあるかどうか)が,CPU2によって判断される。
第1のテンプレートが決定すると,第1の画像抽出処理において抽出された画像が第1のテンプレートに貼り付けられる(ステップ83)。
第1の画像抽出処理が行われない場合には(ステップ81でNO),ステップ82および83はスキップされる。第2の画像抽出処理が行われると(ステップ84でYES),第1のテンプレートの決定と同様にして第2のテーマにもとづいて第2のテンプレートがCPU2(テンプレート決定手段)によって決定される(ステップ85)。
第2のテンプレートが決定すると,第2の画像抽出処理において抽出された画像が第2のテンプレートに貼り付けられる(ステップ86)。
第1の画像抽出処理と第2の画像抽出処理との両方が行われた場合には,画像が貼り付けられた第1のテンプレートと,画像が貼り付けられた第2のテンプレートとから,CPU2によってアルバム(電子アルバム)が生成される(ステップ87)。画像が貼り付けられた第1のテンプレートのみから構成されるアルバムと,画像が貼り付けられた第2のテンプレートのみから構成されるアルバムとの2つのアルバムが生成されてもよいし,画像が貼り付けられた第1のテンプレートと,画像が貼り付けられた第2のテンプレートとを含む1つのアルバムが生成されてもよい。
実施例3によると,テーマに関連付けられたテンプレートを決定できるようになる。
[実施例4]
図15は,実施例4を示すもので,画像抽出システム1の処理手順を示すフローチャートの一例である。
図15に示す処理も,実施例1の図7または実施例2の図11に示す処理の後に行われる。
決定した第1のテーマの合致の程度を表す第1のテーマ合致度がCPU2(第1のテーマ合致度算出手段)によって算出される(ステップ91)。第1のテーマを決定するときに算出された第1のテーマ候補評価値を,第1のテーマ合致度とすることができる。また,複数の画像をテーマごとに分類し,第1のテーマに含まれる画像の数を,複数の画像の総数で除した値を第1のテーマ合致度としてもよい。いずれにしても,第1のテーマ合致度として,第1のテーマの合致の程度を表すものであればよい。
同様に,第2のテーマの合致の程度を表す第2のテーマ合致度がCPU2(第2のテーマ合致度算出手段)によって算出される(ステップ92)。第2のテーマを決定するときに算出された第2のテーマ候補評価値を,第2のテーマ合致度とすることができる。また,複数の画像をテーマごとに分類し,第2のテーマに含まれる画像の数を,複数の画像の総数で除した値を第2のテーマ合致度としてもよい。いずれにしても,第2のテーマ合致度として,第2のテーマの合致の程度を表すものであればよい。
つづいて,算出された第1のテーマ合致度と第2のテーマ合致度との比率に応じたテーマとなるアルバムが,抽出された画像を用いてCPU2(アルバム生成手段)によって生成される(ステップ93)。算出された第1のテーマ合致度と第2のテーマ合致度との比率に応じたテーマとなるアルバムとは,生成されるアルバムについてテーマ合致度が算出された場合に第1のテーマ合致度と算出される割合と第2のテーマ合致度と算出される割合とが,その比率となるようにアルバムをいう。たとえば,第1のテーマが「旅行」であり,第1のテーマ合致度が60(テーマ合致度は0から100までとする)であり,第2のテーマが「結婚」であり,第2のテーマ合致度が40であったとする。このような場合には,第1のテーマである「旅行」のテンプレート評価値が60,第2のテーマである「結婚」のテンプレート評価値が40となるようなテンプレートを用いてアルバムを生成してもよいし,第1のテーマにしたがって抽出される画像の数と第2のテーマにしたがって抽出される画像の数とが,60:40となるようにしてアルバムを生成してもよいし,画像からテーマを決定する場合に,第1のテーマと決定される割合が60,第2のテーマと決定される割合が40となるような画像を抽出したアルバムを生成してもよい。
実施例4によると,第1のテーマ合致度と第2のテーマ合致度との比率に応じてアルバムを生成できる。
[実施例5]
図16は,実施例5を示すもので,画像抽出システム1の処理手順を示すフローチャートである。図16は,実施例1の図7および実施例2の図11に対応する。
図7のステップ41から43と同様に,複数の画像の保存場所がユーザによって指定され(ステップ101),複数の画像から第1のテーマが決定され(ステップ102),複数の画像から第2のテーマが決定される(ステップ103)。さらに,第1のテーマ合致度が算出され(ステップ104),第2のテーマ合致度が算出される(ステップ105)。
算出された第1のテーマ合致度と第2のテーマ合致度との比率と,第1の画像抽出処理により抽出される画像の数と第2の画像抽出処理により抽出される画像の数との比率と,が一致するように第1の画像抽出処理および第2の画像抽出処理がCPU2によって行われる(ステップ106)。このようにして抽出された画像が表示装置10の表示画面に表示される。
抽出された画像をテンプレートに貼り付けてCPU2によってアルバムが生成されてもよいのはいうまでもない。
実施例5によると,第1のテーマに応じた画像と第2のテーマに応じた画像とを第1のテーマ合致度と第2のテーマ合致度との比率に応じて抽出できる。
[実施例6]
図17は,実施例6を示すもので,画像抽出システム1の処理手順を示すフローチャートである。
図17に示す処理は,実施例1の図7,実施例2の図11または実施例5の図16に示す処理の後に行われる。
複数の画像から画像が抽出されると,抽出された画像を貼り付けてアルバムを生成するためのテンプレートがCPU2によって見つけられる。テンプレートは決定された第1のテーマおよび第2のテーマにおいて共通に使用されるものがCPU2によって見つけられる。たとえば,第1のテーマとして「旅行」が決定され,第2のテーマとして「結婚」が決定されたとすると,図14に示すテンプレート・テーブルを参照して,「旅行」のテーマと「結婚」のテーマとの両方に対応して格納されているテンプレートが,CPU2によって見つけられる。決定された第1のテーマおよび第2のテーマにおいて共通に使用されるテンプレートが見つけられなかった場合には,決定された第1のテーマおよび第2のテーマにおいて共通に使用されるテンプレートがCPU2によって生成される。
見つけられたテンプレート(または生成されたテンプレート)に,抽出された画像がCPU2(アルバム生成手段)によって貼り付けられることによりアルバム(電子アルバム)が生成される(ステップ112)。
実施例6によると,第1のテーマと第2のテーマとの両方のテーマに合致したテンプレートを用いてアルバムを生成できる。
[実施例7]
図18は,実施例7を示すもので,画像抽出システム1の処理手順を示すフローチャートである。
図18に示す処理も,実施例6の図17に示す処理と同様に,実施例1の図7,実施例2の図11または実施例5の図16に示す処理の後に行われる。
複数の画像から画像が抽出されると,抽出された画像を貼り付けてアルバムを生成するためのテンプレートがCPU2によって見つけられる。図18に示す実施例においては,決定された第1のテーマと第2のテーマとの比率に応じたテーマをもつテンプレートがCPU2によって見つけられる。決定された第1のテーマと第2のテーマとの比率に応じたテーマをもつテンプレートとは,そのようなテンプレートについてテーマが決定される場合には,第1のテーマと第2のテーマとが,その比率で決定されるものをいう。たとえば,第1のテーマが「旅行」であり,第2のテーマが「結婚」であったとした場合において,複数の画像における第1のテーマのテーマらしさ(上述したようにテーマ候補評価値に対応する)が6割,複数の画像における第1のテーマのテーマらしさが4割であったとすると,第1のテーマと判断される割合が6割,第2のテーマと判断される割合が4割となるようなテンプレートがCPU2によって見つけられる(ステップ121)。そのようなテンプレートが無い場合には,CPU2によって生成される。第1のテーマのテーマ候補評価値と第2のテーマのテーマ候補評価値との比率に応じたテンプレートをCPU2によって見つけたり,生成したりしても,決定された第1のテーマと第2のテーマとの比率に応じたテーマをもつテンプレートを見つけたり,生成したこととなる。
見つけられたテンプレート(または生成されたテンプレート)に,抽出された画像がCPU2(アルバム生成手段)によって貼り付けられることによりアルバム(電子アルバム)が生成される(ステップ122)。
図19は,第1のテーマと第2のテーマとの比率に応じたテーマをもつテンプレート130の一例である。
テンプレート130は,アルバムを構成する一部のページを表している。複数ページから構成されるアルバムでもよいし,1枚のみから構成されるテンプレート130でもよい。
テンプレート130には,画像貼付領域131から138が形成されており,これらの画像貼付領域131から138に,抽出された画像がCPU2によって貼り付けられる。
テンプレート130には,第1のテーマである「旅行」に対応するように,飛行機の飾り144が形成されており,第2のテーマである「結婚」に対応するように,ハートの飾り141および142が形成されている。また,クローバーの飾り143もテンプレート130に形成されている。さらに,テンプレート130自体も,第1のテーマである「旅行」と第2のテーマである「結婚」との比率に対応するような色彩とされている。たとえば,テンプレート130について第1のテーマのテーマらしさを算出すると6割となり,第2のテーマテーマらしさを算出すると4割となる。このようなテンプレート130が見つけられて(生成されて),抽出された画像が画像貼付領域131から138に貼り付けられる。
複数ページから構成されるテンプレートの場合には,複数ページのうち第1のテーマと判断されるページと第2のテーマと判断されるページとの比率が,第1のテーマと第2のテーマとの比率に対応するようにしてもよい。たとえば,第1のテーマが「旅行」であり,その比率が6割,第2のテーマが「結婚」であり,その比率が4割であるとすると,複数ページのうち6割のページを第1のテーマである「旅行」とし,複数ページのうち4割を第2のテーマである「結婚」としてもよい。
実施例7においても,第1のテーマと第2のテーマとの両方のテーマに合致したテンプレートを用いてアルバムを生成できる。
[実施例8]
図20は,実施例8を示すもので,画像抽出システム1の処理手順を示すフローチャートである。図20は,実施例1の図7,実施例2の図11および実施例5の図16に対応する。図20において,図7の処理と同一の処理については同一符号を付して説明を省略する。
第1のテーマと第2のテーマとが決定(入力)されると,決定した第1のテーマと第2のテーマとの比率に応じたテーマに合った画像が,CPU2によって抽出される(ステップ46A)。たとえば,複数の画像から抽出される画像のうち,第1のテーマに合った画像が6割抽出され,第2のテーマに合った画像が4割抽出される。このようにして抽出された画像がテンプレート130などに貼り付けられることにより,アルバムが生成されてもよい。生成されたアルバムは,第1のテーマと第2のテーマとの比率に応じたテーマをもつものとなる。
実施例8によると,第1のテーマと第2のテーマとの比率に応じた画像が含まれるアルバムを生成できる。
[実施例9]
図21は,実施例9を示すもので,画像抽出システム1の処理手順を示すフローチャートである。図20は,実施例1の図7,実施例2の図11,実施例5の図16および実施例8の図20に対応する。
上述のように,複数の画像の保存場所がユーザによって指定され(ステップ151),指定された保存場所に保存されている複数の画像から第1のテーマが決定される(ステップ152)。つづいて,ユーザによってキーボード3を用いて第2のテーマが入力され(ステップ153),その入力がCPU2によって受け付けられることにより,第2のテーマが決定する。たとえば,図8に示すように,画像表示領域51に複数の画像(サムネイル画像)31などが表示され,その表示された画像を見ながら,ユーザによって第2のテーマが入力される。CPU2によって決定された第1のテーマは,第1のテーマ表示ボックス53に表示され,ユーザによって入力された第2のテーマは,第2のテーマ表示ボックス54に表示される。
第1のテーマ合致度がCPU2(第1のテーマ合致度算出手段)によって算出され(ステップ154),かつ第2のテーマ合致度もCPU2(第2のテーマ合致度算出手段)によって算出される(ステップ155)。
CPU2によって算出された第1のテーマ合致度が,ユーザから入力された第2のテーマ合致度よりも高いかどうかがCPU2によって判断される(ステップ156)。第1のテーマ合致度が第2のテーマ合致度よりも高い場合には(ステップ156でYES),ユーザによって入力された第2のテーマよりも,CPU2によって決定された第1のテーマの方が,複数の画像が表すテーマとして,より適切であると考えられる。このために,第1のテーマにもとづく第1の画像抽出処理がCPU2によって行われる(ステップ157)。
第1のテーマ合致度が第2のテーマ合致度よりも高くない場合には(ステップ156でNO),ユーザから入力された第2のテーマ合致度が,CPU2によって算出された第1のテーマ合致度よりも高いかどうかがCPU2によって判断される(ステップ158)。第2のテーマ合致度が第1のテーマ合致度よりも高い場合には(ステップ158でYES),CPU2によって決定された第1のテーマよりも,ユーザによって入力された第2のテーマの方が,複数の画像が表すテーマとして,より適切であると考えられる。このために,第2のテーマにもとづく第2の画像抽出処理がCPU2によって行われる(ステップ159)。
第1の画像抽出処理または第2の画像抽出処理により抽出された画像が表示装置10の表示画面に表示されるようになる(ステップ160)。また,抽出された画像をテンプレートに貼り付けることにより,アルバムを生成するようにしてもよい。
実施例9によると,第1のテーマと第2のテーマとのうち,より適切なテーマに基づく画像抽出処理を行うことができる。
上述した実施例によると,キーボード3やマウス4を備えた画像抽出システム1について説明したが,キーボード3やマウス4を備えていないスマートフォン,タブレット端末などのスマート・ディバイスにより実施してもよい。スマート・ディバイスにより上述した処理を実施する場合に,スマート・ディバイスに形成されているタッチ・パネルを利用してコマンド等の入力が行われることとなろう。
1 画像抽出システム,2 CPU,3 キーボード,4 マウス,5 入力制御装置,6 ハードディスク・ドライブ,7 ハードディスク,8 メモリ,9 表示制御装置,10 表示装置,11 メモリ・カード・リーダ・ライタ,12 メモリ・カード,13 CD-ROMドライブ,14 CD-ROM,15 通信装置,31 画像,32 画像,33 画像,34 画像,50 テーマ決定ウインドウ,50A テーマ決定ウインドウ,51 画像表示領域,52 テーマ表示領域,52A テーマ表示領域,53 第1のテーマ表示ボックス,54 第2のテーマ表示ボックス,55 画像抽出ボタン,56 第1の指定ボタン,57 第2の指定ボタン,130 テンプレート,131 画像貼付領域,IMG001 画像ファイル名,IMG002 画像ファイル名,IMG003 画像ファイル名,IMG004 画像ファイル名,T1 テンプレート,T2 テンプレート,T11 テンプレート,T12 テンプレート,T21 テンプレート,T22 テンプレート

Claims (13)

  1. 複数の画像によって表される第1のテーマを,上記複数の画像から決定する第1のテーマ決定手段,
    上記複数の画像によって表される第2のテーマを,上記複数の画像から決定する,あるいは第2のテーマの入力を受け付けることにより第2のテーマを決定する第2のテーマ決定手段,ならびに
    上記第1のテーマ決定手段によって決定した第1のテーマに関連づけられる画像を上記複数の画像から抽出する第1の画像抽出処理および上記第2のテーマ決定手段によって決定した第2のテーマに関連づけられる画像を上記複数の画像から抽出する第2の画像抽出処理の少なくとも一方の画像抽出処理を行う画像抽出手段,
    を備えた画像抽出システム。
  2. 上記第2のテーマ決定手段は,上記複数の画像によって表される第2のテーマを,上記複数の画像から決定するものであり,
    上記第1のテーマ決定手段によって決定した第1のテーマまたは上記第2のテーマ決定手段によって決定した第2のテーマの指定を受け付けるテーマ受付手段をさらに備え,
    上記画像抽出手段は,
    上記テーマ受付手段によって上記第1のテーマの指定を受け付けた場合には,第1のテーマに関連づけられる画像を上記複数の画像から抽出する第1の画像抽出処理を行い,上記テーマ受付手段によって第2のテーマの指定を受け付けた場合には,第2のテーマに関連づけられる画像を上記複数の画像から抽出する第2の画像抽出処理を行う,
    請求項1に記載の画像抽出システム。
  3. 上記画像抽出手段において上記第1の画像抽出処理が行われた場合には,第1のテーマに関連づけられる第1のテンプレートを決定し,かつ上記画像抽出手段において上記第2の画像抽出処理が行われた場合には,第2のテーマに関連づけられる第2のテンプレートを決定するテンプレート決定手段,および
    上記テンプレート決定手段において上記第1のテンプレートが決定された場合には上記第1の画像抽出処理において抽出された画像を上記第1のテンプレートに貼り付け,かつ上記テンプレート決定手段において上記第2のテンプレートが決定された場合には上記第2の画像抽出処理において抽出された画像を上記第2のテンプレートに貼り付け,上記第1のテンプレートと上記第2のテンプレートとを含むアルバムを生成するアルバム生成手段,
    をさらに備えた請求項1または2に記載の画像抽出システム。
  4. 上記複数の画像について上記第1のテーマ決定手段によって決定した第1のテーマの合致の程度を表す第1のテーマ合致度を算出する第1のテーマ合致度算出手段,
    上記複数の画像について上記第2のテーマ決定手段によって決定した第2のテーマの合致の程度を表す第2のテーマ合致度を算出する第2のテーマ合致度算出手段,および
    上記第1のテーマ合致度算出手段によって算出された第1のテーマ合致度と上記第2のテーマ合致度算出手段によって算出された第2のテーマ合致度との比率に応じたテーマとなるアルバムを,上記画像抽出手段によって抽出された画像を用いて生成するアルバム生成手段,
    をさらに備えた請求項1または2に記載の画像抽出システム。
  5. 上記画像抽出手段は,
    上記第1のテーマ合致度算出手段によって算出された第1のテーマ合致度と上記第2のテーマ合致度算出手段によって算出された第2のテーマ合致度との比率と,上記第1の画像抽出処理により抽出される画像の数と上記第2の画像抽出処理により抽出される画像の数との比率と,が一致するように上記第1の画像抽出処理および上記第2の画像抽出処理を行う,
    請求項4に記載の画像抽出システム。
  6. 上記第1のテーマ決定手段によって決定した第1のテーマおよび上記第2のテーマ決定手段によって決定した第2のテーマにおいて共通に使用されるテンプレートに,上記画像抽出手段によって抽出した画像を貼り付けてアルバムを生成するアルバム生成手段,
    をさらに備えた請求項1または2に記載の画像抽出システム。
  7. 上記第1のテーマ決定手段によって決定した第1のテーマと上記第2のテーマ決定手段によって決定した第2のテーマとの比率に応じたテーマをもつテンプレートに,上記画像抽出手段によって抽出した画像を貼り付けてアルバムを生成するアルバム生成手段,
    をさらに備えた請求項1または2に記載の画像抽出システム。
  8. 上記第1のテーマ決定手段によって決定した第1のテーマと上記第2のテーマ決定手段によって決定した第2のテーマとの比率に応じたテーマをもつテンプレートを生成するテンプレート生成手段,
    をさらに備えた請求項7に記載の画像抽出システム。
  9. 上記画像抽出手段は,
    上記第1のテーマ決定手段によって決定した第1のテーマと上記第2のテーマ決定手段によって決定した第2のテーマとの比率に応じたテーマに合った画像を抽出させる上記第1の画像抽出処理および上記第2の画像抽出処理の少なくとも一方を行う,
    請求項1に記載の画像抽出システム。
  10. 上記第2のテーマ決定手段は,
    上記第2のテーマの入力を受け付けることにより第2のテーマを決定し,
    上記複数の画像について上記第1のテーマ決定手段によって決定した第1のテーマの合致の程度を表す第1のテーマ合致度を算出する第1のテーマ合致度算出手段,および
    上記複数の画像について上記第2のテーマ決定手段によって決定した第2のテーマの合致の程度を表す第2のテーマ合致度を算出する第2のテーマ合致度算出手段をさらに備え,
    上記画像抽出手段は,
    上記第1のテーマ合致度算出手段によって算出された第1のテーマ合致度が上記第2のテーマ合致度算出手段によって算出された第2のテーマ合致度よりも高い場合には,上記第1の画像抽出処理を行い,上記第2のテーマ合致度算出手段によって算出された第2のテーマ合致度が上記第1のテーマ合致度算出手段によって算出された第1のテーマ合致度よりも高い場合には,上記第2の画像抽出処理を行う,
    請求項1に記載の画像抽出システム。
  11. 第1のテーマ決定手段が,複数の画像によって表される第1のテーマを,上記複数の画像から決定し,
    第2のテーマ決定手段が,上記複数の画像によって表される第2のテーマを,上記複数の画像から決定する,あるいは第2のテーマの入力を受け付けることにより第2のテーマを決定し,
    画像抽出手段が,上記第1のテーマ決定手段によって決定した第1のテーマに関連づけられる画像を上記複数の画像から抽出する第1の画像抽出処理および上記第2のテーマ決定手段によって決定した第2のテーマに関連づけられる画像を上記複数の画像から抽出する第2の画像抽出処理の少なくとも一方の画像抽出処理を行う,
    画像抽出方法。
  12. 画像抽出システムのコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
    複数の画像によって表される第1のテーマを,上記複数の画像から決定させ,
    上記複数の画像によって表される第2のテーマを,上記複数の画像から決定する,あるいは第2のテーマの入力を受け付けることにより第2のテーマを決定させ,
    決定した上記第1のテーマに関連づけられる画像を上記複数の画像から抽出する第1の画像抽出処理および決定した第2のテーマに関連づけられる画像を上記複数の画像から抽出する第2の画像抽出処理の少なくとも一方の画像抽出処理を行なわせるように画像抽出システムのコンピュータを制御するプログラム。
  13. 請求項12に記載のプログラムを格納した記録媒体。
JP2016192883A 2016-09-30 2016-09-30 画像抽出システム,画像抽出方法およびそのプログラム Active JP6674879B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016192883A JP6674879B2 (ja) 2016-09-30 2016-09-30 画像抽出システム,画像抽出方法およびそのプログラム
US15/681,780 US10445580B2 (en) 2016-09-30 2017-08-21 Image extraction system, image extraction method, and image extraction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016192883A JP6674879B2 (ja) 2016-09-30 2016-09-30 画像抽出システム,画像抽出方法およびそのプログラム

Publications (2)

Publication Number Publication Date
JP2018055534A true JP2018055534A (ja) 2018-04-05
JP6674879B2 JP6674879B2 (ja) 2020-04-01

Family

ID=61757103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016192883A Active JP6674879B2 (ja) 2016-09-30 2016-09-30 画像抽出システム,画像抽出方法およびそのプログラム

Country Status (2)

Country Link
US (1) US10445580B2 (ja)
JP (1) JP6674879B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030257B2 (en) 2019-05-20 2021-06-08 Adobe Inc. Automatically generating theme-based folders by clustering media items in a semantic space
US11170271B2 (en) * 2019-06-26 2021-11-09 Dallas Limetree, LLC Method and system for classifying content using scoring for identifying psychological factors employed by consumers to take action
US11636117B2 (en) 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120486A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd アルバム作成方法および装置並びにプログラム
JP2005055743A (ja) * 2003-08-06 2005-03-03 Canon Inc 画像表示方法
JP2006139375A (ja) * 2004-11-10 2006-06-01 Canon Inc テンプレート管理方法
JP2007012030A (ja) * 2005-05-30 2007-01-18 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2010021721A (ja) * 2008-07-09 2010-01-28 Olympus Corp カメラ
JP2011170690A (ja) * 2010-02-19 2011-09-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム。
JP2011186715A (ja) * 2010-03-08 2011-09-22 Nk Works Kk 写真画像評価方法、及び写真画像評価装置
JP2011227783A (ja) * 2010-04-21 2011-11-10 Seiko Epson Corp 画像処理装置、画像処理方法及びそのプログラム
JP2015089112A (ja) * 2013-09-24 2015-05-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016062122A (ja) * 2014-09-12 2016-04-25 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016085534A (ja) * 2014-10-23 2016-05-19 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4945687A (ja) * 1972-09-02 1974-05-01
CN101331522B (zh) * 2005-10-18 2012-10-10 富士胶片株式会社 图册创建设备
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2007199924A (ja) 2006-01-25 2007-08-09 Fujifilm Corp 画像群のタイトル決定装置および方法並びにプログラム
US8748113B2 (en) * 2007-11-15 2014-06-10 The Johns Hopkins University Methods for detecting and monitoring circulating cancer stem cells
US9111146B2 (en) * 2008-02-15 2015-08-18 Tivo Inc. Systems and methods for semantically classifying and normalizing shots in video
US8311344B2 (en) * 2008-02-15 2012-11-13 Digitalsmiths, Inc. Systems and methods for semantically classifying shots in video
US8332255B2 (en) * 2009-11-09 2012-12-11 Palo Alto Research Center Incorporated Sensor-integrated mirror for determining consumer shopping behavior
JP5676996B2 (ja) 2010-09-27 2015-02-25 キヤノン株式会社 レイアウトシステム、情報処理装置、レイアウト方法及びプログラム
JP5959923B2 (ja) * 2012-04-26 2016-08-02 キヤノン株式会社 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
US10937547B2 (en) * 2015-06-15 2021-03-02 The Regents Of The University Of California Subject assessment using localization, activity recognition and a smart questionnaire

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120486A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd アルバム作成方法および装置並びにプログラム
JP2005055743A (ja) * 2003-08-06 2005-03-03 Canon Inc 画像表示方法
JP2006139375A (ja) * 2004-11-10 2006-06-01 Canon Inc テンプレート管理方法
JP2007012030A (ja) * 2005-05-30 2007-01-18 Fujifilm Holdings Corp アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2010021721A (ja) * 2008-07-09 2010-01-28 Olympus Corp カメラ
JP2011170690A (ja) * 2010-02-19 2011-09-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム。
JP2011186715A (ja) * 2010-03-08 2011-09-22 Nk Works Kk 写真画像評価方法、及び写真画像評価装置
JP2011227783A (ja) * 2010-04-21 2011-11-10 Seiko Epson Corp 画像処理装置、画像処理方法及びそのプログラム
JP2015089112A (ja) * 2013-09-24 2015-05-07 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016062122A (ja) * 2014-09-12 2016-04-25 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2016085534A (ja) * 2014-10-23 2016-05-19 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム

Also Published As

Publication number Publication date
US20180096208A1 (en) 2018-04-05
US10445580B2 (en) 2019-10-15
JP6674879B2 (ja) 2020-04-01

Similar Documents

Publication Publication Date Title
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
US11256904B2 (en) Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program
JP6711937B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11068133B2 (en) Electronic album apparatus and method of controlling operation of same
JP5883843B2 (ja) 画像評価装置,画像評価方法,画像評価プログラム,およびそのプログラムを格納した記録媒体
JP6719206B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6702900B2 (ja) 情報処理装置、表示制御方法、及びプログラム
JP2020140576A (ja) 装置、方法、及びプログラム
JP7341677B2 (ja) 装置、方法、及びプログラム
JP5478999B2 (ja) 撮影装置
JP2020140567A (ja) 装置、方法、及びプログラム
US11080913B2 (en) Page image display control system, page image display control method, and program therefor
JP5178392B2 (ja) 情報処理装置及び情報処理装置の制御方法
WO2020066291A1 (ja) 画像処理装置,画像処理方法および画像処理プログラム
JP2017037435A (ja) 表示制御装置、表示制御方法、及びプログラム
JP2020140557A (ja) 画像処理装置、制御方法、及びプログラム
JP2018055534A (ja) 画像抽出システム,画像抽出方法およびそのプログラム
JP2020140555A (ja) 画像処理装置、制御方法、及びプログラム
JP2018045582A (ja) 画像抽出システム,画像抽出方法およびそのプログラム
JP7350496B2 (ja) 装置、方法、及びプログラム
JP6700686B2 (ja) 画像処理装置およびアルバム作成方法およびプログラム
JP2020140558A (ja) 画像処理装置、制御方法、及びプログラム
JP2020140556A (ja) 画像処理装置、制御方法、及びプログラム
JP2020140582A (ja) 装置、方法、及びプログラム
JP2016143337A (ja) 画像分類装置,画像分類方法,ならびに画像分類装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200309

R150 Certificate of patent or registration of utility model

Ref document number: 6674879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250