JP6606374B2 - Image processing apparatus and method, and program - Google Patents
Image processing apparatus and method, and program Download PDFInfo
- Publication number
- JP6606374B2 JP6606374B2 JP2015157510A JP2015157510A JP6606374B2 JP 6606374 B2 JP6606374 B2 JP 6606374B2 JP 2015157510 A JP2015157510 A JP 2015157510A JP 2015157510 A JP2015157510 A JP 2015157510A JP 6606374 B2 JP6606374 B2 JP 6606374B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- scene
- images
- scenes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は画像処理装置および方法およびプログラムに関し、より具体的にはアルバム作成アプリケーション（アプリ）における自動レイアウト生成に関する。 The present invention relates to an image processing apparatus, method, and program, and more specifically to automatic layout generation in an album creation application (application).
デジタルカメラやスマートフォンによる写真撮影が一般的となり、ユーザーが撮り溜めている画像枚数は膨大である。この膨大な枚数の画像の中から画像を選択してアルバムを作成することはユーザーにとって困難な作業となっている。そこで、近年、画像群の中から自動で重要な画像を提案する方法が提案されている。特許文献１では、画像群中に写る人物の登場回数をカウントして、登場回数の多さで人物の重要度を決定し、決定した人物の重要度に基づいて、重要な画像を提案する。また、近年、入力した画像群の画像を使って自動でアルバムを作成するアルバム作成アプリケーションが開発されている。
Photography with a digital camera or a smartphone is common, and the number of images collected by users is enormous. It is a difficult task for the user to create an album by selecting images from the enormous number of images. In recent years, a method for automatically proposing an important image from an image group has been proposed. In
ところで、例えば１年間の家族のアルバムを作成する場合、アルバムには子供、母親、父親、祖母、祖父が写る写真を採用したいと考える人がいる。カメラを操作して撮影する主な人が父親だと、画像群の中に父親が登場する回数は少ない。また、祖母と祖父が、子供と母親と父親とは離れて生活している場合も、画像群の中に登場する回数は少ない。 By the way, for example, when creating a family album for one year, there are people who want to adopt a photograph of a child, mother, father, grandmother, and grandfather. If the main person who takes pictures by operating the camera is a father, the number of times the father appears in the image group is small. In addition, when the grandmother and the grandfather are living apart from the child, the mother, and the father, the number of appearances in the image group is small.
しかしながら、特許文献１の方法では、画像群中の登場回数が少ない父親、祖母、祖父の何れかは、重要でないと決定され、重要でないと決定された人物は重要な画像として提案されない。したがって、特許文献１に記載の画像管理方法をアルバム作成の際に用いた場合、アルバムに父親、祖母、祖父の何れかが写る画像が採用されなくなってしまう。
However, according to the method of
本発明は上記従来例に鑑みて成されたもので、画像群中の登場回数が少ない人物であっても重要度に応じてアルバムに採用される率を高くすることを目的とする。 The present invention has been made in view of the above-described conventional example, and an object of the present invention is to increase the rate of adoption in an album according to the degree of importance even for a person who has a small number of appearances in an image group.
上記課題を解決する為に、本発明は以下の構成を有する。 In order to solve the above problems, the present invention has the following configuration.
複数の画像データを取得する取得手段と、
前記取得手段により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別手段と、
前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割手段と、
前記識別手段により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント手段と、
前記第１のカウント手段によりカウントしたシーンの数に応じて人物の重要度を評価する評価手段と、
前記評価手段により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト手段と、を有する。
Obtaining means for obtaining a plurality of image data;
Identification means for identifying a person of each image of a plurality of images based on a plurality of image data acquired by the acquisition means;
Dividing means for dividing the plurality of images into a plurality of scenes including at least one or more images;
For each person identified by the identification means, a first counting means for counting the number of scenes in which the person appears;
Evaluation means for evaluating the importance of a person according to the number of scenes counted by the first counting means;
Layout means for selecting an image from the plurality of images using the importance of the person evaluated by the evaluation means and laying out the selected image for each scene.
本発明によれば、画像群の中に各人物が登場するシーンの回数を使ってアルバムに採用する画像を決定することで、画像群中の登場回数が少ない人物であってもアルバムに採用される率を高くすることができる。 According to the present invention, the number of scenes where each person appears in the image group is used to determine the image to be used in the album, so that even a person with a small number of appearances in the image group can be used in the album. The rate can be increased.
［第1実施形態］
本実施形態では、画像処理装置上で、アルバム作成アプリケーション（アプリ）を動作させ、自動レイアウトを生成するまでの手順について説明する。
[First embodiment]
In the present embodiment, a procedure until an album creation application (application) is operated on the image processing apparatus and an automatic layout is generated will be described.
＜ハードウェア構成＞
図１は、本発明に係る画像処理装置のハードウェアの構成を説明するブロック図である。なお、画像処理装置としては、情報処理装置、例えば、ＰＣ、スマートフォン等が挙げられ、本実施形態ではＰＣとする。
図１において、CPU（中央演算装置／プロセッサー）１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する処理部である。図中のCPUは１つであるが、複数ある場合も本実施形態では該CPUの一部として表す。 ＲＯＭ１０２は、CPU１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、CPU１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク１０４が記憶部を構成する。ディスプレイ１０５は、本実施形態のUI（ユーザーインターフェイス）や画像のレイアウト結果をユーザーに提示する装置であり、表示部を構成する。ディスプレイ１０５はタッチセンサー機能を備えても良い。キーボード１０６は、ディスプレイ１０５に表示されたUI上に例えば作成したいアルバムの見開き数を入力するためにユーザーが利用する。マウス１０７は座標指示デバイスであり、ディスプレイ１０５に表示されたUI上のボタンをクリックするためなどに使用される。キーボード１０６、マウス１０７が入力部であり、ディスプレイ１０５とあわせてユーザーインターフェイスを構成する。データ通信装置１０８は、自動レイアウトのデータをPCに接続されたプリンタやサーバーに送信する。データバス１０９は前記した各部とCPU１０１を接続する。本発明に係るアルバム作成アプリケーションはHDD１０４に保存され、後述するようにユーザーがディスプレイ１０５に表示されているアプリケーションのアイコンをマウス１０７を使ってダブルクリックして起動する。
<Hardware configuration>
FIG. 1 is a block diagram illustrating a hardware configuration of an image processing apparatus according to the present invention. Note that examples of the image processing apparatus include information processing apparatuses such as a PC and a smartphone. In this embodiment, the image processing apparatus is a PC.
In FIG. 1, a CPU (central processing unit / processor) 101 is a processing unit that executes an image processing method described in the present embodiment in accordance with a program. Although the number of CPUs in the figure is one, a case where there are a plurality of CPUs is represented as a part of the CPU in this embodiment. The
＜自動レイアウト処理部＞
図２は、本発明に係るアルバム作成アプリケーションの自動レイアウト処理部２１６に関するソフトウェアブロック図である。アルバム作成アプリケーションは様々な機能を持つが、本実施形態では、特に自動レイアウト処理部２１６により提供される自動レイアウト機能に関して説明する。自動レイアウト機能は、撮影された写真をその内容や属性に基づいて分類し、あるいは選択して写真をレイアウトし、ディスプレイ１０５に表示するアルバム画像を生成するための機能である。
図２において、２０１は条件指定部であり、入力部たとえばマウス１０７による後述のUI操作に応じたアルバム作成条件を自動レイアウト処理部２１６に指定する。 指定はたとえば条件指定部２０１を介してユーザーが行う。指定される条件には、たとえば対象となる画像や主人公のID、アルバムの見開き数、テンプレート情報、画像補正のON／OFF条件等の指定が含まれる。画像の指定は、たとえば撮影日時など個別の画像データの付随情報や属性情報による指定であってもよいし、デバイスやディレクトリの指定など、画像データを含むファイルシステムの構造に基づく指定であってもよい。なお見開きとは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては、異なるシートに印刷された、互いに隣接する１対のページに相当する。画像取得部２０２は、条件指定部２０１から指定された画像群をHDD１０４から取得する。画像変換部２０３は、以降の処理に使う画像データを所望の画素数や色情報に変換する。本実施形態では、短辺の画素数として４２０画素を持ち、sRGBの色情報の解析画像データ（以下、解析画像と呼ぶ）に変換する。画像解析部２０４は、解析画像から後述の特徴量取得、顔検出、表情認識、個人認識を実施する処理である。また、HDD１０４から取得した画像に付随したデータ、例えばExif情報から撮影日時の取得も画像処理部２０４で実施する。画像分類部２０５は、画像群に対して撮影日時情報や枚数、検出した顔情報を使って後述のシーン分割、シーン分類を実施する処理である。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。シーンとは、例えば、一つの撮影対象について一時期の撮影機会に撮影された画像の集まりであるということもできる。画像得点部２０７は、各画像に対してレイアウトに適した画像が高得点になるように得点付けをする。後述するが、得点付けの際は、本実施形態では画像解析部からの情報と、画像分類部からの情報とを使う。他の情報を付加的に或いは代替的に用いてもよい。主人公情報入力部２０６は、条件指定部２０１から指示された主人公のID（識別情報）を画像得点部に入力する。画像得点部２０７は、主人公情報入力部２０６から入力された主人公IDが含まれる画像の得点をアップできる構成となっている。見開き割当部２０９は、画像群を分割して各見開きに割り当てる。見開き入力部２０８は、条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。見開き割当部２０９は、入力された見開き数に応じて画像群を分割して各見開きに画像群の一部を割り当てる。画像選択部２１０は、見開き割当部２０９で各見開きに割り当てられた画像群の一部から画像得点部２０７で付けた得点を参考に画像を選択する。
<Automatic layout processing section>
FIG. 2 is a software block diagram relating to the automatic layout processing unit 216 of the album creating application according to the present invention. The album creating application has various functions. In the present embodiment, an automatic layout function provided by the automatic layout processing unit 216 will be described in particular. The automatic layout function is a function for classifying photographed photos based on their contents and attributes, or selecting them to lay out the photos and generating an album image to be displayed on the
In FIG. 2,
画像レイアウト部２１２は、画像のレイアウトを決定する。テンプレート入力部２１１は、条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。画像レイアウト部２１２は、画像選択部２１０に適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、画像のレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像レイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は例えば、選択したテンプレートに選択した画像をレイアウトしたビットマップデータである。画像補正部２１４は、覆い焼き補正、赤目補正、コントラスト補正等の補正をする。画像補正条件入力部２１３は、条件指定部２０１から指定された画像補正のON／OFF（オンまたはオフ）条件を画像補正部２１４に入力する。画像補正のオンまたはオフは、補正の種類ごとに指定されてもよいし、全ての種類についてまとめて指定されてもよい。画像補正部２１４は、画像補正条件がONの場合は、画像に対して補正を実施する。画像補正条件がOFFの場合は、補正を実施しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像に対して、画像補正のON／OFFに従って補正を実施する。画像変換部２０３から画像補正部２１４に入力する画像の画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変えられる構成となっている。レイアウト情報出力部２１５から出力される画像データは、例えば図３に示すような形式でディスプレイ１０５に表示される。
The
＜ユーザー操作＞
本実施形態に係るアルバム作成アプリケーションは、PCにインストールするとPC上で動作するOS（オペレーティングシステム）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザーはディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、HDD１０４に保存されているアルバム作成アプリケーションのプログラムがRAM１０３にロードされる。RAM１０３のプログラムがCPU１０１によって実行されて、アルバム作成アプリケーションが起動する。もちろんプログラムはROM１０２に記憶しておいてもよい。
<User operation>
When the album creation application according to the present embodiment is installed on a PC, a startup icon is displayed on the top screen (desktop) of an OS (operating system) that runs on the PC. When the user double-clicks the activation icon on the desktop displayed on the
＜表示例＞
図３は起動したアルバム作成アプリケーションが提供するUI構成画面３０１であり、ディスプレイ１０５に表示される。ユーザーは、表示画面であるUI構成画面３０１を介して、後述するアルバムの作成条件を設定することができる。ＵＩ構成画面３０１のパスボックス３０２はアルバム作成の対象となる画像群のHDD１０４中の保存場所（パス）を示す。ユーザーはフォルダ選択ボタン３０３をマウス１０７でクリックして、アルバム作成の対象とする画像群を含むフォルダを、表示されるツリー構成から選択する。選択した画像群を含むフォルダパスがパスボックス３０２に表示される。主人公指定アイコン３０４は、人物の顔画像が表示されるアイコンである。主人公指定アイコン３０４には複数の異なる顔画像のアイコンが並び、それぞれの顔画像は個人IDと関連付けられている。なおこの主人公指定アイコンは、解析対象の画像すなわち写真に写った人物から中心人物である主人公を特定するために用いられる。顔画像は、たとえば予め画像から検出され、個人IDと関連付けて顔データベースに登録されている。主人公アイコン３０４は、たとえば顔データベースに登録された人物の顔画像のうち、ユーザーが選択した人物の顔画像や後述の方法で決めた人物の顔画像である。主人公は図４の手順で自動設定することもできるが、主人公アイコン３０４を指定することで、ユーザーが手動設定することもできる。ユーザーはたとえばマウス１０７によってクリックするなどして顔データベースから主人公アイコンを選択できる。見開き数ボックス３０５には、見開き数を指定するである。ユーザーはキーボード１０６を使って見開き数ボックス３０５に直接数字を入力するか、マウス１０７を使ってリストから見開き数ボックスに数字を入力する。テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）が分かるイラスト画像である。複数のテンプレートアイコンが並び、マウス１０７によってクリックして選択できる。チェックボックス３０７は、画像補正のON／OFFを指定することができる。マウス１０７でチェックを入れると画像補正ONであり、チェックを入れないと画像補正OFFである。図３の例ではすべての補正についてまとめてオンまたはオフが指定される。
<Display example>
FIG. 3 shows a
OKボタン３０８は、UI構成画面３０１上で指定されている状態を条件指定部２０１に伝える為のボタンである。ユーザーがOKボタン３０８をマウス１０７でクリックすると、条件指定部２０１を介して、自動レイアウト処理部２１６にアルバム作成条件が指定される。パスボックス３０２に入力されているパスは画像取得部２０２に伝えられる。主人公指定アイコン３０４で選択されている主人公の個人IDは主人公情報入力部２０６に伝えられる。見開き数ボックス３０５に入力されている見開き数は見開き数入力部２０８に伝えられる。テンプレート指定アイコン３０６で選択されているテンプレート情報はテンプレート入力部２１１に伝えられる。画像補正チェックボックスの画像補正のON／OFFは画像補正条件入力部２１３に伝えられる。リセットボタン３０９はUI構成画面上の各設定情報をリセットするためのボタンである。
The
＜自動レイアウト処理＞
図４は本実施形態に係るアルバム作成アプリケーションの自動レイアウト処理部２１６に関する処理フロー図である。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４やＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。図４を使って、自動レイアウトの処理フローを以下説明する。
<Automatic layout processing>
FIG. 4 is a processing flowchart relating to the automatic layout processing unit 216 of the album creating application according to the present embodiment. The flowchart shown in FIG. 4 is realized, for example, when the
Step01では、指定された画像群に含まれる画像に順次着目して、画像変換部２０３で着目画像の解析画像を生成する。すなわち、条件指定部２０１で指定されたHDD１０４の画像群の各画像を所望の画素数と色情報に変換する。本実施形態では、短辺４２０画素のサイズとsRGBの色情報とを持つ解析画像に変換する。
In
Step02では、画像解析部２０４で着目画像の画像特徴量を取得する。HDD１０４から取得した着目画像データに付随する例えばExif情報から撮影日時を取得する。また、Step01で生成された着目画像の解析画像から特徴量を取得する。特徴量としては、例えば、ピントが挙げられる。エッジの検出方法として公知のソーベルフィルタを用いることができる。ソーベルフィルタでエッジ検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ればエッジの傾きすなわち輝度勾配を算出できる。対象画像中のエッジの平均傾きを算出して、平均傾き大の画像は平均傾き小の画像よりもピントが合っていると考えることが出来る。傾きに対して異なる値の複数の閾値を設定し、算出した平均傾きと閾値との比較に基づいてピント量を出せる。本実施形態では異なる２つの閾値を設定し、○△×の３段階でピント量を判別する。例えば、算出した平均輝度勾配が大きい方の閾値以上であれば良好（○）、大きい方の閾値より小さく小さい方の閾値以上であれば許容可（△）、小さい方の閾値より小さければ不良（×）と判定する。そして、アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できない傾きを×として、実験を通して閾値を設定する。
In
Step03では、画像解析部２０４で顔検出を実施する。ここではStep01で生成された着目画像の解析画像から顔を検出する。顔の検出は、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するAdaboostが挙げられる。本実施形態では、Adaboostにより作成した強識別器により人物（オブジェクト）の顔を検出する。顔画像を抽出すると共に、検出した顔領域の左上座標値と右下座標値を取得する。この２種の座標を持つ為、顔の位置と顔のサイズを知ることが可能である。顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてAdaboostによって強識別器を作成することができる。これにより、顔以外のオブジェクトを検出することができる。
In
Step04では、画像解析部２０４で個人認識をする。Step03で抽出した顔画像と顔辞書データベースに個人ID毎に保存されている代表顔画像との類似性を比較する。類似性が閾値以上で最も類似性が高いIDを抽出した顔画像のIDとする。尚、類似性が閾値未満の場合は新規の顔として新規の個人IDとして顔辞書データベースに抽出した顔画像を登録する。
In
Step02からStep04で取得した画像解析情報５００は、図５に示すように各画像を識別するID５０１毎に区別して記憶する。Step02で取得した撮影日時情報５０２とピント判別結果５０３、Step03で検出した顔の数５０４と位置情報５０５を保存する。尚、顔の位置情報はStep04で取得した個人ID毎に区別して記憶する。
The
Step05では、条件指定部２０１で指定されたHDD１０４の画像群の全画像に対してStep01からStep04が終了したか否かを判定する。終了していない場合（No）は新たな画像を着目画像としてStep01に戻る。終了している場合（Yes）はStep06に移行する。
In
Step06では、画像分類部２０５でシーン分割をする。Step02で取得済みの撮影日時情報から算出した画像と画像との時間差に基づいて画像群を複数に分割する。分割の基準の例は以下のとおりである。画像群のうち、たとえば最も撮影日時が古い（或いは新しい）画像に最初に着目し、その次に古い（新しい）画像との時間差を参照する。これを、着目画像を順次撮影日時が新しい（或いは古い）ものに置き換えつつ以下のいずれの条件に該当するか判定を行う。なお以下の説明で分割するとは、着目した２つの画像間を境に撮影日時の新しい方と古い方とに画像群を分割するという意味である。
１．画像間に撮影していない日が存在する場合は分割する。
２．撮影日が連続し、かつ時間差が１６時間以上空いている場合は分割する。
３．撮影日が連続し、かつ時間差が１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満なら分割する。
４．撮影日が連続し、かつ時間差が１６時間未満、かつ連続する各日の最初の撮影から最後の撮影までの時間差が４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら分割する。
５．上記以外の場合には分割しない。
In
1. If there is a non-photographed day between images, it is divided.
2. If the shooting dates are consecutive and the time difference is more than 16 hours, the images are divided.
3. If the shooting dates are consecutive and the time difference is less than 16 hours, the time difference from the first shooting to the last shooting on each consecutive day is less than 4 hours.
4). If the shooting date is continuous, the time difference is less than 16 hours, and the time difference from the first shooting to the last shooting on each consecutive day is 4 hours or more, the number of shots on each consecutive day is less than 50. To do.
5. In other cases, it is not divided.
もちろんこれ以外にも分割の基準はあり得る。たとえば撮影地が画像の付随情報に含まれている場合には、時間的には分割しない場合に該当しても、撮影地が所定距離以上離れていれば分割するものとしてもよい。図６（A）は前記説明したシーン分割方法で分割した結果を示している。なお分割後の画像群を分割と呼ぶ。 Of course, there can be other division criteria. For example, when the shooting location is included in the accompanying information of the image, it may correspond to the case where the shooting location is not divided in time, or may be divided if the shooting location is more than a predetermined distance away. FIG. 6A shows the result of division by the scene division method described above. A group of images after division is called division.
Step07では、画像分類部２０６でシーン分類をする。本実施形態では、旅行、日常、セレモニーに分類する例で説明する。シーン分類のためには、予め、旅行、日常、セレモニーだと判定した画像群をそれぞれ複数集める。各画像群について、特徴量を取得する。ここで取得する特徴量の例は、例えば撮影期間、撮影枚数、撮影人数である。撮影期間は画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は画像群に含まれた画像の撮影枚数である。撮影人数は顔が写っている画像における顔の数である。シーン毎に集めた複数の画像群に対して次の値を求める。撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差である。図７は本実施形態で求めた各平均値と標準偏差を示しており、シーン分類のためにあらかじめ用意されたテーブル７００を示す。これらの求めた値を含むテーブル７００をアルバム作成アプリケーションのプログラムに予め組み込んでおく。テーブル７００では、シーンID７０１に対応付けて、撮影期間７０２、撮影枚数７０３、撮影人数７０４それぞれの平均値と標準偏差とが登録されている。Step07では、アルバム作成アプリケーションが起動された後、ユーザーがパスボックス３０２で指定した画像群のStep06でシーン分割された各分割群に対して、撮影期間と撮影枚数、撮影人数の平均値を算出する。各分割群の撮影期間、撮影枚数、撮影人数の特徴量について、図７に示したシーン毎の平均値と標準偏差を使って以下の得点化を実施する。なお下式の平均値および標準偏差は、テーブル７００に登録されたシーンの分類ごとの撮影期間、撮影枚数、撮影人数それぞれの平均値および標準偏差であり、特徴量は、分割ごとの撮影期間と撮影枚数、撮影人数それぞれの値である。特徴量項目数は本例では３となる。
シーン分類および特徴量ごとの得点＝５０−｜１０×（シーン分類および特徴量ごとの平均値−分割群ごとの特徴量）／シーン分類および特徴量ごとの標準偏差｜
シーン分類ごとの平均得点＝（シーン分類ごとの撮影期間の得点＋シーン分類ごとの撮影枚数の得点＋シーン分類ごとの撮影人数の得点）／特徴量項目数
上記第１式により、着目分割の、各シーンおよび各特徴量についての得点が求められる。例えば、旅行シーンの撮影期間、撮影枚数、撮影人数それぞれの得点が求められる。これら得点を第２式により平均化して、当該シーン分類に関する得点とする。同様に、日常、セレモニーという他のシーンについても得点が得られる。
In
Score for each scene classification and feature quantity = 50− | 10 × (average value for each scene classification and feature quantity−feature quantity for each divided group) / standard deviation for each scene classification and feature quantity |
Average score for each scene classification = (Score for shooting period for each scene classification + Score for the number of shots for each scene classification + Score for the number of photographers for each scene classification) / Number of feature items According to the above-mentioned first formula, A score for each scene and each feature amount is obtained. For example, a score for each of the shooting period, the number of shots, and the number of shots of the travel scene is obtained. These scores are averaged by the second equation to obtain the score related to the scene classification. Similarly, points can be obtained for other scenes of daily life and ceremonies.
以上によって、各分割に対して旅行、日常、セレモニー毎の平均得点が算出される。分割毎に平均得点が最高点のシーンをその分割のシーンだと分類する。同点の場合は、優先シーンに分類する。例えば本実施形態では、日常＞セレモニー＞旅行の優先順であり、日常の優先度を最も高くしている。図６（A）のシーン分割された後の画像群（シーン）５は、たとえば撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であった。旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は−２９．９２となり、シーンは最高得点のシーンである旅行に分類される。分類したシーンは識別ができるようにシーンIDで管理する。 As described above, the average score for each trip, daily life, and ceremony is calculated for each division. For each division, the scene with the highest average score is classified as the scene of that division. In the case of a tie, it is classified as a priority scene. For example, in this embodiment, the priority is daily> ceremony> travel, and daily priority is the highest. In the image group (scene) 5 after the scene division in FIG. 6A, for example, the shooting period is 36 hours, the number of shots is 300, and the number of shots is 1.7. The average trip score is 45.32, the daily average score is 18.38, the average score for the ceremony is -29.92, and the scene is classified as a trip with the highest score. The classified scenes are managed by scene IDs so that they can be identified.
Step08はStep06で分割された全シーンに対してStep07のシーン分類が終了したか否かを判定する。終了していない場合（No）は処理が済んでいない新たな分割に着目してStep07に戻る。終了している場合（Yes）はStep09に移行する。
In Step 08, it is determined whether or not the scene classification in
Step09では、画像得点化部２０７で主人公設定をする。主人公設定はユーザーが指定した画像群に対して実施され、自動と手動の２種類がある。Step04において実施された個人認識の結果と、Step06において実施されたシーン分割の結果から、画像群に登場する各個人IDの回数、各シーンに登場する各個人IDの回数、各個人IDが登場するシーンの回数等を知ることが可能である。これらの情報から自動で主人公を設定する。本実施形態では、画像群に複数シーンがある場合は複数のシーンに登場する個人IDを主人公IDと設定し、画像群が単一シーンである場合は、単一シーンの登場回数が多い個人IDを主人公IDと設定する。主人公設定アイコン３０４をユーザーが指定している場合は、主人公情報入力部２０６を介して個人IDが画像得点部２０７に伝えられる。ユーザー指定の個人IDがある場合は、前記説明した自動設定の主人公IDは無視して、ユーザー指定の個人IDを主人公IDと設定する。この設定を手動設定と呼ぶ。なお主人公の自動設定については図１１Ａ〜図１１Ｃで説明する。
In
Step10では、画像得点化部２０７で得点化をする。得点化とは、後述の画像選択時に参照する値であり、画像毎に後述の観点で評価した得点を付ける。図１０は画像のレイアウトに使うテンプレート群を示している。１枚のテンプレート１００１には、メインスロット１００２、サブスロット１００３と１００４とが含まれる。メインスロット１００２とは、テンプレート１００１でメインとなるスロット（画像をレイアウトする枠）であり、サブスロット１００３と１００４よりもサイズが大きい特徴を持っている。得点化は、メインスロット用の得点とサブスロット用の得点の両方を画像毎に付ける処理である。図８（A）は旅行、日常、セレモニーの各シーンによってアルバムに採用する画像の特徴をメインスロットとサブスロットに分けてまとめた表である。図８（A）に示す表において、各シーンのメインスロット向き画像特徴とサブスロット向きの特徴それぞれに適合すると判定した複数の画像を予め集めておく。集めた各画像の顔の数、顔の位置、顔のサイズの特徴量を抽出して、それら特徴量の平均値と標準偏差とを、収集した画像が対応する各シーンおよび各スロット種類（メインスロットとサブスロット）に対して求めて、アルバム作成アプリケーションのプログラムとともに記憶しておく。ユーザーが指定した画像群の各画像がどのシーンに属すかはStep07のシーン分類の結果から知ることができる。注目画像のシーンに対応する予め求めた前記平均値と標準偏差、および注目画像の主人公IDの顔数、顔位置、顔サイズの各特徴量に対して以下の式を使って得点と平均得点を出す。下式において得点、平均値、標準偏差は、シーン分類、スロット種類及び特徴量ごとに求められる。
得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数。
In
Score = 50− | 10 × (average value−feature) / standard deviation |
Average score = (score of face count + score of face position + score of face size) / number of feature quantity items.
得点化をメインスロット用とサブスロット用の両方を実施する。またアルバムに使う画像はピントが合っている方が好ましい為、図５に示すピントの特徴量が○である画像IDの画像に対しては得点を加算してもよい。図８（B）は前記説明の得点化による得点結果の例を示しており、表８００においては、各画像ID８０１に対して、メインスロットとサブスロットのそれぞれの得点化がされて、得点８０２が登録されている。なおStep10については図１２を参照して更に説明する。
The scoring is performed for both the main slot and the sub slot. Further, since it is preferable that the images used for the album are in focus, a score may be added to an image with an image ID of which the feature amount of the focus is ◯ shown in FIG. FIG. 8B shows an example of the score result by scoring in the above description. In the table 800, the score of the main slot and the sub slot is scored for each
Step11では、画像得点部２０７がユーザー指定の画像群の全画像に対してStep10の画像得点化が終了したか否かを判定する。終了していない場合（No）は未処理の次の画像について着目し、Step10に戻る。終了している場合（Yes）はStep12に移行する。
In Step 11, the
Step12では、見開き割当部２０９が画像分類部２０５のシーン分割（Step06）の分割数が見開き数入力部２０８から入力される見開き数と同じか否かを判定する。同じでない場合（No）はStep13に移行する。同じ場合（Yes）はStep16に移行する。例えば図６（A）のシーン分割数は８であり、見開き数入力部２０８の入力数が８であればStep16に移行する。
In Step 12, the
Step13では、見開き割当部２０９が、画像分類部２０５のシーン分割（Step06）の分割数が見開き数入力部２０８から入力される見開き数より少ないか否かを判定する。多い場合（No）はStep15に移行する。少ない場合（Yes）はStep14に移行する。図６（A）のシーン分割数は８であり、例えば見開き数入力部２０８の入力数が１０であればStep14に移行する。
In Step 13, the
Step14では、見開き割当部２０９がサブシーン分割をする。サブシーン分割とは、シーン分割数＜見開き数の場合に、分割されたシーンを更に細分することを指す。図６（A）のシーン分割数８に対して指定見開き数が１０の場合で説明する。図６（B）は図６（A）をサブシーン分割した結果である。破線矢印の箇所で分割したことで、分割数を１０にしている。分割の基準は以下である。図６（A）の分割の中で画像枚数が多い分割箇所を探す。ここでは、分割数を８から１０に２箇所増やす為、画像枚数が多い２箇所を決める。すなわち、再分割すべき数のシーンを、最も多くの画像を含むシーンから順に指定する。画像数が同数のシーンについては、画像間の撮影日時の差の最大値が大きい方のシーンを選択する。それでも決定できない場合には、たとえば時間的に早いシーンを優先的に再分割するなど、適宜決めておけばよい。図６（A）では画像の数が多い方からシーン５、次にシーン１と２である。シーン１と２は同じ枚数だが、シーン２の方が、最初に撮影した画像から最後に撮影した画像の時間差が大きい為、シーン２を分割対象とする。すなわちシーン５とシーン２をそれぞれ分割する。まずシーン２の分割を説明する。シーン２には画像枚数の山が２つあり、この２つは撮影日が違う。そこで図６（B）の破線矢印の箇所で分割する。次にシーン５の分割を説明する。シーン５には画像枚数の山が３つあり、３日連続である。撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように、撮影日単位で分割する。すなわち図６（B）の破線矢印の箇所で分割する。以上により分割数すなわちシーン数を８から１０にする。一般的にいえば、シーンの再分割は、選択したシーンに撮影日の異なる画像が含まれていれば、撮影日の相違するそれぞれの画像群を新たなシーンとするよう分割する。撮影日が３日以上にわたるならば、各シーンに含まれる画像の数の差が最小になり、同一撮影日の画像が同一シーンに含まれるよう再分割を行う。ここでは撮影日の違う箇所で分割したが、撮影日が単一日であった場合は、単一日の中で撮影時刻の時間差が最大の箇所で分割する。以上の手順によって見開き数にシーン数を一致させる。なお分割により生成されたシーンについては、改めて分類してもよいし、分割前のシーンの分類を引き継いでもよい。
In Step 14, the
Step15では、シーン分割数が見開き数より多い場合に、分割されたシーンを統合するシーン統合を行う。図６（A）のシーン分割数８に対して指定見開き数が６の場合を例として説明する。図６（C）は図６（A）をシーン統合した結果である。破線の箇所を統合したことで、分割数を６にしている。統合の基準は以下である。
１．分割された各シーンの中で画像枚数が少ないシーンを探す。ここでは、シーン数を８から６に２減らす為、画像枚数が少ない２つのシーンを決める。図６（Ａ）では少ない方から８、３、７である。シーン３と７は同じ枚数である。
２．まず、画像枚数が最も少ないシーン８を統合対象とする。次に、シーン３とシーン７は、画像の枚数は同じであるため、いずれを統合対象とするか決定する。ここでは、シーン７に隣接するシーン８が統合対象であるため（シーン７とシーン８は統合されるため）、シーン３を統合対象とする。３．統合対象のサブ画像群を、撮影日時が前のシーンに統合するか、撮影日時が後のシーンに統合するかを決定する。統合対象のシーンと隣接する２つのシーンのうち、時間差が小さい方のシーンを統合の相手とする。図６（Ａ）では、シーン３とそれに隣接するシーン２，４のいずれかとを統合の相手とする。シーン３とその前後のシーン２と４それぞれとの時間差を比較すると、シーン３とシーン４と時間差の方が小さい。そのため、シーン３はシーン４に統合すると決定する。すなわち、図６（C）の破線の箇所で統合する。
４．シーン８のように隣接するシーンが１つしかない場合には、唯一の隣接シーンが統合の相手となる。
こうして図６（C）の破線箇所で統合する。このようにして統合するシーンとその相手を決定し、シーンを統合する。統合するとは、たとえばシーンに含まれる画像ファイルを示す情報を、統合後のシーンに応じて更新することを含む。
In Step 15, when the number of scene divisions is larger than the number of spreads, scene integration is performed to integrate the divided scenes. A case where the designated spread number is 6 with respect to the
1. A scene with a small number of images is searched for in each divided scene. Here, in order to reduce the number of scenes from 8 to 6, two scenes with a small number of images are determined. In FIG. 6A, the numbers are 8, 3, and 7 from the smallest.
2. First, the
4). When there is only one adjacent scene such as the
In this way, integration is performed at the broken line in FIG. In this way, the scene to be integrated and its counterpart are determined, and the scene is integrated. The integration includes, for example, updating information indicating an image file included in the scene according to the integrated scene.
Step16では、見開き割当部２０９が見開き割当をする。Step12〜Step15によって、シーン分割数と指定見開き数は同じになっている。撮影日時的に先頭の分割から見開きの先頭に順に割り当てる。
In Step 16, the
Step17では、画像選択部２１０が画像選択をする。ここでは、ある見開きに割り当てられた画像群の分割から画像を４枚選択する例を、図９を使って説明する。図９（A）は見開きに割り当てられた分割の撮影日時的に最初の画像から最後の画像の時間差（分割撮影期間）を示している。テンプレートには１枚のメインスロット１００２が含まれる。１枚目に選択する画像はメインスロット用の画像である。図９（B）に示す分割撮影期間に対応する画像のうちStep10で付けたメインスロット用の得点が最高点の画像（１）を選択する。２枚目以降に選択する画像はサブスロット用の画像である。画像選択は分割撮影期間の一部に集中しないように、以下説明するように工夫をする。図９（C）のように分割撮影期間を２分割する。次に図９（D）のように１枚目が選ばれていない実線の分割撮影期間から２枚目を選択する。２枚目としては、実線の分割撮影期間に対応する画像のうちサブスロット用の得点が最高点の画像（２）を選択する。次に図９（E）のように図９（D）の各分割撮影期間を２分割する。図９（F）のように１枚目と２枚目がいずれも選ばれていない実線の分割撮影期間に対応する画像のうち、サブスロット用の得点が最高点の画像（３）を３枚目として選択する。
In Step 17, the
次に画像を選択する分割撮影期間に画像が存在せず、画像選択できない例を４枚目の選択を例に説明する。図９（G）のようにまだ画像が選ばれていない斜線の分割撮影期間から４枚目を選択したいが、この斜線の分割撮影期間には画像が存在しないものとする。そこで図９（H）のように各分割撮影期間を２分割する。次に図９（I）のように１〜３枚目が選ばれていない実線の分割撮影期間に対応する画像のうちサブスロット用の最高点の画像（４）を４枚目として選択する。 Next, an example in which there is no image during the divided shooting period in which an image is selected and the image cannot be selected will be described by taking the fourth selection as an example. As shown in FIG. 9G, it is desired to select the fourth image from the hatched divided shooting period in which no image has yet been selected, but it is assumed that no image exists during this hatched divided shooting period. Therefore, each divided photographing period is divided into two as shown in FIG. Next, as shown in FIG. 9I, the highest image (4) for the sub-slot is selected as the fourth image among the images corresponding to the solid divided shooting period in which the first to third images are not selected.
Step18では、画像レイアウト部２１２が画像レイアウトを決定する。画像レイアウトの決定のために、選択した画像を基にしてテンプレートを選択する。その方法は例えば以下のとおりである。まずテンプレート入力部２１１により入力されたテンプレート群を候補とする。次に、その候補から、テンプレート内のメインスロットの位置が、着目シーンの選択された画像群におけるメインスロット用画像の時系列的な位置に対応しているテンプレートを選択する。この判定は、たとえばテンプレート上のスロットの位置が、左上から右下へと時系列に沿って配置されることを前提として行われる。しかし各スロットの位置と画像とを個別に対応付けるのは煩雑なので、たとえばテンプレートをメインスロットとサブスロットの位置に応じてグループ分けしておき、さらに画像の方向（縦長、横長）に応じてさらにグループ分けしておいてもよい。そしてメインスロット用画像の時系列上の位置及び方向に応じてテンプレートを絞り込み、さらにサブスロットについても同様に絞り込む。このようにして、テンプレートの候補を絞り込み、最終的に採用するテンプレートを決定することができる。
In Step 18, the
次にStep18を、テンプレート入力部２１１が、指定のテンプレート情報に従ってある見開きに対して図１０の（１−１）〜（４−４）を入力した例で説明する。入力されたテンプレートのスロット数は３である。選択されている画像３枚の画像を撮影日時に対して並べると図９（J）のように縦長、横長、縦長であったとする。ここでは、画像１００５がメインスロット用であり、画像１００６と画像１００７がサブスロット用である。本実施形態で作成するレイアウトは、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトする。メインスロット用画像１００５は撮影日時が一番新しい為、図１０の（３−１）〜（３−４）と（４−１）〜（４−４）のテンプレートが候補となる。このうちメインスンロット用画像１００５は縦長なので、テンプレート（４−１）〜（４−４）が候補となる。サブスロット用の古い方の画像１００６が縦画像で、新しい方の画像１００７が横画像の為、テンプレート（４−２）が、選択された画像に最も適したテンプレートとしてレイアウトが決まる。本ステップで決まるのは、どの画像をどのテンプレートのどのスロットにレイアウトするかを識別できる情報である。
Next, Step 18 will be described using an example in which the
Step19では、画像補正部２１４が画像補正をする。画像補正条件入力部からONが入力された場合は、画像補正を実施する。画像補正は、覆い焼き補正、赤目補正、コントラスト補正を自動で実施する。画像補正条件入力部からOFFが入力された場合は、画像補正を実施しない。補正する画像の画素数は短辺１２００画素で、sRGBの色空間に変換した画像に対して画像補正ON／OFFを実施する。
In Step 19, the
Step20では、レイアウト情報出力部２１５がレイアウト情報を作成する。Step18で決まったテンプレートの各スロットに、対応する画像をレイアウトする。補正オンであれば補正済みの画像をレイアウトする。このとき、スロットのサイズ情報に合わせてレイアウトする画像を変倍してレイアウトする。テンプレートに画像をレイアウトしたビットマップデータを生成する。
In
Step21ではStep17〜Step20が全ての見開きに対して終了したか否かを判定する。終了していない場合（No）はStep17に戻る。終了している場合（Yes）は自動レイアウト処理を終了する。 In Step 21, it is determined whether Step 17 to Step 20 have been completed for all spreads. If not completed (No), return to Step 17. If it has been completed (Yes), the automatic layout process is terminated.
以上の手順により、画像群をシーンに分割し、分割したシーンを再分割あるいは統合することで、シーンの数を指定された見開き数に一致させる。そして、各シーンの画像群から選択した画像を、見開きにレイアウトしてアルバムを自動作成する。 According to the above procedure, the image group is divided into scenes, and the divided scenes are subdivided or merged, so that the number of scenes matches the designated number of spreads. Then, an album is automatically created by laying out images selected from the image group of each scene in a spread.
＜主人公設定＞
次に図４のStep09の自動で実施する主人公設定について詳細に説明する。図１１Ａは本発明に係る主人公設定のフロー図である。主人公とは、画像群中に登場する人物のうちで重要人物あるいは主要人物のことである。Step0９では、画像に表れる人物の重要度を決定する。図１１Ａでは重要度は２段階であり、図１１Ｂ、図１１Ｃでは所定の段階に人物の重要度が分類される。
<Main character setting>
Next, the main character setting automatically performed in
Step11A-01では初期化をする。主人公設定では、個人ID毎に登場したシーンの回数をカウントする為、個人ID毎のカウンターを設けている。ここでは、顔辞書データベースに登録されている全個人IDのカウンターを0回に初期化する。 In Step11A-01, initialization is performed. In the main character setting, in order to count the number of scenes that appeared for each individual ID, a counter for each individual ID is provided. Here, the counter of all personal IDs registered in the face dictionary database is initialized to zero.
Step11A-02では個人IDの取得をする。図４のStep06で分割された各シーン内の画像群に存在する人物の個人IDを取得する。全画像の個人認識は図４のStep06までに済んでいるので、各シーンに含まれた画像に含まれる人物の個人ID（これを各シーンに含まれた個人IDと呼ぶことにする。）は特定できる。したがってここでは、たとえばシーンごとに含まれた個人IDのリストを作成することで、シーンごとの個人IDを取得する。
At Step11A-02, get a personal ID. The personal ID of a person existing in the image group in each scene divided in
Step11A-03では、特定した個人ID毎の回数加算をする。シーンに存在した個人IDのカウンターに１を加算する。Step11A-02、Step11A-03では、着目シーンに登場する人物全員を対象として上述した個人IDの特定および登場回数の計数を行う。なお、図１１Ａでは、ひとつのシーンに２回以上出現してもカウントされる数は１である。 In Step 11A-03, the number of times for each identified personal ID is added. Add 1 to the personal ID counter in the scene. In Step 11A-02 and Step 11A-03, the above-described personal ID is identified and the number of appearances is counted for all persons appearing in the scene of interest. In FIG. 11A, the number counted is 1 even if it appears twice or more in one scene.
Step11A-04では、指定された画像群の全シーンについてStep11A-02とStep11A-03が終了したか否かを判定する。終了していない場合（No）は次のシーンに着目してStep11A-02に戻る。終了している場合（Yes）はStep11A-05に移行する。 In Step 11A-04, it is determined whether Step 11A-02 and Step 11A-03 have been completed for all scenes of the designated image group. If not completed (No), return to Step 11A-02 paying attention to the next scene. If completed (Yes), go to Step 11A-05.
Step11A-05では、着目した個人IDのカウント値と閾値との比較をする。個人IDのカウント値が閾値以上の場合（Yes）は、Step11A-06-01においてこの個人IDを主人公IDに設定する。個人IDのカウント値が閾値未満の場合（No）は、Step11A-06-02においてこの個人IDを主人公としない。 In Step 11A-05, the count value of the focused personal ID is compared with a threshold value. If the count value of the personal ID is equal to or greater than the threshold (Yes), this personal ID is set as the main character ID in Step 11A-06-01. If the count value of the personal ID is less than the threshold (No), this personal ID is not set as the main character in Step 11A-06-02.
Step11A-07では、全個人IDについてStep11A-05〜Step11A-06-02が終了したか否かを判定する。終了していない場合（No）は次の個人IDに着目してStep11A-05に戻る。終了している場合（Yes）は主人公設定処理を終了する。以上の手順によって主人公を自動設定する。主人公は一人とは限らず、カウント値が閾値以上であれば人数に制限なく主人公に設定される。 In Step 11A-07, it is determined whether Step 11A-05 to Step 11A-06-02 have been completed for all personal IDs. If not completed (No), return to Step 11A-05 focusing on the next personal ID. When it is finished (Yes), the hero setting process is finished. The main character is automatically set according to the above procedure. The main character is not limited to one person, and if the count value is equal to or greater than a threshold value, the main character is set to be the main character without limitation.
＜画像得点化＞
図４のStep10の画像得点化について詳細に説明する。図１２は本発明に係る画像得点化のフロー図である。
<Image scoring>
The image scoring in
Step12-01では、主人公IDの取得をする。図４のStep09の主人公設定において設定された主人公IDを取得する。
In Step12-01, the main character ID is acquired. The main character ID set in the main character setting in
Step12-02では、シーンIDの取得をする。ここでは分割されたシーンのうちで着目するシーンのシーンIDを着目シーンIDとする。 In Step 12-02, the scene ID is acquired. Here, the scene ID of the scene of interest among the divided scenes is set as the scene ID of interest.
Step12-03では、着目シーンに含まれた注目画像内に存在する主人公IDの数をカウントする。これによって主人公の顔数を知ることができる。 In Step 12-03, the number of protagonist IDs present in the target image included in the target scene is counted. In this way, the number of faces of the hero can be known.
Step12-04では、注目画像内に存在する主人公IDの顔の位置を特定する。特定する位置は顔領域の中心座標である。図５に示すように顔領域は、その左上座標と右下座標とが管理されている。ＸＹそれぞれについて、右下座標から左上座標を引いた値の半分の値を左上座標値に加算すると、すなわち右下座標と左上座標の中間の座標を求めると顔領域の中心座標を算出できる。また、各主人公IDの顔中心座標を座標軸ごとに加算して前記顔数で割って中心座標の平均値、すなわち主人公の顔の重心を算出する。 In Step 12-04, the position of the face of the main character ID existing in the target image is specified. The specified position is the center coordinate of the face area. As shown in FIG. 5, the upper left coordinate and the lower right coordinate of the face area are managed. For each of XY, by adding half the value obtained by subtracting the upper left coordinate from the lower right coordinate to the upper left coordinate value, that is, obtaining the intermediate coordinates between the lower right coordinate and the upper left coordinate, the center coordinate of the face region can be calculated. Further, the face center coordinates of each hero ID are added for each coordinate axis and divided by the number of faces to calculate the average value of the center coordinates, that is, the center of gravity of the hero's face.
Step12-05では、注目画像内に存在する主人公IDの顔のサイズを算出する。前記説明した右下座標から左上座標を引いた値である横方向の値と縦方向の値のそれぞれの絶対値の積が顔のサイズである。各主人公IDの顔サイズを加算して前記顔数で割って顔サイズの平均値を算出する。 In Step 12-05, the face size of the main character ID existing in the target image is calculated. The product of the absolute value of the horizontal value and the vertical value, which is the value obtained by subtracting the upper left coordinate from the lower right coordinate described above, is the face size. The face size of each main character ID is added and divided by the number of faces to calculate the average face size.
Step12-06では、主人公IDの顔数の得点化をする。既に図４のStep10で説明したようにシーン分類毎にメインスロット用およびサブスロット用に顔数、顔位置、顔サイズの平均値と標準偏差が予めプログラムとともに記憶されている。この記憶している平均値と標準偏差から着目シーンの分類に対応した値を読み出す。メインスロット用の読み出した顔数の平均値と標準偏差および注目画像の前記求めた主人公IDの顔数とからメインスロット用の得点を算出する。顔数を特徴量として（式１）を使って得点を算出する。式１において得点は、シーン分類ごとの平均値、標準偏差を用いて、シーン分類ごとに求められる。
In Step12-06, score the number of faces of the main character ID. As already described in
得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜ （式１）
サブスロット用の得点も、サブスロット用に読み出した顔数の平均値と標準偏差および注目画像の前記求めた主人公IDの顔数とから算出する。得点算出は式１を使う。
Score = 50− | 10 × (average value−feature amount) / standard deviation | (Formula 1)
The score for the subslot is also calculated from the average value of the number of faces read for the subslot, the standard deviation, and the number of faces of the determined main character ID of the target image. The score is calculated using
Step12-07では、主人公IDの顔位置の得点化をする。顔数の得点算出と同様に、顔位置に関してメインスロット用とサブスロット用の平均値と標準偏差を読み出し、前記求めた主人公IDの平均中心座標とから得点を算出する。（式１）を使って顔位置に関するメインスロット用とサブスロット用の得点を算出する。 In Step12-07, the face position of the main character ID is scored. Similar to the calculation of the score of the number of faces, the average value and the standard deviation for the main slot and the sub slot are read out with respect to the face position, and the score is calculated from the obtained average central coordinates of the main character ID. Using (Equation 1), the score for the main slot and the sub-slot for the face position is calculated.
Step12-08では、主人公IDの顔サイズの得点化をする。顔数の得点算出と同様に、顔サイズに関してメインスロット用とサブスロット用の平均値と標準偏差を読み出し、前記求めた主人公IDの平均顔サイズとから得点を算出する。（式１）を使って顔サイズに関するメインスロット用とサブスロット用の得点を算出する。 In Step12-08, score the face size of the main character ID. Similar to the calculation of the score of the number of faces, the average value and standard deviation for the main slot and subslot are read for the face size, and the score is calculated from the obtained average face size of the main character ID. Using (Equation 1), the score for the main slot and the sub slot regarding the face size is calculated.
Step12-09では、平均点を算出する。Step12-06〜Setp12-08で求めたメインスロット用とサブスロット用の得点のそれぞれの平均点を算出する。これらの平均点を注目画像のメインスロット用の得点、サブスロット用の得点とする。またここで、前記説明した図４のStep10のピントの得点をメインスロット用の得点とサブスロット用の得点に加算してもよい。
In Step 12-09, the average score is calculated. Calculate the average score for each of the main slot and sub-slot scores obtained in Steps 12-06 to Setp12-08. These average points are set as the score for the main slot and the score for the subslot of the image of interest. Here, the focus score of
Step12-10では、シーン内の全画像についてStep12-03〜Step12-09の処理が終了したか否かを判定する。終了していない場合（No）はStep12-03に戻る。終了している場合（Yes）はStep12-11に移行する。 In Step 12-10, it is determined whether or not the processing of Step 12-03 to Step 12-09 has been completed for all images in the scene. If not completed (No), return to Step12-03. If completed (Yes), go to Step 12-11.
Step12-11では、指定された画像群の全シーンについてStep12-02〜Step12-10の処理が終了したか否かを判定する。終了していない場合（No）はStep12-02に戻る。終了している場合（Yes）は画像得点化の処理を終了する。以上のようにして、シーンごとかつ画像ごとの得点を評価する。なお、図１２では顔の数、位置、サイズすべてを用いて得点を評価したが、そのうちの少なくとも１つを用いて評価してもよい。 In Step 12-11, it is determined whether or not the processing of Step 12-02 to Step 12-10 has been completed for all scenes of the designated image group. If not completed (No), return to Step12-02. If it has been completed (Yes), the image scoring process is terminated. As described above, the score for each scene and each image is evaluated. In FIG. 12, the score is evaluated using all the number, position, and size of the face, but may be evaluated using at least one of them.
＜レイアウト情報作成＞
得点化後は、既に説明した図４のStep12〜Step21を実施してレイアウト情報が作成される。画像得点化において、主人公が写る画像の得点が高くなる為、主人公が写る画像が選択されてレイアウトされる。そして、既に説明したように主人公は登場するシーンの回数で決定する為、画像に写っている枚数は少なくても、登場するシーンが多い人物の画像もレイアウトされる可能性が高くなる。画像に写る枚数は少なくても、登場するシーンが多い人物とは、例えば、カメラを操作して撮影する主な人物である父親である。また、子供と母親と父親とは離れて生活している祖母と祖父である。
<Create layout information>
After scoring, layout information is created by performing Step 12 to Step 21 of FIG. 4 already described. In the image scoring, since the score of an image in which the main character is shown increases, an image in which the main character is shown is selected and laid out. And as already explained, since the main character is determined by the number of scenes appearing, there is a high possibility that the image of a person with many appearing scenes will be laid out even if the number of images appearing in the image is small. Even if the number of images is small, the person who appears in many scenes is, for example, the father who is the main person who takes pictures by operating the camera. In addition, children, mothers and fathers are grandmother and grandfather who live apart.
また、本実施形態によって次のような効果もある。友人の結婚式のカメラマンを頼まれた場合、ユーザー本人が所有する画像群の中に友人の結婚式の画像が大量に存在する場合がある。友人の結婚式も混じった状態の画像群を使ってユーザー本人向けに家族中心のアルバムを作成したい場合、個人が写っている画像枚数を頼りに主人公を決めると、結婚式の友人が主人公の1人となる。すると、ユーザー本人向けのアルバムに友人の写真が多数レイアウトされることになり、ユーザーの満足度が低下する。しかしながら、本実施形態を適用すると、友人が登場するシーンの数は少ない為、友人は主人公になり難い。その為、アルバムに友人の写真が多数レイアウトされる可能性は低くなる。 In addition, the present embodiment has the following effects. When a friend's wedding photographer is asked, there may be a large number of friends' wedding images in the group of images owned by the user himself / herself. If you want to create a family-centered album for the user using a group of images that include a friend's wedding, if you decide the hero by relying on the number of images that the individual is in, the wedding friend is the hero's 1 Become a person. Then, many photos of friends are laid out on the album for the user himself, and the satisfaction of the user is lowered. However, when this embodiment is applied, since the number of scenes in which friends appear is small, it is difficult for friends to become heroes. For this reason, the possibility that many photos of friends are laid out on the album is low.
以上のように、主人公となる人物を、人物が登場するシーンの数に基づいて決定し、その主人公の顔領域の数、位置、サイズに基づいて、各画像を評価する。そのため、登場するシーンが偏っておらず、あまねく登場する人物がアルバム掲載画像として選択され易くなり、また、メインスロットにレイアウトされ易くなる。 As described above, the person who becomes the hero is determined based on the number of scenes in which the person appears, and each image is evaluated based on the number, position, and size of the face area of the hero. For this reason, the scenes that appear are not biased, and it is easy to select a person who appears all over as an album posting image, and to be easily laid out in the main slot.
［実施形態２］
実施形態１では、登場するシーンの回数に対して、１つの閾値を使って主人公か否かを設定し、レイアウトを作成する例を説明した。本実施形態では、閾値を複数使って主人公に優先度の差を設けてレイアウトを作成する例を説明する。優先度とは人物の重要度と言い替えることもできる。画像の枚数が少ないが登場するシーンの数が多い人物もアルバムに採用しつつも、登場するシーンの回数が特に多い子供主体のアルバムを好むユーザーも存在する。本実施形態はこのようなユーザーに対して有効である。図１１Ｂは本実施形態における主人公設定のフロー図である。
[Embodiment 2]
In the first embodiment, an example in which a layout is created by setting whether or not the main character is a single threshold value for the number of scenes appearing has been described. In the present embodiment, an example will be described in which a plurality of threshold values are used to create a layout by providing a priority difference to the main character. The priority can be paraphrased as the importance of a person. Some users prefer a child-based album with a particularly large number of scenes, while people who have a small number of images but a large number of scenes appear in the album. This embodiment is effective for such a user. FIG. 11B is a flowchart for setting the main character in this embodiment.
Step11B-01〜Step11B-04は、図１１ＡのStep11A-01〜Step11A-04に対応し、処理内容は同じである。 Step 11B-01 to Step 11B-04 correspond to Step 11A-01 to Step 11A-04 in FIG. 11A, and the processing content is the same.
Step11B-05-01〜Step11B-05-0Nでは、個人ID毎のシーン数のカウント値と閾値の比較をする。閾値A１＞閾値A２＞・・・＞閾値ANの順で閾値A１が最も大きい値である。個人IDのカウント値がどの閾値以上かによって、Step11B-06-01〜Step11B-06-0Nに示すように個人IDを第１優先主人公ID〜第N優先主人公IDに設定する。第１優先が最も優先度が高く、第Ｎ優先まで、順次優先度が高い主人公となる。 In Step 11B-05-01 to Step 11B-05-0N, the count value of the number of scenes for each personal ID is compared with a threshold value. The threshold A1 is the largest value in the order of threshold A1> threshold A2>. Depending on which threshold value the personal ID count value is above, the personal ID is set to the first priority main character ID to the Nth priority main character ID as shown in Step 11B-06-01 to Step 11B-06-0N. The first priority has the highest priority, and until the Nth priority, the hero with the highest priority.
Step11B-07は、全個人IDについてStep11B-05-01〜Step11B-06-0Nが終了したか否かを判定する。終了していない場合（No）はStep11B-05-01に戻る。終了している場合（Yes）は主人公設定処理を終了する。 Step 11B-07 determines whether Step 11B-05-01 to Step 11B-06-0N have been completed for all personal IDs. If not finished (No), return to Step 11B-05-01. When it is finished (Yes), the hero setting process is finished.
次に得点化について説明する。処理のフローは図１２である。但し、実施形態１とは次の点が異なる。Step12-03の顔数をカウントする際に主人公の優先度に応じて重みを変える。例えば、最も優先度が高い主人公の重みを１とし、２番目以降はより高い優先度の主人公の重みより小さい重みを設定する。注目画像に主人公IDが存在する場合、設定した重み値でカウントする。重みが１の場合は１を加算し、重みが０．５の場合は０．５を加算する。 Next, scoring will be described. The processing flow is shown in FIG. However, the following points are different from the first embodiment. When counting the number of faces in Step12-03, change the weight according to the priority of the main character. For example, the weight of the hero with the highest priority is set to 1, and the weights smaller than the weight of the hero with the higher priority are set for the second and later. When the main character ID exists in the image of interest, it counts with the set weight value. 1 is added when the weight is 1, and 0.5 is added when the weight is 0.5.
得点化後は、既に説明した図４のStep12〜Step21を実施してレイアウト情報が作成される。父親や祖父母のように枚数が少ない人物も登場するシーン数が閾値を超えていれば主人公となる為、レイアウトされる可能性は高くなる。さらに、画像得点化において、優先度が高い主人公が写る画像の得点が高くなる為、子供のように登場するシーン回数がより多い人物を主体としたアルバムを作成することができる。 After scoring, layout information is created by performing Step 12 to Step 21 of FIG. 4 already described. If the number of scenes in which a small number of people such as fathers and grandparents appear exceeds the threshold, the hero becomes the main character, so the possibility of layout is increased. Furthermore, in the scoring of images, since the score of an image in which the main character with high priority is high, an album mainly composed of persons with a higher number of scenes appearing like children can be created.
［実施形態３］
実施形態１と実施形態２では、登場するシーンの数を使って主人公を設定した。本実施形態では、登場するシーンの数に加えて各個人IDが写っている画像枚数も考慮して主人公の優先度を付ける。枚数的にも多い人物主体のアルバムを好むユーザーに対して有効である。図１１Ｃは本実施形態における主人公設定のフロー図である。
[Embodiment 3]
In the first and second embodiments, the main character is set using the number of scenes that appear. In the present embodiment, the priority of the main character is given in consideration of the number of images in which each personal ID is reflected in addition to the number of scenes that appear. This is effective for users who prefer albums that are mainly human. FIG. 11C is a flowchart for setting the main character in the present embodiment.
Step11C-01では、初期化をする。個人ID毎に画像群中の画像への登場回数をカウントする為の登場回数カウンターを設けている。ここでは、全個人IDの主人公設定では、個人ID毎に登場したシーンの回数をカウントする為、個人ID毎のカウンターを設けている。ここでは、全個人IDの登場回数カウンターを0回に初期化する。 In Step11C-01, initialization is performed. An appearance count counter is provided to count the number of appearances in the image group for each individual ID. Here, in the main character setting of all personal IDs, a counter for each personal ID is provided in order to count the number of scenes appearing for each personal ID. Here, the appearance counter for all personal IDs is initialized to zero.
Step11C-02では、初期化をする。個人ID毎に登場したシーンの回数をカウントする為の個人ID毎のシーン回数カウンターを設けている。ここでは、全個人IDのシーン回数カウンターを0回に初期化する。 In Step11C-02, initialization is performed. A scene counter for each individual ID is provided to count the number of scenes that appear for each individual ID. Here, the scene counter for all personal IDs is initialized to zero.
Step11C-03では、個人IDの登場回数をカウントする。各個人IDの登場回数カウンターをカウントアップしていく。登場回数は全シーンを通してカウントしてよい。すなわちアルバム作成の対象となる複数の画像を対象として、個人IDすなわち人物ごとに表れる画像の数を数える。 In Step11C-03, the number of appearances of personal ID is counted. Count up the appearance counter for each personal ID. The number of appearances may be counted throughout the entire scene. That is, for a plurality of images that are the targets of album creation, the number of images that appear for each individual ID, that is, for each person, is counted.
Step11C-04は、図１１ＡのStep11A-03と同じ処理である。すなわち着目シーンに登場する個人IDのシーン回数カウンターに１加算する。
Step11C-05では、指定された画像群の全シーンについてStep11C-03とStep11C-04が終了したか否かを判定する。終了していない場合（No）はStep11C-03に戻る。終了している場合（Yes）はStep11C-06-01に移行する。
Step 11C-04 is the same processing as Step 11A-03 in FIG. 11A. That is, 1 is added to the scene number counter of the personal ID appearing in the scene of interest.
In Step 11C-05, it is determined whether Step 11C-03 and Step 11C-04 have been completed for all scenes of the designated image group. If not finished (No), return to Step 11C-03. If completed (Yes), move to Step11C-06-01.
Step11C-06では、カウント値の得点化をする。個人ID毎に登場回数カウンターの値に応じて得点化する。ここでは、最高点を１０点をとする。カウント値が大きいと１０点に近くなる。たとえば、登場回数カウンターの順位に応じて、最高の値の個人IDに１０点を与え、順序が下がるにつれて１点ずつ低い得点を与える。あるいは、最大の登場回数カウンター値と０との間を１０個の区間（たとえば均等な区間）に分割し、多い区間から順に１０点、９点、...と得点を割り当てる。そして、属する区間に応じた得点を各個人IDに与える。次に個人ID毎にシーン回数カウンターの値を得点化する。例えば、シーン回数カウンター１回あたりの得点を１点や５点と予め設定しておき、シーン回数カウンター値に応じて得点化する。登場回数カウンター値による得点とシーン回数カウンター値による得点を加算して、各個人IDの得点とする。なお、登場回数カウンター値による得点とシーン回数カウンター値による得点を乗算してもよい。 In Step11C-06, the score is scored. Each individual ID is scored according to the value of the appearance counter. Here, the highest score is 10 points. When the count value is large, it becomes close to 10 points. For example, according to the rank of the appearance number counter, 10 points are given to the highest individual ID, and the score is lowered by 1 point as the order goes down. Alternatively, the interval between the maximum appearance number counter value and 0 is divided into 10 sections (for example, equal sections), and points are assigned in the order of 10 sections, 9 points,. Then, a score corresponding to the section to which the user belongs is given to each personal ID. Next, the value of the scene number counter is scored for each personal ID. For example, the score per scene counter is set to 1 or 5 in advance, and the score is converted according to the scene counter value. The score based on the appearance counter and the score based on the scene counter are added to obtain a score for each individual ID. The score based on the appearance count counter value may be multiplied by the score based on the scene count counter value.
Step11C-07-01〜Step11C-07-0Nでは、個人ID毎の得点と閾値の比較をする。閾値C１＞閾値C２＞・・・＞閾値CNの順で閾値C１が最も大きい値である。個人IDの得点がどの閾値以上かによって、Step11C-08-01〜Step11C-08-0Nに示すように個人IDを第１優先主人公ID〜第N優先主人公IDに設定する。第１優先程、優先度が高い主人公である。 In Step 11C-07-01 to Step 11C-07-0N, the score and threshold value are compared for each individual ID. The threshold value C1 is the largest value in the order of threshold value C1> threshold value C2>. Depending on which threshold the personal ID score is above, the personal ID is set to the first priority hero ID to the Nth priority hero ID as shown in Step 11C-08-01 to Step 11C-08-0N. The first priority is the main character with higher priority.
Step11C-09は、全個人IDについてStep11C-07-01〜Step11C-08-0Nが終了したか否かを判定する。終了していない場合（No）はStep11C-07-01に戻る。終了している場合（Yes）は主人公設定処理を終了する。 Step 11C-09 determines whether Step 11C-07-01 to Step 11C-08-0N are completed for all personal IDs. If not completed (No), return to Step 11C-07-01. When it is finished (Yes), the hero setting process is finished.
次に得点化について説明する。処理のフローは図１２である。但し、実施形態１とは次の点が異なる。Step12-03の顔数をカウントする際に主人公の優先度に応じて重みを変える。例えば、最も優先度が高い主人公の重みを１とし、２番目以降はより高い優先度の主人公の重みより小さい重みを設定する。注目画像に主人公IDが存在する場合、設定した重み値でカウントする。重みが１の場合は１を加算し、重みが０．５の場合は０．５を加算する。 Next, scoring will be described. The processing flow is shown in FIG. However, the following points are different from the first embodiment. When counting the number of faces in Step12-03, change the weight according to the priority of the main character. For example, the weight of the hero with the highest priority is set to 1, and the weights smaller than the weight of the hero with the higher priority are set for the second and later. When the main character ID exists in the image of interest, it counts with the set weight value. 1 is added when the weight is 1, and 0.5 is added when the weight is 0.5.
得点化後は、既に説明した図４のStep12〜Step21を実施してレイアウト情報が作成される。父親や祖父母のように枚数が少ない人物も登場するシーン回数が閾値を超えていれば主人公となる為、レイアウトされる可能性は高くなる。さらに、画像得点化において、優先度が高い主人公が写る画像の得点が高くなる為、子供のように登場するシーン回数や登場する画像枚数がより多い人物を主体としたアルバムを作成することができる。 After scoring, layout information is created by performing Step 12 to Step 21 of FIG. 4 already described. If the number of scenes in which a small number of people such as fathers and grandparents appear exceeds the threshold, the hero becomes the main character, so the possibility of layout is increased. Furthermore, in the scoring of images, since the score of the image in which the main character with a high priority is high, it is possible to create an album mainly composed of persons who appear more like a child and the number of images appearing. .
［その他の実施例］
実施形態１〜実施形態３で設定した主人公IDの顔画像を主人公指定アイコン３０４にアイコンの顔画像として表示する。同一IDの顔画像は複数存在するが、その中でどれをアイコンの顔画像とするかは例えば次の決め方がある。最も顔サイズが大きい、最もピントが合っている、同一ID内の顔画像間の平均の類似性が最も高い、の何れかを使って決めればよい。実施形態１〜実施形態３で設定した主人公IDの顔画像をアイコン表示することで、画像枚数が少なくてもシーンの登場回数が多い人物を手動で指定することができる。例えば、子供と母親と父親とは一緒に生活していない祖父母にアルバムを送る場合に、手動で子供（祖父母からすると孫）と祖母と祖父のアイコンを指定することで、孫と祖父母主体のアルバムを作成することができる。
[Other Examples]
The face image of the main character ID set in the first to third embodiments is displayed on the main
実施形態１〜実施形態３では、顔数の得点化は予め記憶している顔数の平均値と標準偏差を使って得点化することを説明したが、単純に顔数を得点にしてもよい。例えば、顔数が５以上の場合は５０点とし、顔数５未満の場合は顔数×１０点とする。 In the first to third embodiments, the scoring of the number of faces has been described as scoring using the average value and standard deviation of the number of faces stored in advance, but the number of faces may be simply scored. . For example, when the number of faces is 5 or more, 50 points are set, and when the number of faces is less than 5, the number of faces × 10 points.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
２０１ アルバム作成条件指定部、２０２ 画像取得部、２０３ 画像変換部、２０４ 画像解析部、２０５ 画像分類部、２０６ 主人公情報入力部、２０７ 画像得点部、２０８ 見開き数入力部、２０９ 見開き割当部、２１０ 画像選択部、２１１ テンプレート入力部、２１２ 画像レイアウト部、２１３ 画像補正条件入力部、２１４ 画像補正部、２１５ レイアウト情報出力部 201 Album creation condition designation unit, 202 Image acquisition unit, 203 Image conversion unit, 204 Image analysis unit, 205 Image classification unit, 206 Main character information input unit, 207 Image score unit, 208 Spread number input unit, 209 Spread page allocation unit, 210 Image selection unit, 211 Template input unit, 212 Image layout unit, 213 Image correction condition input unit, 214 Image correction unit, 215 Layout information output unit
Claims (11)
前記取得手段により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別手段と、
前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割手段と、
前記識別手段により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント手段と、
前記第１のカウント手段によりカウントしたシーンの数に応じて人物の重要度を評価する評価手段と、
前記評価手段により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト手段と、
を有することを特徴とする画像処理装置。 Obtaining means for obtaining a plurality of image data;
Identification means for identifying a person of each image of a plurality of images based on a plurality of image data acquired by the acquisition means;
Dividing means for dividing the plurality of images into a plurality of scenes including at least one or more images;
For each person identified by the identification means, a first counting means for counting the number of scenes in which the person appears;
Evaluation means for evaluating the importance of a person according to the number of scenes counted by the first counting means;
Layout means for selecting an image from the plurality of images using the importance of the person evaluated by the evaluation means, and laying out the selected image for each scene;
An image processing apparatus comprising:
前記評価手段は、前記第１のカウント手段によりカウントしたシーンの数と、前記第２のカウント手段によりカウントした画像の数とに応じて人物の重要度を評価することを特徴とする請求項１に記載の画像処理装置。 For each person identified by the identifying means among the plurality of images, further comprising a second counting means for counting the number of images in which the person appears,
The evaluation means evaluates the importance of a person according to the number of scenes counted by the first counting means and the number of images counted by the second counting means. An image processing apparatus according to 1.
前記取得手段により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別手段と、
前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割手段と、
前記識別手段により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント手段と、
前記第１のカウント手段によりカウントしたシーンの数に応じて人物の重要度を評価する評価手段と、
前記評価手段により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト手段と、
してコンピュータを機能させるためのプログラム。 Obtaining means for obtaining a plurality of image data;
Identification means for identifying a person of each image of a plurality of images based on a plurality of image data acquired by the acquisition means;
Dividing means for dividing the plurality of images into a plurality of scenes including at least one or more images;
For each person identified by the identification means, a first counting means for counting the number of scenes in which the person appears;
Evaluation means for evaluating the importance of a person according to the number of scenes counted by the first counting means;
Layout means for selecting an image from the plurality of images using the importance of the person evaluated by the evaluation means, and laying out the selected image for each scene;
Program to make the computer function.
前記取得工程により取得された複数の画像データに基づく複数の画像の各画像の人物を識別する識別工程と、
前記複数の画像を、少なくとも１つ以上の画像を含む複数のシーンに分割する分割工程と、
前記識別工程により識別した人物ごとに、該人物が登場するシーンの数をカウントする第１のカウント工程と、
前記第１のカウント工程によりカウントしたシーンの数に応じて人物の重要度を評価する評価工程と、
前記評価工程により評価した人物の重要度を用いて前記複数の画像から画像を選択し、前記シーンごとに選択した画像をレイアウトするレイアウト工程と、
を有することを特徴とする画像処理方法。 An acquisition step of acquiring a plurality of image data;
An identification step of identifying a person of each image of a plurality of images based on a plurality of image data acquired by the acquisition step;
A dividing step of dividing the plurality of images into a plurality of scenes including at least one or more images;
A first counting step for counting the number of scenes in which the person appears for each person identified by the identification step;
An evaluation step of evaluating the importance of the person according to the number of scenes counted in the first counting step;
A layout step of selecting an image from the plurality of images using the importance of the person evaluated in the evaluation step, and laying out the selected image for each scene;
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015157510A JP6606374B2 (en) | 2015-08-07 | 2015-08-07 | Image processing apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015157510A JP6606374B2 (en) | 2015-08-07 | 2015-08-07 | Image processing apparatus and method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017037417A JP2017037417A (en) | 2017-02-16 |
| JP2017037417A5 JP2017037417A5 (en) | 2018-09-13 |
| JP6606374B2 true JP6606374B2 (en) | 2019-11-13 |
Family
ID=58048363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015157510A Active JP6606374B2 (en) | 2015-08-07 | 2015-08-07 | Image processing apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6606374B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220358622A1 (en) * | 2021-05-07 | 2022-11-10 | Fujifilm Business Innovation Corp. | Information processing apparatus and non-transitory computer readable medium |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6956196B2 (en) * | 2017-10-02 | 2021-11-02 | 富士フイルム株式会社 | An image candidate determination device, an image candidate determination method, a program for controlling the image candidate determination device, and a recording medium containing the program. |
| JP7007249B2 (en) * | 2018-09-28 | 2022-01-24 | 富士フイルム株式会社 | Image processing device, image processing method and image processing program |
| KR102191337B1 (en) * | 2019-05-13 | 2020-12-16 | 전남대학교산학협력단 | Video data construction method and system for emotion recognition |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4510718B2 (en) * | 2005-08-09 | 2010-07-28 | キヤノン株式会社 | Image output apparatus and control method thereof |
| US9058342B2 (en) * | 2010-08-04 | 2015-06-16 | Panasonic Intellectual Property Corporation Of America | Image classification device, method, program, recording media with program thereon, and integrated circuit |
| JP5802255B2 (en) * | 2013-03-13 | 2015-10-28 | 富士フイルム株式会社 | Layout editing apparatus, layout editing method and program |
-
2015
- 2015-08-07 JP JP2015157510A patent/JP6606374B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220358622A1 (en) * | 2021-05-07 | 2022-11-10 | Fujifilm Business Innovation Corp. | Information processing apparatus and non-transitory computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017037417A (en) | 2017-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10649633B2 (en) | Image processing method, image processing apparatus, and non-transitory computer-readable storage medium | |
| JP6494503B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6902860B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP6525862B2 (en) | Image processing apparatus, image processing method and program | |
| JP7350495B2 (en) | Apparatus, method, and program | |
| JP6494504B2 (en) | Information processing apparatus, control method, and program | |
| JP7250567B2 (en) | Apparatus, method and program | |
| JP7286392B2 (en) | Image processing device, image processing method, and program | |
| JP6719206B2 (en) | Image processing apparatus, image processing method, and program | |
| JP7341676B2 (en) | Apparatus, method, and program | |
| JP6723937B2 (en) | Program, image processing apparatus, and image processing method | |
| JP6862164B2 (en) | Programs, image processing equipment, and image processing methods | |
| JP2018097492A (en) | Image processing device, system, method and program | |
| JP6532398B2 (en) | Image processing apparatus, image processing method and program | |
| JP7341677B2 (en) | Apparatus, method, and program | |
| JP6606374B2 (en) | Image processing apparatus and method, and program | |
| JP2020140557A (en) | Image processing device, control method, and program | |
| JP2020140555A (en) | Image processing device, control method, and program | |
| JP7451242B2 (en) | Image processing device, image processing method, and program | |
| EP4024347A2 (en) | Image processing apparatus, image processing method, and program | |
| JP6700806B2 (en) | Program, information processing apparatus, and control method | |
| JP7263054B2 (en) | Apparatus, method and program | |
| JP7350496B2 (en) | Apparatus, method, and program | |
| JP6700686B2 (en) | Image processing apparatus, album creating method and program | |
| JP2020140556A (en) | Image processing device, control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180731 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180731 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190806 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191018 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6606374 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |