JP4973585B2 - Image grouping device and camera - Google Patents
Image grouping device and camera Download PDFInfo
- Publication number
- JP4973585B2 JP4973585B2 JP2008113708A JP2008113708A JP4973585B2 JP 4973585 B2 JP4973585 B2 JP 4973585B2 JP 2008113708 A JP2008113708 A JP 2008113708A JP 2008113708 A JP2008113708 A JP 2008113708A JP 4973585 B2 JP4973585 B2 JP 4973585B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- event
- images
- main cpu
- grouping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、複数の画像をグループ化する技術に関する。 The present invention relates to a technique for grouping a plurality of images.
複数の画像の個々の撮影日時情報に基づいて、該複数の画像をグループ化する技術が知られている。たとえば、所定の撮影期間ごとに集計した撮影頻度情報に基づいて、画像を時系列に連続するグループにまとめる処理が行われる(特許文献1参照)。 A technique for grouping a plurality of images based on individual shooting date / time information of the plurality of images is known. For example, processing for grouping images into time-sequential groups is performed on the basis of shooting frequency information collected for each predetermined shooting period (see Patent Document 1).
従来技術によれば、撮影頻度情報に基づいてまとめられた複数のグループが所定の撮影期間に含まれる場合は、該複数のグループがまとめられるので、グループ間で撮影シーン(撮影対象)が異なる場合でも、同じグループにまとめられてしまう問題が生じる。 According to the prior art, when a plurality of groups grouped based on the shooting frequency information are included in a predetermined shooting period, the plurality of groups are grouped, so that shooting scenes (shooting targets) differ between groups. However, there is a problem that they are grouped together.
(1)請求項1に記載の画像のグレープ化装置は、複数の画像を撮影日時情報に基づいて複数の画像群にグループ化するグループ化処理手段と、前記グループ化された画像群ごとに、該画像群に含まれる複数の画像の特徴量を個々に算出する特徴量算出手段と、前記個々の画像の特徴量に基づいて、前記画像群を代表する標題イベントを前記画像群ごとに決定する標題イベント決定手段と、前記複数の画像群が有する個々の画像の撮影日時情報に基づいて、前記画像群間の時間差情報を算出する算出手段と、前記標題決定手段によって決定された標題イベントが同じであり、かつ前記算出手段によって算出された時間差情報が所定値以下である場合に前記画像群を1つのグループにまとめる統合手段と、を備えることを特徴とする。
(2)請求項2に記載の画像のグレープ化装置は、請求項1に記載の画像のグループ化装置において、前記時間差情報は、一方の画像群に含まれる画像の最後の撮影時刻と、他方の画像群に含まれる画像の最先の撮影時刻との差であることを特徴とする。
(3)請求項3に記載の画像のグレープ化装置は、複数の画像を撮影位置情報に基づいて複数の画像群にグループ化するグループ化処理手段と、前記グループ化された画像群ごとに、該画像群に含まれる複数の画像の特徴量を個々に算出する特徴量算出手段と、前記個々の画像の特徴量に基づいて、前記画像群を代表する標題イベントを前記画像群ごとに決定する標題イベント決定手段と、前記複数の画像群が有する個々の画像の撮影位置情報に基づいて、前記画像群間の距離情報を算出する算出手段と、前記標題決定手段によって決定された標題イベントが同じであり、かつ前記算出手段によって算出された距離情報が所定値以下である場合に前記画像群を1つのグループにまとめる統合手段と、を備えることを特徴とする。
(4)請求項4に記載の画像のグレープ化装置は、請求項3に記載の画像のグループ化装置において、前記距離情報は、一方の画像群に含まれる画像の撮影位置と、他方の画像群に含まれる画像の撮影位置との最短距離であることを特徴とする。
(5)請求項5に記載のカメラは、請求項1〜4のいずれか一項に記載する画像のグループ化装置を備えることを特徴とする。
(1) According to the first aspect of the present invention, there is provided a grouping processing unit that groups a plurality of images into a plurality of image groups based on photographing date and time information, and a grouping processing unit that groups the plurality of images , for each of the grouped image groups. A feature amount calculating means for individually calculating feature amounts of a plurality of images included in the image group, and a title event representing the image group is determined for each image group based on the feature amounts of the individual images. a title event decision means, based on the shooting date and time information of each image in which the plurality of image groups has a calculation means for calculating a time difference information between the images, the title event determined by the title determining means the same and characterized in that it comprises, an integrated unit for the time difference information calculated is summarized the image group into a group if it is less than the predetermined value by said calculating means.
(2) According to a second aspect of the present invention, in the image grouping device according to the first aspect, the time difference information includes a last photographing time of an image included in one image group, and the other. This is a difference from the earliest shooting time of an image included in the image group.
(3) According to a third aspect of the present invention, there is provided a grouping processing unit for grouping a plurality of images into a plurality of image groups based on photographing position information, and for each of the grouped image groups, A feature amount calculating means for individually calculating feature amounts of a plurality of images included in the image group, and a title event representing the image group is determined for each image group based on the feature amounts of the individual images. The title event determination means, the calculation means for calculating the distance information between the image groups based on the shooting position information of the individual images of the plurality of image groups, and the title event determined by the title determination means are the same. And integrating means for grouping the image groups into one group when the distance information calculated by the calculating means is less than or equal to a predetermined value.
(4) According to a fourth aspect of the present invention, in the image grouping device according to the third aspect, the distance information includes a shooting position of an image included in one image group and the other image. It is the shortest distance from the photographing position of the image included in the group.
(5) A camera according to a fifth aspect includes the image grouping device according to any one of the first to fourth aspects.
本発明によれば、複数の画像を適切にグループ化できる。 According to the present invention, a plurality of images can be appropriately grouped.
以下、図面を参照して本発明を実施するための最良の形態について説明する。図1は、本発明の一実施の形態による電子カメラ1の要部構成を説明するブロック図である。電子カメラ1は、メインCPU11によって制御される。
The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram for explaining a main configuration of an
撮影レンズ21は、撮像素子22の撮像面上に被写体像を結像させる。撮像素子22はCCDイメージセンサなどで構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路23へ出力する。撮像素子22の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子22がカラーフィルタを通して被写体像を撮像するため、撮像素子22から出力される光電変換信号は、RGB表色系の色情報を有する。
The photographing lens 21 forms a subject image on the imaging surface of the
撮像回路23は、撮像素子22から出力される光電変換信号に対するアナログ処理(ゲインコントロールなど)を行う他、内蔵するA/D変換回路でアナログ撮像信号をディジタルデータに変換する。
The
メインCPU11は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路12は、たとえばASICとして構成され、撮像回路23から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整(ホワイトバランス調整)処理、画像信号に対するフォーマット変換処理が含まれる。
The main CPU 11 inputs a signal output from each block, performs a predetermined calculation, and outputs a control signal based on the calculation result to each block. The
画像圧縮回路13は、画像処理回路12による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路15は、撮像画像を液晶モニタ16に表示させるための表示データを作成する。
The
バッファメモリ14は、画像処理前後および画像処理途中のデータを一時的に格納する他、記録媒体30へ記録する前の画像ファイルを格納したり、記録媒体30から読み出した画像ファイルを格納したりするために使用される。
The
記録媒体30は、電子カメラ1に対して着脱可能なメモリカードなどで構成される。記録媒体30には、メインCPU11からの指示によって撮影画像のデータおよびその情報を含む画像ファイルが記録される。記録媒体30に記録された画像ファイルは、メインCPU11からの指示によって読み出しが可能である。
The
フラッシュメモリ19は、メインCPU11が実行するプログラムや、メインCPU11が行う処理に必要なデータなどが格納される。フラッシュメモリ19が格納するプログラムやデータの内容は、メインCPU11からの指示によって追加、変更が可能に構成されている。
The
操作部材17は、電子カメラ1の各種ボタンやスイッチ類を含み、レリーズボタンの押下操作、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインCPU11へ出力する。
The operation member 17 includes various buttons and switches of the
GPS装置18は、メインCPU11からの指示に応じてGPS衛星からの電波を受信し、受信信号をメインCPU11へ出力する。メインCPU11は、GPS装置18からの受信信号に基づいて所定の演算を行い、電子カメラ1の測位情報(緯度、経度、高度)を検出する。
The
電子カメラ1は、撮影時に撮像素子22で取得された画像信号に所定の画像処理および圧縮処理を施し、圧縮処理後の画像データに、測位情報、および当該撮影画像に関する情報などを含む付加情報を付加した画像ファイルを生成するように構成されている。具体的には、JPEG形式の画像データを画像データ部に格納し、付加情報を付加情報部に格納したExif形式の画像ファイルを生成する。Exif形式の画像ファイルは、JPEG画像フォーマットの画像データ内にサムネイル画像や付加情報データを埋め込むようにしたものである。生成した画像ファイルは、記録媒体30に格納される。
The
また、電子カメラ1は撮影モードと再生モードとが切替え可能に構成される。撮影モードは、被写体像を撮影し、撮影画像のデータを記録媒体30に画像ファイルとして保存する動作モードである。再生モードは、撮影済みの画像データを記録媒体30から読み出すなどして、画像データによる再生画像を液晶モニタ16に表示するモードである。
Further, the
<撮影画像のグルーピング>
本実施形態の電子カメラ1は、撮影画像を自動的にグルーピングする機能を備える。具体的には、記録媒体30に記録済みの画像ファイルに対してグループ分けを行い、画像ファイルをグループごとに設けたフォルダ内に格納する。電子カメラ1はさらに、各フォルダ内に含まれる画像群に基づいて、画像群の撮影対象を表す標題(たとえば、撮影シーン)を決める。そして、この標題に基づいて、各フォルダ(グループ)の画像群を代表する画像ファイルをフォルダ(グループ)ごとにそれぞれ選ぶ。なお、画像ファイルをグループごとに設けたフォルダ内に格納しなくても、画像ファイルの管理テーブルを作成し、該テーブルに画像ファイルに対するグループ分け情報を格納するようにしてもよい。
<Grouping of shot images>
The
図2は、メインCPU11が実行する上記グルーピング処理の流れを説明するフローチャートである。メインCPU11は、操作部材17からグルーピング処理の実行を指示する操作信号が入力されると、図2による処理を開始する。 FIG. 2 is a flowchart for explaining the flow of the grouping process executed by the main CPU 11. When the operation signal instructing execution of the grouping process is input from the operation member 17, the main CPU 11 starts the process illustrated in FIG.
図2のステップS10において、メインCPU11は、記録媒体30に記録されている画像ファイルに対してクラスタリング手法によってグループ分けを行い、ステップS20へ進む。クラスタリング処理の詳細については後述する。ステップS20において、メインCPU11は、クラスタ(グループ分け後の画像ファイルの集合)に含まれる画像ごとにイベント判定を行ってステップS30へ進む。「イベント」は画像の撮影シーンを表すもので、たとえば、「運動会」、「結婚式」、「花見」、「海水浴」、「北海道旅行」などをいう。画像ごとのイベント判定処理の詳細については後述する。
In step S10 of FIG. 2, the main CPU 11 groups the image files recorded on the
ステップS30において、メインCPU11は、クラスタごとにイベント判定を行ってステップS40へ進む。「イベント」が標題である点は上記ステップS20の場合と共通であるが、ステップS20におけるイベント判定が個々の画像を対象とするものであるのに対し、ステップS30におけるイベント判定がクラスタを代表する「イベント」を判定する点において異なる。クラスタごとのイベント判定処理の詳細については後述する。 In step S30, the main CPU 11 performs event determination for each cluster and proceeds to step S40. The point that “event” is the title is the same as in step S20 above, but the event determination in step S20 represents an individual image, whereas the event determination in step S30 represents a cluster. It differs in that “event” is determined. Details of the event determination process for each cluster will be described later.
ステップS40において、メインCPU11は、必要に応じてクラスタを統合し、ステップS50へ進む。クラスタの統合処理の詳細については後述する。ステップS50において、メインCPU11は、クラスタを代表する画像ファイルを決定して図2による処理を終了する。 In step S40, the main CPU 11 integrates the clusters as necessary, and proceeds to step S50. Details of the cluster integration processing will be described later. In step S50, the main CPU 11 determines an image file representing the cluster and ends the processing in FIG.
<クラスタリング処理>
クラスタリング処理(S10)の詳細について、図3に例示するフローチャートを参照して説明する。クラスタリング処理は、たとえば、撮影日時情報を用いて行う。図3のステップS11において、メインCPU11は全ての画像ファイルを対象に、画像ファイルの付加情報部に記録されている撮影日時を示す情報を抽出してステップS12へ進む。
<Clustering processing>
Details of the clustering process (S10) will be described with reference to the flowchart illustrated in FIG. The clustering process is performed using, for example, shooting date / time information. In step S11 of FIG. 3, the main CPU 11 extracts information indicating the shooting date and time recorded in the additional information portion of the image file for all image files, and proceeds to step S12.
ステップS12において、メインCPU11は、全ての画像ファイルから撮影日時を示す情報を抽出したか否かを判定する。メインCPU11は、全画像ファイルから必要な情報を抽出済みの場合にステップS12を肯定判定してステップS13へ進み、必要な情報を全画像ファイルから抽出済みでない場合にはステップS12を否定判定してステップS11へ戻る。ステップS11へ戻る場合は、上記抽出処理を繰り返す。 In step S12, the main CPU 11 determines whether or not information indicating the shooting date and time has been extracted from all the image files. When the necessary information has been extracted from all the image files, the main CPU 11 makes a positive determination in step S12 and proceeds to step S13. When the necessary information has not been extracted from all the image files, the main CPU 11 makes a negative determination in step S12. Return to step S11. When returning to step S11, the extraction process is repeated.
ステップS13において、メインCPU11は、階層的クラスタリングを用いる。その中で、たとえば最短距離法を用いてクラスタリングを行う。具体的には、1画像につき1クラスタを処理の起点として、撮影時刻が近いクラスタを逐次併合する処理を繰り返すことにより、画像ファイルを複数のクラスタ(撮影時刻が近い画像ファイルの集合)に分ける。メインCPU11は、クラスタ数が所定の数まで減った場合にステップS14へ進む。または、近接するクラスタ間において、一方の集合内で最も遅い撮影時刻と、他方の集合内で最も早い撮影時刻との差が所定時間(たとえば3時間)以上になった場合にステップS14へ進む。なお、階層的クラスタリングの中でも最短距離法以外の手法を用いてもよい。さらに、階層的クラスタリング以外の手法(たとえば、分割最適化法)を用いてもよい。 In step S13, the main CPU 11 uses hierarchical clustering. Among them, for example, clustering is performed using the shortest distance method. Specifically, an image file is divided into a plurality of clusters (a set of image files with close shooting times) by repeating the process of sequentially merging clusters with close shooting times starting from one cluster per image. When the number of clusters has decreased to a predetermined number, the main CPU 11 proceeds to step S14. Alternatively, when the difference between the latest shooting time in one set and the earliest shooting time in the other set is greater than or equal to a predetermined time (for example, 3 hours) between adjacent clusters, the process proceeds to step S14. Note that methods other than the shortest distance method may be used in hierarchical clustering. Furthermore, a method other than hierarchical clustering (for example, a division optimization method) may be used.
ステップS14において、メインCPU11は、上記クラスタに対応させてフォルダを記録媒体30内に生成してステップS15へ進む。ステップS15において、メインCPU11は、生成したフォルダ内へ対応する画像ファイルを移動させて図3による処理を終了する。これにより、クラスタに対応する各フォルダの中に、各クラスタに属する画像ファイルが格納される。なお、画像ファイルをグループごとに設けたフォルダ内に格納しなくても、画像ファイルの管理テーブルを作成し、該テーブルに画像ファイルに対するグループ分け情報を格納するようにしてもよい。
In step S14, the main CPU 11 generates a folder in the
<画像ごとのイベント判定処理>
画像単位のイベント判定処理(S20)の詳細について、図4に例示するフローチャートを参照して説明する。図4のステップS21において、メインCPU11は、複数のクラスタの中からクラスタを1つ特定してステップS22へ進む。特定順は、たとえば、撮影日時が古い順(最も早い撮影時刻の画像ファイルを有するクラスタを優先)とする。
<Event determination process for each image>
Details of the event determination process (S20) in units of images will be described with reference to the flowchart illustrated in FIG. In step S21 of FIG. 4, the main CPU 11 identifies one cluster from the plurality of clusters and proceeds to step S22. The specific order is, for example, the order of shooting date and time (priority is given to the cluster having the image file with the earliest shooting time).
ステップS22において、メインCPU11は、判定対象とするイベント(イベント候補と呼ぶ)を決定する。メインCPU11は、図8に例示するイベント候補テーブルを参照し、クラスタを構成する画像ファイルの撮影日が属する月に対応するイベントを選ぶ。たとえば、画像ファイルが5月に撮影されたものである場合には、「花見」、「運動会」、および「結婚式」をイベント候補とする。イベント候補テーブルは、月ごとに発生頻度が高いイベントを記したものであり、過去のイベント発生月に基づいてあらかじめ作成され、フラッシュメモリ19内に記録されている。
In step S22, the main CPU 11 determines an event to be determined (referred to as an event candidate). The main CPU 11 refers to the event candidate table illustrated in FIG. 8 and selects an event corresponding to the month to which the shooting date of the image file constituting the cluster belongs. For example, if the image file was taken in May, “Hanami”, “Athletic meet”, and “Wedding” are the event candidates. The event candidate table describes events with a high occurrence frequency for each month, is created in advance based on the past event occurrence month, and is recorded in the
図8によれば、発生月や季節との相関が強いイベントは該当月のみに含まれ、「結婚式」のように発生月との相関が弱いイベントは複数の月に含まれる。メインCPU11は、クラスタを構成する画像ファイルの撮影日が複数の月に属する場合は、一例として、より多くの画像ファイルが属する月に対応するイベント候補を選ぶ。メインCPU11は、以上のように判定対象とするイベントを決定したら、ステップS23へ進む。 According to FIG. 8, an event having a strong correlation with the occurrence month or season is included only in the corresponding month, and an event having a weak correlation with the occurrence month such as “wedding” is included in a plurality of months. When the shooting dates of the image files constituting the cluster belong to a plurality of months, the main CPU 11 selects event candidates corresponding to the months to which more image files belong. After determining the event to be determined as described above, the main CPU 11 proceeds to step S23.
ステップS23において、メインCPU11は、特定したクラスタを構成する画像ファイルの中から画像ファイルを1つ特定してステップS24へ進む。ステップS24において、メインCPU11は、特定した画像ファイルに含まれる画像データに基づいて、当該画像の特徴量を算出してステップS25へ進む。 In step S23, the main CPU 11 specifies one image file from the image files constituting the specified cluster, and proceeds to step S24. In step S24, the main CPU 11 calculates the feature amount of the image based on the image data included in the identified image file, and proceeds to step S25.
メインCPU11は、ステップS22において決定したイベント候補の判定に適した画像の特徴量を算出する。イベント候補と算出すべき特徴量との関係は、あらかじめテーブル化されてフラッシュメモリ19内に記録されている。特徴量は、たとえば、画像の所定領域を構成する画素データに基づいて算出される色情報、鮮鋭度情報、質感情報、模様情報、および明るさ情報などである。また、画像サイズやカラーヒストグラムの情報を特徴量として扱ってもよい。特徴量算出は公知技術であるため、本説明では特徴量算出に関する詳細な説明を省略する。
The main CPU 11 calculates a feature amount of the image suitable for determining the event candidate determined in step S22. The relationship between the event candidate and the feature quantity to be calculated is tabulated in advance and recorded in the
ステップS25−ステップS27において、メインCPU11は、ステップS22において決定したイベント候補に対応した識別器をそれぞれ用いて、各イベントらしさを表す確率を算出する。識別器は、複数のサンプル画像データに基づいてSVM(Support Vector Machine)手法を用いる機械学習によって算出された特徴量情報である。たとえば、「花見」用の識別器は、複数の「花見」および「非花見」のサンプル画像に基づいて算出された特徴量情報である。「運動会」用の識別器は、複数の「運動会」および「非運動会」のサンプル画像に基づいて算出された特徴量情報である。「結婚式」用の識別器は、複数の「結婚式」および「非結婚式」のサンプル画像に基づいて算出された特徴量情報である。本実施形態では、複数のイベント候補のそれぞれに対応する識別器があらかじめ生成され、フラッシュメモリ19内に記録されている。本稿では、イベント候補の数が3つの場合を例に説明している。メインCPU11は、ステップS23において特定した1画像ごとに、イベント候補に挙げられたイベントらしさ(確率)Pを算出してステップS28へ進む。
In step S25 to step S27, the main CPU 11 calculates a probability representing the likelihood of each event using each discriminator corresponding to the event candidate determined in step S22. The discriminator is feature amount information calculated by machine learning using an SVM (Support Vector Machine) method based on a plurality of sample image data. For example, the classifier for “cherry-blossom viewing” is feature amount information calculated based on a plurality of “cherry-blossom viewing” and “non-cherry-blossom viewing” sample images. The classifier for “athletic day” is feature amount information calculated based on a plurality of sample images of “athletic day” and “non-athletic day”. The identifier for “wedding” is feature amount information calculated based on a plurality of “wedding” and “non-wedding” sample images. In the present embodiment, classifiers corresponding to each of a plurality of event candidates are generated in advance and recorded in the
イベントらしさを表す確率Pは、識別器によって表される特徴量空間において空間を仕切る境界(たとえば、「運動会」領域と、「非運動会」領域との境界)と、ステップS24において算出された特徴量との距離に対応する。ある画像から算出した特徴量が、「運動会」用の識別器によって表される特徴量空間で「運動会」に対応する特徴量領域の奥に位置し、「非運動会」に対応する特徴量領域までの距離が長ければ、「運動会」らしさの確率が高い。一方、画像から算出した特徴量が、「運動会」に対応する特徴量領域の端に位置し、「非運動会」に対応する特徴量領域までの距離が短ければ、「運動会」らしさの確率が低い。メインCPU11は、上記距離に応じて確率を算出する。 The probability P representing the likelihood of an event is a boundary that partitions the space in the feature amount space represented by the discriminator (for example, a boundary between the “athletic meet” region and the “non-athletic meet” region), and the feature amount calculated in step S24. Corresponds to the distance. The feature amount calculated from an image is located behind the feature amount region corresponding to “Athletic Meet” in the feature amount space represented by the classifier for “Athletic Meet”, up to the feature amount region corresponding to “Non-athletic Meet” If the distance is long, the probability of being “athletic meet” is high. On the other hand, if the feature amount calculated from the image is located at the end of the feature amount region corresponding to “athletic meet” and the distance to the feature amount region corresponding to “non-athletic meet” is short, the probability of being “athletic meet” is low . The main CPU 11 calculates the probability according to the distance.
ステップS28において、メインCPU11は、特定したクラスタ内の全画像ファイルに対して処理を終了したか否かを判定する。メインCPU11は、クラスタ内の全ての画像について特徴量算出、およびイベントらしさ(確率)Pの算出を行った場合にステップS28を肯定判定してステップS29へ進む。メインCPU11は、クラスタ内の全ての画像について特徴量算出、およびイベントらしさ(確率)Pの算出を行っていない場合には、ステップS28を否定判定してステップS23へ戻る。ステップS23へ戻ったメインCPU11は、特定したクラスタを構成する画像ファイルのうち他の1つの画像ファイルを特定してステップS24へ進む。 In step S28, the main CPU 11 determines whether or not the processing has been completed for all the image files in the identified cluster. When the main CPU 11 calculates the feature amount and the event likelihood (probability) P for all the images in the cluster, the main CPU 11 makes a positive determination in step S28 and proceeds to step S29. If the main CPU 11 has not performed the feature amount calculation and the event likelihood (probability) P for all the images in the cluster, the main CPU 11 makes a negative determination in step S28 and returns to step S23. After returning to step S23, the main CPU 11 identifies another image file among the image files constituting the identified cluster, and proceeds to step S24.
ステップS29において、メインCPU11は、全てのクラスタに対して処理を終了したか否かを判定する。メインCPU11は、全てのクラスタについて特徴量算出、およびイベントらしさ(確率)Pの算出を行った場合にステップS29を肯定判定して図4による処理を終了する。メインCPU11は、全てのクラスタについて特徴量算出、およびイベントらしさ(確率)Pの算出を行っていない場合には、ステップS29を否定判定してステップS21へ戻る。ステップS21へ戻ったメインCPU11は、他の1つのクラスタを特定してステップS22へ進む。 In step S29, the main CPU 11 determines whether or not the processing has been completed for all clusters. When the main CPU 11 performs the feature amount calculation and the event likelihood (probability) P for all the clusters, the main CPU 11 makes an affirmative determination in step S29 and ends the processing in FIG. When the main CPU 11 has not performed the feature amount calculation and the event likelihood (probability) P for all the clusters, the main CPU 11 makes a negative determination in step S29 and returns to step S21. After returning to step S21, the main CPU 11 identifies another cluster and proceeds to step S22.
<クラスタごとのイベント判定処理>
クラスタ単位のイベント判定処理(S30)の詳細について、図5に例示するフローチャートを参照して説明する。図5のステップS31において、メインCPU11は、複数のクラスタの中からクラスタを1つ特定してステップS32へ進む。特定順は、たとえば、撮影日時が古い順(最も早い撮影時刻の画像ファイルを有するクラスタを優先)とする。
<Event determination processing for each cluster>
Details of the event determination process (S30) in units of clusters will be described with reference to the flowchart illustrated in FIG. In step S31 of FIG. 5, the main CPU 11 specifies one cluster from the plurality of clusters and proceeds to step S32. The specific order is, for example, the order of shooting date and time (priority is given to the cluster having the image file with the earliest shooting time).
ステップS32において、メインCPU11は、イベント候補の中から判定対象とするイベントを1つ特定してステップS33へ進む。ステップS33において、メインCPU11は、S31において特定したクラスタを構成する画像ファイルの中から画像ファイルを1つ特定してステップS34へ進む。ステップS34において、メインCPU11は、S32において特定したイベントに対するイベントらしさ(確率)Pが所定の判定閾値Pth以上か否かを判定する。メインCPU11は、イベントらしさ(確率)Pが判定閾値Pth以上の場合にステップS34を肯定判定してステップS35へ進む。メインCPU11は、イベントらしさ(確率)Pが判定閾値Pth未満の場合にはステップS34を否定判定し、ステップS36へ進む。 In step S32, the main CPU 11 specifies one event to be determined from the event candidates and proceeds to step S33. In step S33, the main CPU 11 specifies one image file from the image files constituting the cluster specified in S31, and proceeds to step S34. In step S34, the main CPU 11 determines whether or not the event likelihood (probability) P for the event specified in S32 is equal to or greater than a predetermined determination threshold value Pth. When the event likelihood (probability) P is equal to or greater than the determination threshold value Pth, the main CPU 11 makes a positive determination in step S34 and proceeds to step S35. When the event likelihood (probability) P is less than the determination threshold value Pth, the main CPU 11 makes a negative determination in step S34 and proceeds to step S36.
ステップS35において、メインCPU11は、Psum=Psum+Pを算出してステップS36へ進む。ステップS36において、メインCPU11は、特定したクラスタ内の全画像ファイルに対して処理を終了したか否かを判定する。メインCPU11は、クラスタ内の全ての画像について処理を行った場合にステップS36を肯定判定してステップS37へ進む。メインCPU11は、クラスタ内の全ての画像について処理を行っていない場合には、ステップS36を否定判定してステップS33へ戻る。ステップS33へ戻ったメインCPU11は、特定したクラスタを構成する画像ファイルのうち他の1つの画像ファイルを特定してステップS34へ進む。 In step S35, the main CPU 11 calculates Psum = Psum + P and proceeds to step S36. In step S36, the main CPU 11 determines whether or not the processing has been completed for all the image files in the specified cluster. When the main CPU 11 has processed all the images in the cluster, the main CPU 11 makes an affirmative decision in step S36 and proceeds to step S37. If the main CPU 11 has not processed all the images in the cluster, the main CPU 11 makes a negative determination in step S36 and returns to step S33. After returning to step S33, the main CPU 11 specifies another one of the image files that constitute the specified cluster, and proceeds to step S34.
ステップS37において、メインCPU11は、上記Psumへ加算したイベントらしさ(確率)Pの個数がクラスタ内の全画像ファイル数のNパーセント以上か否かを判定する。メインCPU11は、加算したPの個数がNパーセント以上の場合にステップS37を肯定判定してステップS38へ進む。メインCPU11は、加算したPの個数がNパーセント未満の場合にはステップS37を否定判定し、ステップS41へ進む。ステップS41において、メインCPU11は、Psum=0としてステップS38へ進む。 In step S37, the main CPU 11 determines whether the number of event probabilities (probabilities) P added to Psum is equal to or greater than N percent of the total number of image files in the cluster. When the added number of P is N percent or more, the main CPU 11 makes a positive determination in step S37 and proceeds to step S38. When the added number of P is less than N percent, the main CPU 11 makes a negative determination in step S37 and proceeds to step S41. In step S41, the main CPU 11 sets Psum = 0 and proceeds to step S38.
ステップS38において、メインCPU11は、イベント候補の全てについてPsumを算出する処理を終了したか否かを判定する。メインCPU11は、全てのイベントについて算出処理を終了した場合にステップS38を肯定判定してステップS39へ進む。メインCPU11は、全てのイベントについて算出処理を終了していない場合にはステップS38を否定判定し、ステップS32へ戻る。ステップS32へ戻ったメインCPU11は、イベント候補のうち判定対象とする他のイベント1つを特定してステップS33へ進む。 In step S38, the main CPU 11 determines whether or not the process of calculating Psum for all event candidates has been completed. When the calculation process is completed for all events, the main CPU 11 makes a positive determination in step S38 and proceeds to step S39. If the calculation process has not been completed for all events, the main CPU 11 makes a negative determination in step S38 and returns to step S32. After returning to step S32, the main CPU 11 specifies one other event to be determined from the event candidates and proceeds to step S33.
ステップS39において、メインCPU11は、イベント候補ごとに算出したPsumのうち、その最大値に対応するイベント候補を当該クラスタの標題イベントに決定してステップS42へ進む。 In step S39, the main CPU 11 determines the event candidate corresponding to the maximum value among the Psum calculated for each event candidate as the title event of the cluster, and proceeds to step S42.
ステップS42において、メインCPU11は、全てのクラスタについてPsumの算出、および標題イベントを決定する処理を終了したか否かを判定する。メインCPU11は、全てのクラスタについて処理を終了した場合にステップS42を肯定判定して図5による処理を終了する。メインCPU11は、全てのクラスタについて処理を終了していない場合にはステップS42を否定判定し、ステップS31へ戻る。ステップS31へ戻ったメインCPU11は、他のクラスタ1つを特定してステップS32へ進む。 In step S42, the main CPU 11 determines whether or not the calculation of Psum and the process for determining the title event have been completed for all clusters. When the process is finished for all clusters, the main CPU 11 makes a positive determination in step S42 and ends the process of FIG. If the processing has not been completed for all clusters, the main CPU 11 makes a negative determination in step S42 and returns to step S31. After returning to step S31, the main CPU 11 identifies another cluster and proceeds to step S32.
図9−図11は、画像ファイルの集合(画像数=5)を含むクラスタに対するイベント判定を例示する図である。イベント候補は、たとえば「運動会」、「結婚式」、および「花見」であり、画像1−画像5のそれぞれについて、「運動会」らしさ、「結婚式」らしさ、および「花見」らしさの確率Pが算出されている。本例では、判定閾値Pth=40パーセントとし、判定閾値N=40パーセントとする。
9 to 11 are diagrams illustrating event determination for a cluster including a set of image files (number of images = 5). The event candidates are, for example, “athletic meet”, “wedding”, and “cherry blossom viewing”. For each of the
図9の場合、「運動会」らしさについてのPsumは、「運動会」らしさを示すPが判定閾値Pth以上の画像(すなわち、画像4以外の画像1−画像3、および画像5)について、それぞれのPを加算する(ステップS35)。この場合のPsumは、85(画像1)+90(画像2)+80(画像3)+75(画像5)=330である。
In the case of FIG. 9, the Psum regarding the “Athletic meet” likelihood is P for each of the images having the “Athletic meet” likelihood P equal to or greater than the determination threshold Pth (that is,
図10の場合、「結婚式」らしさを示すPが判定閾値Pth以上となるのは画像4のみであるため、「結婚式」らしさについてのPsumは、画像4について算出されているPのみを加算対象にする。これにより、Psum=45(画像4)を得る。ここで、画像4(1画像)は、画像数5のうち20パーセントに相当するため上記N(40パーセント)に満たない。そこでメインCPU11は、図10の場合のPsumを0とする(ステップS41)。
In the case of FIG. 10, only P4 indicating “wedding” likelihood is equal to or greater than the determination threshold Pth, so only P calculated for
図11において、「花見」らしさについてのPsumは、「花見」らしさを示すPが判定閾値Pth以上の画像(すなわち、画像3以外の画像1−画像2、および画像4−画像5)について、それぞれのPを加算する(ステップS35)。この場合のPsumは、60(画像1)+70(画像2)+65(画像4)+75(画像5)=270である。
In FIG. 11, Psum regarding “Hanami” -likeness is obtained for images (ie,
メインCPU11は、イベント候補(「運動会」、「結婚式」、および「花見」)のうち、最大Psumに対応する「運動会」を、当該クラスタの標題イベントとする。 The main CPU 11 sets the “athletic meet” corresponding to the maximum Psum among the event candidates (“athletic meet”, “wedding”, and “cherry blossom viewing”) as the title event of the cluster.
<クラスタの統合処理>
クラスタの統合処理(S40)の詳細について、図6に例示するフローチャートを参照して説明する。図6のステップS51において、メインCPU11は、複数のクラスタのうち、近接するクラスタ間の時間差が判定閾値T以下か否かを判定する。メインCPU11は、たとえば、一方のクラスタで最も遅い撮影時刻と、他方のクラスタ内で最も早い撮影時刻との差が上記T以下の場合にステップS51を肯定判定してステップS52へ進む。メインCPU11は、時間差が上記Tを超える場合にはステップS51を否定判定して図6による処理を終了する。ステップS51を否定判定する場合は、クラスタの統合を行わない。
<Cluster integration processing>
Details of the cluster integration processing (S40) will be described with reference to the flowchart illustrated in FIG. In step S51 of FIG. 6, the main CPU 11 determines whether or not the time difference between adjacent clusters among the plurality of clusters is equal to or less than the determination threshold T. For example, when the difference between the latest shooting time in one cluster and the earliest shooting time in the other cluster is equal to or less than T, the main CPU 11 makes an affirmative determination in step S51 and proceeds to step S52. When the time difference exceeds T, the main CPU 11 makes a negative determination in step S51 and ends the process of FIG. When a negative determination is made in step S51, cluster integration is not performed.
ステップS52において、メインCPU11は、時間差T以下で近接するクラスタ同士の標題イベントが同一か否かを判定する。メインCPU11は、標題イベントが同一の場合にステップS52を肯定判定してステップS53へ進む。メインCPU11は、標題イベントが同一でない場合にはステップS52を否定判定して図6による処理を終了する。ステップS52を否定判定する場合は、クラスタの統合を行わない。 In step S52, the main CPU 11 determines whether or not the title events of the adjacent clusters with the time difference T or less are the same. When the title event is the same, the main CPU 11 makes a positive determination in step S52 and proceeds to step S53. If the title events are not the same, the main CPU 11 makes a negative determination in step S52 and ends the process of FIG. When a negative determination is made in step S52, cluster integration is not performed.
ステップS53において、メインCPU11は、2つのクラスタを1つのクラスタに統合して図6による処理を終了する。メインCPU11は、全クラスタに対してクラスタの統合処理を繰り返す。以上の処理により、クラスタ数が減少する。 In step S53, the main CPU 11 integrates the two clusters into one cluster and ends the process shown in FIG. The main CPU 11 repeats cluster integration processing for all clusters. With the above processing, the number of clusters decreases.
<クラスタごとの代表画像の決定処理>
クラスタ単位の代表画像決定処理の詳細について、図7に例示するフローチャートを参照して説明する。図7のステップS61において、メインCPU11は、複数のクラスタの中からクラスタを1つ特定してステップS62へ進む。特定順は、たとえば、撮影日時が古い順(最も早い撮影時刻の画像ファイルを有するクラスタを優先)とする。
<Determination of representative image for each cluster>
Details of the representative image determination processing in units of clusters will be described with reference to the flowchart illustrated in FIG. In step S61 of FIG. 7, the main CPU 11 specifies one cluster from the plurality of clusters, and proceeds to step S62. The specific order is, for example, the order of shooting date and time (priority is given to the cluster having the image file with the earliest shooting time).
ステップS62において、メインCPU11は、ステップS39において決定した標題イベントに対応する選択基準情報をフラッシュメモリ19から読み出してステップS63へ進む。選択基準情報は、代表画像の決定方法をあらかじめ標題イベントごとに定め、テーブル化してフラッシュメモリ19内に記録したものである。
In step S62, the main CPU 11 reads the selection criterion information corresponding to the title event determined in step S39 from the
ステップS63において、メインCPU11は、クラスタ内に含まれる画像ファイル群の中から、選択基準情報に基づいて代表画像を選んでステップS64へ進む。ステップS64において、メインCPU11は、全てのクラスタについて代表画像を選んだか否かを判定する。メインCPU11は、全てのクラスタについて処理を終了した場合にステップS64を肯定判定して図7による処理を終了する。メインCPU11は、全てのクラスタについて処理を終了していない場合にはステップS64を否定判定し、ステップS61へ戻る。ステップS61へ戻ったメインCPU11は、他のクラスタ1つを特定してステップS62へ進む。 In step S63, the main CPU 11 selects a representative image from the image file group included in the cluster based on the selection criterion information, and proceeds to step S64. In step S64, the main CPU 11 determines whether representative images have been selected for all clusters. When the process is finished for all clusters, the main CPU 11 makes a positive determination in step S64 and ends the process of FIG. If the process has not been completed for all clusters, the main CPU 11 makes a negative determination in step S64 and returns to step S61. After returning to step S61, the main CPU 11 identifies another cluster and proceeds to step S62.
上記選択基準情報について説明する。メインCPU11は、図12に例示する選択基準情報テーブルを参照し、クラスタの標題イベントに対応する選択基準情報を選ぶ。選択基準情報テーブルは、あらかじめ作成されてフラッシュメモリ19内に記録されている。たとえば、クラスタの標題イベントが「結婚式」、「初詣」、「ひな祭り」、「入学式」、「卒業式」の場合は、当該クラスタに含まれる画像のうち、画像に含まれる顔領域の割合が所定割合に最も近いものを代表画像として選ぶ。なお、画像データに基づいて顔検出処理を行い、画像に含まれている人物の「顔」を検出する顔検出処理は、公知の技術であるため説明を省略する。
The selection criterion information will be described. The main CPU 11 refers to the selection criterion information table illustrated in FIG. 12 and selects the selection criterion information corresponding to the cluster title event. The selection criterion information table is created in advance and recorded in the
また、クラスタの標題イベントが「海水浴」、「ダイビング」、「紅葉狩」、「ゴルフ」の場合は、当該クラスタに含まれる画像のうち、画像に含まれる所定色領域の割合が所定割合に最も近いものを代表画像として選ぶ。所定色は、たとえば、青色領域(海水浴、ダイビング)、赤色または黄色領域(紅葉狩)、緑色領域(ゴルフ)である。 In addition, when the title event of the cluster is “sea bathing”, “diving”, “autumn leaf hunting”, “golf”, the ratio of the predetermined color area included in the image is the closest to the predetermined ratio among the images included in the cluster. Choose one as the representative image. The predetermined color is, for example, a blue region (sea bathing, diving), a red or yellow region (autumn leaves hunting), and a green region (golf).
また、クラスタに含まれる画像のうち、当該クラスタの標題イベントに対応するイベントらしさを示す確率Pが最大となる画像を代表画像として選ぶようにしてもよい。このように、あらかじめ標題イベントごとに代表画像決定条件を決めておき、その決定条件に基づいて標題イベントを代表する画像を決定する。 Further, among the images included in the cluster, an image having the maximum probability P indicating the likelihood of an event corresponding to the title event of the cluster may be selected as the representative image. As described above, the representative image determination condition is determined in advance for each title event, and an image representing the title event is determined based on the determination condition.
以上説明した実施形態によれば、以下の作用効果が得られる。
(1)クラスタ(画像ファイルの集合)に対して複数のイベント候補(運動会、結婚式、花見)を与え、各イベント候補の判定に適した特徴量をクラスタ内の画像ごとに算出し、算出した個々の画像の特徴量に基づいて当該クラスタ(画像ファイルの集合)を代表するイベントをイベント候補の中から決定するようにした。従来技術と異なり、クラスタに対してSVM手法を使わない、すなわち、クラスタに対する特徴量の算出を必要とせずに、画像ごとのイベントらしさ(確率)Pの和Psumを算出する単純加算、和Psumに加算した画像数のカウント、イベント候補間におけるPsumの大小比較、判定閾値Pthと確率Pとの大小比較のみでよいので、画像群に対する特徴量算出をする場合に比べて短時間で処理することができる。
According to the embodiment described above, the following effects can be obtained.
(1) A plurality of event candidates (athletic meet, wedding ceremony, cherry-blossom viewing) are given to a cluster (a set of image files), and feature quantities suitable for determining each event candidate are calculated for each image in the cluster. An event representative of the cluster (a set of image files) is determined from event candidates based on the feature amount of each image. Unlike the prior art, the SVM method is not used for clusters, that is, the sum Psum for calculating the sum Psum of the event-likeness (probability) P for each image without the need to calculate the feature amount for the cluster. Since only the count of the number of added images, the Psum size comparison between the event candidates, and the size comparison between the determination threshold value Pth and the probability P are sufficient, processing can be performed in a shorter time compared to the case of calculating the feature amount for the image group. it can.
(2)画像ごとのイベントらしさ(確率)Pの和Psumの最大値に対応するイベント候補に決定するようにしたので、画像ファイルの集合を代表するイベントを適切に決めることができる。 (2) Since the event candidate corresponding to the maximum value of the sum Psum of the event-likeness (probability) P for each image is determined, an event representing a set of image files can be appropriately determined.
(3)画像ごとのイベントらしさ(確率)Pが判定閾値Pthに満たない場合は和Psumに加えないようにしたので、イベント候補に該当する確率が低い画像が和Psumに寄与する度合いを抑えることができる。 (3) When the event likelihood (probability) P for each image is less than the determination threshold Pth, it is not added to the sum Psum, so that the degree of contribution of an image having a low probability of being an event candidate to the sum Psum is suppressed. Can do.
(4)判定閾値Pthを満たす画像数(すなわち、和PsumにPを加算した画像数)がクラスタ内の画像数に対して所定割合に満たない場合は、Psumを0にして当該イベント候補を除外するようにした。これにより、画像ファイルの集合を代表するイベントを適切に決めることができる。 (4) When the number of images satisfying the determination threshold Pth (that is, the number of images obtained by adding P to the sum Psum) is less than a predetermined ratio with respect to the number of images in the cluster, Psum is set to 0 and the event candidate is excluded. I tried to do it. This makes it possible to appropriately determine an event that represents a set of image files.
(5)クラスタ(画像ファイルの集合)は、画像の撮影日時に応じてクラスタリングしたものを用いるようにした。これにより、撮影日時に応じたイベント候補を与えることができる。 (5) Clusters (a set of image files) are clustered according to the shooting date and time of images. Thereby, event candidates according to the shooting date and time can be given.
(6)クラスタに対して複数のイベント候補を与えるようにしたので、これら複数のイベント候補の中から最も適切なものを決定することができる。 (6) Since a plurality of event candidates are given to the cluster, the most appropriate event can be determined from the plurality of event candidates.
(7)複数のクラスタのうち、近接するクラスタ間の時間差が判定閾値T以下であって、かつ当該クラスタ同士の標題イベントが同一の場合に両クラスタを1つに統合するようにした。これにより、撮影日時のみでクラスタリングしたものより、必要以上に細かくクラスタリングすることを避けられ、画像を分類整理する時の意図に沿ったものとなる。 (7) Among the plurality of clusters, when the time difference between adjacent clusters is equal to or less than the determination threshold T and the title events of the clusters are the same, both clusters are integrated into one. As a result, it is possible to avoid performing clustering more finely than necessary than in the case of clustering only by shooting date and time, and to conform to the intention when the images are classified and arranged.
(8)一方のクラスタで最も遅い撮影時刻と、他方のクラスタ内で最も早い撮影時刻との差が上記T以下の場合にステップS51を肯定判定するようにした。同じイベントに対しては、撮影間隔をあけずに続けて撮影することが多いので、当該クラスタ同士の標題イベントが同一である可能性が高い場合を検出できる。 (8) When the difference between the latest shooting time in one cluster and the earliest shooting time in the other cluster is equal to or less than T, the determination in step S51 is affirmative. Since the same event is often shot continuously without taking a shooting interval, it is possible to detect a case where there is a high possibility that the title events of the clusters are the same.
(9)イベント候補と算出すべき特徴量との関係をあらかじめテーブル化してフラッシュメモリ19内に記録しておくようにした。これにより、イベント候補の判定に適した画像の特徴量を算出でき、画像ファイルの集合を代表するイベントを適切に決めることができる。
(9) The relationship between the event candidate and the feature quantity to be calculated is tabulated in advance and recorded in the
(変形例1)
クラスタリングの際、撮影日単位でクラスタリングを行うようにしてもよい。
(Modification 1)
At the time of clustering, clustering may be performed on a shooting date basis.
(変形例2)
クラスタリングの際、撮影日時情報に応じてでなく、撮影位置情報に応じて分けるようにしてもよい。具体的には、ステップS11(図3)において、メインCPU11が全ての画像ファイルを対象に、画像ファイルの付加情報部に記録されている撮影位置を示す測位情報を抽出する。そして、メインCPU11は、ステップS13(図3)において、1画像につき1クラスタを処理起点として、撮影位置が近いクラスタを逐次併合する処理を繰り返すことにより、画像ファイルを複数のクラスタ(撮影位置が近い画像ファイルの集合)に分ける。メインCPU11は、近接するクラスタ間において、撮影位置と撮影位置との間隔(距離)が所定距離(たとえば1Km)以上の場合にステップS14へ進む。
(Modification 2)
At the time of clustering, it may be divided according to the shooting position information, not according to the shooting date / time information. Specifically, in step S11 (FIG. 3), the main CPU 11 extracts the positioning information indicating the shooting position recorded in the additional information part of the image file for all the image files. In step S13 (FIG. 3), the main CPU 11 repeats the process of sequentially merging clusters with close shooting positions from one cluster for each image as a processing start point, so that the image file is divided into a plurality of clusters (close to shooting positions). Image files). The main CPU 11 proceeds to step S14 when the interval (distance) between the shooting positions between adjacent clusters is equal to or greater than a predetermined distance (for example, 1 km).
(変形例3)
イベント候補テーブルは、ユーザ操作によって変更可能に構成してもよい。たとえば、液晶モニタ16にイベント候補テーブルの編集画面を表示させて、ユーザが操作部材17を操作することによってテーブル内容を変更する。変更内容は、フラッシュメモリ19へ記録する。
(Modification 3)
The event candidate table may be configured to be changeable by a user operation. For example, the event candidate table editing screen is displayed on the
(変形例4)
図4のステップS22を省略する構成としてもよい。この場合には、イベント候補テーブルを参照することなく、システムが有している全てのイベント候補を選ぶ。
(Modification 4)
It is good also as a structure which abbreviate | omits step S22 of FIG. In this case, all event candidates possessed by the system are selected without referring to the event candidate table.
(変形例5)
変形例2の場合のイベント候補テーブルは、たとえば、撮影位置を含む地域ごとにイベント候補を対応させるとよい。たとえば、海の近くであれば、海水浴、すいか割り、サーフィン、ダイビングなどのイベントを選ぶ。山の近くであれば、キャンプ、ハイキングなどのイベントを選ぶ。この場合のイベント候補テーブルは、地域ごとに発生頻度が高いイベントを記したものであり、過去のイベント発生地に基づいてあらかじめ作成し、フラッシュメモリ19内に記録しておく。
(Modification 5)
In the event candidate table in the second modification, for example, event candidates may be associated with each region including the shooting position. For example, if you are near the sea, choose events such as bathing, water splitting, surfing, diving and so on. Choose events like camping and hiking if you're near the mountains. In this case, the event candidate table describes events having a high occurrence frequency for each region. The event candidate table is created in advance based on past event occurrence locations and recorded in the
(変形例6)
イベントらしさ(確率)Pが判定閾値Pthを超えた画像数に応じて、クラスタ(画像ファイルの集合)の標題イベントを決定してもよい。たとえば、イベント候補(「運動会」、「結婚式」、および「花見」)のうち、判定閾値Pthを超えた画像数が多い方に対応するイベント候補を当該クラスタの標題イベントとする。
(Modification 6)
The title event of a cluster (a set of image files) may be determined according to the number of images for which the event likelihood (probability) P exceeds the determination threshold value Pth. For example, among the event candidates (“athletic meet”, “wedding”, and “cherry blossom viewing”), the event candidate corresponding to the larger number of images exceeding the determination threshold Pth is set as the title event of the cluster.
(変形例7)
また、イベントらしさ(確率)Pが判定閾値Pthを超えた画像数が多いイベント候補を標題イベントと決定する決定方法と、最大Psumに対応するイベント候補を標題イベントと決定する決定方法とを組み合わせてもよい。この場合、いずれか一方の決定方法で優劣がつかなかった場合に、他方の決定方法を用いて判定を行う。たとえば、図9−図11の例では、イベント候補「運動会」および「花見」においてイベントらしさ(確率)Pが判定閾値Pthを超える画像数が同じであって優劣がつかない。そこで、最大Psumに対応するイベント候補「運動会」を当該クラスタの標題イベントとする。
(Modification 7)
Further, a combination of a determination method for determining an event candidate having a large number of images whose event likelihood (probability) P exceeds the determination threshold Pth as a title event and a determination method for determining an event candidate corresponding to the maximum Psum as a title event. Also good. In this case, when superiority or inferiority is not determined by any one of the determination methods, the determination is performed using the other determination method. For example, in the example of FIGS. 9 to 11, the event candidates “athletic meet” and “cherry-blossom viewing” have the same number of images whose event likelihood (probability) P exceeds the determination threshold value Pth and cannot be superior or inferior. Therefore, the event candidate “athletic meeting” corresponding to the maximum Psum is set as the title event of the cluster.
(変形例8)
近接するクラスタ間の時間差が判定閾値T以下か否かを判定する場合、各クラスタの重心に対応する時間差に基づいて判定してもよい。この場合のメインCPU11は、ステップS51(図6)において、一方のクラスタに属する画像群の平均撮影時刻と、他方のクラスタに属する画像群の平均撮影時刻との差が上記T以下の場合にステップS51を肯定判定してステップS52へ進む。
(Modification 8)
When determining whether or not the time difference between adjacent clusters is equal to or less than the determination threshold T, the determination may be made based on the time difference corresponding to the center of gravity of each cluster. In this case, the main CPU 11 performs a step when the difference between the average shooting time of the image group belonging to one cluster and the average shooting time of the image group belonging to the other cluster is equal to or less than T in step S51 (FIG. 6). Affirmative determination is made in S51 and the process proceeds to step S52.
(変形例9)
変形例2および変形例5の場合には、近接するクラスタ間の距離が判定閾値D以下か否かを判定する。この場合のメインCPU11は、ステップS51(図6)において、一方のクラスタに属する画像群の撮影位置と、他方のクラスタに属する画像群の撮影位置との間の距離のうち最短のものが、上記D以下の場合にステップS51を肯定判定してステップS52へ進む。同じイベントに対しては、同じエリア内で続けて撮影することが多いので、当該クラスタ同士の標題イベントが同一である可能性が高い場合を検出できる。
(Modification 9)
In the case of
変形例9によれば、複数のクラスタのうち、近接するクラスタ間の距離差が判定閾値D以下であって、かつ当該クラスタ同士の標題イベントが同一の場合に両クラスタが1つに統合される。これにより、撮影位置のみでクラスタリングしたものより、必要以上に細かくクラスタリングされることを避けられ、画像を分類整理する時の意図に沿ったものになる。
According to the
(変形例10)
電子カメラ1内で画像をグルーピングし、その標題を付与する例を説明したが、図2−図7による処理を行う標題付与プログラムを図13に示すコンピュータ装置10に実行させることにより、画像の標題付与装置を構成してもよい。標題付与プログラムをパーソナルコンピュータ10に取込んで使用する場合には、パーソナルコンピュータ10のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像群の標題付与装置として使用する。
(Modification 10)
The example in which images are grouped in the
パーソナルコンピュータ10に対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記録媒体104をパーソナルコンピュータ10にセットして行ってもよいし、ネットワークなどの通信回線101を経由する方法でパーソナルコンピュータ10へローディングしてもよい。通信回線101を経由する場合は、通信回線101に接続されたサーバー(コンピュータ)102のハードディスク装置103などにプログラムを格納しておく。標題付与プログラムは、記録媒体104や通信回線101を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
The loading of the program to the
また、ASP(Application Service Provider)のような形態でサーバー側で実行させるようにしてもよい。 Further, it may be executed on the server side in a form such as ASP (Application Service Provider).
(変形例11)
上述した撮影日時情報、撮影位置情報、撮影条件、および特定被写体の有無に応じたイベント候補の付与について、少なくとも2つを組み合わせることにより、多次元のイベント候補テーブルを備えるように構成してもよい。
(Modification 11)
The above-described shooting date / time information, shooting position information, shooting conditions, and provision of event candidates according to the presence / absence of a specific subject may be configured to include a multidimensional event candidate table by combining at least two. .
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.
1…電子カメラ
11…メインCPU
14…バッファメモリ
15…表示画像作成回路
16…液晶モニタ
17…操作部材
18…GPS装置
19…フラッシュメモリ
30…記録媒体
1 ... Electronic camera 11 ... Main CPU
DESCRIPTION OF
Claims (5)
前記グループ化された画像群ごとに、該画像群に含まれる複数の画像の特徴量を個々に算出する特徴量算出手段と、
前記個々の画像の特徴量に基づいて、前記画像群を代表する標題イベントを前記画像群ごとに決定する標題イベント決定手段と、
前記複数の画像群が有する個々の画像の撮影日時情報に基づいて、前記画像群間の時間差情報を算出する算出手段と、
前記標題決定手段によって決定された標題イベントが同じであり、かつ前記算出手段によって算出された時間差情報が所定値以下である場合に前記画像群を1つのグループにまとめる統合手段と、
を備えることを特徴とする画像のグループ化装置。 Grouping processing means for grouping a plurality of images into a plurality of image groups based on shooting date and time information;
For each of the grouped image groups, feature amount calculation means for individually calculating the feature amounts of a plurality of images included in the image group;
Title event determining means for determining, for each image group, a title event representing the image group based on the feature amount of the individual image;
Calculation means for calculating time difference information between the image groups based on shooting date and time information of individual images of the plurality of image groups;
Integration means for grouping the image groups into one group when the title events determined by the title determination means are the same and the time difference information calculated by the calculation means is a predetermined value or less;
An apparatus for grouping images.
前記時間差情報は、一方の画像群に含まれる画像の最後の撮影時刻と、他方の画像群に含まれる画像の最先の撮影時刻との差であることを特徴とする画像のグループ化装置。 The image grouping device according to claim 1.
The apparatus for grouping images, wherein the time difference information is a difference between the last shooting time of an image included in one image group and the earliest shooting time of an image included in the other image group.
前記グループ化された画像群ごとに、該画像群に含まれる複数の画像の特徴量を個々に算出する特徴量算出手段と、
前記個々の画像の特徴量に基づいて、前記画像群を代表する標題イベントを前記画像群ごとに決定する標題イベント決定手段と、
前記複数の画像群が有する個々の画像の撮影位置情報に基づいて、前記画像群間の距離情報を算出する算出手段と、
前記標題決定手段によって決定された標題イベントが同じであり、かつ前記算出手段によって算出された距離情報が所定値以下である場合に前記画像群を1つのグループにまとめる統合手段と、
を備えることを特徴とする画像のグループ化装置。 Grouping processing means for grouping a plurality of images into a plurality of image groups based on photographing position information;
For each of the grouped image groups, feature amount calculation means for individually calculating the feature amounts of a plurality of images included in the image group;
Title event determining means for determining, for each image group, a title event representing the image group based on the feature amount of the individual image;
Calculation means for calculating distance information between the image groups based on shooting position information of individual images of the plurality of image groups;
Integration means for grouping the image groups into one group when the title events determined by the title determination means are the same and the distance information calculated by the calculation means is a predetermined value or less;
An apparatus for grouping images.
前記距離情報は、一方の画像群に含まれる画像の撮影位置と、他方の画像群に含まれる画像の撮影位置との最短距離であることを特徴とする画像のグループ化装置。 The apparatus for grouping images according to claim 3 .
The image grouping apparatus according to claim 1, wherein the distance information is a shortest distance between a shooting position of an image included in one image group and a shooting position of an image included in the other image group.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008113708A JP4973585B2 (en) | 2008-04-24 | 2008-04-24 | Image grouping device and camera |
US12/811,760 US20100278396A1 (en) | 2008-01-18 | 2008-12-02 | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program |
PCT/JP2008/071867 WO2009090804A1 (en) | 2008-01-18 | 2008-12-02 | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera and image display program |
US14/663,335 US20150193659A1 (en) | 2008-01-18 | 2015-03-19 | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program |
US15/074,316 US10474931B2 (en) | 2008-01-18 | 2016-03-18 | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008113708A JP4973585B2 (en) | 2008-04-24 | 2008-04-24 | Image grouping device and camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009265874A JP2009265874A (en) | 2009-11-12 |
JP4973585B2 true JP4973585B2 (en) | 2012-07-11 |
Family
ID=41391668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008113708A Active JP4973585B2 (en) | 2008-01-18 | 2008-04-24 | Image grouping device and camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4973585B2 (en) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011061782A1 (en) * | 2009-11-17 | 2011-05-26 | 株式会社 東芝 | Image processing device |
JP5683819B2 (en) * | 2010-02-16 | 2015-03-11 | レノボ・イノベーションズ・リミテッド(香港) | Mobile terminal and image classification method |
JP2012216972A (en) * | 2011-03-31 | 2012-11-08 | Toshiba Corp | Digital broadcast receiver |
US20130022282A1 (en) * | 2011-07-19 | 2013-01-24 | Fuji Xerox Co., Ltd. | Methods for clustering collections of geo-tagged photographs |
US9471200B2 (en) | 2013-03-15 | 2016-10-18 | Apple Inc. | Device, method, and graphical user interface for organizing and presenting a collection of media items |
JP5871293B2 (en) * | 2015-01-14 | 2016-03-01 | レノボ・イノベーションズ・リミテッド(香港) | Mobile terminal and image classification method |
JP6465773B2 (en) * | 2015-08-07 | 2019-02-06 | キヤノン株式会社 | Information processing apparatus, control method therefor, and program |
CN118303019A (en) * | 2021-12-01 | 2024-07-05 | 索尼集团公司 | Image processing device, image processing method, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006203574A (en) * | 2005-01-20 | 2006-08-03 | Matsushita Electric Ind Co Ltd | Image display device |
JP4444856B2 (en) * | 2005-02-28 | 2010-03-31 | 富士フイルム株式会社 | Title assigning device, title assigning method, and program |
-
2008
- 2008-04-24 JP JP2008113708A patent/JP4973585B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009265874A (en) | 2009-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10474931B2 (en) | Image group title assigning device, image grouping device, representative image determination device for image group, image display device, camera, and image display program | |
JP4973585B2 (en) | Image grouping device and camera | |
US11281712B2 (en) | System, apparatus, method, program and recording medium for processing image | |
US8786753B2 (en) | Apparatus, method and program for selecting images for a slideshow from among a large number of captured images | |
CN102457665B (en) | The control method of picture pick-up device, camera system and picture pick-up device | |
US20050232588A1 (en) | Video processing device | |
JP5517683B2 (en) | Image processing apparatus and control method thereof | |
JP5601407B2 (en) | Image classification program, image classification apparatus, and electronic camera | |
EP2297940B1 (en) | Method to control image processing apparatus, image processing apparatus, and image file | |
US20120082389A1 (en) | Image processing device and computer-program product of image evaluation | |
US20160179846A1 (en) | Method, system, and computer readable medium for grouping and providing collected image content | |
US8068678B2 (en) | Electronic apparatus and image processing method | |
US7672977B2 (en) | Image reproducing apparatus, method of controlling same and control program therefor | |
JP2009060195A (en) | Imaging apparatus, method, and program | |
JP2006236218A (en) | Electronic album display system, electronic album display method, and electronic album display program | |
JP2011044064A (en) | Image processing device and image processing program | |
CN103403765B (en) | Content processing unit (plant) and integrated circuit, method | |
JP5381498B2 (en) | Image processing apparatus, image processing program, and image processing method | |
JP5157618B2 (en) | Image group title assigning device and camera | |
JP2009267682A (en) | Representative image determination device and camera | |
JP5369776B2 (en) | Imaging apparatus, imaging method, and imaging program | |
JP2005080056A (en) | Moving picture reproducing device and electronic camera | |
JP2009294902A (en) | Image processor and camera | |
JP2009267683A (en) | Title assigning device for image and camera | |
JP2007288409A (en) | Imaging apparatus with image data classifying function and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120213 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120313 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4973585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |