JP2007122110A - Image classification device, method and program - Google Patents
Image classification device, method and program Download PDFInfo
- Publication number
- JP2007122110A JP2007122110A JP2005309229A JP2005309229A JP2007122110A JP 2007122110 A JP2007122110 A JP 2007122110A JP 2005309229 A JP2005309229 A JP 2005309229A JP 2005309229 A JP2005309229 A JP 2005309229A JP 2007122110 A JP2007122110 A JP 2007122110A
- Authority
- JP
- Japan
- Prior art keywords
- image
- classification
- images
- shooting
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、複数の画像を複数のカテゴリに分類する画像分類装置および方法並びに画像分類方法をコンピュータに実行させるためのプログラムに関するものである。 The present invention relates to an image classification apparatus and method for classifying a plurality of images into a plurality of categories, and a program for causing a computer to execute the image classification method.
デジタルカメラおよびスキャナの普及により、誰もが手軽にデジタルの画像を取得することが可能となっている。また、画像をパソコンに取り込んで整理することも行われている。この場合、画像の整理は、ユーザに起こったイベント毎に画像を分類して行うことが多い。例えば、ヨーロッパ旅行へ出かけた場合には、フランス、イギリス、スペイン等のように取得した画像を国毎のカテゴリに分類し、さらにフランスのカテゴリに分類された画像については、パリおよびニース等の出かけた場所毎にさらに細かいカテゴリに画像を分類する。また、パリに分類された画像については、エッフェル塔、凱旋門およびノートルダム寺院等のさらに細かいカテゴリに画像を分類する。さらには、ノートルダム寺院については、寺院の前、離れた場所および寺院の中等のさらに細かいカテゴリに画像を分類することもある。 With the widespread use of digital cameras and scanners, anyone can easily acquire digital images. In addition, images are also organized on a personal computer. In this case, images are often organized by classifying images for each event that has occurred to the user. For example, when you go on a trip to Europe, images acquired in France, the United Kingdom, Spain, etc. are classified into categories for each country, and for images classified in the French category, going out in Paris, Nice, etc. Classify images into more detailed categories for each location. For images classified in Paris, the images are classified into finer categories such as the Eiffel Tower, Arc de Triomphe and Notre Dame. Furthermore, regarding Notre Dame, images may be classified into more detailed categories such as in front of the temple, in a remote place, and in the temple.
このように画像を階層化して複数のカテゴリに分類しておけば、後で画像を参照する際にイベント毎に分けられた画像を参照できるため、画像の整理を容易に行うことができる。 If the images are hierarchized and classified into a plurality of categories in this manner, the images divided for each event can be referred to when referring to the images later, so that the images can be easily organized.
その一方で、画像を階層化して分類する作業は、画像を見ながら、さらにはユーザの記憶をたどりながら行う必要があるため、ユーザにとって非常に煩わしい作業となっている。 On the other hand, the operation of classifying images into hierarchies is very troublesome for the user because it is necessary to perform the operation while looking at the image and following the user's memory.
このため、画像を自動で分類するための各種手法が提案されている。例えば、画像に付与された撮影日時を表す撮影日時を表す情報に基づいて画像を時間軸上に配置し、撮影時間が隣接する2つの画像についての撮影時間差をしきい値と比較して画像をあらかじめ定めたk個のカテゴリに分類する方法が提案されている(k平均クラスタリングの手法、特許文献1参照)。また、画像に関係付けられた撮影日時情報を基に保存された画像の数を所定の期間毎に集計して画像の撮影頻度を求め、この撮影頻度から得られる所定の期間内に撮影された画像数の多いあるいは少ないを所定のしきい値から判断して、複数の画像をイベント毎の複数のカテゴリに分類する手法も提案されている(特許文献2参照)。さらに、ユーザのスケジュールを表すスケジュール情報を参照して、画像をユーザのスケジュールに応じたカテゴリに分類する手法も提案されている(特許文献3参照)。
上記特許文献3に記載の手法は、ユーザのスケジュールおよび撮影により取得した画像の双方を管理する必要があることから、実際には撮影日時を表す情報のみを用いて画像を分類する上記特許文献1,2に記載された手法を用いることが現実的である。しかしながら、特許文献1,2に記載された手法は、撮影日時が隣接する画像間の時間差を用いるのみであり、さらに適切なしきい値を設定することが簡単ではないことから、精度良く画像を分類することが困難である。また、特許文献1に記載された手法は、k平均クラスタリングの手法を用いていることから、分類するカテゴリの数であるkの値を決定する必要があるため、適切にkの値を設定できなかった場合には、分類の精度が極端に悪くなってしまうという問題がある。
Since the method described in
また、特許文献2に記載された手法は、適切な所定の期間を定義することが困難であり、所定の期間の定め方を誤ると精度良く画像を分類することができない。また、撮影頻度は撮影対象となるイベントのみではなく、撮影者に大きく依存するものある。すなわち、同じイベントであっても10秒毎に撮影を行う撮影者もいれば、10分おきに撮影を行う撮影者もいる。このような場合、特許文献2に記載された手法によっては、精度良く画像を分類することができない。
In addition, the method described in
本発明は上記事情に鑑みなされたものであり、複数の画像を複数のカテゴリに精度良く分類できるようにすることを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to allow a plurality of images to be classified into a plurality of categories with high accuracy.
本発明による第1の画像分類装置は、撮影日時情報が付与された複数の画像からなる画像群を複数のカテゴリに分類する画像分類装置において、
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、すべての該撮影時間差と前記平均値を用いたポアソン分布の確率関数から得られるしきい値とを比較し、前記しきい値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う分類手段を備えたことを特徴とするものである。
A first image classification device according to the present invention is an image classification device that classifies an image group composed of a plurality of images to which shooting date and time information is assigned into a plurality of categories.
When the image groups are arranged in ascending or descending order of shooting date and time, a shooting time difference between adjacent images and an average value of all the shooting time differences are calculated, and a Poisson distribution using all the shooting time differences and the average value A classification that classifies the image group into the plurality of categories, with a threshold value obtained from the probability function of the image and a difference between the two images having the imaging time difference exceeding the threshold as the category separation position. It is characterized by having a classification means for processing.
ここで、「ポアソン分布の確率関数」とは、単位時間内に平均λ回起こる事象Aがあるときに、単位時間内に事象Aがx回起こる確率を算出するための関数であり、詳しくは後述する。 Here, the “probability function of Poisson distribution” is a function for calculating the probability of event A occurring x times within a unit time when there is an event A occurring on average λ times within the unit time. It will be described later.
なお、本発明による第1の画像分類装置においては、前記分類手段を、前記平均値を算出するに際し、前記撮影時間差があらかじめ定めた設定値を超えている場合には、該撮影時間差を前記設定値により置換する手段としてもよい。 In the first image classification device according to the present invention, when the average value is calculated by the classifying unit, if the imaging time difference exceeds a predetermined setting value, the imaging time difference is set as the setting value. It is good also as a means to substitute by a value.
また、本発明による第1の画像分類装置においては、前記分類手段を、前記分類されたカテゴリ毎の画像群に対する前記分類処理を、該分類処理が行われる度に繰り返し行う手段としてもよい。 In the first image classification apparatus according to the present invention, the classification unit may be a unit that repeatedly performs the classification process for the group of images for each classified category every time the classification process is performed.
また、本発明による第1の画像分類装置においては、前記分類手段を、前記画像群または前記分類されたカテゴリ毎の画像群における前記しきい値が、あらかじめ定めた最小値以下となる場合に、前記分類処理を終了する手段としてもよい。 Further, in the first image classification device according to the present invention, the classification means may be configured such that the threshold value in the image group or the image group for each classified category is equal to or less than a predetermined minimum value. It is good also as a means to complete | finish the said classification process.
本発明による第2の画像分類装置は、撮影日時情報が付与された複数の画像からなる画像群を複数のカテゴリに分類する画像分類装置において、
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、該すべての撮影時間差と前記平均値との差を前記すべての撮影時間差の分散または標準偏差に基づいて正規化した値と、前記分散または前記標準偏差に基づくしきい値とを比較し、該しきい値を超える前記正規化した値を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う分類手段を備えたことを特徴とするものである。
A second image classification device according to the present invention is an image classification device that classifies an image group consisting of a plurality of images to which shooting date and time information is given into a plurality of categories.
When the image groups are arranged in ascending or descending order of shooting date and time, the shooting time difference between adjacent images and the average value of all the shooting time differences are calculated, and the difference between all the shooting time differences and the average value is calculated as described above. Two values obtained by comparing the normalized value based on the variance or standard deviation of all the photographing time differences with the threshold value based on the variance or the standard deviation and obtaining the normalized value exceeding the threshold value The image processing apparatus includes a classification unit that performs a classification process of classifying the image group into the plurality of categories with the image as the category separation position.
なお、本発明による第2の画像分類装置においては、前記分類手段を、前記平均値を算出するに際し、前記撮影時間差があらかじめ定めた設定値を超えている場合には、該撮影時間差を前記設定値により置換する手段としてもよい。 In the second image classification device according to the present invention, when the average value is calculated by the classification unit, if the imaging time difference exceeds a predetermined setting value, the imaging time difference is set as the setting value. It is good also as a means to substitute by a value.
また、本発明による第2の画像分類装置においては、前記分類手段を、前記分類されたカテゴリ毎の画像群に対する前記分類処理を、該分類処理が行われる度に繰り返し行う手段としてもよい。 In the second image classification device according to the present invention, the classification unit may be a unit that repeatedly performs the classification process on the grouped image groups for each classified category every time the classification process is performed.
本発明による第3の画像分類装置は、撮影日時情報が付与された複数の画像からなる画像群を複数のカテゴリに分類する画像分類装置において、
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、該すべての撮影時間差と前記平均値を重みづけした重みづけ平均値とを比較し、前記重みづけ平均値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う分類手段を備えたことを特徴とするものである。
A third image classification device according to the present invention is an image classification device that classifies an image group consisting of a plurality of images to which shooting date and time information is given into a plurality of categories.
When the image groups are arranged in ascending order or descending order of shooting date / time, a shooting time difference between adjacent images and an average value of all the shooting time differences are calculated, and a weight weighting all the shooting time differences and the average value Classification means for performing a classification process of comparing the group of images into the plurality of categories, with a comparison between the averaged values and the two images obtained with the photographing time difference exceeding the weighted average as the category separation position It is characterized by comprising.
なお、本発明による第3の画像分類装置においては、前記分類手段を、前記平均値を算出するに際し、前記撮影時間差があらかじめ定めた設定値を超えている場合には、該撮影時間差を前記設定値により置換する手段としてもよい。 In the third image classification apparatus according to the present invention, when the average value is calculated by the classification unit, if the imaging time difference exceeds a predetermined setting value, the imaging time difference is set as the setting value. It is good also as a means to substitute by a value.
また、本発明による第3の画像分類装置においては、前記分類手段を、前記分類されたカテゴリ毎の画像群に対する前記分類処理を、該分類処理が行われる度に繰り返し行う手段としてもよい。 In the third image classification apparatus according to the present invention, the classification unit may be a unit that repeatedly performs the classification process on the grouped image group for each classified category.
また、本発明による第3の画像分類装置においては、前記分類手段を、前記画像群または前記分類されたカテゴリ毎の画像群における前記しきい値が、あらかじめ定めた最小値以下となる場合に、前記分類処理を終了する手段としてもよい。 Further, in the third image classification device according to the present invention, the classification means may be configured such that the threshold value in the image group or the image group for each classified category is equal to or less than a predetermined minimum value. It is good also as a means to complete | finish the said classification process.
本発明による第1の画像分類方法は、撮影日時情報が付与された複数の画像からなる画像群を複数のカテゴリに分類する画像分類方法において、
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、
すべての該撮影時間差と前記平均値を用いたポアソン分布の確率関数から得られるしきい値とを比較し、
前記しきい値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行うことを特徴とするものである。
A first image classification method according to the present invention is an image classification method for classifying an image group composed of a plurality of images to which shooting date and time information is given into a plurality of categories.
When arranging the image group in ascending or descending order of shooting date and time, calculate the shooting time difference between adjacent images and the average value of all the shooting time difference,
Comparing all the shooting time differences with a threshold value obtained from a Poisson distribution probability function using the average value,
A classification process for classifying the image group into the plurality of categories is performed with the interval between the two images having the imaging time difference exceeding the threshold as the category separation position.
本発明による第2の画像分類方法は、撮影日時情報が付与された複数の画像からなる画像群を複数のカテゴリに分類する画像分類方法において、
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、
該すべての撮影時間差と前記平均値との差を前記すべての撮影時間差の分散または標準偏差に基づいて正規化した値と、前記分散または前記標準偏差に基づくしきい値とを比較し、
該しきい値を超える前記正規化した値を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行うことを特徴とするものである。
A second image classification method according to the present invention is an image classification method for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories.
When the image groups are arranged in ascending or descending order of shooting date and time, calculate the shooting time difference between adjacent images and the average value of all the shooting time differences,
Comparing the difference between all the shooting time differences and the average value based on the variance or standard deviation of all the shooting time differences with a threshold value based on the variance or the standard deviation;
A classification process for classifying the image group into the plurality of categories is performed with the interval between the two images obtained with the normalized value exceeding the threshold as the category separation position.
本発明による第3の画像分類方法は、撮影日時情報が付与された複数の画像からなる画像群を複数のカテゴリに分類する画像分類方法において、
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、
該すべての撮影時間差と前記平均値を重みづけした重みづけ平均値とを比較し、
前記重みづけ平均値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行うことを特徴とするものである。
A third image classification method according to the present invention is an image classification method for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories.
When arranging the image group in ascending or descending order of shooting date and time, calculate the shooting time difference between adjacent images and the average value of all the shooting time difference,
Comparing all the shooting time differences with a weighted average value obtained by weighting the average value;
A classification process for classifying the image group into the plurality of categories is performed with the interval between the two images obtained with the photographing time difference exceeding the weighted average value as the category separation position.
なお、本発明による第1から第3の画像分類方法をコンピュータに実行させるためのプログラムとして提供してもよい。 In addition, you may provide as a program for making a computer perform the 1st-3rd image classification method by this invention.
本発明による第1の画像分類装置および方法によれば、複数の画像からなる画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての撮影時間差の平均値が算出される。そして、すべての撮影時間差と平均値を用いたポアソン分布の確率関数から得られるしきい値とが比較され、しきい値を超える絶対値を得た2つの画像間がカテゴリの区切り位置とされて、画像群が複数のカテゴリに分類される。 According to the first image classification apparatus and method of the present invention, when an image group composed of a plurality of images is arranged in ascending or descending order of shooting date and time, the shooting time difference between adjacent images and the average value of all shooting time differences Is calculated. Then, all the shooting time differences are compared with the threshold value obtained from the Poisson distribution probability function using the average value, and the interval between the two images that have obtained an absolute value exceeding the threshold value is set as the category separation position. The image group is classified into a plurality of categories.
このように第1の画像分類装置および方法においては、ポアソン分布の確率関数から得られるしきい値をカテゴリの区切り位置を決定するためのしきい値としていることから、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる画像群に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、画像群に含まれる複数の画像の実際の撮影時間差に応じて、画像群を複数のカテゴリに精度良く分類することができる。 As described above, in the first image classification apparatus and method, the threshold value obtained from the Poisson distribution probability function is used as a threshold value for determining the category separation position. The threshold value is not a constant threshold value but a threshold value adaptively changed according to the actual photographing time difference of images included in the image group to be classified. Therefore, it is possible to classify the image group into a plurality of categories with high accuracy according to the actual photographing time difference between the plurality of images included in the image group.
本発明による第2の画像分類装置および方法によれば、複数の画像からなる画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間のすべての撮影時間差およびすべての撮影時間差の平均値が算出される。そして、すべての撮影時間差と平均値との差をすべての撮影時間差の標準偏差により正規化した値と、分散または標準偏差に基づくしきい値とが比較され、しきい値を超える正規化した値を得た2つの画像間がカテゴリの区切り位置とされて、画像群が複数のカテゴリに分類される。 According to the second image classification apparatus and method of the present invention, when an image group composed of a plurality of images is arranged in ascending order or descending order of shooting dates and times, all shooting time differences and all shooting time differences between adjacent images are calculated. An average value is calculated. The difference between all shooting time differences and the average value is normalized by the standard deviation of all shooting time differences, and the threshold value based on variance or standard deviation is compared, and the normalized value that exceeds the threshold value The two images obtained are set as category separation positions, and the image group is classified into a plurality of categories.
このように第2の画像分類装置および方法においては、すべての撮影時間差と平均値との差をすべての撮影時間差の分散または標準偏差に基づいて正規化した値と、分散または標準偏差に基づくしきい値とを比較していることから、分類を行うためのしきい値との比較が統計的に正規化された状態で行われることとなる。したがって、一定のしきい値ではなく、撮影時間差の正規分布に応じて適応的に変更されたしきい値により画像を分類することとなるため、分類の対象となる画像群の実際の撮影時間差に応じて、画像群を複数のカテゴリに精度良く分類することができる。 As described above, in the second image classification apparatus and method, the difference between all the photographing time differences and the average value is normalized based on the variance or standard deviation of all the photographing time differences, and the variance or standard deviation is used. Since the threshold value is compared, the comparison with the threshold value for classification is performed in a statistically normalized state. Therefore, since the images are classified based on the threshold value adaptively changed according to the normal distribution of the photographing time difference instead of the constant threshold value, the actual photographing time difference of the image group to be classified is Accordingly, the image group can be accurately classified into a plurality of categories.
本発明による第3の画像分類装置および方法によれば、複数の画像からなる画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間のすべての撮影時間差およびすべての撮影時間差の平均値が算出される。そして、すべての撮影時間差を平均値を重みづけした重みづけ平均値とが比較され、重みづけ平均値を超える撮影時間差を得た2つの画像間がカテゴリの区切り位置とされて、画像群が複数のカテゴリに分類される。 According to the third image classification apparatus and method of the present invention, when an image group composed of a plurality of images is arranged in ascending or descending order of shooting dates and times, all shooting time differences and all shooting time differences between adjacent images are calculated. An average value is calculated. Then, all the shooting time differences are compared with a weighted average value obtained by weighting the average value, and two images that have obtained a shooting time difference exceeding the weighted average value are set as a category separation position, and a plurality of image groups are provided. It is classified into the category.
このように第3の画像分類装置および方法においては、すべての撮影時間差の重みづけ平均値をカテゴリの区切り位置を決定するためのしきい値としていることから、画像を分類するためのしきい値が一定のしきい値ではなく、分類の対象となる画像群に含まれる画像の実際の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、分類の対象となる画像群の撮影時間差に応じて、画像群を複数のカテゴリに精度良く分類することができる。 As described above, in the third image classification apparatus and method, since the weighted average value of all the photographing time differences is used as a threshold value for determining the category separation position, the threshold value for classifying the images. Is not a fixed threshold value, but a threshold value adaptively changed in accordance with the actual photographing time difference of images included in the image group to be classified. Therefore, it is possible to classify the image group into a plurality of categories with high accuracy according to the photographing time difference of the image group to be classified.
また、平均値を求めるに際し、撮影時間差が所定の設定値を超えている場合に撮影時間差を設定値により置換することにより、無意味に大きな撮影時間差により、撮影時間差の平均値、平均値を用いたポアソン分布の確率変数から得られるしきい値、および平均値を重みづけた重みづけ平均値の変動が大きくなることを防止できるため、より精度良く画像を分類することができる。 Also, when obtaining the average value, if the shooting time difference exceeds the preset value, the shooting time difference is replaced with the set value, so that the average value and average value of the shooting time difference are used due to the meaningless large shooting time difference. Since it is possible to prevent fluctuations in the threshold value obtained from the Poisson distribution random variable and the weighted average value obtained by weighting the average value, it is possible to classify the images with higher accuracy.
また、分類されたカテゴリ毎の画像群に対する分類処理を、分類処理が行われる毎に繰り返し行うことにより、画像を階層化して分類することができる。 Further, by repeatedly performing the classification process on the classified image group for each grouped image every time the classification process is performed, the images can be classified in a hierarchical manner.
また、画像群または分類されたカテゴリ毎の画像群における、ポアソン分布の確率関数から得られるしきい値および重みづけ平均値が、あらかじめ定められた最小値以下となる場合に分類処理を終了することにより、撮影時間差が短い2つの画像が異なるカテゴリに分類されてしまうことを防止することができる。 Also, the classification process is terminated when the threshold value and the weighted average value obtained from the Poisson distribution probability function in the image group or the image group for each classified category are equal to or less than a predetermined minimum value. Thus, it is possible to prevent two images having a short photographing time difference from being classified into different categories.
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の第1の実施形態による画像分類装置の構成を示す概略ブロック図である。図1に示すように第1の実施形態による画像分類装置1は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置1を構成する各部の制御を行うCPU12と、CPU12を動作させるプログラム、後述する画像分類プログラム、画像を閲覧するためのビューアソフトおよび各種定数等が記録されているROMおよびCPU12が処理を実行する際の作業領域となるRAMにより構成されるシステムメモリ14と、種々の指示を装置1に対して行うためのキーボードおよびマウス等からなる入力部16と、各種表示を行う液晶モニタ等からなる表示部18とを備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a schematic block diagram showing the configuration of an image classification apparatus according to the first embodiment of the present invention. As shown in FIG. 1, the
また、画像分類装置1は、画像データを記録したメモリカード2から画像データを読み出したり、メモリカード2に画像データを記録したりするためのカードスロット20と、画像データをJPEGに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部22と、画像データやCPU12が実行する各種プログラム等を記録するハードディスク24と、システムメモリ14、カードスロット20およびハードディスク24を制御するメモリ制御部26と、表示部18の表示を制御する表示制御部28とを備える。
The
また、画像分類装置1は、ハードディスク24に作成された複数のフォルダのうち、ユーザが所望する処理対象のフォルダに保存された画像を複数のカテゴリに階層化して分類する分類部30を備える。
The
以下、第1の実施形態における分類部30が行う画像の分類処理について説明する。なお、本実施形態においては処理対象のフォルダには複数の画像が保存されているものとする。図2は第1の実施形態における分類処理のフローチャートである。ユーザが入力部16から画像分類の指示を行うことにより分類部30が処理を開始し、まず、処理対象のフォルダに保存されている画像を撮影日時の昇順にソートし(ステップST1)、処理対象のフォルダに保存されている画像が3以上あるか否かを判定する(ステップST2)。
Hereinafter, an image classification process performed by the
ステップST2が否定された場合、すなわち処理対象のフォルダに画像が2つのみ保存されている場合には、後述する2画像分類処理を行う(ステップST3)。ステップST2が肯定されると、撮影日時が隣接する画像間の撮影時間差の平均値である平均撮影時間差を算出する処理を行う(ステップST4)。以下、平均時間差算出処理について説明する。 If step ST2 is negative, that is, if only two images are stored in the processing target folder, a two-image classification process described later is performed (step ST3). If step ST2 is affirmed, a process of calculating an average photographing time difference that is an average value of photographing time differences between adjacent images with photographing dates and times is performed (step ST4). Hereinafter, the average time difference calculation process will be described.
図3は平均時間差算出処理のフローチャートである。まず、処理対象の画像を撮影日時が最も古い画像に設定し(i=1、ステップST21)、撮影時間差の合計値を0に設定する(ステップST22)。そして、処理対象画像と撮影日時が次に古い次画像との撮影時間差があらかじめ設定した設定値B0よりも大きいか否かを判定する(ステップST23)。ステップST23が肯定されると、新たな合計値を現在の合計値に設定値B0を加算した値に設定する(ステップST24)。ステップST23が否定されると、新たな合計値を現在の合計値に撮影時間差を加算した値に設定する(ステップST25)。 FIG. 3 is a flowchart of the average time difference calculation process. First, the image to be processed is set to the image with the oldest shooting date (i = 1, step ST21), and the total value of the shooting time differences is set to 0 (step ST22). Then, it is determined whether the photographing time difference between the processing target image and the next image with the next photographing date and time is larger than a preset setting value B0 (step ST23). If step ST23 is affirmed, the new total value is set to a value obtained by adding the set value B0 to the current total value (step ST24). If step ST23 is negative, the new total value is set to a value obtained by adding the photographing time difference to the current total value (step ST25).
そして、処理対象画像を上記次画像に設定し(ステップST26)、新たに設定した処理対象画像に次画像が存在するか否かを判定する(ステップST27)。ステップST27が肯定されるとステップST23に戻り、ステップST23以降の処理を繰り返す。ステップST27が否定されると、合計値を処理対象のフォルダに保存されたすべての画像数から1を減算した値により除算することにより平均撮影時間差を算出し(ステップST28)、平均撮影時間差算出処理を終了する。 Then, the processing target image is set as the next image (step ST26), and it is determined whether or not the next image exists in the newly set processing target image (step ST27). If step ST27 is affirmed, the process returns to step ST23, and the processes after step ST23 are repeated. If step ST27 is negative, the average photographing time difference is calculated by dividing the total value by the value obtained by subtracting 1 from the total number of images stored in the processing target folder (step ST28), and the average photographing time difference calculating process. Exit.
図2に戻り、ステップST4に続いて、ポアソン分布の確率変数からしきい値Th1を算出する(ステップST5)。以下、しきい値Th1の算出について説明する。 Returning to FIG. 2, following step ST4, a threshold value Th1 is calculated from a random variable of Poisson distribution (step ST5). Hereinafter, calculation of the threshold value Th1 will be described.
ここで、「ポアソン分布の確率関数」とは、単位時間内に平均λ回起こる事象Aがあるときに、単位時間内に事象Aがx回起こる確率P(x)を算出するための関数であり、下記の式(1)により表される。
式(1)より、1分間に平均λ回撮影を行う人がいるときに、t分間に同一のイベントにおいて1度も撮影を行わない確率Pを求めるための関数を求めると下記の式(2)となる。
ここで、確率P(0)をあらかじめ設定しておき、画像間の撮影時間差からλを算出すると、tは下記の式(3)により求めることができる。
本実施形態においては、求めたtの値を「ポアソン分布の確率関数から得られるしきい値」とするものである。具体的には、式(1)〜(3)における確率P(0)の値を10%程度の値に設定しておき、ステップST4において算出した平均時間差から単位時間あたりの撮影回数λを算出することによりtの値を算出することができ、算出したtの値をしきい値Th1とするものである。 In the present embodiment, the obtained value of t is assumed to be a “threshold value obtained from a Poisson distribution probability function”. Specifically, the value of the probability P (0) in the equations (1) to (3) is set to a value of about 10%, and the number of times of photographing λ per unit time is calculated from the average time difference calculated in step ST4. By doing so, the value of t can be calculated, and the calculated value of t is set as the threshold value Th1.
続いて、算出したしきい値Th1があらかじめ定めたしきい値の最小値Tmin0よりも大きいか否かを判定する(ステップST6)。ステップST6が肯定されると、処理対象の画像を撮影日時が最も古い画像に設定し(i=1)、画像を分類するカテゴリナンバーを1に設定し、処理対象の画像のカテゴリナンバーを現在のカテゴリナンバーに設定する(ステップST7)。そして、処理対象画像と撮影日時が次に古い次画像との撮影時間差がしきい値Th1よりも大きいか否かを判定する(ステップST8)。ステップST8が肯定されると、新たなカテゴリナンバーを現在のカテゴリナンバーに1を加算した値に設定し(ステップST9)、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する(ステップST10)。なお、ステップST8が否定された場合はステップST10に進み、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する。 Subsequently, it is determined whether or not the calculated threshold value Th1 is larger than a predetermined minimum threshold value Tmin0 (step ST6). If step ST6 is affirmed, the image to be processed is set to the image with the oldest shooting date (i = 1), the category number for classifying the image is set to 1, and the category number of the image to be processed is set to the current number. The category number is set (step ST7). Then, it is determined whether the photographing time difference between the processing target image and the next image with the next photographing date and time is larger than the threshold value Th1 (step ST8). If step ST8 is positive, a new category number is set to a value obtained by adding 1 to the current category number (step ST9), and the category number of the next image is set to the current category number (step ST10). If step ST8 is negative, the process proceeds to step ST10, where the category number of the next image is set to the current category number.
続いて、処理対象画像を上記次画像に設定し(ステップST11)、新たに設定した処理対象画像に次画像が存在するか否かを判定する(ステップST12)。ステップST12が肯定されるとステップST8に戻り、ステップST8以降の処理を繰り返す。ステップST12が否定されると、処理を終了する。 Subsequently, the processing target image is set as the next image (step ST11), and it is determined whether or not the next image exists in the newly set processing target image (step ST12). When step ST12 is affirmed, the process returns to step ST8, and the processes after step ST8 are repeated. If step ST12 is negative, the process ends.
一方、ステップST6が否定されると、処理対象のフォルダに保存されたすべての画像のカテゴリナンバーを1に設定し(ステップST13)、処理を終了する。この場合、処理対象のフォルダに保存された画像は何ら分類されないこととなる。 On the other hand, if step ST6 is negative, the category number of all images stored in the processing target folder is set to 1 (step ST13), and the process is terminated. In this case, images stored in the processing target folder are not classified at all.
次いで、2画像分類処理について説明する。図4は2画像分類処理のフローチャートである。まず、2つの画像の撮影時間差があらかじめ定めたしきい値の最小値Tmin0よりも大きいか否かを判定する(ステップST31)。ステップST31が肯定されると、撮影日時が最初の画像のカテゴリナンバーを1に設定するとともに、他方の画像のカテゴリナンバーを2に設定し(ステップST32)、処理を終了する。ステップST31が否定されると、双方の画像のカテゴリナンバーを1に設定し(ステップST33)、処理を終了する。 Next, the two-image classification process will be described. FIG. 4 is a flowchart of the two-image classification process. First, it is determined whether or not the difference in shooting time between two images is greater than a predetermined threshold minimum value Tmin0 (step ST31). If step ST31 is positive, the category number of the first image with the shooting date and time is set to 1 and the category number of the other image is set to 2 (step ST32), and the process is terminated. If step ST31 is negative, the category number of both images is set to 1 (step ST33), and the process ends.
なお、上記のように処理対象のフォルダに保存されたすべての画像を分類した後、分類部30はカテゴリに毎に新たなフォルダを作成し、各フォルダにそれぞれに分類された画像を保存する。
In addition, after classifying all the images stored in the processing target folder as described above, the
また、分類部30はさらに各フォルダに分類された画像を処理対象のフォルダとして、さらに分類処理を行うようにしてもよい。各フォルダにおける画像の分類処理は図2に示す処理と同一であるため詳細な説明は省略する。なお、この分類処理は、図2のステップST6が否定されるまで繰り返し行うようにしてもよく、あらかじめ定めた回数のみ繰り返し行うようにしてもよい。このように、分類処理を繰り返し行うことにより、図5に示すように処理対象のフォルダに保存された画像を階層化して分類することができる。
Further, the
このように、第1の実施形態においては、ポアソン分布の確率関数から得られるしきい値Th1をカテゴリの区切り位置を決定するためのしきい値としていることから、画像を分類するためのしきい値が一定のしきい値ではなく、処理対象のフォルダに保存された複数の画像の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、分類の対象となる複数の画像の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。 As described above, in the first embodiment, the threshold Th1 obtained from the Poisson distribution probability function is used as a threshold for determining the category separation position. The value is not a constant threshold value, but a threshold value adaptively changed according to a difference in shooting time between a plurality of images stored in the processing target folder. Therefore, it is possible to classify a plurality of images into a plurality of categories with high accuracy according to a difference in shooting time between a plurality of images to be classified.
また、平均撮影時間差算出処理において、撮影時間差があらかじめ設定した設定値B0を超えている場合に撮影時間差を設定値B0により置換することにより、無意味に大きな撮影時間差により、ポアソン分布の確率変数から得られるしきい値Th1の変動が大きくなることを防止できるため、より精度良く画像を分類することができる。 Further, in the average photographing time difference calculation process, when the photographing time difference exceeds the preset setting value B0, the photographing time difference is replaced by the setting value B0, so that the meaningless large photographing time difference causes a random variable of the Poisson distribution. Since it is possible to prevent the fluctuation of the obtained threshold value Th1 from becoming large, it is possible to classify the images with higher accuracy.
また、分類されたカテゴリ毎の画像群に対する分類処理を分類処理が行われる毎に繰り返し行うことにより、画像を階層化して分類することができる。 In addition, by repeatedly performing the classification process on the classified image group for each grouped image every time the classification process is performed, the images can be classified in a hierarchical manner.
また、ポアソン分布の確率関数から得られるしきい値Th1が、あらかじめ定められた最小値Tmin0以下となる場合に分類処理を終了することにより、撮影時間差が短い2つの画像が異なるカテゴリに分類されてしまうことを防止することができる。 In addition, when the threshold value Th1 obtained from the Poisson distribution probability function is equal to or smaller than a predetermined minimum value Tmin0, the classification process is ended, so that two images having a short photographing time difference are classified into different categories. Can be prevented.
次いで、本発明の第2の実施形態について説明する。図6は本発明の第2の実施形態による画像分類装置の構成を示す概略ブロック図である。なお、第2の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第2の実施形態による画像分類装置1′は、第1の実施形態による画像分類装置1における分類部30とは異なる分類処理を行う分類部32を備えたものである。
Next, a second embodiment of the present invention will be described. FIG. 6 is a schematic block diagram showing the configuration of the image classification apparatus according to the second embodiment of the present invention. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted here. The
次いで、第2の実施形態における分類部32が行う画像の分類処理について説明する。なお、本実施形態においては処理対象のフォルダには複数の画像が保存されているものとする。図7は第2の実施形態における分類処理のフローチャートである。ユーザが入力部16から画像分類の指示を行うことにより分類部32が処理を開始し、まず、処理対象のフォルダに保存されている画像を撮影日時の昇順にソートし(ステップST41)、処理対象のフォルダに保存されている画像が3以上あるか否かを判定する(ステップST42)。
Next, image classification processing performed by the
ステップST42が否定された場合、すなわち処理対象のフォルダに画像が2つのみ保存されている場合には、図4に示す2画像分類処理を行う(ステップST43)。ステップST42が肯定されると、図3に示す平均撮影時間差算出処理を行う(ステップST44)。続いて、撮影時間差の標準偏差を算出する(ステップST45)。標準偏差は下記の式(4)により算出する。なお、式(4)においてσが標準偏差、nは処理対象のフォルダに保存された画像数−1、xmは平均撮影時間差、xjは撮影時間差である。
続いて、処理対象の画像を撮影日時が最も古い画像に設定し(i=1)、画像を分類するカテゴリナンバーを1に設定し、処理対象の画像のカテゴリナンバーを現在のカテゴリナンバーに設定する(ステップST46)。そして、処理対象画像と撮影日時が次に古い次画像との撮影時間差の絶対値を標準偏差により正規化した値(|xj−xm|/σ)が、標準偏差に基づいて定めたしきい値Th2より大きいか否かを判定する(ステップST47)。ここで、しきい値Th2の値としては、σまたは2σ等の値を用いればよい。 Subsequently, the image to be processed is set to the image with the oldest shooting date (i = 1), the category number for classifying the image is set to 1, and the category number of the image to be processed is set to the current category number. (Step ST46). Then, a value (| xj−xm | / σ) obtained by normalizing the absolute value of the photographing time difference between the processing target image and the next image with the next oldest photographing date by the standard deviation is determined based on the standard deviation. It is determined whether it is larger than Th2 (step ST47). Here, a value such as σ or 2σ may be used as the value of the threshold Th2.
ステップST47が肯定されると、新たなカテゴリナンバーを現在のカテゴリナンバーに1を加算した値に設定し(ステップST48)、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する(ステップST49)。なお、ステップST47が否定された場合はステップST49に進み、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する。 If step ST47 is affirmed, the new category number is set to a value obtained by adding 1 to the current category number (step ST48), and the category number of the next image is set to the current category number (step ST49). If step ST47 is negative, the process proceeds to step ST49, where the category number of the next image is set to the current category number.
続いて、処理対象画像を上記次画像に設定し(ステップST50)、新たに設定した処理対象画像に次画像が存在するか否かを判定する(ステップST51)。ステップST51が肯定されるとステップST47に戻り、ステップST47以降の処理を繰り返す。ステップST51が否定されると、処理を終了する。 Subsequently, the processing target image is set as the next image (step ST50), and it is determined whether or not the next image exists in the newly set processing target image (step ST51). If step ST51 is affirmed, the process returns to step ST47, and the processes after step ST47 are repeated. If step ST51 is negative, the process ends.
このように、第2の実施形態においては、すべての撮影時間差と平均撮影時間差との差を標準偏差により正規化した値と、標準偏差に基づいて定めたしきい値Th2とを比較していることから、分類を行うためのしきい値との比較が、統計的に正規化された状態で行われることとなる。したがって、一定のしきい値ではなく、撮影時間差の正規分布に応じて適応的に変更されたしきい値により画像を分類することとなる。したがって、分類の対象となる複数の画像の撮影時間差に応じて、複数の画像を複数のカテゴリに精度良く分類することができる。 As described above, in the second embodiment, the value obtained by normalizing the difference between all the photographing time differences and the average photographing time difference by the standard deviation is compared with the threshold value Th2 determined based on the standard deviation. Therefore, the comparison with the threshold value for performing classification is performed in a statistically normalized state. Therefore, the images are classified not by a fixed threshold value but by a threshold value adaptively changed according to the normal distribution of the photographing time difference. Therefore, it is possible to classify a plurality of images into a plurality of categories with high accuracy according to a difference in shooting time between a plurality of images to be classified.
また、平均撮影時間差算出処理において、撮影時間差があらかじめ設定した設定値B0を超えている場合に撮影時間差を設定値B0により置換することにより、無意味に大きな撮影時間差により、平均撮影時間差さらには標準偏差の変動が大きくなることを防止できるため、より精度良く画像を分類することができる。 Also, in the average shooting time difference calculation process, when the shooting time difference exceeds the preset setting value B0, the shooting time difference is replaced by the setting value B0, so that the average shooting time difference or even the standard is increased due to a meaningless large shooting time difference. Since it is possible to prevent the variation in deviation from becoming large, it is possible to classify images with higher accuracy.
また、分類されたカテゴリ毎の画像群に対する分類処理を分類処理が行われる毎に繰り返し行うことにより、画像を階層化して分類することができる。 In addition, by repeatedly performing the classification process on the classified image group for each grouped image every time the classification process is performed, the images can be classified in a hierarchical manner.
なお、上記第2の実施形態においては、処理対象画像と、撮影日時が次に古い次画像との撮影時間差の絶対値を標準偏差により正規化した値(|xj−xm|/σ)が、標準偏差に基づいて定めたしきい値Th2より大きいか否かを判定しているが、処理対象画像と、撮影日時が次に古い次画像との撮影時間差の絶対値を分散σ2により正規化した値(|xj−xm|/σ2)が、分散に基づいて定めたしきい値より大きいか否かを判定してもよく、撮影時間差の偏差値を求め、求めた偏差値を標準偏差に基づいてあらかじめ定めたしきい値より大きいか否かを判定するようにしてもよい。 In the second embodiment, the value (| xj−xm | / σ) obtained by normalizing the absolute value of the photographing time difference between the processing target image and the next image having the next oldest photographing date and time by the standard deviation is Although it is determined whether or not the threshold value Th2 is larger than the threshold value Th2 determined based on the standard deviation, the absolute value of the photographing time difference between the processing target image and the next image with the next photographing date and time is normalized by the variance σ 2 It may be determined whether or not the obtained value (| xj−xm | / σ 2 ) is larger than a threshold value determined based on the variance, the deviation value of the photographing time difference is obtained, and the obtained deviation value is used as the standard deviation. Whether or not the threshold value is larger than a predetermined threshold may be determined based on the above.
次いで、本発明の第3の実施形態について説明する。図8は本発明の第3の実施形態による画像分類装置の構成を示す概略ブロック図である。なお、第3の実施形態において第1の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第3の実施形態による画像分類装置1″は、第1の実施形態による画像分類装置1における分類部30とは異なる分類処理を行う分類部34を備えたものである。
Next, a third embodiment of the present invention will be described. FIG. 8 is a schematic block diagram showing the configuration of an image classification apparatus according to the third embodiment of the present invention. Note that in the third embodiment, the same reference numerals are assigned to the same configurations as those in the first embodiment, and detailed description thereof is omitted here. The
以下、第3の実施形態における分類部34が行う画像の分類処理について説明する。なお、本実施形態においては処理対象のフォルダには複数の画像が保存されているものとする。図9は第3の実施形態における分類処理のフローチャートである。ユーザが入力部16から画像分類の指示を行うことにより分類部34が処理を開始し、まず、処理対象のフォルダに保存されている画像を撮影日時の昇順にソートし(ステップST61)、処理対象のフォルダに保存されている画像が3以上あるか否かを判定する(ステップST62)。
The image classification process performed by the
ステップST62が否定された場合、すなわち処理対象のフォルダに画像が2つのみ保存されている場合には、図4に示す2画像分類処理を行う(ステップST63)。ステップST62が肯定されると、図3に示す平均撮影時間差算出処理を行う(ステップST64)。続いて、算出した平均撮影時間差(Ts0とする)があらかじめ定めたしきい値の最小値Tmin1よりも大きいか否かを判定する(ステップST65)。ステップST65が肯定されると、処理対象の画像を撮影日時が最も古い画像に設定し、画像を分類するカテゴリナンバーを1に設定し、処理対象の画像のカテゴリナンバーを現在のカテゴリナンバーに設定する(ステップST66)。そして、処理対象画像と撮影日時が次に古い次画像との撮影時間差が、重み係数α(αは経験的に定めた値)により重みづけした平均撮影時間差からなるしきい値Th3(=α×Ts0)よりも大きいか否かを判定する(ステップST67)。ステップST67が肯定されると、新たなカテゴリナンバーを現在のカテゴリナンバーに1を加算した値に設定し(ステップST68)、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する(ステップST69)。なお、ステップST67が否定された場合はステップST69に進み、次画像のカテゴリナンバーを現在のカテゴリナンバーに設定する。 If step ST62 is negative, that is, if only two images are stored in the processing target folder, the two-image classification process shown in FIG. 4 is performed (step ST63). If step ST62 is affirmed, an average photographing time difference calculation process shown in FIG. 3 is performed (step ST64). Subsequently, it is determined whether or not the calculated average photographing time difference (Ts0) is larger than a predetermined minimum threshold value Tmin1 (step ST65). If step ST65 is positive, the image to be processed is set to the image with the oldest shooting date, the category number for classifying the image is set to 1, and the category number of the image to be processed is set to the current category number. (Step ST66). Then, the threshold Th3 (= α ×), in which the difference in shooting time between the processing target image and the next image with the next shooting date and time is an average shooting time difference weighted by a weighting coefficient α (α is a value determined empirically). It is determined whether it is larger than (Ts0) (step ST67). If step ST67 is positive, a new category number is set to a value obtained by adding 1 to the current category number (step ST68), and the category number of the next image is set to the current category number (step ST69). If step ST67 is negative, the process proceeds to step ST69, where the category number of the next image is set to the current category number.
続いて、処理対象画像を上記次画像に設定し(ステップST70)、新たに設定した処理対象画像に次画像が存在するか否かを判定する(ステップST71)。ステップST71が肯定されるとステップST67に戻り、ステップST67以降の処理を繰り返す。ステップST71が否定されると、処理を終了する。 Subsequently, the processing target image is set as the next image (step ST70), and it is determined whether or not the next image exists in the newly set processing target image (step ST71). If step ST71 is affirmed, the process returns to step ST67, and the processes after step ST67 are repeated. If step ST71 is negative, the process ends.
一方、ステップST65が否定されると、処理対象のフォルダに保存されたすべての画像のカテゴリナンバーを1に設定し(ステップST72)、処理を終了する。 On the other hand, if step ST65 is negative, the category number of all images stored in the folder to be processed is set to 1 (step ST72), and the process ends.
このように、第3の実施形態においては、重みづけした平均撮影時間差をカテゴリの区切り位置を決定するためのしきい値Th3としていることから、画像を分類するためのしきい値が一定のしきい値ではなく、処理対象のフォルダに保存された複数の画像の撮影時間差に応じて適応的に変更されたしきい値となる。したがって、分類の対象となる複数の画像の撮影時間差に応じて、画像群を複数のカテゴリに精度良く分類することができる。 As described above, in the third embodiment, since the weighted average photographing time difference is set as the threshold value Th3 for determining the category separation position, the threshold value for classifying the images is constant. It is not a threshold value but a threshold value that is adaptively changed according to a difference in shooting time between a plurality of images stored in a processing target folder. Therefore, it is possible to classify the image group into a plurality of categories with high accuracy according to the difference in shooting time between the plurality of images to be classified.
また、平均撮影時間差算出処理において、撮影時間差があらかじめ設定した設定値B0を超えている場合に撮影時間差を設定値B0により置換することにより、無意味に大きな撮影時間差により、平均撮影時間差の変動、さらにはしきい値Th3の変動が大きくなることを防止できるため、より精度良く画像を分類することができる。 Further, in the average photographing time difference calculation process, when the photographing time difference exceeds the preset setting value B0, the photographing time difference is replaced with the setting value B0, so that the fluctuation of the average photographing time difference due to the meaningless large photographing time difference, Furthermore, since it is possible to prevent fluctuations in the threshold value Th3 from becoming large, it is possible to classify images with higher accuracy.
また、分類されたカテゴリ毎の画像群に対する分類処理を分類処理が行われる毎に繰り返し行うことにより、画像を階層化して分類することができる。 In addition, by repeatedly performing the classification process on the classified image group for each grouped image every time the classification process is performed, the images can be classified in a hierarchical manner.
また、平均撮影時間差Ts0が、あらかじめ定められた最小値Tmin1以下となる場合に、分類処理を終了することにより、撮影時間差が短い場合に画像が異なるカテゴリに分類されてしまうことを防止することができる。 Further, when the average photographing time difference Ts0 is equal to or smaller than a predetermined minimum value Tmin1, it is possible to prevent the images from being classified into different categories when the photographing time difference is short by ending the classification process. it can.
なお、上記第1から第3の実施形態においては、処理対象のフォルダに画像が3以上保存されているか否かを判定し、この判定が否定された場合に2画像分類処理を行っているが、あらかじめ画像が2枚であることが分かっている場合には、この判定を行うことなく、直ちに2画像分類処理を行うようにしてもよい。また、2画像分類処理専用の分類部を設けるようにしてもよい。 In the first to third embodiments, it is determined whether or not three or more images are stored in the processing target folder. If this determination is negative, the two-image classification process is performed. If it is known in advance that there are two images, the two-image classification process may be performed immediately without performing this determination. Further, a classification unit dedicated to the two-image classification process may be provided.
また、上記第1から第3の実施形態においては、平均撮影時間差算出処理において、撮影時間差があらかじめ設定した設定値B0よりも大きいか否かを判定し、この判定が肯定された場合には、撮影時間差を設定値B0により置換して平均撮影時間差を算出しているが、この処理を行うことなく、撮影時間差のみを用いて平均撮影時間差を算出してもよい。 In the first to third embodiments, in the average photographing time difference calculation process, it is determined whether or not the photographing time difference is larger than a preset setting value B0. If this determination is affirmative, Although the average photographing time difference is calculated by replacing the photographing time difference with the set value B0, the average photographing time difference may be calculated using only the photographing time difference without performing this process.
また、上記第1から第3の実施形態において平均撮影時間差を算出する際に、処理対象のフォルダまたはカテゴリに分類後のフォルダに保存された撮影日時が最も新しい画像と撮影日時が最も古い画像との撮影時間差を、(画像数−1)により除算することにより算出してもよい。 In addition, when calculating the average photographing time difference in the first to third embodiments, an image having the latest photographing date and time and an image having the oldest photographing date and time saved in the folder to be processed or the folder classified into the category are used. May be calculated by dividing the difference in shooting time by (number of images-1).
以上、本発明の第1から第3の実施形態に係る装置について説明したが、コンピュータを、上記の分類部30,32,34に対応する手段として機能させ、図2,3,4,7,9に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
Although the apparatus according to the first to third embodiments of the present invention has been described above, the computer is caused to function as means corresponding to the above-described
図10は、分類部30,32,34が行う処理を行わせるプログラムを組み込んだビューアソフトの表示画面の例を示す図である。図10に示すようにこの画面50には、フォルダのツリー構造を表示するフォルダ表示エリア50Aと、ユーザが指定したフォルダに保存された画像のサムネイル画像の一覧を表示するサムネイル画像表示エリア50Bと、各種処理を行わせるためのボタンを表示するボタン表示エリア50Cとが含まれている。
FIG. 10 is a diagram illustrating an example of a display screen of viewer software in which a program for performing the processing performed by the
フォルダ表示エリア50Aには、01,02,03の3つのフォルダが表示されている。なお、各フォルダには複数の画像が保存されているものとする。また、ボタン表示エリア50Cには、画像を拡大するための拡大ボタン、プリントを行うためのプリントボタンに加えて、分類処理を実行させるための分類ボタン50Dが含まれている。
Three
そして、ユーザがフォルダ表示エリア50Aにおいて処理対象のフォルダを指定した後に、分類ボタン50Dをクリックすることにより、ビューアソフトが分類処理を実行する。例えば、01フォルダを指定後に分類ボタン50Dをクリックすると、01フォルダに保存された画像が分類されることとなる。これにより、01フォルダに保存された画像が階層化されて分類され、図11に示すように、フォルダ表示エリア50Aには、階層化されたフォルダが表示されることとなる。
Then, after the user designates the folder to be processed in the
1,1′,1″ 画像分類装置
2 メモリカード
12 CPU
14 システムメモリ
16 入力部
18 表示部
20 カードスロット
22 圧縮解凍部
24 ハードディスク
26 メモリ制御部
28 表示制御部
30,32,34 分類部
1,1 ', 1 "
14
Claims (17)
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、すべての該撮影時間差と前記平均値を用いたポアソン分布の確率関数から得られるしきい値とを比較し、前記しきい値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う分類手段を備えたことを特徴とする画像分類装置。 In an image classification device for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories,
When the image groups are arranged in ascending or descending order of shooting date and time, a shooting time difference between adjacent images and an average value of all the shooting time differences are calculated, and a Poisson distribution using all the shooting time differences and the average value A classification that classifies the image group into the plurality of categories, with a threshold value obtained from the probability function of the image and a difference between the two images having the imaging time difference exceeding the threshold as the category separation position. An image classification apparatus comprising classification means for performing processing.
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、該すべての撮影時間差と前記平均値との差を前記すべての撮影時間差の分散または標準偏差に基づいて正規化した値と、前記分散または前記標準偏差に基づくしきい値とを比較し、該しきい値を超える前記正規化した値を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う分類手段を備えたことを特徴とする画像分類装置。 In an image classification device for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories,
When the image groups are arranged in ascending or descending order of shooting date and time, the shooting time difference between adjacent images and the average value of all the shooting time differences are calculated, and the difference between all the shooting time differences and the average value is calculated as described above. Two values obtained by comparing the normalized value based on the variance or standard deviation of all the photographing time differences with the threshold value based on the variance or the standard deviation and obtaining the normalized value exceeding the threshold value An image classification apparatus comprising classification means for performing classification processing for classifying the image group into the plurality of categories, with an image as the category separation position.
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、該すべての撮影時間差と前記平均値を重みづけした重みづけ平均値とを比較し、前記重みづけ平均値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う分類手段を備えたことを特徴とする画像分類装置。 In an image classification device for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories,
When the image groups are arranged in ascending order or descending order of shooting date / time, a shooting time difference between adjacent images and an average value of all the shooting time differences are calculated, and a weight weighting all the shooting time differences and the average value Classification means for performing a classification process of comparing the group of images into the plurality of categories, with a comparison between the averaged values and the two images obtained with the photographing time difference exceeding the weighted average as the category separation position An image classification apparatus comprising:
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、
すべての該撮影時間差と前記平均値を用いたポアソン分布の確率関数から得られるしきい値とを比較し、
前記しきい値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行うことを特徴とする画像分類方法。 In an image classification method for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories,
When arranging the image group in ascending or descending order of shooting date and time, calculate the shooting time difference between adjacent images and the average value of all the shooting time difference,
Comparing all the shooting time differences with a threshold value obtained from a Poisson distribution probability function using the average value,
An image classification method comprising: performing classification processing for classifying the image group into the plurality of categories, with two images obtained with the photographing time difference exceeding the threshold as the category separation position.
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、
該すべての撮影時間差と前記平均値との差を前記すべての撮影時間差の分散または標準偏差に基づいて正規化した値と、前記分散または前記標準偏差に基づくしきい値とを比較し、
該しきい値を超える前記正規化した値を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行うことを特徴とする画像分類方法。 In an image classification method for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories,
When arranging the image group in ascending or descending order of shooting date and time, calculate the shooting time difference between adjacent images and the average value of all the shooting time difference,
Comparing the difference between all the shooting time differences and the average value based on the variance or standard deviation of all the shooting time differences with a threshold value based on the variance or the standard deviation;
An image classification method comprising: performing a classification process for classifying the image group into the plurality of categories, with the interval between the two images obtained with the normalized value exceeding the threshold as the category separation position.
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出し、
該すべての撮影時間差と前記平均値を重みづけした重みづけ平均値とを比較し、
前記重みづけ平均値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行うことを特徴とする画像分類方法。 In an image classification method for classifying an image group consisting of a plurality of images to which shooting date / time information is given into a plurality of categories,
When arranging the image group in ascending or descending order of shooting date and time, calculate the shooting time difference between adjacent images and the average value of all the shooting time difference,
Comparing all the shooting time differences with a weighted average value obtained by weighting the average value;
An image classification method, wherein classification processing is performed for classifying the image group into the plurality of categories, with two images obtained with the photographing time difference exceeding the weighted average value as the category separation position.
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出する手順と、
すべての該撮影時間差と前記平均値を用いたポアソン分布の確率関数から得られるしきい値とを比較する手順と、
前記しきい値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う手順とを有することを特徴とするプログラム。 In a program for causing a computer to execute an image classification method for classifying an image group composed of a plurality of images to which shooting date / time information is assigned into a plurality of categories,
A procedure for calculating a difference in shooting time between adjacent images and an average value of all the shooting time differences when the image groups are arranged in ascending or descending order of shooting date and time,
Comparing all the imaging time differences with a threshold value obtained from a probability function of a Poisson distribution using the average value;
And a procedure for performing a classification process for classifying the image group into the plurality of categories with the interval between the two images having the imaging time difference exceeding the threshold as the category separation position.
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出する手順と、
該すべての撮影時間差と前記平均値との差を前記すべての撮影時間差の分散または標準偏差に基づいて正規化した値と、前記分散または前記標準偏差に基づくしきい値とを比較する手順と、
該しきい値を超える前記正規化した値を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う手順とを有することを特徴とするプログラム。 In a program for causing a computer to execute an image classification method for classifying an image group composed of a plurality of images to which shooting date / time information is assigned into a plurality of categories,
A procedure for calculating a difference in shooting time between adjacent images and an average value of all the shooting time differences when the image groups are arranged in ascending or descending order of shooting date and time,
Comparing a difference between all the photographing time differences and the average value based on a variance or standard deviation of all the photographing time differences and a threshold based on the variance or the standard deviation;
And performing a classification process for classifying the group of images into the plurality of categories, with the interval between the two images that have obtained the normalized value exceeding the threshold as the category separation position. program.
前記画像群を撮影日時の昇順または降順に並べた場合における、隣接する画像間の撮影時間差およびすべての該撮影時間差の平均値を算出する手順と、
該すべての撮影時間差と前記平均値を重みづけした重みづけ平均値とを比較する手順と、
前記重みづけ平均値を超える前記撮影時間差を得た2つの画像間を前記カテゴリの区切り位置として、前記画像群を前記複数のカテゴリに分類する分類処理を行う手順とを有することを特徴とするプログラム。 In a program for causing a computer to execute an image classification method for classifying an image group composed of a plurality of images to which shooting date / time information is assigned into a plurality of categories,
A procedure for calculating a difference in shooting time between adjacent images and an average value of all the shooting time differences when the image groups are arranged in ascending or descending order of shooting date and time,
A procedure for comparing all the photographing time differences with a weighted average value obtained by weighting the average value;
A program for performing a classification process for classifying the image group into the plurality of categories, with two images obtained with the difference in photographing time exceeding the weighted average value as division positions of the categories. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005309229A JP2007122110A (en) | 2005-10-25 | 2005-10-25 | Image classification device, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005309229A JP2007122110A (en) | 2005-10-25 | 2005-10-25 | Image classification device, method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007122110A true JP2007122110A (en) | 2007-05-17 |
Family
ID=38145928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005309229A Pending JP2007122110A (en) | 2005-10-25 | 2005-10-25 | Image classification device, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007122110A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012017620A1 (en) * | 2010-08-04 | 2012-02-09 | パナソニック株式会社 | Image classification device, method, program, recording media with program thereon, and integrated circuit |
JP2012048641A (en) * | 2010-08-30 | 2012-03-08 | Nikon Systems Inc | Image classification device, image classification program, printer, imaging apparatus and cellular phone |
JP2012244634A (en) * | 2011-05-24 | 2012-12-10 | Canon Inc | Image clustering method |
KR101470904B1 (en) * | 2013-11-20 | 2014-12-09 | 김유식 | Method and system for providing video |
JP2017017695A (en) * | 2015-06-26 | 2017-01-19 | キヤノン株式会社 | Method, system and device for dividing image set for generating a plurality of event clusters |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348416A (en) * | 1993-06-08 | 1994-12-22 | Jeco Co Ltd | Data processor |
JP2005049968A (en) * | 2003-07-30 | 2005-02-24 | Seiko Epson Corp | Image management device |
US20060104520A1 (en) * | 2004-11-17 | 2006-05-18 | Eastman Kodak Company | Multi-tiered image clustering by event |
JP2007094762A (en) * | 2005-09-29 | 2007-04-12 | Sony Corp | Information processor, information processing method, and program |
-
2005
- 2005-10-25 JP JP2005309229A patent/JP2007122110A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348416A (en) * | 1993-06-08 | 1994-12-22 | Jeco Co Ltd | Data processor |
JP2005049968A (en) * | 2003-07-30 | 2005-02-24 | Seiko Epson Corp | Image management device |
US20060104520A1 (en) * | 2004-11-17 | 2006-05-18 | Eastman Kodak Company | Multi-tiered image clustering by event |
WO2006055730A2 (en) * | 2004-11-17 | 2006-05-26 | Eastman Kodak Company | Multi-tiered image clustering by event |
JP2007094762A (en) * | 2005-09-29 | 2007-04-12 | Sony Corp | Information processor, information processing method, and program |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012017620A1 (en) * | 2010-08-04 | 2012-02-09 | パナソニック株式会社 | Image classification device, method, program, recording media with program thereon, and integrated circuit |
US9058342B2 (en) | 2010-08-04 | 2015-06-16 | Panasonic Intellectual Property Corporation Of America | Image classification device, method, program, recording media with program thereon, and integrated circuit |
JP5739428B2 (en) * | 2010-08-04 | 2015-06-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Image classification apparatus, method, program, recording medium for recording program, and integrated circuit |
JP2012048641A (en) * | 2010-08-30 | 2012-03-08 | Nikon Systems Inc | Image classification device, image classification program, printer, imaging apparatus and cellular phone |
JP2012244634A (en) * | 2011-05-24 | 2012-12-10 | Canon Inc | Image clustering method |
KR101470904B1 (en) * | 2013-11-20 | 2014-12-09 | 김유식 | Method and system for providing video |
WO2015076537A1 (en) * | 2013-11-20 | 2015-05-28 | 김유식 | Video-providing method and video-providing system |
US11095954B2 (en) | 2013-11-20 | 2021-08-17 | Naver Corporation | Video-providing method and video-providing system |
JP2017017695A (en) * | 2015-06-26 | 2017-01-19 | キヤノン株式会社 | Method, system and device for dividing image set for generating a plurality of event clusters |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810454B2 (en) | Apparatus, method and program for image search | |
JP5993642B2 (en) | Information processing apparatus, control method thereof, and program | |
JP6711937B2 (en) | Image processing device, image processing method, and program | |
JP5358083B2 (en) | Person image search device and image search device | |
JP6039942B2 (en) | Information processing apparatus, control method thereof, and program | |
US11256904B2 (en) | Image candidate determination apparatus, image candidate determination method, program for controlling image candidate determination apparatus, and recording medium storing program | |
WO2010041377A1 (en) | Representative image display device and representative image selection method | |
JP6031278B2 (en) | Information processing apparatus, control method thereof, and program | |
JP2008165701A (en) | Image processing device, electronics equipment, image processing method, and program | |
JP2007122110A (en) | Image classification device, method and program | |
JP6822061B2 (en) | Information processing equipment, information processing methods, information processing systems and programs | |
JP2007094990A (en) | Image sorting device, method, and program | |
JP2011060024A (en) | Apparatus for selecting feature information applied for image recognition processing, and image recognition processing apparatus | |
EP3693920A1 (en) | Candidate image determination device, candidate image determination method, program for control of candidate image determination device, and recording medium for storing said program | |
JP4808579B2 (en) | Image evaluation apparatus and method, and program | |
JP2009123020A (en) | Information processor, information processing method, program and recording medium | |
JP2010225082A (en) | Image data management system and image data management method | |
JP4808512B2 (en) | Category importance setting apparatus and method, image importance setting apparatus and method, and program | |
JP2007233708A (en) | Image classification device, method and program | |
JP4717663B2 (en) | Category abnormality degree setting device and method, and program | |
JP4738976B2 (en) | Importance setting apparatus, method, and program | |
EP3131035A1 (en) | Image processing apparatus, image processing method, and program | |
JP2005352727A (en) | Portrait retrieving device | |
JP4934380B2 (en) | Image evaluation apparatus and method, and program | |
JP2007122112A (en) | Apparatus and method, and program for setting degree of importance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110117 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110412 |