JP2006081021A - Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program - Google Patents
Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program Download PDFInfo
- Publication number
- JP2006081021A JP2006081021A JP2004264554A JP2004264554A JP2006081021A JP 2006081021 A JP2006081021 A JP 2006081021A JP 2004264554 A JP2004264554 A JP 2004264554A JP 2004264554 A JP2004264554 A JP 2004264554A JP 2006081021 A JP2006081021 A JP 2006081021A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- album
- intimacy
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムに関する。特に本発明は、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム、並びに、複数の画像を分類する画像分類装置、画像分類方法、及び画像分類プログラムに関する。 The present invention relates to an electronic album display system, an electronic album display method, an electronic album display program, an image classification device, an image classification method, and an image classification program. In particular, the present invention relates to an electronic album display system, an electronic album display method, an electronic album display program for displaying a plurality of images included in an electronic album, an image classification apparatus, an image classification method, and an image for classifying a plurality of images. Regarding the classification program.
従来、複数の画像を表示する表示方法として、複数の画像のそれぞれを、当該画像の関連情報に基づいて複数のグループに分類すると共に、それぞれのグループから選択した代表画像を表示する表示方法が提案されている（例えば、特許文献１参照。）。
複数の画像を表示する表示方法において、すべての画像を表示するのではなく、一部の画像のみを選択して表示する場合に、鑑賞者が所望する画像を自動的に選択することは容易ではない。例えば、特許文献１に記載の表示方法のように、画像を分類したグループのそれぞれから当該グループを代表する代表画像を選択して表示する場合、複数の画像全体における大凡の内容を効率よく把握することができるという効果はあるものの、鑑賞者が所望する画像を精度よく選択することは困難であった。
In a display method for displaying a plurality of images, it is not easy to automatically select a desired image by the viewer when only a part of the images is selected and displayed instead of displaying all the images. Absent. For example, when a representative image representing the group is selected and displayed from each of the groups into which the images are classified as in the display method described in
そこで本発明は、上記の課題を解決することができる電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Therefore, an object of the present invention is to provide an electronic album display system, an electronic album display method, an electronic album display program, an image classification device, an image classification method, and an image classification program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
上記課題を解決するために、本発明の第１の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについて人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える。 In order to solve the above problem, in the first embodiment of the present invention, an electronic album display system for displaying a plurality of images included in an electronic album, an image storage unit storing a plurality of images, For each of the plurality of images, based on the number of persons recognized by the person recognition unit for each of the plurality of images and the person recognition unit for recognizing the plurality of persons included in the image, An image intimacy calculation unit that calculates an image intimacy between the images, and at least some of the images based on the image intimacy calculated for each of the plurality of images The in-album intimacy calculation unit for calculating in-album intimacy, which is the intimacy between each person included in the album, and the in-album intimacy between the viewers of the plurality of images is determined in advance. Comprising an image selecting unit that selects an image containing a person included in obtained range, and an image display unit for displaying an image selected by the image selecting section.
画像内親密度算出部は、複数の画像のそれぞれについて人物認識部により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してもよい。アルバム内親密度算出部は、複数の画像のそれぞれにおける撮像日時に基づいて、アルバム内親密度の時間変化を更に算出し、画像選択部は、鑑賞者との間のアルバム内親密度が予め定められた範囲に含まれる人物のうち、鑑賞者との間のアルバム内親密度における最近の時間変化が、予め定められた基準値以上の低下率を示す人物を除く、他の人物が含まれる画像を選択してもよい。 The in-image closeness calculation unit may calculate the in-image closeness between the persons included in the image higher as the number of persons recognized by the person recognition unit for each of the plurality of images is smaller. The in-album intimacy calculation unit further calculates a temporal change in in-album intimacy based on the imaging date and time of each of the plurality of images, and the image selection unit determines in-album intimacy with the viewer in advance. Among the persons included in the specified range, images that include other persons except those whose recent temporal change in in-album intimacy with the viewer shows a decrease rate that is greater than or equal to a predetermined reference value May be selected.
アルバム内親密度算出部は、複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間のアルバム内親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該第１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してもよい。当該電子アルバム表示システムは、鑑賞者の顔画像を撮像する撮像部と、撮像部により撮像された顔画像に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者である人物を識別する鑑賞者識別部とを更に備え、画像選択部は、鑑賞者識別部により識別された鑑賞者である人物との間のアルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択してもよい。 The in-album intimacy calculation unit calculates the in-album intimacy between the first person and the second person included in at least some of the plurality of images. Calculated by summing each intimacy in the image between the first person and the second person calculated for each of the images including both the one person and the second person May be. The electronic album display system is configured to capture an image from a person included in at least a part of a plurality of images based on an image capturing unit that captures a face image of a viewer and the face image captured by the image capturing unit. A viewer identification unit for identifying the person who is the viewer, and the image selection unit includes the intimacy in the album with the person who is the viewer identified by the viewer identification unit within a predetermined range An image including a person to be displayed may be selected.
また、本発明の第２の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像のそれぞれについて人物認識段階において認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出段階と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する画像選択段階と、画像選択段階において選択された画像を表示する画像表示段階とを備える。 Further, in the second embodiment of the present invention, there is provided an electronic album display method for displaying a plurality of images included in an electronic album, wherein each of the plurality of images recognizes a plurality of persons included in the image. A recognition step and an in-image familiarity calculation step for calculating an in-image familiarity between the persons included in the image based on the number of persons recognized in the person recognition step for each of the plurality of images And an in-album familiarity that is an intimacy between each of the persons included in at least some of the images based on the in-image intimacy calculated for each of the plurality of images. In-album intimacy calculation stage, and image selection for selecting an image including a person whose album intimacy with the viewer is within a predetermined range among a plurality of images. Comprising the steps, and an image display step of displaying the image selected in the image selection step.
また、本発明の第３の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについて人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える電子アルバム表示システムとして機能させる。 According to a third aspect of the present invention, there is provided an electronic album display program for causing a computer to function as an electronic album display system for displaying a plurality of images included in an electronic album, the computer storing a plurality of images. An image storage unit, a person recognition unit for recognizing a plurality of persons included in the image, and a number of persons recognized by the person recognition unit for each of the plurality of images. An in-image intimacy calculation unit that calculates an in-image intimacy that is an intimacy between persons included in an image, and an in-image intimacy calculated for each of the plurality of images. An in-album intimacy calculation unit that calculates in-album intimacy between each person included in at least some of the images; An image selection unit that selects an image including a person whose album intimacy with the viewer is within a predetermined range, and an image display unit that displays the image selected by the image selection unit To function as an electronic album display system.
また、本発明の第４の形態においては、複数の画像を分類する画像分類装置であって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについて人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、アルバム内親密度算出部により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える。 According to the fourth aspect of the present invention, there is provided an image classification device that classifies a plurality of images, and includes an image storage unit that stores a plurality of images and each of the plurality of images. Based on the number of persons recognized by the person recognition unit for each of the plurality of images and the person recognition unit for recognizing a plurality of persons, the intimacy within the image, which is the familiarity between the persons included in the images, is calculated And the intimacy between each person included in at least some of the plurality of images based on the intimacy within the image and the intimacy within the image calculated for each of the plurality of images. Based on the in-album intimacy calculation unit that calculates in-album intimacy and the in-album intimacy calculated by the in-album intimacy calculation unit, each of the images is classified into a plurality of groups And an image classifying unit.
画像内親密度算出部は、複数の画像のそれぞれについて人物認識部により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してもよい。画像分類部は、複数の画像のそれぞれを、当該画像に含まれる人物の、複数の画像のうち少なくとも一部の画像に含まれる一の人物に対するアルバム内親密度の範囲毎のグループに分類してもよい。 The in-image closeness calculation unit may calculate the in-image closeness between the persons included in the image higher as the number of persons recognized by the person recognition unit for each of the plurality of images is smaller. The image classification unit classifies each of the plurality of images into a group for each range of intimacy within the album for one person included in at least some of the plurality of images of the person included in the image. Also good.
また、本発明の第５の形態においては、複数の画像を分類する画像分類方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像のそれぞれについて人物認識段階において認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出段階と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、アルバム内親密度算出段階において算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類段階とを備える。 Further, in the fifth aspect of the present invention, there is provided an image classification method for classifying a plurality of images, for each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image, Based on the number of persons recognized in the person recognition stage for each of the images, an in-image closeness calculating stage that calculates an intimacy between images included between the persons included in the image, and a plurality of images Based on the in-image intimacy calculated for each, in-album intimacy calculation that calculates in-album intimacy between each of the persons included in at least some of the images. And an image classification step of classifying each of the plurality of images into a plurality of groups based on the in-album intimacy calculated in the in-album intimacy calculation step.
また、本発明の第６の形態においては、複数の画像を分類する画像分類装置としてコンピュータを機能させる画像分類プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについて人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、アルバム内親密度算出部により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える画像分類装置として機能させる。 According to a sixth aspect of the present invention, there is provided an image classification program that causes a computer to function as an image classification device that classifies a plurality of images, the computer including an image storage unit that stores a plurality of images, and a plurality of images For each of the images, a person recognition unit for recognizing a plurality of persons included in the image and a number of persons recognized by the person recognition unit for each of the plurality of images An in-image intimacy calculation unit that calculates in-image intimacy that is an intimacy of the image, and at least some of the plurality of images based on the in-image intimacy calculated for each of the plurality of images Intra-album intimacy calculation unit for calculating intimacy within album, which is intimacy between each of the included persons, and an album calculated by in-album intimacy calculation unit Based on the degree of intimacy, to function as an image classification apparatus and an image classifying unit for classifying each of the plurality of images into a plurality of groups.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
本発明によれば、画像の鑑賞者が所望する画像を、精度よく自動的に選択して表示することができる。 According to the present invention, an image desired by an image viewer can be automatically selected and displayed with high accuracy.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
図１は、本発明の第１の実施形態に係る電子アルバム表示システム１０の一例を示す。電子アルバム表示システム１０は、電子アルバム再生部２０、及び画像表示部３０を備え、電子アルバムに含まれる複数の画像を表示して、鑑賞者４０に鑑賞させる。例えば、電子アルバム表示システム１０は、当該複数の画像を、所謂スライドショーとして、予め定められた時間間隔で切り替えつつ順次表示してよい。
FIG. 1 shows an example of an electronic
電子アルバム再生部２０は、電子アルバムに含まれる複数の画像を格納している。ここで、画像とは、静止画像及び動画像の何れであってもよい。そして、電子アルバム再生部２０は、当該複数の画像の中から、表示すべき画像を選択し、選択した画像を画像信号として再生して画像表示部３０に出力する。なお、電子アルバム再生部２０は、例えば、静止画像または動画像を再生可能であるＤＶＤプレイヤー等の映像再生機器であってもよい。画像表示部３０は、例えばテレビ受像機であってよく、電子アルバム再生部２０により選択された画像を示す画像信号を受け取って表示する。
The electronic
本発明の第１の実施形態に係る電子アルバム表示システム１０は、電子アルバムに含まれるすべての画像を表示するのではなく、一部の画像のみを選択して表示する場合において、それぞれの画像に含まれる人物の数に基づいて算出した人物間の親密度に従って画像を選択することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することを目的とする。
The electronic
図２は、本発明の第１の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。電子アルバム再生部２０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、画像内親密度算出部２３０、アルバム内親密度算出部２４０、撮像部２５０、鑑賞者識別部２６０、範囲取得部２７０、画像選択部２８０、及び画像処理部２９０を有する。
FIG. 2 is a block diagram illustrating an example of a functional configuration of the electronic
画像格納部２００は、電子アルバムに含まれる複数の画像を格納している。顔画像データベース２１０は、複数の人物の顔画像を格納している。人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する。そして、人物認識部２２０は、それぞれの画像における人物の認識結果を、画像内親密度算出部２３０、アルバム内親密度算出部２４０、及び画像選択部２８０に出力する。
The
画像内親密度算出部２３０は、電子アルバムに含まれる複数の画像のそれぞれについて人物認識部２２０により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。そして、画像内親密度算出部２３０は、算出したそれぞれの画像における画像内親密度をアルバム内親密度算出部２４０に出力する。アルバム内親密度算出部２４０は、電子アルバムに含まれる複数の画像のそれぞれについて画像内親密度算出部２３０により算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する。そして、アルバム内親密度算出部２４０は、算出したアルバム内親密度を画像選択部２８０に出力する。
The image
撮像部２５０は、例えば電子アルバム再生部２０に設けられたデジタルカメラであり、鑑賞者４０の顔画像を撮像する。そして、撮像部２５０は、撮像した鑑賞者４０の顔画像を、鑑賞者識別部２６０に出力する。鑑賞者識別部２６０は、撮像部２５０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する。そして、鑑賞者識別部２６０は、鑑賞者４０である人物の識別結果を、画像選択部２８０に出力する。範囲取得部２７０は、鑑賞者４０と他の人物との間のアルバム内親密度の範囲を、例えば、電子アルバム再生部２０に設けられた操作パネルを介して鑑賞者４０に入力させる等して取得する。そして、範囲取得部２７０は、取得したアルバム内親密度の範囲を示す情報を画像選択部２８０に出力する。
The
画像選択部２８０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像選択部２８０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を、アルバム内親密度算出部２４０から受け取る。そして、画像選択部２８０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間のアルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する。ここで、予め定められた範囲とは、例えば、範囲取得部２７０から受け取った、鑑賞者４０等によって入力された範囲であってよい。また、画像選択部２８０は、鑑賞者識別部２６０から受け取った識別結果に基づいて、鑑賞者４０が、当該複数の画像のそれぞれに含まれる人物のうち、何れの人物であるかを認識してよい。そして、画像選択部２８０は、選択した画像を画像処理部２９０に出力する。
The
画像処理部２９０は、画像選択部２８０によって選択された画像に対して画像処理を行う。ここで、画像処理とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の伸張処理や、ＮＴＳＣまたはＰＡＬ等の映像信号への変換処理等であってよい。そして、画像処理部２９０は、画像処理を行った画像を、画像表示部３０に出力する。そして、画像表示部３０は、画像処理部２９０から受け取った画像を表示して、鑑賞者４０に鑑賞させる。
The
本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、画像に含まれる人物の数に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、電子アルバムに含まれる画像のそれぞれにおける画像内親密度に基づいて、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を算出することができる。そして、鑑賞者４０との間のアルバム内親密度が、鑑賞者４０によって入力された範囲内に含まれている人物を含む画像を選択して表示することができる。即ち、鑑賞者４０は、画像に含まれる人物との間の親密さに関する情報を電子アルバム表示システム１０に入力しなくとも、自分自身との間の親密度が所望の範囲に含まれる人物を含む画像を選択させて、表示させることができる。
According to the electronic
また、電子アルバム表示システム１０によれば、鑑賞者４０の顔画像を撮像して、電子アルバムにおける画像のそれぞれに含まれる複数の人物のうち、何れの人物が鑑賞者４０であるかを認識することができる。これにより、鑑賞者４０は、電子アルバム表示システム１０に対して、自分自身の情報を登録したり、ログイン手続きを行ったりしなくとも、所望する画像を容易に鑑賞することができる。
Further, according to the electronic
図３は、本発明の第１の実施形態に係る画像格納部２００の一例を示す。画像格納部２００は、電子アルバムに含まれる複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部２００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。また、画像格納部２００は、それぞれの画像に対応付けて、当該画像の撮像日時を示す情報を更に格納していてもよい。
FIG. 3 shows an example of the
図４は、本発明の第１の実施形態に係る顔画像データベース２１０の一例を示す。顔画像データベース２１０は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像とを対応付けて格納している。ここで、人物識別子は、例えば、顔画像データベース２１０に顔画像が格納される場合に、それぞれの顔画像について一意となるべく定められた値であってよい。また、顔画像データベース２１０は、人物認識部２２０から顔画像を受け取って格納してよい。具体的には、人物認識部２２０は、画像格納部２００に格納されている画像に含まれる人物を認識する場合において、当該画像から抽出した人物の顔画像が、顔画像データベース２１０に格納されている何れの顔画像に対しても予め定められた基準値以上の類似度を示さない場合に、当該画像から抽出した人物の顔画像を、新たな顔画像として顔画像データベース２１０に格納させてよい。これにより、顔画像データベース２１０は、画像格納部２００に格納されている複数の画像の少なくとも一部の画像に含まれる人物の顔画像を格納することができる。
FIG. 4 shows an example of the
図５は、本発明の第１の実施形態に係る人物認識部２２０による人物の認識結果の一例を示す。例えば、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、人物認識部２２０は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、人物認識部２２０は、検出した人物の顔を示す部分画像を、図４に示した顔画像データベース２１０に格納されている複数の顔画像のそれぞれと比較することにより、画像格納部２００に格納されているそれぞれの画像に含まれる複数の人物のそれぞれを識別する。そして、人物認識部２２０は、図５に示すように、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を示す複数の人物識別子を検出する。
FIG. 5 shows an example of a person recognition result by the
図６は、本発明の第１の実施形態に係る画像内親密度算出部２３０による画像内親密度の算出結果の一例を示す。画像内親密度算出部２３０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。例えば、画像内親密度算出部２３０は、複数の画像のそれぞれについて人物認識部２２０により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してよい。具体的には、画像内親密度算出部２３０は、それぞれの画像に含まれる人物の間の画像内親密度を、当該画像について認識された人物の数の逆数として算出してよい。なお、画像内親密度算出部２３０は、画像について認識された人物の数が１以下である場合には、当該画像において画像内親密度を算出しない。画像に含まれている人物の数が少ない程、当該画像に含まれる人物の間の関係はよりプライベートなものであり、それぞれの人物はより親密である場合が多い。従って、画像に含まれる人物が少ない程、より高い画像内親密度を算出することにより、画像内における人物間の親密度を、高い精度で算出することができる。
FIG. 6 shows an example of the calculation result of the in-image familiarity by the in-image
図７は、本発明の第１の実施形態に係るアルバム内親密度算出部２４０によるアルバム内親密度の算出結果の一例を示す。アルバム内親密度算出部２４０は、画像格納部２００に格納されている複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する。例えば、アルバム内親密度算出部２４０は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間のアルバム内親密度を、９．８として算出する。ここで、アルバム内親密度算出部２４０は、当該複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間のアルバム内親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像の数がより多い程、より高く算出してよい。例えば、アルバム内親密度算出部２４０は、当該第１の人物と当該第２の人物との間のアルバム内親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してよい。二人の人物のそれぞれが同一の画像に含まれる頻度が高い程、当該二人の人物の間の関係はより親密である場合が多い。従って、画像内親密度を合計してアルバム内親密度を算出することにより、電子アルバム内の画像に含まれる人物の間の親密度を、高い精度で算出することができる。
FIG. 7 shows an example of the calculation result of the in-album familiarity by the in-album
そして、画像選択部２８０は、鑑賞者識別部２６０から受け取った、鑑賞者４０である人物を示す人物識別子と、本図に示したようなアルバム内親密度の算出結果とに基づいて、鑑賞者４０との間のアルバム内親密度が予め定められた範囲内に含まれる人物の人物識別子を検出する。そして、画像選択部２８０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果に基づいて、検出した人物識別子が含まれる画像を選択する。
Then, the
また、アルバム内親密度算出部２４０は、例えば図３に示したように、画像格納部２００が、それぞれの画像に対応付けて、当該画像の撮像日時を格納している場合に、画像格納部２００が格納している複数の画像のそれぞれにおける撮像日時に基づいて、アルバム内親密度の時間変化を更に算出してもよい。具体的には、アルバム内親密度算出部２４０は、例えば１年や１ヶ月等の予め定められた単位期間毎に、当該単位期間内に撮像されている複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を算出する。そして、アルバム内親密度算出部２４０は、それぞれの単位期間毎に算出した、それぞれの人物の間のアルバム内親密度における時間変化を算出する。ここで、時間変化は、例えば、隣接する単位期間のそれぞれについて算出されたアルバム内親密度における変化の割合、具体的には「１０％の上昇」や「５０％の低下」等として算出されてよい。
In addition, the intimate
そして、画像選択部２８０は、鑑賞者４０との間のアルバム内親密度が予め定められた範囲に含まれる人物のうち、鑑賞者４０との間のアルバム内親密度における最近の時間変化が、予め定められた基準値以上の低下率を示す人物を除く、他の人物が含まれる画像を選択してよい。ここで、最近の時間変化とは、アルバム内親密度算出部２４０によってアルバム内親密度が算出された複数の単位期間のうち、鑑賞者４０等によって予め定められた数の、最も遅い複数の単位期間において算出された時間変化であってよい。これにより、鑑賞者４０と他の人物とが、以前は親密であったにも関わらず、現在は親密でなくなっている場合に、当該他の人物が含まれる画像は選択せず、現在も親密である人物が含まれる画像を優先的に選択することができるので、鑑賞者４０が鑑賞したいと所望する画像を、精度よく選択して表示することができる。
Then, the
なお、電子アルバム再生部２０は、画像格納部２００に格納されている複数の画像のそれぞれにおける、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物の間の画像内親密度、或いは当該画像に含まれる人物のそれぞれと鑑賞者４０との間のアルバム内親密度等を、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ）フォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納してもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。
Note that the electronic
図８は、本発明の第１の実施形態に係る電子アルバム表示システム１０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１０００）。続いて、画像内親密度算出部２３０は、複数の画像のそれぞれについて認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する（Ｓ１０１０）。続いて、アルバム内親密度算出部２４０は、複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する（Ｓ１０２０）。
FIG. 8 is a flowchart illustrating an example of a process flow in the electronic
続いて、撮像部２５０は、鑑賞者４０の顔画像を撮像する（Ｓ１０３０）。続いて、鑑賞者識別部２６０は、撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する（Ｓ１０４０）。ここで、電子アルバム表示システム１０は、鑑賞者識別部２６０が、鑑賞者４０である人物を識別したか否かを判定する（Ｓ１０５０）。そして、鑑賞者４０である人物が識別された場合に（Ｓ１０５０：Ｙｅｓ）、範囲取得部２７０は、鑑賞者４０と他の人物との間のアルバム内親密度の範囲を取得する（Ｓ１０６０）。ここで、範囲取得部２７０は、電子アルバム表示システム１０に設けられた入力手段を用いて鑑賞者４０等が入力した内容に基づいて、当該範囲を取得してよい。例えば、範囲取得部２７０は、「２０以上、３０未満」のように、値の範囲として入力された内容に基づいて、当該範囲を取得してよい。また、例えば、範囲取得部２７０は、それぞれが１０等の予め定められた幅を持つ、連続する複数の範囲の中から、鑑賞者４０等が指定した範囲を取得してもよい。また、例えば、範囲取得部２７０は、算出されたアルバム内親密度のそれぞれが、「高・中・低」等のように、予め定められた数の複数の範囲に分類されている場合に、当該複数の範囲の中から、鑑賞者４０等が指定した範囲を取得してもよい。
Subsequently, the
続いて、画像選択部２８０は、画像格納部２００に格納されている複数の画像の中から、画像表示部３０によって表示されるべき画像を選択する（Ｓ１０７０）。例えば、画像選択部２８０は、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間のアルバム内親密度が、範囲取得部２７０によって取得された範囲に含まれる人物を含む画像を選択してよい。また、画像選択部２８０は、鑑賞者４０との間のアルバム内親密度が、予め定められた基準値以上である人物が含まれる画像を選択してもよい。ここで、予め定められた基準値とは、例えば、鑑賞者４０によって指定された値であってよく、また、標準的な値として、何れの鑑賞者４０に対しても共通に定められた値であってもよく、もしくは、鑑賞者４０が指定した、鑑賞したい画像の枚数に応じて算出された値であってもよい。また、例えば、画像選択部２８０は、複数の画像のうち、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物のみが含まれている画像、または当該人物と鑑賞者４０とのみが含まれている画像を選択してもよい。また、例えば、画像格納部２００が、電子アルバムに含まれる複数の画像のそれぞれを、当該画像の撮像日時や撮像地点といった、当該画像に固有の情報に基づいて複数のグループに分類して格納している場合に、画像選択部２８０は、複数の画像のうち、鑑賞者４０との間のアルバム内親密度が予め定められた範囲内に含まれている人物または予め定められた基準値以上である人物が含まれる画像と同一のグループに分類されている画像を選択してもよい。続いて、画像表示部３０は、選択された画像を表示する（Ｓ１０８０）。
Subsequently, the
本発明の第１の実施形態に係る電子アルバム表示システム１０は、アルバム内親密度に基づき、前述した多様な方法に従って画像を選択することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく選択して表示することができる。
The electronic
図９は、本発明の第２の実施形態に係る画像分類装置５０の機能構成の一例を示すブロック図である。画像分類装置５０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、画像内親密度算出部２３０、アルバム内親密度算出部２４０、人物選択部５００、画像分類部５１０、及び分類格納部５２０を備える。画像分類装置５０は、画像格納部２００に格納されている複数の画像を分類して、分類格納部５２０に格納する。なお、本図に示した画像分類装置５０が備える部材のうち、図２に示した電子アルバム表示システム１０が備える部材と同一の符号を付した部材は、図１から図８において説明した対応する部材と略同一の機能及び構成を有するので、相違点を除き、説明を省略する。
FIG. 9 is a block diagram showing an example of a functional configuration of the
本発明の第２の実施形態に係る画像分類装置５０は、複数の画像のそれぞれを複数のグループに分類する場合に、それぞれの画像に含まれる人物の数に基づいて人物間の親密度を算出すると共に、算出した人物間の親密度に基づいて画像を分類することを目的とする。
When classifying each of a plurality of images into a plurality of groups, the
人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する。具体的には、人物選択部５００は、顔画像データベース２１０に格納されている複数の顔画像から、一の顔画像を選択することにより、当該一の顔画像に対応付けて顔画像データベース２１０に格納されている人物識別子を抽出する。そして、人物選択部５００は、選択した一の人物を示す情報、即ち抽出した人物識別子を、画像分類部５１０に出力する。画像分類部５１０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像分類部５１０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を、アルバム内親密度算出部２４０から受け取る。そして、画像分類部５１０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類する。具体的には、画像分類部５１０は、複数の画像のそれぞれを、当該画像に含まれる人物の、人物選択部５００によって選択された人物に対するアルバム内親密度の範囲毎のグループに分類する。そして、画像分類部５１０は、分類した画像のそれぞれを、分類格納部５２０に格納させる。分類格納部５２０は、画像格納部２００に格納されている画像のそれぞれを、画像分類部５１０による分類結果に従って格納している。
The
本発明の第２の実施形態に係る画像分類装置５０によれば、画像に含まれる人物の数に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、電子アルバムに含まれる画像のそれぞれにおける画像内親密度に基づいて、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を算出することができる。そして、算出したアルバム内親密度に基づいて、複数の画像を複数のグループに分類することができる。これにより、従来の、撮像日時や撮像地点等の画像情報のみに基づいて画像を分類する場合に比べて、画像の内容や、画像を鑑賞する人物にとっての重要度等に基づく、より実用的な画像の分類を行うことができる。
According to the
また、画像分類装置５０によれば、複数の画像を、例えば電子アルバムの所有者等の、人物選択部５００によって選択された人物に対するアルバム内親密度の範囲毎のグループに分類することができる。これにより、所有者に対する親密度が高い人物が含まれる画像のような、所有者にとって重要度のより高い画像を抽出してＤＶＤ−Ｖｉｄｅｏ等に加工したり、また、重要度のより低い画像を削除して電子アルバムを整理したりする作業を、効率よく行うことができる。
Further, according to the
図１０は、本発明の第２の実施形態に係る分類格納部５２０の一例を示す。分類格納部５２０は、複数の画像のそれぞれを、画像分類部５１０による分類に従って、複数のグループ（６００、６１０、・・・）に分類して格納している。具体的には、分類格納部５２０は、それぞれのグループに対応付けて、アルバム内親密度の範囲を示す情報を格納しており、人物選択部５００により選択された人物との間のアルバム内親密度が当該範囲に含まれる人物を含む画像を、当該グループに分類して格納している。また、分類格納部５２０は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、当該画像を識別する画像識別子と、当該画像を示す画像データとを含んでいてよい。
FIG. 10 shows an example of the
なお、分類格納部５２０は、一の画像を、複数のグループのそれぞれに重複して分類していてもよい。また、分類格納部５２０は、それぞれの画像における、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物の間の画像内親密度、或いは当該画像に含まれる人物の間のアルバム内親密度等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納していてもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。
Note that the
図１１は、本発明の第２の実施形態に係る画像分類装置５０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１１００）。続いて、画像内親密度算出部２３０は、複数の画像のそれぞれについて認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する（Ｓ１１１０）。ここで、画像内親密度算出部２３０は、複数の画像のそれぞれについて人物認識部２２０により認識された人物の数が少ない程、当該画像に含まれる人物の間の画像内親密度をより高く算出してよい。これにより、画像内における人物の間の親密度を、精度よく算出することができる。
FIG. 11 is a flowchart showing an example of the flow of processing in the
続いて、アルバム内親密度算出部２４０は、複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する（Ｓ１１２０）。続いて、人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する（Ｓ１１３０）。ここで、人物選択部５００は、例えば、顔画像データベース２１０に格納されている複数の顔画像が、画像分類装置５０に設けられた表示デバイスに一覧して表示されている場合に、利用者が選択した顔画像に対応する人物を選択してよい。また、例えば、人物選択部５００は、画像分類装置５０に設けられたデジタルカメラ等により撮像された利用者の顔画像と、顔画像データベース２１０に格納されている顔画像のそれぞれとに基づいて、複数の画像のうち少なくとも一部の画像に含まれる人物の中から、利用者である人物を検出して、当該検出した人物を選択してもよい。続いて、画像分類部５１０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類して、分類格納部５２０に格納させる（Ｓ１１４０）。
Subsequently, the in-album
図１２は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
FIG. 12 is a block diagram showing an example of a hardware configuration of a
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
The input /
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム表示プログラムまたは画像分類プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。電子アルバム表示プログラムまたは画像分類プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム表示プログラムまたは画像分類プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図１１にかけて説明した電子アルバム表示システム１０、電子アルバム再生部２０、または画像分類装置５０として機能させる。
The electronic album display program or the image classification program provided to the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１０ 電子アルバム表示システム、２０ 電子アルバム再生部、３０ 画像表示部、４０ 鑑賞者、５０ 画像分類装置、２００ 画像格納部、２１０ 顔画像データベース、２２０ 人物認識部、２３０ 画像内親密度算出部、２４０ アルバム内親密度算出部、２５０ 撮像部、２６０ 鑑賞者識別部、２７０ 範囲取得部、２８０ 画像選択部、２９０ 画像処理部、５００ 人物選択部、５１０ 画像分類部、５２０ 分類格納部
DESCRIPTION OF
Claims (12)
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像のそれぞれについて前記人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
前記複数の画像のうち、前記鑑賞者との間の前記アルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する画像選択部と、
前記画像選択部により選択された画像を表示する画像表示部と
を備える電子アルバム表示システム。 An electronic album display system for displaying a plurality of images included in an electronic album,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the number of persons recognized by the person recognition unit for each of the plurality of images, an in-image familiarity calculation unit that calculates an in-image familiarity between persons included in the image;
Based on the in-image intimacy calculated for each of the plurality of images, an in-album intimacy that is an intimacy between each of the persons included in at least some of the plurality of images. Intimacy calculation part in album to calculate,
An image selection unit that selects an image including a person included in a predetermined range of the familiarity in the album with the viewer from the plurality of images;
An electronic album display system comprising: an image display unit that displays an image selected by the image selection unit.
前記画像選択部は、前記鑑賞者との間の前記アルバム内親密度が予め定められた範囲に含まれる人物のうち、前記鑑賞者との間の前記アルバム内親密度における最近の前記時間変化が、予め定められた基準値以上の低下率を示す人物を除く、他の人物が含まれる画像を選択する
請求項１に記載の電子アルバム表示システム。 The in-album intimacy calculation unit further calculates a temporal change in in-album intimacy based on the imaging date and time in each of the plurality of images,
The image selection unit may be configured to display the latest temporal change in the in-album familiarity with the viewer among the persons included in a predetermined range of the in-album intimacy with the viewer. The electronic album display system according to claim 1, wherein an image including another person is selected except for a person who shows a reduction rate equal to or higher than a predetermined reference value.
前記撮像部により撮像された顔画像に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物から、前記鑑賞者である人物を識別する鑑賞者識別部と
を更に備え、
前記画像選択部は、前記鑑賞者識別部により識別された前記鑑賞者である人物との間の前記アルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する
請求項１に記載の電子アルバム表示システム。 An imaging unit for imaging the viewer's face image;
A viewer identifying unit for identifying a person who is the viewer from a person included in at least some of the plurality of images based on the face image captured by the imaging unit;
The image selection unit selects an image including a person whose intimacy in the album is within a predetermined range with the person who is the viewer identified by the viewer identification unit. The electronic album display system described.
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記複数の画像のそれぞれについて前記人物認識段階において認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出段階と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、
前記複数の画像のうち、前記鑑賞者との間の前記アルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する画像選択段階と、
前記画像選択段階において選択された画像を表示する画像表示段階と
を備える電子アルバム表示方法。 An electronic album display method for displaying a plurality of images included in an electronic album,
For each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image;
An in-image familiarity calculating step for calculating an in-image familiarity that is an intimacy between persons included in the image based on the number of persons recognized in the person recognition step for each of the plurality of images;
Based on the in-image intimacy calculated for each of the plurality of images, an in-album intimacy that is an intimacy between each of the persons included in at least some of the plurality of images. In-album intimacy calculation stage to calculate,
An image selection step of selecting an image including a person included in a predetermined range of the intimacy in the album with the viewer from the plurality of images;
An electronic album display method comprising: an image display step of displaying the image selected in the image selection step.
前記コンピュータを、
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像のそれぞれについて前記人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
前記複数の画像のうち、前記鑑賞者との間の前記アルバム内親密度が予め定められた範囲に含まれる人物を含む画像を選択する画像選択部と、
前記画像選択部により選択された画像を表示する画像表示部と
を備える電子アルバム表示システムとして機能させる電子アルバム表示プログラム。 An electronic album display program for causing a computer to function as an electronic album display system for displaying a plurality of images included in an electronic album,
The computer,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the number of persons recognized by the person recognition unit for each of the plurality of images, an in-image familiarity calculation unit that calculates an in-image familiarity between persons included in the image;
Based on the in-image intimacy calculated for each of the plurality of images, an in-album intimacy that is an intimacy between each of the persons included in at least some of the plurality of images. Intimacy calculation part in album to calculate,
An image selection unit that selects an image including a person included in a predetermined range of the familiarity in the album with the viewer from the plurality of images;
An electronic album display program that functions as an electronic album display system, comprising: an image display unit that displays an image selected by the image selection unit.
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像のそれぞれについて前記人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
前記アルバム内親密度算出部により算出された前記アルバム内親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
を備える画像分類装置。 An image classification device for classifying a plurality of images,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the number of persons recognized by the person recognition unit for each of the plurality of images, an in-image familiarity calculation unit that calculates an in-image familiarity between persons included in the image;
Based on the in-image intimacy calculated for each of the plurality of images, an in-album intimacy that is an intimacy between each of the persons included in at least some of the plurality of images. Intimacy calculation part in album to calculate,
An image classification apparatus comprising: an image classification unit that classifies each of the plurality of images into a plurality of groups based on the in-album familiarity calculated by the in-album familiarity calculation unit.
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
前記複数の画像のそれぞれについて前記人物認識段階において認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出段階と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、
前記アルバム内親密度算出段階において算出された前記アルバム内親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類段階と
を備える画像分類方法。 An image classification method for classifying a plurality of images,
For each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image;
An in-image familiarity calculating step for calculating an in-image familiarity that is an intimacy between persons included in the image based on the number of persons recognized in the person recognition step for each of the plurality of images;
Based on the in-image intimacy calculated for each of the plurality of images, an in-album intimacy that is an intimacy between each of the persons included in at least some of the plurality of images. In-album intimacy calculation stage to calculate,
An image classification method comprising: an image classification step of classifying each of the plurality of images into a plurality of groups based on the in-album familiarity calculated in the in-album familiarity calculation step.
前記コンピュータを、
前記複数の画像を格納している画像格納部と、
前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、
前記複数の画像のそれぞれについて前記人物認識部により認識された人物の数に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する画像内親密度算出部と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
前記アルバム内親密度算出部により算出された前記アルバム内親密度に基づいて、前記複数の画像のそれぞれを複数のグループに分類する画像分類部と
を備える画像分類装置として機能させる画像分類プログラム。 An image classification program that causes a computer to function as an image classification device that classifies a plurality of images,
The computer,
An image storage unit storing the plurality of images;
For each of the plurality of images, a person recognition unit that recognizes a plurality of persons included in the image;
Based on the number of persons recognized by the person recognition unit for each of the plurality of images, an in-image familiarity calculation unit that calculates an in-image familiarity between persons included in the image;
Based on the in-image intimacy calculated for each of the plurality of images, an in-album intimacy that is an intimacy between each of the persons included in at least some of the plurality of images. Intimacy calculation part in album to calculate,
An image classification program that functions as an image classification device, comprising: an image classification unit that classifies each of the plurality of images into a plurality of groups based on the in-album familiarity calculated by the in-album familiarity calculation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004264554A JP2006081021A (en) | 2004-09-10 | 2004-09-10 | Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004264554A JP2006081021A (en) | 2004-09-10 | 2004-09-10 | Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006081021A true JP2006081021A (en) | 2006-03-23 |
Family
ID=36160085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004264554A Pending JP2006081021A (en) | 2004-09-10 | 2004-09-10 | Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006081021A (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009171176A (en) * | 2008-01-16 | 2009-07-30 | Seiko Epson Corp | Reproduction apparatus, its control method, and program |
| JP2010140069A (en) * | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2010169954A (en) * | 2009-01-23 | 2010-08-05 | Nikon Corp | Display device and imaging apparatus |
| US8103106B2 (en) | 2006-08-25 | 2012-01-24 | Sony Corporation | Image processing method, image processing method program, recording medium recording image processing method program, and image processing apparatus |
| JP5088321B2 (en) * | 2006-06-29 | 2012-12-05 | 株式会社ニコン | Playback device, playback system, and television set |
| WO2012169112A1 (en) * | 2011-06-10 | 2012-12-13 | パナソニック株式会社 | Content processing device, content processing method, program, and integrated circuit |
| JP2013083689A (en) * | 2011-10-06 | 2013-05-09 | Kddi Corp | Image output device, program, and method for determining display size according to relation between browsing person and subject person |
| US8442268B2 (en) | 2007-07-31 | 2013-05-14 | Panasonic Corporation | Video analysis apparatus and method for calculating interpersonal relationship evaluation value using video analysis |
| WO2013136792A1 (en) * | 2012-03-15 | 2013-09-19 | パナソニック株式会社 | Content processing device, content processing method, and program |
| JP2014032650A (en) * | 2012-07-12 | 2014-02-20 | Konami Digital Entertainment Co Ltd | Management device, service providing system, control method for management device and program for management device |
| JP2014506701A (en) * | 2011-02-18 | 2014-03-17 | グーグル・インコーポレーテッド | Affinity-based ranking for search and display |
| KR101378372B1 (en) | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | Digital image processing apparatus, method for controlling the same, and recording medium storing program to implement the method |
| JP2014115997A (en) * | 2012-12-07 | 2014-06-26 | Hon Hai Precision Industry Co Ltd | Human relation analysis system and analysis method for the same |
| JP2017010251A (en) * | 2015-06-22 | 2017-01-12 | 富士フイルム株式会社 | Image extraction apparatus, image extraction method, program, and recording medium |
| JP2018018403A (en) * | 2016-07-29 | 2018-02-01 | 富士フイルム株式会社 | Server, terminal device, image processing system, image processing method, program, and recording medium |
-
2004
- 2004-09-10 JP JP2004264554A patent/JP2006081021A/en active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8791994B2 (en) | 2006-06-29 | 2014-07-29 | Nikon Corporation | Replay device, replay system, and television set |
| JP5088321B2 (en) * | 2006-06-29 | 2012-12-05 | 株式会社ニコン | Playback device, playback system, and television set |
| US8103106B2 (en) | 2006-08-25 | 2012-01-24 | Sony Corporation | Image processing method, image processing method program, recording medium recording image processing method program, and image processing apparatus |
| KR101378372B1 (en) | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | Digital image processing apparatus, method for controlling the same, and recording medium storing program to implement the method |
| US8442268B2 (en) | 2007-07-31 | 2013-05-14 | Panasonic Corporation | Video analysis apparatus and method for calculating interpersonal relationship evaluation value using video analysis |
| JP2009171176A (en) * | 2008-01-16 | 2009-07-30 | Seiko Epson Corp | Reproduction apparatus, its control method, and program |
| US8503735B2 (en) | 2008-12-09 | 2013-08-06 | Sony Corporation | Image processing to perform grouping based on depth-of-relationship values |
| JP2010140069A (en) * | 2008-12-09 | 2010-06-24 | Sony Corp | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP2010169954A (en) * | 2009-01-23 | 2010-08-05 | Nikon Corp | Display device and imaging apparatus |
| JP2016157476A (en) * | 2011-02-18 | 2016-09-01 | グーグル インコーポレイテッド | Affinity based ranking for search and display |
| JP2014506701A (en) * | 2011-02-18 | 2014-03-17 | グーグル・インコーポレーテッド | Affinity-based ranking for search and display |
| WO2012169112A1 (en) * | 2011-06-10 | 2012-12-13 | パナソニック株式会社 | Content processing device, content processing method, program, and integrated circuit |
| US9521211B2 (en) | 2011-06-10 | 2016-12-13 | Panasonic Intellectual Property Corporation Of America | Content processing device, content processing method, computer-readable recording medium, and integrated circuit |
| CN103608835A (en) * | 2011-06-10 | 2014-02-26 | 松下电器产业株式会社 | Content processing device, content processing method, program and integrated circuit |
| JPWO2012169112A1 (en) * | 2011-06-10 | 2015-02-23 | パナソニック株式会社 | Content processing apparatus, content processing method, program, and integrated circuit |
| JP2013083689A (en) * | 2011-10-06 | 2013-05-09 | Kddi Corp | Image output device, program, and method for determining display size according to relation between browsing person and subject person |
| JPWO2013136792A1 (en) * | 2012-03-15 | 2015-08-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Content processing apparatus, content processing method, and program |
| US9372874B2 (en) | 2012-03-15 | 2016-06-21 | Panasonic Intellectual Property Corporation Of America | Content processing apparatus, content processing method, and program |
| WO2013136792A1 (en) * | 2012-03-15 | 2013-09-19 | パナソニック株式会社 | Content processing device, content processing method, and program |
| JP2014032650A (en) * | 2012-07-12 | 2014-02-20 | Konami Digital Entertainment Co Ltd | Management device, service providing system, control method for management device and program for management device |
| JP2014115997A (en) * | 2012-12-07 | 2014-06-26 | Hon Hai Precision Industry Co Ltd | Human relation analysis system and analysis method for the same |
| JP2017010251A (en) * | 2015-06-22 | 2017-01-12 | 富士フイルム株式会社 | Image extraction apparatus, image extraction method, program, and recording medium |
| US9870507B2 (en) | 2015-06-22 | 2018-01-16 | Fujifilm Corporation | Image extraction device, image extraction method, program, and recording medium |
| JP2018018403A (en) * | 2016-07-29 | 2018-02-01 | 富士フイルム株式会社 | Server, terminal device, image processing system, image processing method, program, and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7868924B2 (en) | Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium | |
| JP4490214B2 (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| US7477805B2 (en) | Electronic album display system, an image grouping apparatus, an electronic album display method, an image grouping method, and a machine readable medium storing thereon a computer program | |
| US7243101B2 (en) | Program, image managing apparatus and image managing method | |
| US8594440B2 (en) | Automatic creation of a scalable relevance ordered representation of an image collection | |
| JP2006236218A (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| CN101783886B (en) | Information processing apparatus, information processing method, and program | |
| US20030210808A1 (en) | Method and apparatus for organizing and retrieving images containing human faces | |
| US7663643B2 (en) | Electronic album display system, an electronic album display method, and a machine readable medium storing thereon a computer program for displaying an electronic album | |
| CN107430780B (en) | Method for output creation based on video content characteristics | |
| US8068678B2 (en) | Electronic apparatus and image processing method | |
| US8250068B2 (en) | Electronic album editing system, electronic album editing method, and electronic album editing program | |
| JP4987943B2 (en) | Electronic apparatus and image display method | |
| JP2006081021A (en) | Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program | |
| JP2012530287A (en) | Method and apparatus for selecting representative images | |
| JP2011109428A (en) | Information processing apparatus, information processing method, and program | |
| JP2006079458A (en) | Image transmission system, method, and program | |
| JP2008146191A (en) | Image output device and image output method | |
| JP2006079460A (en) | System, method and program for displaying electronic album and device, method, and program for classifying image | |
| JP2007257312A (en) | Album creation system, album creating method, and program | |
| US20110304779A1 (en) | Electronic Apparatus and Image Processing Method | |
| JP2006236216A (en) | Person recognition system, person recognizing method and person recognition program | |
| JP2011100240A (en) | Representative image extraction method, representative image extraction device, and representative image extraction program | |
| JP4414846B2 (en) | Electronic album editing system, electronic album editing method, and electronic album editing program | |
| JP2006155095A (en) | Electronic album display system, electronic album display method, and electronic album display program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |