JP2008234377A - Image sorting device and method, and program - Google Patents
Image sorting device and method, and program Download PDFInfo
- Publication number
- JP2008234377A JP2008234377A JP2007073898A JP2007073898A JP2008234377A JP 2008234377 A JP2008234377 A JP 2008234377A JP 2007073898 A JP2007073898 A JP 2007073898A JP 2007073898 A JP2007073898 A JP 2007073898A JP 2008234377 A JP2008234377 A JP 2008234377A
- Authority
- JP
- Japan
- Prior art keywords
- face
- images
- image
- similarity
- sorting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数の画像をソートするための画像ソート装置および方法並びに画像ソート方法をコンピュータに実行させるためのプログラムに関するものである。 The present invention relates to an image sorting apparatus and method for sorting a plurality of images, and a program for causing a computer to execute the image sorting method.
近年、デジタルカメラの普及により写真撮影が手軽に行われるようになってきている。撮影により取得した画像は、ミニラボやネットワークプリントサービスを利用してプリント出力することができる。しかしながら、撮影により取得した多数の画像からプリントを所望する画像を探す作業は非常に面倒である。このため、検索の対象となる人物の顔画像を取得しておき、複数の画像からその顔画像を含む画像を検索するシステムが提案されている(特許文献1参照)。特許文献1に記載された手法は、遊園地等の施設内に設置されたカメラにより様々なシチュエーションの画像を取得しておき、あらかじめ登録した検索の対象となる人物の顔との類似度に基づいて、検索の対象となる人物を含む画像を検索するものである。また、特許文献1に記載された手法は、画像の撮影後に対象となる人物の顔を撮影してその人物の顔を登録することも可能である。
ここで、特許文献1に記載された手法においては、人物の顔を撮影等してあらかじめ顔画像を登録しておくものであるため、画像の検索を行う場合には、登録した顔画像の中から、検索を所望とする人物の顔画像を探し出す必要がある。しかしながら、特許文献1に記載された手法のように、大勢の人物が含まれる画像を検索の対象とする場合、検索時には検索する人物の顔画像を多数の顔画像から探し出す必要があり、その作業が非常に繁雑なものとなる。また、特許文献1にはIDカードに記録されたユーザの顔を読み出したり、ユーザのID番号を伝えて顔画像を特定する手法も記載されているが、そのような作業は非常に煩雑なものである。
Here, in the method described in
本発明は上記事情に鑑みなされたものであり、繁雑な作業を行うことなく所望とする人物を含む画像を検索することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to search for an image including a desired person without performing complicated work.
本発明による画像ソート装置は、複数の画像をソートする画像ソート装置において、
所定の顔についての異なる複数の態様の顔の顔画像を取得する顔画像取得手段と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、1または複数の異なる顔の態様に応じたアルゴリズムにより算出する1または複数の類似度算出手段と、
前記算出した類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とするものである。
An image sorting apparatus according to the present invention is an image sorting apparatus that sorts a plurality of images.
Facial image acquisition means for acquiring facial images of different forms of faces for a predetermined face;
One or a plurality of similarities in which the similarity between the predetermined face and each of the plurality of images is calculated by an algorithm according to one or a plurality of different face modes based on the face images of the faces of the plurality of modes. Degree calculation means;
Sorting means for sorting the plurality of images in descending order of the calculated similarity is provided.
なお、本発明による画像ソート装置においては、前記顔画像取得手段を、前記所定の顔についての異なる複数の態様の顔の顔画像を撮影により取得する手段としてもよい。 In the image sorting apparatus according to the present invention, the face image acquisition unit may be a unit that acquires face images of a plurality of different aspects of the predetermined face by photographing.
本発明による画像ソート方法は、複数の画像をソートする画像ソート方法において、
所定の顔についての異なる複数の態様の顔の顔画像を取得し、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、1または複数の異なる顔の態様に応じたアルゴリズムにより算出し、
前記算出した類似度が高い順に前記複数の画像をソートすることを特徴とするものである。
An image sorting method according to the present invention is an image sorting method for sorting a plurality of images.
Obtaining face images of different aspects of a given face,
Based on the face images of the faces of the plurality of aspects, the similarity between the predetermined face and each of the plurality of images is calculated by an algorithm according to one or more different face aspects;
The plurality of images are sorted in descending order of the calculated similarity.
なお、本発明による画像ソート方法をコンピュータに実行させるためのプログラムとして提供してもよい。 The image sorting method according to the present invention may be provided as a program for causing a computer to execute the image sorting method.
本発明によれば、所定の顔についての異なる複数の態様の顔の顔画像が取得され、複数の態様の顔の顔画像に基づいて、所定の顔と複数の画像のそれぞれとの類似度が、1または複数の異なる顔の態様に応じたアルゴリズムにより算出され、算出された類似度が高い順に複数の画像がソートされる。このため、登録された複数の顔画像から検索の対象となる所定の顔の顔画像を探し出す必要がなくなり、その結果、効率よく所望とする顔画像を含む画像を複数の画像から探し出すことができる。とくに、所定の顔についての複数の態様の顔との類似度に基づいて複数の画像をソートしているため、顔の態様に拘わらず所定の顔を含む画像が上位となるように複数の画像がソートされる。したがって、所定の顔を見つけやすくなる。 According to the present invention, face images of a plurality of different aspects of a predetermined face are acquired, and based on the face images of the plurality of aspects, the degree of similarity between the predetermined face and each of the plurality of images is obtained. It is calculated by an algorithm according to one or a plurality of different face modes, and a plurality of images are sorted in descending order of the calculated similarity. Therefore, it is not necessary to search for a face image of a predetermined face to be searched from a plurality of registered face images, and as a result, an image including a desired face image can be efficiently searched from the plurality of images. . In particular, since the plurality of images are sorted based on the degree of similarity of the predetermined face with the faces of the plurality of aspects, the plurality of images are arranged so that the image including the predetermined face is ranked high regardless of the face form. Are sorted. Therefore, it becomes easy to find a predetermined face.
また、複数の態様の顔画像を撮影により取得することにより、より容易に所定の顔についての異なる態様の顔画像を取得することができる。 Also, by acquiring a plurality of modes of face images by photographing, it is possible to more easily acquire face images of different modes for a predetermined face.
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による画像ソート装置を適用した画像のプリント注文受付装置の外観斜視図である。図1に示すように、本実施形態によるプリント注文受付装置1は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード2を装填し、メモリカード2から画像を読み出したり、メモリカード2に画像を記録したりするための複数種類のカードスロット4と、プリント注文のための各種表示を行う液晶等の表示部6とを備え、写真店に設置されたプリンタ8と接続されている。なお、表示部6はタッチパネル式の入力部を備え、ユーザは表示部6の表示にしたがって表示部6にタッチすることにより、プリント注文に必要な入力を行うことができる。また、本実施形態によるプリント注文受付装置1は、プリント注文を行うユーザの顔を撮影するためのカメラ10を備える。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an external perspective view of an image print order receiving apparatus to which an image sorting apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, a print
図2は本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図2に示すように、プリント注文受付装置1は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置1を構成する各部の制御を行うCPU12と、画像のプリント注文を行うためのプリント注文プログラムおよび装置1を動作させるための基本的なプログラムや各種定数が記録されているROM並びにCPU12が処理を実行する際の作業領域となるRAMにより構成されるシステムメモリ14と、種々の指示を装置1に対して行うためのタッチパネル式の入力部16と、上述した表示部6とを備える。
FIG. 2 is a schematic block diagram showing the configuration of the print order receiving apparatus according to the embodiment of the present invention. As shown in FIG. 2, the print order receiving
なお、カメラ10は、撮影レンズ、CCD等の撮像素子、撮像素子が取得した信号をデジタルに変換するA/D変換部、およびデジタルの信号に画質を向上させる画像処理を施す画像処理部等を備えてなる。ここで、カメラ10に対する撮影の操作は、CPU12の制御により入力部16から行われる。そして、プリント注文を行うユーザは表示部6の表示にしたがって、ユーザの正面顔および斜め顔をカメラ10に撮影させる。
The
図3はユーザの顔の撮影時の撮影画面を示す図である。図3に示すように、撮影画面50には、指示のメッセージを表示するメッセージ表示エリア51、撮影しようとする画像を表示する画像表示部52および撮影ボタン53が表示される。ユーザは、メッセージ表示エリア51に表示されたメッセージにしたがって、カメラ10に向かって正面および斜めを向き、画像表示部52により撮影される画像を確認した後に撮影ボタン53にタッチすることにより、ユーザの正面顔および斜め顔をカメラ10に撮影させることができる。なお、図3においてはメッセージ表示エリア51に「正面を向いて下さい」と表示されているが、正面顔の撮影に続いて「斜めを向いて下さい」のメッセージが表示されて斜め顔の撮影が行われることとなる。
FIG. 3 is a diagram showing a shooting screen when shooting the face of the user. As shown in FIG. 3, a
また、プリント注文受付装置1は、上述したカードスロット4と、画像データをJPEGに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部22と、複数の画像を保存するハードディスク24と、システムメモリ14、カードスロット4およびハードディスク24を制御するメモリ制御部26と、表示部6の表示を制御する表示制御部28と、プリンタ8を装置1に接続するためのプリンタインターフェース30とを備える。
The print
また、プリント注文受付装置1は、後述するようにハードディスク24に保存された複数の画像のそれぞれから顔領域を検出する顔検出部32と、第1および第2の類似度算出部34,36と、複数の画像をソートするソート部38とを備える。
The print
顔検出部32は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、ユーザの正面顔画像、斜め顔画像およびハードディスク24に保存された複数の画像上における顔の位置を顔領域として検出する。また、顔検出部32は顔の向きも検出する。具体的には、検出した顔領域から両目および鼻の位置を検出し、両目および鼻の位置関係に基づいて顔の向きを左右の0〜90度の間の値として算出する。そして、顔の向きが所定のしきい値Th0より小さい場合には検出した顔領域の顔の向きが正面であると検出し、顔の向きが所定のしきい値Th0以上の場合には検出した顔領域の顔の向きが斜めであると検出する。
The
第1および第2の類似度算出部34,36はそれぞれ異なる顔の態様に応じたアルゴリズムにより、カメラ10が撮影により取得したユーザの正面顔画像に含まれる正面顔Tf0および斜め顔画像に含まれる斜め顔Ts0との類似度を算出する。具体的には、第1の類似度算出部34は、特に正面を向いた顔(正面顔)の固体判別に有効なアルゴリズムにより類似度を算出し、第2の類似度算出部36は、特に斜めを向いた顔(斜め顔)の固体判別に有効なアルゴリズムにより類似度を算出する。
The first and second
第1および第2の類似度算出部34,36は、まずユーザの正面顔画像および斜め顔画像から検出された正面顔Tf0および斜め顔Ts0について、正面顔Tf0および斜め顔Ts0を構成する主要な顔部品を顔の特徴点として検出する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻、左右小鼻、左右口角、上唇の計9個の特徴点の位置を検出する。
The first and
そして、第1の類似度算出部34は、検出した9個の特徴点があらかじめ定められた正面を向いた基準顔の基準位置に近づくように、正面顔Tf0に対して施すアフィン変換のパラメータを求め、正面顔Tf0に対してアフィン変換を施して、正規化顔T1を取得する。
Then, the first
第1の類似度算出部34は、正規化顔T1の画像データをより低次元の第1の特徴量空間へ第1の射影行列を用いて射影して特徴量FT1を抽出する。ここで、第1の特徴量空間は、下記のような第1の学習により決定される。
The first
正面を向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析(LDA)等の分析により第1の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第1の特徴量空間とする。このようにして決められた第1の特徴量空間は、正面を向いた顔の固体判別がしやすい空間となっている。 First, the principal learning analysis or linear discriminant analysis (LDA) is used for the first learning face image group normalized as described above with respect to a large number of learning face images facing the front. And the eigenspace projected by this projection matrix or a space equivalent thereto is defined as a first feature amount space. The first feature amount space determined in this way is a space where it is easy to distinguish a face facing the front.
また、第1の類似度算出部34は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる正面顔の対象顔Pf0について、上記と同様に正規化を行って正規化顔P1を取得し、さらに正規化顔P1の画像データをより低次元の第1の特徴量空間へ射影行列を用いて射影して、正規化顔P1における特徴量FP1を抽出する。
Further, the first
そして、正面顔Tf0の特徴量FT1と対象顔Pf0の特徴量FP1とを比較して、正面顔Tf0と対象顔Pf0との類似度R1を算出する。なお、ここでは、例えば特開2005−149506号公報に記載されているAGMモデル(付加ガウスモデル)を利用して類似度R1を算出する。ここで、類似度R1は0〜1の間の値で算出され、1に近いほど類似度が高いものとなる。 Then, the feature amount FT1 of the front face Tf0 and the feature amount FP1 of the target face Pf0 are compared, and the similarity R1 between the front face Tf0 and the target face Pf0 is calculated. Here, the similarity R1 is calculated using an AGM model (additional Gaussian model) described in, for example, JP-A-2005-149506. Here, the similarity R1 is calculated as a value between 0 and 1, and the closer to 1, the higher the similarity.
AGMモデルとは、個人差を表す変数と個人内の見えの変化(照明変化、顔向き変化、経年変化など)を表す変数の和で顔データが表現できると仮定した確率モデルであり、各変数は正規分布に従うものとする。あらかじめ各正規分布のパラメータを推定しておくことで、類似度算出の対象となる顔の数が少ない場合にも見えの変化を考慮したロバストな類似度算出処理が可能となる。各正規分布のパラメータ推定には、特徴量空間を決定する際に利用した学習用顔画像群を用いる。 The AGM model is a probabilistic model that assumes that face data can be expressed by the sum of variables representing individual differences and variables representing changes in the appearance of individuals (lighting changes, face orientation changes, secular changes, etc.). Shall follow a normal distribution. By estimating the parameters of each normal distribution in advance, it is possible to perform a robust similarity calculation process in consideration of changes in appearance even when the number of faces to be subjected to similarity calculation is small. For parameter estimation of each normal distribution, a learning face image group used when determining the feature amount space is used.
なお、特徴量空間において、特徴量FT1で規定される正面顔Tf0の座標と、特徴量FP1で規定される類似度算出の対象顔Pf0の座標との間のユークリッド距離をそのまま類似度R1として用いる方法等、他の類似度算出方法を用いてもよい。 In the feature amount space, the Euclidean distance between the coordinates of the front face Tf0 defined by the feature amount FT1 and the coordinates of the target face Pf0 for similarity calculation defined by the feature amount FP1 is used as it is as the similarity R1. Other similarity calculation methods such as a method may be used.
一方、第2の類似度算出部36は、検出した9個の特徴点があらかじめ定められた斜めを向いた基準顔の基準位置に近づくように、斜め顔Ts0に対して施すアフィン変換のパラメータを求め、斜め顔Ts0に対してアフィン変換を施して正規化顔T2を取得する。この場合、斜め顔Ts0の向きと基準顔の向きとが異なる場合には、アフィン変換の前に斜め顔Ts0の画像データを左右対称に反転させて、斜め顔Ts0の向きと基準顔の向きとを一致させる。なお、ユーザの斜め顔の撮影時に基準顔の向きと同一となるように撮影させることが好ましい。
On the other hand, the second
第2の類似度算出部36は、正規化顔T2の画像データをより低次元の第2の特徴量空間へ第2の射影行列を用いて射影して特徴量FT2を抽出する。ここで、第2の特徴量空間は、下記のような第2の学習により決定される。
The second
斜めを向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析(LDA)等の分析により第2の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第2の特徴量空間とする。このようにして決められた第2の特徴量空間は、斜めを向いた顔の固体判別がしやすい空間となっている。なお、学習用顔画像は基準顔の向きと同一方向を向いたものを用いる。 Using the normalized learning face image group normalized as described above with respect to a large number of learning face images facing diagonally, the second is performed by analysis such as principal component analysis or linear discriminant analysis (LDA). And the eigenspace projected by this projection matrix or a space equivalent thereto is defined as the second feature amount space. The second feature amount space determined in this way is a space where it is easy to determine the solid of a face facing diagonally. Note that the learning face image is the same as the direction of the reference face.
また、第2の類似度算出部36は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる斜め顔の対象顔Ps0について、上記と同様に正規化を行って正規化顔P2を取得し、さらに正規化顔P2の画像データをより低次元の第2の特徴量空間へ射影行列を用いて射影して、正規化顔P2における特徴量FP2を抽出する。この場合においても、正規化のためのアフィン変換の前に、対象顔Ps0の向きと斜めを向いた基準顔の向きとが異なる場合には、対象顔Ps0の画像データを左右対称に反転させて、対象顔P0の向きと基準顔の向きとを一致させる。
In addition, the second
そして、斜め顔Ts0の特徴量FT2と対象顔Ps0の特徴量FP2とを比較して、第1の類似度算出部34と同様の手法を用いて、斜め顔Ts0と対象顔Ps0との類似度R2を算出する。
Then, the feature amount FT2 of the oblique face Ts0 and the feature amount FP2 of the target face Ps0 are compared, and the similarity between the oblique face Ts0 and the target face Ps0 is obtained using the same method as the first
なお、特徴量空間において、特徴量FT2で規定される斜め顔Ts0の座標と、特徴量FP2で規定される類似度算出の対象顔Ps0の座標との間のユークリッド距離をそのまま類似度R2として用いる方法等、他の類似度算出方法を用いてもよい。 In the feature amount space, the Euclidean distance between the coordinates of the oblique face Ts0 defined by the feature amount FT2 and the coordinates of the target face Ps0 for similarity calculation defined by the feature amount FP2 is used as it is as the similarity R2. Other similarity calculation methods such as a method may be used.
ここで、対象顔Pf0が正面顔Tf0と同一人物の顔である場合、類似度R1は高くなる。また、対象顔Ps0が斜め顔Ts0と同一人物の顔である場合、類似度R2は高くなる。 Here, when the target face Pf0 is the face of the same person as the front face Tf0, the similarity R1 is high. Further, when the target face Ps0 is the face of the same person as the oblique face Ts0, the similarity R2 is high.
なお、画像に複数の顔が含まれる場合、図4に示すように、それぞれの顔について顔の向きに応じて正面顔Tf0および斜め顔Ts0との類似度R1、R2が算出される。ここで、図4においては例として正面顔Tf0のみの類似度の算出について説明している。そして、1つの画像について算出した類似度R1,R2のうち最も高い類似度R1,R2を、ユーザの顔T0(以下、正面顔Tf0および斜め顔Ts0を総称して単に顔T0とする場合があるものとする)とその画像との類似度R3に決定する
したがって、図5に示すように、画像G0に4つの正面顔が含まれており、正面顔Tf0と各正面を向いた対象顔Pf0との類似度R1が図5に示すように0.9,0.6,0.2であり、斜めを向いた対象顔Ps0との類似度R2が0.7であった場合、ユーザの顔T0とその画像G0との類似度R3は0.9に決定される。
When a plurality of faces are included in the image, as shown in FIG. 4, the similarities R1 and R2 of the front face Tf0 and the oblique face Ts0 are calculated for each face according to the face orientation. Here, in FIG. 4, the calculation of the degree of similarity of only the front face Tf0 is described as an example. The highest similarities R1 and R2 among the similarities R1 and R2 calculated for one image may be simply referred to as the face T0 (hereinafter collectively referred to as the front face Tf0 and the diagonal face Ts0). Therefore, as shown in FIG. 5, the image G0 includes four front faces, and the front face Tf0 and the target face Pf0 facing each front are as shown in FIG. 5 is 0.9, 0.6, and 0.2 as shown in FIG. 5, and when the similarity R2 with the target face Ps0 facing diagonally is 0.7, the user's face T0 And the degree of similarity R3 of the image G0 is determined to be 0.9.
以下、本実施形態において行われる処理について説明する。図6は本実施形態において行われる処理を示すフローチャートである。ユーザが画像ソートの指示を表示部6にタッチして行うことによりCPU12が処理を開始し、ユーザにユーザの正面顔および斜め顔の撮影を行わせることにより、ユーザの顔T0(正面顔Tf0および斜め顔Ts0)の入力を受け付ける(ステップST1)。
Hereinafter, processing performed in the present embodiment will be described. FIG. 6 is a flowchart showing processing performed in the present embodiment. When the user touches the
次いで、CPU12がハードディスク24に保存された複数の画像のうち、類似度算出の処理対象となる最初の画像を読み出し(ステップST2)、顔検出部32が対象の画像から顔領域および顔の向きを検出する(ステップST3)。そしてCPU12が類似度算出の対象顔P0を最初の顔(例えば対象画像の左端にある顔)に設定し(ステップST4)、対象顔P0の顔の向きを判定し(ステップST5)、正面顔である場合には、第1の類似度算出部34がユーザの正面顔Tf0と対象顔Pf0との類似度R1を算出する(ステップST6)。一方、対象顔P0が斜め顔である場合には、第2の類似度算出部36がユーザの斜め顔Ts0と対象顔Ps0との類似度R2を算出する(ステップST7)。
Next, the
そして、対象画像に含まれるすべての顔の類似度R1,R2を算出したか否かをCPU12が判定し(ステップST8)、ステップST8が否定されると、対象顔P0を次の顔に設定し(ステップST9)、ステップST5に戻ってステップST5以降の処理を繰り返す。ステップST8が肯定されると、第1または第2の類似度算出部34,36がユーザの顔T0と対象画像との類似度R3を決定する(ステップST10)。
Then, the
次いでCPU12が、ハードディスク24に保存されているすべての画像の類似度R3を決定したか否かを判定し(ステップST11)、ステップST11が否定されると対象画像を次の画像に設定し(ステップST12)、ステップST3に戻ってステップST3以降の処理を繰り返す。
Next, the
ステップST11が肯定されると、ソート部38がユーザの顔T0との類似度R3が高い順に複数の画像をソートし(ステップST13)、ソートされた順に複数の画像を表示部6に表示し(ステップST14)、処理を終了する。なお、類似度が同一の場合には撮影日時の昇順に画像をソートするものとする。また、複数の画像のすべてを類似度順に表示する必要はなく、例えば類似度R3が所定のしきい値Th1を超える画像のみをソートして表示するようにしてもよい。
If step ST11 is affirmed, the sorting
図7はソート結果の表示画面を示す図である。図7に示すように表示画面54の表示エリア55には、複数の画像が類似度R3の順にて表示されている。また、表示画面54には、複数の画像が1画面に入りきらない場合に、表示エリア55に表示される画像を切り替えるための矢印ボタン56A,56Bが表示されている。
FIG. 7 is a diagram showing a display screen for sorting results. As shown in FIG. 7, in the
図7に示すように、表示エリア55に表示された各画像において、ユーザの正面顔Tf0または斜め顔Ts0との類似度が最も高い顔には太枠が付与されている。ユーザは、表示された複数の画像を見て、例えばプリントしたい画像を表示部6にタッチすることにより選択することができる。例えば、太枠で囲まれた自分の顔を含む画像にタッチすることにより画像を選択することができる。そして、画像の選択後、プリントの指示を行うことにより、選択した画像がプリンタ8からプリント出力される。
As shown in FIG. 7, in each image displayed in the
このように、本実施形態においては、ユーザの正面顔および斜め顔を撮影して、画像のソートに用いるようにしたため、上記特許文献1に記載された手法のように、登録された複数の顔画像から検索の対象となる所望とする顔画像を探し出す必要がなくなる。したがって、効率よくユーザの顔を含む画像を複数の画像から探し出すことができる。とくに、正面顔および斜め顔という複数の態様の顔に基づいて画像をソートしているため、正面顔であっても斜め顔であってもユーザの顔を含む画像が上位となるように複数の画像がソートされることとなり、これにより、ユーザは自分が写っている画像を見つけやすくなる。
As described above, in the present embodiment, since the front face and the oblique face of the user are photographed and used for image sorting, a plurality of registered faces are used as in the method described in
なお、上記実施形態においては、正面顔の固体判別に有効なアルゴリズムにより類似度を算出する第1の類似度算出部34および斜め顔の固体判別に有効なアルゴリズムにより類似度を算出する第2の類似度算出部36を用いているが、例えば、第2の類似度算出部36を省略し、第1の類似度算出部34のみを用いてユーザの顔T0と画像との類似度R3を算出するようにしてもよい。この場合、ユーザの顔T0としては、正面顔Tf0および斜め顔Ts0が取得されるが、正面顔Tf0および斜め顔Ts0からユーザの平均顔Tm0を生成し、これと対象顔P0との類似度R1を算出すればよい。
In the above-described embodiment, the first
また、上記実施形態においては、類似度が高い順にソートする前に、撮影場所や撮影時間に応じてあらかじめ複数の画像を分類しておき、分類された画像単位でソートを行うようにしてもよい。 In the above embodiment, before sorting in descending order of similarity, a plurality of images may be classified in advance according to shooting locations and shooting times, and sorting may be performed in units of sorted images. .
また、上記実施形態においては、表示画面54において、ユーザの顔T0に対応する対象顔Pf0,Ps0に太枠を付与しているが、とくに太枠を付与することなくソートされた画像を表示するようにしてもよい。但し、太枠を付与することにより、ユーザの顔に類似しているか否かを容易に確認することができるため、太枠を付与した方が好ましい。
In the above embodiment, the
また、上記実施形態においては、顔の態様として正面顔と斜め顔とを用いているが、これに限定されるものではなく、表情のある顔および表情のない顔等を顔の態様として用いればよい。この場合、表情のある顔および表情のない顔は、図3に示す撮影画面50において、メッセージ表示エリア51に例えば「まじめな顔をして下さい」、「笑って下さい」等のメッセージを表示して、ユーザに撮影を行わせることにより取得すればよい。
In the above embodiment, a front face and an oblique face are used as face modes. However, the present invention is not limited to this. If a face with an expression or a face without an expression is used as the face mode, Good. In this case, a face with an expression and a face without an expression display a message such as “Please make a serious face” or “Please laugh” in the
また、上記実施形態においては、本発明による画像ソート装置を写真店の店頭に設置されたプリント注文受付装置に適用しているが、これに限定されるものではなく、ネットワーク経由でプリント注文を行う注文サーバに画像ソート装置を適用し、ネットワーク経由で注文サーバに保管された画像のソートを行うようにしてもよい。 In the above embodiment, the image sorting apparatus according to the present invention is applied to a print order receiving apparatus installed at a photo shop. However, the present invention is not limited to this, and a print order is placed via a network. An image sorting device may be applied to the order server to sort images stored in the order server via the network.
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部32、第1の類似度算出部34、第2の類似度算出部36およびソート部38に対応する手段として機能させ、図6に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
Although the apparatus according to the embodiment of the present invention has been described above, the computer corresponds to the
1 プリント注文受付装置
2 メモリカード
4 カードスロット
6 表示部
8 プリンタ
10 カメラ
12 CPU
14 システムメモリ
16 入力部
22 圧縮解凍部
24 ハードディスク
26 メモリ制御部
28 表示制御部
30 プリンタインターフェース
32 顔検出部
34 第1の類似度算出部
36 第2の類似度算出部
38 ソート部
DESCRIPTION OF
DESCRIPTION OF
Claims (4)
所定の顔についての異なる複数の態様の顔の顔画像を取得する顔画像取得手段と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、1または複数の異なる顔の態様に応じたアルゴリズムにより算出する1または複数の類似度算出手段と、
前記算出した類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とする画像ソート装置。 In an image sorting device for sorting a plurality of images,
Facial image acquisition means for acquiring facial images of different forms of faces for a predetermined face;
One or a plurality of similarities in which the similarity between the predetermined face and each of the plurality of images is calculated by an algorithm according to one or a plurality of different face modes based on the face images of the faces of the plurality of modes. Degree calculation means;
An image sorting apparatus comprising: sorting means for sorting the plurality of images in descending order of the calculated similarity.
所定の顔についての異なる複数の態様の顔の顔画像を取得し、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、1または複数の異なる顔の態様に応じたアルゴリズムにより算出し、
前記算出した類似度が高い順に前記複数の画像をソートすることを特徴とする画像ソート方法。 In the image sorting method for sorting multiple images,
Obtaining face images of different aspects of a given face,
Based on the face images of the faces of the plurality of aspects, the similarity between the predetermined face and each of the plurality of images is calculated by an algorithm according to one or more different face aspects;
An image sorting method, wherein the plurality of images are sorted in descending order of the calculated similarity.
所定の顔についての異なる複数の態様の顔の顔画像を取得する手順と、
前記複数の態様の顔の顔画像に基づいて、前記所定の顔と前記複数の画像のそれぞれとの類似度を、1または複数の異なる顔の態様に応じたアルゴリズムにより算出する手順と、
前記算出した類似度が高い順に前記複数の画像をソートする手順とを有することを特徴とするプログラム。 In a program for causing a computer to execute an image sorting method for sorting a plurality of images,
A procedure for acquiring facial images of different aspects of a predetermined face;
A step of calculating a similarity between the predetermined face and each of the plurality of images based on face images of the plurality of aspects by an algorithm according to one or a plurality of different face aspects;
A program for sorting the plurality of images in descending order of the calculated similarity.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007073898A JP2008234377A (en) | 2007-03-22 | 2007-03-22 | Image sorting device and method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007073898A JP2008234377A (en) | 2007-03-22 | 2007-03-22 | Image sorting device and method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008234377A true JP2008234377A (en) | 2008-10-02 |
Family
ID=39907068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007073898A Pending JP2008234377A (en) | 2007-03-22 | 2007-03-22 | Image sorting device and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008234377A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015053604A1 (en) * | 2013-10-08 | 2015-04-16 | Data Calibre Sdn Bhd | A face retrieval method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157592A (en) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for registering personal information and recording medium recording its program |
JP2004118359A (en) * | 2002-09-24 | 2004-04-15 | Toshiba Corp | Figure recognizing device, figure recognizing method and passing controller |
JP2004297167A (en) * | 2003-03-25 | 2004-10-21 | Olympus Corp | Image display apparatus and image display system |
-
2007
- 2007-03-22 JP JP2007073898A patent/JP2008234377A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002157592A (en) * | 2000-11-16 | 2002-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for registering personal information and recording medium recording its program |
JP2004118359A (en) * | 2002-09-24 | 2004-04-15 | Toshiba Corp | Figure recognizing device, figure recognizing method and passing controller |
JP2004297167A (en) * | 2003-03-25 | 2004-10-21 | Olympus Corp | Image display apparatus and image display system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015053604A1 (en) * | 2013-10-08 | 2015-04-16 | Data Calibre Sdn Bhd | A face retrieval method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8265399B2 (en) | Detecting orientation of digital images using face detection information | |
US8391645B2 (en) | Detecting orientation of digital images using face detection information | |
JP4824411B2 (en) | Face extraction device, semiconductor integrated circuit | |
EP1886255B1 (en) | Using photographer identity to classify images | |
JP4957922B2 (en) | Image direction determination apparatus, image direction determination method, and image direction determination program | |
US8626782B2 (en) | Pattern identification apparatus and control method thereof | |
JP2009211311A (en) | Image processing apparatus and method | |
JP6040640B2 (en) | Image processing apparatus and program | |
CN105095853B (en) | Image processing apparatus and image processing method | |
JP2007096405A (en) | Method, device and program for judging direction of camera shake | |
JP2011095862A (en) | Apparatus and method for processing image and program | |
JP4881185B2 (en) | Image sorting apparatus, method, and program | |
JP6410427B2 (en) | Information processing apparatus, information processing method, and program | |
JP4891119B2 (en) | Image sorting apparatus, method, and program | |
JP2008234377A (en) | Image sorting device and method, and program | |
JP2022159291A (en) | User authentication device, user authentication method, and image forming apparatus | |
JP4895201B2 (en) | Image sorting apparatus, method, and program | |
JP5477025B2 (en) | Image display device and program | |
JP2007109130A (en) | Image retrieval device, method, and program | |
JP2006238362A (en) | Apparatus and method for determining image top and bottom, and program | |
JP6241533B2 (en) | Image processing apparatus and program | |
JP2007304675A (en) | Method, device and program for image composition | |
JPWO2008081527A1 (en) | Authentication device, portable terminal device, and authentication method | |
KR20150043149A (en) | Method for controlling digital apparatus and photographing method by recognition of hand shape, and apparatus thereof | |
JP2013131795A (en) | Image processing device, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090911 |
|
RD15 | Notification of revocation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7435 Effective date: 20110415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111116 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111213 |