JP2007310646A - Search information management device, search information management program and search information management method - Google Patents
Search information management device, search information management program and search information management method Download PDFInfo
- Publication number
- JP2007310646A JP2007310646A JP2006138892A JP2006138892A JP2007310646A JP 2007310646 A JP2007310646 A JP 2007310646A JP 2006138892 A JP2006138892 A JP 2006138892A JP 2006138892 A JP2006138892 A JP 2006138892A JP 2007310646 A JP2007310646 A JP 2007310646A
- Authority
- JP
- Japan
- Prior art keywords
- search
- face image
- face
- feature amount
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、検索情報管理装置、検索情報管理プログラムおよび検索情報管理方法に関する。 The present invention relates to a search information management device, a search information management program, and a search information management method.
従来より、データベースシステムからデータを効率良く検索することを目的として、様々な工夫がなされている。特に、画像や音声などのデータについては、どのような情報を検索キーとして検索するべきか、また、そのような検索を実現するためにはどのようにデータを保持するべきか、という点に関し、各種手法が提案されている。 Conventionally, various ideas have been made for the purpose of efficiently retrieving data from a database system. In particular, regarding data such as images and sounds, what information should be searched as a search key, and how data should be retained in order to realize such search, Various methods have been proposed.
一般的には、画像や音声などのデータからデータに係る関連情報（例えば、データのフォーマット情報など）を抽出し、データとこの関連情報とを対応づけて保持する手法が提案されている。この手法によるデータベースシステムの利用者は、関連情報を検索キーとしてデータを検索することになる。また、例えば、非特許文献１では、画像から色の配分情報などを抽出し、画像と色の配分情報などとを対応づけて保持する手法が提案されている。この手法によるデータベースシステムの利用者は、色の配分情報などを検索キーとしてデータを検索することになる。
In general, a method has been proposed in which related information (for example, data format information) related to data is extracted from data such as images and sounds, and the data and the related information are stored in association with each other. A user of a database system based on this method searches for data using related information as a search key. Further, for example, Non-Patent
また、特許文献１では、顔画像を格納するデータベースシステムにおいて、顔全体の顔画像を特定パーツ（目、鼻、口および輪郭など）の顔画像に分割し、顔全体の顔画像と特定パーツの顔画像とを対応づけて保持する手法が提案されている。この手法によるデータベースシステムの利用者は、特定パーツの顔画像を検索キーとして顔全体の顔画像を検索することになる。
In
ところで、上記した従来技術では、高度な検索やソートを実行することができないという課題がある。すなわち、データと関連情報とを対応づけて保持する手法や、画像と色の配分情報などとを対応づけて保持する手法では、データに係る関連情報や色の配分情報などを検索キーとしてデータを検索するにすぎないことから、例えば、顔画像を格納するデータベースシステムにおいて、ある顔画像と同様の特徴を有する他の顔画像（例えば、同一人物の顔画像や似た顔立ちの顔画像など）を検索やソートすることができず、高度な検索やソートを実行することができないという課題がある。 By the way, in the above-described conventional technology, there is a problem that advanced search and sorting cannot be executed. That is, in the method of holding data and related information in association with each other and the method of holding image and color distribution information in association with each other, the data is stored using the related information and color distribution information related to the data as a search key. For example, in a database system that stores face images, other face images having the same characteristics as a certain face image (for example, face images of the same person or face images of similar faces) are searched. There is a problem that search and sorting cannot be performed, and advanced search and sorting cannot be performed.
また、顔全体の顔画像と特定パーツの顔画像とを対応づけて保持する手法では、特定パーツの顔画像を検索キーとして顔全体の顔画像を検索するが、顔全体の顔画像と同量のデータを重複してデータベースシステムに保持するので、保持するデータ量が大量になり検索時の処理負荷が重くなることから、上記の課題を適切に解決することができない。つまり、顔画像のデータ自体（量的に規定されていないデータ）を用いて検索するので、検索時に処理すべきデータ量や演算量が増加し、検索時の処理負荷が重くなる。 In addition, in the method of associating and holding the face image of the entire face and the face image of the specific part, the face image of the entire face is searched using the face image of the specific part as a search key, but the same amount as the face image of the entire face Since the above data is stored in the database system in duplicate, the amount of data to be stored becomes large and the processing load at the time of retrieval becomes heavy, so that the above problem cannot be solved appropriately. That is, since the search is performed using the face image data itself (data that is not quantitatively defined), the amount of data and the amount of calculation to be processed during the search increase, and the processing load during the search becomes heavy.
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、高度な検索やソートを実行することが可能な検索情報管理装置、検索情報管理プログラムおよび検索情報管理方法を提供することを目的とする。 Accordingly, the present invention has been made to solve the above-described problems of the prior art, and provides a search information management device, a search information management program, and a search information management method capable of performing advanced search and sorting. The purpose is to provide.
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、個人に係る情報を検索キーとなりうる情報として個人ごとに区分けして管理する検索情報管理装置であって、前記検索キーとなりうる情報として個人生体情報の特徴量を保持する保持手段を備えたことを特徴とする。
In order to solve the above-described problems and achieve the object, the invention according to
また、請求項２に係る発明は、上記の発明において、前記保持手段は、前記特徴量をバイナリフォーマットで保持することを特徴とする。 The invention according to claim 2 is characterized in that, in the above invention, the holding means holds the feature quantity in a binary format.
また、請求項３に係る発明は、上記の発明において、前記個人生体情報から前記特徴量を算出する算出手段をさらに備え、前記保持手段は、前記検索キーとなりうる情報として前記算出手段によって算出された前記特徴量を保持することを特徴とする。
The invention according to
また、請求項４に係る発明は、上記の発明において、前記保持手段は、前記個人生体情報の特徴量として、顔を撮像した顔画像の特徴量を保持することを特徴とする。 According to a fourth aspect of the present invention, in the above invention, the holding unit holds a feature amount of a face image obtained by imaging a face as a feature amount of the personal biometric information.
また、請求項５に係る発明は、上記の発明において、前記算出手段は、所定の画像データから当該画像データに顔画像が含まれているか否かを検出し、当該顔画像が含まれている場合にのみ前記顔画像の特徴量を算出することを特徴とする。 According to a fifth aspect of the present invention, in the above invention, the calculation means detects whether or not a face image is included in the image data from predetermined image data, and the face image is included. The feature amount of the face image is calculated only in the case.
また、請求項６に係る発明は、上記の発明において、前記算出手段は、前記所定の画像データから検出された前記顔画像の個数が１つであるか否かを判定し、当該個数が１つである場合にのみ前記顔画像の特徴量を算出することを特徴とする。
In the invention according to
また、請求項７に係る発明は、上記の発明において、前記算出手段は、前記所定の画像データから検出された前記顔画像の品質を判定し、当該品質が所定の閾値を満たす場合にのみ前記顔画像の特徴量を算出することを特徴とする。
In the invention according to
また、請求項８に係る発明は、上記の発明において、前記算出手段は、前記所定の画像データから検出された前記顔画像において所定の顔領域を切り出し、当該顔領域から前記顔画像の特徴量を算出することを特徴とする。
In the invention according to
また、請求項９に係る発明は、個人に係る情報を検索キーとなりうる情報として個人ごとに区分けして管理する方法をコンピュータに実行させる検索情報管理プログラムであって、前記検索キーとなりうる情報として個人生体情報の特徴量を保持する保持手順をコンピュータに実行させることを特徴とする。 The invention according to claim 9 is a search information management program for causing a computer to execute a method of managing information related to an individual as information that can be used as a search key for each individual, and as information that can be used as the search key. The computer is caused to execute a holding procedure for holding a feature amount of personal biometric information.
また、請求項１０に係る発明は、個人に係る情報を検索キーとなりうる情報として個人ごとに区分けして管理する検索情報管理方法であって、前記検索キーとなりうる情報として個人生体情報の特徴量を保持する保持工程を含んだことを特徴とする。 The invention according to claim 10 is a search information management method for managing information related to individuals as information that can be used as a search key for each individual, wherein the feature quantity of personal biometric information is used as the information that can be used as the search key. It is characterized by including a holding step of holding
請求項１、９または１０の発明によれば、個人に係る情報を検索キーとなりうる情報として個人ごとに区分けして管理する検索情報管理装置であって、検索キーとなりうる情報として個人生体情報の特徴量を保持するので、検索情報管理装置に対して、個人生体情報の特徴量を検索キーとして検索やソートを実行した場合には、ある顔画像と同様の特徴を有する他の顔画像（例えば、同一人物の顔画像や、似た顔立ちの顔画像など）を検索やソートするなど、個人生体情報の特徴量に基づいた高度な検索やソートを実行することが可能になる。また、個人生体情報の特徴を量的に規定した特徴量に基づいて検索することから、検索時に処理すべきデータ量や演算量が増えず、処理負荷が軽くなる結果、個人生体情報の特徴量に基づいた高度な検索やソートを低負荷で実行することが可能になる。
According to the invention of
また、請求項２の発明によれば、特徴量をバイナリフォーマットで保持するので、特徴量に係るデータ量を圧縮することから、特徴量をテキストフォーマットで保持する手法に比較して、検索時に処理すべきデータ量や演算量がより少なくなり、処理負荷がより軽くなる結果、個人生体情報の特徴量に基づいた高度な検索やソートをより低負荷で実行することが可能になる。また、特徴量を保持するために利用されるディスクスペースを節約することが可能になる。 According to the second aspect of the present invention, since the feature amount is held in the binary format, the data amount related to the feature amount is compressed. Therefore, the feature amount is processed at the time of retrieval as compared with the method of holding the feature amount in the text format. As a result, the amount of data and the amount of calculation to be performed are reduced, and the processing load is further reduced. As a result, it is possible to execute advanced search and sorting based on the feature amount of personal biometric information with a lower load. In addition, it is possible to save the disk space used for maintaining the feature amount.
また、請求項３の発明によれば、個人生体情報から特徴量を算出し、検索キーとなりうる情報として算出された特徴量を保持するので、特徴量が算出されていない個人生体情報については、特徴量を算出してから保持する結果、特徴量が算出されていない個人生体情報についても、検索キーとなりうる情報として特徴量を保持することが可能になる。
According to the invention of
また、請求項４の発明によれば、個人生体情報の特徴量として、顔を撮像した顔画像の特徴量を保持するので、検索情報管理装置に対して、顔画像の特徴量を検索キーとして検索やソートを実行した場合には、顔画像の特徴量に基づいた高度な検索やソートを実行することが可能になる。また、顔照合アプリケーションの開発効率を向上させることが可能になる。
According to the invention of
また、請求項５の発明によれば、所定の画像データから画像データに顔画像が含まれているか否かを検出し、顔画像が含まれている場合にのみ顔画像の特徴量を算出するので、画像データに顔画像が含まれているか否かを認識して処理を行う結果、顔画像が含まれている画像データについてはより正確に処理を行うことが可能になり、また、顔画像が含まれていない画像データについても適切に処理を終了させることが可能になる。 According to the invention of claim 5, it is detected whether or not a face image is included in the image data from predetermined image data, and the feature amount of the face image is calculated only when the face image is included. Therefore, as a result of processing by recognizing whether or not a face image is included in the image data, it becomes possible to perform processing more accurately for the image data including the face image. It is possible to appropriately end processing even for image data that does not include.
また、請求項６の発明によれば、所定の画像データから検出された顔画像の個数が１つであるか否かを判定し、個数が１つである場合にのみ顔画像の特徴量を算出するので、画像データから検出された顔画像の個数を認識して処理を行う結果、顔画像の個数が１つである画像データについてはより正確に処理を行うことが可能になり、また、顔画像が複数検出された画像データについても適切に処理を終了させることが可能になる。
According to the invention of
また、請求項７の発明によれば、所定の画像データから検出された顔画像の品質を判定し、品質が所定の閾値を満たす場合にのみ顔画像の特徴量を算出するので、画像データから検出された顔画像の品質を判定して処理を行う結果、顔画像の品質が所定の閾値を満たす画像データについてはより正確に処理を行うことが可能になり、また、顔画像の品質が所定の閾値を満たさない画像データについても適切に処理を終了させることが可能になる。
According to the invention of
また、請求項８の発明によれば、所定の画像データから検出された顔画像において所定の顔領域を切り出し、顔領域から顔画像の特徴量を算出するので、画像データから検出された顔画像から顔領域を切り出して処理を行う結果、顔画像全体から特徴量を算出する手法に比較して、より精度高く特徴量を算出することが可能になる。
According to the invention of
以下に添付図面を参照して、この発明に係る検索情報管理装置、検索情報管理プログラム、および検索情報管理方法の実施例を詳細に説明する。なお、以下では、この発明に係る検索情報管理装置を含んで構成されるデータベースシステムを実施例として説明する。また、以下の実施例で用いる主要な用語、実施例１におけるデータベースシステムの概要および特徴、実施例１におけるデータベースシステムの構成および処理の手順、実施例１の効果を順に説明し、次に、実施例１のように形成されたデータベースシステムが実際に利用される一例として実施例２について説明し、最後に、他の実施例について説明する。 Exemplary embodiments of a search information management device, a search information management program, and a search information management method according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, a database system including the search information management apparatus according to the present invention will be described as an embodiment. Also, the main terms used in the following embodiments, the outline and features of the database system in the first embodiment, the configuration and processing procedure of the database system in the first embodiment, and the effects of the first embodiment will be described in order. Example 2 will be described as an example in which the database system formed as in Example 1 is actually used, and finally another example will be described.
［用語の説明］
まず最初に、以下の実施例で用いる主要な用語を説明する。「データベースシステム」とは、通常、他のアプリケーションソフトウェアと連携して動作するシステムであって、アプリケーションソフトウェアにおいて対象とされるデータを記憶するシステムである。一般に、データベースシステムは、大容量のハードディスクを保有し、このハードディスクに大量のデータを記憶（特許請求の範囲に記載の「保持」に対応する）している。
[Explanation of terms]
First, main terms used in the following examples will be described. A “database system” is a system that normally operates in cooperation with other application software and stores data targeted by the application software. In general, a database system has a large-capacity hard disk and stores a large amount of data in the hard disk (corresponding to “holding” described in claims).
もっとも、データベースシステムにおいて大量のデータを単に記憶するだけでは、これらのデータを有意義な情報として活用させることは難しい。データベースシステムを利用する利用者によって、アプリケーションソフトウェアを介してデータベースシステムに検索条件が入力され、検索条件に合致したデータが検索結果として利用者に提供されることで、データベースシステムのデータを有意義な情報として活用させることができるのである。このため、以下の実施例におけるデータベースシステムは、データを記憶して管理する仕組み（特許請求の範囲に記載の「検索情報管理装置」に対応する）の他に、これらのデータを検索する仕組みを有する。 However, simply storing a large amount of data in a database system makes it difficult to utilize these data as meaningful information. Search conditions are entered into the database system via the application software by the user who uses the database system, and the data that matches the search conditions is provided to the user as the search results. It can be used as. For this reason, in addition to a mechanism for storing and managing data (corresponding to the “search information management device” described in the claims), the database system in the following embodiments has a mechanism for retrieving these data. Have.
ところで、データを記憶して管理する仕組みについて説明すると、例えば、個人に係る情報を記憶するデータベースシステムは、個人に係る情報を、検索キーとなりうる情報として、個人ごとに区分けして管理する。ここで、「個人に係る情報」とは、『会員ＩＤ』、『名前』、『入会年月日』など個人に関連する属性について、特定の個人に対応する具体的な値のことである。すなわち、例えば、『６１６６』、『東京太郎』、『２００５／４／１５』などの値である。また、データベースシステムは、これらの個人に係る情報を、「個人ごとに区分けして管理」する。すなわち、『６１６６』、『東京太郎』、『２００５／４／１５』などの値は、ある特定の個人に対応する具体的な値であるので、データベースシステムは、これらの値をそれぞれ対応づけて記憶する（例えば、『会員ＩＤ』が『６１６６』の会員の『名前』は『東京太郎』で『入会年月日』は『２００５／４／１５』である、との対応づけがなされている）。 By the way, a mechanism for storing and managing data will be described. For example, a database system for storing information related to an individual manages information related to an individual as information that can serve as a search key. Here, “individual information” is a specific value corresponding to a specific individual regarding attributes related to the individual such as “member ID”, “name”, and “date of membership”. That is, for example, “6166”, “Tokyo Taro”, “2005/4/15”, and the like. Further, the database system “manages and manages” information related to these individuals. That is, since values such as “6166”, “Tokyo Taro”, and “2005/4/15” are specific values corresponding to a specific individual, the database system associates these values with each other. Remember (for example, “name” of the member whose “member ID” is “6166” is “Taro Tokyo” and “date of enrollment” is “2005/4/15”. ).
また、個人ごとに区分けして管理された個人に係る情報は、データベースシステムにおいて、検索キーとなりうる情報として管理される。ここで、「検索キー」とは、上記の例で言えば、「『会員ＩＤ』が『６１６６』の会員」が検索される場面において、データベースシステムが、大量のデータから「『会員ＩＤ』が『６１６６』の会員」の条件を充たす特定の会員を検索する際に、手がかりとする情報のことである。すなわち、データベースシステムは、「『会員ＩＤ』が『６１６６』である」という情報を手がかりに、大量のデータから、属性『会員ＩＤ』が『６１６６』であるデータに対応づけられて記憶されたデータを検索する。この時、『６１６６』は「検索キー」として機能している。 In addition, information related to individuals managed separately for each individual is managed as information that can serve as a search key in the database system. Here, in the above example, the “search key” means that the database system searches for a “member ID” from a large amount of data in a scene where “member with“ member ID ”is“ 6166 ”” is searched. This is information used as a clue when searching for a specific member satisfying the condition of “member of“ 6166 ””. That is, the database system stores data associated with data having the attribute “member ID” of “6166” from a large amount of data, using the information ““ member ID ”is“ 6166 ”” as a clue. Search for. At this time, “6166” functions as a “search key”.
［実施例１におけるデータベースシステムの概要および特徴］
続いて、図１を用いて、実施例１におけるデータベースシステムの概要および特徴を説明する。図１は、実施例１におけるデータベースシステムの概要および特徴を説明するための図である。
[Outline and Features of Database System in Embodiment 1]
Next, the outline and features of the database system according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram for explaining the outline and features of the database system according to the first embodiment.
実施例１におけるデータベースシステムは、上記したように、個人に係る情報を検索キーとなりうる情報として個人ごとに区分けして管理する検索情報管理装置を含んで構成されることを概要とし、高度な検索やソートを実行することを主たる特徴とする。 As described above, the database system according to the first embodiment is configured to include a search information management device that divides and manages individual information as information that can serve as a search key for each individual. And the main feature is to perform sorting.
この主たる特徴について簡単に説明すると、実施例１におけるデータベースシステムは、検索キーになりうる情報として、顔を撮像した顔画像の特徴量を保持する。具体的には、図１に示すように、データベースシステムは、顔画像の特徴量として、属性『特徴量』の具体的な値を保持する。 This main feature will be briefly described. The database system according to the first embodiment holds a feature amount of a face image obtained by capturing a face as information that can be a search key. Specifically, as shown in FIG. 1, the database system holds a specific value of the attribute “feature amount” as the feature amount of the face image.
ここで、実施例１におけるデータベースシステムが保持する顔画像の特徴量とは、例えば、顔画像におけるサンプル点周辺における局所的な領域での画素の濃淡やその濃淡値の変化率等の特徴量の集まりを、実数要素からなるベクトルとして表現した特徴ベクトルなどのことであり、顔画像がどのような顔であるかを認識した上でその特徴を識別するような特徴量のことである。なお、実施例１においては、図１に示すように、データベースシステムは、特徴量をバイナリフォーマットで保持する。また、図１においては、便宜上から、顔画像データを含むデータがイラストで表現されているが、実際は、デジタルカメラなどで撮像され、ＪＰＥＧ（Joint Photographic Experts Group）などの形式で保存された画像データである。 Here, the feature amount of the face image held by the database system in the first embodiment is, for example, a feature amount such as a pixel shade in a local region around the sample point in the face image and a change rate of the shade value. It is a feature vector that represents a collection as a vector composed of real elements, and is a feature quantity that identifies a face after recognizing what kind of face the face image is. In the first embodiment, as shown in FIG. 1, the database system holds the feature amount in a binary format. In FIG. 1, for convenience, data including face image data is represented by an illustration, but in actuality, image data captured by a digital camera or the like and stored in a format such as JPEG (Joint Photographic Experts Group) It is.
実施例１に係るデータベースシステムは、図１に示すように、例えば、属性『会員ＩＤ』の具体的な値として『６１６６』と、属性『名前』の具体的な値として『東京太郎』と、属性『入会年月日』の具体的な値として『２００５／４／１５』と、属性『顔写真』の具体的な値として男性の顔画像データと、属性『特徴量』の具体的な値としてバイナリフォーマットで保持された特徴量とを、それぞれ対応づけて保持する。したがって、このデータベースシステムの利用者は、属性『会員ＩＤ』の具体的な値である『６１６６』を検索キーにしてデータを検索することも、属性『名前』の具体的な値である『東京太郎』を検索キーにしてデータを検索することも、属性『入会年月日』の具体的な値である『２００５／４／１５』を検索キーにしてデータを検索することもできるだけでなく、属性『特徴量』の具体的な値を検索キーにしてデータを検索することもできる。 As shown in FIG. 1, the database system according to the first embodiment includes, for example, “6166” as a specific value of the attribute “member ID” and “Tokyo Taro” as a specific value of the attribute “name”. “2005/4/15” as a specific value of the attribute “enrollment date”, male face image data as a specific value of the attribute “face photo”, and a specific value of the attribute “feature” Are stored in correspondence with each other in the binary format. Therefore, a user of this database system can search for data using “6166”, which is a specific value of the attribute “member ID”, as a search key, or “Tokyo”, which is a specific value of the attribute “name”. You can search for data using “Taro” as a search key, and you can search for data using “2005/4/15”, which is a specific value of the attribute “Membership Date”, as a search key. Data can also be searched using a specific value of the attribute “feature” as a search key.
このようにして、実施例１に係るデータベースシステムは、顔画像の特徴量を検索キーとして検索やソートを実行した場合には、顔画像の特徴量に基づいた高度な検索やソートを実行することが可能になる。 In this way, the database system according to the first embodiment performs advanced search and sort based on the feature amount of the face image when the search and sort are executed using the feature amount of the face image as the search key. Is possible.
［実施例１におけるデータベースシステムの構成］
次に、図２〜図９を用いて、実施例１におけるデータベースシステムを説明する。図２は、実施例１におけるデータベースシステムの構成を示すブロック図であり、図３は、入力部を説明するための図であり、図４は、マスタテーブル記憶部を説明するための図であり、図５は、顔画像検出部を説明するための図であり、図６は、顔画像切り出し部を説明するための図であり、図７は、特徴量算出部を説明するための図であり、図８は、マスタテーブル登録部を説明するための図であり、図９は、検索部を説明するための図である。
[Configuration of Database System in Embodiment 1]
Next, the database system according to the first embodiment will be described with reference to FIGS. FIG. 2 is a block diagram illustrating a configuration of the database system according to the first embodiment, FIG. 3 is a diagram for explaining an input unit, and FIG. 4 is a diagram for explaining a master table storage unit. 5 is a diagram for explaining the face image detection unit, FIG. 6 is a diagram for explaining the face image cutout unit, and FIG. 7 is a diagram for explaining the feature amount calculation unit. FIG. 8 is a diagram for explaining the master table registration unit, and FIG. 9 is a diagram for explaining the search unit.
図２に示すように、実施例１おけるデータベースシステム１０は、入力部１１と、出力部１２と、入出力制御ＩＦ部１３と、記憶部２０と、制御部３０とから構成される。
As shown in FIG. 2, the database system 10 according to the first embodiment includes an
入力部１１は、制御部３０による各種処理に用いるデータや、各種処理をするための操作指示などを、キーボード、スキャナ、カメラ、マウス、記憶媒体、または通信などによって入力する手段である。具体的には、入力部１１は、後述するマスタテーブル登録部３２によってデータベースシステム１０に登録されるデータを入力し、後述する入力データ記憶部２１に記憶させる。また、マスタテーブル登録部３２によってデータを登録するための操作指示や、後述する検索部３３によってデータを検索するための操作指示などを入力する。
The
例えば、入力部１１は、図３に示すように、出力部１２によって出力された『新規顧客入力画面』において、『会員ＩＤ』、『名前』、『入会年月日』などの属性に関する具体的な値を、キーボードなどで入力する。すなわち、図３に示すように、『１４７５』、『日本一郎』、『２００６／０３／１０』などのデータを入力する。また、属性『顔写真』の具体的な値である画像データを、スキャナやカメラなどで入力する。すなわち、図３に示すように、特定の男性の顔画像を含むデータなどのデータを入力する。なお、図３に示す『新規顧客入力画面』に、属性『特徴量』の具体的な値としてバイナリフォーマットで保持された特徴量が表示されているが、この特徴量については、他の装置によって算出された特徴量が入力部１１によって入力されて表示される場合や、後述する算出部３１によって算出されて表示される場合など、いずれでもよい。
For example, as shown in FIG. 3, the
出力部１２は、制御部３０による各種処理の結果や、各種処理をするための操作指示などを、モニタ、またはプリンタなどに出力する手段である。具体的には、出力部１２は、入力部１１によってデータを入力させるための画面や、後述するマスタテーブル登録部３２によって後述するマスタテーブル記憶部２３に登録されたマスタテーブルや、後述する検索部３３によって検索されて後述する検索結果記憶部２４に記憶された検索結果のデータなどを出力する。例えば、出力部１２は、図３に示すように、入力部１１によってデータを入力させるための『新規顧客入力画面』などを、モニタに出力する。また、出力部１２は、図４に示すようなマスタテーブル記憶部２３に登録されたマスタテーブルを、モニタやプリンタなどに出力する。
The
入出力制御ＩＦ部１３は、入力部１１および出力部１２と、記憶部２０および制御部３０との間におけるデータ転送を制御する手段である。
The input / output control IF
記憶部２０は、制御部３０による各種処理に用いるデータを記憶する記憶手段であり、特にこの発明に密接に関連するものとしては、図２に示すように、入力データ記憶部２１と、算出結果記憶部２２と、マスタテーブル記憶部２３と、検索結果記憶部２４とを備える。なお、マスタテーブル記憶部２３は、特許請求の範囲に記載の「保持手段」に対応する。
The
かかる記憶部２０のなかで、入力データ記憶部２１は、後述するマスタテーブル登録部３２によってデータベースシステム１０に登録されるデータや、後述する検索部３３によって検索される際に検索キーにされるデータであって、入力部１１によって入力されたデータを記憶する手段である。具体的には、入力データ記憶部２１は、入力部１１によって入力されたデータを記憶し、記憶したデータは、後述する算出部３１による算出処理、マスタテーブル登録部３２による登録処理、検索部３３による検索処理に利用される。例えば、入力データ記憶部２１は、図３に示すような『新規顧客入力画面』から入力された『１４７５』、『日本一郎』、『２００６／０３／１０』などのデータや顔画像を含むデータを、ＣＳＶ（Comma Separated Values）形式などの所定の形式で記憶する。
Among the
算出結果記憶部２２は、後述する算出部３１によって算出された算出結果（顔画像の特徴量）を記憶する手段である。具体的には、算出結果記憶部２２は、算出部３１によって算出された算出結果を記憶し、記憶した算出結果は、後述するマスタテーブル登録部３２による登録処理に利用される。例えば、算出結果記憶部２２は、後述する算出部３１によって算出された特徴量をバイナリフォーマットで記憶する。なお、バイナリフォーマットとは、テキスト形式(文字データ)以外のデータ形式のことをいう。
The calculation
マスタテーブル記憶部２３は、後述するマスタテーブル登録部３２によって登録されたマスタテーブルを記憶する手段である。具体的には、マスタテーブル記憶部２３は、マスタテーブル登録部３２によって登録されたマスタテーブルを記憶し、記憶したマスタテーブルのデータは、後述する検索部３３による検索処理に利用される。例えば、マスタテーブル記憶部２３は、図４に示すように、属性『会員ＩＤ』、『名前』、『入会年月日』、『顔写真』、『特徴量』などの具体的な値を、個人ごとに区分けして記憶する。また、図４の（Ａ）に示すようなマスタテーブル記憶部２３に新しいデータが記憶されると、図４の（Ｂ）に示すように、マスタテーブルに新しいデータが追加されて記憶される。
The master
ここで、データベースシステム１０の中で、入力データ記憶部２１、算出結果記憶部２２、および検索結果記憶部２４は、データを一時的に記憶する手段であるが、このマスタテーブル記憶部２３は、データを継続的に記憶する手段である。すなわち、データベースシステム１０の利用者によって検索やソートされるデータは、マスタテーブル記憶部２３が記憶するデータである。なお、説明の便宜上から、図４においては、表形式のマスタテーブルを示したが、実際のマスタテーブル記憶部２３は、ＣＳＶ形式などの所定の形式でデータを記憶する。
Here, in the database system 10, the input
検索結果記憶部２４は、後述する検索部３３によって検索された検索結果を記憶する手段である。具体的には、検索結果記憶部２４は、検索部３３によって検索された検索結果を記憶し、記憶した検索結果は、後述する出力部１２による出力処理に利用される。例えば、検索結果記憶部２４は、データベースシステム１０を利用する利用者によって入力された「『会員ＩＤ』が『６１６６』である顧客」などの検索条件に基づいて、後述する検索部３３によって属性『会員ＩＤ』の具体的な値である『６１６６』を検索キーとして検索がなされた場合には、検索結果として、図４の１行目のデータを記憶する。また、検索結果記憶部２４は、利用者によって特定の顔画像を含むデータが検索条件として入力され、検索部３３によってこの顔画像の特徴量を検索キーとして検索がなされた場合（例えば、同一人物の顔画像検索がなされた場合）には、検索結果として、この特徴量に対応づけられた一連のデータ（属性『会員ＩＤ』、『名前』、『入会年月日』、『顔写真』などの具体的な値）を記憶する。
The search
制御部３０は、データベースシステム１０を制御して各種処理を実行する手段であり、特にこの発明に密接に関連するものとしては、図２に示すように、算出部３１と、マスタテーブル登録部３２と、検索部３３とを備える。
The
かかる制御部３０のなかで、算出部３１は、顔を撮像した顔画像を含むデータから顔画像の特徴量を算出する手段であり、図２に示すように、顔画像検出部３１ａと、顔画像個数判定部３１ｂと、顔画像品質判定部３１ｃと、顔画像切り出し部３１ｄと、特徴量算出部３１ｅとを備える。なお、算出部３１は、特許請求の範囲に記載の「算出手段」に対応する。
In the
顔画像検出部３１ａは、所定の画像データから、この画像データに顔画像が含まれているか否かを検出する手段である。具体的には、顔画像検出部３１ａは、図５に示すように、入力データ記憶部２１に記憶された画像データから、この画像データに顔画像が含まれているか否かを検出し、顔画像が含まれている場合にのみ、顔画像個数判定部３１ｂに処理を引き継ぐ。
The face
例えば、顔画像検出部３１ａは、所定の画像データから、縮小率が異なる複数の縮小画像を生成する。そして、顔画像検出部３１ａは、各縮小画像に、右目、左目、鼻、口の顔パーツの画素が含まれているか否かを線形判別分析により判別する。すなわち、まず、顔画像検出部３１ａは、縮小画像の各画素の画素値に対してガボールフィルタを適用し、画素ごとにエッジ強度およびエッジ方向を算出する。次に、顔画像検出部３１ａは、顔パーツの検出対象となる画素を中心とする四角形のテンプレートを選択し、四角形の四隅の点に対応する画素と、四角形の各辺の中点に対応する画素と、検出対象となる画素と、併せて合計９つの画素におけるエッジ強度およびエッジ方向の情報を取得する。その後、顔画像検出部３１ａは、取得された９つの画素におけるエッジ強度およびエッジ方向の情報を、顔パーツ画像か否かを判別する線形判別式に入力して判別スコアを算出し、その判別スコアの値に基づいて顔パーツ画像か否かを判別する。
For example, the face
このようにして、顔パーツ画像を判別すると、続いて、顔画像検出部３１ａは、顔パーツ画像の位置に基づいて、顔画像の位置を代表する代表点を決定する。そして、顔画像検出部３１ａは、その代表点を中心として、画像データを所定の画素数で区切り、右目、左目、鼻、口の４つの顔パーツ画像が、それぞれ、左上、右上、中央、中央下の分割領域に含まれるように画像データを分割する。次に、顔画像検出部３１ａは、各分割領域に位置する右目、左目、鼻、口の４つの顔パーツ画像の判別スコアの合計値を算出し、その合計値から、画像データに顔画像が含まれているかを判別するための特徴量を生成する。そして、顔画像検出部３１ａは、画像データに顔画像が含まれているかを判別するための線形判別式に特徴量を入力して判別スコアを算出し、その判別スコアの値に基づいて、顔画像であると判別し、画像データに顔画像が含まれていることを検出する。なお、この発明は上記した手法に限定されるものではなく、所定の画像データから、この画像データに顔画像が含まれているか否かを検出する手法であれば、いずれでもよい。
When the face part image is discriminated in this way, the face
顔画像個数判定部３１ｂは、所定の画像データから検出された顔画像の個数が１つであるか否かを判定する手段である。具体的には、顔画像個数判定部３１ｂは、顔画像検出部３１ａから処理を引き継ぎ、入力データ記憶部２１に記憶された画像データから検出された顔画像の個数が１つであるか否かを判定し、個数が１つである場合にのみ、顔画像品質判定部３１ｃに処理を引き継ぐ。
The face image
顔画像品質判定部３１ｃは、所定の画像データから検出された顔画像の品質を判定する手段である。具体的には、顔画像品質判定部３１ｃは、顔画像個数判定部３１ｂから処理を引き継ぎ、入力データ記憶部２１に記憶された画像データから検出された顔画像の品質（例えば、画素数、色の濃淡、輝度のばらつきなど）を判定し、所定の閾値を満たす場合にのみ、顔画像切り出し部３１ｄに処理を引き継ぐ。
The face image
顔画像切り出し部３１ｄは、所定の画像データから検出された顔画像から所定の顔領域を切り出す手段である。具体的には、顔画像切り出し部３１ｄは、顔画像品質判定部３１ｃから処理を引き継ぎ、図６に示すように、入力データ記憶部２１に記憶された画像データから検出された顔画像から所定の顔領域を切り出し、特徴量算出部３１ｅに処理を引き継ぐ。
The face
特徴量算出部３１ｅは、顔画像から顔画像の特徴量を算出する手段である。具体的には、特徴量算出部３１ｅは、顔画像切り出し部３１ｄから処理を引き継ぎ、図７に示すように、顔画像切り出し部３１ｄによって切り出された顔領域から顔画像の特徴量を算出し、算出結果を、算出結果記憶部２２に記憶させる。
The feature
例えば、特徴量算出部３１ｅは、顔領域から算出する顔画像の特徴量として、「特徴ベクトル」を利用する。「特徴ベクトル」とは、顔領域におけるサンプル点（例えば、顔領域における１００個の任意の点など）周辺における局所的な領域での画素の濃淡やその濃淡値の変化率等の特徴量の集まりを、実数要素からなるベクトルとして表したものである。
For example, the feature
ここで、実施例１における特徴量算出部３１ｅにおいて利用される「部分空間」の概念について説明すると、特徴ベクトル空間において、まず、「本人の変動部分空間」と「他人の変動部分空間」とが存在する。「本人の変動部分空間」とは、顔の表情や撮影角度等の相違によって異なる複数の本人の画像データにおける特徴ベクトルの差から構成される部分空間であり、「他人の変動部分空間」とは、本人および他人の画像データのペアにおける特徴ベクトルの差から構成される部分空間である。この「本人の変動部分空間」の補空間と「他人の変動部分空間」とが交わる空間を、「認識部分空間」と呼ぶことにする。
Here, the concept of the “subspace” used in the feature
実施例１における特徴量算出部３１ｅは、顔領域における特徴ベクトルの「認識部分空間」への距離を計算し、その距離が小さくなるような顔領域上のサンプル点を検出する。サンプル点が検出されると、特徴量算出部３１ｅは、顔領域における新たなサンプル点の特徴ベクトルに基づいて新たな認識部分空間を作成する。特徴量算出部３１ｅは、作成された認識部分空間が収束するまで、特徴ベクトルの認識部分空間への距離に基づいたサンプル点の検出処理と、新たなサンプル点における特徴ベクトルに基づいた認識部分空間の作成処理とを繰り返す。このようにして、特徴量算出部３１ｅは、精度良く特徴ベクトルを算出する。なお、この発明は上記した手法に限定されるものではなく、顔画像の特徴量を算出する手法であれば、いずれでもよい。
The feature
なお、実施例１においては、顔画像検出部３１ａから顔画像個数判定部３１ｂに処理を引き継ぎ、顔画像個数判定部３１ｂから顔画像品質判定部３１ｃに処理を引き継ぎ、顔画像品質判定部３１ｃから顔画像切り出し部３１ｄに処理を引き継ぎ、顔画像切り出し部３１ｄから特徴量算出部３１ｅに処理を引き継ぐ場合を説明したが、一部の処理を省略して特徴量算出部３１ｅに処理を引き継ぐ場合や、異なる順番で処理を引き継ぐ場合など、特徴量算出部３１ｅによって顔画像の特徴量を算出する前処理としてどのような前処理をどのような順で行うかについては、いずれでもよい。
In the first embodiment, the process is transferred from the face
また、制御部３０のなかで、マスタテーブル登録部３２は、データベースシステム１０を利用する利用者によって検索やソートの対象とされるデータを、継続的に記憶する手段である。具体的には、マスタテーブル登録部３２は、入力データ記憶部２１によって記憶されたデータや、算出結果記憶部２２によって記憶されたデータを、それぞれ個人ごとに区分けし、ＳＱＬ（Structured Query Language）などのコマンドを実行することで、マスタテーブル記憶部２３に記憶させる。
In the
例えば、マスタテーブル登録部３２は、図８に示すように、ＳＱＬのコマンドを実行する。ここで、図８に示すＳＱＬのコマンドについて説明すると、「INSERT INTO Customers」によって、「Customers」のマスタテーブルにデータを追加することを宣言している。また、「Customers」の属性として、「CustomerID」、「CustomerName」、「AdmissionDate」、「PhotoDate」、「Feature」があることを宣言しているが、これらは、上記で説明した属性『会員ＩＤ』、『名前』、『入会年月日』、『顔写真』、『特徴量』にそれぞれ対応している。さらに、それぞれの属性の具体的な値として、「VALUES」以下で指定する値を追加することを指示している。すなわち、属性『会員ＩＤ』として『１４７５』を追加し、属性『名前』として『日本一郎』を追加し、属性『入会年月日』として『２００６／３／１０』を追加し、属性『顔写真』として該当する顔画像を含むデータを追加し、属性『特徴量』として該当する顔画像の特徴量を追加し、それぞれ対応づけることを指示している。なお、図８におけるＳＱＬはあくまでイメージであり、実際は、顔画像を含むデータや顔画像の特徴量などの情報は、他の変数に代入された上でVALUE列に記入される。
For example, the master
検索部３３は、データベースシステム１０の利用者によって入力された検索条件に基づいて、検索やソートなどを実行する手段である。具体的には、検索部３３は、入力データ記憶部２１に記憶された検索条件（属性『会員ＩＤ』、『名前』、『入会年月日』などの具体的な値）や、入力データ記憶部２１に記憶された検索条件が顔画像を含むデータであった場合には、この顔画像の特徴量を算出した結果を記憶した算出結果記憶部２２に記憶された検索条件に基づいて、検索やソートなどを実行し、検索結果記憶部２４に記憶させる。
The
例えば、検索部３３は、図９に示すように、ＳＱＬなどのコマンドを実行することで、検索やソートを実行する。ここで、図９に示すＳＱＬのコマンドについて説明すると、まず、図９に示す「Face」は、マスタテーブルの属性『顔画像』や『特徴量』などを組み合わせたデータ型のことである。また、図９においては、説明の便宜上から「FACE」と示しているが、実際には、属性『顔画像』や『特徴量』などの具体的な値が代入されている状態である。すなわち、「SELECT*FROM 顧客マスタ WHERE 顔テンプレート=Face」は、「顧客マスタ」のマスタテーブルから、顔テンプレート（属性『顔画像』や『特徴量』など）がFace（具体的な値）であること検索キーとして、データの検索を実行するコマンドである。検索結果として、Face（具体的な値）と同様の顔画像の特徴量を有するデータ（例えば、同一人物の顔画像や、似た顔立ちの顔画像）が抽出される。また、「SELECT*FROM 顧客マスタ ORDER BY Face」は、「顧客マスタ」のマスタテーブルを、Face（具体的な値）の順で並べ替えるソートを実行するコマンドである。ソート結果として、Face（具体的な値）と顔画像の特徴量が似ている順に、データが並べ替えられる。また、「SELECT*FROM 顧客マスタ ORDER BY Face DESC」は、「顧客マスタ」のマスタテーブルを、Face（具体的な値）と逆順で並べ替えるソートを実行するコマンドである。ソート結果として、Face（具体的な値）と顔画像の特徴量が似ていない順に、データが並べ替えられる。
For example, as shown in FIG. 9, the
［実施例１におけるデータベースシステムによる処理の手順］
次に、図１０を用いて、実施例１におけるデータベースシステムによる処理を説明する。図１０は、実施例１におけるデータベースシステムによる処理の手順を示すフローチャートである。
[Processing Procedure by Database System in Embodiment 1]
Next, processing by the database system in the first embodiment will be described with reference to FIG. FIG. 10 is a flowchart illustrating a processing procedure performed by the database system according to the first embodiment.
まず、実施例１におけるデータベースシステム１０は、所定の画像データの入力を受け付けたか否かを判断する（ステップＳ１００１）。入力を受け付けていない場合には（ステップＳ１００１否定）、データベースシステム１０は、画像データの入力の受け付けを待機する処理に戻る。入力を受け付けた場合には（ステップＳ１００１肯定）、データベースシステム１０は、顔画像検出部３１ａにおいて、入力データ記憶部２１に記憶された所定の画像データから、画像データに顔画像が含まれているか否かを検出する処理を行う（ステップＳ１００２）。
First, the database system 10 according to the first embodiment determines whether or not input of predetermined image data has been accepted (step S1001). When the input is not received (No at Step S1001), the database system 10 returns to the process of waiting for the reception of the input of the image data. When the input is accepted (Yes at step S1001), the database system 10 determines whether the face image is included in the image data from the predetermined image data stored in the input
そして、データベースシステム１０は、顔画像検出部３１ａにおいて、所定の画像データに顔画像が含まれているか否かを検出したかを判断し（ステップＳ１００３）、顔画像が含まれている場合にのみ（ステップＳ１００３肯定）、顔画像個数判定部３１ｂにおいて、検出された顔画像の個数が１つであるか否かを判定する処理を行う（ステップＳ１００４）。
Then, the database system 10 determines whether or not the face
次に、データベースシステム１０は、所定の画像データから検出された顔画像の個数が１つである場合にのみ（ステップＳ１００４肯定）、顔画像品質判定部３１ｃにおいて、検出された顔画像の品質を判定する処理を行う（ステップＳ１００５）。
Next, the database system 10 determines the quality of the detected face image in the face image
そして、データベースシステム１０は、所定の画像データから検出された顔画像の品質が、所定の閾値を満たす場合にのみ（ステップＳ１００５肯定）、顔画像切り出し部３１ｄにおいて、検出された顔画像から所定の顔領域を切り出す処理を行う（ステップＳ１００６）。
Then, only when the quality of the face image detected from the predetermined image data satisfies the predetermined threshold value (Yes at Step S1005), the database system 10 determines the predetermined value from the detected face image in the face
続いて、データベースシステム１０は、特徴量算出部３１ｅにおいて、切り出された顔領域から顔画像の特徴量を算出し、算出結果記憶部２２に記憶させる（ステップＳ１００７）。
Subsequently, the database system 10 calculates the feature amount of the face image from the extracted face area in the feature
次に、データベースシステム１０は、マスタテーブル登録部３２において、算出結果記憶部２２に記憶された顔画像の特徴量を、マスタテーブル記憶部２３に保持させる（ステップＳ１００８）。
Next, the database system 10 causes the master
このようにして、検索キーとなりうる情報として顔画像の特徴量をマスタテーブル記憶部２３に保持させる結果、データベースシステム１０は、顔画像の特徴量を検索キーとする検索やソートの実行を受け付けると、ある顔画像と同様の特徴を有する他の顔画像（例えば、同一人物の顔画像や、似た顔立ちの顔画像など）を検索やソートするなど、顔画像の特徴量に基づいた高度な検索やソートを実行することが可能になる。
In this way, as a result of holding the feature quantity of the face image in the master
なお、顔画像検出部３１ａにおいて、所定の画像データに顔画像が含まれていないと判断された場合（ステップＳ１００３否定）には、データベースシステム１０は、エラーメッセージを表示して（ステップＳ１００９）、処理を終了する。また、顔画像個数判定部３１ｂにおいて、顔画像の個数が１つではないと判定された場合（ステップＳ１００４否定）には、データベースシステム１０は、エラーメッセージを表示して（ステップＳ１０１０）、処理を終了する。また、顔画像品質判定部３１ｃにおいて、顔画像の品質が、所定の閾値を満たさないと判定された場合（ステップＳ１００５否定）には、データベースシステム１０は、エラーメッセージを表示して（ステップＳ１０１１）、処理を終了する。
If the face
［実施例１の効果］
上記したように、実施例１によれば、個人に係る情報を検索キーとなりうる情報として個人ごとに区分けして管理する検索情報管理装置であって、検索キーとなりうる情報として個人生体情報の特徴量を保持するので、検索情報管理装置に対して、個人生体情報の特徴量を検索キーとして検索やソートを実行した場合には、ある顔画像と同様の特徴を有する他の顔画像（例えば、同一人物の顔画像や、似た顔立ちの顔画像など）を検索やソートするなど、個人生体情報の特徴量に基づいた高度な検索やソートを実行することが可能になる。また、データの特徴を量的に規定した特徴量に基づいて検索することから、検索時に処理すべきデータ量や演算量が増えず、処理負荷が軽くなる結果、個人生体情報の特徴量に基づいた高度な検索やソートを低負荷で実行することが可能になる。
[Effect of Example 1]
As described above, according to the first embodiment, a search information management apparatus that manages information related to individuals as information that can be used as a search key for each individual, and includes characteristics of personal biometric information as information that can be used as a search key. Therefore, when a search or sort is performed on the search information management apparatus using the feature quantity of the personal biometric information as a search key, another face image having the same characteristics as a certain face image (for example, It is possible to perform advanced search and sort based on the feature amount of personal biometric information, such as search and sort of facial images of the same person or similar facial images. In addition, since the data features are searched based on quantitatively defined feature amounts, the amount of data and calculation amount to be processed at the time of search does not increase, and the processing load is reduced. As a result, based on the feature amounts of personal biometric information Advanced search and sorting can be executed with low load.
また、実施例１によれば、特徴量をバイナリフォーマットで保持するので、特徴量に係るデータ量を圧縮することから、特徴量をテキストフォーマットで保持する手法に比較して、検索時に処理すべきデータ量や演算量がより少なくなり、処理負荷がより軽くなる結果、個人生体情報の特徴量に基づいた高度な検索やソートをより低負荷で実行することが可能になる。また、特徴量を保持するために利用されるディスクスペースを節約することが可能になる。 In addition, according to the first embodiment, since the feature amount is held in the binary format, the data amount related to the feature amount is compressed. Therefore, the feature amount should be processed at the time of retrieval as compared with the method of holding the feature amount in the text format. As a result of reducing the amount of data and the amount of calculation and reducing the processing load, it becomes possible to execute advanced search and sorting based on the feature amount of the personal biometric information with a lower load. In addition, it is possible to save the disk space used for maintaining the feature amount.
また、実施例１によれば、個人生体情報から特徴量を算出し、検索キーとなりうる情報として算出された特徴量を保持するので、特徴量が算出されていない個人生体情報については、特徴量を算出してから保持する結果、特徴量が算出されていない個人生体情報についても、検索キーとなりうる情報として特徴量を保持することが可能になる。 Further, according to the first embodiment, the feature amount is calculated from the personal biometric information, and the feature amount calculated as information that can be a search key is held. Therefore, for the personal biometric information for which the feature amount is not calculated, the feature amount As a result of calculating and holding the feature amount, it is possible to hold the feature amount as information that can serve as a search key even for personal biometric information for which the feature amount has not been calculated.
また、実施例１によれば、個人生体情報の特徴量として、顔を撮像した顔画像の特徴量を保持するので、検索情報管理装置に対して、顔画像の特徴量を検索キーとして検索やソートを実行した場合には、顔画像の特徴量に基づいた高度な検索やソートを実行することが可能になる。また、顔照合アプリケーションの開発効率を向上させることが可能になる。 Further, according to the first embodiment, since the feature amount of the face image obtained by capturing the face is held as the feature amount of the personal biometric information, the search information management apparatus can be searched using the feature amount of the face image as a search key. When sorting is performed, it is possible to perform advanced search and sorting based on the feature amount of the face image. In addition, the development efficiency of the face matching application can be improved.
また、実施例１によれば、所定の画像データから画像データに顔画像が含まれているか否かを検出し、顔画像が含まれている場合にのみ顔画像の特徴量を算出するので、画像データに顔画像が含まれているか否かを認識して処理を行う結果、顔画像が含まれている画像データについてはより正確に処理を行うことが可能になり、また、顔画像が含まれていない画像データについても適切に処理を終了させることが可能になる。 Further, according to the first embodiment, whether or not a face image is included in the image data from predetermined image data is detected, and the feature amount of the face image is calculated only when the face image is included. As a result of recognizing whether or not a face image is included in the image data, it becomes possible to process the image data including the face image more accurately, and the face image is included. It is possible to appropriately end the processing for image data that has not been processed.
また、実施例１によれば、所定の画像データから検出された顔画像の個数が１つであるか否かを判定し、個数が１つである場合にのみ顔画像の特徴量を算出するので、画像データから検出された顔画像の個数を認識して処理を行う結果、顔画像の個数が１つである画像データについてはより正確に処理を行うことが可能になり、また、顔画像が複数検出された画像データについても適切に処理を終了させることが可能になる。 Further, according to the first embodiment, it is determined whether or not the number of face images detected from predetermined image data is one, and the feature amount of the face image is calculated only when the number is one. Therefore, as a result of processing by recognizing the number of face images detected from the image data, it becomes possible to perform processing more accurately for image data having one face image, and for the face image. It is possible to appropriately end the processing for image data in which a plurality of images are detected.
また、実施例１によれば、所定の画像データから検出された顔画像の品質を判定し、品質が所定の閾値を満たす場合にのみ顔画像の特徴量を算出するので、画像データから検出された顔画像の品質を判定して処理を行う結果、顔画像の品質が所定の閾値を満たす画像データについてはより正確に処理を行うことが可能になり、また、顔画像の品質が所定の閾値を満たさない画像データについても適切に処理を終了させることが可能になる。 Further, according to the first embodiment, the quality of the face image detected from the predetermined image data is determined, and the feature amount of the face image is calculated only when the quality satisfies the predetermined threshold value. As a result of determining and processing the quality of the face image, it is possible to perform more accurate processing on image data whose face image quality satisfies a predetermined threshold value. It is possible to appropriately end processing even for image data that does not satisfy the above.
また、実施例１によれば、所定の画像データから検出された顔画像において所定の顔領域を切り出し、顔領域から顔画像の特徴量を算出するので、画像データから検出された顔画像から顔領域を切り出して処理を行う結果、顔画像全体から顔画像の特徴量を算出する手法に比較して、より精度高く顔画像の特徴量を算出することが可能になる。 Further, according to the first embodiment, a predetermined face area is cut out from the face image detected from the predetermined image data, and the feature amount of the face image is calculated from the face area. Therefore, the face is detected from the face image detected from the image data. As a result of extracting and processing the region, it is possible to calculate the feature amount of the face image with higher accuracy than the method of calculating the feature amount of the face image from the entire face image.
さて、これまで実施例１として、データベースシステムが、顔を撮像した顔画像の特徴量を保持する場合について説明したが、以下では、実施例２として、実施例１のように形成されたデータベースシステムが実際に利用される場合について、図１１を用いて一例を説明する。図１１は、実施例２におけるデータベースシステムの利用について説明するための図である。 The case where the database system holds the feature amount of the face image obtained by capturing the face has been described as the first embodiment. Hereinafter, the database system formed as in the first embodiment as the second embodiment will be described below. An example will be described with reference to FIG. FIG. 11 is a diagram for explaining use of the database system according to the second embodiment.
実施例２におけるデータベースシステムとして、一般の消費者（以下、顧客という）に対して金銭の貸出を行う金融機関において、取引中（金融機関から顧客に対して金銭を貸し出したが、未だ返却に至らない状況）の顧客を管理するために形成された「顧客データベースシステム」（実施例１におけるデータベースシステム１０に対応する）を想定する。また、想定する金融機関では、取引中の顧客に対し、重複して金銭の貸出契約を締結しないものとする。すなわち、「顧客データベースシステム」の「取引中顧客テーブル」（実施例１におけるマスタテーブル記憶部２３に対応する）に登録中の顧客に対しては、重複して金銭の貸出契約を締結しない。
As a database system in the second embodiment, in a financial institution that lends money to a general consumer (hereinafter referred to as a customer), during a transaction (lending money from a financial institution to a customer, it is still returned) Assume a “customer database system” (corresponding to the database system 10 in the first embodiment) formed to manage customers in a non-existing situation. In addition, the assumed financial institution shall not conclude a monetary loan contract with a customer who is doing business. In other words, for customers who are registered in the “customer transaction table” of the “customer database system” (corresponding to the master
このため、想定する金融機関と顧客との間の金銭貸出契約締結の場面では、金融機関によって、特定の顧客との取引状況が確認される必要がある。具体的には、金融機関の受付担当者によって、契約を希望する顧客と「取引中顧客テーブル」に登録中の顧客データとの照合が行われ、照合結果が一致しない場合にのみ、金銭貸出契約締結に向けて手順を進めることになる。 For this reason, it is necessary to confirm the transaction status with a specific customer by a financial institution when a financial lending contract is concluded between the assumed financial institution and the customer. Specifically, the financial institution accepts the customer who wants to make a contract with the customer data registered in the “transaction customer table” and only if the matching results do not match, The procedure will be advanced toward the conclusion.
実施例２においては、上記した照合を、契約を希望する顧客によって提示される免許証を利用して行うものと想定する。まず、免許証に記載された『名前』のデータおよび『顔画像』のデータが、金融機関の受付担当者によって、「顧客データベースシステム」に入力される（図１１の（１）を参照）。 In the second embodiment, it is assumed that the above-described verification is performed using a license presented by a customer who desires a contract. First, “name” data and “face image” data described in the license are input to the “customer database system” by the person in charge of reception at the financial institution (see (1) in FIG. 11).
次に、「顧客データベースシステム」は、『名前』のデータおよび『顔画像』のデータの入力を受け付け、「顔画像」のデータから顔画像の特徴量を算出する（図１１の（２）を参照）。ここで、顔画像の特徴量とは、実施例１と同様、顔画像におけるサンプル点周辺における局所的な領域での画素の濃淡やその濃淡値の変化率等の特徴量の集まりを、実数要素からなるベクトルとして表現した特徴ベクトルなどのことであり、顔画像がどのような顔であるかを認識した上でその特徴を識別するような特徴量のことである。 Next, the “customer database system” accepts the input of “name” data and “face image” data, and calculates the feature quantity of the face image from the “face image” data (see (2) in FIG. 11). reference). Here, the feature amount of the face image is a collection of feature amounts such as pixel shading in the local region around the sample point in the face image and the change rate of the shading value, as in the first embodiment. This is a feature vector expressed as a vector consisting of, and is a feature quantity that identifies a face after recognizing what kind of face the face image is.
そして、「顧客データベースシステム」は、入力を受け付けた属性『名前』の具体的な値を検索キーとして、「取引中顧客テーブル」の検索を行う（図１１の（３）を参照）。入力を受け付けた「名前」のデータは『日本太郎』であるが、図１１に示すように、「取引中顧客テーブル」に、属性『名前』との照合結果が『日本太郎』と一致するデータは存在しない（図１１の（４）を参照）。 Then, the “customer database system” searches the “in-transaction customer table” using the specific value of the attribute “name” for which the input has been received as a search key (see (3) in FIG. 11). The data of “name” that received the input is “Nihon Taro”, but as shown in FIG. 11, data whose matching result with the attribute “name” matches “Nihon Taro” in the “in-transaction customer table”. Does not exist (see (4) in FIG. 11).
続いて、「顧客データベースシステム」は、算出した顔画像の特徴量を検索キーとして、「取引中顧客テーブル」の検索を行う（図１１の（５）を参照）。すると、図１１に示すように、属性『名前』の具体的な値が『日本一郎』である顧客の顔画像の特徴量と、算出した顔画像の特徴量との照合結果が一致することが判明する（図１１の（６）を参照）。 Subsequently, the “customer database system” searches the “in-transaction customer table” using the calculated feature value of the face image as a search key (see (5) in FIG. 11). Then, as shown in FIG. 11, the matching result between the feature value of the face image of the customer whose specific value of the attribute “name” is “Nihon Ichiro” and the calculated feature value of the face image may match. It becomes clear (see (6) in FIG. 11).
以上のことから、免許証を提示した顧客が、「取引中顧客テーブル」に登録中の顧客であることが判明するので、金融機関は、免許証を提示した顧客に対しては、金銭貸出契約を締結しない。 From the above, it becomes clear that the customer who presented the license is a customer who is registered in the “in-transaction customer table”, so the financial institution will make a monetary loan agreement with the customer who presented the license. Do not conclude.
上記のように、属性『名前』との照合結果が不一致である一方で、属性『特徴量』との照合結果が一致であるような状況が生じたのは、免許証に記載された『名前』のデータが偽造可能なデータであることに起因する。反対に、免許証の『顔画像』のデータについては、受付担当者によって免許証を提示する本人の顔と免許証の『顔画像』との一致が目視確認される以上、偽造困難なデータであるといえる。したがって、このような状況においてデータベースシステムとの照合を行う場合に、最も正確な照合結果を得ることができるのは、『顔画像』のデータである。また、『顔画像』のデータにより上記のような照合を行うためには、検索キーとなりうる情報として顔画像の特徴量を保持し、顔画像の特徴量に基づいた高度な検索やソートを実行することが可能なデータベースシステムを形成することが、最も有効な手段である。 As mentioned above, the situation where the matching result with the attribute “feature” is inconsistent while the matching result with the attribute “name” is inconsistent is the “name” written in the license This is due to the fact that the data of “] can be forged. On the other hand, the “face image” data of the license is data that is difficult to forge as long as the match between the face of the person who presents the license and the “face image” of the license is visually confirmed by the receptionist. It can be said that there is. Accordingly, when collation with the database system is performed in such a situation, the most accurate collation result can be obtained from the “face image” data. In addition, in order to perform the above collation using the “face image” data, the feature amount of the face image is held as information that can be a search key, and advanced search and sorting based on the feature amount of the face image is executed. Forming a database system that can do this is the most effective means.
ところで、これまで実施例１および２におけるデータベースシステムについて説明したが、この発明は上記した実施例以外にも種々の異なる形態にて実施されてよいものである。そこで、以下では、実施例３におけるデータベースシステムとして、異なる実施例を説明する。 By the way, although the database system in Example 1 and 2 was demonstrated so far, this invention may be implemented with a various different form other than an above-described Example. Therefore, different embodiments will be described below as the database system in the third embodiment.
［データの種類］
上記の実施例では、個人に係る情報を管理する検索情報装置において、個人生体情報をの特徴量を保持する場合を説明したが、この発明はこれに限定されるものではなく、マルチメディアデータ（例えば、テレビ番組を録画した動画像データや、音楽を録音した音声データなど）を管理する検索情報装置において、マルチメディアデータの特徴量を保持する場合にも、この発明を同様に適用することができる。
[Data type]
In the above embodiment, the search information device for managing information related to an individual has been described with respect to the case where the characteristic amount of the personal biometric information is held. However, the present invention is not limited to this, and multimedia data ( For example, in a search information device that manages moving image data that records a TV program, audio data that records music, and the like, the present invention can be similarly applied to the case where the feature amount of multimedia data is retained. it can.
また、上記の実施例では、顔画像の特徴量を保持する場合を説明したが、この発明はこれに限定されるものではなく、指紋データの特徴量を保持する場合や、声を録音したデータの特徴量を保持する場合などにも、この発明を同様に適用することができる。 In the above-described embodiment, the case where the feature amount of the face image is held has been described. However, the present invention is not limited to this, and the case where the feature amount of fingerprint data is held or data obtained by recording a voice is described. The present invention can be similarly applied to the case where the feature amount is held.
［特徴量］
また、上記の実施例では、特徴量をバイナリフォーマットで保持する場合を説明したが、この発明はこれに限定されるものではなく、特徴量をテキストフォーマットで保持する場合にも、この発明を同様に適用することができる。
[Feature value]
In the above embodiment, the case where the feature amount is held in the binary format has been described. However, the present invention is not limited to this, and the present invention is similarly applied to the case where the feature amount is held in the text format. Can be applied to.
また、上記の実施例では、顔を撮像した顔画像を含むデータと顔画像の特徴量とを対応づけて保持する場合を説明したが、この発明はこれに限定されるものではなく、顔画像を含むデータと顔画像の特徴量とを対応づけて保持するのみならず、顔画像に係るテキストメタデータ（例えば、顔画像を含むデータのフォーマット情報など）をも対応づけて保持する場合にも、この発明を同様に適用することができる。 In the above embodiment, the case where the data including the face image obtained by capturing the face and the feature amount of the face image are stored in association with each other has been described. However, the present invention is not limited to this, and the face image Not only in association with data including face images and feature values of face images but also in storing text metadata relating to face images (for example, format information of data including face images) in association with each other. The present invention can be similarly applied.
また、上記の実施例では、データベースシステムにおいて算出された特徴量を保持する場合を説明したが、この発明はこれに限定されるものではなく、特徴量を他の装置において算出し、他の装置において算出された特徴量を保持する場合にも、この発明を同様に適用することができる。
In the above embodiment, the case where the feature amount calculated in the database system is held has been described. However, the present invention is not limited to this, and the feature amount is calculated in another device. The present invention can be similarly applied to the case where the feature amount calculated in
［保持の形態］
また、上記の実施例では、所定の画像データから検出された顔画像の品質が所定の閾値を満たさないと、エラーメッセージを表示して処理を終了する場合を説明したが、この発明はこれに限定されるものではなく、顔画像の品質が所定の閾値を満たさない際には所定の画像データのみをデータベースシステムが保持する場合など、いずれでもよい。
[Retention form]
In the above-described embodiment, the case where the error message is displayed and the process is terminated when the quality of the face image detected from the predetermined image data does not satisfy the predetermined threshold has been described. However, the present invention is not limited, and any case may be used in which the database system holds only predetermined image data when the quality of the face image does not satisfy the predetermined threshold.
また、上記の実施例では、顔画像を含むデータと顔画像の特徴量とを異なる属性のデータとして保持する場合を説明したが、この発明はこれに限定されるものではなく、顔画像を含むデータと顔画像の特徴量とをペアで格納する顔データ型を準備して保持する場合や、顔画像を含むデータと顔画像の特徴量とテキストメタデータとをセットで格納する顔データ型を準備して保持する場合など、顔画像の特徴量を保持する場合であれば、いずれでもよい。 In the above-described embodiment, the case where the data including the face image and the feature amount of the face image are stored as data having different attributes has been described. However, the present invention is not limited to this and includes the face image. When preparing and holding a face data type that stores data and feature values of face images in pairs, or a face data type that stores data including face images, feature values of face images, and text metadata as a set Any method may be used as long as the feature amount of the face image is held, for example, when it is prepared and held.
また、上記の実施例では、データベースシステムが入力を受け付けた所定の画像データ（オリジナル）を保持する場合を説明したが、この発明はこれに限定されるものではなく、縮小版のサムネイルを同時に保持する場合や、切り出した顔領域のデータを同時に保持する場合など、いずれでもよい。 In the above-described embodiment, the case where the database system holds predetermined image data (original) for which input has been described has been described. However, the present invention is not limited to this, and a thumbnail of a reduced version is simultaneously held. Or the case of holding the cut face area data at the same time.
［システム構成等］
また、上記の実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理（例えば、データベースシステムが所定の画像データの入力を受け付けてから、マスタテーブル記憶部にデータを保持させるまで連続して行われる処理）の全部または一部を手動的におこなう（例えば、処理と処理の間で利用者によってコマンドを入力させるなど）こともでき、あるいは、手動的におこなわれるものとして説明した処理（例えば、受付担当者によって免許証を提示する本人の顔と免許証の『顔画像』との一致が目視確認される処理など）の全部または一部を自動的におこなう（例えば、本人の顔を画像データとして入力して特徴量を算出し、免許証の『顔画像』との一致を特徴量によって確認するなど）こともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[System configuration, etc.]
Also, among the processes described in the above embodiments, the processes described as being automatically performed (for example, the master table storage unit holds data after the database system accepts input of predetermined image data) Can be performed manually (for example, by a user inputting a command between processes) or described as being performed manually. Automatically (for example, the person himself / herself who presents the license by the person in charge of the reception and the process in which the match between the face image of the driver's license is visually confirmed) The feature amount is calculated by inputting the face as image data, and the coincidence with the “face image” of the license is confirmed by the feature amount). In addition, the processing procedures, specific names, and information including various data and parameters shown in the document and drawings can be arbitrarily changed unless otherwise specified.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態（例えば、図２の形態など）は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. That is, the specific form (for example, the form of FIG. 2) of the distribution / integration of each device is not limited to the one shown in the figure, and all or a part of them can be arbitrarily united according to various loads or usage conditions. Can be configured functionally or physically distributed and integrated. Further, all or any part of each processing function performed in each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
なお、上記の実施例で説明したデータベースシステムは、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。 The database system described in the above embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. This program can be distributed via a network such as the Internet. The program can also be executed by being recorded on a computer-readable recording medium such as a hard disk, a flexible disk (FD), a CD-ROM, an MO, and a DVD, and being read from the recording medium by the computer.
以上のように、この発明に係る検索情報管理装置、検索情報管理プログラムおよび検索情報管理方法は、個人に係る情報を検索キーとなりうる情報として個人ごとに区分けして管理することに有用であり、特に、高度な検索やソートを実行することに適する。 As described above, the search information management device, the search information management program, and the search information management method according to the present invention are useful for managing information related to an individual as individual information that can be a search key. It is particularly suitable for performing advanced searches and sorting.
１０ データベースシステム
１１ 入力部
１２ 出力部
１３ 入出力制御ＩＦ部
２０ 記憶部
２１ 入力データ記憶部
２２ 算出結果記憶部
２３ マスタテーブル記憶部
２４ 検索結果記憶部
３０ 制御部
３１ 算出部
３１ａ 顔画像検出部
３１ｂ 顔画像個数判定部
３１ｃ 顔画像品質判定部
３１ｄ 顔画像切り出し部
３１ｅ 特徴量算出部
３２ マスタテーブル登録部
３３ 検索部
DESCRIPTION OF SYMBOLS 10
Claims (10)
前記検索キーとなりうる情報として個人生体情報の特徴量を保持する保持手段を備えたことを特徴とする検索情報管理装置。 A search information management device that manages information related to individuals as information that can be used as a search key for each individual,
A search information management apparatus comprising a holding means for holding a feature amount of personal biometric information as information that can be the search key.
前記保持手段は、前記検索キーとなりうる情報として前記算出手段によって算出された前記特徴量を保持することを特徴とする請求項１または２に記載の検索情報管理装置。 A calculation means for calculating the feature amount from the personal biometric information;
The search information management apparatus according to claim 1, wherein the holding unit holds the feature amount calculated by the calculation unit as information that can be the search key.
前記検索キーとなりうる情報として個人生体情報の特徴量を保持する保持手順をコンピュータに実行させることを特徴とする検索情報管理プログラム。 A search information management program for causing a computer to execute a method of dividing and managing information related to an individual as information that can be a search key for each individual,
A search information management program for causing a computer to execute a holding procedure for holding a characteristic amount of personal biometric information as information that can be a search key.
前記検索キーとなりうる情報として個人生体情報の特徴量を保持する保持工程を含んだことを特徴とする検索情報管理方法。 A search information management method for managing information related to individuals by dividing them into information that can be search keys for each individual,
A search information management method comprising a holding step of holding a feature amount of personal biometric information as information that can serve as the search key.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006138892A JP2007310646A (en) | 2006-05-18 | 2006-05-18 | Search information management device, search information management program and search information management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006138892A JP2007310646A (en) | 2006-05-18 | 2006-05-18 | Search information management device, search information management program and search information management method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007310646A true JP2007310646A (en) | 2007-11-29 |
Family
ID=38843437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006138892A Pending JP2007310646A (en) | 2006-05-18 | 2006-05-18 | Search information management device, search information management program and search information management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007310646A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014170543A (en) * | 2013-02-28 | 2014-09-18 | Ricoh Co Ltd | Processing method, processing system and computer program |
| JP2014170539A (en) * | 2013-02-28 | 2014-09-18 | Ricoh Co Ltd | Sorting and filtering of table with image data and symbol data in single cell |
| US8861801B2 (en) | 2011-06-06 | 2014-10-14 | Kabushiki Kaisha Toshiba | Facial image search system and facial image search method |
| JP2019159837A (en) * | 2018-03-13 | 2019-09-19 | 日本電気株式会社 | Database binding apparatus, database binding method, and database binding program |
| JP2019164660A (en) * | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | Data registration device, data registration method and data registration program |
| JPWO2022074786A1 (en) * | 2020-10-08 | 2022-04-14 | ||
| JP2022534314A (en) * | 2019-12-30 | 2022-07-28 | 深▲セン▼市商▲湯▼科技有限公司 | Picture-based multi-dimensional information integration method and related equipment |
-
2006
- 2006-05-18 JP JP2006138892A patent/JP2007310646A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8861801B2 (en) | 2011-06-06 | 2014-10-14 | Kabushiki Kaisha Toshiba | Facial image search system and facial image search method |
| JP2014170543A (en) * | 2013-02-28 | 2014-09-18 | Ricoh Co Ltd | Processing method, processing system and computer program |
| JP2014170539A (en) * | 2013-02-28 | 2014-09-18 | Ricoh Co Ltd | Sorting and filtering of table with image data and symbol data in single cell |
| JP2019159837A (en) * | 2018-03-13 | 2019-09-19 | 日本電気株式会社 | Database binding apparatus, database binding method, and database binding program |
| JP2019164660A (en) * | 2018-03-20 | 2019-09-26 | 日本電気株式会社 | Data registration device, data registration method and data registration program |
| JP2022534314A (en) * | 2019-12-30 | 2022-07-28 | 深▲セン▼市商▲湯▼科技有限公司 | Picture-based multi-dimensional information integration method and related equipment |
| JPWO2022074786A1 (en) * | 2020-10-08 | 2022-04-14 | ||
| WO2022074786A1 (en) * | 2020-10-08 | 2022-04-14 | 富士通株式会社 | Data generation method, information processing device, and data generation program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9552511B2 (en) | Identifying images using face recognition | |
| JP5869054B2 (en) | Method and apparatus for incorporating automatic face recognition in a digital image collection | |
| CN111324774B (en) | Video duplicate removal method and device | |
| JP2007310646A (en) | Search information management device, search information management program and search information management method | |
| JP4111198B2 (en) | Image search system, image search program and storage medium, and image search method | |
| WO2011018867A1 (en) | Information classification device, information classification method, and computer readable recording medium | |
| CN113158777A (en) | Quality scoring method, quality scoring model training method and related device | |
| AU2019305102B2 (en) | System and method for genealogical entity resolution | |
| KR102594093B1 (en) | Dermatologic treatment recommendation system using deep learning model and method thereof | |
| CN113704623A (en) | Data recommendation method, device, equipment and storage medium | |
| JP4725408B2 (en) | Subject recognition device and subject recognition program | |
| JP7143599B2 (en) | Metadata evaluation device, metadata evaluation method, and metadata evaluation program | |
| JP2003330941A (en) | Similar image sorting apparatus | |
| JP2011100240A (en) | Representative image extraction method, representative image extraction device, and representative image extraction program | |
| JP4946282B2 (en) | Subject recognition apparatus, subject recognition program, and image search service providing method | |
| Saravanan et al. | Extracting image frames using image property matching technique | |
| CN117493645B (en) | Big data-based electronic archive recommendation system | |
| JP3530363B2 (en) | Recognition model generation method and image recognition method | |
| CN117725235B (en) | Legal knowledge enhancement retrieval system and method based on artificial intelligence algorithm | |
| JP3708383B2 (en) | Pattern recognition method and pattern recognition apparatus | |
| CN116680439A (en) | Main angle fingerprint-based association identification method and device and computer equipment | |
| CN117076729A (en) | Personalized content generation method, system and readable storage medium | |
| JPH11338866A (en) | Information processor | |
| Salguero-Cruz et al. | Proposal of a Comparative Framework for Face Super-Resolution Algorithms in Forensics | |
| Kozlova et al. | Intelligent analysis system for monitoring the spread and influence of political internet memes |