JP2012058940A - Similar-image search device, similar-image search method and computer program - Google Patents
Similar-image search device, similar-image search method and computer program Download PDFInfo
- Publication number
- JP2012058940A JP2012058940A JP2010200577A JP2010200577A JP2012058940A JP 2012058940 A JP2012058940 A JP 2012058940A JP 2010200577 A JP2010200577 A JP 2010200577A JP 2010200577 A JP2010200577 A JP 2010200577A JP 2012058940 A JP2012058940 A JP 2012058940A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- similar
- database
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000004590 computer program Methods 0.000 title claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
Landscapes
- Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、類似画像検索装置、類似画像検索方法およびコンピュータープログラムに関する。 The present invention relates to a similar image search device, a similar image search method, and a computer program.
データベースに蓄積されている画像データからユーザーが望む画像を示す画像データを検索する技術として、たとえば特許文献1には、画像データの属性(撮影日時や撮影モードなど)に関する検索条件や、画像データの内容の特徴(たとえば所定のテンプレート画像に対する類似度)に関する検索条件を設定して画像データを検索することが開示されている。
As a technique for searching image data indicating an image desired by a user from image data stored in a database, for example,
また、所定のテンプレート画像に関する類似度に基づいて画像データを検索するのではなく、ユーザーの入力する画像データに対して、それに類似する画像データを検索することも考えられる。 It is also conceivable to search for image data similar to the image data input by the user instead of searching for image data based on the degree of similarity with respect to a predetermined template image.
一般に情報の検索を行う場合には、同じ検索式を用いても、ユーザーによって求める情報が異なる場合がある。そこで、ユーザーの嗜好を計算する式(「ユーザー嗜好計算式」という)を用い、このユーザー嗜好計算式の各パラメーターに対する重みをユーザーの検索履歴(検索日時、検索単語等の履歴)により変えることで、ユーザーの嗜好に適合する検索結果を得るようにしている。 In general, when searching for information, even if the same search formula is used, information required by a user may differ. Therefore, by using a formula that calculates user preferences (referred to as “user preference formula”), the weight for each parameter of this user preference formula is changed according to the user search history (history of search date, search word, etc.). Search results that match user preferences.
しかし、ユーザーが初めて情報検索を行うときや、間を空けてしまったとき、好みが大きく変化したときなどには、ユーザー嗜好計算式のパラメーターの重みが適正ではなくなってしまうことがある。 However, when the user searches for information for the first time, when there is a gap, or when the preference changes greatly, the parameter weight of the user preference calculation formula may not be appropriate.
ユーザーがどのような情報を検索したいのかを、検索式とは別に設定することも考えられる。しかし、検索対象が画像データである場合には、類似度計算に用いる特徴量が検索システムのベンダーにより異なるため、一般名詞などは存在するはずもない。画像を調整する方法として、画像を画面上に表示して、明るさ、カラーバランス、コントラストなどをスライダーコントロールにより調整する方法があるが、それを検索条件に利用するのは無理がある。 It is also possible to set what information the user wants to search separately from the search expression. However, when the search target is image data, a general noun or the like cannot exist because the feature amount used for similarity calculation varies depending on the vendor of the search system. As a method for adjusting an image, there is a method in which an image is displayed on a screen and brightness, color balance, contrast, and the like are adjusted by a slider control. However, it is impossible to use it as a search condition.
本発明は、このような課題を解決し、類似画像を検索する際に、ユーザーの好みを容易に調整することのできる類似画像検索装置、類似画像検索方法およびコンピュータープログラムを提供することを目的とする。 An object of the present invention is to solve such problems and provide a similar image search device, a similar image search method, and a computer program capable of easily adjusting user preferences when searching for similar images. To do.
本発明の第1の観点によると、あらかじめ画像データが蓄えられる画像データベースと、検索要求元からの入力画像に対して、画像データベースに蓄えられている画像データから入力画像に類似する画像を検索する検索手段と、を備え、検索手段は、入力画像と画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段と、判定手段により判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画面として検索要求元に送出するチューニング画面送出手段と、を有することを特徴とする類似画像検索装置が提供される。 According to the first aspect of the present invention, for an image database in which image data is stored in advance and an input image from a search request source, an image similar to the input image is searched from the image data stored in the image database. A search means, wherein the search means sets the similarity between the input image and the image represented by the individual image data stored in the image database to a difference between each of a plurality of feature values representing the feature of the image. A tuning screen that divides images that satisfy a predetermined condition for the degree of similarity determined by the determination unit by using a plurality of determination criteria obtained by combining weights, and the criteria determined by the determination unit are divided into groups for each criterion. And a tuning screen sending means for sending to the search request source.
異なる判定基準を用いて得られた画像を、その判断基準ごとのグループに分けたチューニング画面として検索要求元(ユーザー)に送出することで、ユーザーは、その画面から、自分の嗜好にあったものを選択することができる。 By sending the images obtained using different criteria to the search requester (user) as a tuning screen divided into groups for each criterion, the user can choose what he / she wants from the screen. Can be selected.
検索手段は、検索要求元からの画像の検索履歴を蓄積して、検索要求元の嗜好を判断する手段を有し、判定手段およびチューニング画面送出手段は、検索要求元からの画像の検索履歴が不十分で嗜好を判断する手段がユーザーの嗜好を判断できない場合に、それぞれ判定およびチューニング画像の送出を行う。すなわち、ユーザーの嗜好が判断できない場合に、ユーザーの嗜好を求めることができ、検索手段をチューニングすることができる。 The search means has means for accumulating the image search history from the search request source to determine the preference of the search request source, and the determination means and the tuning screen sending means have the image search history from the search request source. When the user's preference cannot be determined by the insufficient means for determining the preference, the determination and the transmission of the tuning image are performed. That is, when the user's preference cannot be determined, the user's preference can be obtained, and the search means can be tuned.
判定手段およびチューニング画面送出手段は、検索要求元からの要求があったときに、それぞれ判定およびチューニング画面の送出を行うこともできる。たとえば、ユーザーの嗜好が大きく変わった場合、あるいはそれまでの検索履歴に影響されずに検索を行いたい場合に、検索手段をチューニングすることができる。 The determination unit and the tuning screen sending unit can also send the determination and tuning screen, respectively, when there is a request from the search request source. For example, the search means can be tuned when the user's preference changes greatly or when it is desired to perform a search without being influenced by the search history up to that point.
判断基準に用いる特徴値としては、色、形状およびテクスチャーなどを用いることができる。たとえば、入力画像の色と同じような画像、同じような形状の画像、同じようなテクスチャーの画像がそれぞれのグループで表示される。これにより、ユーザーは、自分が何を重視して検索したいかを選択することができる。 Color, shape, texture, and the like can be used as the feature value used for the determination criterion. For example, an image similar to the color of the input image, an image having the same shape, and an image having the same texture are displayed in each group. Thus, the user can select what he / she wants to search.
判定手段およびチューニング画面送出手段は、複数の判定基準をさらに変更して、それぞれ判定およびチューニング画面の送出を繰り返すことができる。これにより、ユーザーの嗜好にしたがって、検索手段を詳細にチューニングすることができる。 The determination unit and the tuning screen transmission unit can further change the plurality of determination criteria and repeat the determination and the transmission of the tuning screen, respectively. Thereby, according to a user preference, a search means can be tuned in detail.
画像データベースには、画像データに加えてその画像データの解像度を小さくした縮小画像データが蓄えられ、判定手段は、入力画面と縮小画面データが表す縮小画面との類似度を判定し、チューニング画面送出手段は、縮小画面のうち類似度が所定の条件を満たすものによりチューニング画面を生成して送出することができる。縮小画像で類似度を判定するので、計算量を減らすことができる。 The image database stores reduced image data in which the resolution of the image data is reduced in addition to the image data, and the determination means determines the similarity between the input screen and the reduced screen represented by the reduced screen data, and transmits the tuning screen. The means can generate and send a tuning screen based on a reduced screen whose similarity satisfies a predetermined condition. Since the similarity is determined based on the reduced image, the amount of calculation can be reduced.
本発明の第2の観点によると、検索要求元からの入力画像に対して、データベースにあらかじめ蓄えられている画像データから入力画像に類似する画像を検索する類似画像検索方法において、入力画像とデータベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定し、判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画面として検索要求元に送出することを特徴とする類似画像検索方法が提供される。 According to a second aspect of the present invention, in a similar image search method for searching for an image similar to an input image from image data stored in advance in a database with respect to an input image from a search request source, the input image and the database Using a plurality of criteria obtained by combining the similarity between the image represented by the individual image data stored in the image and weighting each difference between a plurality of feature values representing the features of the image There is provided a similar image search method characterized in that each determination is made and images having the determined similarity satisfy a predetermined condition are sent to a search request source as a tuning screen divided into groups for each determination criterion.
本発明の第3の観点によると、コンピューターにインストールされることにより、そのコンピューターを、あらかじめ画像データが蓄えられる画像データベース、検索要求元からの入力画像に対して、画像データベースに蓄えられている画像データから入力画像に類似する画像を検索する検索手段、入力画像と画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段、および判定手段により判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画面として検索要求元に送出するチューニング画面送出手段として動作させることを特徴とするコンピュータープログラムが提供される。 According to the third aspect of the present invention, when installed in a computer, the computer stores an image database in which image data is stored in advance, and an image stored in the image database with respect to an input image from a search request source. Retrieval means for retrieving an image similar to the input image from the data, the similarity between the input image and the image represented by the individual image data stored in the image database, each of a plurality of feature values representing the features of the image The determination means for determining each using a plurality of determination criteria obtained by weighting and combining the differences, and the images satisfying a predetermined degree of similarity determined by the determination means are divided into groups for each determination criterion. As a tuning screen sending means to send to the search request source as a tuning screen Computer program is provided, characterized in that.
以下、図面を参照して、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
[実施の形態1]
図1は、本発明の第1の実施の形態に係る類似画像検索装置1およびその類似画像検索装置を含む画像検索システムのブロック構成図である。また、図2は、類似画像検索を説明する図である。ここでは、類似画像検索装置1がネットワーク2に接続され、ユーザーは、ユーザー端末3からネットワーク2を経由して類似画像検索装置1にアクセスするものとして説明する。
[Embodiment 1]
FIG. 1 is a block configuration diagram of a similar
類似画像検索装置1は、ユーザー情報データベース11(図では「ユーザー情報DB」として示す)、画像データベース12(図では「画像DB」として示す)、処理受付部13、特徴抽出部14、画像検索部15、画像出力部16、類似度判定部17およびチューニング画面送出部18を備える。画像データベース12には、あらかじめ画像データが蓄えられている。特徴抽出部14、画像検索部15、画像出力部16、類似度判定部17およびチューニング画面送出部18は、検索要求元からの入力画像に対して、画像データベース12に蓄えられている画像データから入力画像に類似する画像を検索する検索手段を構成する。類似度判定部17は、入力画像と画像データベース12に蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段を構成する。チューニング画面送出部18は、類似度判定部17により判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画像として検索要求元に送出するチューニング画像送出手段を構成する。
The similar
類似画像検索装置1としてはサーバーコンピューターが用いられ、CPU、RAM、ROM、ハードディスク、各種インターフェイス等のハードウェアを備え、所定のオペレーティングシステムの下で動作するコンピュータープログラムにより、各部の機能を実現する。
A server computer is used as the similar
ユーザー情報データベース11には、ユーザーの嗜好を判断するための情報が蓄えられる。このような情報としては、検索履歴だけでなく、ユーザーの年齢、性別、職業、職歴、住所なども、ユーザーの嗜好を判断するための参考として利用することができる。
The
処理受付部13は、ユーザーとのインターフェイスを提供し、ユーザー端末3からのネットワーク2を経由する検索要求を受け付けるとともに、画像出力部16から出力される検索結果や、チューニング画面送出部18により送出されるチューニング画面をユーザー端末3で表示するためのデータを、ユーザー端末3に送る。
The
特徴抽出部14は、ユーザー端末3から送られてきた入力画像のデータから、色、形状、テクスチャーなどの特徴値を抽出する。色の特徴値は、たとえば、ピクセルごとの色空間上の値として表される。形状の特徴値は、あらかじめ設定されたテンプレートとパターンマッチングにより求められる。テクスチャーの特徴値量は、あらかじめ設定されたテンプレートとの相関計算により求められる。色、形状、テクスチャーの他にも種々の特徴を利用することができるが、以下では、単純のため、これらの3つの特徴値を例に説明する。入力画像の特徴量Fiは、色、形状、テクスチャーのそれぞれの特徴値Ci,Si,Tiにより、
Fi=(Ci,Si,Ti) ...(1)
として表すことができる。
The
Fi = (Ci, Si, Ti). . . (1)
Can be expressed as
ユーザー情報データベース11および画像検索部15は、検索要求元からの画像の検索履歴を蓄積して検索要求元の嗜好を判断する手段として動作し、画像検索部15は、ユーザ情報データベース11に蓄えられているユーザー情報を参考に、図2に示すように、特徴抽出部14により抽出された特徴量Fiと、画像データベース12に蓄積されている画像データの特徴量Fk=(Ck,Sk,Tk)、k=1、2、..(図2ではk=4)とを順次比較し、類似する画像を検索する。ここで、入力画像の特徴量Fiと、画像データベース12内のk番目の画像データの特徴量Fkとの類似度Simは、各特長値の差の自乗に重みWc、Ws、Wtを乗算して、
Sim(Fi,Fk)
=Wc(Ck−Ci)2+Ws(Sk−Si)2+Wt(Sk−Si)2 ...(2)
と表される。重みWc、Ws、Wtは、ユーザーの履歴情報など、ユーザー情報データベース11に蓄えられているユーザー情報から求めることができる。類似度Simとして、(2)式の平方根を用いるものとしてもよい。
The
Sim (Fi, Fk)
= Wc (Ck-Ci) 2 + Ws (Sk-Si) 2 + Wt (Sk-Si) 2 . . . (2)
It is expressed. The weights Wc, Ws, and Wt can be obtained from user information stored in the
画像出力部16は、画像検索部15により検索された画像のうち、類似度Simが所定の値以上の複数の画像を、1つずつ、あるいは複数ずつ、処理受付部13を介して、ユーザー端末3に表示させる。ユーザーがユーザー端末3でひとつの画像を選択すると、それが受付処理部13に通知され、検索履歴として、ユーザー情報データベース11に蓄えられる。
The
類似度判定部17およびチューニング画面送出部18は、ユーザー情報データベース11内に蓄えられている当該ユーザーによる画像の検索履歴が不十分でそのユーザーの嗜好が判断できない場合、あるいは、ユーザーからの要求がある場合に、それぞれ判定およびチューニング画面の送出を行う。
The
類似度判定部17は、判定基準として、(2)式における重みWc、Ws、Wtの組をいくつか設定し、その組ごとに、画像検索部15と同様に、特徴抽出部14により抽出された特徴量Fiと、画像データベース12に蓄積されている画像データにより表される画像の特徴量Fkを順次比較し、類似する画像を検索する。
The
チューニング画面送出部18は、類似度判定部17により検索された画像の縮小画像を、判定基準ごとの、すなわち重みWc、Ws、Wtの組ごとのグループに分けたチューニング画像として、処理受付部13を介してユーザー端末3に表示させる。
The tuning
[チューニング]
図3は、チューニング画面送出部18がユーザーに送出するチューニング画面の一例を示す図である。この例では、入力画像と、4つの判断基準により検索された複数の縮小画像とが表示される。
[tuning]
FIG. 3 is a diagram illustrating an example of a tuning screen that the tuning
たとえば、類似度判定部17が用いる(2)式における重みとして、
Wc=1、Ws=Wt=0
Ws=1、Wc=Wt=0
Wt=1、Wc=Ws=0
の組み合わせを用いるものとする。すなわち、特徴として色を重視するものの、形状やテクスチャーは重視しない場合、形状を重視するものの、他の特徴は重視しない場合、そして、テクスチャーを重視するものの、他の特徴は重視しない場合の3通りの組み合わせである。このとき、類似度判定部17は、それぞれの重みの組み合わせについて類似度Simを求め、類似する画像を検索する。チューニング画面送出部18は、それぞれの重みの組み合わせごとに、類似度Simの高いものをユーザーに送出する。どの特徴を重視したかは、ユーザーに送出する必要はない。
For example, as the weight in the equation (2) used by the
Wc = 1, Ws = Wt = 0
Ws = 1, Wc = Wt = 0
Wt = 1, Wc = Ws = 0
The combination of is used. In other words, when color is important as a feature but shape and texture are not important, shape is important but other features are not important, and texture is important but other features are not important It is a combination. At this time, the
この結果、ユーザー端末3には、入力画像に加え、特徴として色を重視しているが形状やテクスチャーは重視しない画像(図3の例では画像A1〜A3)、特徴として形状を重視しているが他の特徴は重視しない画像(同じく画像B1〜B3)、特徴としてテクスチャーを重視しているが他の特徴は重視しない画像(同じく画像C1〜C3)がそれぞれグループごとに表示される。これらの画像は、互いに重複しないものとすることもできるが、重複を許容することとしてもよい。これらのいずれかのグループをユーザーが選択することで、そのユーザーがどのような特徴を重視しているかを知ることができる。
As a result, in addition to the input image, the
重みの組み合わせを変更して、ユーザーへの送出およびユーザーによる選択(チューニング)を繰り返すこともできる。たとえば、上述した組み合わせを用いた後に、
Wc=3、Ws=1、Wt=0
Wc=3、Ws=0、Wt=1
として2回目のチューニングを行い、さらに、
Wc=5、Ws=3、Wt=1
として3回目のチューニングを行うこともできる。
It is also possible to change the combination of weights and repeat the transmission to the user and the selection (tuning) by the user. For example, after using the combination described above,
Wc = 3, Ws = 1, Wt = 0
Wc = 3, Ws = 0, Wt = 1
As the second tuning,
Wc = 5, Ws = 3, Wt = 1
As a result, the third tuning can be performed.
図3には、3つのグループの画像を表示した例を示したが、この数は、重みの組み合わせの数により変化する。画面表示を考慮すると、ひとつのグループあたり表示する画像数を10個として、表示するグループ数は4以下が適当であると考えられる。重みの組み合わせ数は、表示できるグループ数とは独立に設定することができる。たとえば、表示できるグループ数が4で、重みの組み合わせ数が5以上の場合には、画面を切り替えて、5番目以降のグループを表示するようにしてもよい。 FIG. 3 shows an example in which three groups of images are displayed, but this number varies depending on the number of weight combinations. Considering the screen display, it is considered that the number of images to be displayed per group is 10 and the number of groups to be displayed is 4 or less. The number of weight combinations can be set independently of the number of groups that can be displayed. For example, when the number of groups that can be displayed is 4 and the number of weight combinations is 5 or more, the screen may be switched to display the fifth and subsequent groups.
[動作フロー]
図4は、類似画像検索装置1の動作のフローチャートである。
[Operation flow]
FIG. 4 is a flowchart of the operation of the similar
処理受付部13にユーザーからの画像検索要求があると(ステップS1でY)、特徴抽出部14は、ユーザーからの入力画像から特徴を抽出する。ユーザーからのチューニング要求があった場合(ステップS3でY)、あるいはユーザー情報データベース11に検索履歴が不十分な場合(ステップS4でN)には、類似度判定部17およびチューニング画面送出部18によるチューニングを行う。
When there is an image search request from the user in the process reception unit 13 (Y in step S1), the
ユーザーからのチューニング要求はなく(ステップS3でN)、ユーザー情報データベース11に検索履歴などのユーザー嗜好情報がある(ステップS4でY)場合、あるいはステップS5のチューニング処理の後には、画像検索部15が、ユーザーの嗜好に沿って、画像データベース12から画像データを検索する。画像出力部16は、検索結果をユーザーに送出する。ユーザーがその検索結果で満足しない場合(ステップS8でN)には、ステップS3以降の処理を繰り返す。ユーザーが検索結果に満足している場合(ステップS8でY)には、処理受付部13が、ユーザー情報データベース11内の検索履歴を更新する(ステップS9)。
When there is no tuning request from the user (N in step S3) and there is user preference information such as a search history in the user information database 11 (Y in step S4), or after the tuning process in step S5, the
図5は、図4に示すフローチャート内のチューニング処理のフローチャートである。 FIG. 5 is a flowchart of the tuning process in the flowchart shown in FIG.
チューニング処理が開始されると、類似度判定部17は、類似度判定計算における特徴量の重みを設定する(ステップS11)。続いて、類似度判定部17は、k=1(ステップS12)とし、このkの値をインクリメントしながら(ステップS15)、入力画像と画像データデータベース12内のk番目の画像データとの類似度を判定する(ステップS13)。画像データベース12内のすべての画像データとの類似度の判定が終了すると(ステップS14でY)、さらに重みの変更設定が必要かを判断し(ステップS16)、必要であれば(ステップS16でN)、特徴量の重みを変更して(ステップS17)、ステップS12からステップS15の処理を繰り返す。
When the tuning process is started, the
特徴量の重みを変更して類似度の判定が完了すると(ステップS16でY)、チューニング画面送出部18は、特徴量の重みの組ごとに、類似度が所定の条件を満たす画像グループを、処理受付部13を介してユーザーに送出する(ステップS18)。ユーザーによる画像グループの選択を待ち(ステップS19)、選択されると、処理受付部13は、選択された画像グループに設定されている特徴量の重みにより、ユーザー情報データベース11内の検索履歴を更新し(ステップS20)、ユーザーの嗜好を判断できるようにする。
When the determination of the similarity is completed by changing the weight of the feature amount (Y in step S16), the tuning
[実施の形態2]
図6は、本発明の第2の実施の形態に係る類似画像検索装置1およびその類似画像検索装置1を含む画像検索システムのブロック構成図である。
[Embodiment 2]
FIG. 6 is a block configuration diagram of a similar
類似度の判定は、ピクセルごとに比較して行うことが正確である。しかし、それでは計算が膨大となる。そこで、解像度を小さくした画像データを用い、たとえば1600×1200画素のデータを64×64画素にリサイズし、ピクセルごとの色と位置などを特徴として用いることが望ましい。そのためには、画像データベースに、検索対象となる画像データに加えて、その画像の解像度を小さくした縮小画像データを蓄えておく。図6では、検索対象となる画像データが蓄えられる画像データベース12とは別に、その縮小画像が蓄えられる縮小画像データベース19を設けた例を示す。画像データベース12と縮小画像データベース19は、ここでは説明のために別のものとしているが、ひとつのデータベースとしてもよい。
It is accurate to determine the similarity by comparing each pixel. However, that would be a huge calculation. Therefore, it is desirable to use image data with a reduced resolution, for example, resize data of 1600 × 1200 pixels to 64 × 64 pixels and use the color and position of each pixel as features. For this purpose, in addition to the image data to be searched, reduced image data with a reduced resolution is stored in the image database. FIG. 6 shows an example in which a reduced
この構成では、類似度判定部17は、入力画像と縮小画像データの類似度を判定する。チューニング画面送出部18は、縮小画像データのうち類似度が所定の条件を満たすものを送出することができる。縮小画像データで類似度を判定するので、計算量を減らすことができる。また、縮小画像データを利用して、少ない処理量で高速にプレビューを表示することができる。画像検索部15における類似度の判定にも、縮小画像データを利用することができる。
In this configuration, the
[その他の実施の形態]
以上の説明では、入力画像のみを用いて類似画像を検索する場合を例に説明したが、キーワードを組み合わせて、類似画像を絞り込むこともできる。また、以上の説明では、検索履歴に応じて検索条件を設定するものとして説明したが、これは、検索そのものの条件が設定されるという意味に限定されるものではなく、重みを付けずに検索を行い、検索結果について、重みを考慮して表示順をソートする場合を含む。
[Other embodiments]
In the above description, the case where similar images are searched using only the input image has been described as an example. However, similar images can be narrowed down by combining keywords. In the above description, the search condition is set according to the search history. However, this is not limited to the condition that the search condition is set, and the search is not weighted. And the display result is sorted in consideration of the weight.
検索により得られた画像は、たとえば、人物の顔の認証に利用することができる。たとえば、人の顔の特徴値として、目や口、鼻、耳などと輪郭との位置関係や、平均顔からのそれぞれの形状および色の差分などを利用して、入力画像の人物と、データベースに登録されている人物との異動を判断することができる。また、特定の人と、他の人との類似の判断に利用することもできる。 The image obtained by the search can be used for authentication of a person's face, for example. For example, by using the positional relationship between the eyes, mouth, nose, ears, etc. and contours, and the difference in shape and color from the average face as the human face feature values, It is possible to determine a transfer with a person registered in. It can also be used for a similar judgment between a specific person and another person.
1…類似画像検索装置、2…ネットワーク、3…ユーザー端末、11…ユーザー情報データベース、12…画像データベース、13…処理受付部、14…特徴抽出部(検索手段の一部)、15…画像検索部(検索手段の一部)、16…画像出力部(検索手段の一部)、17…類似度判定部(判定手段)、18…チューニング画面送出部(チューニング画面送出手段)
DESCRIPTION OF
Claims (8)
検索要求元からの入力画像に対して、前記画像データベースに蓄えられている画像データから該入力画像に類似する画像を検索する検索手段と、
を備え、
前記検索手段は、
前記入力画像と前記画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段と、
前記判定手段により判定された類似度が所定の条件を満たす画像を、前記判定基準ごとのグループに分けたチューニング画面として前記検索要求元に送出するチューニング画面送出手段と、
を有する
ことを特徴とする類似画像検索装置。 An image database that stores image data in advance;
Search means for searching for an image similar to the input image from the image data stored in the image database for the input image from the search request source;
With
The search means includes
It is obtained by combining the similarity between the input image and the image represented by the individual image data stored in the image database by weighting the difference between a plurality of feature values representing the features of the image. A judging means for judging using a plurality of judgment criteria;
A tuning screen sending means for sending an image satisfying a predetermined condition determined by the judging means to the search request source as a tuning screen divided into groups for each of the judgment criteria;
A similar image retrieval device characterized by comprising:
前記検索手段は、前記検索要求元からの画像の検索履歴を蓄積して、前記検索要求元の嗜好を判断する手段を有し、
前記判定手段および前記チューニング画面送出手段は、前記検索要求元からの画像の検索履歴が不十分で前記判断する手段が前記ユーザーの嗜好を判断できない場合に、それぞれ判定およびチューニング画面の送出を行う
ことを特徴とする類似画像検索装置。 The similar image search device according to claim 1,
The search means includes means for accumulating a search history of images from the search request source, and determining a preference of the search request source,
The determination unit and the tuning screen transmission unit perform determination and transmission of a tuning screen, respectively, when the image search history from the search request source is insufficient and the determination unit cannot determine the user's preference. A similar image search device characterized by the above.
前記判定手段および前記チューニング画面送出手段は、前記検索要求元からの要求があったときに、それぞれ判定およびチューニング画面の送出を行う
ことを特徴とする類似画像検索装置。 The similar image search device according to claim 1,
The similar image retrieval apparatus, wherein the determination unit and the tuning screen transmission unit perform determination and transmission of a tuning screen, respectively, when there is a request from the search request source.
複数の特徴値は、色、形状およびテクスチャーのそれぞれの特徴値を含む
ことを特徴とする類似画像検索装置。 The similar image search device according to any one of claims 1 to 3,
The plurality of feature values include respective feature values of color, shape, and texture.
前記判定手段および前記チューニング画面送出手段は、前記複数の判定基準をさらに変更して、それぞれ判定およびチューニング画面の送出を繰り返す
ことを特徴とする類似画像検索装置。 The similar image search device according to any one of claims 1 to 4,
The determination unit and the tuning screen transmission unit further change the plurality of determination criteria and repeat the determination and the transmission of the tuning screen, respectively.
前記画像データベースには、画像データに加えてその画像データが表す画像の解像度を小さくした縮小画像データが蓄えられ、
前記判定手段は、前記入力画像と前記縮小画像データが表す縮小画像との類似度を判定し、
前記チューニング画面送出手段は、前記縮小画像のうち類似度が所定の条件を満たすものによりチューニング画面を生成して送出する
ことを特徴とする類似画像検索装置。 The similar image search device according to any one of claims 1 to 5,
In the image database, in addition to the image data, reduced image data in which the resolution of the image represented by the image data is reduced is stored,
The determination unit determines a similarity between the input image and the reduced image represented by the reduced image data;
The tuning screen sending means generates and sends a tuning screen based on the reduced image whose similarity satisfies a predetermined condition.
前記入力画像と前記データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定し、
判定された類似度が所定の条件を満たす画像を、前記判定基準ごとのグループに分けたチューニング画面として前記検索要求元に送出する
ことを特徴とする類似画像検索方法。 In the similar image search method for searching for an image similar to the input image from image data stored in advance in a database with respect to the input image from the search request source,
A plurality obtained by combining the similarity between the input image and the image represented by the individual image data stored in the database with weights added to the differences between the plurality of feature values representing the features of the image Judgment using each criterion,
A similar image search method, comprising: transmitting an image satisfying a predetermined degree of similarity to the search request source as a tuning screen divided into groups for each of the determination criteria.
あらかじめ画像データが蓄えられる画像データベース、
検索要求元からの入力画像に対して、前記画像データベースに蓄えられている画像データから該入力画像に類似する画像を検索する検索手段、
前記入力画像と前記画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段、および
前記判定手段により判定された類似度が所定の条件を満たす画像を、前記判定基準ごとのグループに分けたチューニング画面として前記検索要求元に送出するチューニング画面送出手段
として動作させる
ことを特徴とするコンピュータープログラム。 By being installed on a computer,
Image database that stores image data in advance,
Search means for searching for an image similar to the input image from the image data stored in the image database for the input image from the search request source,
It is obtained by combining the similarity between the input image and the image represented by the individual image data stored in the image database by weighting the difference between a plurality of feature values representing the features of the image. A determination unit configured to determine each using a plurality of determination criteria; and an image whose similarity determined by the determination unit satisfies a predetermined condition is sent to the search request source as a tuning screen divided into groups for each of the determination criteria A computer program which is operated as a tuning screen sending means.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010200577A JP2012058940A (en) | 2010-09-08 | 2010-09-08 | Similar-image search device, similar-image search method and computer program |
US13/226,425 US20120056893A1 (en) | 2010-09-08 | 2011-09-06 | Similar image search device, similar image search method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010200577A JP2012058940A (en) | 2010-09-08 | 2010-09-08 | Similar-image search device, similar-image search method and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012058940A true JP2012058940A (en) | 2012-03-22 |
Family
ID=45770374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010200577A Withdrawn JP2012058940A (en) | 2010-09-08 | 2010-09-08 | Similar-image search device, similar-image search method and computer program |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120056893A1 (en) |
JP (1) | JP2012058940A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014156559A1 (en) * | 2013-03-28 | 2014-10-02 | 富士フイルム株式会社 | Image retrieval device, operation control method therefor, and image retrieval server |
KR101603201B1 (en) * | 2015-09-18 | 2016-03-15 | 민운기 | Image key certification method and system using color histogram and texture information of image |
KR101715655B1 (en) * | 2016-03-04 | 2017-03-14 | 민운기 | Image key certification method and system using color histogram and texture information of image |
WO2017047862A1 (en) * | 2015-09-18 | 2017-03-23 | 민운기 | Image key authentication method and system, which use color histogram and texture information of images |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014157390A (en) * | 2013-02-14 | 2014-08-28 | Sony Corp | Information processing device and storage medium |
US9298830B2 (en) * | 2013-05-01 | 2016-03-29 | Timothy Alan Barrett | Method, system and apparatus for facilitating discovery of items sharing common attributes |
DE102014214851A1 (en) | 2014-07-29 | 2016-02-04 | picalike GmbH | Computer-implemented method and computer system for carrying out a similarity analysis |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7266545B2 (en) * | 2001-08-07 | 2007-09-04 | International Business Machines Corporation | Methods and apparatus for indexing in a database and for retrieving data from a database in accordance with queries using example sets |
TWI403912B (en) * | 2006-06-08 | 2013-08-01 | Univ Nat Chiao Tung | Method and system of image retrieval |
-
2010
- 2010-09-08 JP JP2010200577A patent/JP2012058940A/en not_active Withdrawn
-
2011
- 2011-09-06 US US13/226,425 patent/US20120056893A1/en not_active Abandoned
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014156559A1 (en) * | 2013-03-28 | 2014-10-02 | 富士フイルム株式会社 | Image retrieval device, operation control method therefor, and image retrieval server |
JP2014191701A (en) * | 2013-03-28 | 2014-10-06 | Fujifilm Corp | Image retrieval device, operation control method thereof, and image retrieval server |
US9805253B2 (en) | 2013-03-28 | 2017-10-31 | Fujifilm Corporation | Image search apparatus, method of controlling operation of same, and image search server |
US9959456B2 (en) | 2013-03-28 | 2018-05-01 | Fujifilm Corporation | Image search server, image search apparatus, and method of controlling operation of same |
KR101603201B1 (en) * | 2015-09-18 | 2016-03-15 | 민운기 | Image key certification method and system using color histogram and texture information of image |
WO2017047862A1 (en) * | 2015-09-18 | 2017-03-23 | 민운기 | Image key authentication method and system, which use color histogram and texture information of images |
KR101715655B1 (en) * | 2016-03-04 | 2017-03-14 | 민운기 | Image key certification method and system using color histogram and texture information of image |
Also Published As
Publication number | Publication date |
---|---|
US20120056893A1 (en) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012058940A (en) | Similar-image search device, similar-image search method and computer program | |
EP4080889A1 (en) | Anchor information pushing method and apparatus, computer device, and storage medium | |
US9846708B2 (en) | Searching of images based upon visual similarity | |
KR102014761B1 (en) | Method and system for sorting a search result with space objects, and a computer-readable storage device | |
RU2008152075A (en) | REMOVING IMAGES BASED ON THE CONTENTS | |
WO2015116971A1 (en) | Determination of aesthetic preferences based on user history | |
CN109168047B (en) | Video recommendation method and device, server and storage medium | |
JP2020521219A (en) | Efficiently enhance images with related content | |
CN110210558B (en) | Method and device for evaluating performance of neural network | |
JP2017182628A (en) | Augmented reality user interface application device and control method | |
CN110489574B (en) | Multimedia information recommendation method and device and related equipment | |
CN111143555B (en) | Customer portrait generating method, device, equipment and storage medium based on big data | |
US20210165818A1 (en) | Image searching apparatus, image searching method, and storage medium | |
CN110147514B (en) | Resource display method, device and equipment thereof | |
CN110073346B (en) | Group assisted query system | |
JP2017091437A (en) | Cluster selection device | |
JP2010250630A (en) | Image server, image retrieval system, and image retrieval method | |
KR20200024534A (en) | Supporting Method for Searching of Goods and service device, and terminal device thereof | |
JP6367169B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
US20150039602A1 (en) | Systems and methods for providing ordered results for search queries | |
KR20190057821A (en) | Restaurant information provide system and it's method | |
JP2010250636A (en) | Image retrieval terminal device and image retrieval request method | |
EP3043307A1 (en) | Information providing server and method of controlling information providing server | |
CN110851685B (en) | Electronic book ordering method and device and computer readable storage medium | |
JP5794001B2 (en) | Information search method, information search device, and information search program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131203 |