JP2012058940A - Similar-image search device, similar-image search method and computer program - Google Patents

Similar-image search device, similar-image search method and computer program Download PDF

Info

Publication number
JP2012058940A
JP2012058940A JP2010200577A JP2010200577A JP2012058940A JP 2012058940 A JP2012058940 A JP 2012058940A JP 2010200577 A JP2010200577 A JP 2010200577A JP 2010200577 A JP2010200577 A JP 2010200577A JP 2012058940 A JP2012058940 A JP 2012058940A
Authority
JP
Japan
Prior art keywords
image
search
similar
database
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010200577A
Other languages
Japanese (ja)
Inventor
Ayahiro Nakajima
紋宏 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010200577A priority Critical patent/JP2012058940A/en
Priority to US13/226,425 priority patent/US20120056893A1/en
Publication of JP2012058940A publication Critical patent/JP2012058940A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable easy adjustment of a user preference when a similar image is searched for.SOLUTION: A device includes: an image database (12) pre-storing therein images; and search means (14 through 18) for searching image data stored in the image database (12) for images similar to an input image specified by a search requester. Further, the search means includes: determination means (17) for determining respective similarities between the input image and individual images stored in the image database 12 by using plural determination criteria obtained by weighting and combining individual differences between plural feature values representing characteristics of images; and tuning screen send-out means (18) for sending out, to the search requester, images whose similarity determined by the determination means (17) satisfies a predefined condition as a tuning screen divided into groups by the determination criteria.

Description

本発明は、類似画像検索装置、類似画像検索方法およびコンピュータープログラムに関する。   The present invention relates to a similar image search device, a similar image search method, and a computer program.

データベースに蓄積されている画像データからユーザーが望む画像を示す画像データを検索する技術として、たとえば特許文献１には、画像データの属性（撮影日時や撮影モードなど）に関する検索条件や、画像データの内容の特徴（たとえば所定のテンプレート画像に対する類似度）に関する検索条件を設定して画像データを検索することが開示されている。   As a technique for searching image data indicating an image desired by a user from image data stored in a database, for example, Patent Literature 1 discloses a search condition regarding image data attributes (such as shooting date and time, shooting mode), and image data. It is disclosed that image data is searched by setting a search condition related to a feature of content (for example, similarity to a predetermined template image).

また、所定のテンプレート画像に関する類似度に基づいて画像データを検索するのではなく、ユーザーの入力する画像データに対して、それに類似する画像データを検索することも考えられる。   It is also conceivable to search for image data similar to the image data input by the user instead of searching for image data based on the degree of similarity with respect to a predetermined template image.

特開２００４−２７２３１４号公報JP 2004-272314 A

一般に情報の検索を行う場合には、同じ検索式を用いても、ユーザーによって求める情報が異なる場合がある。そこで、ユーザーの嗜好を計算する式（「ユーザー嗜好計算式」という）を用い、このユーザー嗜好計算式の各パラメーターに対する重みをユーザーの検索履歴（検索日時、検索単語等の履歴）により変えることで、ユーザーの嗜好に適合する検索結果を得るようにしている。   In general, when searching for information, even if the same search formula is used, information required by a user may differ. Therefore, by using a formula that calculates user preferences (referred to as “user preference formula”), the weight for each parameter of this user preference formula is changed according to the user search history (history of search date, search word, etc.). Search results that match user preferences.

しかし、ユーザーが初めて情報検索を行うときや、間を空けてしまったとき、好みが大きく変化したときなどには、ユーザー嗜好計算式のパラメーターの重みが適正ではなくなってしまうことがある。   However, when the user searches for information for the first time, when there is a gap, or when the preference changes greatly, the parameter weight of the user preference calculation formula may not be appropriate.

ユーザーがどのような情報を検索したいのかを、検索式とは別に設定することも考えられる。しかし、検索対象が画像データである場合には、類似度計算に用いる特徴量が検索システムのベンダーにより異なるため、一般名詞などは存在するはずもない。画像を調整する方法として、画像を画面上に表示して、明るさ、カラーバランス、コントラストなどをスライダーコントロールにより調整する方法があるが、それを検索条件に利用するのは無理がある。   It is also possible to set what information the user wants to search separately from the search expression. However, when the search target is image data, a general noun or the like cannot exist because the feature amount used for similarity calculation varies depending on the vendor of the search system. As a method for adjusting an image, there is a method in which an image is displayed on a screen and brightness, color balance, contrast, and the like are adjusted by a slider control. However, it is impossible to use it as a search condition.

本発明は、このような課題を解決し、類似画像を検索する際に、ユーザーの好みを容易に調整することのできる類似画像検索装置、類似画像検索方法およびコンピュータープログラムを提供することを目的とする。   An object of the present invention is to solve such problems and provide a similar image search device, a similar image search method, and a computer program capable of easily adjusting user preferences when searching for similar images. To do.

本発明の第１の観点によると、あらかじめ画像データが蓄えられる画像データベースと、検索要求元からの入力画像に対して、画像データベースに蓄えられている画像データから入力画像に類似する画像を検索する検索手段と、を備え、検索手段は、入力画像と画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段と、判定手段により判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画面として検索要求元に送出するチューニング画面送出手段と、を有することを特徴とする類似画像検索装置が提供される。   According to the first aspect of the present invention, for an image database in which image data is stored in advance and an input image from a search request source, an image similar to the input image is searched from the image data stored in the image database. A search means, wherein the search means sets the similarity between the input image and the image represented by the individual image data stored in the image database to a difference between each of a plurality of feature values representing the feature of the image. A tuning screen that divides images that satisfy a predetermined condition for the degree of similarity determined by the determination unit by using a plurality of determination criteria obtained by combining weights, and the criteria determined by the determination unit are divided into groups for each criterion. And a tuning screen sending means for sending to the search request source.

異なる判定基準を用いて得られた画像を、その判断基準ごとのグループに分けたチューニング画面として検索要求元（ユーザー）に送出することで、ユーザーは、その画面から、自分の嗜好にあったものを選択することができる。   By sending the images obtained using different criteria to the search requester (user) as a tuning screen divided into groups for each criterion, the user can choose what he / she wants from the screen. Can be selected.

検索手段は、検索要求元からの画像の検索履歴を蓄積して、検索要求元の嗜好を判断する手段を有し、判定手段およびチューニング画面送出手段は、検索要求元からの画像の検索履歴が不十分で嗜好を判断する手段がユーザーの嗜好を判断できない場合に、それぞれ判定およびチューニング画像の送出を行う。すなわち、ユーザーの嗜好が判断できない場合に、ユーザーの嗜好を求めることができ、検索手段をチューニングすることができる。   The search means has means for accumulating the image search history from the search request source to determine the preference of the search request source, and the determination means and the tuning screen sending means have the image search history from the search request source. When the user's preference cannot be determined by the insufficient means for determining the preference, the determination and the transmission of the tuning image are performed. That is, when the user's preference cannot be determined, the user's preference can be obtained, and the search means can be tuned.

判定手段およびチューニング画面送出手段は、検索要求元からの要求があったときに、それぞれ判定およびチューニング画面の送出を行うこともできる。たとえば、ユーザーの嗜好が大きく変わった場合、あるいはそれまでの検索履歴に影響されずに検索を行いたい場合に、検索手段をチューニングすることができる。   The determination unit and the tuning screen sending unit can also send the determination and tuning screen, respectively, when there is a request from the search request source. For example, the search means can be tuned when the user's preference changes greatly or when it is desired to perform a search without being influenced by the search history up to that point.

判断基準に用いる特徴値としては、色、形状およびテクスチャーなどを用いることができる。たとえば、入力画像の色と同じような画像、同じような形状の画像、同じようなテクスチャーの画像がそれぞれのグループで表示される。これにより、ユーザーは、自分が何を重視して検索したいかを選択することができる。   Color, shape, texture, and the like can be used as the feature value used for the determination criterion. For example, an image similar to the color of the input image, an image having the same shape, and an image having the same texture are displayed in each group. Thus, the user can select what he / she wants to search.

判定手段およびチューニング画面送出手段は、複数の判定基準をさらに変更して、それぞれ判定およびチューニング画面の送出を繰り返すことができる。これにより、ユーザーの嗜好にしたがって、検索手段を詳細にチューニングすることができる。   The determination unit and the tuning screen transmission unit can further change the plurality of determination criteria and repeat the determination and the transmission of the tuning screen, respectively. Thereby, according to a user preference, a search means can be tuned in detail.

画像データベースには、画像データに加えてその画像データの解像度を小さくした縮小画像データが蓄えられ、判定手段は、入力画面と縮小画面データが表す縮小画面との類似度を判定し、チューニング画面送出手段は、縮小画面のうち類似度が所定の条件を満たすものによりチューニング画面を生成して送出することができる。縮小画像で類似度を判定するので、計算量を減らすことができる。   The image database stores reduced image data in which the resolution of the image data is reduced in addition to the image data, and the determination means determines the similarity between the input screen and the reduced screen represented by the reduced screen data, and transmits the tuning screen. The means can generate and send a tuning screen based on a reduced screen whose similarity satisfies a predetermined condition. Since the similarity is determined based on the reduced image, the amount of calculation can be reduced.

本発明の第２の観点によると、検索要求元からの入力画像に対して、データベースにあらかじめ蓄えられている画像データから入力画像に類似する画像を検索する類似画像検索方法において、入力画像とデータベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定し、判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画面として検索要求元に送出することを特徴とする類似画像検索方法が提供される。   According to a second aspect of the present invention, in a similar image search method for searching for an image similar to an input image from image data stored in advance in a database with respect to an input image from a search request source, the input image and the database Using a plurality of criteria obtained by combining the similarity between the image represented by the individual image data stored in the image and weighting each difference between a plurality of feature values representing the features of the image There is provided a similar image search method characterized in that each determination is made and images having the determined similarity satisfy a predetermined condition are sent to a search request source as a tuning screen divided into groups for each determination criterion.

本発明の第３の観点によると、コンピューターにインストールされることにより、そのコンピューターを、あらかじめ画像データが蓄えられる画像データベース、検索要求元からの入力画像に対して、画像データベースに蓄えられている画像データから入力画像に類似する画像を検索する検索手段、入力画像と画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段、および判定手段により判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画面として検索要求元に送出するチューニング画面送出手段として動作させることを特徴とするコンピュータープログラムが提供される。   According to the third aspect of the present invention, when installed in a computer, the computer stores an image database in which image data is stored in advance, and an image stored in the image database with respect to an input image from a search request source. Retrieval means for retrieving an image similar to the input image from the data, the similarity between the input image and the image represented by the individual image data stored in the image database, each of a plurality of feature values representing the features of the image The determination means for determining each using a plurality of determination criteria obtained by weighting and combining the differences, and the images satisfying a predetermined degree of similarity determined by the determination means are divided into groups for each determination criterion. As a tuning screen sending means to send to the search request source as a tuning screen Computer program is provided, characterized in that.

本発明の第１の実施の形態に係る類似画像検索装置およびその類似画像検索装置を含む画像検索システムのブロック構成図である。1 is a block configuration diagram of a similar image search device and an image search system including the similar image search device according to a first embodiment of the present invention. 類似画像検索を説明する図である。It is a figure explaining a similar image search. 図１に示す類似画像検索装置中のチューニング画面送出部がユーザーに送出するチューニング画面の一例を示す図である。It is a figure which shows an example of the tuning screen which the tuning screen transmission part in the similar image search apparatus shown in FIG. 1 sends out to a user. 図１に示す類似画像検索装置の動作のフローチャートである。It is a flowchart of operation | movement of the similar image search apparatus shown in FIG. 図４に示すフローチャート内のチューニング処理のフローチャートである。5 is a flowchart of tuning processing in the flowchart shown in FIG. 4. 本発明の第２の実施の形態に係る類似画像検索装置およびその類似画像検索装置を含む画像検索システムのブロック構成図である。It is a block block diagram of the image search system containing the similar image search device which concerns on the 2nd Embodiment of this invention, and its similar image search device.

以下、図面を参照して、本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

［実施の形態１］
図１は、本発明の第１の実施の形態に係る類似画像検索装置１およびその類似画像検索装置を含む画像検索システムのブロック構成図である。また、図２は、類似画像検索を説明する図である。ここでは、類似画像検索装置１がネットワーク２に接続され、ユーザーは、ユーザー端末３からネットワーク２を経由して類似画像検索装置１にアクセスするものとして説明する。 [Embodiment 1]
FIG. 1 is a block configuration diagram of a similar image search device 1 and an image search system including the similar image search device according to the first embodiment of the present invention. FIG. 2 is a diagram for explaining similar image search. Here, it is assumed that the similar image search device 1 is connected to the network 2 and the user accesses the similar image search device 1 from the user terminal 3 via the network 2.

類似画像検索装置１は、ユーザー情報データベース１１（図では「ユーザー情報ＤＢ」として示す）、画像データベース１２（図では「画像ＤＢ」として示す）、処理受付部１３、特徴抽出部１４、画像検索部１５、画像出力部１６、類似度判定部１７およびチューニング画面送出部１８を備える。画像データベース１２には、あらかじめ画像データが蓄えられている。特徴抽出部１４、画像検索部１５、画像出力部１６、類似度判定部１７およびチューニング画面送出部１８は、検索要求元からの入力画像に対して、画像データベース１２に蓄えられている画像データから入力画像に類似する画像を検索する検索手段を構成する。類似度判定部１７は、入力画像と画像データベース１２に蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段を構成する。チューニング画面送出部１８は、類似度判定部１７により判定された類似度が所定の条件を満たす画像を、判定基準ごとのグループに分けたチューニング画像として検索要求元に送出するチューニング画像送出手段を構成する。   The similar image search device 1 includes a user information database 11 (shown as “user information DB” in the figure), an image database 12 (shown as “image DB” in the figure), a process reception unit 13, a feature extraction unit 14, and an image search unit. 15, an image output unit 16, a similarity determination unit 17, and a tuning screen transmission unit 18. Image data is stored in advance in the image database 12. The feature extraction unit 14, the image search unit 15, the image output unit 16, the similarity determination unit 17, and the tuning screen transmission unit 18 use the image data stored in the image database 12 for the input image from the search request source. Search means for searching for an image similar to the input image is configured. The similarity determination unit 17 weights the similarity between the input image and the image represented by the individual image data stored in the image database 12 to a difference between a plurality of feature values representing the feature of the image. The determination means which respectively determines using the several determination criteria obtained by combining in this way is comprised. The tuning screen sending unit 18 constitutes a tuning image sending unit that sends, to the search request source, images having the similarity determined by the similarity determination unit 17 satisfying a predetermined condition as tuning images divided into groups for each determination criterion. To do.

類似画像検索装置１としてはサーバーコンピューターが用いられ、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、各種インターフェイス等のハードウェアを備え、所定のオペレーティングシステムの下で動作するコンピュータープログラムにより、各部の機能を実現する。   A server computer is used as the similar image search device 1, which includes hardware such as a CPU, RAM, ROM, hard disk, and various interfaces, and implements the functions of each unit by a computer program that operates under a predetermined operating system.

ユーザー情報データベース１１には、ユーザーの嗜好を判断するための情報が蓄えられる。このような情報としては、検索履歴だけでなく、ユーザーの年齢、性別、職業、職歴、住所なども、ユーザーの嗜好を判断するための参考として利用することができる。   The user information database 11 stores information for determining user preferences. As such information, not only the search history but also the user's age, gender, occupation, work history, address, etc. can be used as a reference for determining the user's preference.

処理受付部１３は、ユーザーとのインターフェイスを提供し、ユーザー端末３からのネットワーク２を経由する検索要求を受け付けるとともに、画像出力部１６から出力される検索結果や、チューニング画面送出部１８により送出されるチューニング画面をユーザー端末３で表示するためのデータを、ユーザー端末３に送る。   The process reception unit 13 provides an interface with the user, receives a search request from the user terminal 3 via the network 2, and transmits a search result output from the image output unit 16 and a tuning screen transmission unit 18. Data to be displayed on the user terminal 3 is sent to the user terminal 3.

特徴抽出部１４は、ユーザー端末３から送られてきた入力画像のデータから、色、形状、テクスチャーなどの特徴値を抽出する。色の特徴値は、たとえば、ピクセルごとの色空間上の値として表される。形状の特徴値は、あらかじめ設定されたテンプレートとパターンマッチングにより求められる。テクスチャーの特徴値量は、あらかじめ設定されたテンプレートとの相関計算により求められる。色、形状、テクスチャーの他にも種々の特徴を利用することができるが、以下では、単純のため、これらの３つの特徴値を例に説明する。入力画像の特徴量Ｆiは、色、形状、テクスチャーのそれぞれの特徴値Ｃｉ，Ｓｉ，Ｔｉにより、
Ｆi＝（Ｃｉ，Ｓｉ，Ｔｉ） ．．．（１）
として表すことができる。 The feature extraction unit 14 extracts feature values such as color, shape, and texture from the data of the input image sent from the user terminal 3. The color feature value is expressed as a value in a color space for each pixel, for example. The feature value of the shape is obtained by preset template and pattern matching. The feature value of the texture is obtained by correlation calculation with a preset template. In addition to color, shape, and texture, various features can be used, but in the following, for simplicity, these three feature values will be described as examples. The feature value Fi of the input image is determined by the feature values Ci, Si, Ti of the color, shape, and texture.
Fi = (Ci, Si, Ti). . . (1)
Can be expressed as

ユーザー情報データベース１１および画像検索部１５は、検索要求元からの画像の検索履歴を蓄積して検索要求元の嗜好を判断する手段として動作し、画像検索部１５は、ユーザ情報データベース１１に蓄えられているユーザー情報を参考に、図２に示すように、特徴抽出部１４により抽出された特徴量Ｆiと、画像データベース１２に蓄積されている画像データの特徴量Ｆｋ＝（Ｃｋ，Ｓｋ，Ｔｋ）、ｋ＝１、２、．．（図２ではｋ＝４）とを順次比較し、類似する画像を検索する。ここで、入力画像の特徴量Ｆiと、画像データベース１２内のｋ番目の画像データの特徴量Ｆｋとの類似度Ｓｉｍは、各特長値の差の自乗に重みＷｃ、Ｗｓ、Ｗｔを乗算して、
Ｓｉｍ（Ｆi，Ｆｋ）
＝Ｗｃ（Ｃｋ−Ｃｉ）２＋Ｗs（Ｓｋ−Ｓｉ）２＋Ｗｔ（Ｓｋ−Ｓｉ）２ ．．．（２）
と表される。重みＷｃ、Ｗｓ、Ｗｔは、ユーザーの履歴情報など、ユーザー情報データベース１１に蓄えられているユーザー情報から求めることができる。類似度Ｓｉｍとして、（２）式の平方根を用いるものとしてもよい。 The user information database 11 and the image search unit 15 operate as means for determining the preference of the search request source by accumulating the image search history from the search request source, and the image search unit 15 is stored in the user information database 11. 2, the feature quantity Fi extracted by the feature extraction unit 14 and the feature quantity Fk = (Ck, Sk, Tk) of the image data stored in the image database 12 as shown in FIG. , K = 1, 2,. . (K = 4 in FIG. 2) are sequentially compared to search for similar images. Here, the similarity Sim between the feature value Fi of the input image and the feature value Fk of the kth image data in the image database 12 is obtained by multiplying the square of the difference between the feature values by the weights Wc, Ws, and Wt. ,
Sim (Fi, Fk)
= Wc (Ck-Ci) 2 + Ws (Sk-Si) 2 + Wt (Sk-Si) 2 . . . (2)
It is expressed. The weights Wc, Ws, and Wt can be obtained from user information stored in the user information database 11 such as user history information. As the similarity Sim, the square root of the equation (2) may be used.

画像出力部１６は、画像検索部１５により検索された画像のうち、類似度Ｓｉｍが所定の値以上の複数の画像を、１つずつ、あるいは複数ずつ、処理受付部１３を介して、ユーザー端末３に表示させる。ユーザーがユーザー端末３でひとつの画像を選択すると、それが受付処理部１３に通知され、検索履歴として、ユーザー情報データベース１１に蓄えられる。   The image output unit 16 outputs a plurality of images having a similarity Sim equal to or higher than a predetermined value from the images searched by the image search unit 15 one by one or a plurality of images via the process reception unit 13. 3 is displayed. When the user selects one image on the user terminal 3, it is notified to the reception processing unit 13 and stored in the user information database 11 as a search history.

類似度判定部１７およびチューニング画面送出部１８は、ユーザー情報データベース１１内に蓄えられている当該ユーザーによる画像の検索履歴が不十分でそのユーザーの嗜好が判断できない場合、あるいは、ユーザーからの要求がある場合に、それぞれ判定およびチューニング画面の送出を行う。   The similarity determination unit 17 and the tuning screen transmission unit 18 are not able to determine the user's preference because the search history of the image stored in the user information database 11 by the user is insufficient, or a request from the user is received. In some cases, the judgment and the tuning screen are sent out.

類似度判定部１７は、判定基準として、（２）式における重みＷｃ、Ｗｓ、Ｗｔの組をいくつか設定し、その組ごとに、画像検索部１５と同様に、特徴抽出部１４により抽出された特徴量Ｆｉと、画像データベース１２に蓄積されている画像データにより表される画像の特徴量Ｆｋを順次比較し、類似する画像を検索する。   The similarity determination unit 17 sets several sets of weights Wc, Ws, and Wt in the equation (2) as determination criteria, and each set is extracted by the feature extraction unit 14 as with the image search unit 15. The feature amount Fi and the feature amount Fk of the image represented by the image data stored in the image database 12 are sequentially compared to search for similar images.

チューニング画面送出部１８は、類似度判定部１７により検索された画像の縮小画像を、判定基準ごとの、すなわち重みＷｃ、Ｗｓ、Ｗｔの組ごとのグループに分けたチューニング画像として、処理受付部１３を介してユーザー端末３に表示させる。   The tuning screen sending unit 18 processes the reduced image of the image searched by the similarity determination unit 17 as a tuning image divided into groups for each determination criterion, that is, for each set of weights Wc, Ws, and Wt. Is displayed on the user terminal 3.

［チューニング］
図３は、チューニング画面送出部１８がユーザーに送出するチューニング画面の一例を示す図である。この例では、入力画像と、４つの判断基準により検索された複数の縮小画像とが表示される。 [tuning]
FIG. 3 is a diagram illustrating an example of a tuning screen that the tuning screen sending unit 18 sends to the user. In this example, an input image and a plurality of reduced images searched according to four criteria are displayed.

たとえば、類似度判定部１７が用いる（２）式における重みとして、
Ｗｃ＝１、Ｗｓ＝Ｗｔ＝０
Ｗｓ＝１、Ｗｃ＝Ｗｔ＝０
Ｗｔ＝１、Ｗｃ＝Ｗｓ＝０
の組み合わせを用いるものとする。すなわち、特徴として色を重視するものの、形状やテクスチャーは重視しない場合、形状を重視するものの、他の特徴は重視しない場合、そして、テクスチャーを重視するものの、他の特徴は重視しない場合の３通りの組み合わせである。このとき、類似度判定部１７は、それぞれの重みの組み合わせについて類似度Ｓｉｍを求め、類似する画像を検索する。チューニング画面送出部１８は、それぞれの重みの組み合わせごとに、類似度Ｓｉｍの高いものをユーザーに送出する。どの特徴を重視したかは、ユーザーに送出する必要はない。 For example, as the weight in the equation (2) used by the similarity determination unit 17,
Wc = 1, Ws = Wt = 0
Ws = 1, Wc = Wt = 0
Wt = 1, Wc = Ws = 0
The combination of is used. In other words, when color is important as a feature but shape and texture are not important, shape is important but other features are not important, and texture is important but other features are not important It is a combination. At this time, the similarity determination unit 17 obtains a similarity Sim for each weight combination, and searches for similar images. The tuning screen sending unit 18 sends a high similarity Sim to the user for each combination of weights. It is not necessary to send to the user which features are important.

この結果、ユーザー端末３には、入力画像に加え、特徴として色を重視しているが形状やテクスチャーは重視しない画像（図３の例では画像Ａ１〜Ａ３）、特徴として形状を重視しているが他の特徴は重視しない画像（同じく画像Ｂ１〜Ｂ３）、特徴としてテクスチャーを重視しているが他の特徴は重視しない画像（同じく画像Ｃ１〜Ｃ３）がそれぞれグループごとに表示される。これらの画像は、互いに重複しないものとすることもできるが、重複を許容することとしてもよい。これらのいずれかのグループをユーザーが選択することで、そのユーザーがどのような特徴を重視しているかを知ることができる。   As a result, in addition to the input image, the user terminal 3 emphasizes color as a feature but emphasizes shape and texture (images A1 to A3 in the example of FIG. 3), and emphasizes shape as a feature. However, images that do not place importance on other features (also images B1 to B3), and images that place importance on texture but not on other features (also images C1 to C3) are displayed for each group. These images may not overlap each other, but may be allowed to overlap. When a user selects one of these groups, it is possible to know what features the user places importance on.

重みの組み合わせを変更して、ユーザーへの送出およびユーザーによる選択（チューニング）を繰り返すこともできる。たとえば、上述した組み合わせを用いた後に、
Ｗｃ＝３、Ｗｓ＝１、Ｗｔ＝０
Ｗｃ＝３、Ｗｓ＝０、Ｗｔ＝１
として２回目のチューニングを行い、さらに、
Ｗｃ＝５、Ｗｓ＝３、Ｗｔ＝１
として３回目のチューニングを行うこともできる。 It is also possible to change the combination of weights and repeat the transmission to the user and the selection (tuning) by the user. For example, after using the combination described above,
Wc = 3, Ws = 1, Wt = 0
Wc = 3, Ws = 0, Wt = 1
As the second tuning,
Wc = 5, Ws = 3, Wt = 1
As a result, the third tuning can be performed.

図３には、３つのグループの画像を表示した例を示したが、この数は、重みの組み合わせの数により変化する。画面表示を考慮すると、ひとつのグループあたり表示する画像数を１０個として、表示するグループ数は４以下が適当であると考えられる。重みの組み合わせ数は、表示できるグループ数とは独立に設定することができる。たとえば、表示できるグループ数が４で、重みの組み合わせ数が５以上の場合には、画面を切り替えて、５番目以降のグループを表示するようにしてもよい。   FIG. 3 shows an example in which three groups of images are displayed, but this number varies depending on the number of weight combinations. Considering the screen display, it is considered that the number of images to be displayed per group is 10 and the number of groups to be displayed is 4 or less. The number of weight combinations can be set independently of the number of groups that can be displayed. For example, when the number of groups that can be displayed is 4 and the number of weight combinations is 5 or more, the screen may be switched to display the fifth and subsequent groups.

［動作フロー］
図４は、類似画像検索装置１の動作のフローチャートである。 [Operation flow]
FIG. 4 is a flowchart of the operation of the similar image search apparatus 1.

処理受付部１３にユーザーからの画像検索要求があると（ステップＳ１でＹ）、特徴抽出部１４は、ユーザーからの入力画像から特徴を抽出する。ユーザーからのチューニング要求があった場合（ステップＳ３でＹ）、あるいはユーザー情報データベース１１に検索履歴が不十分な場合（ステップＳ４でＮ）には、類似度判定部１７およびチューニング画面送出部１８によるチューニングを行う。   When there is an image search request from the user in the process reception unit 13 (Y in step S1), the feature extraction unit 14 extracts a feature from the input image from the user. When there is a tuning request from the user (Y in step S3), or when the search history is insufficient in the user information database 11 (N in step S4), the similarity determination unit 17 and the tuning screen sending unit 18 Tune.

ユーザーからのチューニング要求はなく（ステップＳ３でＮ）、ユーザー情報データベース１１に検索履歴などのユーザー嗜好情報がある（ステップＳ４でＹ）場合、あるいはステップＳ５のチューニング処理の後には、画像検索部１５が、ユーザーの嗜好に沿って、画像データベース１２から画像データを検索する。画像出力部１６は、検索結果をユーザーに送出する。ユーザーがその検索結果で満足しない場合（ステップＳ８でＮ）には、ステップＳ３以降の処理を繰り返す。ユーザーが検索結果に満足している場合（ステップＳ８でＹ）には、処理受付部１３が、ユーザー情報データベース１１内の検索履歴を更新する（ステップＳ９）。   When there is no tuning request from the user (N in step S3) and there is user preference information such as a search history in the user information database 11 (Y in step S4), or after the tuning process in step S5, the image search unit 15 However, the image data is searched from the image database 12 according to the user's preference. The image output unit 16 sends the search result to the user. If the user is not satisfied with the search result (N in step S8), the processes in and after step S3 are repeated. When the user is satisfied with the search result (Y in step S8), the process reception unit 13 updates the search history in the user information database 11 (step S9).

図５は、図４に示すフローチャート内のチューニング処理のフローチャートである。   FIG. 5 is a flowchart of the tuning process in the flowchart shown in FIG.

チューニング処理が開始されると、類似度判定部１７は、類似度判定計算における特徴量の重みを設定する（ステップＳ１１）。続いて、類似度判定部１７は、ｋ＝１（ステップＳ１２）とし、このｋの値をインクリメントしながら（ステップＳ１５）、入力画像と画像データデータベース１２内のｋ番目の画像データとの類似度を判定する（ステップＳ１３）。画像データベース１２内のすべての画像データとの類似度の判定が終了すると（ステップＳ１４でＹ）、さらに重みの変更設定が必要かを判断し（ステップＳ１６）、必要であれば（ステップＳ１６でＮ）、特徴量の重みを変更して（ステップＳ１７）、ステップＳ１２からステップＳ１５の処理を繰り返す。   When the tuning process is started, the similarity determination unit 17 sets feature weights in the similarity determination calculation (step S11). Subsequently, the similarity determination unit 17 sets k = 1 (step S12), and increments the value of k (step S15), while the similarity between the input image and the kth image data in the image data database 12 is increased. Is determined (step S13). When the determination of the degree of similarity with all image data in the image database 12 is completed (Y in step S14), it is further determined whether a weight change setting is necessary (step S16), and if necessary (N in step S16). ) The weight of the feature amount is changed (step S17), and the processing from step S12 to step S15 is repeated.

特徴量の重みを変更して類似度の判定が完了すると（ステップＳ１６でＹ）、チューニング画面送出部１８は、特徴量の重みの組ごとに、類似度が所定の条件を満たす画像グループを、処理受付部１３を介してユーザーに送出する（ステップＳ１８）。ユーザーによる画像グループの選択を待ち（ステップＳ１９）、選択されると、処理受付部１３は、選択された画像グループに設定されている特徴量の重みにより、ユーザー情報データベース１１内の検索履歴を更新し（ステップＳ２０）、ユーザーの嗜好を判断できるようにする。   When the determination of the similarity is completed by changing the weight of the feature amount (Y in step S16), the tuning screen sending unit 18 selects an image group in which the similarity satisfies a predetermined condition for each set of feature amount weights. The data is sent to the user via the process reception unit 13 (step S18). Waiting for the user to select an image group (step S19), when selected, the process accepting unit 13 updates the search history in the user information database 11 with the weight of the feature amount set for the selected image group. (Step S20) so that the user's preference can be determined.

［実施の形態２］
図６は、本発明の第２の実施の形態に係る類似画像検索装置１およびその類似画像検索装置１を含む画像検索システムのブロック構成図である。 [Embodiment 2]
FIG. 6 is a block configuration diagram of a similar image search device 1 and an image search system including the similar image search device 1 according to the second embodiment of the present invention.

類似度の判定は、ピクセルごとに比較して行うことが正確である。しかし、それでは計算が膨大となる。そこで、解像度を小さくした画像データを用い、たとえば１６００×１２００画素のデータを６４×６４画素にリサイズし、ピクセルごとの色と位置などを特徴として用いることが望ましい。そのためには、画像データベースに、検索対象となる画像データに加えて、その画像の解像度を小さくした縮小画像データを蓄えておく。図６では、検索対象となる画像データが蓄えられる画像データベース１２とは別に、その縮小画像が蓄えられる縮小画像データベース１９を設けた例を示す。画像データベース１２と縮小画像データベース１９は、ここでは説明のために別のものとしているが、ひとつのデータベースとしてもよい。   It is accurate to determine the similarity by comparing each pixel. However, that would be a huge calculation. Therefore, it is desirable to use image data with a reduced resolution, for example, resize data of 1600 × 1200 pixels to 64 × 64 pixels and use the color and position of each pixel as features. For this purpose, in addition to the image data to be searched, reduced image data with a reduced resolution is stored in the image database. FIG. 6 shows an example in which a reduced image database 19 in which the reduced image is stored is provided in addition to the image database 12 in which the image data to be searched is stored. Although the image database 12 and the reduced image database 19 are different here for explanation, they may be one database.

この構成では、類似度判定部１７は、入力画像と縮小画像データの類似度を判定する。チューニング画面送出部１８は、縮小画像データのうち類似度が所定の条件を満たすものを送出することができる。縮小画像データで類似度を判定するので、計算量を減らすことができる。また、縮小画像データを利用して、少ない処理量で高速にプレビューを表示することができる。画像検索部１５における類似度の判定にも、縮小画像データを利用することができる。   In this configuration, the similarity determination unit 17 determines the similarity between the input image and the reduced image data. The tuning screen sending unit 18 can send out reduced image data whose similarity satisfies a predetermined condition. Since the similarity is determined based on the reduced image data, the amount of calculation can be reduced. Also, the preview can be displayed at high speed with a small amount of processing by using the reduced image data. The reduced image data can also be used for the similarity determination in the image search unit 15.

［その他の実施の形態］
以上の説明では、入力画像のみを用いて類似画像を検索する場合を例に説明したが、キーワードを組み合わせて、類似画像を絞り込むこともできる。また、以上の説明では、検索履歴に応じて検索条件を設定するものとして説明したが、これは、検索そのものの条件が設定されるという意味に限定されるものではなく、重みを付けずに検索を行い、検索結果について、重みを考慮して表示順をソートする場合を含む。 [Other embodiments]
In the above description, the case where similar images are searched using only the input image has been described as an example. However, similar images can be narrowed down by combining keywords. In the above description, the search condition is set according to the search history. However, this is not limited to the condition that the search condition is set, and the search is not weighted. And the display result is sorted in consideration of the weight.

検索により得られた画像は、たとえば、人物の顔の認証に利用することができる。たとえば、人の顔の特徴値として、目や口、鼻、耳などと輪郭との位置関係や、平均顔からのそれぞれの形状および色の差分などを利用して、入力画像の人物と、データベースに登録されている人物との異動を判断することができる。また、特定の人と、他の人との類似の判断に利用することもできる。   The image obtained by the search can be used for authentication of a person's face, for example. For example, by using the positional relationship between the eyes, mouth, nose, ears, etc. and contours, and the difference in shape and color from the average face as the human face feature values, It is possible to determine a transfer with a person registered in. It can also be used for a similar judgment between a specific person and another person.

１…類似画像検索装置、２…ネットワーク、３…ユーザー端末、１１…ユーザー情報データベース、１２…画像データベース、１３…処理受付部、１４…特徴抽出部（検索手段の一部）、１５…画像検索部（検索手段の一部）、１６…画像出力部（検索手段の一部）、１７…類似度判定部（判定手段）、１８…チューニング画面送出部（チューニング画面送出手段）   DESCRIPTION OF SYMBOLS 1 ... Similar image search apparatus, 2 ... Network, 3 ... User terminal, 11 ... User information database, 12 ... Image database, 13 ... Process reception part, 14 ... Feature extraction part (a part of search means), 15 ... Image search Part (part of search means), 16 ... image output part (part of search means), 17 ... similarity determination part (determination means), 18 ... tuning screen sending part (tuning screen sending means)

Claims (8)

あらかじめ画像データが蓄えられる画像データベースと、
検索要求元からの入力画像に対して、前記画像データベースに蓄えられている画像データから該入力画像に類似する画像を検索する検索手段と、
を備え、
前記検索手段は、
前記入力画像と前記画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段と、
前記判定手段により判定された類似度が所定の条件を満たす画像を、前記判定基準ごとのグループに分けたチューニング画面として前記検索要求元に送出するチューニング画面送出手段と、
を有する
ことを特徴とする類似画像検索装置。 An image database that stores image data in advance;
Search means for searching for an image similar to the input image from the image data stored in the image database for the input image from the search request source;
With
The search means includes
It is obtained by combining the similarity between the input image and the image represented by the individual image data stored in the image database by weighting the difference between a plurality of feature values representing the features of the image. A judging means for judging using a plurality of judgment criteria;
A tuning screen sending means for sending an image satisfying a predetermined condition determined by the judging means to the search request source as a tuning screen divided into groups for each of the judgment criteria;
A similar image retrieval device characterized by comprising: 請求項１記載の類似画像検索装置において、
前記検索手段は、前記検索要求元からの画像の検索履歴を蓄積して、前記検索要求元の嗜好を判断する手段を有し、
前記判定手段および前記チューニング画面送出手段は、前記検索要求元からの画像の検索履歴が不十分で前記判断する手段が前記ユーザーの嗜好を判断できない場合に、それぞれ判定およびチューニング画面の送出を行う
ことを特徴とする類似画像検索装置。 The similar image search device according to claim 1,
The search means includes means for accumulating a search history of images from the search request source, and determining a preference of the search request source,
The determination unit and the tuning screen transmission unit perform determination and transmission of a tuning screen, respectively, when the image search history from the search request source is insufficient and the determination unit cannot determine the user's preference. A similar image search device characterized by the above. 請求項１記載の類似画像検索装置において、
前記判定手段および前記チューニング画面送出手段は、前記検索要求元からの要求があったときに、それぞれ判定およびチューニング画面の送出を行う
ことを特徴とする類似画像検索装置。 The similar image search device according to claim 1,
The similar image retrieval apparatus, wherein the determination unit and the tuning screen transmission unit perform determination and transmission of a tuning screen, respectively, when there is a request from the search request source. 請求項１から請求項３のいずれか１項記載の類似画像検索装置において、
複数の特徴値は、色、形状およびテクスチャーのそれぞれの特徴値を含む
ことを特徴とする類似画像検索装置。 The similar image search device according to any one of claims 1 to 3,
The plurality of feature values include respective feature values of color, shape, and texture. 請求項１から請求項４のいずれか１項記載の類似画像検索装置において、
前記判定手段および前記チューニング画面送出手段は、前記複数の判定基準をさらに変更して、それぞれ判定およびチューニング画面の送出を繰り返す
ことを特徴とする類似画像検索装置。 The similar image search device according to any one of claims 1 to 4,
The determination unit and the tuning screen transmission unit further change the plurality of determination criteria and repeat the determination and the transmission of the tuning screen, respectively. 請求項１から５のいずれか１項記載の類似画像検索装置において、
前記画像データベースには、画像データに加えてその画像データが表す画像の解像度を小さくした縮小画像データが蓄えられ、
前記判定手段は、前記入力画像と前記縮小画像データが表す縮小画像との類似度を判定し、
前記チューニング画面送出手段は、前記縮小画像のうち類似度が所定の条件を満たすものによりチューニング画面を生成して送出する
ことを特徴とする類似画像検索装置。 The similar image search device according to any one of claims 1 to 5,
In the image database, in addition to the image data, reduced image data in which the resolution of the image represented by the image data is reduced is stored,
The determination unit determines a similarity between the input image and the reduced image represented by the reduced image data;
The tuning screen sending means generates and sends a tuning screen based on the reduced image whose similarity satisfies a predetermined condition. 検索要求元からの入力画像に対して、データベースにあらかじめ蓄えられている画像データから該入力画像に類似する画像を検索する類似画像検索方法において、
前記入力画像と前記データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定し、
判定された類似度が所定の条件を満たす画像を、前記判定基準ごとのグループに分けたチューニング画面として前記検索要求元に送出する
ことを特徴とする類似画像検索方法。 In the similar image search method for searching for an image similar to the input image from image data stored in advance in a database with respect to the input image from the search request source,
A plurality obtained by combining the similarity between the input image and the image represented by the individual image data stored in the database with weights added to the differences between the plurality of feature values representing the features of the image Judgment using each criterion,
A similar image search method, comprising: transmitting an image satisfying a predetermined degree of similarity to the search request source as a tuning screen divided into groups for each of the determination criteria. コンピューターにインストールされることにより、そのコンピューターを、
あらかじめ画像データが蓄えられる画像データベース、
検索要求元からの入力画像に対して、前記画像データベースに蓄えられている画像データから該入力画像に類似する画像を検索する検索手段、
前記入力画像と前記画像データベースに蓄えられている個々の画像データにより表される画像との類似度を、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより得られる複数の判定基準を用いてそれぞれ判定する判定手段、および
前記判定手段により判定された類似度が所定の条件を満たす画像を、前記判定基準ごとのグループに分けたチューニング画面として前記検索要求元に送出するチューニング画面送出手段
として動作させる
ことを特徴とするコンピュータープログラム。 By being installed on a computer,
Image database that stores image data in advance,
Search means for searching for an image similar to the input image from the image data stored in the image database for the input image from the search request source,
It is obtained by combining the similarity between the input image and the image represented by the individual image data stored in the image database by weighting the difference between a plurality of feature values representing the features of the image. A determination unit configured to determine each using a plurality of determination criteria; and an image whose similarity determined by the determination unit satisfies a predetermined condition is sent to the search request source as a tuning screen divided into groups for each of the determination criteria A computer program which is operated as a tuning screen sending means.
JP2010200577A 2010-09-08 2010-09-08 Similar-image search device, similar-image search method and computer program Withdrawn JP2012058940A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010200577A JP2012058940A (en) 2010-09-08 2010-09-08 Similar-image search device, similar-image search method and computer program
US13/226,425 US20120056893A1 (en) 2010-09-08 2011-09-06 Similar image search device, similar image search method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010200577A JP2012058940A (en) 2010-09-08 2010-09-08 Similar-image search device, similar-image search method and computer program

Publications (1)

Publication Number Publication Date
JP2012058940A true JP2012058940A (en) 2012-03-22

Family

ID=45770374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010200577A Withdrawn JP2012058940A (en) 2010-09-08 2010-09-08 Similar-image search device, similar-image search method and computer program

Country Status (2)

Country Link
US (1) US20120056893A1 (en)
JP (1) JP2012058940A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156559A1 (en) * 2013-03-28 2014-10-02 富士フイルム株式会社 Image retrieval device, operation control method therefor, and image retrieval server
KR101603201B1 (en) * 2015-09-18 2016-03-15 민운기 Image key certification method and system using color histogram and texture information of image
KR101715655B1 (en) * 2016-03-04 2017-03-14 민운기 Image key certification method and system using color histogram and texture information of image
WO2017047862A1 (en) * 2015-09-18 2017-03-23 민운기 Image key authentication method and system, which use color histogram and texture information of images

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014157390A (en) * 2013-02-14 2014-08-28 Sony Corp Information processing device and storage medium
US9298830B2 (en) * 2013-05-01 2016-03-29 Timothy Alan Barrett Method, system and apparatus for facilitating discovery of items sharing common attributes
DE102014214851A1 (en) 2014-07-29 2016-02-04 picalike GmbH Computer-implemented method and computer system for carrying out a similarity analysis

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266545B2 (en) * 2001-08-07 2007-09-04 International Business Machines Corporation Methods and apparatus for indexing in a database and for retrieving data from a database in accordance with queries using example sets
TWI403912B (en) * 2006-06-08 2013-08-01 Univ Nat Chiao Tung Method and system of image retrieval

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014156559A1 (en) * 2013-03-28 2014-10-02 富士フイルム株式会社 Image retrieval device, operation control method therefor, and image retrieval server
JP2014191701A (en) * 2013-03-28 2014-10-06 Fujifilm Corp Image retrieval device, operation control method thereof, and image retrieval server
US9805253B2 (en) 2013-03-28 2017-10-31 Fujifilm Corporation Image search apparatus, method of controlling operation of same, and image search server
US9959456B2 (en) 2013-03-28 2018-05-01 Fujifilm Corporation Image search server, image search apparatus, and method of controlling operation of same
KR101603201B1 (en) * 2015-09-18 2016-03-15 민운기 Image key certification method and system using color histogram and texture information of image
WO2017047862A1 (en) * 2015-09-18 2017-03-23 민운기 Image key authentication method and system, which use color histogram and texture information of images
KR101715655B1 (en) * 2016-03-04 2017-03-14 민운기 Image key certification method and system using color histogram and texture information of image

Also Published As

Publication number Publication date
US20120056893A1 (en) 2012-03-08

Similar Documents

Publication Publication Date Title
JP2012058940A (en) Similar-image search device, similar-image search method and computer program
EP4080889A1 (en) Anchor information pushing method and apparatus, computer device, and storage medium
US9846708B2 (en) Searching of images based upon visual similarity
KR102014761B1 (en) Method and system for sorting a search result with space objects, and a computer-readable storage device
RU2008152075A (en) REMOVING IMAGES BASED ON THE CONTENTS
WO2015116971A1 (en) Determination of aesthetic preferences based on user history
CN109168047B (en) Video recommendation method and device, server and storage medium
JP2020521219A (en) Efficiently enhance images with related content
CN110210558B (en) Method and device for evaluating performance of neural network
JP2017182628A (en) Augmented reality user interface application device and control method
CN110489574B (en) Multimedia information recommendation method and device and related equipment
CN111143555B (en) Customer portrait generating method, device, equipment and storage medium based on big data
US20210165818A1 (en) Image searching apparatus, image searching method, and storage medium
CN110147514B (en) Resource display method, device and equipment thereof
CN110073346B (en) Group assisted query system
JP2017091437A (en) Cluster selection device
JP2010250630A (en) Image server, image retrieval system, and image retrieval method
KR20200024534A (en) Supporting Method for Searching of Goods and service device, and terminal device thereof
JP6367169B2 (en) Image processing apparatus, image processing method, program, and recording medium
US20150039602A1 (en) Systems and methods for providing ordered results for search queries
KR20190057821A (en) Restaurant information provide system and it's method
JP2010250636A (en) Image retrieval terminal device and image retrieval request method
EP3043307A1 (en) Information providing server and method of controlling information providing server
CN110851685B (en) Electronic book ordering method and device and computer readable storage medium
JP5794001B2 (en) Information search method, information search device, and information search program

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20131203