JP2017219984A

JP2017219984A - Image retrieval system, image dictionary creation system, image processing system and program

Info

Publication number: JP2017219984A
Application number: JP2016113226A
Authority: JP
Inventors: 浩澤村; Hiroshi Sawamura; 英世宇田; Hideyo Uda
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2016-06-07
Filing date: 2016-06-07
Publication date: 2017-12-14
Anticipated expiration: 2036-06-07
Also published as: JP6736988B2

Abstract

PROBLEM TO BE SOLVED: To provide an image retrieval system, an image dictionary creation system, an image processing system and a program that can highly accurately retrieve an image similar to an image of a retrieval object.SOLUTION: An image processing system 100 comprises: an image characteristic-amount DB 23 that stores an amount of characteristic of a reference image; and a portable information terminal 4. The portable information terminal 4 comprises: an image conversion unit 42 that creates a color component of a retrieval image; a luminance characteristic-amount calculation unit 44 that calculates an amount of luminance characteristic from the created color component; a hue characteristic-amount calculation unit 47 that calculates an amount of hue characteristic from the created color component; a luminance characteristic-amount comparison unit 45 that calculates a similarity level between the amount of luminance characteristic of the retrieval image and the amount of luminance characteristic of each reference image stored in the image characteristic-amount DB 23; a hue characteristic-amount comparison unit 48 that calculates a similarity level between the amount of hue characteristic of the retrieval image and the amount of hue characteristic of each reference image stored in the image characteristic-amount DB 23; and an image determination unit 49 that determines the reference image high in both similarity levels.SELECTED DRAWING: Figure 1

Description

本発明は、画像検索システム、画像辞書生成システム、画像処理システム及びプログラムに関する。 The present invention relates to an image search system, an image dictionary generation system, an image processing system, and a program.

従来、例えば、スマートフォンに代表される携帯情報端末を用いたユーザによる購買活動において、撮影画像に類似した画像を抽出して利用することが行われている。具体的には、ユーザが店頭において実物の商品を撮影し、又はカタログの商品写真を撮影することで、その商品の情報（商品名、品番、価格、仕様等）を、その場で表示する処理を行うものがある。ユーザは、画面に出力された情報を参照して、その商品購入の判断に利用することができる。
しかし、画像検索の精度が悪いために正しい商品が検出されなかったり、検索に時間がかかったり、色違いの商品を検出したり、というような、様々な不具合が生じている。 Conventionally, for example, in a purchasing activity by a user using a portable information terminal typified by a smartphone, an image similar to a photographed image is extracted and used. Specifically, the process of displaying the product information (product name, product number, price, specifications, etc.) on the spot by shooting the actual product at the store or taking the product photo of the catalog. There is something to do. The user can refer to the information output on the screen and use it to determine the purchase of the product.
However, various inconveniences such as the fact that the correct product is not detected due to poor image search, the search takes time, and the product of different colors is detected.

上述の処理を行うための画像検索方法として、例えば、１つの検索元の画像に対して、複数の画像を比較し、その類似度を測る手法を用いることができる。例えば、画像に関係するキーワードによる検索方法や、画像内容に基づく検索技術（以下、ＣＢＩＲ（ＣｏｎｔｅｎｔＢａｓｅｄＩｍａｇｅＲｅｔｒｉｅｖａｌ）技術という。）が用いられる。
ここで、従来のＣＢＩＲ技術の代表的な技術としては、画像が持つカラー情報を元にしてカラーヒストグラムを比較する方法（例えば、特許文献１〜３参照）や、画像の持つグレースケール情報を元にした局所特徴量を比較する方法（ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、ＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）、ＦＡＳＴ（ＦｅａｔｕｒｅｓｆｒｏｍＡｃｃｅｌｅｒａｔｅｄＳｅｇｍｅｎｔＴｅｓｔ）等）がある。 As an image search method for performing the above-described processing, for example, a method of comparing a plurality of images with respect to one search source image and measuring the similarity thereof can be used. For example, a search method using a keyword related to an image or a search technology based on image content (hereinafter referred to as CBIR (Content Based Image Retrieval) technology) is used.
Here, as a typical technique of the conventional CBIR technique, a method of comparing color histograms based on color information possessed by an image (see, for example, Patent Documents 1 to 3), or grayscale information possessed by an image There are methods for comparing local feature quantities (such as SIFT (Scale-Invariant Feature Transform), SURF (Speeded Up Robust Features), FAST (Features From Accelerated Segment Test)).

特開平７−０７３１９５号公報Japanese Patent Laid-Open No. 7-073195 特開２０００−０９０２３９号公報JP 2000-090239 A 特開２００３−３３７９４５号公報JP 2003-337945 A

特許文献１〜３に記載されているカラーヒストグラムを用いた手法は、明るさの変化や画像内に表現された物体（被写体）の位置ズレや背景の違い等、いわゆるロバスト性に弱い。また、色分布さえ似ていれば類似していると誤検出してしまうという欠点がある。
他方、局所特徴量を用いた手法は、ロバスト性には強いが、カラーヒストグラム手法に比べて、計算量が非常に多くなり、検索時に一般的に時間を要する。また、色違いの画像を区別することが難しい。 The methods using color histograms described in Patent Documents 1 to 3 are weak in so-called robustness such as a change in brightness, a positional shift of an object (subject) expressed in an image, a difference in background, and the like. In addition, there is a drawback that if the color distribution is similar, it is erroneously detected as similar.
On the other hand, the method using the local feature amount is strong in robustness, but the calculation amount is very large compared with the color histogram method, and it generally takes time for the search. In addition, it is difficult to distinguish images of different colors.

そこで、本発明は、検索対象の画像に類似する画像を精度よく検索することができる画像検索システム、画像辞書生成システム、画像処理システム及びプログラムを提供することを目的とする。 Accordingly, an object of the present invention is to provide an image search system, an image dictionary generation system, an image processing system, and a program that can accurately search for an image similar to an image to be searched.

本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、検索対象の画像である検索画像に類似する基準画像に紐づけられた情報を出力する画像検索システムであって、検索画像の色成分を生成する色成分生成手段と、生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、基準画像と、前記基準画像の前記明度特徴量と、前記基準画像の前記色相特徴量とを対応付けた基準画像情報を複数記憶した画像データベースと、前記検索画像の前記明度特徴量と、前記画像データベースに記憶された複数の前記基準画像情報に含まれる各基準画像の前記明度特徴量との類似度を算出する明度類似度算出手段と、前記検索画像の前記色相特徴量と、前記画像データベースに記憶された複数の前記基準画像情報に含まれる各基準画像の前記色相特徴量との類似度を算出する色相類似度算出手段と、前記明度類似度算出手段により算出された類似度と、前記色相類似度算出手段により算出された類似度とに基づき、両方の類似度の高い基準画像を特定する類似画像特定手段と、を備えること、を特徴とする画像検索システムである。
第２の発明は、第１の発明の画像検索システムにおいて、前記明度類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を絞り込む明度絞込み手段を備え、前記色相類似度算出手段は、前記検索画像の前記色相特徴量と、前記明度絞込み手段により絞り込み後の各基準画像の前記色相特徴量との類似度を算出し、前記類似画像特定手段は、前記色相類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を特定すること、を特徴とする画像検索システムである。
第３の発明は、第２の発明の画像検索システムにおいて、前記明度絞込み手段により絞り込み後の各基準画像を出力する明度類似画像出力手段を備えること、を特徴とする画像検索システムである。
第４の発明は、第１の発明から第３の発明までのいずれかの画像検索システムにおいて、前記類似画像特定手段により特定された前記基準画像を出力する類似画像出力手段を備えること、を特徴とする画像検索システムである。
第５の発明は、第１の発明から第４の発明までのいずれかの画像検索システムにおいて、前記画像データベースは、前記基準画像に関する情報を、前記基準画像に対応付けて記憶しており、前記類似画像特定手段により特定された前記基準画像に対応する前記基準画像に関する情報を前記画像データベースから抽出して出力する情報出力手段を備えること、を特徴とする画像検索システムである。
第６の発明は、第１の発明から第５の発明までのいずれかの画像検索システムにおいて、前記色成分生成手段は、前記検索画像にＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）変換をすることで、ＨＳＶ表色系による色成分を生成すること、を特徴とする画像検索システムである。
第７の発明は、第１の発明から第６の発明までのいずれかの画像検索システムにおいて、画像処理装置と、出力装置とにより構成され、前記画像処理装置は、前記色成分生成手段、前記明度特徴量算出手段、前記色相特徴量算出手段、前記画像データベース、前記明度類似度算出手段、前記色相類似度算出手段及び前記類似画像特定手段のうち少なくともいずれかを備え、前記出力装置は、前記基準画像及び必要に応じて前記基準画像に関する情報を出力する出力手段を少なくとも備えること、を特徴とする画像検索システムである。
第８の発明は、画像検索で使用する複数の基準画像に関する画像データベースを生成する画像辞書生成システムであって、基準画像の色成分を生成する色成分生成手段と、生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、前記基準画像と、前記明度特徴量と、前記色相特徴量とを対応付けて前記画像データベースに記憶させる記憶制御手段と、を備えること、を特徴とする画像辞書生成システムである。
第９の発明は、第８の発明の画像辞書生成システムにおいて、前記色成分生成手段は、前記基準画像にＨＳＶ変換をすることで、ＨＳＶ表色系による色成分を生成すること、を特徴とする画像辞書生成システムである。
第１０の発明は、第１の発明から第７の発明までのいずれかの画像検索システムと、第８の発明又は第９の発明の画像辞書生成システムと、を備える画像処理システムである。
第１１の発明は、第１の発明から第７の発明までのいずれかの画像検索システムとしてコンピュータを機能させるための画像検索プログラムである。
第１２の発明は、第８の発明又は第９の発明の画像辞書生成システムとしてコンピュータを機能させるための画像辞書生成プログラムである。 The present invention solves the above problems by the following means.
A first invention is an image search system that outputs information associated with a reference image similar to a search image that is an image to be searched, a color component generation unit that generates a color component of the search image, and a generation A lightness feature amount calculating unit that calculates a lightness feature amount that is a feature amount of a lightness component from the color component that has been generated, and a hue feature amount calculation that calculates a hue feature amount that is a feature amount of a hue component from the generated color component Means, a reference image, an image database storing a plurality of reference image information in which the brightness feature value of the reference image and the hue feature value of the reference image are associated, and the brightness feature value of the search image A brightness similarity calculating means for calculating a similarity with the brightness feature amount of each reference image included in the plurality of reference image information stored in the image database, the hue feature amount of the search image, A hue similarity calculating unit that calculates a similarity with the hue feature amount of each reference image included in a plurality of reference image information stored in an image database; and a similarity calculated by the lightness similarity calculating unit An image search system comprising: similar image specifying means for specifying a reference image having both high similarities based on the similarity calculated by the hue similarity calculating means.
According to a second aspect of the present invention, in the image search system of the first aspect of the present invention, the color similarity calculation includes the lightness narrowing-down means for narrowing down a reference image having a high similarity based on the similarity calculated by the lightness similarity calculation means. The means calculates the similarity between the hue feature amount of the search image and the hue feature amount of each reference image after being narrowed down by the lightness narrowing means, and the similar image specifying means is the hue similarity degree calculating means This is an image search system characterized by specifying a reference image having a high similarity based on the similarity calculated by the above.
A third invention is an image search system according to the image search system of the second invention, further comprising lightness-similar image output means for outputting each reference image after being narrowed down by the lightness narrowing means.
According to a fourth invention, in the image search system according to any one of the first invention to the third invention, the image search system further includes a similar image output means for outputting the reference image specified by the similar image specifying means. Image search system.
A fifth invention is the image search system according to any one of the first invention to the fourth invention, wherein the image database stores information relating to the reference image in association with the reference image, An image search system comprising: information output means for extracting and outputting information on the reference image corresponding to the reference image specified by the similar image specifying means from the image database.
According to a sixth invention, in any one of the image search systems from the first invention to the fifth invention, the color component generation means performs HSV (Hue, Saturation, Value) conversion on the search image, An image search system characterized by generating a color component by an HSV color system.
A seventh invention is the image search system according to any one of the first invention to the sixth invention, comprising an image processing device and an output device, wherein the image processing device comprises the color component generation means, At least one of brightness feature amount calculating means, the hue feature amount calculating means, the image database, the brightness similarity calculating means, the hue similarity calculating means, and the similar image specifying means, and the output device includes the output device, An image search system comprising at least output means for outputting a reference image and information on the reference image as necessary.
An eighth invention is an image dictionary generation system that generates an image database related to a plurality of reference images used in image search, and includes color component generation means for generating color components of a reference image, and the generated color components. A brightness feature amount calculating unit that calculates a brightness feature amount that is a feature amount of a brightness component; a hue feature amount calculating unit that calculates a hue feature amount that is a feature amount of a hue component from the generated color component; and the reference image And a storage control means for storing the brightness feature quantity and the hue feature quantity in association with each other in the image database.
A ninth invention is characterized in that, in the image dictionary generating system according to the eighth invention, the color component generating means generates a color component by the HSV color system by performing HSV conversion on the reference image. This is an image dictionary generation system.
A tenth aspect of the invention is an image processing system including any one of the first to seventh aspects of the image search system and the eighth or ninth aspect of the image dictionary generation system.
An eleventh invention is an image search program for causing a computer to function as any one of the image search systems from the first invention to the seventh invention.
A twelfth invention is an image dictionary generation program for causing a computer to function as the image dictionary generation system of the eighth invention or the ninth invention.

本発明によれば、検索対象の画像に類似する画像を精度よく検索することができる画像検索システム、画像辞書生成システム、画像処理システム及びプログラムを提供することができる。 According to the present invention, it is possible to provide an image search system, an image dictionary generation system, an image processing system, and a program that can accurately search for an image similar to an image to be searched.

本実施形態に係る画像処理システムの機能ブロック図である。It is a functional block diagram of the image processing system concerning this embodiment. 本実施形態に係る画像辞書生成サーバの記憶部の例を示す図である。It is a figure which shows the example of the memory | storage part of the image dictionary production | generation server which concerns on this embodiment. 本実施形態に係る画像辞書生成サーバでの基準画像特徴量算出処理を示すフローチャートである。It is a flowchart which shows the reference | standard image feature-value calculation process in the image dictionary production | generation server which concerns on this embodiment. 本実施形態に係る携帯情報端末での画像検索処理を示すフローチャートである。It is a flowchart which shows the image search process in the portable information terminal which concerns on this embodiment. 本実施形態に係る携帯情報端末での画像検索処理を示すフローチャートである。It is a flowchart which shows the image search process in the portable information terminal which concerns on this embodiment.

以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜画像処理システム１００＞
図１は、本実施形態に係る画像処理システム１００の機能ブロック図である。
図２は、本実施形態に係る画像辞書生成サーバ１の記憶部２０の例を示す図である。
図１に示す画像処理システム１００は、画像辞書生成サーバ１と、携帯情報端末４とを備え、各々が通信ネットワークＮを介して接続されている。そして、画像処理システム１００は、画像辞書生成サーバ１が、複数の画像に関する特徴を記憶したＤＢ（データベース）を生成し、携帯情報端末４が、生成されたＤＢを使用して、検索対象の画像に類似する画像を特定するシステムである。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. This is merely an example, and the technical scope of the present invention is not limited to this.
(Embodiment)
<Image processing system 100>
FIG. 1 is a functional block diagram of an image processing system 100 according to the present embodiment.
FIG. 2 is a diagram illustrating an example of the storage unit 20 of the image dictionary generation server 1 according to the present embodiment.
An image processing system 100 shown in FIG. 1 includes an image dictionary generation server 1 and a portable information terminal 4, and each is connected via a communication network N. Then, in the image processing system 100, the image dictionary generation server 1 generates a DB (database) in which features relating to a plurality of images are stored, and the portable information terminal 4 uses the generated DB to search for an image to be searched. This is a system for identifying an image similar to.

＜画像辞書生成サーバ１＞
画像辞書生成サーバ１は、例えば、画像の検索サービスを行う企業が有するサーバである。
画像辞書生成サーバ１は、複数の画像について、各画像を分析してその特徴量を算出し、画像と、算出した特徴量とを対応付けた画像特徴量ＤＢ２３を生成する。以下、画像辞書生成サーバ１で処理をする画像を、基準画像という。
なお、基準画像は、例えば、インターネット上に公開されている画像であってもよいし、画像の検索サービスを行う企業が有する画像であってもよい。また、基準画像は、例えば、画像の検索サービスを行う企業に依頼する依頼主が有する画像であってもよい。 <Image dictionary generation server 1>
The image dictionary generation server 1 is, for example, a server owned by a company that provides an image search service.
The image dictionary generation server 1 analyzes each image of a plurality of images, calculates the feature amount, and generates an image feature amount DB 23 that associates the image with the calculated feature amount. Hereinafter, an image processed by the image dictionary generation server 1 is referred to as a reference image.
Note that the reference image may be, for example, an image published on the Internet or an image possessed by a company that provides an image search service. Further, the reference image may be, for example, an image possessed by a client who requests a company that provides an image search service.

画像辞書生成サーバ１は、制御部１０と、記憶部２０と、通信インタフェース部２９とを備える。
制御部１０は、画像辞書生成サーバ１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。 The image dictionary generation server 1 includes a control unit 10, a storage unit 20, and a communication interface unit 29.
The control unit 10 is a central processing unit (CPU) that controls the entire image dictionary generation server 1. The controller 10 executes various functions in cooperation with the hardware described above by appropriately reading and executing an operating system (OS) and application programs stored in the storage unit 20.

制御部１０は、画像変換部１２（色成分生成手段）と、色成分分離部１３と、明度特徴量算出部１４（明度特徴量算出手段）と、色相特徴量算出部１７（色相特徴量算出手段）と、記憶制御部１９（記憶制御手段）とを備える。
画像変換部１２は、基準画像に対してＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）変換をして、ＨＳＶ表色系の基準画像を生成する。
色成分分離部１３は、画像変換部１２による変換後の基準画像から各色成分に分離する。この処理により、変換後の基準画像から色相成分データ（Ｈ）、彩度成分データ（Ｓ）、明度成分データ（Ｖ）の３つの色成分のデータが生成される。
明度特徴量算出部１４は、色成分分離部１３により生成された明度成分データ（Ｖ）から、その明度成分データ（Ｖ）の特徴量である明度特徴量を算出する。
色相特徴量算出部１７は、色成分分離部１３により生成された色相成分データ（Ｈ）から、その色相成分データ（Ｈ）の特徴量である色相特徴量を算出する。
記憶制御部１９は、算出した明度特徴量と、色相特徴量とを画像特徴量ＤＢ２３に記憶させる。
なお、各処理の詳細については、後述する。 The control unit 10 includes an image conversion unit 12 (color component generation unit), a color component separation unit 13, a lightness feature amount calculation unit 14 (lightness feature amount calculation unit), and a hue feature amount calculation unit 17 (hue feature amount calculation). Means) and a storage control unit 19 (storage control means).
The image conversion unit 12 performs HSV (Hue, Saturation, Value) conversion on the reference image to generate an HSV color system reference image.
The color component separation unit 13 separates each color component from the reference image converted by the image conversion unit 12. With this process, data of three color components, hue component data (H), saturation component data (S), and lightness component data (V), is generated from the converted reference image.
The brightness feature amount calculation unit 14 calculates a brightness feature amount that is a feature amount of the brightness component data (V) from the brightness component data (V) generated by the color component separation unit 13.
The hue feature amount calculation unit 17 calculates a hue feature amount that is a feature amount of the hue component data (H) from the hue component data (H) generated by the color component separation unit 13.
The storage control unit 19 stores the calculated brightness feature amount and hue feature amount in the image feature amount DB 23.
Details of each process will be described later.

記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部２０は、プログラム記憶部２１と、画像ＤＢ２２と、画像特徴量ＤＢ２３とを備える。
プログラム記憶部２１は、各種プログラムを記憶する記憶領域である。プログラム記憶部２１は、辞書生成プログラム２１ａ（画像辞書生成プログラム）を記憶している。辞書生成プログラム２１ａは、画像辞書生成サーバ１の制御部１０が実行する各種機能を行うためのプログラムである。 The storage unit 20 is a storage area such as a hard disk or a semiconductor memory element for storing programs, data, and the like necessary for the control unit 10 to execute various processes.
The storage unit 20 includes a program storage unit 21, an image DB 22, and an image feature amount DB 23.
The program storage unit 21 is a storage area for storing various programs. The program storage unit 21 stores a dictionary generation program 21a (image dictionary generation program). The dictionary generation program 21a is a program for performing various functions executed by the control unit 10 of the image dictionary generation server 1.

画像ＤＢ２２は、基準画像の画像辞書データベースである。図２（Ａ）に示すように、画像ＤＢ２２は、画像ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）と、画像関連データと、済フラグとを対応付けて記憶する。画像ＩＤは、基準画像を特定する識別情報である。画像関連データは、基準画像に関する情報であり、例えば、画像が商品を撮影したものである場合に、その商品名や商品のスペック等を示す情報である。済フラグは、基準画像に対する特徴量の算出処理を行ったか否かを表す。基準画像の画像データは、例えば、ＲＧＢ色空間やＣＭＹＫ色空間で表されたデータとして記憶されている。画像ＤＢ２２に基準画像を登録したときには、済フラグは、初期値として０が設定される。そして、制御部１０が基準画像に対する特徴量の算出処理を行った場合には、済フラグに１が設定される。画像ＤＢ２２には、複数の基準画像が記憶されている。 The image DB 22 is an image dictionary database of reference images. As shown in FIG. 2A, the image DB 22 stores an image ID (IDentification), image-related data, and a completed flag in association with each other. The image ID is identification information that identifies the reference image. The image-related data is information related to the reference image. For example, when the image is a photograph of a product, the image-related data is information indicating the product name, product specifications, and the like. The completed flag indicates whether or not a feature amount calculation process for the reference image has been performed. The image data of the reference image is stored as data expressed in, for example, an RGB color space or a CMYK color space. When the reference image is registered in the image DB 22, the completed flag is set to 0 as an initial value. When the control unit 10 performs a feature amount calculation process on the reference image, 1 is set in the completed flag. The image DB 22 stores a plurality of reference images.

画像特徴量ＤＢ２３は、画像辞書生成サーバ１の制御部１０による処理結果として算出した基準画像の特徴量を記憶するデータベースである。図２（Ｂ）に示すように、画像特徴量ＤＢ２３は、画像ＩＤと、明度特徴量と、色相特徴量とを対応付けて記憶する。
通信インタフェース部２９は、通信ネットワークを介して携帯情報端末４との通信を行うためのインタフェース部である。 The image feature amount DB 23 is a database that stores the feature amount of the reference image calculated as a processing result by the control unit 10 of the image dictionary generation server 1. As shown in FIG. 2B, the image feature DB 23 stores an image ID, a brightness feature, and a hue feature in association with each other.
The communication interface unit 29 is an interface unit for performing communication with the portable information terminal 4 via a communication network.

＜携帯情報端末４＞
携帯情報端末４は、例えば、スマートフォンに代表されるコンピュータの機能を併せ持った携帯型の装置である。携帯情報端末４は、その他、タブレット端末等でもよいし、パーソナルコンピュータ（ＰＣ）等であってもよい。
携帯情報端末４は、制御部４０と、記憶部６０と、カメラ部６５と、タッチパネルディスプレイ６７と、通信インタフェース部６９とを備える。
制御部４０は、携帯情報端末４の全体を制御するＣＰＵである。制御部４０は、記憶部６０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。 <Portable information terminal 4>
The portable information terminal 4 is, for example, a portable device having a computer function represented by a smartphone. In addition, the portable information terminal 4 may be a tablet terminal or a personal computer (PC).
The portable information terminal 4 includes a control unit 40, a storage unit 60, a camera unit 65, a touch panel display 67, and a communication interface unit 69.
The control unit 40 is a CPU that controls the entire portable information terminal 4. The control unit 40 executes various functions in cooperation with the hardware described above by appropriately reading and executing the OS and application programs stored in the storage unit 60.

制御部４０は、画像取得部４１と、画像変換部４２（色成分生成手段）と、色成分分離部４３と、明度特徴量算出部４４（明度特徴量算出手段）と、明度特徴量比較部４５（明度類似度算出手段）と、画像絞込部４６（明度絞込み手段）と、色相特徴量算出部４７（色相特徴量算出手段）と、色相特徴量比較部４８（色相類似度算出手段）と、画像特定部４９（類似画像特定手段）と、結果出力部５０（明度類似画像出力手段、類似画像出力手段、情報出力手段、出力手段）とを備える。
画像取得部４１は、例えば、カメラ部６５を介して画像を取得する。ここで取得した画像を、以下において検索画像という。
画像変換部４２は、検索画像に対してＨＳＶ変換をして、ＨＳＶ表色系の検索画像を生成する。
色成分分離部４３は、画像変換部４２による変換後の検索画像から各色成分データに分離する。この処理により、変換後の検索画像から色相成分データ（Ｈ）、彩度成分データ（Ｓ）、明度成分データ（Ｖ）の３つの色成分のデータが生成される。 The control unit 40 includes an image acquisition unit 41, an image conversion unit 42 (color component generation unit), a color component separation unit 43, a brightness feature amount calculation unit 44 (brightness feature amount calculation unit), and a brightness feature amount comparison unit. 45 (lightness similarity calculation means), image narrowing section 46 (lightness narrowing means), hue feature quantity calculation section 47 (hue feature quantity calculation means), and hue feature quantity comparison section 48 (hue similarity calculation means) And an image specifying unit 49 (similar image specifying unit) and a result output unit 50 (lightness similar image output unit, similar image output unit, information output unit, output unit).
The image acquisition unit 41 acquires an image via the camera unit 65, for example. The image acquired here is hereinafter referred to as a search image.
The image conversion unit 42 performs HSV conversion on the search image to generate an HSV color system search image.
The color component separation unit 43 separates the search image after the conversion by the image conversion unit 42 into each color component data. With this process, data of three color components, hue component data (H), saturation component data (S), and lightness component data (V), is generated from the converted search image.

明度特徴量算出部４４は、色成分分離部４３により生成された明度成分データ（Ｖ）から明度特徴量を算出する。
明度特徴量比較部４５は、画像特徴量ＤＢ２３に記憶された各基準画像の明度特徴量と、明度特徴量算出部４４が算出した明度特徴量とを比較する。
画像絞込部４６は、明度特徴量比較部４５による比較の結果、類似度が一定値以上の基準画像に絞り込む。
色相特徴量算出部４７は、色成分分離部４３により生成された色相成分データ（Ｈ）から色相特徴量を算出する。
色相特徴量比較部４８は、画像特徴量ＤＢ２３に記憶された各基準画像のうち、絞り込まれた各基準画像の色相特徴量と、色相特徴量算出部４７が算出した色相特徴量とを比較する。
画像特定部４９は、色相特徴量比較部４８による比較の結果、類似度が一定値以上の基準画像を特定する。
結果出力部５０は、特定した基準画像と、その基準画像の画像関連データとを、タッチパネルディスプレイ６７に出力する。
なお、各処理の詳細については、後述する。 The lightness feature amount calculation unit 44 calculates a lightness feature amount from the lightness component data (V) generated by the color component separation unit 43.
The lightness feature value comparison unit 45 compares the lightness feature value of each reference image stored in the image feature value DB 23 with the lightness feature value calculated by the lightness feature value calculation unit 44.
As a result of the comparison by the lightness feature quantity comparison unit 45, the image narrowing unit 46 narrows down to a reference image whose similarity is a certain value or more.
The hue feature amount calculation unit 47 calculates a hue feature amount from the hue component data (H) generated by the color component separation unit 43.
The hue feature value comparison unit 48 compares the hue feature value of each narrowed-down reference image among the reference images stored in the image feature value DB 23 and the hue feature value calculated by the hue feature value calculation unit 47. .
As a result of the comparison by the hue feature amount comparison unit 48, the image specifying unit 49 specifies a reference image having a similarity equal to or greater than a certain value.
The result output unit 50 outputs the identified reference image and the image-related data of the reference image to the touch panel display 67.
Details of each process will be described later.

記憶部６０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部６０は、プログラム記憶部６１を備える。
プログラム記憶部６１は、各種プログラムを記憶する記憶領域である。プログラム記憶部６１は、画像検索プログラム６１ａを記憶している。画像検索プログラム６１ａは、携帯情報端末４の制御部４０が実行する各種機能を行うためのプログラムである。画像検索プログラム６１ａは、予め携帯情報端末４にインストールされているものとする。 The storage unit 60 is a storage area such as a semiconductor memory element for storing programs, data, and the like necessary for the control unit 40 to execute various processes.
The storage unit 60 includes a program storage unit 61.
The program storage unit 61 is a storage area for storing various programs. The program storage unit 61 stores an image search program 61a. The image search program 61 a is a program for performing various functions executed by the control unit 40 of the portable information terminal 4. It is assumed that the image search program 61a is installed in the portable information terminal 4 in advance.

カメラ部６５は、撮影装置である。カメラ部６５は、例えば、被写体の画像データを取得する。
タッチパネルディスプレイ６７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部６９は、通信ネットワークを介して画像辞書生成サーバ１との通信を行うためのインタフェース部である。 The camera unit 65 is a photographing device. For example, the camera unit 65 acquires image data of a subject.
The touch panel display 67 has a function as a display unit configured by a liquid crystal panel or the like and a function as an input unit that detects a touch input by a finger or the like from a user.
The communication interface unit 69 is an interface unit for performing communication with the image dictionary generation server 1 via a communication network.

＜画像辞書生成サーバ１の処理＞
次に、画像辞書生成サーバ１の処理について説明する。
図３は、本実施形態に係る画像辞書生成サーバ１での基準画像特徴量算出処理を示すフローチャートである。
以下に示す基準画像特徴量算出処理は、例えば、画像ＤＢ２２に基準画像が新たに登録されたタイミング等の適宜のタイミングで行われる。
ステップＳ（以下、「Ｓ」という。）１０において、画像辞書生成サーバ１の制御部１０は、画像ＤＢ２２から未処理の基準画像を１つ抽出する。ここで、制御部１０は、画像ＤＢ２２を参照し、済フラグが０である基準画像の画像データを、未処理の基準画像であるとして抽出する。 <Processing of Image Dictionary Generation Server 1>
Next, processing of the image dictionary generation server 1 will be described.
FIG. 3 is a flowchart showing reference image feature amount calculation processing in the image dictionary generation server 1 according to the present embodiment.
The reference image feature amount calculation process described below is performed at an appropriate timing such as a timing at which a reference image is newly registered in the image DB 22, for example.
In step S (hereinafter referred to as “S”) 10, the control unit 10 of the image dictionary generation server 1 extracts one unprocessed reference image from the image DB 22. Here, the control unit 10 refers to the image DB 22 and extracts the image data of the reference image whose completed flag is 0 as an unprocessed reference image.

Ｓ１１において、制御部１０（画像変換部１２）は、画像変換処理を行う。基準画像の画像データは、上述したように、一般的に、ＲＧＢ表色系のデータや、ＣＭＹＫ表色系のデータである場合が多い。そこで、制御部１０は、画像変換処理により、基準画像の画像データをＨＳＶ表色系の画像データにする。なお、基準画像の画像データがＨＳＶ表色系のデータである場合には、本処理を行わなくてよい。 In S11, the control unit 10 (image conversion unit 12) performs an image conversion process. As described above, generally, the image data of the reference image is often RGB color data or CMYK color data. Therefore, the control unit 10 converts the image data of the reference image into HSV color system image data by image conversion processing. If the image data of the reference image is HSV color system data, this processing need not be performed.

ＲＧＢ表色系のデータを、ＨＳＶ表色系のデータに変換する具体的な処理としては、例えば、以下のような方法がある。
前提として、ＲＧＢ値は、各々０から２５５までの値を取る。
まず、ＲＧＢの３つの値から最大値と最小値を求める。

Specific processing for converting RGB color system data into HSV color system data includes, for example, the following methods.
As a premise, RGB values take values from 0 to 255, respectively.
First, the maximum value and the minimum value are obtained from the three values of RGB.

次に、各成分データの値を算出する。
まず、色相成分データ（Ｈ）は、以下の式により算出する（なお、Ｈは、０から３６０までの値を返す。）

ここで、上から２番目に示す式は、負の値になるのを回避するために、３６０を加算し、その剰余を求める式になっている。 Next, the value of each component data is calculated.
First, the hue component data (H) is calculated by the following formula (note that H returns a value from 0 to 360).

Here, the expression shown second from the top is an expression for adding 360 to avoid the negative value and obtaining the remainder.

次に、彩度成分データ（Ｓ）は、以下の式により算出する（なお、Ｓは、０から２５５までの値を返す。）

Next, the saturation component data (S) is calculated by the following formula (note that S returns a value from 0 to 255).

最後に、明度成分データ（Ｖ）は、ＲＧＢ値の最大値とする（なお、Ｖは、０から２５５までの値を返す。）

制御部１０が上述した処理を行うことによって、基準画像の画像データをＨＳＶ表色系の基準画像に変換することができる。 Finally, the brightness component data (V) is the maximum RGB value (V returns a value from 0 to 255).

When the control unit 10 performs the above-described processing, the image data of the reference image can be converted into an HSV color system reference image.

Ｓ１２において、制御部１０（色成分分離部１３）は、ＨＳＶ表色系の基準画像の画像データから、明度成分データ（Ｖ）と、色相成分データ（Ｈ）との２つのデータを別々に抽出する。そして、制御部１０は、明度成分データ（Ｖ）と色相成分データ（Ｈ）をそれぞれ２５６階調の画像データに変換する。例えば、明度成分データ（Ｖ）が０〜２５５の値であるならば、それを２５６階調の画像データとし、色相成分データ（Ｈ）が０〜３６０の値であるならば、０〜２５５の値に変換して、２５６階調の画像データを作成する。制御部１０は、それぞれの画像データを作成し、以降の処理を行う。
Ｓ１３において、制御部１０（明度特徴量算出部１４、色相特徴量算出部１７）は、明度成分データ（Ｖ）と、色相成分データ（Ｈ）とを用いて、明度特徴量と、色相特徴量とを算出する。 In S12, the control unit 10 (color component separation unit 13) separately extracts two pieces of data, brightness component data (V) and hue component data (H), from the image data of the HSV color system reference image. To do. Then, the control unit 10 converts the lightness component data (V) and the hue component data (H) into image data of 256 gradations, respectively. For example, if the lightness component data (V) is a value from 0 to 255, it is converted to image data of 256 gradations, and if the hue component data (H) is a value from 0 to 360, it is from 0 to 255. The data is converted into a value, and image data of 256 gradations is created. The control unit 10 creates each image data and performs the subsequent processing.
In S <b> 13, the control unit 10 (lightness feature amount calculation unit 14, hue feature amount calculation unit 17) uses the lightness component data (V) and the hue component data (H), and uses the lightness feature amount and the hue feature amount. And calculate.

ここで、以下、明度特徴量の具体的な算出方法について説明する。なお、色相特徴量の算出については、明度成分データ（Ｖ）に代えて色相成分データ（Ｈ）を用いること以外は、明度特徴量の算出と同様である。
まず、制御部１０は、明度成分データ（Ｖ）を元にした２５６階調の画像データから特徴点の検出を行う。特徴点の検出方法としては、特に方法を特定しないが、例えば、従来から類似画像検索によく用いられており、環境光影響や回転及び拡縮等のロバスト性に強いＤＯＧ（ＤｉｆｆｅｒｅｎｃｅＯｆＧａｕｓｓｉａｎ）を利用したＳＩＦＴや、近似Ｈｅｓｓｉａｎ−Ｌａｐｌａｃｅを利用したＳＵＲＦ、決定木を利用したＦＡＳＴといった局所特徴量技術を用いることができる。
例えば、ＳＩＦＴによる特徴点の検出では、制御部１０は、２５６階調の画像データからエッジ部分（周囲と濃淡差が大きいエリア）を抽出する。次に、制御部１０は、画像を特徴付ける情報として、この抽出されたエッジの一部を特徴点（局所特徴量）として演算及び定義する。 Here, a specific method for calculating the brightness feature amount will be described below. The calculation of the hue feature value is the same as the calculation of the brightness feature value except that the hue component data (H) is used instead of the brightness component data (V).
First, the control unit 10 detects feature points from image data of 256 gradations based on lightness component data (V). As a feature point detection method, a method is not particularly specified, but for example, DOG (Difference Of Gaussian), which has been frequently used for similar image search and has strong robustness such as environmental light influence, rotation, and enlargement / reduction, is used. Local feature techniques such as SIFT, SURF using approximate Hessian-Laplace, and FAST using a decision tree can be used.
For example, in the detection of feature points by SIFT, the control unit 10 extracts an edge portion (an area having a large density difference from the surroundings) from 256-gradation image data. Next, the control unit 10 calculates and defines a part of the extracted edge as a feature point (local feature amount) as information characterizing the image.

次に、制御部１０は、検出した特徴点について、特徴量として定量化を行う。検出した特徴点の定量化方法としては、特に方法を特定しないが、ＳＩＦＴの他、例えば、輝度勾配方向ヒストグラムを利用したＦＡＳＴや、積分画像の輝度勾配を利用したＳＵＲＦ、２点間の輝度差をバイナリ化したＢＲＩＥＦ（ＢｉｎａｒｙＲｏｂｕｓｔＩｎｄｅｐｅｎｄｅｎｔＥｌｅｍｅｎｔａｒｙＦｅａｔｕｒｅｓ）、さらにこの改良であるＯＲＢ（ＯｒｉｅｎｔｅｄＦＡＳＴａｎｄＲｏｔａｔｅｄＢＲＩＥＦ）やＢＲＩＳＫ（ＢｉｎａｒｙＲｏｂｕｓｔＩｎｖａｒｉａｎｔＳｃａｌａｂｌｅＫｅｙｐｏｉｎｔｓ）といった局所特徴量技術を用いることができる。
なお、ＳＩＦＴ、ＳＵＲＦ等は、画像処理ライブラリであるＯｐｅｎＣＶにて提供される。
例えば、ＳＩＦＴによる特徴量の定量化では、制御部１０は、演算処理の負荷軽減や高速化のため、特徴点を削除することで特徴点数を減らす。次に、制御部１０は、各特徴点の向きを算出する。ここで、向きとは、特徴点の周囲画素との輝度変化が最も大きな方向である。そして、制御部１０は、各特徴点の周囲の１６分割ブロックについて、８方向輝度変化を算出して、１２８次元（４×４×８）の特徴量とし、さらに、特徴量の大きさを１に正規化する。 Next, the control unit 10 quantifies the detected feature points as feature amounts. The method for quantifying the detected feature points is not particularly specified. However, in addition to SIFT, for example, FAST using a luminance gradient direction histogram, SURF using a luminance gradient of an integral image, and a luminance difference between two points. Binary BRIEF (Binary Robust Independent Feature), and further improvements such as ORB (Oriented FAST and Rotated BREF) and BRISK (Binary Robust Invariant Scalable Features).
SIFT, SURF, etc. are provided by OpenCV which is an image processing library.
For example, in quantifying the feature amount by SIFT, the control unit 10 reduces the number of feature points by deleting feature points in order to reduce the load and speed up of the arithmetic processing. Next, the control unit 10 calculates the direction of each feature point. Here, the direction is the direction in which the luminance change with the surrounding pixels of the feature point is the largest. Then, the control unit 10 calculates the 8-direction luminance change for 16 divided blocks around each feature point to obtain a 128-dimensional (4 × 4 × 8) feature amount, and further sets the feature amount to 1 Normalize to

Ｓ１４において、制御部１０（記憶制御部１９）は、Ｓ１３で算出した明度特徴量と、色相特徴量とを、基準画像の画像ＩＤに対応付けて画像特徴量ＤＢ２３に記憶させる。
Ｓ１５において、制御部１０は、画像ＤＢ２２に記憶されている全ての基準画像について処理を行ったか否かを判断する。全ての基準画像について処理を行った場合（Ｓ１５：ＹＥＳ）には、制御部１０は、本処理を終了する。他方、全ての基準画像について処理を行っていない場合（Ｓ１５：ＮＯ）には、制御部１０は、処理をＳ１０に移す。 In S14, the control unit 10 (storage control unit 19) stores the brightness feature amount and hue feature amount calculated in S13 in the image feature amount DB 23 in association with the image ID of the reference image.
In S <b> 15, the control unit 10 determines whether or not processing has been performed for all reference images stored in the image DB 22. When the process is performed for all the reference images (S15: YES), the control unit 10 ends this process. On the other hand, when all the reference images have not been processed (S15: NO), the control unit 10 moves the process to S10.

この処理によって、画像処理システム１００は、画像検索で使用する基準画像について、予め画像の特徴量を算出して画像特徴量ＤＢ２３に記憶させることができる。よって、基準画像の画像の特徴量を記憶した画像特徴量ＤＢ２３を生成できる。 By this processing, the image processing system 100 can calculate the feature amount of the image in advance and store it in the image feature amount DB 23 for the reference image used in the image search. Therefore, the image feature amount DB 23 storing the feature amount of the image of the reference image can be generated.

次に、携帯情報端末４を用いた画像検索処理について説明する。
図４及び図５は、本実施形態に係る携帯情報端末４での画像検索処理を示すフローチャートである。
Ｓ２０において、携帯情報端末４の制御部４０（画像取得部４１）は、検索画像を取得する。ここで、画像取得部４１は、カメラ部６５を介して取得した画像を、検索画像としてもよい。また、画像取得部４１は、記憶部６０に記憶されている画像から１つの画像を取得して、それを検索画像としてもよい。
Ｓ２１において、制御部４０（画像変換部４２）は、画像変換処理を行う。画像変換処理は、基準画像で説明した図３のＳ１１と同じ処理である。 Next, an image search process using the portable information terminal 4 will be described.
4 and 5 are flowcharts showing image search processing in the portable information terminal 4 according to the present embodiment.
In S20, the control unit 40 (image acquisition unit 41) of the portable information terminal 4 acquires a search image. Here, the image acquisition unit 41 may use an image acquired via the camera unit 65 as a search image. The image acquisition unit 41 may acquire one image from images stored in the storage unit 60 and use it as a search image.
In S21, the control unit 40 (image conversion unit 42) performs an image conversion process. The image conversion process is the same process as S11 of FIG. 3 described for the reference image.

Ｓ２２において、制御部４０（色成分分離部４３）は、ＨＳＶ表色系の検索画像の画像データから、明度成分データ（Ｖ）と、色相成分データ（Ｈ）を別々に抽出する。そして、制御部４０は、明度成分データ（Ｖ）と、色相成分データ（Ｈ）をそれぞれ２５６階調の画像データに変換して、以降の処理を行う。
Ｓ２３において、制御部４０（明度特徴量算出部４４）は、検索画像の明度特徴量を算出する。この算出処理は、基準画像の明度特徴量の算出処理（図３のＳ１３）と同じである。 In S22, the control unit 40 (color component separation unit 43) separately extracts the lightness component data (V) and the hue component data (H) from the image data of the HSV color system search image. Then, the control unit 40 converts the lightness component data (V) and the hue component data (H) into image data of 256 gradations, and performs the subsequent processing.
In S23, the control unit 40 (lightness feature amount calculation unit 44) calculates the lightness feature amount of the search image. This calculation process is the same as the calculation process of the brightness feature amount of the reference image (S13 in FIG. 3).

Ｓ２４において、制御部４０（明度特徴量比較部４５）は、検索画像の明度特徴量と、画像辞書生成サーバ１の画像特徴量ＤＢ２３に記憶されている各基準画像の明度特徴量とを比較する。そして、制御部４０（明度特徴量比較部４５）は、検索画像と、各基準画像との明度特徴量の類似度を算出する。
具体的には、制御部４０は、検索画像の明度特徴量と、画像特徴量ＤＢ２３から抽出した１つの基準画像の明度特徴量との比較を、対応点間のユークリッド距離を算出することで行う。明度特徴量の類似度は、ユークリッド距離により表すことができる。この処理を、画像特徴量ＤＢ２３に記憶されている全ての基準画像に対して繰り返して行う。
具体的に説明すると、検索画像をＩ１とし、ある基準画像をＩ２とすると、対応点間のユークリッド距離ｄは、例えば、以下のように算出できる。 In S <b> 24, the control unit 40 (lightness feature amount comparison unit 45) compares the lightness feature amount of the search image with the lightness feature amount of each reference image stored in the image feature amount DB 23 of the image dictionary generation server 1. . Then, the control unit 40 (lightness feature amount comparison unit 45) calculates the similarity of the lightness feature amount between the search image and each reference image.
Specifically, the control unit 40 compares the brightness feature amount of the search image with the brightness feature amount of one reference image extracted from the image feature amount DB 23 by calculating the Euclidean distance between corresponding points. . The similarity of the brightness feature amount can be expressed by the Euclidean distance. This process is repeated for all reference images stored in the image feature DB 23.
More specifically, if the search image is I1 and a certain reference image is I2, the Euclidean distance d between corresponding points can be calculated as follows, for example.

ここで、ユークリッド距離ｄが最小になる点が、対応点である。そして、ユークリッド距離ｄが閾値以内であれば、検索画像の特徴点と、基準画像の特徴点とが対応するとし、その対応点の数が、検索画像に対する基準画像の類似度を示す。よって、対応点の数が多いほど、類似度が高いと判断できる。

Here, the point where the Euclidean distance d is minimized is the corresponding point. If the Euclidean distance d is within the threshold value, the feature point of the search image corresponds to the feature point of the reference image, and the number of corresponding points indicates the similarity of the reference image to the search image. Therefore, it can be determined that the greater the number of corresponding points, the higher the degree of similarity.

Ｓ２５において、制御部４０（明度特徴量比較部４５）は、明度特徴量の類似度が所定以上の基準画像があるか否かを判断する。具体的には、制御部４０は、各基準画像に対して、Ｓ２４で算出した対応点の数が閾値より多いか否かを判断する。そして、制御部４０は、対応点の数が閾値より多い基準画像があるか否かを判断する。明度特徴量の類似度が所定以上の基準画像がある場合（Ｓ２５：ＹＥＳ）には、制御部４０は、処理をＳ２７に移す。他方、明度特徴量の類似度が所定以上の基準画像がない場合（Ｓ２５：ＮＯ）には、制御部４０は、処理をＳ２６に移す。 In S <b> 25, the control unit 40 (lightness feature amount comparison unit 45) determines whether there is a reference image having a brightness feature amount similarity equal to or higher than a predetermined value. Specifically, the control unit 40 determines whether or not the number of corresponding points calculated in S24 is greater than a threshold for each reference image. Then, the control unit 40 determines whether there is a reference image in which the number of corresponding points is greater than a threshold value. If there is a reference image having a brightness feature amount similarity greater than or equal to a predetermined value (S25: YES), the control unit 40 moves the process to S27. On the other hand, when there is no reference image with a brightness feature amount similarity equal to or greater than a predetermined value (S25: NO), the control unit 40 moves the process to S26.

Ｓ２６において、制御部４０（結果出力部５０）は、検索結果として類似する基準画像がない旨を、タッチパネルディスプレイ６７に出力する。明度特徴量の類似度が所定以上の基準画像がないということは、つまり、検索画像に類似する画像が基準画像にないことを示す。その後、制御部４０は、本処理を終了する。
Ｓ２７において、制御部４０（画像絞込部４６）は、以降の処理対象にする基準画像を、Ｓ２５で類似度が所定以上であった基準画像に絞り込む。 In S26, the control unit 40 (result output unit 50) outputs to the touch panel display 67 that there is no similar reference image as a search result. The absence of a reference image having a brightness feature amount similarity greater than or equal to a predetermined value indicates that there is no image similar to the search image in the reference image. Thereafter, the control unit 40 ends this process.
In S27, the control unit 40 (image narrowing unit 46) narrows down the reference images to be processed later to the reference images whose similarity is equal to or higher than the predetermined value in S25.

図５のＳ２８において、制御部４０（色相特徴量算出部４７）は、検索画像の色相特徴量を算出する。この算出処理は、基準画像の色相特徴量の算出処理（図３のＳ１３）と同じである。
Ｓ２９において、制御部４０（色相特徴量比較部４８）は、検索画像の色相特徴量と、画像辞書生成サーバ１の画像特徴量ＤＢ２３に記憶されている各基準画像のうち、Ｓ２７の処理による絞込み後の基準画像の色相特徴量とを比較する。そして、制御部４０（色相特徴量比較部４８）は、検索画像と、各基準画像との色相特徴量の類似度を算出する。この色相特徴量の類似度算出処理は、明度特徴量に代えて色相特徴量を用いる以外は、上述した明度特徴量の類似度算出処理（図４のＳ２４）と同様である。 In S28 of FIG. 5, the control unit 40 (hue feature amount calculating unit 47) calculates the hue feature amount of the search image. This calculation process is the same as the calculation process of the hue feature amount of the reference image (S13 in FIG. 3).
In S29, the control unit 40 (hue feature quantity comparison unit 48) narrows down the hue feature quantity of the search image and each reference image stored in the image feature quantity DB 23 of the image dictionary generation server 1 by the process of S27. The hue feature amount of the later reference image is compared. Then, the control unit 40 (hue feature amount comparison unit 48) calculates the similarity of the hue feature amount between the search image and each reference image. The hue feature amount similarity calculation process is the same as the brightness feature amount similarity calculation process (S24 in FIG. 4) described above except that the hue feature amount is used instead of the brightness feature amount.

Ｓ３０において、制御部４０（色相特徴量比較部４８）は、色相特徴量の類似度が所定以上の基準画像があるか否かを判断する。色相特徴量の類似度が所定以上の基準画像がある場合（Ｓ３０：ＹＥＳ）には、制御部４０は、処理をＳ３１に移す。他方、色相特徴量の類似度が所定以上の基準画像がない場合（Ｓ３０：ＮＯ）には、制御部４０は、処理をＳ３２に移す。
Ｓ３１において、制御部４０（画像特定部４９、結果出力部５０）は、Ｓ３０の処理による色相特徴量の類似度が所定以上の基準画像を特定し、特定した基準画像を、検索画像に類似する画像としてタッチパネルディスプレイ６７に出力する。その際、制御部４０は、画像ＤＢ２２を参照し、画像関連データをあわせて出力する。その後、制御部４０は、本処理を終了する。
他方、Ｓ３２において、制御部４０（画像特定部４９、結果出力部５０）は、Ｓ２５の処理による明度特徴量の類似度が所定以上の基準画像に絞り込んだ、絞り込み後の基準画像を、検索画像に類似する色違い画像としてタッチパネルディスプレイ６７に出力する。その後、制御部４０は、本処理を終了する。 In S30, the control unit 40 (hue feature amount comparison unit 48) determines whether or not there is a reference image having a hue feature amount similarity equal to or greater than a predetermined value. When there is a reference image having a hue feature amount similarity equal to or greater than a predetermined value (S30: YES), the control unit 40 moves the process to S31. On the other hand, if there is no reference image having a hue feature value similarity greater than or equal to a predetermined value (S30: NO), the control unit 40 moves the process to S32.
In S31, the control unit 40 (the image specifying unit 49 and the result output unit 50) specifies a reference image whose hue feature amount similarity by the process of S30 is equal to or greater than a predetermined value, and the specified reference image is similar to the search image. The image is output to the touch panel display 67 as an image. At that time, the control unit 40 refers to the image DB 22 and outputs the image related data together. Thereafter, the control unit 40 ends this process.
On the other hand, in S32, the control unit 40 (the image specifying unit 49, the result output unit 50) searches the reference image after narrowing down the reference image that has been narrowed down to a reference image having a brightness feature amount similarity determined by the process in S25. Is output to the touch panel display 67 as a different color image. Thereafter, the control unit 40 ends this process.

このように、本実施形態の画像処理システム１００によれば、以下のような効果がある。
（１）画像辞書生成サーバ１は、基準画像の色成分データを生成して、明度成分データ（Ｖ）と、色相成分データ（Ｈ）とから各々特徴量を算出し、画像特徴量ＤＢ２３に、基準画像に各特徴量を対応付けて記憶する。よって、基準画像を分析して生成した画像検索で使用するデータを、予め生成して記憶できるので、検索時の処理効率を向上できる。
（２）画像処理システム１００では、画像をＨＳＶ変換したＨＳＶ表色系を用いて処理をする。これにより、明度成分データ（Ｖ）と、色相成分データ（Ｈ）との２つのパラメータによる処理に置き換えることができる。そのため、ＲＧＢ表色系のように３つのパラメータによる処理が必要なものに比べて、処理効率が向上し、処理時間の短縮を図ることができる。 Thus, according to the image processing system 100 of the present embodiment, the following effects are obtained.
(1) The image dictionary generation server 1 generates color component data of the reference image, calculates feature amounts from the lightness component data (V) and the hue component data (H), and stores them in the image feature amount DB 23. Each feature amount is stored in association with the reference image. Therefore, data used for image search generated by analyzing the reference image can be generated and stored in advance, so that the processing efficiency during the search can be improved.
(2) The image processing system 100 performs processing using an HSV color system obtained by HSV conversion of an image. Thereby, it can replace with the process by two parameters of brightness component data (V) and hue component data (H). For this reason, the processing efficiency can be improved and the processing time can be shortened as compared with the case where processing by three parameters is required as in the RGB color system.

（３）携帯情報端末４は、検索画像から明度特徴量と、色相特徴量とを算出し、検索画像及び基準画像の明度特徴量と、色相特徴量と用いて、検索画像に類似する基準画像を特定する。よって、明度と色相という色成分の２つの特徴量を用いて処理を行うため、検索画像に類似する基準画像を、精度よく特定できる。
そして、携帯情報端末４は、検索画像に類似する基準画像を出力するので、ユーザは、検索画像と基準画像との類似度合いを確認できる。
（４）携帯情報端末４は、検索画像に類似の基準画像に関する画像関連データを、基準画像と共に出力するので、出力された情報に基づいて、検索画像と基準画像との類似度合いをより明確に確認できる。 (3) The portable information terminal 4 calculates a brightness feature amount and a hue feature amount from the search image, and uses the brightness feature amount and the hue feature amount of the search image and the reference image to use a reference image similar to the search image. Is identified. Therefore, since processing is performed using two feature amounts of color components of brightness and hue, a reference image similar to the search image can be specified with high accuracy.
And since the portable information terminal 4 outputs the reference | standard image similar to a search image, the user can confirm the similarity degree of a search image and a reference | standard image.
(4) Since the mobile information terminal 4 outputs image-related data related to the reference image similar to the search image together with the reference image, the degree of similarity between the search image and the reference image is clarified based on the output information. I can confirm.

（５）携帯情報端末４は、明度特徴量に類似する基準画像を抽出後に、抽出した基準画像に絞って、色相特徴量に類似する基準画像を特定する。よって、色相特徴量による比較を、基準画像を絞って行うことができるため、処理効率を向上できる。
（６）携帯情報端末４は、明度特徴量に類似する基準画像を出力することで、明度特徴量が類似する、いわゆる色違いの基準画像を出力できる。よって、ユーザは、色違いのバリエーション画像を確認できる。 (5) After extracting the reference image similar to the brightness feature value, the portable information terminal 4 narrows down the extracted reference image and specifies the reference image similar to the hue feature value. Therefore, since the comparison based on the hue feature amount can be performed by narrowing down the reference image, the processing efficiency can be improved.
(6) The portable information terminal 4 can output a reference image similar to the lightness feature value, so-called a different color reference image, by outputting a reference image similar to the lightness feature value. Therefore, the user can check the variation images of different colors.

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。 As mentioned above, although embodiment of this invention was described, this invention is not limited to embodiment mentioned above. In addition, the effects described in the embodiments are merely a list of the most preferable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the embodiments. In addition, although embodiment mentioned above and the deformation | transformation form mentioned later can also be used in combination as appropriate, detailed description is abbreviate | omitted.

（変形形態）
（１）本実施形態では、画像辞書生成サーバが基準画像に関する画像特徴量ＤＢを生成し、携帯情報端末では、画像特徴量ＤＢを用いて検索画像に類似する基準画像を検索する処理をするものを示したが、これに限定されず、様々なシステム構成によっても実現できる。
例えば、携帯情報端末（出力装置）は、画像取得部と、結果出力部とを備え、その他の処理を、画像辞書生成サーバで行ってもよいし、携帯情報端末及び画像特徴量ＤＢに通信接続された処理装置（画像処理装置）が行ってもよい。
また、携帯情報端末は、画像取得部と、結果出力部との他に、一部の処理を行うようにし、残りの処理を、画像辞書生成サーバ又は処理装置が行ってもよい。
さらに、携帯情報端末に、画像辞書生成サーバの各機能を有し、全ての処理を携帯情報端末が行ってもよい。 (Deformation)
(1) In this embodiment, the image dictionary generation server generates an image feature DB related to a reference image, and the portable information terminal performs a process of searching for a reference image similar to the search image using the image feature DB. However, the present invention is not limited to this, and can be realized by various system configurations.
For example, the portable information terminal (output device) includes an image acquisition unit and a result output unit, and other processing may be performed by the image dictionary generation server, or connected to the portable information terminal and the image feature DB. The processing apparatus (image processing apparatus) may be performed.
In addition to the image acquisition unit and the result output unit, the portable information terminal may perform a part of the processing, and the image dictionary generation server or the processing device may perform the remaining processing.
Furthermore, the portable information terminal may have each function of the image dictionary generation server, and the portable information terminal may perform all processing.

（２）本実施形態では、検索画像の明度特徴量を用いて比較をした後に、検索画像の色相特徴量を用いて比較をするものとして説明したが、これに限定されない。検索画像の明度特徴量を用いた比較と、色相特徴量を用いた比較とを同時に行ってもよいし、色相特徴量を用いた比較を、明度特徴量を用いた比較より先に行ってもよい。
（３）本実施形態では、類似度が所定以上の基準画像を、検索画像に類似する画像としてタッチパネルディスプレイに出力するものを例に説明したが、これに限定されない。基準画像自身は出力せず、基準画像に関連するものであってもよく、例えば、基準画像のファイル名や、ユニークな番号等であってもよい。 (2) Although the present embodiment has been described on the assumption that the comparison is performed using the hue feature amount of the search image after the comparison using the brightness feature amount of the search image, the present invention is not limited to this. The comparison using the brightness feature of the search image and the comparison using the hue feature may be performed simultaneously, or the comparison using the hue feature may be performed before the comparison using the brightness feature. Good.
(3) In the present embodiment, an example is described in which a reference image with a predetermined similarity or higher is output to a touch panel display as an image similar to a search image, but the present invention is not limited to this. The reference image itself may not be output, but may be related to the reference image. For example, the file name of the reference image, a unique number, or the like may be used.

１画像辞書生成サーバ
４携帯情報端末
１０，４０制御部
１２，４２画像変換部
１３、４３色成分分離部
１４，４４明度特徴量算出部
１７，４７色相特徴量算出部
１９記憶制御部
２０，６０記憶部
２１ａ辞書生成プログラム
２２画像ＤＢ
２３画像特徴量ＤＢ
４５明度特徴量比較部
４６画像絞込部
４８色相特徴量比較部
４９画像特定部
５０結果出力部
６１ａ画像検索プログラム
６７タッチパネルディスプレイ
１００画像処理システム DESCRIPTION OF SYMBOLS 1 Image dictionary production | generation server 4 Portable information terminal 10,40 Control part 12,42 Image conversion part 13,43 Color component separation part 14,44 Lightness feature-value calculation part 17,47 Hue feature-value calculation part 19 Storage control part 20,60 Storage unit 21a Dictionary generation program 22 Image DB
23 Image feature DB
45 Lightness Feature Value Comparison Unit 46 Image Refinement Unit 48 Hue Feature Value Comparison Unit 49 Image Identification Unit 50 Result Output Unit 61a Image Search Program 67 Touch Panel Display 100 Image Processing System

Claims

検索対象の画像である検索画像に類似する基準画像に紐づけられた情報を出力する画像検索システムであって、
検索画像の色成分を生成する色成分生成手段と、
生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、
生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、
基準画像と、前記基準画像の前記明度特徴量と、前記基準画像の前記色相特徴量とを対応付けた基準画像情報を複数記憶した画像データベースと、
前記検索画像の前記明度特徴量と、前記画像データベースに記憶された複数の前記基準画像情報に含まれる各基準画像の前記明度特徴量との類似度を算出する明度類似度算出手段と、
前記検索画像の前記色相特徴量と、前記画像データベースに記憶された複数の前記基準画像情報に含まれる各基準画像の前記色相特徴量との類似度を算出する色相類似度算出手段と、
前記明度類似度算出手段により算出された類似度と、前記色相類似度算出手段により算出された類似度とに基づき、両方の類似度の高い基準画像を特定する類似画像特定手段と、
を備えること、
を特徴とする画像検索システム。 An image search system that outputs information associated with a reference image similar to a search image that is a search target image,
Color component generation means for generating a color component of the search image;
A brightness feature amount calculating means for calculating a brightness feature amount which is a feature amount of a brightness component from the generated color component;
A hue feature amount calculating means for calculating a hue feature amount that is a feature amount of a hue component from the generated color component;
An image database storing a plurality of reference image information in which a reference image, the lightness feature value of the reference image, and the hue feature value of the reference image are associated with each other;
Brightness similarity calculation means for calculating a similarity between the brightness feature amount of the search image and the brightness feature amount of each reference image included in the plurality of reference image information stored in the image database;
Hue similarity calculation means for calculating a similarity between the hue feature amount of the search image and the hue feature amount of each reference image included in the plurality of reference image information stored in the image database;
Based on the similarity calculated by the lightness similarity calculation means and the similarity calculated by the hue similarity calculation means, similar image specifying means for specifying a reference image having both high similarities,
Providing
An image search system characterized by

請求項１に記載の画像検索システムにおいて、
前記明度類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を絞り込む明度絞込み手段を備え、
前記色相類似度算出手段は、前記検索画像の前記色相特徴量と、前記明度絞込み手段により絞り込み後の各基準画像の前記色相特徴量との類似度を算出し、
前記類似画像特定手段は、前記色相類似度算出手段により算出された類似度に基づき、類似度の高い基準画像を特定すること、
を特徴とする画像検索システム。 The image search system according to claim 1,
Based on the similarity calculated by the lightness similarity calculation means, comprising lightness narrowing means for narrowing down a reference image having a high similarity,
The hue similarity calculating unit calculates a similarity between the hue feature amount of the search image and the hue feature amount of each reference image after being narrowed down by the lightness narrowing unit,
The similar image specifying means specifies a reference image having a high similarity based on the similarity calculated by the hue similarity calculating means;
An image search system characterized by

請求項２に記載の画像検索システムにおいて、
前記明度絞込み手段により絞り込み後の各基準画像を出力する明度類似画像出力手段を備えること、
を特徴とする画像検索システム。 The image search system according to claim 2,
A brightness similar image output means for outputting each reference image after being narrowed down by the brightness narrowing means;
An image search system characterized by

請求項１から請求項３までのいずれかに記載の画像検索システムにおいて、
前記類似画像特定手段により特定された前記基準画像を出力する類似画像出力手段を備えること、
を特徴とする画像検索システム。 In the image search system according to any one of claims 1 to 3,
Comprising similar image output means for outputting the reference image specified by the similar image specifying means;
An image search system characterized by

請求項１から請求項４までのいずれかに記載の画像検索システムにおいて、
前記画像データベースは、前記基準画像に関する情報を、前記基準画像に対応付けて記憶しており、
前記類似画像特定手段により特定された前記基準画像に対応する前記基準画像に関する情報を前記画像データベースから抽出して出力する情報出力手段を備えること、
を特徴とする画像検索システム。 In the image search system according to any one of claims 1 to 4,
The image database stores information on the reference image in association with the reference image,
Information output means for extracting and outputting information on the reference image corresponding to the reference image specified by the similar image specifying means from the image database;
An image search system characterized by

請求項１から請求項５までのいずれかに記載の画像検索システムにおいて、
前記色成分生成手段は、前記検索画像にＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）変換をすることで、ＨＳＶ表色系による色成分を生成すること、
を特徴とする画像検索システム。 In the image search system according to any one of claims 1 to 5,
The color component generation means generates a color component by an HSV color system by performing HSV (Hue, Saturation, Value) conversion on the search image;
An image search system characterized by

請求項１から請求項６までのいずれかに記載の画像検索システムにおいて、
画像処理装置と、出力装置とにより構成され、
前記画像処理装置は、前記色成分生成手段、前記明度特徴量算出手段、前記色相特徴量算出手段、前記画像データベース、前記明度類似度算出手段、前記色相類似度算出手段及び前記類似画像特定手段のうち少なくともいずれかを備え、
前記出力装置は、前記基準画像及び必要に応じて前記基準画像に関する情報を出力する出力手段を少なくとも備えること、
を特徴とする画像検索システム。 The image search system according to any one of claims 1 to 6,
Consists of an image processing device and an output device,
The image processing device includes: a color component generation unit; a brightness feature amount calculation unit; a hue feature amount calculation unit; the image database; the brightness similarity calculation unit; the hue similarity calculation unit; and the similar image specification unit. At least one of them,
The output device includes at least output means for outputting information on the reference image and, if necessary, the reference image;
An image search system characterized by

画像検索で使用する複数の基準画像に関する画像データベースを生成する画像辞書生成システムであって、
基準画像の色成分を生成する色成分生成手段と、
生成された前記色成分から明度成分の特徴量である明度特徴量を算出する明度特徴量算出手段と、
生成された前記色成分から色相成分の特徴量である色相特徴量を算出する色相特徴量算出手段と、
前記基準画像と、前記明度特徴量と、前記色相特徴量とを対応付けて前記画像データベースに記憶させる記憶制御手段と、
を備えること、
を特徴とする画像辞書生成システム。 An image dictionary generation system for generating an image database related to a plurality of reference images used in image search,
Color component generation means for generating a color component of the reference image;
A brightness feature amount calculating means for calculating a brightness feature amount which is a feature amount of a brightness component from the generated color component;
A hue feature amount calculating means for calculating a hue feature amount that is a feature amount of a hue component from the generated color component;
Storage control means for associating and storing the reference image, the brightness feature value, and the hue feature value in the image database;
Providing
An image dictionary generation system characterized by

請求項８に記載の画像辞書生成システムにおいて、
前記色成分生成手段は、前記基準画像にＨＳＶ変換をすることで、ＨＳＶ表色系による色成分を生成すること、
を特徴とする画像辞書生成システム。 The image dictionary generation system according to claim 8,
The color component generation means generates an HSV color system color component by performing HSV conversion on the reference image;
An image dictionary generation system characterized by

請求項１から請求項７までのいずれかに記載の画像検索システムと、
請求項８又は請求項９に記載の画像辞書生成システムと、
を備える画像処理システム。 An image search system according to any one of claims 1 to 7,
The image dictionary generation system according to claim 8 or 9,
An image processing system comprising:

請求項１から請求項７までのいずれかに記載の画像検索システムとしてコンピュータを機能させるための画像検索プログラム。 An image search program for causing a computer to function as the image search system according to any one of claims 1 to 7.

請求項８又は請求項９に記載の画像辞書生成システムとしてコンピュータを機能させるための画像辞書生成プログラム。 An image dictionary generation program for causing a computer to function as the image dictionary generation system according to claim 8 or 9.