JP2003187217A - Image retrieval system - Google Patents
Image retrieval systemInfo
- Publication number
- JP2003187217A JP2003187217A JP2001386843A JP2001386843A JP2003187217A JP 2003187217 A JP2003187217 A JP 2003187217A JP 2001386843 A JP2001386843 A JP 2001386843A JP 2001386843 A JP2001386843 A JP 2001386843A JP 2003187217 A JP2003187217 A JP 2003187217A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similarity
- search
- range
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は画像検索システムに
関し、特に画像識別技術を用いた画像検索システムに関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image search system, and more particularly to an image search system using an image identification technique.
【０００２】[0002]
【従来の技術】従来、画像識別システムや画像処理シス
テムとしては、特開平５−２１７０１９号公報（第１の
公報）に記載されているように、ビジネスフォームの罫
線に着目し、線の数、長い線の数、交点座標等を特徴と
して抽出するシステムがある。2. Description of the Related Art Conventionally, as an image identification system and an image processing system, as described in Japanese Patent Application Laid-Open No. 5-217019 (first publication), attention is paid to ruled lines of a business form, and the number of lines is There is a system that extracts the number of long lines and the coordinates of intersections as features.
【０００３】上記のシステムでは、テンプレートの特徴
を予めフォーム辞書として登録し、検索対象となるサー
チ画像に関しても同様の特徴抽出を行い、その特徴抽出
の結果と辞書との比較によって目的の画像を検索してい
る。In the above system, the features of the template are registered in advance as a form dictionary, the same feature extraction is performed for the search image to be searched, and the target image is searched by comparing the result of the feature extraction with the dictionary. is doing.
【０００４】また、従来の画像検索システムにおいて
は、画像にキーワード等を付加して登録しておき、検索
時にはキーワードの組み合わせによって目的の画像を検
索するシステムもある。Further, in the conventional image retrieval system, there is also a system in which a keyword or the like is added to an image and registered, and a target image is retrieved by a combination of the keywords at the time of retrieval.
【０００５】さらに、従来の画像検索システムとして
は、特開平８−２７９０１９号公報（第２の公報）に記
載されているように、使用するフォームシートを予めフ
ォーム生成・登録部で生成しておき、ファクシミリ等で
送られてきたノイズを含むような帳票であっても、その
フォーマットを検出可能とするシステムもある。Further, as a conventional image retrieval system, as described in Japanese Patent Application Laid-Open No. 8-279019 (second publication), a form sheet to be used is created in advance by a form creating / registering unit. There is also a system that can detect the format of a form including noise transmitted by facsimile or the like.
【０００６】[0006]
【発明が解決しようとする課題】しかしながら、上述し
た従来のシステムでは、上記の第１の公報記載のシステ
ムの場合、検索する画像内に罫線があることを前提とし
ているため、検索する画像に罫線のない画像（ビジネス
フォーム）に対して適用することができない。However, in the conventional system described above, in the case of the system described in the above-mentioned first publication, since it is premised that there is a ruled line in the image to be searched, the ruled line is found in the image to be searched. Cannot be applied to images (business forms) that do not have.
【０００７】また、検索時にキーワードの組み合わせを
用いる場合には、画像に付加するキーワードの命名に一
定の基準がなく、また画像の内容を全て網羅するキーワ
ードまたは文書表現が不可能に近いため、画像に付加し
たキーワード検索においてキーワードの付け方や検索時
のキーワードの指定によって目的とする画像が大量に検
索されてしまったり、目的の画像を検索することができ
ないことがある。Further, when a combination of keywords is used in a search, there is no fixed standard for naming keywords to be added to images, and it is almost impossible to express keywords or document expressions that cover the entire contents of images. In the keyword search added to, a large number of target images may be searched or the target image may not be searched depending on how the keywords are attached or the keywords are specified during the search.
【０００８】さらに、上記の第２の公報記載のシステム
の場合、連結黒画素の最小外接矩形を作成し、矩形情報
を作成しているため、検出対象の帳票が罫線で囲まれて
いると、フォームの特徴抽出を正常に行うことができな
い。この場合、矩形情報作成処理を行うと、罫線で囲ま
れた帳票のほぼ全面が特徴量となってしまい、罫線で囲
まれた内部の個別文字位置矩形を検出することができな
い。Further, in the case of the system described in the above-mentioned second publication, since the minimum circumscribing rectangle of connected black pixels is created and the rectangle information is created, if the form to be detected is surrounded by ruled lines, The feature extraction of the form cannot be performed normally. In this case, if the rectangle information creation process is performed, almost the entire surface of the form surrounded by the ruled lines becomes the feature amount, and the inside individual character position rectangle surrounded by the ruled lines cannot be detected.
【０００９】さらにまた、上記の第２の公報記載のシス
テムの場合、文字列の位置、大きさ等を予め登録し、そ
の登録内容を用いて該当する帳票を検出しているため、
使用するフォームシートデザインが予めフォーム生成・
登録部にてシステム設計者が実施する必要があり、自動
化されていない。Furthermore, in the case of the system described in the above-mentioned second publication, the position, size, etc. of the character string are registered in advance, and the corresponding form is detected using the registered contents.
Form sheet design to be used is generated in advance.
It has to be carried out by the system designer at the registration department and is not automated.
【００１０】そこで、本発明の目的は上記の問題点を解
消し、ファクシミリやスキャナ等で取り込まれた画像
を、キーワードや罫線を用いることなく検索することが
できる画像検索システムを提供することにある。Therefore, an object of the present invention is to solve the above problems and provide an image retrieval system capable of retrieving an image captured by a facsimile or a scanner without using a keyword or ruled line. .
【００１１】また、本発明の他の目的は、検索者が予め
検索画像の特徴となる範囲を指定しなくても自動的にテ
ンプレート画像から検索する範囲を検出して登録するこ
とができる画像検索システムを提供することにある。Another object of the present invention is to perform an image search in which a searcher can automatically detect and register a search range from a template image without designating a range that is a feature of the search image in advance. To provide a system.
【００１２】[0012]
【課題を解決するための手段】本発明による画像検索シ
ステムは、画像の雛形であるテンプレート画像と外部か
ら入力されるサーチ画像との類似度を算出する際に対象
とする画像範囲を指定する範囲指定手段と、前記範囲指
定手段で指定された画像範囲における前記テンプレート
画像と前記サーチ画像との類似度を算出する類似度算出
手段と、前記類似度算出手段で算出された類似度を類似
度テーブルに登録する類似度登録手段と、任意のテンプ
レート画像に対するサーチ画像毎に前記類似度テーブル
に登録された類似度を降順に並べ替える類似度テーブル
ソート手段と、前記類似度テーブルソート手段で並べ替
えられた類似度が高い順に対応するサーチ画像を表示す
る画像表示手段とを備えている。An image retrieval system according to the present invention is a range for designating a target image range when calculating a similarity between a template image which is a template of an image and a search image input from the outside. A designating means, a similarity calculating means for calculating the similarity between the template image and the search image in the image range designated by the range designating means, and a similarity table for the similarity calculated by the similarity calculating means. Registered in the similarity table, the similarity table sorting means for rearranging the similarity registered in the similarity table for each search image for any template image in descending order, and the similarity table sorting means for rearranging the similarity table sorting means. And an image display unit for displaying search images corresponding to the descending order of similarity.
【００１３】本発明によるたの画像検索システムは、画
像の雛形であるテンプレート画像から認識するための情
報が含まれている局所範囲を検出する局所範囲検出手段
と、前記局所範囲検出手段で検出された局所範囲におけ
る前記テンプレート画像と外部から入力されるサーチ画
像との類似度を算出する類似度算出手段と、前記類似度
算出手段で算出された類似度を類似度テーブルに登録す
る類似度登録手段と、任意のテンプレート画像に対する
サーチ画像毎に前記類似度テーブルに登録された類似度
を降順に並べ替える類似度テーブルソート手段と、前記
類似度テーブルソート手段で並べ替えられた類似度が高
い順に対応するサーチ画像を表示する画像表示手段とを
備えている。The other image search system according to the present invention detects a local range including information for recognition from a template image which is a template of an image, and a local range detecting means for detecting the local range. Similarity calculating means for calculating the similarity between the template image in the local range and the search image input from the outside, and similarity registration means for registering the similarity calculated by the similarity calculating means in a similarity table And a similarity table sort means for rearranging the similarity degrees registered in the similarity table for each search image for an arbitrary template image in descending order, and a similarity table sorted by the similarity table sorting means in descending order of similarity degree. Image display means for displaying a search image.
【００１４】すなわち、本発明の画像検索システムは、
テンプレート画像とサーチ画像との類似度を算出する際
の画像の範囲を指定する範囲指定部と、印刷または記入
された帳票の画像をテンプレート画像またはサーチ画像
の電子データとして保存する画像入力機器と、検索者が
求めている画像の雛形であるテンプレート画像とスキャ
ナやファクシミリ等の画像入力機器から入力される多種
多様な画像であるサーチ画像とに対して範囲指定部で指
定された画像範囲だけをテンプレート画像とサーチ画像
との類似度の算出対象とする類似度算出部と、算出され
た類似度（数値）を類似度テーブルに登録する類似度登
録部と、任意のテンプレート画像に対するサーチ画像毎
に登録された類似度に対して降順にソート（並べ替え）
を行う類似度テーブルソート部と、類似度が高い順に対
応するサーチ画像を表示する画像表示部とを備えること
を特徴としている。That is, the image retrieval system of the present invention is
A range designating unit that designates a range of images when calculating the similarity between the template image and the search image, an image input device that saves the image of the printed or filled form as electronic data of the template image or the search image, Only the image range specified by the range specification section is specified for the template image, which is the template of the image that the searcher is seeking, and the search image, which is a wide variety of images input from image input devices such as scanners and facsimiles. A similarity calculation unit for calculating the similarity between the image and the search image, a similarity registration unit for registering the calculated similarity (numerical value) in the similarity table, and registration for each search image for any template image Sorted in descending order of the calculated similarity
It is characterized by including a similarity table sorting unit for performing the above, and an image display unit for displaying search images corresponding to the descending order of similarity.
【００１５】また、本発明の画像検索システムでは、範
囲指定部の代わりに、検索者が検索画像の特徴となる範
囲を指定しなくても自動的にテンプレート画像から局所
範囲を検出する局所範囲検出部を備えることを特徴とし
ている。Further, in the image retrieval system of the present invention, instead of the range designation section, local range detection is performed in which the local range is automatically detected from the template image even if the searcher does not specify the range that is a feature of the search image. It is characterized by having a section.
【００１６】上記のように、目的とする画像と類似した
画像を登録（画像入力）し、その特徴的な位置を指定し
て画像を検索することによって、多種多様な画像にキー
ワード等を付加せずに格納しない場合や文書内に罫線を
含まない画像においても目的の画像検索が可能となるこ
とである。As described above, an image similar to the target image is registered (image input), the characteristic position is designated, and the image is searched to add a keyword or the like to various images. That is, the target image can be searched even if the document is not stored or the image does not include a ruled line in the document.
【００１７】また、テンプレート画像とサーチ画像との
類似度計算を全範囲で行わずに局所的に行うことによっ
て、画像検索処理時間を短縮することが可能となる。Further, it is possible to shorten the image search processing time by locally performing the similarity calculation between the template image and the search image instead of performing the calculation in the entire range.
【００１８】さらに、局所範囲検出部を実装した場合、
テンプレート画像を登録（入力）するだけでテンプレー
ト画像内の下地（白）以外の範囲、つまり予め印字され
ている文字や罫線等の範囲を特定することができ、その
範囲の類似度を自動的に算出して類似度テーブルに登録
することによって、実際に検索者が検索を行う場合、類
似度を改めて算出する必要が少なくなる。Further, when the local range detecting section is mounted,
By registering (inputting) the template image, you can specify the range other than the background (white) in the template image, that is, the range of preprinted characters, ruled lines, etc., and automatically determine the similarity of that range. By calculating and registering in the similarity table, when the searcher actually searches, the similarity need not be calculated again.
【００１９】[0019]
【発明の実施の形態】次に、本発明の実施例について図
面を参照して説明する。図１は本発明の一実施例による
画像検索システムの構成を示すブロック図である。図１
において、本発明の一実施例による画像検索システムは
範囲指定部１１と、画像入力機器１２と、類似度算出部
１５と、類似度登録部１６と、類似度テーブルソート部
１７と、画像表示部１８とから構成されている。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of an image search system according to an embodiment of the present invention. Figure 1
In the image search system according to the embodiment of the present invention, the range designation unit 11, the image input device 12, the similarity calculation unit 15, the similarity registration unit 16, the similarity table sorting unit 17, and the image display unit. It is composed of 18 and.
【００２０】範囲指定部１１はテンプレート画像１３と
サーチ画像１４との類似度を算出する際の画像の範囲を
指定する。画像入力機器１２は印刷または記入された帳
票の画像をテンプレート画像１３またはサーチ画像１４
に電子データとして保存する。この場合、テンプレート
画像１３は検索者が求めている画像の雛形であるり、サ
ーチ画像１４はスキャナやファクシミリ等の画像入力機
器１２から入力される多種多様な画像である。The range designation unit 11 designates a range of images when calculating the similarity between the template image 13 and the search image 14. The image input device 12 uses the printed or filled-in form image as the template image 13 or the search image 14.
Save as electronic data in. In this case, the template image 13 is a template of an image that the searcher is seeking, and the search image 14 is a wide variety of images input from the image input device 12 such as a scanner or a facsimile.
【００２１】類似度算出部１５はテンプレート画像１３
とサーチ画像１４との類似度を算出する。その際、類似
度算出部１５は範囲指定部１１で指定された画像範囲だ
けを算出対象とする。類似度登録部１６は類似度算出部
１５で算出された類似度（数値）を類似度テーブル（図
示せず）に登録する。類似度テーブルソート部１７は任
意のテンプレート画像１３に対するサーチ画像１４の類
似度を降順にソート（並べ替え）を行う。画像表示部１
８は類似度が高い順に対応するサーチ画像１４を表示す
る。The similarity calculation unit 15 uses the template image 13
And the similarity to the search image 14 are calculated. At that time, the similarity calculation unit 15 sets only the image range designated by the range designation unit 11 as a calculation target. The similarity registration unit 16 registers the similarity (numerical value) calculated by the similarity calculation unit 15 in a similarity table (not shown). The similarity table sort unit 17 sorts (sorts) the similarity of the search image 14 to the arbitrary template image 13 in descending order. Image display section 1
8 displays corresponding search images 14 in descending order of similarity.
【００２２】図２は図１のテンプレート画像１３とサー
チ画像１４との具体例を示す図である。図２において、
テンプレート画像２−１はＦａｘ送付表であり、帳票の
種類２−５、ロゴマーク２−４、送付先２−６、送付元
２−７等が予め印刷されている。FIG. 2 is a diagram showing a concrete example of the template image 13 and the search image 14 of FIG. In FIG.
The template image 2-1 is a fax delivery table, and the form type 2-5, the logo mark 2-4, the delivery destination 2-6, the delivery source 2-7, etc. are printed in advance.
【００２３】例えば、検索者が自分宛に届いたＦａｘの
画像を検索する場合、帳票の種類を示す局所範囲（１）
２−２と、送付先を示す局所範囲（２）２−３とを指定
する。指定された局所範囲内（矩形内部）の画像と類似
した画像を含むものをサーチ画像２−１４の中から検索
する。For example, when a searcher searches for fax images that have arrived at him / herself, the local range (1) indicating the type of the form is displayed.
2-2 and a local range (2) 2-3 indicating a destination are designated. The search image 2-14 is searched for an image including an image similar to the image within the specified local range (inside the rectangle).
【００２４】テンプレート画像２−８もＦａｘ送付表で
ある。この帳票の場合、帳票種類２−１０を示す範囲は
上部にあり、ロゴマーク２−１２は下部にあり、全体を
囲む様に飾り罫線２−１３がある。The template image 2-8 is also a fax transmission table. In the case of this form, the range indicating the form type 2-10 is at the top, the logo mark 2-12 is at the bottom, and the decorative ruled line 2-13 surrounds the whole.
【００２５】検索者がこの帳票と類似した画像を検索す
る場合を考える。同じ種類の帳票ではあるが、中身に記
述される内容２−１１はそれぞれ異なっているため、除
外範囲（１）２−９の矩形外の画像が類似した画像をサ
ーチ画像２−１４の中から検索する。Consider a case where a searcher searches for an image similar to this form. Although they are the same type of form, the contents 2-11 described in the contents are different from each other. Therefore, from the search image 2-14, an image in which the image outside the rectangle of the exclusion range (1) 2-9 is similar is selected from the search image 2-14. Search for.
【００２６】図３は本発明の一実施例による画像検索シ
ステムの動作を示すフローチャートである。これら図１
〜図３を参照して本発明の一実施例による画像検索シス
テムの動作について説明する。FIG. 3 is a flow chart showing the operation of the image retrieval system according to the embodiment of the present invention. These Figure 1
The operation of the image search system according to the embodiment of the present invention will be described with reference to FIGS.
【００２７】最初に検索者は、自分が検索したい画像が
既にテンプレート画像１３内にあればそれを選択し、テ
ンプレート画像１３内になければ画像入力機器１２を使
用し画像入力する（図３ステップＳ１）。First, the searcher selects an image he or she wants to search if it is already in the template image 13, and if it is not in the template image 13, inputs the image using the image input device 12 (step S1 in FIG. 3). ).
【００２８】次に、検索者は検索する画像に特徴的な局
所範囲２−２，２−３や除外範囲２−９を指定する（図
３ステップＳ２）。この指定されたテンプレートや範囲
指定が以前検索された実績があるか否かを判断する（図
３ステップＳ３）。検索実績がある場合にはステップＳ
７に遷移し、検索実績がない場合にはサーチ画像１４を
１件入力する（図３ステップＳ４）。Next, the searcher specifies the local ranges 2-2 and 2-3 and the exclusion range 2-9 which are characteristic of the image to be searched (step S2 in FIG. 3). It is determined whether or not the designated template or range designation has been previously retrieved (step S3 in FIG. 3). If there is a search record, step S
7, the search image 14 is input when there is no search result (step S4 in FIG. 3).
【００２９】類似度算出部１５は入力したサーチ画像１
４とテンプレート画像１３との類似度を指定範囲内だけ
で算出する（図３ステップＳ５）。類似度登録部１６は
類似度算出部１５で算出された類似度を該当サーチ画像
の類似度テーブル（図６参照）に登録する（図３ステッ
プＳ６）。The similarity calculation unit 15 receives the input search image 1
4 and the template image 13 are calculated only within the designated range (step S5 in FIG. 3). The similarity registration unit 16 registers the similarity calculated by the similarity calculation unit 15 in the similarity table of the corresponding search image (see FIG. 6) (step S6 in FIG. 3).
【００３０】類似度テーブルソート部１７は算出した類
似度が予め指定した閾値より大か否か（テンプレート画
像に似ているか否か）を判断する（図３ステップＳ
７）。類似度テーブルソート部１７は算出した類似度が
閾値以下の場合にステップＳ１０に遷移し、閾値より大
の場合に類似度テーブルを類似度が大きい順番にソート
する（図３ステップＳ８）。画像表示部１８は類似度が
大きい順に画面上にサーチ画像を表示する（図３ステッ
プＳ９）。The similarity table sorting unit 17 determines whether the calculated similarity is greater than a threshold value designated in advance (whether it is similar to the template image) (step S in FIG. 3).
7). The similarity table sorting unit 17 transitions to step S10 when the calculated similarity is less than or equal to the threshold, and when the calculated similarity is greater than the threshold, sorts the similarity table in descending order of similarity (step S8 in FIG. 3). The image display unit 18 displays the search images on the screen in descending order of similarity (step S9 in FIG. 3).
【００３１】続いて、類似度算出を行っていないサーチ
画像が残っているか否かを判断し（図３ステップＳ１
０）。残っている場合にはステップＳ３から処理を繰り
返す。サーチ画像が残っていない場合には検索処理を終
了する。Subsequently, it is determined whether or not there is a search image for which the similarity calculation has not been performed (step S1 in FIG. 3).
0). If there is any, the process is repeated from step S3. If no search image remains, the search process ends.
【００３２】図４は局所範囲が指定されたテンプレート
画像のデータ内容を示す図である。図４において、局所
範囲が指定されたテンプレート画像は登録テンプレート
画像４−１と、検索者が指定した局所範囲（１）４−２
及び局所範囲（２）４−３とから構成されている。FIG. 4 is a diagram showing the data contents of the template image in which the local range is designated. In FIG. 4, the template image in which the local range is designated is the registered template image 4-1 and the local range (1) 4-2 designated by the searcher.
And a local range (2) 4-3.
【００３３】局所範囲は矩形の左上及び右下の座標デー
タとする。局所範囲（１）は（ｘｍｉｎ１，ｙｍｉｎ
１，ｘｍａｘ１，ｙｍａｘ１）となり、局所範囲（２）
は（ｘｍｉｎ２，ｙｍｉｎ２，ｘｍａｘ２，ｙｍａｘ
２）となる（図４の４−４参照）。類似度を算出する場
合には、テンプレート画像とサーチ画像の局所範囲
（１）、局所範囲（２）とでそれぞれ正規化相関係数等
の類似度計算を行う。The local range is the upper left and lower right coordinate data of the rectangle. Local range (1) is (xmin1, ymin
1, xmax1, ymax1), and the local range (2)
Is (xmin2, ymin2, xmax2, ymax
2) (see 4-4 in FIG. 4). When calculating the degree of similarity, the degree of similarity such as a normalized correlation coefficient is calculated for each of the local range (1) and the local range (2) of the template image and the search image.
【００３４】図５は除外範囲が指定されたテンプレート
画像のデータ内容を示す図である。図５において、除外
範囲が指定されたテンプレート画像は登録テンプレート
画像５−１と、検索者が指定した除外範囲５−２とから
構成されている。除外範囲は矩形の左上及び右下の座標
データとする。除外範囲は（ｘｍｉｎ３，ｙｍｉｎ３，
ｘｍａｘ３，ｙｍａｘ３）となる（図５の５−３参
照）。類似度を算出する場合には、テンプレート画像と
サーチ画像の除外範囲とは正規化相関係数等の類似度計
算を行わない。除外範囲外（矩形の外側）のみ類似度計
算の対象とする。FIG. 5 is a diagram showing the data content of the template image in which the exclusion range is designated. In FIG. 5, the template image in which the exclusion range is designated is composed of a registered template image 5-1 and an exclusion range 5-2 designated by the searcher. The exclusion range is the coordinate data of the upper left and lower right of the rectangle. The exclusion range is (xmin3, ymin3,
xmax3, ymax3) (see 5-3 in FIG. 5). When calculating the degree of similarity, the template image and the exclusion range of the search image are not calculated for the degree of similarity such as a normalized correlation coefficient. Only outside the exclusion range (outside the rectangle) are targets for similarity calculation.
【００３５】図６は類似度テーブル例を示す図である。
図６において、類似度テーブルの各レコードは、サーチ
画像ファイル名称、テンプレート画像名称、範囲指定の
フィールドから構成されている。１レコードがサーチ画
像１件に対応する。FIG. 6 is a diagram showing an example of the similarity table.
In FIG. 6, each record of the similarity table is composed of a search image file name, a template image name, and a range designation field. One record corresponds to one search image.
【００３６】また、図６に示す類似度テーブル内の数字
は、図２のテンプレート２−１において局所範囲（１）
及び局所範囲（２）が指定された時の類似度と、図２の
テンプレート２−８において除外範囲が指定された時の
類似度とが登録されていることを示している。The numbers in the similarity table shown in FIG. 6 are the local range (1) in the template 2-1 of FIG.
And that the similarity when the local range (2) is designated and the similarity when the exclusion range is designated in the template 2-8 of FIG. 2 are registered.
【００３７】この例では、類似度は０以上、１以下の数
値として表しており、値が大きい（１に近い）程類似し
た画像であることを示している。検索実績の有無判定
（図３ステップＳ３）、類似度登録（図３ステップＳ
６）、降順ソート（図３ステップＳ８）の処理はこの類
似度テーブルを利用する。In this example, the degree of similarity is represented as a numerical value of 0 or more and 1 or less, and the larger the value (closer to 1), the more similar the images are. Presence / absence of search results (step S3 in FIG. 3), similarity registration (step S in FIG. 3)
6), the processing of descending sort (step S8 in FIG. 3) uses this similarity table.
【００３８】図７は本発明の他の実施例による画像検索
システムの構成を示すブロック図である。図７におい
て、本発明の他の実施例による画像検索システムは範囲
指定部１１の代わりに局所範囲検出部１９を配設した以
外は図１に示す本発明の一実施例による画像検索システ
ムの構成と同様であり、同一構成要素には同一符号を付
してある。また、同一構成要素の動作は本発明の一実施
例と同様である。FIG. 7 is a block diagram showing the arrangement of an image retrieval system according to another embodiment of the present invention. In FIG. 7, an image search system according to another embodiment of the present invention has a configuration of the image search system according to the embodiment of the present invention shown in FIG. The same reference numeral is given to the same component. The operation of the same component is the same as that of the embodiment of the present invention.
【００３９】局所範囲検出部１９は検索者が検索画像の
特徴となる範囲を指定しなくても、自動的にテンプレー
ト画像から認識するための情報が含まれている局所範囲
を検出する。The local range detecting unit 19 automatically detects a local range including information for recognition from the template image, even if the searcher does not specify a range that is a feature of the search image.
【００４０】図８は図７の局所範囲検出部１９を用いて
テンプレート画像２−１から局所範囲を検出する動作に
ついて説明するための図である。この図８を参照して局
所範囲検出部１９がテンプレート画像２−１から局所範
囲を検出する動作について説明する。FIG. 8 is a diagram for explaining the operation of detecting the local range from the template image 2-1 by using the local range detecting unit 19 of FIG. The operation of the local range detection unit 19 to detect the local range from the template image 2-1 will be described with reference to FIG.
【００４１】まず、局所範囲検出部１９は横方向及び縦
方向のヒストグラムを検出する。この操作によって、テ
ンプレート画像２−１のどこに情報（白い下地以外のデ
ータ）が含まれているかを特定することができる。First, the local range detector 19 detects the horizontal and vertical histograms. By this operation, it is possible to specify where in the template image 2-1 the information (data other than the white background) is included.
【００４２】すなわち、テンプレート画像２−１におい
てはロゴが印字されている位置８−１、帳票種類を示す
印字８−２、送付先８−３、送付元８−４それぞれを囲
む矩形位置が検出され、これらを局所範囲とする。この
局所範囲の検出処理以降の処理については、上述した本
発明の一実施例と同様である。That is, in the template image 2-1, a position 8-1 where the logo is printed, a print 8-2 indicating the form type, a destination 8-3, and a rectangular position surrounding the source 8-4 are detected. And set these as local ranges. The processing subsequent to this local range detection processing is the same as in the above-described embodiment of the present invention.
【００４３】このような構成とすることによって、検索
者がいない場合においても、テンプレート画像を登録す
るだけで類似度計算を行い、類似度テーブルを作成する
ことができる。つまり、実際に検索者が検索を行う前に
登録したテンプレートに関してはサーチ画像が分類され
ていることと同様になる。より詳細な検索時、例えば自
分宛に来たＦａｘを検索する場合等、予め分類されたサ
ーチ画像の中から更に局所範囲を指定することによって
高速で確実な検索が可能となる。つまり、検索者が予め
検索画像の特徴となる範囲を指定しなくても自動的にテ
ンプレート画像から検索する範囲を検出して登録するこ
とができる。With such a configuration, even if there is no searcher, it is possible to calculate the similarity only by registering the template image and create the similarity table. That is, it is the same as that the search images are classified with respect to the template registered before the searcher actually performs the search. At the time of a more detailed search, for example, when searching for a fax addressed to itself, by further specifying the local range from the search images classified in advance, a high-speed and reliable search becomes possible. That is, it is possible to automatically detect and register a range to be searched from the template image without the searcher previously designating the characteristic range of the search image.
【００４４】このように、本発明においては、目的とす
る画像と類似した画像を登録（画像入力）し、その特徴
的な位置を指定して画像を検索することによって、多種
多様な画像にキーワード等を付加せずに格納しない場合
や文書内に罫線を含まない画像においても、目的の画像
検索を行うことができる。As described above, according to the present invention, an image similar to the target image is registered (image input), the characteristic position is designated, and the image is searched to search for the image in a wide variety of images. It is possible to perform the target image search even when the image is not stored without adding such as or when the image does not include the ruled line in the document.
【００４５】また、本発明では、テンプレート画像とサ
ーチ画像との類似度計算を全範囲で行わずに局所的に行
うことによって、画像に対する検索処理時間を短縮する
ことができる。Further, according to the present invention, the similarity calculation between the template image and the search image is locally performed without performing the entire range calculation, so that the search processing time for the image can be shortened.
【００４６】さらに、本発明では、局所範囲検出部１９
を実装した場合、テンプレート画像を登録（入力）する
だけでテンプレート画像内の下地（白）以外の範囲、つ
まり予め印字されている文字や罫線等の範囲を特定する
ことができ、その範囲の類似度を自動的に算出して類似
度テーブルに登録することによって、実際に検索者が検
索を行う場合、類似度を改めて算出する必要が少なくな
る。Further, according to the present invention, the local range detecting section 19
If you implement, you can specify the range other than the background (white) in the template image, that is, the range of preprinted characters, ruled lines, etc., just by registering (inputting) the template image. By automatically calculating the degree and registering the degree in the similarity table, when the searcher actually searches, the degree of similarity need not be calculated again.
【００４７】[0047]
【発明の効果】以上説明したように本発明の画像検索シ
ステムは、画像の雛形であるテンプレート画像と外部か
ら入力されるサーチ画像との類似度を算出する際に対象
とする画像範囲を指定し、その指定された画像範囲にお
けるテンプレート画像とサーチ画像との類似度を算出
し、算出された類似度を類似度テーブルに登録し、任意
のテンプレート画像に対するサーチ画像毎に類似度テー
ブルに登録された類似度を降順に並べ替え、この並べ替
えられた類似度が高い順に対応するサーチ画像を表示す
ることによって、ファクシミリやスキャナ等で取り込ま
れた画像を、キーワードや罫線を用いることなく検索す
ることができるという効果が得られる。As described above, the image search system of the present invention specifies the target image range when calculating the similarity between the template image, which is a template of the image, and the search image input from the outside. , The similarity between the template image and the search image in the specified image range is calculated, the calculated similarity is registered in the similarity table, and the search image for any template image is registered in the similarity table. By rearranging the similarities in descending order and displaying the corresponding search images in descending order of similarity, it is possible to search for images captured by a facsimile or scanner without using keywords or ruled lines. The effect of being able to be obtained is obtained.
【００４８】また、本発明の画像検索システムは、画像
の雛形であるテンプレート画像から認識するための情報
が含まれている局所範囲を検出し、その検出された局所
範囲におけるテンプレート画像と外部から入力されるサ
ーチ画像との類似度を算出し、算出された類似度を類似
度テーブルに登録し、任意のテンプレート画像に対する
サーチ画像毎に類似度テーブルに登録された類似度を降
順に並べ替え、この並べ替えられた類似度が高い順に対
応するサーチ画像を表示することによって、検索者が予
め検索画像の特徴となる範囲を指定しなくても自動的に
テンプレート画像から検索する範囲を検出して登録する
ことができるという効果が得られる。Further, the image retrieval system of the present invention detects a local range including information for recognition from a template image which is a template of an image, and inputs the template image in the detected local range from the outside. Is calculated, the calculated similarity is registered in the similarity table, and the similarity registered in the similarity table for each search image for any template image is rearranged in descending order. By displaying the search images corresponding to the rearranged high similarity, the search range is automatically detected and registered from the template image even if the searcher does not previously specify the range that is the feature of the search image. The effect of being able to do is obtained.
【図１】本発明の一実施例による画像検索システムの構
成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an image search system according to an embodiment of the present invention.
【図２】図１のテンプレート画像とサーチ画像との具体
例を示す図である。FIG. 2 is a diagram showing a specific example of the template image and the search image of FIG.
【図３】本発明の一実施例による画像検索システムの動
作を示すフローチャートである。FIG. 3 is a flowchart showing an operation of the image search system according to the embodiment of the present invention.
【図４】局所範囲が指定されたテンプレート画像のデー
タ内容を示す図である。FIG. 4 is a diagram showing data contents of a template image in which a local range is designated.
【図５】除外範囲が指定されたテンプレート画像のデー
タ内容を示す図である。FIG. 5 is a diagram showing data contents of a template image in which an exclusion range is designated.
【図６】類似度テーブル例を示す図である。FIG. 6 is a diagram showing an example of a similarity table.
【図７】本発明の他の実施例による画像検索システムの
構成を示すブロック図である。FIG. 7 is a block diagram showing a configuration of an image search system according to another embodiment of the present invention.
【図８】図７の局所範囲検出部を用いてテンプレート画
像から局所範囲を検出する動作について説明するための
図である。FIG. 8 is a diagram for explaining an operation of detecting a local range from a template image using the local range detection unit of FIG.
２−１，２−８，１３ テンプレート画像 ２−２ 局所範囲（１） ２−３ 局所範囲（２） ２−４，２−１２ ロゴマーク ２−５，２−１０ 帳票の種類 ２−６，８−３ 送付先 ２−７，８−４ 送付元 ２−９ 除外範囲（１） ２−１３ 飾り罫線 ２−１４，１４ サーチ画像 ８−１ ロゴが印字されている位置 ８−２ 帳票種類を示す印字 １１ 範囲指定部 １２ 画像入力機器 １５ 類似度算出部 １６ 類似度登録部 １７ 類似度テーブルソート部 １８ 画像表示部 １９ 局所範囲検出部 2-1, 2-8, 13 Template image 2-2 Local range (1) 2-3 Local range (2) 2-4, 2-12 logo mark 2-5, 2-10 Types of forms 2-6, 8-3 Destination 2-7, 8-4 sender 2-9 Exclusion range (1) 2-13 Decorative ruled lines 2-14,14 Search image 8-1 Position where the logo is printed 8-2 Printing indicating the type of form 11 Range designation section 12 Image input device 15 Similarity calculation section 16 Similarity registration section 17 Similarity table sorting section 18 Image display section 19 Local range detector
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA10 BA10 BA16 CA07 DA06 EA18 FA02 FA09 FA12 FA19 GA08 5B075 ND06 PP28 QM05 5L096 AA03 AA07 BA07 BA17 CA18 CA24 EA37 FA34 HA08 JA03 KA11 KA15 ─────────────────────────────────────────────────── ─── Continued front page F-term (reference) 5B050 AA10 BA10 BA16 CA07 DA06 EA18 FA02 FA09 FA12 FA19 GA08 5B075 ND06 PP28 QM05 5L096 AA03 AA07 BA07 BA17 CA18 CA24 EA37 FA34 HA08 JA03 KA11 KA15
Claims (3)
部から入力されるサーチ画像との類似度を算出する際に
対象とする画像範囲を指定する範囲指定手段と、 前記範囲指定手段で指定された画像範囲における前記テ
ンプレート画像と前記サーチ画像との類似度を算出する
類似度算出手段と、 前記類似度算出手段で算出された類似度を類似度テーブ
ルに登録する類似度登録手段と、 任意のテンプレート画像に対するサーチ画像毎に前記類
似度テーブルに登録された類似度を降順に並べ替える類
似度テーブルソート手段と、 前記類似度テーブルソート手段で並べ替えられた類似度
が高い順に対応するサーチ画像を表示する画像表示手段
とを有することを特徴とする画像検索システム。1. A range designating unit that designates an image range to be a target when calculating the similarity between a template image that is a template of an image and a search image that is input from the outside, and a range designating unit that is designated by the range designating unit. Similarity calculation means for calculating the similarity between the template image and the search image in the image range, similarity registration means for registering the similarity calculated by the similarity calculation means in a similarity table, and an arbitrary template Similarity table sorting means for rearranging the similarities registered in the similarity table for each search image for images in descending order, and search images corresponding to the highest similarity sorted by the similarity table sorting means are displayed. And an image display means for displaying the image.
認識するための情報が含まれている局所範囲を検出する
局所範囲検出手段と、 前記局所範囲検出手段で検出された局所範囲における前
記テンプレート画像と外部から入力されるサーチ画像と
の類似度を算出する類似度算出手段と、 前記類似度算出手段で算出された類似度を類似度テーブ
ルに登録する類似度登録手段と、 任意のテンプレート画像に対するサーチ画像毎に前記類
似度テーブルに登録された類似度を降順に並べ替える類
似度テーブルソート手段と、 前記類似度テーブルソート手段で並べ替えられた類似度
が高い順に対応するサーチ画像を表示する画像表示手段
とを有することを特徴とする画像検索システム。2. A local range detecting means for detecting a local range including information for recognition from a template image which is a template of an image, and the template image in the local range detected by the local range detecting means. Similarity calculation means for calculating a similarity to a search image input from the outside, similarity registration means for registering the similarity calculated by the similarity calculation means in a similarity table, and search for an arbitrary template image Similarity table sorting means for rearranging the similarities registered in the similarity table for each image in descending order, and image display for displaying search images corresponding to the descending order of similarity sorted by the similarity table sorting means. An image retrieval system comprising means.
前記テンプレート画像及び前記サーチ画像に電子データ
として保存する画像入力機器を含むことを特徴とする請
求項１または請求項２記載の画像検索システム。3. The image search according to claim 1, further comprising an image input device that saves an image of a form for printing or filling as electronic data in the template image and the search image. system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001386843A JP2003187217A (en) | 2001-12-20 | 2001-12-20 | Image retrieval system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001386843A JP2003187217A (en) | 2001-12-20 | 2001-12-20 | Image retrieval system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003187217A true JP2003187217A (en) | 2003-07-04 |
Family
ID=27595855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001386843A Pending JP2003187217A (en) | 2001-12-20 | 2001-12-20 | Image retrieval system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003187217A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100456294C (en) * | 2005-10-17 | 2009-01-28 | 富士通株式会社 | Image display control device |
| JP2009025856A (en) * | 2007-07-17 | 2009-02-05 | Hitachi Computer Peripherals Co Ltd | Document discrimination program and document discrimination device |
| US7574051B2 (en) | 2005-06-10 | 2009-08-11 | British Telecommunications Plc | Comparison of patterns |
| US7593602B2 (en) | 2002-12-19 | 2009-09-22 | British Telecommunications Plc | Searching images |
| JP2010033464A (en) * | 2008-07-30 | 2010-02-12 | Ricoh Co Ltd | Image retrieval device, image retrieving method, information processing program and recording medium |
| JP2011065311A (en) * | 2009-09-16 | 2011-03-31 | Fuji Xerox Co Ltd | Image processor and image processing program |
| US8040428B2 (en) | 2005-12-19 | 2011-10-18 | British Telecommunications Public Limited Company | Method for focus control |
| US8077978B2 (en) | 2006-05-01 | 2011-12-13 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US8135210B2 (en) | 2005-07-28 | 2012-03-13 | British Telecommunications Public Limited Company | Image analysis relating to extracting three dimensional information from a two dimensional image |
| JP2013061764A (en) * | 2011-09-13 | 2013-04-04 | Ricoh Co Ltd | Image identification device and image identification method |
| JP2014123868A (en) * | 2012-12-21 | 2014-07-03 | Mitsubishi Electric Corp | Print terminal and image display method |
| JP2018074180A (en) * | 2016-10-24 | 2018-05-10 | キヤノン株式会社 | Image processing device, image processing system, control method of image processing device, and program |
-
2001
- 2001-12-20 JP JP2001386843A patent/JP2003187217A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7593602B2 (en) | 2002-12-19 | 2009-09-22 | British Telecommunications Plc | Searching images |
| US7574051B2 (en) | 2005-06-10 | 2009-08-11 | British Telecommunications Plc | Comparison of patterns |
| US8135210B2 (en) | 2005-07-28 | 2012-03-13 | British Telecommunications Public Limited Company | Image analysis relating to extracting three dimensional information from a two dimensional image |
| CN100456294C (en) * | 2005-10-17 | 2009-01-28 | 富士通株式会社 | Image display control device |
| US8040428B2 (en) | 2005-12-19 | 2011-10-18 | British Telecommunications Public Limited Company | Method for focus control |
| US8077978B2 (en) | 2006-05-01 | 2011-12-13 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US8401302B2 (en) | 2006-05-01 | 2013-03-19 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2009025856A (en) * | 2007-07-17 | 2009-02-05 | Hitachi Computer Peripherals Co Ltd | Document discrimination program and document discrimination device |
| JP2010033464A (en) * | 2008-07-30 | 2010-02-12 | Ricoh Co Ltd | Image retrieval device, image retrieving method, information processing program and recording medium |
| JP2011065311A (en) * | 2009-09-16 | 2011-03-31 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2013061764A (en) * | 2011-09-13 | 2013-04-04 | Ricoh Co Ltd | Image identification device and image identification method |
| JP2014123868A (en) * | 2012-12-21 | 2014-07-03 | Mitsubishi Electric Corp | Print terminal and image display method |
| JP2018074180A (en) * | 2016-10-24 | 2018-05-10 | キヤノン株式会社 | Image processing device, image processing system, control method of image processing device, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10572725B1 (en) | Form image field extraction | |
| AU2010252999B2 (en) | Embedded media markers and systems and methods for generating and using them | |
| US8583637B2 (en) | Coarse-to-fine navigation through paginated documents retrieved by a text search engine | |
| US5850490A (en) | Analyzing an image of a document using alternative positionings of a class of segments | |
| US20070035780A1 (en) | System and method for defining characteristic data of a scanned document | |
| JP2007286864A (en) | Image processor, image processing method, program, and recording medium | |
| US20030229857A1 (en) | Apparatus, method, and computer program product for document manipulation which embeds information in document data | |
| US20060085442A1 (en) | Document image information management apparatus and document image information management program | |
| JP2010072842A (en) | Image processing apparatus and image processing method | |
| US10445570B2 (en) | Information processing apparatus | |
| JP2003187217A (en) | Image retrieval system | |
| JP3683925B2 (en) | Electronic filing device | |
| JP2002268864A (en) | Accurate printing of proprietary mark pattern and color | |
| JP2007004621A (en) | Document management supporting device, and document management supporting method and program | |
| JP2006004298A (en) | Document processing apparatus, documents processing method, and document processing program | |
| JP2008204184A (en) | Image processor, image processing method, program and recording medium | |
| US20070133907A1 (en) | Image processing apparatus | |
| CN114821620A (en) | Text content extraction and identification method based on longitudinal combination of line text boxes | |
| US7042594B1 (en) | System and method for saving handwriting as an annotation in a scanned document | |
| JPH1115834A (en) | Picture processor and its controlling method | |
| JP4278134B2 (en) | Information retrieval apparatus, program, and recording medium | |
| JPH08180068A (en) | Electronic filing device | |
| JP3171626B2 (en) | Character recognition processing area / processing condition specification method | |
| JP2004280514A (en) | Pdf file and system for forming pdf file | |
| CN113268193B (en) | Notebook page moving method, electronic equipment and computer storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070427 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071009 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080219 |