JPH0325676A - Picture data base retrieval method - Google Patents

Abstract

PURPOSE:To improve the retrieval efficiency of a picture data base with back-up of decision of the important information, the reduction of the retrieval time, the reduction of the communication value, etc., by decoding and displaying a picture nearby a key word with accuracy equal to that of an original picture via a key word nearby picture decoding part with other parts decoded and displayed with the roughest hierarchical code via a hierarchical picture decoding part respectively. CONSTITUTION:The picture data is inputted via a scanner part 11 and hierarchically encoded by a hierarchical picture encoding part 18. Then the encoded picture data is stored in a picture data store part 13. At the same time, a retrieving key word and the position information on an internal partial area of the picture data corresponding to the key word are inputted via a key word information input part 12 and stored in a key word store part 14 with correspondence secured between them. When the retrieving candidate pictures are displayed, only the internal partial area of the picture data are displayed earlier with high accuracy with other parts decoded and displayed with the roughest hierarchical code respectively. As a result, the retrieving efficiency is improved for a picture data base.

Description

【発明の詳細な説明】 （産業上の利用分野） この発明は、検索キー管理・照合方式による画像データ
ベース検索システムにおいて、効率的な画像データベー
ス検索方法に関するものである。DETAILED DESCRIPTION OF THE INVENTION (Field of Industrial Application) The present invention relates to an efficient image database search method in an image database search system using a search key management/verification method.

〔従来の技術） 画像データベースの検索方法として、テキストデータベ
ース検索方法と同様、画像の内容を表すキーワードのみ
を管理しておき、キーワード検索式を人力することによ
り所望の画像データを検索する検索キー管埋・照合方式
と、数個の代表画像の表示とユーザからの指示を繰り返
すことにより所望の画像データを探索・絞り込む方法が
ある。[Prior art] As an image database search method, similar to the text database search method, there is a search key management method in which only keywords representing the content of images are managed and desired image data is retrieved by manually inputting a keyword search formula. There are a filling and matching method and a method of searching and narrowing down desired image data by displaying several representative images and repeating instructions from the user.

前者の方法は、ユーザが想起した内容を陽な形に表現・
記述できる画像に向いている。後者の方法では、ユーザ
イメージを陽な形に表現することが困難な画像に向いて
いる。The former method expresses and expresses what the user has recalled in an explicit form.
Suitable for images that can be described. The latter method is suitable for images in which it is difficult to clearly express the user's image.

前者の検索キー管理・照合方式による画像データベース
検索システムの従来例を第５図に示す。A conventional example of an image database search system using the former search key management/verification method is shown in FIG.

図中、１１はスキャナ部、１２はキーワード情報入力部
、１３は画像データ蓄積部、１４はキーワード蓄積部、
１５は前記画像データ蓄積部１３とキーワード蓄積部１
４からなる画像データベース部、１６は検索操作部、１
７は検索照合部、１８は階層的画像符号化部、１９は復
号化部である。In the figure, 11 is a scanner section, 12 is a keyword information input section, 13 is an image data storage section, 14 is a keyword storage section,
15 is the image data storage section 13 and the keyword storage section 1;
1 is an image database section consisting of 4; 16 is a search operation section; 1 is a search operation section;
Reference numeral 7 represents a search and matching unit, 18 represents a hierarchical image encoding unit, and 19 represents a decoding unit.

このシステムの動作概要を以下に示す。An overview of the operation of this system is shown below.

画像データを登録するには、まず、スキャナ部１１より
原画像を取り込み、種々の符号化方式により階層的画像
符号化部１８において圧縮し、画像データ蓄積部１３に
蓄積する。次に、キーワード情報入力部１２より原画像
の特徴を表す言葉（キーワード）をキーワード蓄積部１
４に登録し、前記蓄積した画像データとの対応関係を明
記する。To register image data, first, an original image is taken in from the scanner section 11, compressed by the hierarchical image encoding section 18 using various encoding methods, and stored in the image data storage section 13. Next, words (keywords) expressing the characteristics of the original image are input from the keyword information input section 12 into the keyword storage section 12.
4, and specify the correspondence with the accumulated image data.

次に、以上の方法で登録された画像データベース部１５
より、オペレータが画像データを検索するには、検索操
作部１６より検索したい画像データに対応して想起した
適当なキーワード検索式を入力する．人力されたキーワ
ードに対して検索照合部１７では、キーワード蓄積部１
４内のキーワード情報と照合し、入力されたキーワード
検索式に適合する画像データ（複数適合する場合もある
）を検索する。検索された画像データは、前記階層的画
像符号化部１８に対応する復号化方式により階層的画像
復号化部１９で復号化され検索操作部１６に表示される
。オペレータはこの画像を順次見て、検索意図を満足す
る画像かどうか判断する． （発明が解決しようとする課題） 以上に示した従来の画像データベース検索方法の場合、
才ベレータが複数の検索候補画像データから目視で検索
意図を満足する画像を識別するとき、指定キーワードに
関連する最も重要な部分領域の画像が、その他の部分と
同等の精細度で表示（復号化）されているため、意図し
た画像を効果的に識別ができないという欠点があった。Next, the image database unit 15 registered in the above manner
Therefore, in order to search for image data, the operator inputs an appropriate keyword search formula that has been recalled corresponding to the image data to be searched from the search operation section 16. The search matching unit 17 uses the keyword storage unit 1 for the manually generated keywords.
4 to search for image data (more than one may match) that matches the input keyword search formula. The searched image data is decoded by a hierarchical image decoding unit 19 using a decoding method corresponding to the hierarchical image encoding unit 18 and displayed on the search operation unit 16. The operator views these images one by one and determines whether the image satisfies the search intent. (Problem to be solved by the invention) In the case of the conventional image database search method shown above,
When an image that satisfies the search intent is visually identified from multiple search candidate image data, the image of the most important partial region related to the specified keyword is displayed (decoded) at the same resolution as the other parts. ), the disadvantage is that the intended image cannot be effectively identified.

この発明は上記の欠点を解消するためになされたもので
、必要な部分を高精細に表示することができる画像デー
タベース検索方法を提供することを目的とする。The present invention was made in order to eliminate the above-mentioned drawbacks, and an object of the present invention is to provide an image database search method that can display a necessary portion in high definition.

〔課題を解決するための手段〕[Means to solve the problem]

この発明にかかる画像データベース検索方法は、画像デ
ータをスキャナ部より入力し、階層的画像符号化部でｍ
層的に符号化して画像データ蓄積部に蓄積すると同時に
、キーワード情報入力部より検索用キーワードとキーワ
ードに対応する画像データ内部分領域の位置情報を人力
し両者対応させてキーワード蓄積部に蓄積した後、キー
ワードの検索により検索された画像データを表示する際
、画像データの指定キーワードに対応する画像データ内
部分領域の位置情報をもとに、キーワード近傍画像復号
化部で前記画像データ内部分領域のみ原画像の精細度ま
で復号化して表示し・、残りの領域を階層的画像復号化
部で最も粗い階層符号で復号化して表示するようにした
ものである。In the image database search method according to the present invention, image data is inputted from a scanner section, and is processed by a hierarchical image encoding section.
At the same time, the data is encoded in a layered manner and stored in the image data storage section, and at the same time, the search keyword and position information of the partial area within the image data corresponding to the keyword are input manually from the keyword information input section, and both are correlated and stored in the keyword storage section. When displaying the image data retrieved by keyword search, based on the position information of the partial area within the image data that corresponds to the designated keyword of the image data, the image decoding unit near the keyword decodes only the partial area within the image data. The original image is decoded to the fineness of the original image and displayed, and the remaining area is decoded using the coarsest hierarchical code in a hierarchical image decoding section and displayed.

〔作用〕[Effect]

この発明においては、階層的画像符号化により入力され
た画像データに対し、検索キーワードとキーワードに対
応する画像データ内部分領域の位置情報を登録した後、
検索候補画像を表示する際に前記画像データ内部分領域
のみを先に高精細に表示し、前記画像データ内部分領域
以外は、最も粗い階層符号で復号化して表示することに
より、画像データベース検索の能率が向上する．（実施
例） 以下、この発明の実施例について説明する。In this invention, after registering a search keyword and position information of a partial area within the image data corresponding to the keyword for image data input by hierarchical image encoding,
When displaying search candidate images, only the partial area within the image data is displayed in high definition first, and the partial areas other than the partial area within the image data are decoded using the coarsest hierarchical code and displayed, thereby improving image database search. Improves efficiency. (Example) Examples of the present invention will be described below.

第１図はこの発明の画像データベース検索方法を実施す
るための装置の機能ブロック図である。FIG. 1 is a functional block diagram of an apparatus for implementing the image database search method of the present invention.

図中、１１〜１９は第５図に示すものと同一部分であり
、２０はキーワード近傍画像復号化部を示す。In the figure, 11 to 19 are the same parts as shown in FIG. 5, and 20 is a keyword neighborhood image decoding section.

まず、画像データの蓄積手順を説明する。入力したい画
像をスキャナ部１１より読み込み、階層的画像符号化部
１８により、順次階層符号化方式（例えば、ラブラシア
ンピラミッド符号化やＡＤＣＴ方式など）により符号化
して画像データ蓄積部１３に蓄積する。この際、キーワ
ード情報入力部１２により前記蓄積した画像データに対
応する複数のキーワードを人力すると同時に、前記キー
ワードに対応する画像データ内部分領域を指定する。First, the procedure for accumulating image data will be explained. An image to be input is read by the scanner unit 11, sequentially encoded by the hierarchical image encoding unit 18 using a hierarchical encoding method (for example, Lavrasian pyramid encoding, ADCT method, etc.), and stored in the image data storage unit 13. At this time, a plurality of keywords corresponding to the accumulated image data are entered manually using the keyword information input section 12, and at the same time, a partial area within the image data corresponding to the keyword is specified.

この画像データ内部分領域の指定方法の例を第２図に示
す．第２図では、入力された壺Ｓの画像をキーワード情
報入力部１２に表示しＪ促進メッセージに従ってキーワ
ードとして「継ぎ手」を入力した後、マウス等により「
継ぎ手」に対応する部分領域を指定する。下線部が操作
者の入力した情報、それ以外がシステム側の促進メッセ
ージである．指定したキーワード位置情報は座標番号な
どに変換されて、画像データおよびキーワードに対応さ
せてキーワード蓄積部１４に蓄積する。Figure 2 shows an example of how to specify this partial area within image data. In FIG. 2, the inputted image of the pot S is displayed on the keyword information input section 12, and after inputting "joint" as a keyword according to the J promotion message, "
Specify the partial area corresponding to "Joint". The underlined part is the information entered by the operator, and the rest are prompt messages from the system side. The designated keyword position information is converted into a coordinate number, etc., and stored in the keyword storage unit 14 in correspondence with the image data and the keyword.

第３図はキーワード蓄積部１４の内容の例を示している
。各画像に対し、付与されたキーワードおよび対応する
部分領域の開始・終了座標番号が登録されている． 次に、画像データベース部１５よりキーワード指定方式
によって所望の画像データを検索する手順を説明する。FIG. 3 shows an example of the contents of the keyword storage section 14. For each image, the assigned keyword and the start and end coordinate numbers of the corresponding partial area are registered. Next, a procedure for searching the image database section 15 for desired image data using a keyword specification method will be described.

検索操作部１６より想起した適当なキーワード検索式を
入力する。入力されたキーワードに対して検索照合部１
７では、キーワード蓄積部１４内のキーワードファイル
と照合し、判定を行う。照合に成功した場合は、対応す
る画像データとキーワードの位置情報を抽出する．指定
したキーワードに対するキーワード位置情報に含まれる
部分画像領域は、キーワード近傍画像符号化部２０で非
階層的に高精細復号化し、検索操作部１６に表示する．
前記キーワード位置情報に含まれる部分画像領域以外の
領域は、階層的画像復号化部１９で最も粗い階層的復号
で復号化して検索操作部１６に表示する。オペレータは
表示される画像が検索の意図を満足するかどうかを識別
できた時点でシステムに指示することにより、次の検索
候補画像を表示する。第４図に表示例を示す。ここでは
、キーワードとして「継ぎ手」を指定することにより、
第２図で入力した画像を候補画像として表示した例であ
る。An appropriate keyword search formula recalled from the search operation section 16 is input. Search matching unit 1 for the input keyword
In step 7, the keyword file in the keyword storage section 14 is compared to make a determination. If the matching is successful, the corresponding image data and keyword location information are extracted. The partial image area included in the keyword position information for the specified keyword is non-hierarchically decoded in high definition by the keyword neighborhood image encoding unit 20 and displayed on the search operation unit 16.
Areas other than the partial image area included in the keyword position information are decoded by the hierarchical image decoding unit 19 using the coarsest hierarchical decoding and displayed on the search operation unit 16. When the operator identifies whether the displayed image satisfies the search intent, the operator instructs the system to display the next search candidate image. A display example is shown in FIG. Here, by specifying "joint" as the keyword,
This is an example in which the image input in FIG. 2 is displayed as a candidate image.

キーワード位置情報で示す領域が画像の部分でなく画像
全体の場合は、全体を階層的に順次表示する。また、複
数のキーワードよりなる場合は最後に入力されたキーワ
ードの位置情報に基づき表示する． 〔発明の効果〕 以上説明したとおり、この発明はキーワード入力による
画像データベース検索方法において、キーワード近傍画
像復号化部でキーワードの近傍画像を原画像の精細度ま
で復号化して表示し、残りの部分は階層的画像復号化部
で最も粗い階層符号で復号化して表示することにより、
画像データベ−スの検索時の重要情報の判別支援，検索
時間の短縮，データベース部分と検索操作部が離れてい
る場合は通信量の削減など、検索効率の向上を図ること
ができる利点がある。If the area indicated by the keyword position information is not a part of the image but the entire image, the entire image is sequentially displayed hierarchically. Also, if there are multiple keywords, the information will be displayed based on the location information of the last keyword entered. [Effects of the Invention] As explained above, in the image database search method using keyword input, the present invention decodes and displays the image near the keyword to the fineness of the original image in the keyword neighboring image decoding section, and the remaining part is displayed. By decoding and displaying using the coarsest hierarchical code in the hierarchical image decoding unit,
It has the advantage of improving search efficiency, such as assisting in determining important information when searching an image database, shortening search time, and reducing communication traffic when the database section and search operation section are separated.

【図面の簡単な説明】[Brief explanation of drawings]

第１図はこの発明の実施例のシステム構成を示すブロッ
ク図、第２図はキーワード対応部分領域の指定方法の一
例を示す図、第３図は、第１図の実施例におけるキーワ
ード蓄積部の内容の一例を示す図、第４図は検索結果の
表示例を示す図、第５図は従来の画像データベース検索
方法におけるシステム構成を示すブロック図である。 図中、１１はスキャナ部、１２はキーワード情報入力部
、１３は画像データ蓄積部、１４はキーワード蓄積部、
１５は画像データベース部、１日は検索操作部、１７は
検索照合部、１８は階層的画像符号化部、１９は階層的
画像復号化部、２０はキーワード近傍画像復号化部であ
る。 １う ２ 図 弔 ３ 図 弔 ４ 図FIG. 1 is a block diagram showing the system configuration of an embodiment of the present invention, FIG. 2 is a diagram showing an example of a method for specifying a keyword-corresponding partial area, and FIG. 3 is a diagram showing a keyword storage unit in the embodiment of FIG. FIG. 4 is a diagram showing an example of display of search results, and FIG. 5 is a block diagram showing a system configuration in a conventional image database search method. In the figure, 11 is a scanner section, 12 is a keyword information input section, 13 is an image data storage section, 14 is a keyword storage section,
15 is an image database section, 1st is a search operation section, 17 is a search collation section, 18 is a hierarchical image encoding section, 19 is a hierarchical image decoding section, and 20 is a keyword neighborhood image decoding section. 1-2 Diagram 3 Diagram 4 Diagram

Claims (1)

【特許請求の範囲】[Claims] 　画像データを入力するスキャナ部、画像データを蓄積
する画像データ蓄積部、前記画像データに対して検索用
キーワード情報を入力するキーワード情報入力部、キー
ワードおよびキーワードに対応する画像内部分領域の位
置情報を蓄積・管理するキーワード蓄積部、検索キーワ
ードの入力・検索結果の表示を行う検索操作部、前記検
索キーワードと前記キーワード蓄積部との照合を行う検
索照合部、画像を階層的に符号化する階層的画像符号化
部、画像を階層的に復号化する階層的画像復号化部およ
び画像内部分領域を非階層的に復号化するキーワード近
傍画像復号化部より構成される画像データベースシステ
ムを用い、前記画像データをスキャナ部より入力し、階
層的画像符号化部で階層的に符号化して画像データ蓄積
部に蓄積すると同時に、キーワード情報入力部より検索
用キーワードと前記キーワードに対応する前記画像デー
タ内部分領域の位置情報を入力し両者対応させて前記キ
ーワード蓄積部に蓄積した後、キーワードの検索により
検索された画像データを表示する際、前記画像データの
指定キーワードに対応する画像データ内部分領域の位置
情報をもとに、前記キーワード近傍画像復号化部で前記
画像データ内部分領域のみ原画像の精細度まで復号化し
て表示し、残りの領域を階層的画像復号化部で最も粗い
階層符号で復号化して表示することを特徴とする画像デ
ータベース検索方法。A scanner unit for inputting image data, an image data storage unit for accumulating image data, a keyword information input unit for inputting search keyword information for the image data, and a keyword information input unit for inputting search keyword information for the image data, position information of a keyword and a partial area within the image corresponding to the keyword. A keyword storage unit that stores and manages a keyword storage unit, a search operation unit that inputs search keywords and displays search results, a search matching unit that matches the search keywords with the keyword storage unit, and a hierarchical coder that hierarchically encodes images. Using an image database system comprising an image encoding unit, a hierarchical image decoding unit that hierarchically decodes images, and a keyword neighborhood image decoding unit that non-hierarchically decodes partial regions within the image, Data is input from the scanner section, hierarchically encoded by the hierarchical image encoding section, and stored in the image data storage section, and at the same time, a search keyword and a partial area within the image data corresponding to the keyword are input from the keyword information input section. After inputting location information and storing both in correspondence in the keyword storage section, when displaying the image data retrieved by keyword search, the location information of the partial area within the image data corresponding to the specified keyword of the image data is displayed. Based on this, the keyword neighborhood image decoding unit decodes and displays only the partial area within the image data to the fineness of the original image, and the remaining area is decoded using the coarsest hierarchical code in the hierarchical image decoding unit. An image database search method characterized by displaying an image database.