JP2890482B2 - Document image relocation filing device - Google Patents
Document image relocation filing deviceInfo
- Publication number
- JP2890482B2 JP2890482B2 JP1148463A JP14846389A JP2890482B2 JP 2890482 B2 JP2890482 B2 JP 2890482B2 JP 1148463 A JP1148463 A JP 1148463A JP 14846389 A JP14846389 A JP 14846389A JP 2890482 B2 JP2890482 B2 JP 2890482B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- item
- document image
- search
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、新聞切抜等の文書画像において、見出し、
本文、図表、写真等異なる属性からなる領域の画像を自
動的に抽出し、各項目ごとに蓄積した後、各項目全体を
再配置して出力できる文書画像再配置ファイリング装置
に関する。DETAILED DESCRIPTION OF THE INVENTION (Industrial application field) The present invention relates to a heading,
The present invention relates to a document image rearrangement filing apparatus capable of automatically extracting an image of a region having different attributes such as a text, a chart, and a photograph, storing the image for each item, and rearranging and outputting the entire item.
（従来の技術） 新聞切抜等の文書画像をファイリングする装置におい
て、その複雑なレイアウト形状を文書画像の属性（見出
し、本文、図表、写真）領域に従って自動的にそれぞれ
の領域を抽出して、コンパクトに再配置するシステムが
提案されている。(Prior Art) In a device for filing a document image such as a newspaper clipping, a complicated layout shape is automatically extracted according to the attribute (heading, text, figure, table, photograph) region of the document image, and a compact layout is obtained. A relocation system has been proposed.
たとえば、画像入力装置から入力した新聞画像をマン
マシン対話によりパターンとして抽出し、構造記述によ
りデータを構造化してデータ量を削減して蓄積し、利用
時にはその目的に合わせて再編集できるデータベース編
集管理システムがある（信学技報 PRL84−101 P.65〜
72）。For example, a database editing management system that extracts newspaper images input from an image input device as a pattern through man-machine interaction, structures the data using a structural description, reduces the amount of data, stores the data, and re-edits it according to its purpose when using it. There is a system (IEEE Technical Report PRL84-101 P.65 ～
72).
また、文書の形態的情報やキーワードを用いて、標
題、章、節等による階層構造と、本文と図表間の参照構
造等の文書構造の自動抽出を行うことができ、さらに、
文書構造に基づいた書式とレイアウト知識を用いて、文
書のフォーマッティングや図表の割付けを行う自動レイ
アウトシステム等がある（情報処理研究会 「文書処理
とヒューマンインタフェース」 20−３ 1988.9.
8.）。In addition, by using the morphological information and keywords of the document, it is possible to automatically extract a hierarchical structure including titles, chapters, sections, and the like, and a document structure such as a reference structure between the main body and figures and tables.
There is an automatic layout system that uses the format and layout knowledge based on the document structure to format the document and allocate the figures and tables. (Information Processing Society of Japan "Document Processing and Human Interface" 20-3 1988.9.
8.).
（発明が解決しようとする課題） しかし、ファイリングされた文書画像から所望の文書
画像を得るためには、文書画像全体を検索・チェックし
なければならないので、検索に時間がかかった。また、
文書画像には見出し、本文、図表、写真等が混在してい
るので、データの蓄積として無駄である場合があった。(Problems to be Solved by the Invention) However, in order to obtain a desired document image from a filed document image, it is necessary to search and check the entire document image. Also,
Since a document image includes a heading, a text, a chart, a photograph, and the like, it may be useless as data storage.
本発明は文書画像の検索・表示時間を短縮させるとと
もに、文書画像を再配置することによって文書中の無駄
な余白を取り除いてデータ圧縮をさせることができる文
書画像再ファイリング装置を提供することを目的とす
る。An object of the present invention is to provide a document image re-filing apparatus capable of shortening the search / display time of a document image, and removing unnecessary margins in the document by rearranging the document image to perform data compression. And
（課題を解決するための手段） 本発明は、第１図に示すように、新聞切抜等の文書画
像をスキャン入力する文書画像入力手段１と、前記文書
画像入力手段１により入力された文書画像の見出し（３
−１）、本文（３−２）、図表（３−３）、写真（３−
４）等の各異なる属性の領域を自動的に抽出、分離する
領域分離手段２と、前記領域分離手段２により抽出、分
離された見出し、本文、図表、写真等の各項目を属性に
対応して項目ごとに蓄積、格納する項目別ファイル蓄積
手段３を、前記項目別ファイル蓄積手段３に蓄積されて
いる各項目の内容をそれぞれの項目の属性に対応して個
別に検索する項目別検索手段（６、７）により所望の文
書画像を検索する検索手段と、前記検索手段により検索
された所望の文書画像に対して、各項目の内容を再配置
して全体の文書画像を出力する文書画像再配置手段８と
から構成する。(Means for Solving the Problems) As shown in FIG. 1, the present invention provides a document image input unit 1 for scanning and inputting a document image such as a newspaper clipping, and a document image input by the document image input unit 1. Heading (3
-1), text (3-2), charts (3-3), photographs (3--3)
4) automatically extracting and separating regions having different attributes, etc., and each item such as a heading, a text, a chart, a photograph, etc. extracted and separated by the region separating device 2 corresponds to the attribute. Item-based file storage means 3 for storing and storing each item by item, and searching for the contents of each item stored in the item-based file storage means 3 individually in accordance with the attribute of each item. (6, 7) a search means for searching for a desired document image, and a document image for rearranging the contents of each item and outputting the entire document image with respect to the desired document image searched for by the search means And rearrangement means 8.
（作用） 文書画像入力手段１によって新聞等をスキャンして入
力された入力文書画像は、領域分離処理手段２で、見出
し３−１、本文３−２、図表３−３、写真３−４の各属
性領域に分離され、それぞれの領域を囲む矩形の左上端
座標（x,y）、幅ｗ、高さｈが抽出される。この時、縦
書き横書きの判別もなされる。次に、見出し３−１と本
文３−２との領域については、文字認識処理が施されて
コードデータに変換され、図表３−３と写真３−４との
領域については、画像圧縮処理が施された後、各属性項
目別にファイリングされる。項目別検索手段６では、見
出し３−１あるいは本文３−２に対するキーワード検索
（登録済部分キーによる部分一致ストリングマッチン
グ）、また、他の項目別検索手段７では、図表３−３、
写真３−４に対する類似画像の検索のいずれかを選んで
検索する。検索時には検索対象とした見出し３−１、本
文３−２、図表３−３、写真３−４のいずれかのみ表示
し、検索終了時には文書画像全体を再配置処理手段８で
再配置処理を施して表示する。再配置処理手段８では、
見出し３−１、本文３−２、図表３−３、写真３−４の
順に、右上から左に配置し、左端になったら段落を変え
る（横書きの場合は左上から右に配置していく）事をく
り返す。(Operation) An input document image input by scanning a newspaper or the like by the document image input means 1 is input to the segmentation processing means 2 and includes a heading 3-1, a text 3-2, a chart 3-3, and a photograph 3-4. The coordinates (x, y), the width w, and the height h of the upper left corner of the rectangle surrounding each area are extracted. At this time, vertical writing and horizontal writing are also determined. Next, the area of the heading 3-1 and the body 3-2 is subjected to character recognition processing and converted into code data, and the area of the chart 3-3 and the photograph 3-4 is subjected to image compression processing. After the application, it is filed for each attribute item. The item-specific search means 6 performs a keyword search (partial match string matching using a registered partial key) for the heading 3-1 or the text 3-2.
A search is performed by selecting any of similar image searches for the photo 3-4. At the time of the search, only one of the headline 3-1, the text 3-2, the chart 3-3, and the photograph 3-4 as the search target is displayed, and at the end of the search, the whole document image is subjected to the rearrangement processing by the rearrangement processing means 8. To display. In the rearrangement processing means 8,
Heading 3-1, body 3-2, chart 3-3, photograph 3-4 are arranged in order from upper right to left, and change paragraphs at the left end (if horizontal writing, arrange from upper left to right) Repeat things.
第２図および第３図には各属性領域に分離された結果
と再配置された結果の一例をそれぞれ示す。2 and 3 show an example of the result of separation into each attribute area and an example of the result of rearrangement, respectively.
（実 施 例） 第１図を参照しつつ本発明の原理を説明する。(Embodiment) The principle of the present invention will be described with reference to FIG.
図において、文書画像入力手段１では、新聞切抜等の
文書画像をスキャン入力し、領域分離手段２で、入力さ
れた入力文書画像から文書画像の属性別、たとえば、見
出し３−１、本文３−２、図表３−３、写真３−４を自
動的に抽出する。この属性項目別に抽出された文書画像
から文字として、見出し３−１および本文３−２を文字
認識手段４で認識して文字コードに変換した後、項目別
ファイル蓄積手段３に蓄積する。また、前記抽出された
文書画像が画像である場合には、画像圧縮手段５によっ
て圧縮して項目別ファイル蓄積手段３に蓄積する。蓄積
されている文書画像を見たい場合には、文字として見出
し３−１および本文３−２を項目別に検索するためのキ
ーワード検索手段６と、画像として図表３−３および写
真３−４を検索する類似画像検索手段７とにより検索で
きるようになっている。そして、文書画像再配置手段８
には、これらの検索手段によって、最終検索結果を出力
表示する。In the figure, a document image input unit 1 scans and inputs a document image such as a newspaper clipping, and an area separating unit 2 separates the input input document image from the input document image by attribute of the document image, for example, heading 3-1 and text 3- 2. Automatically extract charts 3-3 and photos 3-4. After recognizing the heading 3-1 and the body 3-2 as characters from the document image extracted for each attribute item by the character recognizing unit 4 and converting them into character codes, the characters are stored in the file storing unit 3 for each item. When the extracted document image is an image, the document image is compressed by the image compressing means 5 and stored in the item-specific file storing means 3. When the user wants to view the stored document images, the keyword search means 6 for searching the headline 3-1 and the text 3-2 as characters by item and the chart 3-3 and the photograph 3-4 as images are searched. The similar image search means 7 can perform a search. Then, the document image rearrangement means 8
, The final search result is output and displayed by these search means.
本文字領域、見出し領域、図表領域、および写真領域
のそれぞれの大きさ、領域内の濃度、エッジの数…等の
属性の相違に着目することにより、領域の識別および分
離を任意に行うことができる。By focusing on differences in attributes such as the size of the main character area, the heading area, the chart area, and the photograph area, the density in the area, the number of edges, etc., area identification and separation can be performed arbitrarily. it can.
第４図は領域分離手段２の構成例を示すブロック図で
ある。これは本出願人の出願になる特願昭63−252920号
（発明者 中村豊）、特願昭63−291095号（発明者 中
村豊）、特願平１−87039号（発明者 中村豊）等の明
細書に開示の技術によって構成した一例であり、２値化
手段201、矩形化処理された画像を格納する矩形化領域
画像メモリ202、矩形化処理を行う矩形化処理手段203、
２値化された画像を記憶する２値画像メモリ204、２値
化された画像に対して孤立点除去を施す孤立点除去手段
205、孤立点除去後の画像に対して輪郭抽出処理を施す
輪郭抽出手段206、抽出された輪郭画像を記憶する輪郭
画像メモリ207、各画像メモリ202、204、207の記憶内容
に基づいて画像領域の判定を行う領域識別手段とからな
っている。領域判定手段は、矩形領域アドレス発生部20
8、黒画素数計数部209、210、本文文字識別部211、矩形
面積算出部212、比算出部213、面積比較部（見出し／図
表識別部）214、比比較部（写真／文字線画像識別部）2
15等からなっている。FIG. 4 is a block diagram showing a configuration example of the area separating means 2. These are filed by the present applicant as Japanese Patent Application No. 63-252920 (Inventor Yutaka Nakamura), Japanese Patent Application No. 63-291095 (Inventor Yutaka Nakamura), and Japanese Patent Application No. 1-87039 (Inventor Yutaka Nakamura). The binarizing unit 201, a rectangular area image memory 202 that stores an image subjected to the rectangular processing, a rectangular processing unit 203 that performs the rectangular processing,
Binary image memory 204 for storing a binarized image Isolated point removing means for removing an isolated point from the binarized image
205, a contour extraction unit 206 for performing contour extraction processing on the image after the isolated point removal, a contour image memory 207 for storing the extracted contour image, and an image area based on the storage contents of each of the image memories 202, 204, and 207. And an area identifying means for making the determination. The area determining means includes a rectangular area address generator 20.
8, black pixel number counting units 209 and 210, text character identification unit 211, rectangular area calculation unit 212, ratio calculation unit 213, area comparison unit (heading / chart identification unit) 214, ratio comparison unit (photo / character line image identification) Part) 2
It is 15 mag.
入力画像はスキャナ等より多値で入力される。画像入
力データは２値化手段201により２値化処理される。２
値化された画像は矩形化処理手段203によって黒画素を
連結し連結した領域を矩形で囲む矩形化処理を施され、
得られた矩形領域は矩形化領域画像メモリ202に記憶さ
れ、画像の識別単位として利用される。The input image is input as a multi-value from a scanner or the like. The image input data is binarized by the binarization unit 201. 2
The valued image is subjected to a rectangularization process in which the black pixels are connected and the connected area is surrounded by a rectangle by the rectangularization processing means 203,
The obtained rectangular area is stored in the rectangular area image memory 202 and used as an image identification unit.
また、２値化された画像は、孤立点除去手段205によ
り孤立点を除去された後、輪郭抽出手段206により輪郭
即ちエッジ部分の抽出処理がなされ、輪郭画像メモリ20
7に記憶される。Further, the binarized image is subjected to an extraction process of an outline, that is, an edge portion by an outline extraction unit 206 after an isolated point is eliminated by an isolated point removal unit 205, and the outline image memory 20
Stored in 7.
領域の識別は、矩形化処理手段203により得られた矩
形で囲まれた領域を単位として、まず、本文文字識別部
211により、矩形の高さの分布から本文の文字高さを推
定して、本文を識別し、これを分離する。次に残りの画
像中の見出し領域、図表領域、写真領域を、矩形の大き
さ、矩形内の濃度やエッジから判別する。即ち、矩形領
域アドレス発生部208において、本文文字以外の各矩形
領域について矩形化領域画像メモリ202から読み出した
矩形化処理した画像に基づき矩形領域の各画素のアドレ
スを発生する。発生したアドレスにより２値画像メモリ
204および輪郭画像メモリ207からそれぞれ矩形領域内の
画素を読みだし、その読み出した画素の黒画素の数をそ
れぞれ黒画素数計数部209、210で計数する。計数した矩
形内の２値画像の黒画素数と輪郭画像の黒画素数との比
を比算出部213で算出する。比比較部215は比算出部213
で算出した比を予め定めたしきい値と比較し、しきい値
よりも大きい場合は文字線画像領域、小さい場合は写真
領域と判定する。The region is identified by first using a body character identification unit in units of a region surrounded by a rectangle obtained by the rectangularization processing means 203.
According to 211, the character height of the text is estimated from the distribution of the heights of the rectangles, and the text is identified and separated. Next, a heading area, a chart area, and a photograph area in the remaining image are determined from the size of the rectangle, the density and the edge in the rectangle. In other words, the rectangular area address generation unit 208 generates an address of each pixel of the rectangular area based on the rectangularized image read from the rectangular area image memory 202 for each rectangular area other than the main text. Binary image memory by generated address
Pixels in the rectangular area are read from the 204 and the contour image memory 207, respectively, and the number of black pixels of the read pixels is counted by the black pixel number counting units 209 and 210, respectively. The ratio calculator 213 calculates the ratio between the counted number of black pixels of the binary image in the rectangle and the number of black pixels of the outline image. The ratio comparison unit 215 is a ratio calculation unit 213
Is compared with a predetermined threshold value. If the ratio is larger than the threshold value, it is determined as a character line image area, and if smaller, it is determined as a photograph area.
文字線画像と判定されたときは、矩形の大きさにより
それが見出し領域であるかまたは図表領域であるかを判
定する。そのために、矩形化領域画像メモリ202から読
み出した矩形化処理した画像に基づき矩形領域の面積を
矩形面積算出部212で算出する。そして面積比較部（見
出し／図表識別部）214において、算出した矩形の面積
の大きさを予め定めたしきい値と比較し、その結果、し
きい値より小さいときはその矩形領域は見出し領域であ
ると判定（識別）する。比較の結果しきい値よりも大き
いときは、図表領域であると判定する。When it is determined that the image is a character line image, it is determined based on the size of the rectangle whether the image is a heading area or a chart area. For this purpose, the rectangular area calculating unit 212 calculates the area of the rectangular area based on the image subjected to the rectangular processing read from the rectangular area image memory 202. Then, the area comparing unit (heading / chart identifying unit) 214 compares the calculated size of the area of the rectangle with a predetermined threshold value. It is determined (identified) that there is. If the result of the comparison is greater than the threshold value, it is determined that the area is a chart area.
これらの判定結果（識別信号）に基づいて、イメージ
メモリ等に記憶されている入力画像から各領域の画像デ
ータが分離抽出され、文字認識や符号圧縮、検索のため
の属性情報の付加等の必要な処理を施された後、項目別
ファイル蓄積部３に登録される。すなわち、スキャンイ
ンされた入力画像は領域分離手段２によって、見出し３
−１、本文３−２、図表３−３、写真３−４の各属性領
域に分離され、また、それぞれの領域を囲む矩形の左上
端座標（x,y）、幅ｗ、高さｈが抽出される。この時、
縦書き横書きの判別もなされる。次に本文および見出し
領域については文字認識手段４により文字認識処理が施
されてコードデータに変換され、図表、写真領域につい
ては画像圧縮手段５により画像圧縮処理が施された後、
項目別ファイリング蓄積手段３において各属性項目別に
ファイリングされる。Based on these determination results (identification signals), image data of each area is separated and extracted from an input image stored in an image memory or the like, and necessary for character recognition, code compression, addition of attribute information for search, and the like. After being subjected to various processes, it is registered in the file storage unit 3 for each item. That is, the input image that has been scanned in is output to the
-1, the text 3-2, the chart 3-3, and the photograph 3-4 are separated into the respective attribute areas, and the upper left coordinates (x, y), width w, and height h of the rectangle surrounding each area are represented by: Is extracted. At this time,
A determination of vertical writing and horizontal writing is also made. Next, the text and heading areas are subjected to character recognition processing by the character recognition means 4 and converted into code data, and the charts and photograph areas are subjected to image compression processing by the image compression means 5.
Filing is performed for each attribute item in the item-specific filing storage unit 3.
以上のようにして、登録された画像に対する検索は、
見出しあるいは本文に対してはキーワード検索手段６に
よりキーワード検索（登録済部分キーによる部分一致ス
トリングマッチング）で必要な画像の検索を行う。図表
あるいは写真に対しては類似画像検索手段７により行
う。As described above, the search for the registered image is
With respect to the headline or the main text, the keyword search means 6 performs a keyword search (partial match string matching using a registered partial key) to search for a necessary image. For a chart or a photograph, the similar image search means 7 performs the processing.
次に、図表３−３および写真３−４に対する類似画像
検索の一例について、第５図ないし第９図を参照しつつ
説明する。この例は本出願人の出願になる特開平１−11
3829号（発明者 広瀬真）の明細書に開示の技術による
ものであり、必要とする画像を高速に検索できる利点の
あるものである。Next, an example of a similar image search for the chart 3-3 and the photograph 3-4 will be described with reference to FIGS. This example is disclosed in Japanese Unexamined Patent Publication No.
This is based on the technology disclosed in the specification of Japanese Patent No. 3829 (inventor Makoto Hirose), and has an advantage that a required image can be searched at high speed.
第５図は、本発明の上記類似画像検索を行う機能を有
する画像検索装置の一実施例の概略の構成を示すブロッ
ク図である。本画像検索装置は、利用者あるいは管理者
が画像を入力するための画像入力装置25、画像やその他
の情報を利用者あるいは管理者に表示するための表示装
置26、画像間の一致度の算出や検索された画像の提示順
序や装置全体の制御をするための演算装置27、検索され
た画像を印刷などの形で出力するための画像出力装置2
8、画像間の一致の判定の際の許容範囲を利用者が入力
するための制御入力装置29、画像や情報等を記憶してお
く記憶装置30から成っている。FIG. 5 is a block diagram showing a schematic configuration of an embodiment of an image search apparatus having a function of performing the similar image search according to the present invention. The present image search device includes an image input device 25 for a user or an administrator to input an image, a display device 26 for displaying an image or other information to the user or an administrator, and calculation of a degree of coincidence between images. And an arithmetic unit 27 for controlling the presentation order of the searched images and the entire apparatus, and an image output device 2 for outputting the searched images in a form such as printing.
8. It comprises a control input device 29 for the user to input an allowable range when judging a match between images, and a storage device 30 for storing images, information and the like.
類似画像検索を効率的に行うために、図表および写真
を項目別ファイリング蓄積手段３へ登録する時に加工を
施し、特徴情報を付加しておく。In order to efficiently perform similar image retrieval, processing is performed at the time of registering figures and tables in the item-specific filing storage means 3 and characteristic information is added.
まず、その登録動作を説明する。第６図は、画像入力
装置25から送られる二次元二値の画像情報の構造の例を
示す図である。この画像情報は表示装置26によって画像
として表示される。画像情報全体はＭ×Ｎ個の二値情報
であり、本実施例では値０は白、１は黒を表すものとす
る。演算装置27は、Ｋ×Ｌ個の小領域毎に各領域内の値
１の数を量子化した特徴量を第７図の形式にまとめた特
徴情報32を作成する。そして、特徴情報32とＭ×Ｎ個の
画像情報33とを、記憶装置30に記憶する。このようにし
て記憶装置30には、第８図に示すように多数の画像に対
する特徴情報群34と画像情報群35とが記憶される。な
お、特徴情報32の先頭の画像番号31は、演算装置27が複
数の画像情報を識別するための一意な番号である。First, the registration operation will be described. FIG. 6 is a diagram showing an example of the structure of two-dimensional binary image information sent from the image input device 25. This image information is displayed as an image by the display device 26. The entire image information is M × N binary information, and in this embodiment, the value 0 represents white and the value 1 represents black. The arithmetic unit 27 creates feature information 32 in which the feature amounts obtained by quantizing the number of values 1 in each area for each of K × L small areas are summarized in the format of FIG. Then, the characteristic information 32 and the M × N image information 33 are stored in the storage device 30. In this way, the storage device 30 stores the feature information group 34 and the image information group 35 for a large number of images as shown in FIG. Note that the leading image number 31 of the feature information 32 is a unique number for the arithmetic unit 27 to identify a plurality of pieces of image information.
次に画像の検索動作を第９図に示す処理動作フローチ
ャートにより説明する。制御入力装置29からは、一致判
定の際の許容範囲として、利用者が必要とする画像の数
Ｉが入力される（）。Next, an image search operation will be described with reference to a processing operation flowchart shown in FIG. From the control input device 29, the number I of images required by the user is input as an allowable range for matching determination ().
演算装置27は、検索の条件となる画像が与えられる
と、登録の場合と同様にして検索の条件となる画像に対
する特徴情報ak1を作成する（）。When an image serving as a search condition is given, the arithmetic unit 27 creates feature information a k1 for the image serving as a search condition in the same manner as in the case of registration ().
ｊを１に設定し、不一致度の小さい方からＩ番目の値
を入れるレジスタDIの値をＫ×Ｌに設定する（）。Set j to 1, sets the smaller inconsistency degree the value of the register D I put I-th value in the K × L ().
画像番号ｊの画像の特徴量bJK1を算出する（）。な
お、第８図のように特徴量が登録時に計算され画像のイ
ンデックスとして画像と一緒に登録されている場合に
は、その値を記憶装置30から読み出す。The feature amount b JK1 of the image with the image number j is calculated (). When the feature amount is calculated at the time of registration and registered as an image index together with the image as shown in FIG. 8, the value is read from the storage device 30.
ここで演算装置27は、画像番号１番から順にｊ番目の
画像と検索の条件となる画像との間の不一致度Djを計算
していく（）。Here computing device 27 will calculate the dissimilarity D j between 1 No. image number and an image to be j-th image and the search criteria in order ().
そしてDjが求まる度に、すでに計算してある不一致度
の小さい方からＩ番目の値のDIとDjとを比較する
（）。Then, every time D j is obtained, the previously calculated I-th value D I and D j of the I-th value from the smaller one are compared ().
Dj＞DIのときは、Ｉ番目までに入っていないので、次
の画像についての処理に移るため、ｊの値を１増加する
（）。If D j > D I , the value of j is incremented by one () because the processing does not reach the I-th order, and the process proceeds to the next image.
比較の結果、Dj≦DIのときは、DIをDjの値で置き換え
る（）。不一致度が小さい方からＩ番目までの画像の
番号を記憶しておく（）。そして、次の画像について
の処理に移るため、ｊの値を１増加する（）。As a result of the comparison, when D j ≦ D I , D I is replaced with the value of D j (). The numbers of the images from the one with the lowest degree of mismatch to the I-th image are stored (). Then, the value of j is incremented by 1 in order to proceed to the processing for the next image ().
最後に、記憶してある全ての画像について不一致度を
計算し終ったときに、不一致度の小さい方から１枚の画
像を表示装置26に表示する。Finally, when the inconsistency has been calculated for all the stored images, one image with the smallest inconsistency is displayed on the display device 26.
ところで、特徴情報群34中における各画像の特徴情報
と検索の条件となる画像の特徴情報との間の不一致度を
計算する方法を説明する。特徴情報は、画像番号31とＫ
行Ｌ列の行列で表せる画像の特徴量から成る。検索の条
件となる画像の特徴量をak1（ｋ＝１〜Ｋ、ｌ＝１〜
Ｌ）、特徴情報群34の中のｊ番目の画像の特徴量をbjkL
（ｋ＝１〜Ｋ、ｌ＝１〜Ｌ）を表す。そして、各小領域
毎の領域内の１の数が２値に量子化されているとしたと
き、条件となる画像とｊ番目の画像との不一致度は次式
で表される演算によって求めることができる。A method of calculating the degree of inconsistency between the feature information of each image in the feature information group 34 and the feature information of an image serving as a search condition will be described. The feature information is image number 31 and K
It consists of image features that can be represented by a matrix of rows L columns. The feature amount of an image serving as a search condition is defined as a k1 (k = 1 to K, l = 1 to
L), the feature amount of the j-th image in the feature information group 34 is represented by b jkL
(K = 1 to K, 1 = 1 to L). Then, when it is assumed that the number of 1s in each region is quantized into binary, the degree of mismatch between the image serving as the condition and the j-th image is obtained by an operation represented by the following equation. Can be.
Dj＝ΣΣ（ak1bjkL） つまり、対応する要素間の排他的論理和の総和を不一
致度と定義する。なおは排他的論理和を表す記号とす
る。D j = ΣΣ (a k1 b jkL ) That is, the sum of exclusive ORs between corresponding elements is defined as the degree of inconsistency. Note that it is a symbol representing exclusive OR.
なお、各小領域毎の領域内の１の数が多値に量子化さ
れているとしたとき、即ち、akLとbjkLが多値のとき
は、条件となる画像とｊ番目の画像との不一致度は次式
で表される演算によって求められる。When it is assumed that the number of 1s in each small region is quantized to a multi-value, that is, when a kL and b jkL are multi-values, a condition image and a j-th image Is determined by an operation represented by the following equation.
Dj＝ΣΣ|akL−bjkL| 次に、検索した結果の画像を出力する際には、見出し
３−１、本文３−２、図表３−３、写真３−４等文書全
体の再配置処理を行う。第10図および第11図は再配置処
理動作の手順を示すものである。なお、第10図と第11図
とはイとロにおいて接続される。D j = ΣΣ | a kL −b jkL | Next, when outputting the image of the search result, the entire document such as the headline 3-1, the main body 3-2, the chart 3-3, and the photograph 3-4 must be reproduced. Perform placement processing. FIG. 10 and FIG. 11 show the procedure of the relocation processing operation. 10 and 11 are connected at a and b.
先ず、検索された文書画像に対応する項目別ファイル
蓄積手段３の見出し部の記憶位置を走査して見出し３−
１があるか否かを調べる（）。First, the storage position of the heading portion of the item-specific file storage means 3 corresponding to the retrieved document image is scanned to search for the heading 3-
Check if there is 1 ().
見出し３−１がある場合には、その見出し３−１が縦
長配置かあるいは横長配置かを調べる（）。見出し３
−１が縦長配置のものであるときは、読み出した見出し
文字を縦長配置手順に従って配置を行う（）。横長配
置のものであるときは、読み出した見出し文字を横長配
置手順に従って配置する。If there is a heading 3-1, it is checked whether the heading 3-1 is vertically or horizontally arranged (). Heading 3
If -1 is in the vertical layout, the read heading characters are positioned according to the vertical layout procedure (). In the case of the horizontal layout, the read heading characters are arranged according to the horizontal layout procedure.
見出し３−１が縦長配置（）および横長配置（）
のいずれの場合でも、さらに他の見出し文字があるか否
かを調べる（）。Heading 3-1 is vertically arranged () and horizontally arranged ()
In either case, it is checked whether or not there is another heading character ().
新たな見出し文字がなければ見出しの配置が終了し、
本文の文字列の配置に移る。その際、次の行を文字列の
右上端の座標として設定する（）。If there is no new heading character, the placement of the heading ends,
Move on to the arrangement of the text string. At that time, the next line is set as the coordinates of the upper right end of the character string ().
文字列がまだあるか否かを調べる（）。文字列があ
ればその文字列の右端からの余白と左側における所定の
マージンとを比較して（）、左側マージンの方が小さ
い間は、文字列を配置する（）。文字列の配置は、現
在の文字列の右端から文字幅だけ差し引いた位置が次の
文字列の右端となる（）。Checks if the string is still there (). If there is a character string, the margin from the right end of the character string is compared with a predetermined margin on the left side (), and the character string is arranged while the left margin is smaller (). The position of the character string is such that the position obtained by subtracting the character width from the right end of the current character string is the right end of the next character string ().
処理において、文字列配置の右端からの余白が、所
定の左側マージンより小さくなった場合には、段落の変
更と文字列の右端再設定を行う（）。そして、処理
と同様に文字列の配置を行う（）。処理で配置すべ
き文字列がなくなると図表および写真の配置に移るが、
まず図表、写真の配置の右上端の座標を設定する
（）。In the processing, when the margin from the right end of the character string arrangement becomes smaller than a predetermined left margin, the paragraph is changed and the character string right end is reset (). Then, the character string is arranged in the same manner as the processing (). When there are no more character strings to be laid out in the processing, it moves to the layout of figures and tables,
First, set the coordinates of the upper right corner of the layout of the charts and photos ().
処理で検索結果の文書画像に図表または写真があれ
ば、それを配置すべき右端からの余白と左側における所
定のマージンとを比較して（）、左側マージンの方が
小さい間は、図表または写真を配置する（）。図表ま
たは写真の配置は、現在の図表または写真の右端から図
表または写真の幅だけ差し引いた位置が次の図表または
写真の右端となる（）。If there is a chart or photo in the document image of the search result in the processing, the margin from the right end where the document image should be placed is compared with a predetermined margin on the left side (), and while the left margin is smaller, the chart or photo is displayed. Place (). As for the layout of a chart or photo, the position obtained by subtracting the width of the chart or photo from the right edge of the current chart or photo is the right edge of the next chart or photo ().
処理において、左側マージンの方が大きくなった場
合には、段落の変更と図表または写真の右端再設定を行
う（）。そして、処理と同様に図表または写真の配
置を行う（）。処理で図表または写真がなくなると
再配置は終了する（）。In the process, if the left margin becomes larger, the paragraph is changed and the right end of the chart or photograph is reset (). Then, a chart or a photograph is arranged in the same manner as in the processing (). The rearrangement ends when there are no more charts or photographs in the process ().
（発明の効果） 本発明によれば、文書画像における見出し、本文、図
表、写真等異なる属性の領域を自動的に抽出、分離し、
項目（属性領域）ごとに分けて蓄積するとともに、検索
においては属性の領域ごとに適した個別の検索方法によ
り検索できるようにし、検索時の表示はその属性の領域
のみとすることができので、検索を効率的に行うことが
できる。(Effects of the Invention) According to the present invention, areas having different attributes such as headings, texts, charts, and photographs in a document image are automatically extracted and separated,
Each item (attribute area) is stored separately, and the search can be performed using an individual search method suitable for each attribute area. The search display can be limited to the attribute area only. Search can be performed efficiently.
さらに、検索結果の文書画像を全体を項目ごとにそれ
ぞれまとめて再配置するようにしたので、文書中の無駄
な余白を取り除きデータを圧縮させることができ、また
表示に要する時間を短縮させることができる。Furthermore, since the entirety of the document image of the search result is rearranged collectively for each item, it is possible to remove unnecessary white space in the document, compress the data, and reduce the time required for display. it can.
第１図は本発明の文書画像再配置ファイリング装置の構
成を示す図、第２図および第３図は領域分離で抽出され
た各属性を項目別にファイルする様子を示した図、第４
図は領域分離手段のブロック構成図、第５図は画像検索
装置のブロック構成図、第６図は二次元二値の画像情報
の構成を示す図、第７図は特徴情報の構造を示す図、第
８図は特徴情報群と画像情報群とを示す図、第９図は検
索動作時の処理フローチャート、第10図および第11図は
第１図図示における文書画像再配置処理手段８のフロー
チャートを示す。 １……文字画像入力手段 ２……領域分離手段 ３……項目別ファイル蓄積手段 ４……文字認識手段 ５……画像圧縮手段 ６……キーワード検索手段 ７……類似画像検索手段 ８……文書画像再配置手段FIG. 1 is a diagram showing a configuration of a document image relocation filing apparatus of the present invention, FIGS. 2 and 3 are diagrams showing a state where each attribute extracted by region separation is filed for each item, and FIG.
FIG. 5 is a block diagram of the area separating means, FIG. 5 is a block diagram of the image search device, FIG. 6 is a diagram showing a structure of two-dimensional binary image information, and FIG. 7 is a diagram showing a structure of feature information. , FIG. 8 is a diagram showing a feature information group and an image information group, FIG. 9 is a processing flowchart during a search operation, and FIGS. 10 and 11 are flowcharts of the document image rearrangement processing means 8 in FIG. Is shown. DESCRIPTION OF SYMBOLS 1 ... Character image input means 2 ... Area separation means 3 ... Item-specific file storage means 4 ... Character recognition means 5 ... Image compression means 6 ... Keyword search means 7 ... Similar image search means 8 ... Document Image relocation means
Claims (1)
し、本文、図表、写真のそれぞれの異なる属性の領域を
抽出、分離する領域分離手段と、 前記領域分離手段により抽出、分離された見出し、本
文、写真の各項目を属性に対応して項目ごとに蓄積、格
納する項目別ファイル蓄積手段と、 前記項目別ファイル蓄積手段に蓄積されている各項目の
内容をそれぞれの項目の属性に対応して個別に検索する
項目別検索手段により所望の文書画像を検索する検索手
段と、 前記検索手段により検索された所望の文書画像に対し
て、各項目の内容を再配置して全体の文書画像を出力す
る文書画像再配置手段と を備えたことを特徴とする文書画像再配置ファイリング
装置。1. A document image input means for inputting a document image, and an area separation means for extracting and separating areas having different attributes of a headline, a text, a chart, and a photograph of the document image input by the document image input means. An item-by-item file accumulation unit that accumulates and stores each item of a heading, a text, and a photograph extracted and separated by the area separation unit for each item in accordance with an attribute; Search means for searching for a desired document image by an item-by-item search means for individually searching the content of each item corresponding to the attribute of each item; and for a desired document image searched by the search means, A document image rearrangement means for rearranging the contents of each item and outputting a whole document image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1148463A JP2890482B2 (en) | 1989-06-13 | 1989-06-13 | Document image relocation filing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1148463A JP2890482B2 (en) | 1989-06-13 | 1989-06-13 | Document image relocation filing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0314184A JPH0314184A (en) | 1991-01-22 |
| JP2890482B2 true JP2890482B2 (en) | 1999-05-17 |
Family
ID=15453314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1148463A Expired - Fee Related JP2890482B2 (en) | 1989-06-13 | 1989-06-13 | Document image relocation filing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2890482B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007013399A1 (en) * | 2005-07-28 | 2007-02-01 | Canon Kabushiki Kaisha | Search device and search method |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05342408A (en) * | 1991-04-04 | 1993-12-24 | Fuji Xerox Co Ltd | Document image filing device |
| JPH04307657A (en) * | 1991-04-04 | 1992-10-29 | Video Res:Kk | Purchase survey system for newspaper or the like |
| JPH04349581A (en) * | 1991-05-27 | 1992-12-04 | Dainippon Printing Co Ltd | Text data file generating system |
| CA2066559A1 (en) * | 1991-07-29 | 1993-01-30 | Walter S. Rosenbaum | Non-text object storage and retrieval |
| US5350303A (en) * | 1991-10-24 | 1994-09-27 | At&T Bell Laboratories | Method for accessing information in a computer |
| US6002798A (en) * | 1993-01-19 | 1999-12-14 | Canon Kabushiki Kaisha | Method and apparatus for creating, indexing and viewing abstracted documents |
| JP3306969B2 (en) * | 1993-02-25 | 2002-07-24 | 富士ゼロックス株式会社 | Document editing device |
| JPH06325096A (en) * | 1993-05-13 | 1994-11-25 | Ricoh Co Ltd | Image forming and storing device |
| JP3014257B2 (en) * | 1993-10-27 | 2000-02-28 | 沖電気工業株式会社 | Document reading device |
| JP3483934B2 (en) * | 1994-04-13 | 2004-01-06 | 株式会社リコー | Character image editing processor |
| JP3602596B2 (en) * | 1995-02-22 | 2004-12-15 | 株式会社東芝 | Document filing apparatus and method |
| JP3922396B2 (en) * | 1995-03-16 | 2007-05-30 | ソニー株式会社 | Layout device and display device |
| JP3504054B2 (en) * | 1995-07-17 | 2004-03-08 | 株式会社東芝 | Document processing apparatus and document processing method |
| JP3425834B2 (en) * | 1995-09-06 | 2003-07-14 | 富士通株式会社 | Title extraction apparatus and method from document image |
| US5892843A (en) * | 1997-01-21 | 1999-04-06 | Matsushita Electric Industrial Co., Ltd. | Title, caption and photo extraction from scanned document images |
| JPH1186014A (en) | 1997-09-08 | 1999-03-30 | Fujitsu Ltd | Method and device for displaying document image |
| JP2002150306A (en) | 2000-09-04 | 2002-05-24 | Minolta Co Ltd | Image processing device, image processing method, image processing program, and computer-readable recording medium with image processing program recorded thereon |
| JP2002117068A (en) * | 2000-10-12 | 2002-04-19 | Hideki Sakakino | Magazine information providing system |
| JP4011472B2 (en) * | 2002-12-12 | 2007-11-21 | 株式会社リコー | Image processing device |
-
1989
- 1989-06-13 JP JP1148463A patent/JP2890482B2/en not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007013399A1 (en) * | 2005-07-28 | 2007-02-01 | Canon Kabushiki Kaisha | Search device and search method |
| JP2007034847A (en) * | 2005-07-28 | 2007-02-08 | Canon Inc | Retrieval apparatus and retrieval method |
| US8326090B2 (en) | 2005-07-28 | 2012-12-04 | Canon Kabushiki Kaisha | Search apparatus and search method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0314184A (en) | 1991-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2890482B2 (en) | Document image relocation filing device | |
| US5809167A (en) | Page segmentation and character recognition system | |
| US5761344A (en) | Image pre-processor for character recognition system | |
| US5867277A (en) | Reduced resolution document storage and retrieval system | |
| Wong et al. | Document analysis system | |
| US5619594A (en) | Image processing system with on-the-fly JPEG compression | |
| US7593961B2 (en) | Information processing apparatus for retrieving image data similar to an entered image | |
| US7548916B2 (en) | Calculating image similarity using extracted data | |
| US8041113B2 (en) | Image processing device, image processing method, and computer program product | |
| US6621941B1 (en) | System of indexing a two dimensional pattern in a document drawing | |
| US20040213458A1 (en) | Image processing method and system | |
| US20040218838A1 (en) | Image processing apparatus and method therefor | |
| US5650799A (en) | Programmable function keys for a networked imaging computer system | |
| US6321232B1 (en) | Method for creating a geometric hash tree in a document processing system | |
| JPH0668301A (en) | Method and device for recognizing character | |
| JPS61267177A (en) | Retrieving system for document picture information | |
| JPH05250408A (en) | Method for interpolating important part of selected document without decoding document image through fetched information | |
| US20090234820A1 (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| JP3335009B2 (en) | Image processing method and image processing apparatus | |
| EP0933719B1 (en) | Image processing method and apparatus | |
| JPS5947641A (en) | Producer of visiting card data base | |
| JP2004363786A (en) | Image processor | |
| JPH08180068A (en) | Electronic filing device | |
| JPH0721817B2 (en) | Document image processing method | |
| US6678427B1 (en) | Document identification registration system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |