JP2006018509A

JP2006018509A - Document management support device

Info

Publication number: JP2006018509A
Application number: JP2004194761A
Authority: JP
Inventors: Shoichi Tateno; 昌一舘野; Kei Tanaka; 圭田中; Toshiya Koyama; 俊哉小山; Teruka Saito; 照花斎藤; Masayoshi Sakakibara; 正義榊原; Kotaro Nakamura; 浩太郎中村
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-06-30
Filing date: 2004-06-30
Publication date: 2006-01-19

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device capable of separately handling a type-printed part and a hand-written part included in text data representing contents of a document written on a paper medium. <P>SOLUTION: This document management support device is provided with a means scanning a document including type-printed characters and hand-written characters mixed together and acquiring document image data representing the contents of the document as a bit map, a means extracting image data for the type-printed area in which one or a plurality of block characters are written, and image data for a hand-written area in which one or more hand-written characters are written, and a means separately storing the image data for the type-printed area and that for the hand-written area. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、手書きによるアノテーションが付加された文書の管理を支援する技術に関する。 The present invention relates to a technique for supporting management of a document to which handwritten annotation is added.

文書の内容を光学的に読み取って電子的に保存する際は、その文書が記された用紙をスキャンして得たイメージデータそのものを保存するのではなく、文書を構成する文字毎の改変が容易なテキストデータに変換した上で保存することが好まれるケースが多い。そして、このようなイメージデータからテキストデータへの変換は、ＯＣＲ（Optical Character Recognition）機能を搭載した機器を用いて行なわれるのが一般的である。ＯＣＲ機能とは、文書をスキャンして得たイメージデータから各文字の画像を切出し、切り出した画像と前もって登録されたパターンとを照合することによって、各文字をコード情報の並びとして表すテキストデータを順次出力する機能を意味する。
ところで、スキャン対象となる一枚の用紙に活字文字と手書文字とが混在していることがある。このような場合、用紙に記された手書文字は、活字文字によって記されている箇所を閲覧した者がその取扱や校正内容などを追記した、いわゆるアノテーションであることが多い。
そして、このようなアノテーションの性質を文書管理の効率化に利用する技術もこれまでに提案されている。例えば、特許文献１に開示された文書管理装置は、スキャンした文書からアノテーションを分離してその内容を解析し、解析結果に応じた所定の処理（例えば、特定のアドレスへのメールの送信など）を行なうようになっている。
特開２０００−２２２３９４号公報 When reading the contents of a document optically and storing it electronically, it is not necessary to store the image data itself obtained by scanning the paper on which the document is written, but it is easy to modify the characters that make up the document. In many cases, it is preferred to save the data after converting it into simple text data. Such conversion from image data to text data is generally performed using a device equipped with an OCR (Optical Character Recognition) function. The OCR function extracts text data representing each character as an array of code information by cutting out the image of each character from the image data obtained by scanning a document and comparing the cut image with a previously registered pattern. It means the function to output sequentially.
By the way, there is a case where type characters and handwritten characters are mixed on one sheet to be scanned. In such a case, the handwritten character written on the paper is often a so-called annotation in which a person who has browsed a portion written in printed characters adds the handling and proofreading contents.
In addition, a technique for utilizing such an annotation property for efficient document management has been proposed. For example, the document management apparatus disclosed in Patent Document 1 separates annotations from scanned documents, analyzes the contents thereof, and performs predetermined processing according to the analysis result (for example, sending a mail to a specific address). Is supposed to do.
JP 2000-222394 A

上述したように、文書に追記された手書文字は、文書の取扱やその校正内容などを指し示すアノテーションであることが多い。このため、手書文字が追記された文書のイメージデータから取得したテキストデータを文書画面として表示させる際に、その文書にもともと記されていた活字部分の表示態様と、アノテーションとして後から追記された手書部分の表示態様とを個別に操作できるような装置の実現が望まれていた。
本発明は、このような背景の下に案出されたものであり、紙媒体に記された文書の内容を示すテキストデータに含まれる、活字部分の取扱と手書部分の取扱とを個別に操作しうる装置を提供することを目的とする。 As described above, handwritten characters added to a document are often annotations indicating the handling of the document and the proofreading contents thereof. For this reason, when displaying text data acquired from image data of a document with handwritten characters added as a document screen, the display mode of the type part originally written in the document and the annotation were added later It has been desired to realize an apparatus capable of individually operating the handwriting portion display mode.
The present invention has been devised under such a background, and the handling of the type part and the handling of the handwritten part included in the text data indicating the contents of the document written on the paper medium are individually performed. An object is to provide a device that can be operated.

本発明の好適な態様である文書管理支援装置は、活字文字と手書文字とが混在する文書を走査し、前記文書の内容をビットマップとして表す文書画像データを取得する文書画像取得手段と、前記文書画像データから、１又は複数の活字文字が記されている活字領域の画像データと、１又は複数の手書文字が記されている手書領域の画像データとを切り出す領域分離手段と、前記活字領域の画像データと手書領域の画像データとを個別に記憶する画像データ記憶手段とを備える。 A document management support apparatus according to a preferred aspect of the present invention includes a document image acquisition unit that scans a document in which type characters and handwritten characters are mixed, and acquires document image data that represents the contents of the document as a bitmap. Area separation means for cutting out from the document image data image data of a type region where one or more type characters are written and image data of a handwriting region where one or more type characters are written; Image data storage means for individually storing the image data of the type region and the image data of the handwriting region.

この態様において、前記領域分離手段は、前記文書画像データから、注目領域を特定する手段と、前記注目領域内おいて隣り合う２つの文字の間の距離を当該２つの文字の組毎に求め、求めた各距離のばらつきの程度が所定の範囲を超えるか否か判断する手段と、前記ばらつきの程度が所定の範囲を超えないときは前記注目領域が活字領域であると判断する一方で、当該ばらつきの程度が所定の範囲を超えるときは前記注目領域が手書領域であると判断する手段とを含んでもよい。 In this aspect, the region separating unit obtains, from the document image data, a unit for specifying a region of interest and a distance between two characters adjacent to each other in the region of interest for each set of the two characters. Means for determining whether or not the degree of variation of each obtained distance exceeds a predetermined range, and when the degree of variation does not exceed a predetermined range, while determining that the region of interest is a type region, And means for determining that the region of interest is a handwritten region when the degree of variation exceeds a predetermined range.

上述した一連の態様において、前記活字領域の画像データから、当該活字領域内にある活字文字の内容を表す活字テキストデータを取得する活字テキストデータ取得手段と、前記手書領域の画像データから、当該手書領域内にある手書文字の内容を表す手書テキストデータを取得する手書テキストデータ取得手段と、前記活字テキストデータと手書テキストデータとを個別に記憶するテキストデータ記憶手段とを更に備えてもよい。 In the series of aspects described above, from the image data of the type region, the type text data acquisition means for acquiring type text data representing the contents of the type characters in the type region, and the image data of the handwriting region, Handwritten text data acquisition means for acquiring handwritten text data representing the contents of handwritten characters in the handwritten area, and text data storage means for separately storing the typed text data and the handwritten text data You may prepare.

また、前記テキストデータ記憶手段から前記活字テキストデータと手書テキストデータとをそれぞれ読出し、当該活字テキストデータが示す文字列と手書テキストデータが示す文字列とを割り付けた文書画面を表示する表示手段と、活字文字の表示態様を操作する活字文字操作手段と、前記活字文字操作手段の操作内容に応じ、前記活字テキストデータが示す文字列の表示態様を制御する活字文字表示制御手段とを備えてもよい。 Further, display means for reading the type text data and handwritten text data from the text data storage means and displaying a document screen in which the character string indicated by the typed text data and the character string indicated by the handwritten text data are allocated. Typographic character operation means for manipulating the display mode of the typographic character; and typographic character display control means for controlling the display mode of the character string indicated by the typographic text data according to the operation content of the typographic character operation means. Also good.

前記テキストデータ記憶手段から前記活字テキストデータと手書テキストデータとをそれぞれ読出し、当該活字テキストデータが示す文字列と手書テキストデータが示す文字列とを割り付けた文書画面を表示する表示手段と、手書文字の表示態様を操作する手書文字操作手段と、前記手書文字操作手段の操作内容に応じ、前記手書テキストデータが示す文字列の表示態様を制御する手書文字表示制御手段とを備えてもよい。 Display means for reading out the printed text data and handwritten text data from the text data storage means, and displaying a document screen in which the character string indicated by the printed text data and the character string indicated by the handwritten text data are assigned; A handwritten character operation means for operating a display form of handwritten characters; a handwritten character display control means for controlling a display form of a character string indicated by the handwritten text data in accordance with the operation content of the handwritten character operation means; May be provided.

更に、前記テキストデータ記憶手段から前記活字テキストデータと手書テキストデータとをそれぞれ読出し、当該活字テキストデータが示す文字列と手書テキストデータが示す文字列とを割り付けた文書画面を表示する表示手段と、前記手書テキストデータが示す文字列に、手書文字を追記した者の略称を示す所定の文字又は文字列が含まれているか判断する判断手段と、前記追記した者の略称を示す所定の文字又は文字列が含まれているとき、前記手書テキストデータが示す文字列を所定の文字色で表示させる手書文字表示色制御手段と備えてもよい。 Further, display means for reading the printed text data and handwritten text data from the text data storage means and displaying a document screen in which the character string indicated by the printed text data and the character string indicated by the handwritten text data are allocated. Determining means for determining whether the character string indicated by the handwritten text data includes a predetermined character or character string indicating an abbreviation of the person who added the handwritten character; and a predetermined value indicating the abbreviation of the additional person When a character or character string is included, a handwritten character display color control means for displaying a character string indicated by the handwritten text data in a predetermined character color may be provided.

上記一連の態様において、前記手書テキストデータが示す文字列に、手書文字を追記した者の略称を示す所定の文字又は文字列が含まれるとき、当該手書文字を追記した者の氏名を前記表示手段に表示させる追記者氏名挿入手段を備えてもよい。 In the series of aspects, when the character string indicated by the handwritten text data includes a predetermined character or character string indicating the abbreviation of the person who added the handwritten character, the name of the person who added the handwritten character is You may provide the additional name insertion means displayed on the said display means.

本発明によると、文書の活字文字の部分から得られたテキストデータと手書文字の部分から得られたテキストデータを画面に割り付ける際の各々の表示態様を個別に操作することができる。 According to the present invention, it is possible to individually operate each display mode when allocating text data obtained from a printed character portion and text data obtained from a handwritten character portion of a document to a screen.

（第１実施形態）
本発明の第１実施形態を説明する。まず、本実施形態において用いる主要な用語を定義しておく。本実施形態にかかるシステムを利用する者を「ユーザ」と呼ぶ。また、「活字文字」の語は、ゴシック体、明朝体といったような特定のタイプフェースの字形を転写して得られる文字を意味し、「手書文字」の語は、活字文字以外の文字を意味するものとして用いる。更に、「文書」の語は、情報が文字の綴りとして記されている用紙を意味するものとして用いる。
本実施形態にかかる文書管理システムの特徴は、アノテーションが追記されている文書の画像をテキストデータへ変換する複合機に、その文書にもともと記されていた活字文字の画像とアノテーションとして追記された手書文字の画像とを分離し、各々の画像を個別に取り扱う機能を搭載させた点にある。 (First embodiment)
A first embodiment of the present invention will be described. First, main terms used in the present embodiment are defined. A person who uses the system according to the present embodiment is called a “user”. The word “printed characters” means characters obtained by transcribing specific typeface characters such as Gothic and Mincho, and the word “handwritten characters” means characters other than printed characters. Is used to mean Further, the word “document” is used to mean a sheet on which information is written as a spelling of characters.
A feature of the document management system according to the present embodiment is that, in a multi-function peripheral that converts an image of a document with an annotation added to text data, a type character image originally written on the document and a hand added as an annotation. The feature is that it has a function to separate the image of the letter and handle each image individually.

ここで、本実施形態かかる文書管理システムを利用するユーザは、文書にアノテーションを追記する際、そのアノテーションと関連する活字部分を矢印によって指し示すことになっている。図１は、このような取り決めに従ってアノテーションが追記された状態の文書の一例を示す図である。同図に示す文書は、一枚の用紙に、パラグラフＡ、パラグラフＢが活字文字によって記されており、更に、手書文字によるアノテーションＣが追記されている。そして、アノテーションＣがパラグラフＢに関連する注釈であることを示す矢印Ｄが記されている。このようにアノテーションとそのアノテーションに関連する活字部分との対応関係が明示されている文書を後述する複合機に読み込ませた場合に、本実施形態に特有の作用効果が得られる。 Here, when a user who uses the document management system according to the present embodiment adds an annotation to a document, the type portion associated with the annotation is indicated by an arrow. FIG. 1 is a diagram showing an example of a document in which annotations are additionally written according to such an agreement. In the document shown in the figure, paragraph A and paragraph B are written in printed characters on one sheet of paper, and annotation C in handwritten characters is additionally written. An arrow D indicating that the annotation C is an annotation related to the paragraph B is marked. As described above, when a document in which a correspondence relationship between an annotation and a type part related to the annotation is clearly specified is read by a later-described multi-function peripheral, an operation effect unique to the present embodiment can be obtained.

図２は、本実施形態にかかる文書管理システムの全体構成図である。本実施形態にかかる文書管理システムは、コンピュータ装置１０と複合機２０とから構成される。
図３は、コンピュータ装置１０のハードウェア概略構成を示すブロック図である。同図に示すように、このコンピュータ装置１０は、装置全体の動作を制御するＣＰＵ１１、ＣＰＵ１１のワーク領域として利用されるＲＡＭ１２、ＩＰＬ（initial program loader）などを記憶したＲＯＭ１３、ＯＳ（operating system）やビューアなどを記憶したハードディスク１４のほかに、コンピュータディスプレイ１５、マウス１６、キーボード１７、通信インターフェース１８などを備えている。 FIG. 2 is an overall configuration diagram of the document management system according to the present embodiment. The document management system according to this embodiment includes a computer device 10 and a multifunction device 20.
FIG. 3 is a block diagram illustrating a schematic hardware configuration of the computer apparatus 10. As shown in the figure, the computer 10 includes a CPU 11 that controls the operation of the entire apparatus, a RAM 12 that is used as a work area for the CPU 11, a ROM 13 that stores an IPL (initial program loader), an OS (operating system), In addition to the hard disk 14 storing a viewer and the like, a computer display 15, a mouse 16, a keyboard 17, a communication interface 18, and the like are provided.

図４は、複合機２０のハードウェア概略構成を示すブロック図である。この複合機２０は、ユーザに対し、コピーサービス、プリントサービス、ファクシミリサービス、そしてＯＣＲサービスの４種のサービスを提供する。図に示すように、この複合機２０は、各種サービスの実行を指示する指示デバイス２１と、文書を光学的に走査してその画像を読み取る画像入力デバイス２２と、画像データを用紙に印刷する画像印刷デバイス２３と、インターネットやＬＡＮ（local area network）に接続された他のノードとのデジタルデータの送受信を司るネットワーク通信デバイス２４と、電話回線を介したアナログ信号の送受信を司るファクシミリ通信デバイス２５と、これら各部の動作を制御するコントローラ３０とを備えている。そして、コントローラ３０は、指示処理部３１と、コピーサービス処理部３２と、プリントサービス処理部３３と、ファクシミリサービス処理部３４と、ＯＣＲサービス処理部４０とを内蔵している。 FIG. 4 is a block diagram illustrating a schematic hardware configuration of the multifunction machine 20. The multi-function device 20 provides four types of services to the user: a copy service, a print service, a facsimile service, and an OCR service. As shown in the figure, the multifunction device 20 includes an instruction device 21 that instructs execution of various services, an image input device 22 that optically scans a document and reads an image thereof, and an image that prints image data on paper. A network communication device 24 that controls transmission / reception of digital data between the printing device 23 and other nodes connected to the Internet or a local area network (LAN); a facsimile communication device 25 that controls transmission / reception of analog signals via a telephone line; And a controller 30 for controlling the operations of these units. The controller 30 includes an instruction processing unit 31, a copy service processing unit 32, a print service processing unit 33, a facsimile service processing unit 34, and an OCR service processing unit 40.

指示処理部３１は、指示デバイス２１からの指示に基づき、コピーサービス処理部３２、プリントサービス処理部３３、ファクシミリサービス処理部３４、又はＯＣＲサービス処理部４０のいずれかにサービス要求の処理を依頼する。各サービス処理部は、指示処理部３１による調停の下にデバイスを制御し、サービス要求の処理を実行する。即ち、コピーサービス処理部３２は画像入力デバイス２２と画像印刷デバイス２３とを制御することで自らに依頼されたコピーサービス要求を実行し、プリントサービス処理部３３はネットワーク通信デバイス２４と画像印刷デバイス２３とを制御することで自らに依頼されたプリントサービス要求を実行し、ファクシミリサービス処理部３４は、ファクシミリ通信デバイス２５と、画像入力デバイス２２又は画像印刷デバイス２３のいずれかを制御することで自らに依頼されたファクシミリサービス要求を実行する。更に、ＯＣＲサービス処理部４０は、画像入力デバイス２２とネットワーク通信デバイス２４とを制御することで自らに依頼されたＯＣＲサービス要求を実行する。これら各サービス処理部の振る舞いのうち、前３者の振る舞いは、従来技術の範疇に属するためその詳細を割愛する。一方、ＯＣＲサービス処理部４０は、本実施形態に特徴的な振る舞いを行なう。 Based on an instruction from the instruction device 21, the instruction processing unit 31 requests any of the copy service processing unit 32, the print service processing unit 33, the facsimile service processing unit 34, or the OCR service processing unit 40 to process the service request. . Each service processing unit controls the device under arbitration by the instruction processing unit 31 and executes a service request process. That is, the copy service processing unit 32 controls the image input device 22 and the image printing device 23 to execute the requested copy service request, and the print service processing unit 33 performs the network communication device 24 and the image printing device 23. The facsimile service processing unit 34 controls the facsimile communication device 25 and either the image input device 22 or the image printing device 23 to control itself. The requested facsimile service request is executed. Further, the OCR service processing unit 40 controls the image input device 22 and the network communication device 24 to execute an OCR service request requested by itself. Of the behaviors of these service processing units, the behaviors of the former three belong to the category of the prior art and will not be described in detail. On the other hand, the OCR service processing unit 40 performs a behavior characteristic of the present embodiment.

図５は、ＯＣＲサービス処理部４０の内部構成を示すブロック図である。同図に示すように、このＯＣＲサービス処理部４０は、文書画像データ用メモリ４１と、領域分離部４２と、活字領域画像データ用メモリ４３と、手書領域画像データ用メモリ４４と、活字テキストデータ取得部４５と、手書テキストデータ取得部４６と、テキストデータ用メモリ４７と、テキストデータ出力部４８とを内蔵している。 FIG. 5 is a block diagram showing an internal configuration of the OCR service processing unit 40. As shown in the figure, the OCR service processing unit 40 includes a document image data memory 41, a region separation unit 42, a type region image data memory 43, a handwriting region image data memory 44, and a type text. A data acquisition unit 45, a handwritten text data acquisition unit 46, a text data memory 47, and a text data output unit 48 are incorporated.

文書画像データ用メモリ４１は、文書画像データを記憶する。この文書画像データは、画像入力デバイス２２が文書を走査することで得られた２値のビットマップデータである。
領域分離部４２は、文書画像データから、活字文字が記されている領域（以下、「活字領域」と呼ぶ）の画像データと手書文字が記されている領域（以下、「手書領域」と呼ぶ）の画像データとを切り出し、活字領域の画像データのファイルを活字領域画像データ用メモリ４３に供給する一方で、手書領域の画像データのファイルを手書領域画像データ用メモリ４４に供給する。つまり、文書画像データから、活字文字が記されている領域の画像データと手書文字が記された領域の画像データとを別ファイルとして分離する。 The document image data memory 41 stores document image data. This document image data is binary bitmap data obtained by the image input device 22 scanning the document.
The area separation unit 42 is an area (hereinafter referred to as “handwriting area”) in which image data and handwritten characters are written in an area where printed characters are written (hereinafter referred to as “printing area”). And the image data file of the print area is supplied to the print area image data memory 43, while the image data file of the handwriting area is supplied to the handwriting area image data memory 44. To do. That is, from the document image data, the image data in the area where the printed characters are written and the image data in the area where the handwritten characters are written are separated as separate files.

活字テキストデータ取得部４５は、活字領域画像データ用メモリ４３に記憶された画像データのファイルから、その画像データに含まれる活字文字の内容を文字コードとして表したテキストデータ（以下、「活字テキストデータ」と呼ぶ）を取得し、取得した活字テキストデータをテキストデータ用メモリ４７に供給する。
手書テキストデータ取得部４６は、手書領域画像データ用メモリ４４に記憶された画像データのファイルから、その画像データに含まれる手書文字の内容を文字コードとして表したテキストデータ（以下、「手書テキストデータ」と呼ぶ）を取得し、取得した手書テキストデータをテキストデータ用メモリ４７に供給する。 The print text data acquisition unit 45 reads from the image data file stored in the print area image data memory 43 text data (hereinafter referred to as “print text data”) representing the contents of the print characters included in the image data as character codes. And the acquired type text data is supplied to the text data memory 47.
The handwritten text data acquisition unit 46 reads from the image data file stored in the handwritten area image data memory 44 text data (hereinafter referred to as “character code”) representing the contents of handwritten characters included in the image data. (Referred to as “handwritten text data”), and the acquired handwritten text data is supplied to the text data memory 47.

なお、活字テキストデータ取得部４５又は手書テキストデータ取得部４６から供給される各テキストデータには、それらの属性を表す属性データが各々関連付けられる。この属性データの内容は後の動作説明の項で詳述する。
テキストデータ出力部４８は、テキストデータ用メモリ４７からテキストデータと属性データの各セットを読み出し、ネットワーク通信デバイス２４へ出力する。 Note that each text data supplied from the printed text data acquisition unit 45 or the handwritten text data acquisition unit 46 is associated with attribute data representing these attributes. The contents of this attribute data will be described in detail later in the explanation of the operation.
The text data output unit 48 reads each set of text data and attribute data from the text data memory 47 and outputs it to the network communication device 24.

次に、本実施形態に特徴的な動作であるＯＣＲサービス処理と、文書画面表示処理とを説明する。
図６は、ＯＣＲサービス処理の内容を示すフローチャートである。
このＯＣＲサービス処理は、ユーザが、一又は複数の文書を複合機２０の図示しない原稿フィーダーに載置し、ＯＣＲサービスのサービス要求を指示デバイス２１から指示すると開始される。 Next, OCR service processing and document screen display processing, which are operations characteristic of the present embodiment, will be described.
FIG. 6 is a flowchart showing the contents of the OCR service process.
This OCR service process is started when a user places one or a plurality of documents on a document feeder (not shown) of the multifunction device 20 and instructs a service request for the OCR service from the instruction device 21.

ＯＣＲサービスのサービス要求の指示を受けると、複合機２０の画像入力デバイス２２は、文書をスキャンしてその文書画像データを取得し、取得した文書画像データをＯＣＲサービス処理部４０へ伝送する（Ｓ１００）。伝送された文書画像データは、ＯＣＲサービス処理部４０の文書画像データ用メモリ４１に記憶される。
続いて、ＯＣＲサービス処理部４０の領域分離部４２が、文書画像データ用メモリ４１に記憶された文書画像データから、活字領域の画像データと手書領域の画像データとをそれぞれ切り出す（Ｓ１１０）。
画像データの切出しは以下のように行なわれる。まず、文書画像データによって表される各画素を横方向に走査し、隣り合う２つの文字の間の距離、即ち、連続する白画素の並びの幅が、所定値Ｘよりも小さかったとき、それらの連続する白画素を黒画素に置き換える。この所定値Ｘは、隣りにある文字との距離として想定される値と概ね一致させる。同様に、各画素を縦方向にも走査し、連続する白画素の並びの幅が所定値Ｙよりも小さかったとき、それらの連続する白画素を黒画素に置き換える。この所定値Ｙは、文字行の間隔として想定される値と概ね一致させる。この結果、黒画素で塗り潰された領域が形成される。図７は、図１の文書に上述の置き換え処理を施した状態を示すものである。この図では、黒画素で塗り潰された領域Ｌ１乃至Ｌ３が形成されている。
黒画素で塗り潰された領域が形成されると、今度は、各領域が活字領域か手書領域かの判定に移る。この判定では、まず処理対象となる注目領域を特定し、特定された領域内において置き換えられていた黒画素を白画素に戻し、元の描画内容を復元する。そして、その領域内の画素を横方向に走査し、連続する白画素のピッチのばらつきの程度が所定値よりも小さいか否か判定する。一般に、活字文字が記された領域であれば隣り合う２つの文字の間隔は概ね一定となるため、連続する白画素のピッチのばらつきの程度が所定値よりも小さくなる。一方で、手書文字が記された領域であれば隣り合う文字２つの間隔は一定とならないため、連続する白画素のピッチのばらつきの程度が所定値よりも大きくなる。図７に示したＬ１乃至Ｌ３の領域にかかる判定を施した場合、Ｌ１とＬ３の領域は活字領域であるとの判定結果が下され、Ｌ２の領域は手書領域であるとの判定結果が下されることになる。 When receiving an instruction for a service request for the OCR service, the image input device 22 of the multifunction device 20 scans the document to acquire the document image data, and transmits the acquired document image data to the OCR service processing unit 40 (S100). ). The transmitted document image data is stored in the document image data memory 41 of the OCR service processing unit 40.
Subsequently, the region separation unit 42 of the OCR service processing unit 40 cuts out the print region image data and the handwriting region image data from the document image data stored in the document image data memory 41 (S110).
The image data is cut out as follows. First, each pixel represented by the document image data is scanned in the horizontal direction, and when the distance between two adjacent characters, that is, the width of the arrangement of consecutive white pixels is smaller than a predetermined value X, Are replaced with black pixels. The predetermined value X is approximately matched with a value assumed as a distance from the adjacent character. Similarly, each pixel is also scanned in the vertical direction, and when the width of the arrangement of consecutive white pixels is smaller than a predetermined value Y, those consecutive white pixels are replaced with black pixels. This predetermined value Y is generally matched with a value assumed as a character line interval. As a result, a region filled with black pixels is formed. FIG. 7 shows a state where the above-described replacement process is performed on the document of FIG. In this figure, regions L1 to L3 filled with black pixels are formed.
When an area filled with black pixels is formed, it is now determined whether each area is a type area or a handwriting area. In this determination, first, an attention area to be processed is specified, black pixels replaced in the specified area are returned to white pixels, and the original drawing content is restored. Then, the pixels in the region are scanned in the horizontal direction, and it is determined whether or not the degree of variation in pitch of consecutive white pixels is smaller than a predetermined value. In general, since the interval between two adjacent characters is substantially constant in a region where printed characters are written, the degree of variation in the pitch of consecutive white pixels becomes smaller than a predetermined value. On the other hand, since an interval between two adjacent characters is not constant in a region where a handwritten character is written, the degree of variation in pitch between consecutive white pixels becomes larger than a predetermined value. When the determination relating to the areas L1 to L3 shown in FIG. 7 is performed, the determination result that the areas L1 and L3 are type areas is given, and the determination result that the area L2 is a handwriting area is obtained. Will be taken down.

領域分離部４２は、切り出した各画像データの属性データをそれぞれ生成する（Ｓ１２０）。この属性データは、画像データを切り出した領域を識別する領域識別子と、その画像データが活字領域から切り出されたものかそれとも手書領域から切り出されたものかを識別する領域種別識別子とを内包している。そして、活字領域から切り出した画像データの属性データには、各活字領域の画像データから取得される文字列の割付順を示す割付順識別子が更に内包される。また、手書領域から切り出した画像データの属性データには、その手書領域のアノテーションと矢印によって関連付けられた活字領域と同じ領域識別子が内包される。例えば、図１に示した文書の文書画像データから属性データを生成した場合、パラグラフＡが記された活字領域から切り出した画像データの属性データには最初に割り付けられるべきことを示す割付順識別子が内包され、パラグラフＢが記された活字領域から切り出した画像データの属性データにはその次に割り付けられるべきことを示す割付順識別子が内包されることになる。また、アノテーションＣが記された手書領域から切り出した画像データの属性データには、パラグラフＢが記された活字領域から切り出した画像データの属性データと同じ領域識別子が内包されることになる。 The region separation unit 42 generates attribute data of each cut out image data (S120). This attribute data includes an area identifier for identifying an area from which image data has been cut out, and an area type identifier for identifying whether the image data has been cut out from a print area or a handwritten area. ing. The attribute data of the image data cut out from the type region further includes an allocation order identifier indicating the order of allocation of character strings acquired from the image data of each type region. Further, the attribute data of the image data cut out from the handwriting area includes the same area identifier as the type area associated with the annotation of the handwriting area and the arrow. For example, when the attribute data is generated from the document image data of the document shown in FIG. 1, an allocation order identifier indicating that the attribute data of the image data cut out from the type region where paragraph A is written should be allocated first. The attribute data of the image data that is included and cut out from the type region in which paragraph B is written includes an allocation order identifier indicating that it should be allocated next. In addition, the attribute data of the image data cut out from the handwritten area in which the annotation C is written includes the same area identifier as the attribute data of the image data cut out from the printed area in which the paragraph B is written.

領域分離部４２は、活字領域の画像データのファイルとその属性データのセットを活字領域画像データ用メモリ４３に供給すると共に、手書領域の画像データのファイルとその属性データのセットを手書領域画像データ用メモリ４４に供給する（Ｓ１３０）。
活字テキストデータ取得部４５は、活字領域画像データ用メモリ４３に記憶された画像データと属性データのセットを読出し、画像データから取得した活字テキストデータとその属性データのセットをテキストデータ用メモリ４７に供給する（Ｓ１４０）。このステップにおける活字テキストデータの取得は以下のように行なわれる。まず、画像データから文字の画像を一文字ずつ切り出して正規化する。そして、正規化した画像と予め辞書として準備された文字の形状とをいわゆるパターンマッチング手法によって比較し、類似度が最も高い文字の文字コードを認識結果として出力する。 The area separation unit 42 supplies the print area image data file and its attribute data set to the print area image data memory 43, and also supplies the handwriting area image data file and its attribute data set to the handwriting area. The image data is supplied to the image data memory 44 (S130).
The type text data acquisition unit 45 reads the set of image data and attribute data stored in the type region image data memory 43, and sets the type text data acquired from the image data and the set of attribute data to the text data memory 47. Supply (S140). Acquisition of typed text data in this step is performed as follows. First, character images are cut out one by one from the image data and normalized. Then, the normalized image and the character shape prepared as a dictionary in advance are compared by a so-called pattern matching method, and the character code of the character having the highest similarity is output as the recognition result.

手書テキストデータ取得部４６は、手書領域画像データ用メモリ４４に記憶された画像データと属性データのセットを読出し、画像データから取得した手書テキストデータとその属性データのセットをテキストデータ用メモリ４７に供給する（Ｓ１５０）。このステップにおける手書テキストデータの取得は以下のように行なわれる。まず、画像データから文字の画像を一文字ずつ切り出して正規化する。そして、正規化した画像から文字の各構成要素の特徴を抽出し、それら抽出した特徴と予め辞書として準備された特徴データとを比較することで、文字の各構成要素を確定させる。更に、確定した構成要素を元のように組み立てて得られた文字の文字コードを出力する。 The handwritten text data acquisition unit 46 reads the set of image data and attribute data stored in the handwritten area image data memory 44, and uses the handwritten text data acquired from the image data and the set of attribute data for the text data. This is supplied to the memory 47 (S150). Acquisition of handwritten text data in this step is performed as follows. First, character images are cut out one by one from the image data and normalized. Then, the features of each constituent element of the character are extracted from the normalized image, and the constituent elements of the character are determined by comparing the extracted features with the feature data prepared as a dictionary in advance. Furthermore, the character code of the character obtained by assembling the determined component as the original is output.

テキストデータ出力部４８は、テキストデータ用メモリ４７に記憶されたテキストデータと属性データの各セットを読み出し、ネットワーク通信デバイス２４へ出力する（Ｓ１６０）。出力された各セットは、ネットワーク通信デバイス２４からコンピュータ装置１０へ送信される。 The text data output unit 48 reads out each set of text data and attribute data stored in the text data memory 47 and outputs it to the network communication device 24 (S160). Each set that is output is transmitted from the network communication device 24 to the computer apparatus 10.

コンピュータ装置１０のＣＰＵ１１は、複合機２０から受信したテキストデータと属性データの各セットをハードディスク１４に記憶する（Ｓ１７０）。なお、原稿フィーダに複数の文書が載置されていた場合、上述した一連の処理が各々の文書について繰り返され、コンピュータ装置１０のハードディスク１４には、各文書毎に纏められたテキストデータ群が記憶されることになる。
原稿フィーダに設定されたすべての文書について上述した一連の処理が実行し終えた状態で、ユーザが文書画面の表示を指示すると、文書画面表示処理が開始される。 The CPU 11 of the computer device 10 stores each set of text data and attribute data received from the multifunction device 20 in the hard disk 14 (S170). When a plurality of documents are placed on the document feeder, the above-described series of processing is repeated for each document, and the hard disk 14 of the computer apparatus 10 stores a text data group collected for each document. Will be.
When the user instructs display of the document screen in a state where the above-described series of processing has been completed for all the documents set in the document feeder, the document screen display processing is started.

図８は、文書画面表示処理を示すフローチャートである。
文書画面の表示が指示されると、コンピュータ装置１０のＣＰＵ１１は、ハードディスク１４に記憶されているテキストデータと属性データの各セットをＲＡＭ１２に読み出す（Ｓ２００）。なお、ＯＣＲサービス処理にて複数の文書が原稿フィーダに載置され、これらの文書の各々から取得されたテキストデータ群が記憶されているときは、最初にスキャンされた文書画像データから取得されたテキストデータ群がそれらの属性データと共に読み出される。 FIG. 8 is a flowchart showing document screen display processing.
When the display of the document screen is instructed, the CPU 11 of the computer apparatus 10 reads each set of text data and attribute data stored in the hard disk 14 into the RAM 12 (S200). When a plurality of documents are placed on the document feeder in the OCR service process and text data groups acquired from each of these documents are stored, the documents are acquired from the first scanned document image data. A text data group is read together with the attribute data.

ＣＰＵ１１は、ＲＡＭ１２に読み出した各テキストデータから、活字テキストデータを特定する（Ｓ２１０）。
ＣＰＵ１１は、文書画面における活字テキストデータの割付位置を決定する（Ｓ２２０）。この割付位置の決定は、各テキストデータと対を成す属性データに含まれる割付順識別子を参照することで行なわれる。即ち、最初に割り付けられるべきことを示す割付順識別子と対を成していた活字テキストデータが一番上の位置に配置され、以降の順番を示す割付識別子と対を成していた活字テキストデータがその下に順次配置されるように割付位置を決定する。 The CPU 11 identifies typed text data from each text data read to the RAM 12 (S210).
The CPU 11 determines the allocation position of the printed text data on the document screen (S220). This allocation position is determined by referring to an allocation order identifier included in attribute data paired with each text data. That is, type text data paired with an allocation order identifier indicating that it should be allocated first is placed at the top position, and type text data paired with an allocation identifier indicating the subsequent order The allocation position is determined so as to be sequentially arranged below.

続いて、ＣＰＵ１１は、ＲＡＭ１２に記憶した各テキストデータから、手書テキストデータを特定する（Ｓ２３０）。
ＣＰＵ１１は、文書画面における手書テキストデータの割付位置を決定する（Ｓ２４０）。この割付位置の決定は、手書テキストデータと対を成す属性データに含まれる領域識別子の内容と、活字テキストデータと対を成す属性データに含まれる領域識別子の内容とを照合することで行なわれる。即ち、手書テキストデータと同じ領域識別子を含む属性データと対を成していた活字テキストデータの右上に配置されるように割付位置を決定する。 Subsequently, the CPU 11 specifies handwritten text data from each text data stored in the RAM 12 (S230).
The CPU 11 determines the allocation position of the handwritten text data on the document screen (S240). The allocation position is determined by comparing the contents of the area identifier included in the attribute data paired with the handwritten text data with the contents of the area identifier included in the attribute data paired with the printed text data. . That is, the allocation position is determined so as to be arranged at the upper right of the type text data paired with the attribute data including the same area identifier as the handwritten text data.

ＣＰＵ１１は、各テキストデータが示す文字列をそれぞれ割り付けた文書画面をコンピュータディスプレイ１５に表示させる（Ｓ２５０）。
図９は、文書画面の一例を示す図である。
この画面は中央から左側にかけて文書画像表示領域Ｈが設けられている。この領域の内部には、活字テキストデータが示す文字列（以下、「活字文字列」と呼ぶ）ＰＴ１及び２と手書テキストデータが示す文字列（以下、「手書文字列」と呼ぶ）ＨＴとが割り付けられている。そして、手書文字列ＨＴから活字文字列ＰＴ２に向けて、アノテーションの対応関係を表す矢印ＡＲが表示される。更に、画面の右側には、「前のページへ」と記されたボタンＰＢと「次のページへ」と記されたボタンＦＢとが表示される。 The CPU 11 causes the computer display 15 to display a document screen to which the character string indicated by each text data is assigned (S250).
FIG. 9 is a diagram illustrating an example of a document screen.
In this screen, a document image display area H is provided from the center to the left side. Within this area, there are character strings (hereinafter referred to as “printed character strings”) PT1 and 2 indicated by the printed text data and character strings (hereinafter referred to as “handwritten character strings”) HT indicated by the handwritten text data. And are assigned. An arrow AR indicating the correspondence between annotations is displayed from the handwritten character string HT toward the printed character string PT2. Further, on the right side of the screen, a button PB marked “Go to previous page” and a button FB marked “Go to next page” are displayed.

この画面が表示された状態において、ユーザが、ボタンＰＢ又はボタンＦＢにマウスポインタを移動し左クリックする操作を行なうと、ＣＰＵ１１は、別の文書画像データから取得されたテキストデータ群に処理対象を進めて、ステップ２００乃至ステップ２５０の処理を実行する。これにより、文書画面における文書画像表示領域Ｈの表示内容が、原稿フィーダに載置されていた別の文書と対応するものに切り替わる。 When the user performs an operation of moving the mouse pointer to the button PB or the button FB and left-clicking in a state where this screen is displayed, the CPU 11 selects a processing target for a text data group acquired from another document image data. The process of step 200 to step 250 is executed. Thereby, the display content of the document image display area H on the document screen is switched to one corresponding to another document placed on the document feeder.

また、ユーザは、この文書画面が表示された状態において、活字文字列の表示態様を変更する操作と、手書文字列の表示態様を変更する操作とを行なうことができる。
活字文字列の表示態様を変更する操作は、文書画像表示領域Ｈにおける活字文字列が割り付けられた任意の位置にマウスポインタを移動して右クリックすることにより行なわれる。この操作が行なわれると、ＣＰＵ１１は、活字文字表示態様選択メニューをプルダウン表示させる（Ｓ２６０）。図１０は、活字文字表示態様選択メニューが表示された状態の文書画面である。このプルダウンメニューでは、「ゴシック体」、「明朝体」、「太字」という３つの表示態様が列記される。ユーザは、所望の表示態様にマウスポインタを移動して左クリックする。この操作が行なわれると、ＣＰＵ１１は、文書画面上におけるすべての活字文字列の表示態様を、プルダウンメニューから選択された表示態様に変更する（Ｓ２７０）。なお、図１０に示すように文書画面上に複数の独立した活字文字列が表示されていた場合、それらのすべてをプルダウンメニューで選択された表示態様に変更する。 In addition, the user can perform an operation of changing the display mode of the printed character string and an operation of changing the display mode of the handwritten character string in a state where the document screen is displayed.
The operation of changing the display mode of the printed character string is performed by moving the mouse pointer to an arbitrary position where the printed character string is assigned in the document image display area H and right-clicking. When this operation is performed, the CPU 11 pulls down a type character display mode selection menu (S260). FIG. 10 is a document screen in a state where a type character display mode selection menu is displayed. In this pull-down menu, three display modes of “Gothic”, “Mincho”, and “Bold” are listed. The user moves the mouse pointer to a desired display mode and left-clicks. When this operation is performed, the CPU 11 changes the display mode of all the printed character strings on the document screen to the display mode selected from the pull-down menu (S270). When a plurality of independent type character strings are displayed on the document screen as shown in FIG. 10, all of them are changed to the display mode selected from the pull-down menu.

一方、手書文字列の表示態様を変更する操作は、文書画像表示領域Ｈにおける手書文字列が割り付けられた任意の位置にマウスポインタを移動して右クリックすることにより行なわれる。この操作が行なわれると、ＣＰＵ１１は、手書文字表示態様選択メニューをプルダウン表示させる（Ｓ２８０）。図１１は、手書文字表示態様選択メニューが表示された状態の文書画面である。このプルダウンメニューでは、「矢印」と「吹き出し」と「引き出し線」という３つの表示態様が列記される。ユーザは、所望の表示態様にマウスポインタを移動して左クリックする。この操作が行なわれると、ＣＰＵ１１は、文書画面上におけるすべての手書文字列の表示態様を、プルダウンメニューから選択された表示態様に変更する（Ｓ２９０）。例えば、図１１の手書文字表示態様選択メニューにて「吹き出し」が選択された場合、図１２に示すように、それまで矢印の画像によって手書文字列と関連付けられていた手書文字列が、手書文字列を内部に記した吹き出しの画像に切り替わる。 On the other hand, the operation of changing the display mode of the handwritten character string is performed by moving the mouse pointer to an arbitrary position where the handwritten character string is assigned in the document image display area H and right-clicking. When this operation is performed, the CPU 11 pulls down a handwritten character display mode selection menu (S280). FIG. 11 is a document screen in a state where a handwritten character display mode selection menu is displayed. In this pull-down menu, three display modes of “arrow”, “balloon”, and “leader” are listed. The user moves the mouse pointer to a desired display mode and left-clicks. When this operation is performed, the CPU 11 changes the display mode of all handwritten character strings on the document screen to the display mode selected from the pull-down menu (S290). For example, when “speech balloon” is selected in the handwritten character display mode selection menu of FIG. 11, the handwritten character string previously associated with the handwritten character string by the image of the arrow is displayed as shown in FIG. Then, the image is switched to a balloon image in which a handwritten character string is written.

以上説明した本実施形態によると、アノテーションが追記された文書を読み込んだ複合機が、その文書から活字文字が記された領域の画像データと手書文字が記された領域の画像データとを分離し、分離された画像データの各々からテキストデータを個別に取得するようになっている。そして、それらのテキストデータを割り付けた文書画面を表示するコンピュータ装置は、手書領域の画像データから取得されたテキストデータが示す文字列の表示態様と活字領域の画像データから取得されたテキストデータが示す文字列の表示態様とを個別に制御することができるようになっている。 According to the present embodiment described above, the multi-function peripheral that has read the document with the annotation added separates the image data of the area where the printed characters are written from the image data of the area where the handwritten characters are written. The text data is individually acquired from each of the separated image data. Then, the computer device that displays the document screen to which the text data is assigned has the display mode of the character string indicated by the text data acquired from the image data in the handwriting area and the text data acquired from the image data in the type area. The display mode of the character string to be shown can be individually controlled.

（第２実施形態）
本発明の第２実施形態を説明する。本実施形態に係る文書管理システムは、複数枚の文書を複合機に一度に読み込ませて文書画面として表示させる場合に、好適な作用を奏する。
ここで、本実施形態かかる文書管理システムを利用するユーザは、複数枚の文書の各々にアノテーションを追記する際、アノテーションと関連する活字部分を矢印によって指し示すだけでなく、自らのイニシャルをそのアノテーションに併記することになっている。図１３は、このような取り決めに従ってアノテーションが追記された状態の文書の一例を示す図である。同図に示す文書では、パラグラフＡ、パラグラフＢのほか、アノテーションＣが追記されており、そのアノテーションＣがパラグラフＢに関連するものであることを示す矢印Ｄが記されている。更に、アノテーションＣは、その追記者のイニシャルを示す「Ｆ．Ｔ」の文字列を内包している。 (Second Embodiment)
A second embodiment of the present invention will be described. The document management system according to the present embodiment has a preferable effect when a plurality of documents are read at once by a multi-function peripheral and displayed as a document screen.
Here, when a user who uses the document management system according to the present embodiment adds an annotation to each of a plurality of documents, he / she does not only indicate the type portion associated with the annotation with an arrow, but also uses his initials as the annotation. It is supposed to be written together. FIG. 13 is a diagram showing an example of a document in which annotations are additionally written according to such an agreement. In the document shown in the figure, in addition to paragraph A and paragraph B, annotation C is additionally written, and an arrow D indicating that the annotation C is related to paragraph B is written. Further, the annotation C includes a character string “FT” indicating the initial of the appender.

本実施形態における文書管理システムも、第１実施形態と同様に複合機２０とコンピュータ装置１０とから構成されるものであり、複合機２０のハードウェア構成は第１実施形態と同様である。一方、コンピュータ装置１０のハードウェア構成は、ハードディスク１４に追記者氏名データベースを記憶している点を除いて第１実施形態と同様である。 Similarly to the first embodiment, the document management system according to the present embodiment is composed of the multifunction device 20 and the computer apparatus 10, and the hardware configuration of the multifunction device 20 is the same as that of the first embodiment. On the other hand, the hardware configuration of the computer apparatus 10 is the same as that of the first embodiment except that the additional name database is stored in the hard disk 14.

図１４に、追記者氏名データベースのデータ構造を示す。このデータベースは、文書にアノテーションを追記することが想定される各ユーザと対応する複数のレコードを集めてなる。このデータベースを構成する１つのレコードは、「イニシャル」と「氏名」の２つのフィールドを有しており、各ユーザのイニシャルとフルネームとを対応付けている。例えば、図１４における最上段のレコードは、「Ｆ．Ｔ」というイニシャルと、「富士太郎」というフルネームとを対応付けている。 FIG. 14 shows the data structure of the appender name database. This database is a collection of a plurality of records corresponding to each user who is supposed to add annotations to a document. One record constituting this database has two fields of “initial” and “name”, and each user's initial and full name are associated with each other. For example, the top record in FIG. 14 associates the initial “FT” with the full name “Taro Fuji”.

本実施形態の動作を説明する。本実施形態の特徴的な動作は、第１実施形態と同様に、ＯＣＲサービス処理と文書画面表示処理とに大別できる。これら両処理のうちＯＣＲサービス処理の内容は第１実施形態と同様である。即ち、ユーザが、アノテーションとイニシャルとを追記しておいた複数の文書を複合機２０の図示しない原稿フィーダーに載置し、ＯＣＲサービスのサービス要求を指示デバイス２１から指示すると、図６に示した一連の処理が各文書毎に実行される。そして、コンピュータ装置１０のハードディスク１４には、各文書毎に纏められたテキストデータ群が記憶されることになる。 The operation of this embodiment will be described. The characteristic operations of this embodiment can be broadly divided into OCR service processing and document screen display processing, as in the first embodiment. Of these two processes, the content of the OCR service process is the same as in the first embodiment. That is, when the user places a plurality of documents with annotations and initials added on a document feeder (not shown) of the multifunction machine 20 and instructs a service request for the OCR service from the instruction device 21, FIG. 6 shows. A series of processing is executed for each document. The hard disk 14 of the computer apparatus 10 stores a text data group collected for each document.

次に、本実施形態におけるＯＣＲサービス処理の内容を説明する。図１５は、ＯＣＲサービス処理を示すフローチャートである。
本実施形態のＯＣＲサービス処理は、ステップ２３０以降の内容が第１実施形態と異なる。ステップ２３０にて手書テキストデータを特定したＣＰＵ１１は、その手書テキストデータが示す文字列の中に、追記者氏名データベースの「イニシャル」のフィールドに記憶された文字列と同じ綴りの文字列が含まれているか判断する（Ｓ２３１）。 Next, the contents of the OCR service process in this embodiment will be described. FIG. 15 is a flowchart showing the OCR service process.
The OCR service process of this embodiment differs from the first embodiment in the contents after step 230. The CPU 11 that has identified the handwritten text data in step 230 includes a character string with the same spelling as the character string stored in the “initial” field of the additional name database in the character string indicated by the handwritten text data. It is determined whether it is included (S231).

同じ綴りの文字列が含まれているとき、その文字列を「イニシャル」のフィールドに記憶しているレコードを追記者氏名データベースから特定する（Ｓ２３２）。続いて、特定したレコードの「氏名」のフィールドにフルネームとして記憶されている文字列をＲＡＭに読み出し（Ｓ２３３）、ステップ２４０に進んで割付位置を決定する。
一方、同じ綴りの文字列が含まれていないときは、ステップ２３１乃至２３３を実行することなくステップ２４０に進む。
そして、ステップ２４０にて割付位置を決定すると、ＣＰＵ１１は、別の文書画像データから取得されたテキストデータ群に処理対象を進めて、ステップ２００乃至ステップ２４０の処理を実行する。 When the same spelling character string is included, a record storing the character string in the “initial” field is specified from the appender name database (S232). Subsequently, the character string stored as the full name in the “name” field of the specified record is read into the RAM (S233), and the process proceeds to step 240 to determine the allocation position.
On the other hand, if the same spelling character string is not included, the process proceeds to step 240 without executing steps 231 to 233.
When the allocation position is determined in step 240, the CPU 11 advances the processing target to a text data group acquired from another document image data, and executes the processing from step 200 to step 240.

すべての文書画像データから取得されたテキストデータ群についてステップ２００乃至ステップ２４０の処理を実行した後、ＣＰＵ１１は、ステップ２５０に進んで文書画面を表示させる。
図１６は、文書画面を示す図である。本実施形態における文書画面は、図９と異なり、ボタンＰＢ及びボタンＦＢは設けられていない。その代わりに、文書画像表示領域Ｈには複数の文書画像がカスケード表示されている。同領域内にカスケード表示された各文書画像は、原稿フィーダに載置された各文書の文書画像データから得られたテキストデータが示す文字列をそれぞれ割り付けてなり、各文書画像の右隣には、アノテーションの追記者のフルネームを内部に記した付箋画像ＬＡＢ１乃至３が表示されている。 After executing the processing of Step 200 to Step 240 for the text data group acquired from all the document image data, the CPU 11 proceeds to Step 250 to display the document screen.
FIG. 16 is a diagram showing a document screen. Unlike the FIG. 9, the document screen in the present embodiment is not provided with the button PB and the button FB. Instead, a plurality of document images are displayed in cascade in the document image display area H. Each document image displayed in cascade in the same area is assigned with a character string indicated by the text data obtained from the document image data of each document placed on the document feeder. , Sticky note images LAB1 to LAB3 in which the full names of the annotation writers are recorded are displayed.

ユーザが、付箋画像のいずれかにマウスポインタを移動し左クリックする操作を行なうと、ＣＰＵ１１は、その付箋画像と対応する文書画像を最前面に表示させる。そして、最前面に表示された文書画像における活字文字列が表示された領域にマウスポインタを移動し左クリックする操作が行なわれると、第１実施形態と同様に、ステップ２６０乃至２７０の処理が実行される。また、手書文字列が表示された領域にマウスポインタを移動し左クリックする操作が行なわれると、ステップ２８０乃至ステップ２９０の処理が実行される。 When the user performs an operation of moving the mouse pointer to one of the sticky note images and left-clicking, the CPU 11 displays the document image corresponding to the sticky note image on the foreground. Then, when an operation of moving the mouse pointer to the area where the printed character string is displayed in the document image displayed on the foreground and left-clicking is performed, the processing of steps 260 to 270 is executed as in the first embodiment. Is done. Further, when an operation of moving the mouse pointer to the area where the handwritten character string is displayed and left-clicking is performed, the processing from step 280 to step 290 is executed.

本実施形態によると、複合機は、アノテーションとイニシャルとをそれぞれ追記した複数の文書を読み取ってテキストデータを取得し、コンピュータ装置は、それら各文書と各々対応する文書画像をカスケード表示するようになっている。更に、カスケード表示された各文書画像の右隣にはアノテーションの追記者のフルネームを内部に記した付箋画像がそれぞれ表示され、コンピュータ装置は、選択された付箋画像と対応する文書画像を最前面に表示させるようになっている。このため、特定のユーザによってアノテーションが記された文書の画面を容易に検索することができる。 According to the present embodiment, the multifunction peripheral reads a plurality of documents with annotations and initials added thereto to acquire text data, and the computer device displays the document images corresponding to the respective documents in a cascade display. ing. In addition, a tag image with the full name of the annotation appender inside is displayed on the right next to each cascaded document image, and the computer apparatus brings the document image corresponding to the selected tag image to the foreground. It is supposed to be displayed. For this reason, it is possible to easily search a screen of a document on which an annotation is written by a specific user.

（他の実施形態）
本発明は、種々の変形実施が可能である。
上記実施形態では、文書を読み込んでその文書画像データを生成した複合機２０が、手書領域と活字領域の画像データを夫々切出し、それらの画像データからテキストデータを取得してコンピュータ装置１０に引き渡すようになっていた。これに対し、テキストデータの取得をコンピュータ装置１０に実行させるようにしてもよい。この変形例では、複合機２０の活字テキストデータ取得部４５及び手書テキストデータ取得部４６に相当する機能をコンピュータ装置１０が実装する。そして、複合機２０は、文書画像データから手書領域と活字領域の画像データを取得するとそれらの画像データを属性データと共にコンピュータ装置１０へ直ちに送信し、コンピュータ装置１０のＣＰＵ１１が、図６のステップ１４０及び１５０に相当する処理を行うことでテキストデータを取得する。
また、複合機３０にディスプレイデバイスを搭載し、文書画面をそのディスプレイデバイスに表示させるようにしてもよい。このようにすることで、ユーザは、コンピュータ装置１０を用いることなく文書画面を参照することができる。
活字文字表示態様選択メニューにて選択可能な表示態様は、「ゴシック体」、「明朝体」、「太字」の３つであったが、これら以外の表示態様を選択可能としてもよい。また、手書文字表示態様選択メニューにて選択可能な表示態様は、「矢印」、「吹き出し」、「引き出し線」の３つであったが、これら以外の表示態様を選択可能としてもよい。
第２実施形態では、アノテーションに特定のユーザのイニシャルを示す文字列が含まれているか否かを判定し、特定のユーザのイニシャルが含まれているときは、そのユーザのフルネームを記した付箋画像を文書画像の右隣に表示するようになっていた。これに対し、各ユーザのイニシャルに応じて文書画像内の文字列の表示態様に特定の制御を施すようにしてもよい。この種の変形例としては、アノテーションに特定のユーザのイニシャルを示す文字列が含まれていたとき、そのアノテーション自体の表示色を特定の色に制御するといったものが想定できる。
文書画像データから活字領域の画像データと手書領域の画像データとを切り出す際における活字領域と手書領域の分離を、上記実施形態に示した以外の手法により実現してもよい。例えば、注目領域内にある各文字のストロークの平均的太さを検出し、この太さを示す値が予め設定された閾値よりも大きい場合に活字文字を記した領域であると判定するようにしてもよい。これは、活字文字のストロークが手書文字のストロークよりも一般に太いという性質に着目したものである。また、注目領域内にある各文字の直線成分と非直線成分とを定量化し、直線成分の非直線成分に占める割合が所定の閾値より大きい場合に活字文字を記した領域であると判定するようにしてもよい。これは、活字文字は手書文字よりも直線成分が多く含まれるという性質に着目したものである。 (Other embodiments)
The present invention can be modified in various ways.
In the above embodiment, the multifunction device 20 that has read the document and generated the document image data cuts out the image data of the handwriting area and the print area, acquires the text data from the image data, and delivers it to the computer apparatus 10. It was like that. On the other hand, you may make it make the computer apparatus 10 perform acquisition of text data. In this modification, the computer device 10 implements functions corresponding to the type text data acquisition unit 45 and the handwritten text data acquisition unit 46 of the multifunction machine 20. When the multifunction device 20 acquires the image data of the handwriting area and the print area from the document image data, it immediately transmits the image data together with the attribute data to the computer apparatus 10, and the CPU 11 of the computer apparatus 10 performs the step of FIG. Text data is acquired by performing processing corresponding to 140 and 150.
Further, a display device may be mounted on the multifunction device 30 and a document screen may be displayed on the display device. In this way, the user can refer to the document screen without using the computer device 10.
There are three display modes that can be selected from the print character display mode selection menu: “Gothic”, “Mincho”, and “Bold”, but other display modes may be selected. Further, there are three display modes that can be selected from the handwritten character display mode selection menu: “arrow”, “speech balloon”, and “leader line”, but other display modes may be selectable.
In the second embodiment, it is determined whether or not a character string indicating the initial of a specific user is included in the annotation, and when the initial of the specific user is included, a sticky note image indicating the full name of the user Is displayed on the right side of the document image. On the other hand, specific control may be performed on the display mode of the character string in the document image according to the initials of each user. As a modification of this type, when a character string indicating the initial of a specific user is included in the annotation, it can be assumed that the display color of the annotation itself is controlled to a specific color.
The separation of the print area and the handwriting area when the image data of the print area and the image data of the handwriting area are cut out from the document image data may be realized by a method other than that shown in the above embodiment. For example, the average thickness of the strokes of each character in the attention area is detected, and when the value indicating the thickness is larger than a preset threshold value, it is determined that the area is a typed character area. May be. This focuses on the property that the stroke of type characters is generally thicker than the stroke of handwritten characters. Further, the linear component and the non-linear component of each character in the attention area are quantified, and when the ratio of the linear component to the non-linear component is larger than a predetermined threshold, it is determined that the region is a region where the type character is written. It may be. This focuses on the property that printed characters contain more linear components than handwritten characters.

アノテーションが追記された状態の文書を示す図である。It is a figure which shows the document of the state to which the annotation was added. 文書管理システムの全体構成図である。1 is an overall configuration diagram of a document management system. コンピュータ装置のハードウェア図である。It is a hardware figure of a computer apparatus. 複合機のハードウェア概略構成図である。FIG. 2 is a schematic hardware configuration diagram of a multifunction machine. ＯＣＲサービス処理部の内部構成図である。It is an internal block diagram of an OCR service process part. ＯＣＲサービス処理を示すフローチャートである。It is a flowchart which shows an OCR service process. 黒画素への置き換えを行なった状態を示す図である。It is a figure which shows the state which substituted to the black pixel. 文書画面表示処理を示すフローチャートである。It is a flowchart which shows a document screen display process. 文書画面を示す図である。It is a figure which shows a document screen. 文書画面を示す図である。It is a figure which shows a document screen. 文書画面を示す図である。It is a figure which shows a document screen. 文書画面を示す図である。It is a figure which shows a document screen. アノテーションが追記された状態の文書を示す図である。It is a figure which shows the document of the state to which the annotation was added. 追記者氏名データベースのデータ構造を示す。The data structure of the appender name database is shown. 文書画面表示処理を示すフローチャートである。It is a flowchart which shows a document screen display process. 文書画面を示す図である。It is a figure which shows a document screen.

符号の説明Explanation of symbols

１０…コンピュータ装置、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…ハードディスク、１５…コンピュータディスプレイ、１６…マウス、１７…キーボード、１８…通信インターフェース、２０…複合機、２１…指示デバイス、２２…画像入力デバイス、２３…画像印刷デバイス、２４…ネットワーク通信デバイス、２５…ファクシミリ通信デバイス、３０…コントローラ、３１…指示処理部、３２…コピーサービス処理部、３３…プリントサービス処理部、３４…ファクシミリサービス処理部、４０…ＯＣＲサービス処理部、４１…文書画像データ用メモリ、４２…領域分離部、４３…活字領域画像データ用メモリ、４４…手書領域画像データ用メモリ、４５…活字テキストデータ取得部、４７…テキストデータ用メモリ、４８…テキストデータ出力部。 DESCRIPTION OF SYMBOLS 10 ... Computer apparatus, 11 ... CPU, 12 ... RAM, 13 ... ROM, 14 ... Hard disk, 15 ... Computer display, 16 ... Mouse, 17 ... Keyboard, 18 ... Communication interface, 20 ... Multifunction device, 21 ... Instruction device, 22 ... Image input device, 23 ... Image printing device, 24 ... Network communication device, 25 ... Facsimile communication device, 30 ... Controller, 31 ... Instruction processing unit, 32 ... Copy service processing unit, 33 ... Print service processing unit, 34 ... Facsimile Service processing unit 40 ... OCR service processing unit 41 ... Document image data memory 42 ... Area separation unit 43 ... Type region image data memory 44 ... Hand writing region image data memory 45 ... Type text data acquisition Part, 47 ... memory for text data, 48 Text data output section.

Claims

活字文字と手書文字とが混在する文書を走査し、前記文書の内容をビットマップとして表す文書画像データを取得する文書画像取得手段と、
前記文書画像データから、１又は複数の活字文字が記されている活字領域の画像データと、１又は複数の手書文字が記されている手書領域の画像データとを切り出す領域分離手段と、
前記活字領域の画像データと手書領域の画像データとを個別に記憶する画像データ記憶手段と
を備えた文書管理支援装置。 A document image acquisition unit that scans a document in which printed characters and handwritten characters are mixed, and acquires document image data representing the content of the document as a bitmap;
Area separation means for cutting out from the document image data image data of a type region where one or more type characters are written and image data of a handwriting region where one or more type characters are written;
A document management support apparatus comprising: image data storage means for individually storing the image data of the type region and the image data of the handwriting region.

請求項１記載の文書管理支援装置において、
前記領域分離手段は、
前記文書画像データから、注目領域を特定する手段と、
前記注目領域内において隣り合う２つの文字の間の距離を当該２つの文字の組毎に求め、求めた各距離のばらつきの程度が所定の範囲を超えるか否か判断する手段と、
前記ばらつきの程度が所定の範囲を超えないときは前記注目領域が活字領域であると判断する一方で、当該ばらつきの程度が所定の範囲を超えるときは前記注目領域が手書領域であると判断する手段と
を含むことを特徴とする文書管理支援装置。 The document management support apparatus according to claim 1, wherein
The region separating means includes
Means for identifying a region of interest from the document image data;
Means for determining a distance between two adjacent characters in the region of interest for each set of the two characters, and determining whether or not the degree of variation of the determined distances exceeds a predetermined range;
When the degree of variation does not exceed a predetermined range, it is determined that the region of interest is a type region, while when the degree of variation exceeds a predetermined range, the region of interest is determined to be a handwriting region. And a document management support apparatus.

請求項１又は２記載の文書管理支援装置において、
前記活字領域の画像データから、当該活字領域内にある活字文字の内容を表す活字テキストデータを取得する活字テキストデータ取得手段と、
前記手書領域の画像データから、当該手書領域内にある手書文字の内容を表す手書テキストデータを取得する手書テキストデータ取得手段と、
前記活字テキストデータと手書テキストデータとを個別に記憶するテキストデータ記憶手段と
を備えた文書管理支援装置。 The document management support apparatus according to claim 1 or 2,
Type text data acquisition means for acquiring type text data representing the contents of type characters in the type region from the image data of the type region;
Handwritten text data acquisition means for acquiring handwritten text data representing the contents of handwritten characters in the handwritten area from the image data of the handwritten area;
A document management support apparatus, comprising: text data storage means for individually storing the printed text data and handwritten text data.

請求項３記載の文書管理支援装置において、
前記テキストデータ記憶手段から前記活字テキストデータと手書テキストデータとをそれぞれ読出し、当該活字テキストデータが示す文字列と手書テキストデータが示す文字列とを割り付けた文書画面を表示する表示手段と、
活字文字の表示態様を操作する活字文字操作手段と、
前記活字文字操作手段の操作内容に応じ、前記活字テキストデータが示す文字列の表示態様を制御する活字文字表示制御手段と
を更に備えた文書管理支援装置。 The document management support apparatus according to claim 3,
Display means for reading out the printed text data and handwritten text data from the text data storage means, and displaying a document screen in which the character string indicated by the printed text data and the character string indicated by the handwritten text data are assigned;
Type character operation means for manipulating the display mode of type characters;
A document management support apparatus, further comprising: a type character display control unit that controls a display mode of a character string indicated by the type text data according to an operation content of the type character operation unit.

請求項４記載の文書管理支援装置において、
前記テキストデータ記憶手段から前記活字テキストデータと手書テキストデータとをそれぞれ読出し、当該活字テキストデータが示す文字列と手書テキストデータが示す文字列とを割り付けた文書画面を表示する表示手段と、
手書文字の表示態様を操作する手書文字操作手段と、
前記手書文字操作手段の操作内容に応じ、前記手書テキストデータが示す文字列の表示態様を制御する手書文字表示制御手段と
を更に備えた文書管理支援装置。 The document management support apparatus according to claim 4, wherein
Display means for reading out the printed text data and handwritten text data from the text data storage means, and displaying a document screen in which the character string indicated by the printed text data and the character string indicated by the handwritten text data are assigned;
A handwritten character operation means for operating the display mode of the handwritten character;
A document management support apparatus, further comprising: a handwritten character display control unit that controls a display mode of a character string indicated by the handwritten text data according to an operation content of the handwritten character operation unit.

請求項５記載の文書管理支援装置において、
前記テキストデータ記憶手段から前記活字テキストデータと手書テキストデータとをそれぞれ読出し、当該活字テキストデータが示す文字列と手書テキストデータが示す文字列とを割り付けた文書画面を表示する表示手段と、
前記手書テキストデータが示す文字列に、手書文字を追記した者の略称を示す所定の文字又は文字列が含まれているか判断する判断手段と、
前記追記した者の略称を示す所定の文字又は文字列が含まれているとき、前記手書テキストデータが示す文字列を所定の文字色で表示させる手書文字表示色制御手段と
を更に備えた文書管理支援装置。 The document management support apparatus according to claim 5, wherein
Display means for reading out the printed text data and handwritten text data from the text data storage means, and displaying a document screen in which the character string indicated by the printed text data and the character string indicated by the handwritten text data are assigned;
Determining means for determining whether the character string indicated by the handwritten text data includes a predetermined character or character string indicating the abbreviation of the person who added the handwritten character;
A handwritten character display color control means for displaying the character string indicated by the handwritten text data in a predetermined character color when a predetermined character or character string indicating the abbreviation of the person who has added information is included. Document management support device.

請求項４乃至６記載の文書管理支援装置において、
前記手書テキストデータが示す文字列に、手書文字を追記した者の略称を示す所定の文字又は文字列が含まれるとき、当該手書文字を追記した者の氏名を前記表示手段に表示させる追記者氏名挿入手段を
更に備える文書管理支援装置。 The document management support apparatus according to any one of claims 4 to 6,
When the character string indicated by the handwritten text data includes a predetermined character or character string indicating the abbreviation of the person who added the handwritten character, the name of the person who added the handwritten character is displayed on the display means. A document management support apparatus further comprising an appender name insertion means.