JP2013172260A - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP2013172260A JP2013172260A JP2012034260A JP2012034260A JP2013172260A JP 2013172260 A JP2013172260 A JP 2013172260A JP 2012034260 A JP2012034260 A JP 2012034260A JP 2012034260 A JP2012034260 A JP 2012034260A JP 2013172260 A JP2013172260 A JP 2013172260A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- deletion
- image data
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、原稿画像の読み取りによる画像データから不要なオブジェクトを削除して原稿画像を復元する画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and program for deleting an unnecessary object from image data obtained by reading a document image and restoring the document image.
近年では、ストレージデバイスの低価格化等に伴い、紙原稿（原稿画像）をスキャンによりデータ化して保管・再利用するケースが増えている。そのような画像データに対しては、ワープロソフト等で利用できるように、文字認識処理を用いてテキストオブジェクトのコード化を行うＯＣＲ（Optical Character Reader）処理も多く行われるようになった。 In recent years, with the price reduction of storage devices, etc., cases of paper originals (original images) converted into data by scanning and stored / reused are increasing. For such image data, an OCR (Optical Character Reader) process for encoding a text object using a character recognition process is often performed so that it can be used by word processing software or the like.
ところが、画像データにおいては、スキャン対象となる原稿画像のテキスト領域に手書きによる書き込みがあると、その書き込みによる付加オブジェクトが背景となるテキストオブジェクトに対するＯＣＲ精度低下の要因となってしまう。 However, in image data, if handwritten writing is performed in a text area of a document image to be scanned, an additional object resulting from the writing causes a reduction in OCR accuracy with respect to a text object as a background.
また、テキストオブジェクト以外のイメージオブジェクトやベクターオブジェクトに対しても、付加オブジェクトが背景となるオブジェクトを浸食することから、画像データを印刷出力して再配布する場合のように再利用時の不都合があった。 Also, for image objects and vector objects other than text objects, additional objects erode objects that become the background, so there are inconveniences at the time of reuse, such as when image data is printed out and redistributed. It was.
このため、画像データから不要な付加オブジェクトを削除して元原稿を復元する技術が望まれていた。 For this reason, there has been a demand for a technique for restoring an original document by deleting unnecessary additional objects from image data.
これに対し、特許文献１のように手書きによる付加オブジェクトを認識して削除する技術や特許文献２のようにオブジェクトの削除領域を補完する技術が提案されている。 On the other hand, a technique for recognizing and deleting a handwritten additional object as in Patent Document 1 and a technique for complementing an object deletion area as in Patent Document 2 have been proposed.
しかし、特許文献２の技術は、削除領域の周囲の画素からグラデーションを作成して補完を行うため、イメージオブジェクトの補完に適しているものの、テキストオブジェクトの補完には不適である。 However, the technique of Patent Document 2 is suitable for complementing an image object because it creates a gradation from pixels around the deletion area and complements it, but is not suitable for complementing a text object.
従って、特許文献１及び２の技術を用いても、付加オブジェクトを削除した後の元原稿の復元性には限界があった。 Therefore, even if the techniques of Patent Documents 1 and 2 are used, there is a limit to the recoverability of the original document after deleting the additional object.
本発明が解決しようとする問題点は、原稿画像に対する付加オブジェクトの削除後の元原稿の復元性に限界があった点である。 The problem to be solved by the present invention is that there is a limit to the recoverability of the original document after deleting the additional object from the document image.
本発明は、原稿画像に対する付加オブジェクトを削除して元原稿の復元を容易且つ確実に行うために、原稿画像の読み取りによって生成された画像データ中のオブジェクトの属性を認識するオブジェクト認識部と、前記オブジェクト認識部により認識された前記原稿画像上への付加オブジェクトを削除する削除部と、前記付加オブジェクトの削除領域を異なる処理で補完する複数の補完部と、前記付加オブジェクトに対する背景オブジェクトの属性に応じ相対的に補完性の高い処理で前記補完を行う補完部を選択する選択部とを備えたことを最も主な特徴とする。 The present invention provides an object recognition unit for recognizing an attribute of an object in image data generated by reading a document image, in order to easily and reliably restore an original document by deleting an additional object from the document image, Depending on the attribute of the background object for the additional object, a deletion unit that deletes the additional object on the original image recognized by the object recognition unit, a plurality of complementing units that complement the deletion area of the additional object by different processes The main feature is that it includes a selection unit that selects a complementing unit that performs the complementing in a process with relatively high complementarity.
本発明によれば、削除領域を有する背景オブジェクトに適した補完を行うことができ、付加オブジェクトを削除して元原稿の復元を容易且つ確実に行うことができる。 According to the present invention, it is possible to perform complementation suitable for a background object having a deletion area, and it is possible to easily and reliably restore the original document by deleting the additional object.
原稿画像に対する付加オブジェクトを削除して元原稿の復元を容易且つ確実に行うという目的を、付加オブジェクトに対する背景オブジェクトの属性に応じ、複数の処理から相対的に補完性の高い処理を選択して削除領域の補完を行うことで実現した。 Select the process with relatively high complementarity from multiple processes according to the attribute of the background object for the additional object, and delete it for the purpose of easily and surely restoring the original document by deleting the additional object for the original image Realized by performing region complementation.
付加オブジェクトは、原稿画像への手書きによるものの他、原稿画像上に重なって読み取られた他の原稿画像やゴミ等であってもよい。 The additional object may be other original image, dust, or the like that is read by being superimposed on the original image, in addition to the handwritten image on the original image.
本発明の画像処理装置及びプログラムは、コピー機、デジタル複合機、或いはスキャナー装置等に適用することが可能であり、最終的に元原稿の画像出力を行わせることもできる。元原稿の画像出力は、コピー機やデジタル複合機の場合に印刷出力、スキャナー装置の場合にモニター上への画像出力等で実現される。 The image processing apparatus and program of the present invention can be applied to a copier, a digital multi-function peripheral, a scanner apparatus, or the like, and can finally output an image of an original document. The image output of the original document is realized by print output in the case of a copier or digital multifunction peripheral, and image output on a monitor in the case of a scanner device.
以下、本発明の実施例について説明する。 Examples of the present invention will be described below.
［画像処理装置］
図１は、本発明の実施例１に係る画像処理装置を示すブロック図である。
[Image processing device]
FIG. 1 is a block diagram illustrating an image processing apparatus according to the first embodiment of the present invention.
図１の画像処理装置１は、例えば、コピー機やデジタル複合機として構成され、少なくとも紙原稿（原稿画像）を読み取って印刷出力（画像出力）する複写機能を有する。このため、画像処理装置１は、画像取得部３と、出力部５と、制御部７と、記憶部９とをハードウェア構成として備えている。 The image processing apparatus 1 shown in FIG. 1 is configured as, for example, a copier or a digital multi-function peripheral, and has a copy function of reading at least a paper document (original image) and printing it out (image output). For this reason, the image processing apparatus 1 includes an image acquisition unit 3, an output unit 5, a control unit 7, and a storage unit 9 as a hardware configuration.
画像取得部３は、光学的に原稿画像を読み取って、原稿画像に対応するスキャン画像の画像データを生成する。生成した画像データは制御部７及び記憶部９に出力する。 The image acquisition unit 3 optically reads a document image and generates image data of a scanned image corresponding to the document image. The generated image data is output to the control unit 7 and the storage unit 9.
出力部５は、生成された画像データに基づいて用紙上に画像形成（画像出力）する。 The output unit 5 forms an image on a sheet (image output) based on the generated image data.
制御部７は、ソフトウェアプログラムを実行して各種制御や作業を行わせるＣＰＵ（Central Process Unit）等の制御要素である。本実施例では、画像取得部３と出力部５との間で後述の画像処理を行う。 The control unit 7 is a control element such as a CPU (Central Process Unit) that executes a software program to perform various controls and operations. In this embodiment, image processing described later is performed between the image acquisition unit 3 and the output unit 5.
記憶部９は、各種制御や作業のソフトウェアプログラムやデータを記憶するＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置である。 The storage unit 9 is a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), or a hard disk that stores software programs and data for various controls and operations.
本実施例の記憶部９は、画像処理のデータとして、画像取得部３から入力された画像データと共に画像データ上のオブジェクト情報を記憶する。また、ソフトウェアプログラムとしては、画像処理プログラムを保持している。 The storage unit 9 of this embodiment stores object information on the image data together with the image data input from the image acquisition unit 3 as image processing data. As a software program, an image processing program is held.
画像処理プログラムは、制御部７で実行されることにより、画像データから不要な付加オブジェクトとしての手書きオブジェクトを削除すると共に元原稿を復元する画像処理機能を与える。具体的には、制御部７が、オブジェクト認識部１１、削除部１３、補完部１５、及び選択部１７を画像処理の機能構成として備える。 The image processing program is executed by the control unit 7 to provide an image processing function for deleting a handwritten object as an unnecessary additional object from the image data and restoring the original document. Specifically, the control unit 7 includes an object recognition unit 11, a deletion unit 13, a complementing unit 15, and a selection unit 17 as a functional configuration for image processing.
オブジェクト認識部１１は、画像取得部３からの画像データが入力され、そのスキャン画像中のオブジェクトの属性を認識してオブジェクト情報を記憶部９に記憶する。 The object recognition unit 11 receives the image data from the image acquisition unit 3, recognizes the attribute of the object in the scanned image, and stores the object information in the storage unit 9.
図２は、スキャン画像の一例を示す概略図である。 FIG. 2 is a schematic diagram illustrating an example of a scanned image.
本実施例のスキャン画像Ｇは、写真等の図画からなるイメージ領域ＩＲ、線画からなるベクター領域ＶＲ、文字からなるテキスト領域ＴＲ、及び手書き領域ＨＲからなっている。手書き領域ＨＲは、ユーザーの手書きにより本来の原稿画像（元原稿）上に付加されたものであり、本実施例では、テキスト領域ＴＲ上に位置している。 The scanned image G of the present embodiment is composed of an image area IR consisting of a picture such as a photograph, a vector area VR consisting of a line drawing, a text area TR consisting of characters, and a handwriting area HR. The handwritten region HR is added on the original document image (original document) by the user's handwriting, and is located on the text region TR in this embodiment.
これらのイメージ領域ＩＲ、ベクター領域ＶＲ、テキスト領域ＴＲ、及び手書き領域ＨＲが、それぞれイメージオブジェクトＩＯ、ベクターオブジェクトＶＯ、テキストオブジェクトＴＯ、及び手書きオブジェクトＨＯとして認識されることになる。 These image area IR, vector area VR, text area TR, and handwriting area HR are recognized as image object IO, vector object VO, text object TO, and handwriting object HO, respectively.
本実施例のオブジェクト認識部１１は、イメージオブジェクト認識部１９、ベクターオブジェクト認識部２１、テキストオブジェクト認識部２３、及び手書きオブジェクト認識部２５で構成されており、オブジェクト毎に属性認識及びオブジェクト情報の記憶部９への記憶が行われる。 The object recognizing unit 11 of this embodiment includes an image object recognizing unit 19, a vector object recognizing unit 21, a text object recognizing unit 23, and a handwritten object recognizing unit 25, and attribute recognition and storage of object information for each object. Storage in the unit 9 is performed.
イメージオブジェクト認識部１９は、スキャン画像ＧのイメージオブジェクトＩＯを認識しオブジェクト情報の記憶を行う。 The image object recognition unit 19 recognizes the image object IO of the scan image G and stores object information.
イメージオブジェクトＩＯの認識は、周知のレイアウト解析技術を用いて行えばよい。例えば、スキャン画像Ｇから２値画像を生成し、２値画像から得られた黒画素の固まりを含む矩形領域に基づいて属性を認識する。ベクターオブジェクトＶＯ、テキストオブジェクトＴＯの認識についても、同様のレイアウト解析技術を用いればよい。 The recognition of the image object IO may be performed using a well-known layout analysis technique. For example, a binary image is generated from the scanned image G, and the attribute is recognized based on a rectangular region including a cluster of black pixels obtained from the binary image. A similar layout analysis technique may be used for the recognition of the vector object VO and the text object TO.
ベクターオブジェクト認識部２１は、スキャン画像ＧのベクターオブジェクトＶＯを認識し、テキストオブジェクト認識部２３は、テキストオブジェクトＴＯを認識し、それぞれオブジェクト情報を記憶部９に記憶する。 The vector object recognition unit 21 recognizes the vector object VO of the scanned image G, and the text object recognition unit 23 recognizes the text object TO and stores the object information in the storage unit 9.
手書きオブジェクト認識部２５は、スキャン画像Ｇの手書きオブジェクトＨＯを認識し、そのオブジェクト情報を記憶部９に記憶する。手書きオブジェクトＨＯの認識は、例えば本出願人の特開２００５−１７５５６５号公報のように、スキャン画像Ｇ上の線分の長さ及び線分の色スペクトラムに基づいて行えばよい。 The handwritten object recognition unit 25 recognizes the handwritten object HO of the scanned image G and stores the object information in the storage unit 9. The handwritten object HO may be recognized based on the length of the line segment on the scan image G and the color spectrum of the line segment as disclosed in, for example, Japanese Patent Application Laid-Open No. 2005-175565 of the present applicant.
削除部１３は、記憶部９からスキャン画像Ｇを取得し、手書きオブジェクトを削除する。この削除部１３は、手書きオブジェクト取得部２７と、背景オブジェクト取得部２９と、スキャン画像取得部３１と、削除実行部３３とを備えている。 The deletion unit 13 acquires the scan image G from the storage unit 9 and deletes the handwritten object. The deletion unit 13 includes a handwritten object acquisition unit 27, a background object acquisition unit 29, a scanned image acquisition unit 31, and a deletion execution unit 33.
手書きオブジェクト取得部２７は、記憶部９から手書きオブジェクトＨＯのオブジェクト情報（手書きレコード）を検索する。手書きレコードがある場合には、背景オブジェクト取得部２９及び削除実行部３３へ手書きレコードを出力すると共にスキャン画像取得部３１の出力先を削除実行部３３に切り換える。手書きレコードがない場合は、スキャン画像取得部３１の出力先を出力部５へ切り換える。 The handwritten object acquisition unit 27 searches the storage unit 9 for object information (handwritten record) of the handwritten object HO. When there is a handwritten record, the handwritten record is output to the background object acquisition unit 29 and the deletion execution unit 33 and the output destination of the scan image acquisition unit 31 is switched to the deletion execution unit 33. When there is no handwritten record, the output destination of the scanned image acquisition unit 31 is switched to the output unit 5.
背景オブジェクト取得部２９は、手書きオブジェクト取得部２７から入力された手書きレコードに基づいて、手書きオブジェクトＨＯの背景となるオブジェクトに関するオブジェクト情報（背景レコード）を記憶部９から検索する。検索された背景レコードは、削除実行部３３及び選択部１７へ出力される。 Based on the handwritten record input from the handwritten object acquiring unit 27, the background object acquiring unit 29 searches the storage unit 9 for object information (background record) related to the object serving as the background of the handwritten object HO. The retrieved background record is output to the deletion execution unit 33 and the selection unit 17.
スキャン画像取得部３１は、記憶部９からスキャン画像Ｇを取得し、上記出力先の切替に応じて削除実行部３３又は出力部５へ出力する。 The scan image acquisition unit 31 acquires the scan image G from the storage unit 9 and outputs the scan image G to the deletion execution unit 33 or the output unit 5 according to the switching of the output destination.
削除実行部３３は、スキャン画像Ｇ中の手書きオブジェクトＨＯを削除し、削除後のスキャン画像（削除後スキャン画像）を補完部１５へ出力する。削除は、スキャン画像取得部３１からのスキャン画像Ｇ、手書きオブジェクト取得部２７からの手書きレコード、背景オブジェクト取得部２９からの背景レコードに基づいて行われる。また、削除実行部３３は、記憶部９から手書きレコードの削除も行う。 The deletion executing unit 33 deletes the handwritten object HO in the scan image G, and outputs the deleted scan image (deleted scan image) to the complementing unit 15. Deletion is performed based on the scanned image G from the scanned image acquisition unit 31, the handwritten record from the handwritten object acquisition unit 27, and the background record from the background object acquisition unit 29. The deletion execution unit 33 also deletes the handwritten record from the storage unit 9.
補完部１５は、削除後スキャン画像に基づいて手書きオブジェクトＨＯの削除領域（空白）を異なる処理で補完するものであり、イメージ用補完部３５、ベクター用補完部３７、テキスト用補完部３９を備えている。 The complement unit 15 complements the deleted area (blank) of the handwritten object HO based on the scanned image after deletion by different processes, and includes an image complement unit 35, a vector complement unit 37, and a text complement unit 39. ing.
イメージ用補完部３５は、イメージオブジェクトＩＯ中の空白を埋めて補完を行う。具体的には、空白部分の周囲の画素からグラデーションを作成し、作成されたグラデーションにより空白部分を埋める。 The image complementing unit 35 fills a blank in the image object IO and performs complementation. Specifically, a gradation is created from pixels around the blank part, and the blank part is filled with the created gradation.
ベクター用補完部３７は、ベクターオブジェクトＶＯ中の空白を埋めて補完を行うものであり、ベクターオブジェクトＶＯのベクトル化によって実現できる。なお、ベクトル化が困難な場合は、ベクターオブジェクトＶＯをイメージオブジェクトＩＯとしてイメージ用補完部３５による補完を行わせればよい。 The vector complement unit 37 fills a blank in the vector object VO and performs complementation, and can be realized by vectorizing the vector object VO. If vectorization is difficult, the vector object VO may be used as the image object IO and complemented by the image complementing unit 35.
テキスト用補完部３９は、テキストオブジェクトＴＯ中の空白を埋めて補完を行う。補完は、テキストオブジェクトＴＯ内のフォントと記憶部９内に保持しているフォントとの比較により、対応するフォントに一致又は近似させるように空白部分を埋めればよい。 The text complementing unit 39 fills the blank in the text object TO and performs complementation. Completion may be performed by filling a blank portion so as to match or approximate the corresponding font by comparing the font in the text object TO with the font held in the storage unit 9.
これらのイメージ用補完部３５、ベクター用補完部３７、テキスト用補完部３９は、補完後のスキャン画像（補完スキャン画像）により記憶部９内の画像データを上書きする。 The image complementing unit 35, the vector complementing unit 37, and the text complementing unit 39 overwrite the image data in the storage unit 9 with the scanned image after complementing (complementary scanned image).
選択部１７は、手書きオブジェクトＨＯに対する背景オブジェクトの属性に応じ、イメージ用補完部３５、ベクター用補完部３７、及びテキスト用補完部３９から相対的に補完性の高い処理で補完を行うものを選択する。 The selection unit 17 selects an image to be complemented by a relatively highly complementary process from the image complementing unit 35, the vector complementing unit 37, and the text complementing unit 39 according to the attribute of the background object with respect to the handwritten object HO. To do.
選択は、背景オブジェクト取得部２９からの背景レコードに基づいて行われる。選択部１７は、削除実行部３３の削除後データの出力先を、背景オブジェクトの属性によりイメージ用補完部３５、ベクター用補完部３７、及びテキスト用補完部３９の何れかとする。
［画像処理装置の動作］
以下、本実施例の画像処理装置の動作と共に画像処理の詳細について説明する。
The selection is performed based on the background record from the background object acquisition unit 29. The selection unit 17 sets the output destination of the post-deletion data of the deletion execution unit 33 as one of the image complementing unit 35, the vector complementing unit 37, and the text complementing unit 39 depending on the attribute of the background object.
[Operation of image processing apparatus]
Hereinafter, the details of the image processing will be described together with the operation of the image processing apparatus of the present embodiment.
図３は、本実施例の画像処理装置の動作を示すフローチャートである。 FIG. 3 is a flowchart illustrating the operation of the image processing apparatus according to the present exemplary embodiment.
図３のフローチャートは、例えば複写指示入力により画像取得部３によって原稿画像を読み取ることでスタートする。 The flowchart of FIG. 3 starts by reading a document image by the image acquisition unit 3 by, for example, inputting a copy instruction.
ステップＳ１では、「原稿画像取得」の処理が行われ、画像取得部３が読み取った原稿画像から対応するスキャン画像Ｇの画像データを生成してオブジェクト認識部１１及び記憶部９へ出力する。これにより、ステップＳ２に移行する。 In step S <b> 1, “original image acquisition” processing is performed, image data of the corresponding scanned image G is generated from the original image read by the image acquisition unit 3, and is output to the object recognition unit 11 and the storage unit 9. Thereby, the process proceeds to step S2.
ステップＳ２では、「オブジェクト認識」の処理が行われる。この処理では、オブジェクト認識部１１がスキャン画像Ｇから各オブジェクトを認識し、そのオブジェクト情報を記憶部９に記憶する。 In step S2, an “object recognition” process is performed. In this process, the object recognition unit 11 recognizes each object from the scanned image G and stores the object information in the storage unit 9.
図４は、オブジェクト認識の詳細を示すフローチャート、図５は、オブジェクト認識時のスキャン画像を示す概略図である。 FIG. 4 is a flowchart showing details of object recognition, and FIG. 5 is a schematic diagram showing a scanned image at the time of object recognition.
各オブジェクトの認識は、図４のステップＳ２１〜Ｓ２４のように、イメージオブジェクトＩＯの認識、ベクターオブジェクトＶＯの認識、テキストオブジェクトＴＯの認識、手書きオブジェクトＨＯの認識の順に行われる。 The recognition of each object is performed in the order of recognition of the image object IO, recognition of the vector object VO, recognition of the text object TO, and recognition of the handwritten object HO as in steps S21 to S24 in FIG.
イメージオブジェクトＩＯの認識は、図５のように、イメージオブジェクト認識部１９がスキャン画像Ｇからイメージ領域ＩＲを矩形のイメージオブジェクトＩＯとして認識し、その属性（「イメージ」）、位置、及び大きさのオブジェクト情報を記憶部９に記憶する。本実施例のオブジェクトの位置及び大きさは、図５のスキャン画像Ｇ上において、オブジェクト領域の左上の座標と領域の幅及び高さを(x，y，width，height)として表す。 As shown in FIG. 5, the image object recognition unit 19 recognizes the image area IR as a rectangular image object IO from the scanned image G, and the attribute (“image”), position, and size of the image object IO are recognized. The object information is stored in the storage unit 9. The position and size of the object in the present embodiment are represented by (x, y, width, height) as the coordinates and the width and height of the upper left corner of the object area on the scanned image G in FIG.
同様に、ベクターオブジェクトＶＯ、テキストオブジェクトＴＯ、手書きオブジェクトＨＯの認識も、それぞれベクターオブジェクト認識部２１、テキストオブジェクト認識部２３、手書きオブジェクト認識部２５がベクター領域ＶＲ、テキスト領域ＴＲ、手書き領域ＨＲを矩形のベクターオブジェクトＶＯ、テキストオブジェクトＴＯ、手書きオブジェクトＨＯとして認識し、その属性（「ベクター」、「テキスト」、「手書き」）、位置、及び大きさをオブジェクト情報として記憶部９に記憶する。 Similarly, the vector object VO, the text object TO, and the handwritten object HO are recognized by the vector object recognition unit 21, the text object recognition unit 23, and the handwritten object recognition unit 25, respectively, as rectangles for the vector region VR, the text region TR, and the handwriting region HR. The vector object VO, text object TO, and handwritten object HO are recognized and their attributes (“vector”, “text”, “handwritten”), position, and size are stored in the storage unit 9 as object information.
オブジェクト情報の記憶は、記憶部９内でオブジェクトテーブルとして行われる。 The storage of the object information is performed as an object table in the storage unit 9.
図６は、オブジェクトテーブルを示す図表である。なお、図６は、本実施例の４つのオブジェクトが登録されている例である。 FIG. 6 is a chart showing the object table. FIG. 6 is an example in which four objects of the present embodiment are registered.
オブジェクトテーブルは、オブジェクトＩＤカラム、 オブジェクト属性カラム、領域座標カラムで構成されるテーブルである。 The object table is a table composed of an object ID column, an object attribute column, and an area coordinate column.
オブジェクトＩＤカラムは、オブジェクトを識別するための０から始まる整数値であり、入力順にインクリメントされる。 The object ID column is an integer value starting from 0 for identifying the object, and is incremented in the order of input.
オブジェクト属性カラムは、オブジェクトの属性を示し、「イメージ」、「ベクター」、「テキスト」、「手書き」となっている。 The object attribute column indicates the attribute of the object, and is “image”, “vector”, “text”, and “handwriting”.
領域座標カラムは、上記図５のスキャン画像Ｇ上でのオブジェクトの矩形領域の位置及び大きさの座標を表す。 The area coordinate column represents the coordinates of the position and size of the rectangular area of the object on the scan image G in FIG.
こうして各オブジェクトのオブジェクト情報の記憶が完了すると、図３のフローチャートがステップＳ３へ移行する。 When the storage of the object information of each object is thus completed, the flowchart of FIG. 3 proceeds to step S3.
ステップＳ３では、「手書きオブジェクト検索」の処理が実行される。この処理では、手書きオブジェクト取得部２７が、記憶部９のオブジェクトテーブルから手書きオブジェクトを検索する。これによりステップＳ４へ移行する。 In step S3, a “handwritten object search” process is executed. In this process, the handwritten object acquisition unit 27 searches for a handwritten object from the object table in the storage unit 9. Thereby, the process proceeds to step S4.
ステップＳ４では、「手書きオブジェクト無し？」の処理が実行される。すなわち、手書きオブジェクト取得部２７は、ステップＳ３での検索の結果、手書きレコードの有無を判断する。 In step S4, a process of “no handwritten object?” Is executed. That is, the handwritten object acquisition unit 27 determines the presence or absence of a handwritten record as a result of the search in step S3.
手書きレコードがない場合（ＹＥＳ）は、スキャン画像取得部３１の出力先を出力部５に切り替えてステップＳ５へ移行する。一方、手書きレコードがある場合（ＮＯ）は、手書きレコードを背景オブジェクト取得部２９及び削除実行部３３へ出力すると共に、スキャン画像取得部３１の出力先を削除実行部３３へ切り換えてステップＳ６へ移行する。 When there is no handwritten record (YES), the output destination of the scan image acquisition unit 31 is switched to the output unit 5 and the process proceeds to step S5. On the other hand, when there is a handwritten record (NO), the handwritten record is output to the background object acquisition unit 29 and the deletion execution unit 33, and the output destination of the scan image acquisition unit 31 is switched to the deletion execution unit 33, and the process proceeds to step S6. To do.
ステップＳ６では、「背景オブジェクト判別」の処理が実行される。すなわち、背景オブジェクト取得部２９は、入力された手書きレコードに基づき、手書きオブジェクトＨＯの背景となるオブジェクトの背景レコードを記憶部９内のオブジェクトテーブルから判別して取得する。 In step S6, a “background object determination” process is executed. That is, the background object acquisition unit 29 determines and acquires the background record of the object that is the background of the handwritten object HO from the object table in the storage unit 9 based on the input handwritten record.
本実施例では、背景オブジェクトがテキストオブジェクトＴＯであるため、そのオブジェクト情報を背景レコードとして取得することになる。取得した背景レコードは、削除実行部３３及び選択部１７へ出力される。こうしてステップＳ６が完了し、ステップＳ７へ移行する。 In this embodiment, since the background object is the text object TO, the object information is acquired as a background record. The acquired background record is output to the deletion execution unit 33 and the selection unit 17. Thus, step S6 is completed, and the process proceeds to step S7.
ステップＳ７では、「手書きオブジェクト削除」の処理が実行される。この処理では、削除実行部３３が、スキャン画像取得部３１からスキャン画像Ｇを入力される。入力されたスキャン画像Ｇからは、手書きオブジェクト取得部２７からの手書きレコード及び背景オブジェクト取得部２９からの背景レコードに基づいて手書きオブジェクトＨＯが削除される。 In step S7, a “handwritten object deletion” process is executed. In this process, the deletion execution unit 33 receives the scan image G from the scan image acquisition unit 31. From the input scanned image G, the handwritten object HO is deleted based on the handwritten record from the handwritten object acquisition unit 27 and the background record from the background object acquisition unit 29.
図７は、手書きオブジェクトの削除後のスキャン画像を示す概略図である。 FIG. 7 is a schematic diagram illustrating a scanned image after the handwritten object is deleted.
本実施例では、図５の削除前スキャン画像Ｇ上で手書きオブジェクトＨＯがテキストオブジェクトＴＯに重なっているため、図７のように削除後スキャン画像Ｇ上でテキストオブジェクトＴＯの削除領域（空白）Ｂが生じている。この削除後スキャン画像ＤＧは、補完部１５に出力される。 In this embodiment, since the handwritten object HO overlaps the text object TO on the scanned image G before deletion in FIG. 5, the deletion area (blank) B of the text object TO on the scanned image G after deletion as shown in FIG. Has occurred. The post-deletion scan image DG is output to the complement unit 15.
また、ステップＳ７では、削除実行部３３が記憶部９のオブジェクトテーブルから削除した手書きオブジェクトＨＯの手書きレコードも削除する。削除後のオブジェクトテーブルを図８に示す。 In step S <b> 7, the handwriting record of the handwritten object HO deleted by the deletion execution unit 33 from the object table in the storage unit 9 is also deleted. FIG. 8 shows the object table after deletion.
こうしてステップＳ７が完了し、ステップＳ８へ移行する。 Thus, step S7 is completed, and the process proceeds to step S8.
ステップＳ８では、「削除領域補完」の処理が実行される。この処理では、まず選択部１７が、背景オブジェクト取得部２９からの背景レコードから背景オブジェクトの属性を認識する。認識した背景オブジェクトの属性により、補完部１５内でイメージ用補完部３５、ベクター用補完部３７、テキスト用補完部３９を図９の表に従って切り換える。本実施例では、背景オブジェクトの属性が「テキスト」であるため、テキスト用補完部３９に切り替えられる。 In step S8, a “delete area complement” process is executed. In this process, the selection unit 17 first recognizes the attribute of the background object from the background record from the background object acquisition unit 29. Depending on the recognized attribute of the background object, the complementing unit for image 35, the complementing unit for vector 37, and the complementing unit for text 39 are switched according to the table of FIG. In this embodiment, since the attribute of the background object is “text”, the text complementing unit 39 is switched to.
切り替え後は、それに応じて補完部１５が削除実行部３３からの削除後スキャン画像ＤＧを受け取り、背景オブジェクトに適した処理で削除領域Ｂを埋めて補完を行う。本実施例では、テキスト用補完部３９が削除後スキャン画像Ｇを受け取って補完を行う。 After switching, the complementing unit 15 receives the post-deletion scan image DG from the deletion executing unit 33 accordingly, and fills the deletion area B with processing suitable for the background object and performs complementation. In the present embodiment, the text complementing unit 39 receives the scanned image G after deletion and performs complementation.
図１０は、補完後のスキャン画像を示す概略図である。図１０のように、補完後スキャン画像ＣＧは、手書きオブジェクトＨＯの削除領域が補完されて元原稿の復元が行われている。この補完後スキャン画像ＣＧにより記憶部９の画像データが上書きされる。 FIG. 10 is a schematic diagram showing a scanned image after complement. As shown in FIG. 10, the post-complementation scan image CG has the original document restored by complementing the deletion area of the handwritten object HO. The post-complementation scan image CG overwrites the image data in the storage unit 9.
こうして補完が完了すると、ステップＳ４に戻ることになる。 When the completion is completed in this way, the process returns to step S4.
再度のステップＳ４では、手書きレコードがないので、スキャン画像取得部３１の出力先を出力部５に切り替えてステップＳ５へ移行する。 In step S4 again, since there is no handwritten record, the output destination of the scan image acquisition unit 31 is switched to the output unit 5, and the process proceeds to step S5.
ステップＳ５では、「画像出力」の処理が行われる。この処理では、スキャン画像取得部３１が、手書きオブジェクトＨＯが当初より存在しないスキャン画像又は補完後スキャン画像ＣＧの画像データを出力部５に出力する。出力部５では、画像データに基づいて用紙上に印刷出力を行う。 In step S5, an “image output” process is performed. In this process, the scan image acquisition unit 31 outputs to the output unit 5 the scan image in which the handwritten object HO does not exist from the beginning or the image data of the post-complementation scan image CG. The output unit 5 performs print output on paper based on the image data.
以上の処理により、画像処理装置１では、読み取った原稿画像から手書きオブジェクトＨＯを適切に削除・補完し、元原稿により近い画像データを作成することができる。このため、手書きで書き込みをしたドキュメントであっても、元原稿を再現した複写が可能となる。
［実施例の効果］
本実施例の画像処理装置１は、原稿画像の読み取りによって生成された画像データからオブジェクトの属性を認識するオブジェクト認識部１１と、オブジェクト認識部１１により認識された原稿画像に対する手書きオブジェクトＨＯを削除する削除部１３と、手書きオブジェクトＨＯの削除領域を異なる処理で補完する複数の補完部３５，３７，３９と、手書きオブジェクトＨＯに対する背景オブジェクトの属性に応じ相対的に補完性の高い処理で補完を行う補完部３５，３７，３９を選択する選択部１７とを備えている。
With the above processing, the image processing apparatus 1 can appropriately delete and supplement the handwritten object HO from the read document image, and create image data closer to the original document. Therefore, even a document written by hand can be reproduced by reproducing the original document.
[Effect of Example]
The image processing apparatus 1 according to the present embodiment deletes an object recognition unit 11 that recognizes an object attribute from image data generated by reading a document image, and a handwritten object HO for the document image recognized by the object recognition unit 11. Completion is performed by the deletion unit 13, a plurality of complementing units 35, 37, and 39 that complement the deletion area of the handwritten object HO by different processing, and processing with relatively high complementarity according to the attribute of the background object with respect to the handwritten object HO. And a selection unit 17 that selects the complementing units 35, 37, and 39.
従って、画像処理装置１は、削除領域を有する背景オブジェクトに適した補完を行うことができ、手書きオブジェクトＨＯを削除して元原稿の復元を容易且つ確実に行うことができる。 Therefore, the image processing apparatus 1 can perform complementation suitable for a background object having a deletion area, and can easily and reliably restore the original document by deleting the handwritten object HO.
本実施例の画像処理装置１は、生成された画像データ及び画像データから認識されたオブジェクトの属性を含むオブジェクト情報を記憶する記憶部９と、画像データから画像出力を行う出力部５とを備え、削除部１３が、記憶部９から画像データを取得すると共に手書きオブジェクトＨＯのオブジェクト情報の有無を判断し、その手書きオブジェクトＨＯのオブジェクト情報がある場合に削除処理を行い、手書きオブジェクトＨＯのオブジェクト情報がない場合に出力部５に画像データを出力する。 The image processing apparatus 1 according to the present embodiment includes a storage unit 9 that stores generated image data and object information including an object attribute recognized from the image data, and an output unit 5 that outputs an image from the image data. The deletion unit 13 obtains image data from the storage unit 9 and determines the presence / absence of the object information of the handwritten object HO. If there is object information of the handwritten object HO, the deletion unit 13 performs the deletion process to obtain the object information of the handwritten object HO. If there is no image data, the image data is output to the output unit 5.
従って、最終的に復元された元原稿を画像出力する場合には、記憶部９内での手書きオブジェクトＨＯのオブジェクト情報の有無に応じ、削除・補完処理と出力処理とを削除部１３において切り替えて行わせることができ、処理の簡素化及び迅速化を図ることができる。 Therefore, when outputting the final restored original document as an image, the deletion unit 13 switches between the deletion / complementation process and the output process according to the presence / absence of the object information of the handwritten object HO in the storage unit 9. This makes it possible to simplify and speed up the processing.
本実施例の画像処理装置１では、削除部１３が、手書きオブジェクトＨＯの削除と共に記憶部９内の手書きオブジェクトＨＯのオブジェクト情報を削除し、補完部１５が、補完後の画像データを記憶部９内に上書きする。 In the image processing apparatus 1 of the present embodiment, the deletion unit 13 deletes the object information of the handwritten object HO in the storage unit 9 together with the deletion of the handwritten object HO, and the complementing unit 15 stores the complemented image data in the storage unit 9. Overwrite in.
このため、本実施例では、手書きオブジェクトＨＯが当初より存在しない画像データと同様に補完後の画像データによる画像出力を行わせることができ、より確実に処理の簡素化及び迅速化を図ることができる。 For this reason, in the present embodiment, it is possible to perform image output with the complemented image data in the same manner as image data in which the handwritten object HO does not exist from the beginning, and it is possible to more reliably simplify and speed up the processing. it can.
１ 画像処理装置
５ 出力部
７ 制御部
９ 記憶部
１１ オブジェクト認識部
１３ 削除部
１５ 補完部
１７ 選択部
３５ イメージ用補完部
３７ ベクター用補完部
３９ テキスト用補完部
ＩＯ イメージオブジェクト
ＶＯ ベクターオブジェクト
ＴＯ テキストオブジェクト
ＨＯ 手書きオブジェクト（付加オブジェクト）
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 5 Output part 7 Control part 9 Memory | storage part 11 Object recognition part 13 Deletion part 15 Complement part 17 Selection part 35 Image complement part 37 Vector complement part 39 Text complement part IO Image object VO Vector object TO Text object HO Handwritten object (additional object)
Claims (7)
前記オブジェクト認識部により認識された前記原稿画像に対する付加オブジェクトを削除する削除部と、
前記付加オブジェクトの削除領域を異なる処理で補完する複数の補完部と、
前記付加オブジェクトに対する前記背景オブジェクトの属性に応じ相対的に補完性の高い処理で前記補完を行う補完部を選択する選択部とを備えた、
ことを特徴とする画像処理装置。 An object recognition unit for recognizing an attribute of an object from image data generated by reading a document image;
A deletion unit that deletes an additional object for the document image recognized by the object recognition unit;
A plurality of complementing units that complement the deletion area of the additional object by different processes;
A selection unit that selects a complementing unit that performs the complementing in a relatively highly complementary process according to the attribute of the background object with respect to the additional object,
An image processing apparatus.
前記付加オブジェクトは、前記原稿画像上に手書きされた手書きオブジェクトである、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1,
The additional object is a handwritten object handwritten on the document image.
An image processing apparatus.
前記生成された画像データ及び画像データから認識されたオブジェクトの属性を含むオブジェクト情報を記憶する記憶部と、前記画像データから画像出力を行う出力部とを備え、
前記削除部は、前記記憶部から前記画像データを取得すると共に前記付加オブジェクトのオブジェクト情報の有無を判断し、前記付加オブジェクトのオブジェクト情報がある場合に削除処理を行い、前記付加オブジェクトのオブジェクト情報がない場合に出力部に画像データを出力する、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
A storage unit that stores object information including the generated image data and an object attribute recognized from the image data; and an output unit that outputs an image from the image data.
The deletion unit acquires the image data from the storage unit, determines whether or not there is object information of the additional object, performs a deletion process when there is object information of the additional object, and the object information of the additional object is If not, output image data to the output unit,
An image processing apparatus.
前記削除部は、前記付加オブジェクトの削除と共に前記記憶部内の付加オブジェクトのオブジェクト情報を削除し、
前記補完部は、前記補完後の画像データを前記記憶部内に上書きする、
ことを特徴とする画像処理装置。 The image processing apparatus according to claim 3,
The deletion unit deletes the object information of the additional object in the storage unit together with the deletion of the additional object,
The complement unit overwrites the image data after the complement in the storage unit,
An image processing apparatus.
前記オブジェクト認識手順により認識された前記原稿画像に対する付加オブジェクトを削除する削除手順と、
前記付加オブジェクトの削除領域を異なる処理で補完する複数の補完手順と、
前記付加オブジェクトに対する前記背景オブジェクトの属性に応じ相対的に補完性の高い処理で前記補完を行う補完手順を選択する選択手順と、
をコンピューターに実行させることを特徴とする画像処理プログラム。 An object recognition procedure for recognizing object attributes from image data generated by reading a document image;
A deletion procedure for deleting an additional object for the document image recognized by the object recognition procedure;
A plurality of completion procedures for complementing the deletion area of the additional object by different processes;
A selection procedure for selecting a complementing procedure for performing the complementing in a relatively highly complementary process according to the attribute of the background object with respect to the additional object;
An image processing program for causing a computer to execute.
前記生成された画像データ及び画像データから認識されたオブジェクトの属性を含むオブジェクト情報を記憶する記憶手順と、前記画像データから画像出力を行う出力手順とを備え、
前記削除手順は、前記記憶された画像データを取得すると共に前記付加オブジェクトのオブジェクト情報の有無を判断し、前記付加オブジェクトのオブジェクト情報がある場合に削除手順を行い、前記付加オブジェクトのオブジェクト情報がない場合に前記取得した画像データによる出力手順に移行させる、
ことを特徴とする画像処理プログラム。 An image processing program according to claim 5,
A storage procedure for storing the generated image data and object information including an object attribute recognized from the image data; and an output procedure for outputting an image from the image data.
In the deletion procedure, the stored image data is acquired and the presence / absence of the object information of the additional object is determined. If there is object information of the additional object, the deletion procedure is performed, and there is no object information of the additional object. In the case of shifting to the output procedure by the acquired image data,
An image processing program characterized by that.
前記削除手順は、前記付加オブジェクトの削除と共に前記記憶されている付加オブジェクトのオブジェクト情報を削除し、
前記補完手順は、前記補完後の画像データにより前記記憶手順で記憶された画像データを上書きする、
ことを特徴とする画像処理プログラム。 An image processing program according to claim 6,
The deletion procedure deletes the object information of the stored additional object together with the deletion of the additional object,
The complementing procedure overwrites the image data stored in the storing procedure with the image data after the complementing,
An image processing program characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012034260A JP5723803B2 (en) | 2012-02-20 | 2012-02-20 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012034260A JP5723803B2 (en) | 2012-02-20 | 2012-02-20 | Image processing apparatus and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015062050A Division JP2015159554A (en) | 2015-03-25 | 2015-03-25 | image processing apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013172260A true JP2013172260A (en) | 2013-09-02 |
| JP5723803B2 JP5723803B2 (en) | 2015-05-27 |
Family
ID=49265949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012034260A Active JP5723803B2 (en) | 2012-02-20 | 2012-02-20 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5723803B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014048819A (en) * | 2012-08-30 | 2014-03-17 | Fujitsu Ltd | Image processor, image processing method, and program |
| JP2015069248A (en) * | 2013-09-26 | 2015-04-13 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus, program, and image forming apparatus |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001061061A (en) * | 1999-08-23 | 2001-03-06 | Minolta Co Ltd | Image processing unit |
| JP2010154319A (en) * | 2008-12-25 | 2010-07-08 | Ricoh Co Ltd | Image processing apparatus and method, and program |
-
2012
- 2012-02-20 JP JP2012034260A patent/JP5723803B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001061061A (en) * | 1999-08-23 | 2001-03-06 | Minolta Co Ltd | Image processing unit |
| JP2010154319A (en) * | 2008-12-25 | 2010-07-08 | Ricoh Co Ltd | Image processing apparatus and method, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014048819A (en) * | 2012-08-30 | 2014-03-17 | Fujitsu Ltd | Image processor, image processing method, and program |
| JP2015069248A (en) * | 2013-09-26 | 2015-04-13 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus, program, and image forming apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5723803B2 (en) | 2015-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8320019B2 (en) | Image processing apparatus, image processing method, and computer program thereof | |
| JP4251629B2 (en) | Image processing system, information processing apparatus, control method, computer program, and computer-readable storage medium | |
| US7596271B2 (en) | Image processing system and image processing method | |
| US20060008113A1 (en) | Image processing system and image processing method | |
| KR102090973B1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP4574313B2 (en) | Image processing apparatus and method | |
| US11418658B2 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
| US8229214B2 (en) | Image processing apparatus and image processing method | |
| JP5920293B2 (en) | Image processing apparatus and program | |
| JP5723803B2 (en) | Image processing apparatus and program | |
| JP6579331B2 (en) | Image forming apparatus, document digitizing program, and document digitizing method | |
| US9215344B2 (en) | Image forming apparatus, image processing apparatus, image forming method, image processing method, and non-transitory computer readable medium | |
| JP7241506B2 (en) | Correction support device and correction support program for optical character recognition results | |
| US20230062113A1 (en) | Information processing apparatus, information processing method and non-transitory storage medium | |
| JP2008282149A (en) | Image processor, image processing method and image processing program | |
| US8295602B2 (en) | Image processing apparatus and image processing method | |
| US20180068421A1 (en) | Image analyzing apparatus and non-transitory storage medium storing instructions executable by the image analyzing apparatus | |
| JP7301529B2 (en) | Image processing device, image processing method, and program | |
| JP2003046746A (en) | Method and apparatus for processing image | |
| JP2015159554A (en) | image processing apparatus and program | |
| CN100511267C (en) | Graph and text image processing equipment and image processing method thereof | |
| JP4501731B2 (en) | Image processing device | |
| JP6018555B2 (en) | Image forming apparatus | |
| US20230394228A1 (en) | Image processing apparatus and image forming apparatus | |
| JP6844574B2 (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140919 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150330 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5723803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |