JP2011010232A - Image processing apparatus, image reading apparatus, multi function peripheral, image processing method, program and recording medium - Google Patents

Image processing apparatus, image reading apparatus, multi function peripheral, image processing method, program and recording medium Download PDF

Info

Publication number
JP2011010232A
JP2011010232A JP2009154167A JP2009154167A JP2011010232A JP 2011010232 A JP2011010232 A JP 2011010232A JP 2009154167 A JP2009154167 A JP 2009154167A JP 2009154167 A JP2009154167 A JP 2009154167A JP 2011010232 A JP2011010232 A JP 2011010232A
Authority
JP
Japan
Prior art keywords
image
document
unit
file
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009154167A
Other languages
Japanese (ja)
Inventor
Masaaki Toyoda
将哲 豊田
Hiroshi Kawamura
洋志 川村
Shiro Narukawa
志郎 成川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009154167A priority Critical patent/JP2011010232A/en
Publication of JP2011010232A publication Critical patent/JP2011010232A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • Storing Facsimile Image Data (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable a user to easily recognize an image file on which retrieval processing can be performed.SOLUTION: Character recognition processing is performed on image data (S8) and a transparent text corresponding to a character recognition result and a command for a computer to perform processing for reporting that an image file is a retrievable file when the image file is opened are embedded in the image data (S9).

Description

本発明は、画像データと当該画像データに対応するテキストデータとを含む画像ファイルを取り扱う画像処理装置および画像処理方法に関するものである。   The present invention relates to an image processing apparatus and an image processing method for handling an image file including image data and text data corresponding to the image data.

従来から、紙媒体に記載されている情報をスキャナで読み取って画像データを作成するとともに、画像データに含まれる文字の文字認識処理を行ってテキストデータを作成し、画像データとテキストデータとを組み合わせる技術がある。   Conventionally, image data is created by reading information written on a paper medium with a scanner, text data is created by performing character recognition processing of characters included in the image data, and the image data and the text data are combined. There is technology.

例えば、特許文献1には、文字認識処理の結果に基づいて作成したテキストデータを画像データの余白領域と同一色にして画像データの余白領域に埋め込んでPDFファイルを作成することが記載されている。この技術では、テキストデータを画像データの余白領域に余白領域と同一色のテキストデータとして埋め込むので、テキストデータが視認されることがない一方、テキストデータをキーワードとして画像データの中から所望の情報を検索(キーワード検索)することができるようになる。なお、テキストデータを画像データに埋め込む方法としては、画像データにおける各文字上の位置に当該各文字に対応するテキストデータを透明なテキストデータ(所謂、透明テキスト)として埋め込む方法も知られている。   For example, Patent Document 1 describes that a PDF file is created by embedding text data created based on the result of character recognition processing in the same color as the blank area of the image data and embedding it in the blank area of the image data. . In this technique, text data is embedded in the margin area of the image data as text data of the same color as the margin area, so that the text data is not visually recognized, while desired information is obtained from the image data using the text data as a keyword. You can search (keyword search). As a method of embedding text data in image data, a method of embedding text data corresponding to each character as transparent text data (so-called transparent text) at a position on each character in the image data is also known.

ところが、特許文献1の技術では、実際にキーワード検索を試みるか、あるいはファイルのプロパティを確認しないとキーワード検索可能なファイルであるか否かを判別できないという問題がある。   However, the technique of Patent Document 1 has a problem that it cannot be determined whether or not a file can be searched for a keyword unless an actual keyword search is attempted or a file property is confirmed.

そこで、特許文献2には、記憶装置に保存されているファイルが既にテキスト化されてキーワード検索可能な状態になっているか否かをユーザが簡単に把握することができるように、キーワード検索可能であるファイルについてはキーワード検索可能であることを示すサムネイル画像を表示させる技術が開示されている。   Therefore, in Patent Document 2, a keyword search is possible so that the user can easily grasp whether or not a file stored in the storage device has already been converted into text and is in a state where keyword search is possible. A technique for displaying a thumbnail image indicating that a keyword can be searched for a certain file is disclosed.

特開2004−280514号公報(平成16年10月7日公開)JP 2004-280514 A (released on October 7, 2004) 特開2006−189924号公報(平成18年7月20日公開)JP 2006-189924 A (published July 20, 2006) 特開平7−192086号公報(平成7年7月28日公開)Japanese Laid-Open Patent Publication No. Hei 7-192086 (published July 28, 1995)

しかしながら、特許文献2の技術では、記憶装置に記憶されているファイルの数が多い場合などには個々のサムネイル画像が小さくなるので、キーワード検索可能なファイルであるか否かをユーザが判別しにくいという問題がある。   However, in the technique of Patent Document 2, when the number of files stored in the storage device is large, each thumbnail image becomes small, so that it is difficult for the user to determine whether the file is a keyword searchable file. There is a problem.

また、各ファイルの表示方法をサムネイル表示に設定していない場合(例えばファイル名のリストを表示させるように設定している場合など)にはキーワード検索可能なファイルであるか否かをユーザが判別できない。   In addition, when the display method of each file is not set to thumbnail display (for example, when the file name list is set to be displayed), the user determines whether the file can be searched for a keyword. Can not.

また、特許文献2の技術では、サムネイル画像が表示される対象が記憶装置に保存されているファイルに限られるので、外部から受信したファイルなど(例えばe-mail(scan to e-mailを含む)に添付されているファイル)についてはテキストデータが付随しているのか否かを判別できない。   Further, in the technique of Patent Document 2, since the target for displaying the thumbnail image is limited to the file stored in the storage device, the file received from the outside (for example, e-mail (including scan to e-mail)) It is impossible to determine whether or not text data is attached to the file attached to the file.

本発明は、上記の問題に鑑みてなされたものであり、その目的は、検索処理が可能な画像ファイルであることをユーザが容易に認識できるようにすることにある。   The present invention has been made in view of the above problems, and an object thereof is to allow a user to easily recognize that an image file is searchable.

本発明の画像処理装置は、上記の課題を解決するために、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加部を備えていることを特徴としている。なお、画像ファイルに対するユーザからの操作とは、画像ファイルを開く操作であってもよく、画像ファイルのアイコン等の上にカーソルを移動させる操作であってもよく、画像ファイルのアイコン等をドラッグする操作やクリックする操作であってもよい。   In order to solve the above-described problem, the image processing apparatus of the present invention provides an image file in which image data read from an original is associated with text data of a document included in the original from a user for the image file. And a command adding unit for adding a command for causing the computer to execute a notification process for notifying the user that the search process for the document is possible when the above operation is performed. Note that the user operation on the image file may be an operation for opening the image file, an operation for moving the cursor on the image file icon, or the like, and dragging the image file icon or the like. It may be an operation or a click operation.

上記の構成によれば、コマンド付加部が、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加する。これにより、上記画像ファイルに対する操作がなされたときに、上記文書に対する検索処理が可能であることがユーザに自動的に通知される。したがって、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。   According to the above configuration, when the command addition unit performs an operation on an image file in which the image data read from the document and the text data of the document included in the document are associated with each other, A command for causing the computer to execute notification processing for notifying the user that search processing for a document is possible is added. As a result, when an operation is performed on the image file, the user is automatically notified that search processing for the document is possible. Therefore, the user who has performed the operation on the image file can easily recognize that the image file is a file that can be searched.

また、原稿から読み取った画像データに対して文字認識処理を行い、上記原稿に含まれる文書のテキストデータを生成する文字認識部を備えており、上記コマンド付加部は、上記画像データに対して上記文字認識部が生成したテキストデータと上記コマンドとを付加することで上記画像ファイルを生成する構成としてもよい。   A character recognition unit configured to perform character recognition processing on the image data read from the document and generate text data of a document included in the document; The image file may be generated by adding the text data generated by the character recognition unit and the command.

上記の構成によれば、原稿から読み取った画像データに対して、文字認識処理によって取得したテキストデータを付加した画像ファイルを生成するとともに、この画像ファイルに対するユーザからの操作がなされたときに、検索可能なファイルであることをユーザに通知することができる。   According to the above configuration, an image file in which text data acquired by character recognition processing is added to image data read from a document is generated, and search is performed when an operation is performed on the image file by a user. The user can be notified that the file is possible.

また、画像データを有する画像ファイルにテキストデータが付加されているか否かを判別するテキストデータ判別部を備え、上記コマンド付加部は、上記画像ファイルにテキストデータが付加されている場合に、当該画像ファイルに上記コマンドを付加する構成としてもよい。   A text data discriminating unit that discriminates whether or not text data is added to the image file having the image data, and the command adding unit receives the image data when the text data is added to the image file; The above command may be added to the file.

上記の構成によれば、例えば、通信可能に接続された外部装置から取得した画像ファイルや各種記録媒体から読み取った画像ファイルがテキストデータを付加された画像ファイルであるか否かを判別し、テキストデータが付加されている場合には、その後に当該画像ファイルに対するユーザからの操作がなされたときに検索処理が可能であることをユーザに通知することができる。   According to the above configuration, for example, it is determined whether or not an image file acquired from an external device that is communicably connected or an image file read from various recording media is an image file to which text data is added. When data is added, it is possible to notify the user that the search process is possible when the user subsequently performs an operation on the image file.

また、上記画像ファイルを通信可能に接続された外部装置に送信する通信装置を備えている構成としてもよい。   In addition, the image file may be configured to include a communication device that transmits the image file to an external device that is communicably connected.

上記の構成によれば、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索可能なファイルであることを容易に認識させることができる。   According to said structure, the user who performed operation with respect to the said image file can be made to recognize easily that the said image file is a searchable file.

また、上記通知処理は、上記文書に対する検索処理が可能であることを示すメッセージを表示させる処理であってもよい。   The notification process may be a process for displaying a message indicating that a search process for the document is possible.

上記の構成によれば、上記画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることを示すメッセージが表示されるので、検索可能なファイルであることをユーザに容易に認識させることができる。   According to the above configuration, when an operation is performed on the image file, a message indicating that the search process can be performed on the document is displayed, so that the user can easily recognize that the file is searchable. be able to.

また、上記通知処理は、上記文書に対する検索処理が可能であることを示す動画を表示させる処理であってもよい。   The notification process may be a process of displaying a moving image indicating that a search process for the document is possible.

上記の構成によれば、上記画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることを示す動画が表示されるので、この動画をユーザに注目させ、検索可能なファイルであることをユーザに容易かつ確実に認識させることができる。   According to the above configuration, when an operation is performed on the image file, a video indicating that the search processing for the document can be performed is displayed. This can be easily and reliably recognized by the user.

また、上記動画は、検索処理の手順を示す画像であってもよい。   Further, the moving image may be an image indicating a search processing procedure.

上記の構成によれば、検索処理の手順を示す動画が表示されるので、検索処理に不慣れなユーザであっても容易に検索処理を行うことができる。   According to the above configuration, the moving image showing the procedure of the search process is displayed, so that even a user who is unfamiliar with the search process can easily perform the search process.

また、上記通知処理は、上記文書に対する検索処理が可能であることを示す音声を出力させる処理であってもよい。   Further, the notification process may be a process of outputting a voice indicating that a search process for the document is possible.

上記の構成によれば、上記文書に対する検索処理が可能であることを示す音声が出力されるので、検索可能なファイルであることをユーザに容易に認識させることができる。   According to the above configuration, since the sound indicating that the search process for the document is possible is output, the user can easily recognize that the file is searchable.

本発明の画像読取装置は、上記したいずれかの画像処理装置を備えていることを特徴としている。また、本発明の複合機は、上記したいずれかの画像処理装置を備えていることを特徴としている。   The image reading apparatus of the present invention includes any one of the image processing apparatuses described above. In addition, a multifunction machine according to the present invention includes any one of the image processing apparatuses described above.

したがって、上記の画像読取装置および複合機によれば、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。   Therefore, according to the image reading apparatus and the multifunction peripheral, the user who has performed an operation on the image file can easily recognize that the image file is a file that can be searched.

本発明の画像処理方法は、上記の課題を解決するために、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加工程を含むことを特徴としている。   In order to solve the above problems, the image processing method of the present invention provides an image file in which image data read from a document and text data of a document included in the document are associated with each other from a user corresponding to the image file. And a command adding step for adding a command for causing the computer to execute a notification process for notifying the user that the search process for the document is possible when the above operation is performed.

上記の方法によれば、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対する操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加する。これにより、上記画像ファイルに対する操作がなされたときに、上記文書に対する検索処理が可能であることがユーザに自動的に通知される。したがって、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。   According to the above method, when an operation is performed on an image file in which image data read from a document is associated with text data of a document included in the document, the search process for the document is performed. A command is added to cause the computer to execute notification processing for notifying the user that it is possible. As a result, when an operation is performed on the image file, the user is automatically notified that search processing for the document is possible. Therefore, the user who has performed the operation on the image file can easily recognize that the image file is a file that can be searched.

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。   The image processing apparatus may be realized by a computer. In this case, a program that causes the image processing apparatus to be realized by the computer by causing the computer to operate as each unit, and a computer reading that records the program. Possible recording media are also included in the scope of the present invention.

以上のように、本発明の画像処理装置および画像処理方法は、原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加する。   As described above, according to the image processing apparatus and the image processing method of the present invention, an image file obtained by associating image data read from a document with text data of a document included in the document is received from a user for the image file. When the above operation is performed, a command for causing the computer to execute a notification process for notifying the user that the search process for the document is possible is added.

それゆえ、上記画像ファイルに対する操作を行ったユーザに、当該画像ファイルが検索処理を行うことのできるファイルであることを容易に認識させることができる。   Therefore, a user who has performed an operation on the image file can easily recognize that the image file is a file that can be searched.

本発明の一実施形態にかかる画像処理装置における処理の流れを示すフロー図である。It is a flowchart which shows the flow of a process in the image processing apparatus concerning one Embodiment of this invention. 本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention. 本発明の一実施形態にかかる画像処理装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment of the present invention. 図2および図3に示した画像処理装置に備えられる原稿検知部の構成を示すブロック図である。FIG. 4 is a block diagram illustrating a configuration of a document detection unit provided in the image processing apparatus illustrated in FIGS. 2 and 3. 図2および図3に示した画像処理装置の変形例を示すブロック図である。It is a block diagram which shows the modification of the image processing apparatus shown in FIG. 2 and FIG. 図2および図3に示した画像処理装置の変形例を示すブロック図である。It is a block diagram which shows the modification of the image processing apparatus shown in FIG. 2 and FIG. 図4に示した原稿検知部におけるレイアウト解析処理を説明するための説明図である。FIG. 5 is an explanatory diagram for explaining a layout analysis process in the document detection unit illustrated in FIG. 4. 図2および図3に示した画像処理装置において中間調補正処理に用いるガンマ曲線の一例を示すグラフである。4 is a graph showing an example of a gamma curve used for halftone correction processing in the image processing apparatus shown in FIGS. 2 and 3. 図2および図3に示した画像処理装置において生成される画像ファイルの構成を示す説明図である。It is explanatory drawing which shows the structure of the image file produced | generated in the image processing apparatus shown in FIG. 2 and FIG. 図2および図3に示した画像処理装置において生成された画像ファイルを開いたときに表示される表示内容の一例を示す説明図である。It is explanatory drawing which shows an example of the display content displayed when the image file produced | generated in the image processing apparatus shown in FIG. 2 and FIG. 3 is opened. 図2および図3に示した画像処理装置において生成された画像ファイルを開いたときに表示される表示内容の一例を示す説明図である。It is explanatory drawing which shows an example of the display content displayed when the image file produced | generated in the image processing apparatus shown in FIG. 2 and FIG. 3 is opened. 図2および図3に示した画像処理装置において生成された画像ファイルを開いたときに表示される表示内容の一例を示す説明図である。It is explanatory drawing which shows an example of the display content displayed when the image file produced | generated in the image processing apparatus shown in FIG. 2 and FIG. 3 is opened. 図2および図3に示した画像処理装置の変形例を示すブロック図である。It is a block diagram which shows the modification of the image processing apparatus shown in FIG. 2 and FIG.

本発明の一実施形態について説明する。なお、本実施形態では、主に、本発明をコピア機能・プリンタ機能・ファクシミリ送信機能・scan to e-mail機能等を備えるデジタルカラー複合機に適用する場合の一例について説明するが、本発明の適用対象はこれに限るものではない。   An embodiment of the present invention will be described. In the present embodiment, an example in which the present invention is applied to a digital color MFP having a copier function, a printer function, a facsimile transmission function, a scan to e-mail function, etc. will be mainly described. The scope of application is not limited to this.

(1)デジタルカラー複合機の全体構成
図2および図3は、本実施形態にかかるデジタルカラー複合機(複合機、画像形成装置)1の概略構成を示すブロック図である。なお、デジタルカラー複合機1は、(1)画像入力装置2で読み取った画像データに応じた画像を画像出力装置4によって記録材上に形成する画像形成モード、および(2)画像入力装置2で読み取った画像データを通信装置5によってネットワーク等を介して通信可能に接続されている外部装置に送信する画像送信モードを備えている。また、図2は画像形成モードにおけるデータの流れを示しており、図3は画像データとテキストデータとを対応付けた画像ファイルを生成して外部装置に送信する際のデータの流れを示している。
(1) Overall Configuration of Digital Color Multifunction Device FIGS. 2 and 3 are block diagrams showing a schematic configuration of a digital color multifunction device (multifunction device, image forming apparatus) 1 according to the present embodiment. The digital color multifunction peripheral 1 includes (1) an image forming mode in which an image corresponding to image data read by the image input device 2 is formed on a recording material by the image output device 4, and (2) the image input device 2. An image transmission mode is provided in which the read image data is transmitted by the communication device 5 to an external device that is communicably connected via a network or the like. FIG. 2 shows a data flow in the image forming mode, and FIG. 3 shows a data flow when an image file in which image data and text data are associated with each other is generated and transmitted to an external apparatus. .

図2および図3に示すように、デジタルカラー複合機1は、画像入力装置2、画像処理装置3、画像出力装置4、通信装置5、および操作パネル6を備えている。   As shown in FIGS. 2 and 3, the digital color multifunction peripheral 1 includes an image input device 2, an image processing device 3, an image output device 4, a communication device 5, and an operation panel 6.

画像入力装置2は、原稿の画像を読み取って画像データ(原稿画像データ)を生成するものであり、例えばCCD(Charge Coupled Device )などの光学情報を電気信号に変換するデバイスを備えたスキャナ部(図示せず)より構成されている。本実施形態では、画像入力装置2は、原稿からの反射光像を、RGB(R:赤・G:緑・B:青)のアナログ信号として画像処理装置3に出力する。なお、画像入力装置2の構成は特に限定されるものではなく、例えば原稿載置台に載置された原稿を読み取るものであってもよく、原稿搬送手段によって搬送されている原稿を読み取るものであってもよい。   The image input device 2 reads an image of a document and generates image data (document image data). For example, a scanner unit (for example, a CCD (Charge Coupled Device)) provided with a device that converts optical information into an electrical signal ( (Not shown). In the present embodiment, the image input device 2 outputs the reflected light image from the document to the image processing device 3 as RGB (R: red, G: green, B: blue) analog signals. The configuration of the image input device 2 is not particularly limited. For example, the image input device 2 may read a document placed on a document placement table, or read a document conveyed by a document conveying unit. May be.

画像処理装置3は、図2および図3に示すように、A/D変換部11、シェーディング補正部12、入力処理部13、原稿検知部14、原稿補正部15、色補正部16、黒生成下色除去部17、空間フィルタ処理部18、出力階調補正部19、中間調生成部(中間調生成部)20、領域分離部21、画像ファイル生成部22、記憶部23、および制御部24を備えている。記憶部23は画像処理装置3で扱われる各種データ(画像データ等)を記憶する記憶手段である。記憶部23の構成は特に限定されるものではないが、例えばハードディスクなどを用いることができる。また、制御部24は、画像処理装置3に備えられる各部の動作を制御する制御手段である。この制御部24は、デジタルカラー複合機1の各部の動作を制御する主制御部(図示せず)に備えられるものであってもよく、主制御部とは別に備えられ、主制御部と協働して処理を行うものであってもよい。   2 and 3, the image processing apparatus 3 includes an A / D conversion unit 11, a shading correction unit 12, an input processing unit 13, a document detection unit 14, a document correction unit 15, a color correction unit 16, and black generation. Undercolor removal unit 17, spatial filter processing unit 18, output tone correction unit 19, halftone generation unit (halftone generation unit) 20, region separation unit 21, image file generation unit 22, storage unit 23, and control unit 24 It has. The storage unit 23 is a storage unit that stores various data (image data and the like) handled by the image processing apparatus 3. The configuration of the storage unit 23 is not particularly limited, and for example, a hard disk or the like can be used. The control unit 24 is a control unit that controls the operation of each unit provided in the image processing apparatus 3. The control unit 24 may be provided in a main control unit (not shown) that controls the operation of each unit of the digital color multifunction peripheral 1, and is provided separately from the main control unit and cooperates with the main control unit. It may be one that performs processing.

画像処理装置3は、画像形成モードでは、画像入力装置2から入力された画像データに種々の画像処理を施して得られるCMYKの画像データを画像出力装置4に出力する。また、画像送信モードでは、画像入力装置2から入力された画像データに種々の画像処理を施すと共に、画像データに対して文字認識処理を施してテキストデータを取得し、画像データとテキストデータとを対応付けた画像ファイルを生成して通信装置5に出力する。なお、画像処理装置3の詳細については後述する。   In the image forming mode, the image processing apparatus 3 outputs CMYK image data obtained by performing various image processing on the image data input from the image input apparatus 2 to the image output apparatus 4. In the image transmission mode, the image data input from the image input device 2 is subjected to various image processing and character recognition processing is performed on the image data to obtain text data. The associated image file is generated and output to the communication device 5. Details of the image processing apparatus 3 will be described later.

画像出力装置4は、画像処理装置3から入力された画像データを記録材(例えば紙等)上に出力するものである。画像出力装置4の構成は特に限定されるものではなく、例えば、電子写真方式やインクジェット方式を用いた画像出力装置を用いることができる。   The image output device 4 outputs the image data input from the image processing device 3 onto a recording material (for example, paper). The configuration of the image output device 4 is not particularly limited, and for example, an image output device using an electrophotographic method or an inkjet method can be used.

通信装置5は、例えばモデムやネットワークカードより構成される。通信装置5は、ネットワークカード、LANケーブル等を介してデジタルカラー複合機1をネットワークに接続し、このネットワークに通信可能に接続された外部装置(例えば、パーソナルコンピュータ、サーバ装置、表示装置、他のデジタル複合機、ファクシミリ装置等)とデータ通信を行う。   The communication device 5 is composed of a modem or a network card, for example. The communication device 5 connects the digital color multifunction peripheral 1 to a network via a network card, a LAN cable, etc., and an external device (for example, a personal computer, a server device, a display device, other devices connected to the network for communication) Data communication with digital multifunction peripherals, facsimile machines, etc.).

操作パネル(指示入力装置)6は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成される(いずれも図示せず)。そして、デジタルカラー複合機1の主制御部(図示せず)の指示に応じた情報を上記表示部に表示するとともに、上記設定ボタンを介してユーザから入力される情報を上記主制御部に伝達する。ユーザは、操作パネル6を介して入力画像データに対する処理モード、印刷枚数、用紙サイズ、送信先アドレスなどの各種情報を入力することができる。   The operation panel (instruction input device) 6 includes, for example, a display unit such as a liquid crystal display and setting buttons (none of which are shown). Information corresponding to an instruction from a main control unit (not shown) of the digital color multifunction peripheral 1 is displayed on the display unit, and information input from the user via the setting button is transmitted to the main control unit. To do. The user can input various information such as a processing mode, the number of printed sheets, a paper size, and a transmission destination address for the input image data via the operation panel 6.

上記主制御部は、例えばCPU(Central Processing Unit)等からなり、図示しないROM等に格納されたプログラムや各種データ、操作パネル6から入力される情報等に基づいて、デジタルカラー複合機1の各部の動作を制御する。   The main control unit includes, for example, a CPU (Central Processing Unit) and the like, and is based on programs and various data stored in a ROM (not shown) and the like, information input from the operation panel 6, and the like. To control the operation.

(2)画像処理装置3の構成および動作
(2−1)画像形成モード
次に、画像処理装置3の構成、および画像形成モードにおける画像処理装置3の動作についてより詳細に説明する。
(2) Configuration and Operation of Image Processing Device 3 (2-1) Image Forming Mode Next, the configuration of the image processing device 3 and the operation of the image processing device 3 in the image forming mode will be described in more detail.

画像形成モードの場合、図2に示すように、まず、A/D変換部11が、画像入力装置2から入力されたRGBのアナログ信号をデジタル信号に変換してシェーディング補正部12に出力する。   In the image forming mode, as shown in FIG. 2, first, the A / D conversion unit 11 converts the RGB analog signal input from the image input device 2 into a digital signal and outputs the digital signal to the shading correction unit 12.

シェーディング補正部12は、A/D変換部11から送られてきたデジタルのRGB信号に対して、画像入力装置2の照明系、結像系、撮像系で生じる各種の歪みを取り除く処理を施し、入力処理部13に出力する。   The shading correction unit 12 performs a process of removing various distortions generated in the illumination system, the imaging system, and the imaging system of the image input device 2 on the digital RGB signal sent from the A / D conversion unit 11, The data is output to the input processing unit 13.

入力処理部(入力階調補正部)13は、シェーディング補正部12にて各種の歪みが取り除かれたRGB信号に対して、カラーバランスを整えると同時に、濃度信号など画像処理装置3に採用されている画像処理システムの扱い易い信号に変換する処理を施す。また、下地濃度の除去やコントラストなどの画質調整処理を行う。また、入力処理部13は、上記の各処理を施した画像データを記憶部23に記憶させる。   The input processing unit (input gradation correction unit) 13 adjusts the color balance of the RGB signal from which various distortions have been removed by the shading correction unit 12 and is also used in the image processing apparatus 3 such as a density signal. The signal is converted into a signal that can be easily handled by the image processing system. Also, image quality adjustment processing such as background density removal and contrast is performed. Further, the input processing unit 13 causes the storage unit 23 to store the image data subjected to each of the above processes.

原稿検知部14は、入力処理部13によって上記の処理を施された画像データに基づいて原稿画像の傾き角度、および天地方向を検出し、検出結果を原稿補正部15に出力する。   The document detection unit 14 detects the tilt angle and the vertical direction of the document image based on the image data subjected to the above processing by the input processing unit 13, and outputs the detection result to the document correction unit 15.

図4は、原稿検知部14の概略構成を示すブロック図である。この図に示すように、原稿検知部14は、信号変換部31、2値化処理部32、解像度変換部33、原稿傾き検知部34、およびレイアウト解析部35を備えている。   FIG. 4 is a block diagram illustrating a schematic configuration of the document detection unit 14. As shown in this figure, the document detection unit 14 includes a signal conversion unit 31, a binarization processing unit 32, a resolution conversion unit 33, a document inclination detection unit 34, and a layout analysis unit 35.

信号変換部31は、入力処理部13によって上記各処理を施された画像データがカラー画像であった場合にこの画像データを無彩化して、明度信号もしくは輝度信号に変換するものである。   When the image data subjected to the above-described processes by the input processing unit 13 is a color image, the signal conversion unit 31 achromatically converts the image data into a lightness signal or a luminance signal.

例えば、信号変換部31は、Yi=0.30Ri+0.59Gi+0.11Biを演算することによりRGB信号を輝度信号Yに変換する。ここで、Yは各画素の輝度信号であり、R,G,Bは各画素のRGB信号における各色成分であり、添え字のiは画素毎に付与された値(iは1以上の整数)である。   For example, the signal conversion unit 31 converts the RGB signal into the luminance signal Y by calculating Yi = 0.30Ri + 0.59Gi + 0.11Bi. Here, Y is a luminance signal of each pixel, R, G, and B are each color component in the RGB signal of each pixel, and the subscript i is a value assigned to each pixel (i is an integer of 1 or more). It is.

あるいは、RGB信号をCIE1976L*a*b*信号(CIE:Commission International de l'Eclairage、L*:明度、a*,b*:色度)に変換してもよい。   Alternatively, the RGB signal may be converted into a CIE 1976 L * a * b * signal (CIE: Commission International de l'Eclairage, L *: brightness, a *, b *: chromaticity).

2値化処理部32は、無彩化された画像データ(輝度値(輝度信号)または明度値(明度信号))と、予め設定された閾値とを比較することにより画像データを2値化する。例えば、画像データが8ビットである場合、上記閾値を128とする。あるいは、複数の画素(例えば5画素×5画素)からなるブロックにおける濃度(画素値)の平均値を閾値としてもよい。   The binarization processing unit 32 binarizes the image data by comparing the achromatic image data (brightness value (brightness signal) or brightness value (brightness signal)) with a preset threshold value. . For example, when the image data is 8 bits, the threshold value is set to 128. Or it is good also considering the average value of the density | concentration (pixel value) in the block which consists of a some pixel (for example, 5 pixels x 5 pixels) as a threshold value.

解像度変換部33は、2値化された画像データの解像度を低解像度に変換する。例えば、1200dpi、750dpi、あるいは600dpiで読み込まれた画像データを300dpiに変換する。解像度変換の方法は特に限定されるものではなく、例えば、公知のニアレストネイバー法、バイリニア法、バイキュービック法などを用いることができる。また、解像度変換部33は、低解像度化した画像データ(本実施形態では300dpiの画像データ)を原稿傾き検知部34に出力する。なお、解像度変換部33は、画像送信モードの場合には、第1解像度(本実施形態では300dpi)に低解像度化した画像データを原稿傾き検知部34とレイアウト解析部35とに出力するとともに、第1解像度よりも解像度が低い第2解像度(本実施形態では75dpi)に低解像度化した画像データをレイアウト解析部35に出力するようになっている。   The resolution conversion unit 33 converts the resolution of the binarized image data to a low resolution. For example, image data read at 1200 dpi, 750 dpi, or 600 dpi is converted to 300 dpi. The resolution conversion method is not particularly limited, and for example, a known nearest neighbor method, bilinear method, bicubic method, or the like can be used. Further, the resolution conversion unit 33 outputs the image data with reduced resolution (image data of 300 dpi in the present embodiment) to the document inclination detection unit 34. In the image transmission mode, the resolution conversion unit 33 outputs the image data reduced to the first resolution (300 dpi in the present embodiment) to the document inclination detection unit 34 and the layout analysis unit 35, and Image data reduced in resolution to a second resolution (75 dpi in the present embodiment) that is lower than the first resolution is output to the layout analysis unit 35.

原稿傾き検知部34は、解像度変換部33によって低解像度に変換された画像データに基づいて、画像読取時のスキャン範囲(正規の原稿位置)に対する原稿の傾き角度を検知し、検知結果を原稿補正部15に出力する。   The document tilt detection unit 34 detects the tilt angle of the document with respect to the scan range (regular document position) at the time of image reading based on the image data converted to the low resolution by the resolution conversion unit 33, and corrects the detection result to the document correction. To the unit 15.

傾き角度の検知方法は特に限定されるものではなく、従来から公知の種々の方法を用いることができる。例えば、特許文献3に記載されている方法を用いてもよい。この方法では、2値化された画像データからを黒画素と白画素との境界点(例えば各文字の上端における白/黒の境界点の座標)を複数個抽出し、各境界点の点列の座標データを求める。そして、この点列の座標データに基づいて回帰直線を求め、その回帰係数bを下記式(1)に基づいて算出する。   The method for detecting the tilt angle is not particularly limited, and various conventionally known methods can be used. For example, the method described in Patent Document 3 may be used. In this method, a plurality of boundary points between black pixels and white pixels (for example, coordinates of white / black boundary points at the upper end of each character) are extracted from the binarized image data, and a point sequence of each boundary point is extracted. Find the coordinate data. And a regression line is calculated | required based on the coordinate data of this point sequence, and the regression coefficient b is computed based on following formula (1).

b=Sxy/Sx ・・・(1)
なお、Sx,Syはそれぞれ変量x,yの残差平方和であり、Sxyはxの残差とyの残差の積の和である。すなわち、Sx,Sy,Sxyは下記式(2)〜(4)で表わされる。
b = Sxy / Sx (1)
Sx and Sy are the residual sum of squares of the variables x and y, respectively, and Sxy is the sum of the products of the residual of x and the residual of y. That is, Sx, Sy, Sxy are represented by the following formulas (2) to (4).

Figure 2011010232
Figure 2011010232

そして、上記のように算出した回帰係数bより、下記式(5)に基づいて傾き角度θを算出する。   Then, the inclination angle θ is calculated based on the following equation (5) from the regression coefficient b calculated as described above.

tanθ=b ・・・(5)
レイアウト解析部35は画像形成モードでは動作しない。レイアウト解析部35の動作については後述する。
tan θ = b (5)
The layout analysis unit 35 does not operate in the image forming mode. The operation of the layout analysis unit 35 will be described later.

原稿補正部15は、原稿検知部14の検知結果に基づいて画像データに傾き補正処理および天地補正処理を行い、これらの処理を施した画像データを色補正部16および領域分離部21に出力する。   The document correction unit 15 performs tilt correction processing and top / bottom correction processing on the image data based on the detection result of the document detection unit 14, and outputs the image data subjected to these processings to the color correction unit 16 and the region separation unit 21. .

具体的には、傾き補正処理を行う場合、補正前の座標を(X,Y)、補正後の座標を(X’,Y’)とし、傾き補正のための原点を中心とする反時計まわりの回転角度をθとすると、原稿補正部15は、下記式(6)に基づいて画像を回転させる。   Specifically, when performing tilt correction processing, the coordinates before correction are (X, Y), the coordinates after correction are (X ′, Y ′), and the counterclockwise rotation is centered on the origin for tilt correction. If the rotation angle is θ, the document correction unit 15 rotates the image based on the following equation (6).

Figure 2011010232
Figure 2011010232

また、天地補正処理を行う場合、補正前の座標を(X,Y)、補正後の座標を(X’,Y’)とすると、天地補正のための回転角度(反時計回りに90°、180°、270°のいずれか)に応じて下記式(7)〜(9)に基づいて画像を回転させる。
90°の場合、
X’= オリジナル画像Y方向サイズ−1−Y
Y’= X
180°の場合、
X’= オリジナル画像X方向サイズ−1−X
Y’= オリジナル画像Y方向サイズ−1−Y
270°の場合、
X’= Y
Y’= オリジナル画像X方向サイズ−1−X
なお、原稿補正部15が原稿検知部14の傾き角度検知結果に基づいて傾き補正処理を行い、傾き補正後の画像データに基づいて原稿検知部14が天地方向の検出を行い、天地方向の検出結果に基づいて原稿補正部15が天地補正処理を行うようにしてもよい。
Also, when performing the top / bottom correction processing, assuming that the coordinates before correction are (X, Y) and the coordinates after correction are (X ′, Y ′), the rotation angle for top / bottom correction (counterclockwise 90 °, The image is rotated based on the following formulas (7) to (9) according to either 180 ° or 270 °.
For 90 °,
X ′ = original image Y-direction size-1-Y
Y '= X
For 180 °,
X ′ = Original image X direction size-1-X
Y ′ = original image Y-direction size-1-Y
For 270 °,
X '= Y
Y ′ = Original image X direction size-1-X
The document correction unit 15 performs a tilt correction process based on the tilt angle detection result of the document detection unit 14, and the document detection unit 14 detects the top and bottom direction based on the image data after the tilt correction, thereby detecting the top and bottom direction. The document correction unit 15 may perform the top / bottom correction process based on the result.

また、原稿補正部15によって傾き補正処理および天地補正処理が施された画像データをファイリングデータとして管理するようにしてもよい。この場合、上記画像データは、例えば、JPEG圧縮アルゴリズムに基づいてJPEGコードに圧縮されて記憶部23に格納される。そして、この画像データに対するコピー出力動作やプリント出力動作が指示された場合には、記憶部23からJPEGコードが引き出されて不図示のJPEG伸張部に引き渡され、復号化処理が施されてRGBデータに変換される。また、上記の画像データに対して送信動作が指示された場合には、記憶部23からJPEGコードが引き出され、ネットワーク網や通信回線を介して通信装置5から外部装置へ送信される。   Further, the image data that has been subjected to the tilt correction process and the top / bottom correction process by the document correction unit 15 may be managed as filing data. In this case, the image data is compressed into a JPEG code based on, for example, a JPEG compression algorithm and stored in the storage unit 23. When a copy output operation or print output operation is instructed for this image data, a JPEG code is extracted from the storage unit 23 and transferred to a JPEG decompression unit (not shown), and subjected to a decoding process to obtain RGB data. Is converted to When a transmission operation is instructed for the image data, a JPEG code is extracted from the storage unit 23 and transmitted from the communication device 5 to an external device via a network or communication line.

色補正部16は、記憶部23から読み出した画像データをRGB信号の補色であるCMY(C:シアン・M:マゼンタ・Y:イエロー)信号に変換するとともに、色再現性を高める処理を行う。   The color correction unit 16 converts the image data read from the storage unit 23 into a CMY (C: cyan, M: magenta, Y: yellow) signal that is a complementary color of the RGB signal, and performs processing for improving color reproducibility.

黒生成下色除去部17は、色補正後のCMYの3色信号から黒(K)信号を生成する黒生成、元のCMY信号から黒生成で得たK信号を差し引いて新たなCMY信号を生成する処理を行うものである。これにより、CMYの3色信号はCMYKの4色信号に変換される。   The black generation and under color removal unit 17 generates black (K) signals from the CMY three-color signals after color correction, and subtracts the K signals obtained by black generation from the original CMY signals to generate new CMY signals. The process to generate is performed. As a result, the CMY three-color signal is converted into a CMYK four-color signal.

空間フィルタ処理部18は、黒生成下色除去部17より入力されるCMYK信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理(強調処理および/または平滑化処理)を行い、空間周波数特性を補正する。これにより、出力画像のぼやけや粒状性劣化を軽減することができる。   The spatial filter processing unit 18 performs spatial filter processing (enhancement processing and / or smoothing processing) using a digital filter on the image data of the CMYK signal input from the black generation and under color removal unit 17 based on the region identification signal. And correct the spatial frequency characteristics. As a result, blurring of the output image and deterioration of graininess can be reduced.

出力階調補正部19は、用紙等の記録材に出力するための出力γ補正処理を行い、出力γ補正処理後の画像データを中間調生成部20に出力する。   The output tone correction unit 19 performs output γ correction processing for outputting to a recording material such as paper, and outputs the image data after the output γ correction processing to the halftone generation unit 20.

中間調生成部20は、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理(中間調生成)を施し、画像出力装置4に出力する。   The halftone generation unit 20 performs a gradation reproduction process (halftone generation) that is performed so that the image is finally separated into pixels and each gradation can be reproduced, and is output to the image output device 4.

領域分離部21は、RGB信号より、入力画像中の各画素を黒文字領域、色文字領域、網点領域、印画紙写真(連続階調領域)領域の何れかに分離するものである。領域分離部21は、分離結果に基づき、画素がどの領域に属しているかを示す領域分離信号を、黒生成下色除去部17、空間フィルタ処理部18、および中間調生成部20へと出力する。領域分離処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。黒生成下色除去部17、空間フィルタ処理部18、および中間調生成部20では、入力された領域分離信号に基づいて、各領域に適した処理が行われる。   The region separation unit 21 separates each pixel in the input image into any one of a black character region, a color character region, a halftone dot region, and a photographic paper photograph (continuous tone region) region based on the RGB signal. Based on the separation result, the region separation unit 21 outputs a region separation signal indicating to which region the pixel belongs to the black generation and under color removal unit 17, the spatial filter processing unit 18, and the halftone generation unit 20. . The method of region separation processing is not particularly limited, and a conventionally known method can be used. The black generation and under color removal unit 17, the spatial filter processing unit 18, and the halftone generation unit 20 perform processing suitable for each region based on the input region separation signal.

画像ファイル生成部22は、文字認識部41、描画コマンド生成部42、およびフォーマット化処理部(コマンド付加部)43を備えており、画像送信モードが選択された場合に、必要に応じて文字認識処理を行うとともに、外部装置に送信するための画像ファイルを生成する。なお、画像ファイル生成部22は、画像形成モードでは動作を行わない。画像ファイル生成部22の詳細については後述する。   The image file generation unit 22 includes a character recognition unit 41, a drawing command generation unit 42, and a formatting processing unit (command addition unit) 43. When an image transmission mode is selected, character recognition is performed as necessary. In addition to performing processing, an image file to be transmitted to an external device is generated. Note that the image file generation unit 22 does not operate in the image forming mode. Details of the image file generation unit 22 will be described later.

上述した各処理が施された画像データは、一旦、図示しないメモリに記憶されたのち、所定のタイミングで読み出されて画像出力装置4に入力される。   The image data subjected to the above-described processes is temporarily stored in a memory (not shown), read out at a predetermined timing, and input to the image output device 4.

(2−2)画像送信モード
次に、画像送信モードにおける画像処理装置3の動作について、図3を参照しながらより詳細に説明する。なお、通常送信モードにおけるA/D変換部11、シェーディング補正部12、入力処理部13、原稿検知部14、原稿補正部15、および領域分離部21の処理の動作は画像形成モードの場合と略同様である。
(2-2) Image Transmission Mode Next, the operation of the image processing device 3 in the image transmission mode will be described in more detail with reference to FIG. The operations of the A / D conversion unit 11, the shading correction unit 12, the input processing unit 13, the document detection unit 14, the document correction unit 15, and the region separation unit 21 in the normal transmission mode are substantially the same as those in the image forming mode. It is the same.

本実施形態では、画像処理モードが選択された場合、ユーザが、操作パネル6を介して、文字認識処理を行うか否かを選択できるようになっている。   In the present embodiment, when the image processing mode is selected, the user can select whether or not to perform character recognition processing via the operation panel 6.

なお、例えば、図5に示すように、文字認識部41よりも前段に画像データに基づいて原稿の種別を判別する原稿種別自動判別部25を設け、この原稿種別自動判別部25から出力される原稿種別判別信号を文字認識部41に入力させ、原稿種別判別信号が文字を含む原稿(例えば文字原稿、文字印刷写真原稿、文字印画紙写真原稿など)であることを示す場合に文字認識を行うようにしてもよい。原稿種別自動判別部25における原稿種別の判別方法は、少なくとも文字を含む原稿と文字を含まない原稿とを判別できる方法であれば特に限定されるものではなく、従来から公知の種々の方法を用いることができる。   For example, as shown in FIG. 5, a document type automatic determination unit 25 for determining the document type based on image data is provided before the character recognition unit 41, and the document type automatic determination unit 25 outputs the document type. Character recognition is performed when a document type determination signal is input to the character recognition unit 41 and indicates that the document type determination signal is a document including characters (for example, a character document, a character print photo document, a character photographic paper photo document, etc.). You may do it. The document type discrimination method in the document type automatic discrimination unit 25 is not particularly limited as long as it can discriminate between a document including at least characters and a document not including characters. Various conventionally known methods are used. be able to.

また、図6に示すように、領域分離部21から出力される領域分離信号を文字認識部41に入力させ、文字認識部41がこの領域分離信号に基づいて、文字領域(文字エッジと判定された画素からなる画像領域)を示すテキストマップを生成し、文字領域に対してのみ文字認識処理を行うようにしてもよい。   Further, as shown in FIG. 6, the region separation signal output from the region separation unit 21 is input to the character recognition unit 41, and the character recognition unit 41 is determined to be a character region (character edge based on the region separation signal. A text map indicating an image area including pixels) may be generated, and the character recognition process may be performed only on the character area.

文字認識処理を行う場合について図3を参照しながら説明する。原稿検知部14に備えられるレイアウト解析部35は、画像送信モードが選択された場合、図7に示すように、解像度変換部33から入力される画像データに含まれる文字を抽出し、各文字の外接矩形を求め、隣接する外接矩形間の距離を算出する。そして、この隣接する外接矩形間の距離に基づいて画像データの文字が縦書きであるか横書きであるかを判定し、判定結果を示す信号を画像ファイル生成部22に備えられる文字認識部41に出力する。   A case where character recognition processing is performed will be described with reference to FIG. When the image transmission mode is selected, the layout analysis unit 35 provided in the document detection unit 14 extracts characters included in the image data input from the resolution conversion unit 33 as shown in FIG. A circumscribed rectangle is obtained, and a distance between adjacent circumscribed rectangles is calculated. Then, based on the distance between the adjacent circumscribed rectangles, it is determined whether the character of the image data is vertical writing or horizontal writing, and a signal indicating the determination result is sent to the character recognition unit 41 provided in the image file generation unit 22. Output.

レイアウト解析部35は、具体的には、画像データにおける副走査方向に延伸する最初のラインに含まれる各画素が黒画素であるか否かを画素毎に判断し、黒画素であると判断した画素に所定のラベルを割り付ける。   Specifically, the layout analysis unit 35 determines whether each pixel included in the first line extending in the sub-scanning direction in the image data is a black pixel, and determines that the pixel is a black pixel. Assign a predetermined label to the pixel.

その後、ラベル付けを行った上記のラインに対して主走査方向に隣接するラインについて、当該ラインに含まれる各画素が黒画素であるか否かを画素毎に判断し、黒画素であると判断した画素にラベル付け済みの上記ラインで用いたラベルとは異なるラベルを割り付ける。そして、黒画素であると判断した各画素について、当該画素に対して隣接するラベル付け済みの上記ラインの画素が黒文字であるかを判断し、黒文字であると判断した場合には、黒画素が連結していると判断し、当該画素のラベルを隣接するラベル付け済みの上記ラインの画素と同じラベル(1つ上のラインのラベルと同じラベル)に変更する。   Thereafter, for each line adjacent to the labeled line in the main scanning direction, it is determined for each pixel whether each pixel included in the line is a black pixel, and is determined to be a black pixel. A label different from the label used in the above-mentioned line that has been labeled is assigned to the selected pixel. Then, for each pixel determined to be a black pixel, it is determined whether the labeled pixel adjacent to the pixel is a black character. If it is determined to be a black character, It is determined that they are connected, and the label of the pixel is changed to the same label as the pixel of the adjacent labeled line (the same label as the label of the line one level above).

その後、上記の処理を主走査方向に並ぶ各ラインについて繰り返し、同じラベルが付された画素を抽出することにより、文字の抽出を行う。   Thereafter, the above process is repeated for each line arranged in the main scanning direction, and the pixels with the same label are extracted to extract characters.

そして、抽出した各文字の外接矩形を算出する。なお、各文字および各外接矩形の座標は、例えば画像データの上端かつ左端の位置を原点として算出する。   Then, a circumscribed rectangle of each extracted character is calculated. Note that the coordinates of each character and each circumscribed rectangle are calculated using, for example, the upper end and left end positions of the image data as the origin.

なお、レイアウト解析部35が、原稿内の領域毎にレイアウト認識処理を行うようにしてもよい。例えば、レイアウト解析部35が、外接矩形間の距離が略均等である文字群からなる領域を抽出し、抽出した領域毎にレイアウト認識処理を行って縦書きであるか横書きであるかを判断するようにしてもよい。   Note that the layout analysis unit 35 may perform layout recognition processing for each region in the document. For example, the layout analysis unit 35 extracts an area composed of a character group in which the distance between the circumscribed rectangles is substantially equal, and performs layout recognition processing for each extracted area to determine whether the writing is vertical writing or horizontal writing. You may do it.

文字認識部41は、原稿補正部15によって傾き補正処理および天地補正処理が施された2値画像データを記憶部23から読み出し、この画像データに対して文字認識処理を行う。そして、文字認識処理結果に基づいて上記画像データに対応する原稿に含まれる文書のテキストデータを生成し、描画コマンド生成部42に出力する。なお、このテキストデータは、各文字の文字コードと各文字の位置情報とを含む。文字認識処理の方法は特に限定されるものではなく、従来から公知の方法を用いることができる。   The character recognition unit 41 reads the binary image data that has been subjected to the tilt correction process and the top / bottom correction process by the document correction unit 15 from the storage unit 23, and performs the character recognition process on the image data. Then, text data of the document included in the original corresponding to the image data is generated based on the character recognition processing result, and is output to the drawing command generation unit 42. The text data includes a character code of each character and position information of each character. The method of character recognition processing is not particularly limited, and a conventionally known method can be used.

描画コマンド生成部42は、文字認識部41による文字認識結果に基づく透明テキストを画像ファイル内に配置するための命令、および、その後にフォーマット化処理部43で生成される画像ファイルがユーザによって開かれたときに当該画像ファイルがキーワード検索可能な画像ファイルであることをユーザに通知(例えばメッセージの表示あるいは音声出力など)させるためのコマンドを画像ファイルに埋め込ませるための命令を生成する。ここで、透明テキストとは、認識された文字および単語をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる(あるいは埋め込む)ためのデータである。例えば、PDFファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。   The drawing command generation unit 42 opens an instruction for placing transparent text in the image file based on the result of character recognition by the character recognition unit 41 and an image file generated by the formatting processing unit 43 after that. A command for embedding in the image file a command for notifying the user that the image file is a keyword searchable image file (for example, displaying a message or outputting sound). Here, the transparent text is data for superimposing (or embedding) recognized characters and words as text information on the image data in an apparently invisible form. For example, in a PDF file, an image file in which transparent text is added to image data is generally used.

また、文字認識部41の文字認識処理および描画コマンド生成部42の描画コマンド生成処理と並行して、色補正部16、空間フィルタ処理部18、および出力階調補正部19は、画像データに対する所定の処理を行う。   In parallel with the character recognition processing of the character recognition unit 41 and the drawing command generation processing of the drawing command generation unit 42, the color correction unit 16, the spatial filter processing unit 18, and the output tone correction unit 19 perform predetermined processing on image data. Perform the process.

具体的には、色補正部16は、原稿補正部15から入力されたRGBの画像データを、一般に普及している表示装置の表示特性に適合したR’G’B’の画像データ(例えば、sRGBデータ)に変換し、黒生成下色除去部17に出力する。黒生成下色除去部17は、画像送信モードでは色補正部16から入力された画像データをそのまま空間フィルタ処理部18に出力(スルー)する。   Specifically, the color correction unit 16 converts the RGB image data input from the document correction unit 15 into R′G′B ′ image data (for example, a display characteristic of a display device that is generally used (for example, sRGB data) and output to the black generation and under color removal unit 17. In the image transmission mode, the black generation and under color removal unit 17 outputs (through) the image data input from the color correction unit 16 to the spatial filter processing unit 18 as it is.

空間フィルタ処理部18は、黒生成下色除去部17より入力されるR’G’B’の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理(強調処理および/または平滑化処理)を行い、出力階調補正部19に出力する。   The spatial filter processing unit 18 applies spatial filter processing (enhancement processing and / or smoothing) to the R′G′B ′ image data input from the black generation and under color removal unit 17 based on the region identification signal. And output to the output tone correction unit 19.

出力階調補正部19は、空間フィルタ処理部18から入力されたR’G’B’の画像データに対して領域識別信号を基に所定の処理を施し、中間調生成部20に出力する。例えば、出力階調補正部19は、文字領域に対しては図8に実線で示したガンマ曲線を用いた補正を行い、文字領域以外の領域に対しては図8に破線で示したガンマ曲線を用いた補正を行う。なお、文字領域以外の領域に対するガンマ曲線としては、例えば送信先の外部装置に備えられる表示装置の表示特性に応じた曲線を設定しておき、文字領域のガンマ曲線は文字をくっきり表示できるように設定しておくことが好ましい。   The output tone correction unit 19 performs predetermined processing on the R′G′B ′ image data input from the spatial filter processing unit 18 based on the region identification signal and outputs the processed data to the halftone generation unit 20. For example, the output tone correction unit 19 performs correction using a gamma curve indicated by a solid line in FIG. 8 for a character area, and a gamma curve indicated by a broken line in FIG. 8 for an area other than the character area. Perform correction using. As the gamma curve for the area other than the character area, for example, a curve corresponding to the display characteristics of the display device provided in the external device of the transmission destination is set so that the gamma curve in the character area can clearly display characters. It is preferable to set.

中間調生成部20は、出力階調補正部19から入力されたR’G’B’の画像データを画像ファイル生成部22のフォーマット化処理部43に出力(スルー)する。   The halftone generation unit 20 outputs (through) the R′G′B ′ image data input from the output tone correction unit 19 to the formatting processing unit 43 of the image file generation unit 22.

画像ファイル生成部22に備えられるフォーマット化処理部43は、中間調生成部20から入力された画像データに、描画コマンド生成部42から入力された命令に応じて透明テキストおよび上記通知(キーワード検索可能であることを示すための通知)を行わせるためのコマンドを埋め込んだ、所定のフォーマットの画像ファイルを生成する。そして、生成した画像ファイルを通信装置5に出力する。なお、本実施形態では、フォーマット化処理部43がPDF形式の画像ファイルを生成する。ただし、画像ファイルのフォーマットはこれに限るものではなく、画像データに透明テキストおよび上記通知を行わせるためのコマンドを埋め込むことができるフォーマット、あるいは画像データとテキストデータと上記通知を行わせるためのコマンドとを対応付けることのできるフォーマットであればよい。例えば、プレゼンテーションソフトなどのフォーマットでテキストデータを配置した上に画像データを重畳させて配置し、テキストデータを不可視状態にし、画像データのみを可視状態にした画像ファイルを作成するようにしてもよい。   The formatting processing unit 43 provided in the image file generation unit 22 adds the transparent text and the above notification (keyword search is possible) to the image data input from the halftone generation unit 20 according to the command input from the drawing command generation unit 42. An image file of a predetermined format in which a command for performing a notification) is embedded is generated. Then, the generated image file is output to the communication device 5. In this embodiment, the formatting processor 43 generates a PDF image file. However, the format of the image file is not limited to this, a format that can embed transparent text and a command for performing the above notification in the image data, or a command for performing the image data, text data, and the above notification. Any format that can be associated with each other is acceptable. For example, text data may be arranged in a format such as presentation software and image data may be superimposed to make the text data invisible, and an image file in which only the image data is visible may be created.

図9は、フォーマット化処理部43によって生成されるPDF形式の画像ファイルの構成を示す説明図である。この図に示すように、上記画像ファイルは、ヘッダ部、ボディ部、相互参照表、およびトレーラ部によって構成されている。   FIG. 9 is an explanatory diagram showing the structure of a PDF image file generated by the formatting processor 43. As shown in this figure, the image file is composed of a header part, a body part, a cross reference table, and a trailer part.

ヘッダ部には、このファイルがPDFファイルであることを示す文字列とバージョン番号とが含まれる。ボディ部には、表示する情報やページ情報などが含まれる。相互参照表には、ボディ部の中身にアクセスするためのアドレス情報が記述されている。トレーラ部には、はじめにどこから読み込むかを示す情報などが記述されている。   The header portion includes a character string indicating that this file is a PDF file and a version number. The body part includes information to be displayed and page information. The cross-reference table describes address information for accessing the contents of the body part. In the trailer section, information indicating where to read first is described.

ボディ部は、各ページからなるオブジェクトに対する参照情報などが記述される文書カタログ記述部、ページ毎の表示範囲等の情報が記述されるページ記述部、画像データ、透明テキスト、および上記通知を行わせるためのコマンドが記述される画像データ記述部、および対応するページを描画する際に適用する条件が記述される画像描画記述部からなる。なお、ページ記述部、画像データ記述部、および画像描画記述部は各ページに対応して設けられる。   The body part is a document catalog description part in which reference information for an object consisting of each page is described, a page description part in which information such as a display range for each page is described, image data, transparent text, and the above notification. An image data description part in which a command is described, and an image drawing description part in which conditions to be applied when a corresponding page is drawn are described. A page description part, an image data description part, and an image drawing description part are provided corresponding to each page.

通信装置5は、フォーマット化処理部43から入力された画像ファイルを、ネットワークを介して通信可能に接続された外部装置に送信する。例えば、通信装置5は、上記の画像ファイルを図示しないメール処理部(ジョブ装置)によって電子メールに添付して送信する。   The communication device 5 transmits the image file input from the formatting processing unit 43 to an external device that is communicably connected via a network. For example, the communication device 5 transmits the image file attached to an electronic mail by a mail processing unit (job device) (not shown).

これにより、通信装置5から送信された上記の画像ファイルを受信した外部装置がこの画像ファイルを開くと、画像データに応じた画像が表示されるとともに、キーワード検索可能であることを示す通知が行われる。   As a result, when the external device that has received the image file transmitted from the communication device 5 opens the image file, an image corresponding to the image data is displayed and a notification indicating that a keyword search is possible is performed. Is called.

図10は上記通知の一例を示す説明図である。この図に示す例では、外部装置の表示部に画像データに応じた画像が表示されるとともに、検索可能であることを示すメッセージMを含む吹き出しが表示されている。なお、上記通知の方法はこれに限るものではなく、例えば、図11に示すように文書の画像データの一部に検索可能であることを示すメッセージMを重畳させて表示してもよい。また、検索可能であることを示すメッセージを各種のアニメーション表示(動画表示)によって通知してもよい。図12は、「この文書は検索可能です」というメッセージがメッセージを表示させるための所定の枠内を右から左に移動するように表示される場合の一例を示している。また、検索処理の手順を示すアニメーション画像(動画)を表示させるようにしてもよい。   FIG. 10 is an explanatory diagram showing an example of the notification. In the example shown in this figure, an image corresponding to the image data is displayed on the display unit of the external device, and a balloon including a message M indicating that the search is possible is displayed. Note that the notification method is not limited to this, and for example, as shown in FIG. 11, a message M indicating that a search is possible may be displayed superimposed on a part of image data of a document. Further, a message indicating that the search is possible may be notified by various animation displays (moving image displays). FIG. 12 shows an example in which the message “This document is searchable” is displayed so as to move from right to left within a predetermined frame for displaying the message. Further, an animation image (moving image) indicating the procedure of the search process may be displayed.

また、メッセージ等を表示画面に表示させる方法に限らず、例えば、メッセージを音声出力したり、検索可能であることを示す所定の効果音を出力させたりしてもよい。また、表示および音声出力の両方によって上記通知を行うようにしてもよい。   Further, the method is not limited to the method of displaying a message or the like on the display screen. For example, the message may be output as voice or a predetermined sound effect indicating that search is possible may be output. Moreover, you may make it perform the said notification by both a display and audio | voice output.

また、複数ページ分の画像データの場合、ページ毎に上記通知が行われるようにしてもよく、先頭ページについてのみ上記通知が行われるようにしてもよい。   In the case of image data for a plurality of pages, the notification may be performed for each page, or the notification may be performed only for the first page.

(2−3)画像処理装置3における処理の概要
図1は、画像処理装置3における概略的な処理の流れを示すフロー図である。この図に示すように、まず、制御部24は、操作パネル6を介して入力されるユーザからの処理モードの選択指示を受け付ける(S1)。また、画像入力装置2から、原稿を読み取って得られた画像データを取得する(S2)。
(2-3) Outline of Processing in Image Processing Device 3 FIG. 1 is a flowchart showing a schematic processing flow in the image processing device 3. As shown in this figure, first, the control unit 24 accepts a processing mode selection instruction from the user input via the operation panel 6 (S1). Further, image data obtained by reading a document is obtained from the image input device 2 (S2).

その後、制御部24は、原稿検知部14に傾き角度および天地方向の検出処理を行わせ(S3)、検出結果に基づいて原稿補正部15に傾き補正処理および天地補正処理を行わせる(S4)。   Thereafter, the control unit 24 causes the document detection unit 14 to perform detection processing of the tilt angle and the top and bottom direction (S3), and causes the document correction unit 15 to perform tilt correction processing and top and bottom correction processing based on the detection result (S4). .

その後、制御部24は、S1で選択指示された処理モードが画像形成モードであるか否かを判断する(S5)。そして、画像形成モードが選択されたと判断した場合、傾き補正処理および天地補正処理を施した画像データに対して所定の処理を施し、画像出力装置4に出力させて(S6)処理を終了する。   Thereafter, the control unit 24 determines whether or not the processing mode selected and instructed in S1 is the image forming mode (S5). If it is determined that the image forming mode has been selected, predetermined processing is performed on the image data that has been subjected to the tilt correction process and the top / bottom correction process, and the image output apparatus 4 is output (S6), thereby terminating the process.

一方、S5において画像形成モードではないと判断した場合、制御部24は、S1で選択指示された処理モードが画像送信モードであると判断し、原稿検知部14のレイアウト解析部35にレイアウト解析(原稿画像における文字方向が縦書きであるか横書きであるかを解析する処理)を行わせる(S7)。そして、制御部24は、文字認識部41にレイアウト解析部35の解析結果に応じた文字方向に基づいて文字認識処理を行わせる(S8)。   On the other hand, when it is determined in S5 that the image forming mode is not selected, the control unit 24 determines that the processing mode selected and instructed in S1 is the image transmission mode, and the layout analysis unit 35 of the document detection unit 14 performs layout analysis ( Processing for analyzing whether the character direction in the document image is vertical writing or horizontal writing is performed (S7). Then, the control unit 24 causes the character recognition unit 41 to perform character recognition processing based on the character direction according to the analysis result of the layout analysis unit 35 (S8).

その後、制御部24は、画像データに透明テキストと検索可能であることの通知を行わせるためのコマンドとを埋め込んだ画像ファイルをフォーマット化処理部43に生成させる(S9)。具体的には、制御部24は、描画コマンド生成部42を制御し、文字認識結果に基づく透明テキストを画像データに埋め込ませるための命令と、画像ファイルが開かれたときに検索可能であることを示す通知をコンピュータに実行させるためのコマンドを画像データに埋め込ませるための命令とを作成させ、フォーマット化処理部43に出力させる。これにより、フォーマット化処理部43は、中間調生成部20から入力される画像データに、透明テキストと、画像ファイルが開かれたときに検索可能であることを示す通知をコンピュータに実行させるためのコマンドとを埋め込む。   Thereafter, the control unit 24 causes the formatting processing unit 43 to generate an image file in which the image data is embedded with a transparent text and a command for notifying that search is possible (S9). Specifically, the control unit 24 controls the drawing command generation unit 42 to search for an instruction for embedding transparent text based on the character recognition result in the image data and when the image file is opened. And a command for embedding a command for causing the computer to execute a notification indicating the above in the image data, and causing the formatting processing unit 43 to output the command. Accordingly, the formatting processing unit 43 causes the computer to execute notification indicating that the image data input from the halftone generation unit 20 can be searched when the image file is opened and the transparent text. Embed commands.

その後、生成した画像ファイルを通信装置5に出力させ(S10)、処理を終了する。   Thereafter, the generated image file is output to the communication device 5 (S10), and the process is terminated.

以上のように、本実施形態では、フォーマット化処理部(コマンド付加部)43が、画像データと、透明テキストと、画像ファイルが開かれたときに検索可能なファイルであることをユーザに通知する処理をコンピュータに行わせるためのコマンドとを含む画像ファイルを生成する。   As described above, in the present embodiment, the formatting processing unit (command adding unit) 43 notifies the user that the image data, the transparent text, and the file that can be searched when the image file is opened. An image file including a command for causing the computer to perform processing is generated.

これにより、ユーザが画像ファイルを開くと、検索処理が可能なファイルであることがユーザに自動的に通知される。したがって、検索処理が可能なファイルであることをユーザに容易に認識させることができる。   Thus, when the user opens the image file, the user is automatically notified that the file can be searched. Therefore, the user can easily recognize that the file is searchable.

なお、本実施形態では、画像ファイルが開かれたときに検索可能なファイルであることの通知が行われる場合について説明したが、これに限らず、画像ファイルに対してユーザから所定の操作が行われたときに上記通知を行うようにしてもよい。例えば、画像ファイルのアイコン等の上にカーソルを移動させる操作が行われたときに上記通知を行うようにしてもよく、画像ファイルのアイコン等をドラッグする操作やクリックする操作が行われたときに上記通知を行うようにしてもよい。   In the present embodiment, the case where the notification that the image file is searchable is performed when the image file is opened has been described. However, the present invention is not limited to this, and a predetermined operation is performed on the image file by the user. You may make it perform the said notification when it breaks. For example, the above notification may be performed when an operation for moving the cursor over an image file icon or the like is performed, or when an operation for dragging or clicking an image file icon or the like is performed. You may make it perform the said notification.

また、本実施形態では、透明テキストおよび上記通知を行わせるためのコマンドを埋め込んだ画像データを、通信装置5を介して外部装置に送信する場合について説明したが、これに限るものではない。例えば、透明テキストおよび上記通知を行わせるためのコマンドを埋め込んだ画像データを、デジタルカラー複合機1に備えられる記憶部あるいはデジタルカラー複合機1に脱着可能に装着される記憶装置等に記憶(ファイリング)させるようにしてもよい。   In the present embodiment, the case has been described in which image data in which a transparent text and a command for performing the notification are embedded is transmitted to an external device via the communication device 5, but the present invention is not limited to this. For example, image data in which a transparent text and a command for performing the above notification are embedded is stored in a storage unit provided in the digital color multifunction peripheral 1 or a storage device detachably attached to the digital color multifunction peripheral 1 (filing) ).

また、本実施形態では、画像入力装置2が原稿を読み取って取得した画像データに対して文字認識処理を行い、画像データ、テキストデータ、およびキーワード検索可能であることを示す通知を行わせるためのコマンドを含む画像ファイルを生成する場合について説明したが、これに限るものではない。   In the present embodiment, the image input device 2 performs character recognition processing on image data acquired by reading a document, and performs notification indicating that image data, text data, and keyword search are possible. Although the case where an image file including a command is generated has been described, the present invention is not limited to this.

例えば、通信装置5を介して外部から受信した画像ファイルあるいはデジタルカラー複合機1に対して着脱可能に装着される各種記録媒体から読み出した画像ファイルに対して文字認識部41が文字認識処理を行い、フォーマット化処理部43が画像データ、テキストデータ、およびキーワード検索可能であることを示す通知を行わせるためのコマンドを含む画像ファイルを生成するようにしてもよい。   For example, the character recognition unit 41 performs character recognition processing on an image file received from the outside via the communication device 5 or an image file read from various recording media detachably attached to the digital color multifunction peripheral 1. The formatting processing unit 43 may generate an image file that includes image data, text data, and a command for notifying that keyword search is possible.

また、通信装置5を介して外部から受信した画像ファイル、あるいはデジタルカラー複合機1が各種記録媒体から読み出した画像ファイルがテキストデータを含むファイルであるか否かを判別するテキストデータ判別部(図示せず)を備え、テキストデータを含むファイルである場合に、制御部24が描画コマンド生成部42およびフォーマット化処理部43を制御してキーワード検索可能であることを示す通知を行わせるためのコマンドを当該ファイルに埋め込ませるようにしてもよい。上記画像ファイルがテキストデータを含んでいるか否かを判断する方法は特に限定されるものではないが、例えば、画像ファイルがPDFファイルである場合、図9に示したページ記述部に記載されているオブジェクトの種類やコマンドなどの情報に基づいて判定することができる。なお、上記のテキストデータ判別部の処理を制御部24が行ってもよい。   In addition, a text data discriminating unit for discriminating whether an image file received from the outside via the communication device 5 or an image file read out from various recording media by the digital color multifunction peripheral 1 is a file containing text data (see FIG. Command for controlling the drawing command generation unit 42 and the formatting processing unit 43 to notify that the keyword search is possible when the file includes text data. May be embedded in the file. The method for determining whether or not the image file includes text data is not particularly limited. For example, when the image file is a PDF file, it is described in the page description section shown in FIG. The determination can be made based on information such as the object type and command. Note that the control unit 24 may perform the processing of the text data determination unit.

また、本実施形態では、本発明をデジタルカラー複合機に適用する場合について説明したが、これに限らず、モノクロの複合機に適用してもよい。また、複合機に限らず、例えば単体の画像読取装置に適用してもよい。   In this embodiment, the case where the present invention is applied to a digital color multifunction peripheral has been described. However, the present invention is not limited to this, and may be applied to a monochrome multifunction peripheral. Further, the present invention is not limited to a multifunction machine, and may be applied to, for example, a single image reading apparatus.

図13は、本発明を画像読取装置に適用する場合の構成例を示すブロック図である。この図に示す画像読取装置100は、画像入力装置2、画像処理装置3b、通信装置5、および操作パネル6を備えている。画像入力装置2、通信装置5、および操作パネル6の構成および機能は上述したデジタルカラー複合機1の場合と略同様なので、ここではその説明を省略する。   FIG. 13 is a block diagram illustrating a configuration example when the present invention is applied to an image reading apparatus. An image reading apparatus 100 shown in this figure includes an image input device 2, an image processing device 3b, a communication device 5, and an operation panel 6. Since the configurations and functions of the image input device 2, the communication device 5, and the operation panel 6 are substantially the same as those of the digital color multifunction peripheral 1 described above, the description thereof is omitted here.

画像処理装置3bは、A/D変換部11、シェーディング補正部12、入力処理部13、原稿検知部14、原稿補正部15、色補正部16、画像ファイル生成部22、記憶部23、および制御部24を備えている。また、画像ファイル生成部22は、文字認識部41、描画コマンド生成部42、およびフォーマット化処理部43を備えている。   The image processing apparatus 3b includes an A / D conversion unit 11, a shading correction unit 12, an input processing unit 13, a document detection unit 14, a document correction unit 15, a color correction unit 16, an image file generation unit 22, a storage unit 23, and a control. The unit 24 is provided. Further, the image file generation unit 22 includes a character recognition unit 41, a drawing command generation unit 42, and a formatting processing unit 43.

なお、画像形成モードを備えていない点、および、色補正部16が色補正処理後の画像データをフォーマット化処理部43に出力し、フォーマット化処理部43が色補正部16から入力された画像データに基づいて外部装置に送信する画像ファイルを生成する点以外は、画像処理装置3bに備えられる各部の機能は上述したデジタルカラー複合機1の場合と略同様である。画像処理装置3bにおいて上述した各処理が施されて生成された画像ファイルは、通信装置5により、ネットワークを介して通信可能に接続されたコンピュータやサーバなどに送信される。   Note that the image forming mode is not provided, and the color correction unit 16 outputs the image data after the color correction processing to the formatting processing unit 43, and the formatting processing unit 43 receives the image input from the color correcting unit 16. Except for generating an image file to be transmitted to an external device based on the data, the functions of each unit provided in the image processing device 3b are substantially the same as those of the digital color multifunction peripheral 1 described above. The image file generated by performing the above-described processes in the image processing apparatus 3b is transmitted by the communication apparatus 5 to a computer or server connected to be communicable via the network.

また、上記各実施形態において、デジタルカラー複合機1、画像読取装置100に備えられる各部(各ブロック)を、CPU等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、デジタルカラー複合機1、画像読取装置100は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデジタルカラー複合機1、画像読取装置100の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、デジタルカラー複合機1、画像読取装置100に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。   In each of the above embodiments, each unit (each block) provided in the digital color multifunction peripheral 1 and the image reading apparatus 100 may be realized by software using a processor such as a CPU. In this case, the digital color multifunction peripheral 1 and the image reading apparatus 100 expand a CPU (central processing unit) that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, and the program. A random access memory (RAM), and a storage device (recording medium) such as a memory for storing the program and various data. An object of the present invention is to enable the computer to read the program code (execution format program, intermediate code program, source program) of the control program for the digital color multifunction peripheral 1 and the image reading apparatus 100 which are software for realizing the functions described above. This is achieved by supplying the recording medium recorded in (1) to the digital color multifunction peripheral 1 and the image reading apparatus 100, and the computer (or CPU or MPU) reads and executes the program code recorded on the recording medium.

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。   Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, and an optical disk such as a CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.

また、デジタルカラー複合機1、画像読取装置100を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。   The digital color multifunction peripheral 1 and the image reading apparatus 100 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available. Also, the transmission medium constituting the communication network is not particularly limited. For example, even in the case of wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc., infrared rays such as IrDA and remote control, Bluetooth ( (Registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, and the like can also be used. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.

また、デジタルカラー複合機1、画像読取装置100の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。   The blocks of the digital color multifunction peripheral 1 and the image reading apparatus 100 are not limited to those realized by using software, but may be configured by hardware logic, and hardware that performs a part of the processing. Hardware and arithmetic means for executing software for controlling the hardware and the remaining processing may be used.

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。   The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims. That is, embodiments obtained by combining technical means appropriately modified within the scope of the claims are also included in the technical scope of the present invention.

本発明は、画像データと当該画像データに対応するテキストデータとを含む画像ファイルを取り扱う画像処理装置および画像処理方法に関するものである。   The present invention relates to an image processing apparatus and an image processing method for handling an image file including image data and text data corresponding to the image data.

1 デジタルカラー複合機(複合機、画像読取装置)
2 画像入力装置
3,3b 画像処理装置
4 画像出力装置
5 通信装置
6 操作パネル(指示入力装置)
14 原稿検知部
15 原稿補正部
22 画像ファイル生成部
23 記憶部
24 制御部
31 信号変換部
32 2値化処理部
33 解像度変換部
34 原稿傾き検知部
35 レイアウト解析部
41 文字認識部
42 描画コマンド生成部
43 フォーマット化処理部(コマンド付加部)
100 画像読取装置
1 Digital color multifunction peripheral (multifunction peripheral, image reader)
2 Image input devices 3 and 3b Image processing device 4 Image output device 5 Communication device 6 Operation panel (instruction input device)
14 Document detection unit 15 Document correction unit 22 Image file generation unit 23 Storage unit 24 Control unit 31 Signal conversion unit 32 Binarization processing unit 33 Resolution conversion unit 34 Document inclination detection unit 35 Layout analysis unit 41 Character recognition unit 42 Drawing command generation Part 43 Formatting processing part (command adding part)
100 Image reading apparatus

Claims (13)

原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加部を備えていることを特徴とする画像処理装置。   A search process can be performed on an image file in which image data read from a document is associated with text data of a document included in the document when the user performs an operation on the image file. An image processing apparatus comprising: a command adding unit that adds a command for causing a computer to execute a notification process for notifying a user of a message. 原稿から読み取った画像データに対して文字認識処理を行い、上記原稿に含まれる文書のテキストデータを生成する文字認識部を備えており、
上記コマンド付加部は、上記画像データに対して上記文字認識部が生成したテキストデータと上記コマンドとを付加することで上記画像ファイルを生成することを特徴とする請求項1に記載の画像処理装置。
A character recognition unit that performs character recognition processing on image data read from the document and generates text data of the document included in the document;
The image processing apparatus according to claim 1, wherein the command adding unit generates the image file by adding the text data generated by the character recognition unit and the command to the image data. .
画像データを有する画像ファイルにテキストデータが付加されているか否かを判別するテキストデータ判別部を備え、
上記コマンド付加部は、上記画像ファイルにテキストデータが付加されている場合に、当該画像ファイルに上記コマンドを付加することを特徴とする請求項1に記載の画像処理装置。
A text data discriminating unit for discriminating whether text data is added to an image file having image data;
The image processing apparatus according to claim 1, wherein the command adding unit adds the command to the image file when text data is added to the image file.
上記画像ファイルを通信可能に接続された外部装置に送信する通信装置を備えていることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, further comprising a communication device that transmits the image file to an external device that is communicably connected. 上記通知処理は、上記文書に対する検索処理が可能であることを示すメッセージを表示させる処理であることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the notification process is a process of displaying a message indicating that a search process for the document is possible. 上記通知処理は、上記文書に対する検索処理が可能であることを示す動画を表示させる処理であることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the notification process is a process of displaying a moving image indicating that the search process for the document is possible. 上記動画は、検索処理の手順を示す画像であることを特徴とする請求項6に記載の画像処理装置。   The image processing apparatus according to claim 6, wherein the moving image is an image indicating a procedure of search processing. 上記通知処理は、上記文書に対する検索処理が可能であることを示す音声を出力させる処理であることを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the notification process is a process of outputting a sound indicating that a search process for the document is possible. 請求項1から8のいずれか1項に記載の画像処理装置を備えていることを特徴とする画像読取装置。   An image reading apparatus comprising the image processing apparatus according to claim 1. 請求項1から8のいずれか1項に記載の画像処理装置を備えていることを特徴とする複合機。   A multifunction machine comprising the image processing apparatus according to claim 1. 原稿から読み取った画像データと上記原稿に含まれる文書のテキストデータとを対応付けた画像ファイルに対して、当該画像ファイルに対するユーザからの操作がなされたときに上記文書に対する検索処理が可能であることをユーザに通知する通知処理をコンピュータに実行させるためのコマンドを付加するコマンド付加工程を含むことを特徴とする画像処理方法。   A search process can be performed on an image file in which image data read from a document is associated with text data of a document included in the document when the user performs an operation on the image file. An image processing method comprising: a command addition step of adding a command for causing a computer to execute notification processing for notifying a user of 請求項1から8のいずれか1項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。   A program for operating the image processing apparatus according to any one of claims 1 to 8, wherein the program causes a computer to function as each unit. 請求項12に記載のプログラムをコンピュータ読み取り可能に格納した記録媒体。   A recording medium storing the program according to claim 12 in a computer-readable manner.
JP2009154167A 2009-06-29 2009-06-29 Image processing apparatus, image reading apparatus, multi function peripheral, image processing method, program and recording medium Pending JP2011010232A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009154167A JP2011010232A (en) 2009-06-29 2009-06-29 Image processing apparatus, image reading apparatus, multi function peripheral, image processing method, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009154167A JP2011010232A (en) 2009-06-29 2009-06-29 Image processing apparatus, image reading apparatus, multi function peripheral, image processing method, program and recording medium

Publications (1)

Publication Number Publication Date
JP2011010232A true JP2011010232A (en) 2011-01-13

Family

ID=43566336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009154167A Pending JP2011010232A (en) 2009-06-29 2009-06-29 Image processing apparatus, image reading apparatus, multi function peripheral, image processing method, program and recording medium

Country Status (1)

Country Link
JP (1) JP2011010232A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117310A (en) * 2017-01-20 2018-07-26 セイコーエプソン株式会社 Scanner, scan control program, and image data generation method
US10922538B2 (en) 2017-10-03 2021-02-16 Canon Kabushiki Kaisha Information processing apparatus that determines whether a PDF file is searchable, and method and storage medium thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018117310A (en) * 2017-01-20 2018-07-26 セイコーエプソン株式会社 Scanner, scan control program, and image data generation method
US10922538B2 (en) 2017-10-03 2021-02-16 Canon Kabushiki Kaisha Information processing apparatus that determines whether a PDF file is searchable, and method and storage medium thereof

Similar Documents

Publication Publication Date Title
JP4772888B2 (en) Image processing apparatus, image forming apparatus, image processing method, program, and recording medium thereof
JP4758502B2 (en) Image processing apparatus, image reading apparatus, image transmitting apparatus, image forming apparatus, image processing method, program, and recording medium thereof
JP5280425B2 (en) Image processing apparatus, image reading apparatus, image forming apparatus, image processing method, program, and recording medium thereof
JP4927122B2 (en) Image processing method, image processing apparatus, image forming apparatus, program, and recording medium
JP5220828B2 (en) Image processing apparatus, image forming apparatus, image reading apparatus, image processing method, program, and recording medium
JP4886053B2 (en) CONTROL DEVICE, IMAGE READING DEVICE, IMAGE FORMING DEVICE, IMAGE READING DEVICE CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM
JP5972578B2 (en) Image processing apparatus, image forming apparatus, program, and recording medium
JP2010146185A (en) Image processing apparatus, image reading apparatus, image sending apparatus, image processing method, program, and recording medium thereof
WO2013115192A1 (en) Image processing device, image formation device, image processing method, program, and memory medium
WO2014045788A1 (en) Image processing apparatus, image forming apparatus, and recording medium
JP6628279B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium
JP2011008549A (en) Image processor, image reader, multifunctional machine, image processing method, program, and recording medium
JP2012118863A (en) Image reading device, image formation device, image reading method, program and recording medium therefor
JP2012074852A (en) Image processing device, image formation device, image reading device, image processing method, image processing program and recording medium
JP2011010232A (en) Image processing apparatus, image reading apparatus, multi function peripheral, image processing method, program and recording medium
JP2014033439A (en) Image processing apparatus, image forming apparatus, program, and recording medium
JP2010161745A (en) Image processor, image reader, image transmission device, image formation device, image processing method, program, and recording medium of the same
JP2008092541A (en) Image processing method, image processor, image forming apparatus, computer program, and recording medium
JP4710672B2 (en) Character color discrimination device, character color discrimination method, and computer program
JP2010286917A (en) Image processor, image scanner, multifunction apparatus, image processing method, program, and recording medium
JP2010287178A (en) Image processing device, image reading apparatus, multifunction machine, image processing method, program and recording medium
JP2019135878A (en) Image processing apparatus, image forming apparatus, computer program, and recording medium
JP2010283464A (en) Image processor, and image processing method
JP2016178451A (en) Image processing apparatus, image forming apparatus, computer program, and recording medium
JP6137998B2 (en) Image processing apparatus, image forming apparatus, program, and recording medium