JP4227508B2 - Information processing apparatus and information processing method - Google Patents
Information processing apparatus and information processing method Download PDFInfo
- Publication number
- JP4227508B2 JP4227508B2 JP2003412214A JP2003412214A JP4227508B2 JP 4227508 B2 JP4227508 B2 JP 4227508B2 JP 2003412214 A JP2003412214 A JP 2003412214A JP 2003412214 A JP2003412214 A JP 2003412214A JP 4227508 B2 JP4227508 B2 JP 4227508B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- document
- page
- continuity
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Storing Facsimile Image Data (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、様々なデータを一つの電子化文書としてまとめ、その文書に対する印刷条件や編集機能の設定を行なう文書処理技術に関するものである。特に、複数の種類の原稿を一括して電子化し、この電子化された原稿を再利用(印刷設定等)する場合に、入力した原稿の種類毎に区分けをし、この区分けに従って印刷条件等を設定して文書処理を行う情報処理装置及び情報処理方法に関するものである。 The present invention relates to a document processing technique for collecting various data as one electronic document and setting printing conditions and editing functions for the document. In particular, when multiple types of originals are digitized in a batch and the digitized originals are reused (print settings, etc.), they are classified according to the type of input originals, and printing conditions, etc. are determined according to these classifications. The present invention relates to an information processing apparatus and an information processing method for performing document processing by setting.
複数種類の原稿を一まとめに電子化する際、入力した原稿を種類毎に区分けする方法としては、原稿と原稿の間に白紙を挿入する方法によるもの(例えば、特許文献1を参照)や、原稿と原稿の間に所定の紙(仕切り用紙)を挿入する方法によるもの(例えば、特許文献2を参照)などがある。 When a plurality of types of originals are digitized together, as a method of sorting input originals by type, a method of inserting a blank sheet between the originals and the originals (for example, see Patent Document 1), For example, there is a method in which a predetermined paper (partition paper) is inserted between the originals (see, for example, Patent Document 2).
また、白紙や仕切り用紙等を使用せずに区分けをする方法としては、入力する原稿の向き(縦横)を検出して、検出した原稿の向きが直前の原稿の向きと異なるときに、向きの変化を入力原稿の区切りとして認識し、原稿の向きが変わる前と、向きが変わった後の原稿とを別文書として外部記憶装置に登録させるもの(例えば、特許文献3を参照)や、原稿に記録されている文字情報を認識の確からしさを評価する文字認識確度をパラメータとして帳票の向きを判定し、直前の帳票の向きと異なった向きを検出した場合には、その変化の前後を帳票の境界として認識し、その境界の前後を単位として帳票画像データをファイルするもの(例えば、特許文献4を参照)がある。
しかしながら、上述した従来の技術では、原稿を読み取りこれを一つの文書としてまとめようとすると、以下のような問題が生じる。 However, in the conventional technology described above, the following problems arise when an original is read and combined into a single document.
(1)白紙を挿入する方法の場合、例えば、両面印刷された原稿Aと片面印刷された原稿Bとを、一括して自動給紙装置(ADF)で連続的に入力する場合、片面印刷された裏側の白紙を原稿の区切り(「章の区切り」)と誤認識してしまう問題が生じる。また、両面印刷の原稿を連続して入力する場合でも原稿に記録されている印刷データが極端に少ない場合は、白紙と誤認識してしまうという問題もある。 (1) In the case of a method of inserting a blank sheet, for example, when a double-sided printed original A and a single-sided printed original B are continuously input collectively by an automatic paper feeder (ADF), single-sided printing is performed. This causes a problem that a blank sheet on the back side is erroneously recognized as a document separation (“chapter separation”). In addition, even when double-sided originals are continuously input, if the print data recorded on the original is extremely small, there is a problem that the paper is erroneously recognized as a blank sheet.
(2)また、白紙や所定の紙(仕切り用紙)を挿入する場合には、一括して電子化しようとする原稿の区分けに必要な数量だけ、白紙や仕切り用紙を予め用意し、原稿間に白紙や仕切り用紙を挿入しなければならないという人為的な作業が必要となり、印刷に付帯する作業負担が大きくなるとともに、大量の原稿を処理するという観点からすると印刷処理に関する効率が低下するという問題も生じる。 (2) In addition, when inserting blank paper or predetermined paper (partition paper), prepare blank paper and partition paper in advance for the quantity required to classify the documents to be digitized at once. There is a problem that human work is required to insert blank paper or partition paper, which increases the work load incidental to printing and reduces the efficiency of printing processing from the viewpoint of processing a large amount of originals. Arise.
(3)また、特許文献3や特許文献4のように、様々な原稿を一括して電子化する際に、区切り毎に各々異なる文書として保存や登録を行うものは、いずれも別文書あるいは別ファイルとして保存されてしまうこととなり、複数の原稿を一括して電子化し、一冊の印刷物の章として区分けをして編集し、印刷設定を行うことができないという問題もある。この場合、オペレータは、一旦保存した各文書を、再度読み込んで、個別の原稿に対して種々の条件設定し直すなどの手間が必要とされるという問題も生じる。
(3) Also, as in
(4)更に、文字認識を利用した方向検出方法の場合、ほとんど空白に近いページや文字が無く絵や写真等が含まれている書類は、そのページの方向を正しく検出することが困難であり、原稿の方向によって区切りを付ける際に誤判定してしまうという問題も生じる。 (4) Furthermore, in the case of the direction detection method using character recognition, it is difficult to correctly detect the direction of the page of a document that contains almost no blank pages or characters and contains pictures or photographs. In addition, there is a problem that an erroneous determination is made when dividing according to the direction of the document.
本発明は、上記背景技術に鑑みてなされたもので、複数種類の原稿を入力する場合、電子化文書を原稿方向の連続性に基づいて区分けした階層構造としてまとめ、一冊の原稿として印刷、編集設定することを可能にする文書処理装置及び文書処理方法を提供することを目的とする。 The present invention has been made in view of the above-described background art.When inputting a plurality of types of originals, the electronic document is collected as a hierarchical structure divided based on continuity in the original direction, and printed as a single original. An object of the present invention is to provide a document processing apparatus and a document processing method that enable editing settings.
あるいは、本発明は、階層構造にまとめる際、誤認識の可能性のある原稿を特定するための識別表示をすることで、誤認識を修正するための操作、編集処理を容易にする情報処理装置及び情報処理方法を提供することを目的とする。 Alternatively, the present invention provides an information processing apparatus that facilitates an operation for correcting misrecognition and editing processing by displaying an identification for identifying a document with a possibility of misrecognition when gathering into a hierarchical structure. And an information processing method.
上記課題を解決するべく、本発明にかかる情報処理装置等は、主として以下の構成よりなることを特徴とする。 In order to solve the above problems, an information processing apparatus and the like according to the present invention are mainly characterized by the following configuration.
すなわち、画像入力手段を介して入力されたページ単位の画像データを、章を含む階層構造を有する統合文書として登録することが可能な情報処理装置は、
前記画像入力手段を介して入力された各画像データの方向を検出する方向検出手段と、
前記方向検出手段により検出された前記各画像データの方向が前ページの画像データの原稿方向と同一であるか否かを検出する連続性検出手段と、
前記連続性検出手段による検出結果に基づき、画像データの方向が前ページと同一であるときに当該画像データを前のページと同じ章のページとして登録し、画像データの方向が前ページと同一でないときに、当該画像データを新規の章のページとして登録する登録手段と、
を備えることを特徴とする。
That is, the image data in units of pages which are input via the image input unit, an information processing apparatus capable of registering as an integrated document having a hierarchical structure including a chapter,
Direction detection means for detecting the direction of each image data input via the image input means;
Continuity detecting means for detecting whether the direction of each image data detected by the direction detecting means is the same as the original direction of the image data of the previous page ;
Based on the detection result by the continuity detecting means , when the direction of the image data is the same as the previous page, the image data is registered as a page of the same chapter as the previous page, and the direction of the image data is not the same as the previous page A registration means for registering the image data as a new chapter page ,
It is characterized by providing.
あるいは、方向検出手段と、連続性検出手段と、登録手段と、画像入力手段とを有し、前記画像入力手段を介して入力されたページ単位の画像データを、章を含む階層構造を有する統合文書として登録する情報処理装置における情報処理方法は、
前記方向検出手段が、前記画像入力手段を介して入力された各画像データの方向を検出する方向検出工程と、
前記連続性検出手段が、前記方向検出工程により検出された前記各画像データの方向が前ページの画像データの原稿方向と同一であるか否かを検出する連続性検出工程と、
前記登録手段が、前記連続性検出工程による検出結果に基づき、画像データの方向が前ページと同一であるときに当該画像データを前のページと同じ章のページとして登録し、画像データの方向が前ページと同一でないときに、当該画像データを新規の章のページとして登録する登録工程と、
を備えることを特徴とする。
Alternatively, there is a direction detection unit, a continuity detection unit, a registration unit, and an image input unit, and the page-unit image data input through the image input unit is integrated with a hierarchical structure including chapters. An information processing method in an information processing apparatus registered as a document is as follows:
It said direction detection means includes a direction detection step of detecting the direction of each image data input through said image input means,
The continuity detection unit detects whether or not the direction of each image data detected by the direction detection step is the same as the document direction of the image data of the previous page ;
The registration means registers the image data as a page of the same chapter as the previous page when the direction of the image data is the same as the previous page based on the detection result by the continuity detection step, and the direction of the image data is A registration step of registering the image data as a new chapter page when not the same as the previous page ;
It is characterized by providing.
本発明は、複数種類の原稿を入力する場合、電子化文書を原稿方向の連続性に基づいて区分け(章分割)した階層構造としてまとめ、一冊の原稿として印刷、編集設定することが可能になる。 In the present invention, when a plurality of types of manuscripts are input, a digitized document can be grouped (chapter divided) based on continuity in the direction of the manuscript, and can be printed and edited as a single manuscript. Become.
あるいは、階層構造にまとめる際、誤認識の可能性のある原稿を特定するための識別表示をすることで、誤認識を修正するための操作を容易にすることが可能になる。 Alternatively, when the documents are organized in a hierarchical structure, an operation for correcting the erroneous recognition can be facilitated by displaying an identification for specifying a document having a possibility of erroneous recognition.
図1は本発明が提供する文書処理技術を適用した装置の概略的な構成を説明するブロック図である。以下、図面を参照しつつその構成を説明する。 FIG. 1 is a block diagram illustrating a schematic configuration of an apparatus to which a document processing technique provided by the present invention is applied. The configuration will be described below with reference to the drawings.
図1において、101は原稿画像を入力し、入力した原稿の方向を識別して原稿の連続性を検出するための原稿入力処理部であり、同処理部101には原稿をスキャン画像として入力する画像入力部104、スキャン画像における原稿方向を検出する原稿方向検出部105、原稿方向検出部105により検出された原稿方向の連続性を検出する原稿方向連続性検出部106、スキャン画像や原稿方向や原稿方向連続性に関する情報を保管するデータ保管部107、そして、各処理部104〜106、データ保管部107とのデータのやり取りや、保管データに関する管理テーブル自体の管理を行う保管データ管理部108が設けられている。
In FIG. 1,
102は統合文書を作成し印刷設定編集を行う情報処理装置(印刷設定編集部とも呼ぶ)である。この印刷設定編集部102内における各機能ブロックは実際にはハードウェアのみで実現する機能、或いは、ハードウェアとソフトウェアとの協働で実現できる機能を示す。同編集部102には、原稿入力処理部101の保管データ管理部108と接続する統合文書作成部109が設けられている。この統合文書作成部109は画像入力部104によって入力されたスキャン画像をページを表すデータとし、原稿方向の連続性の情報に基づいてスキャン画像の種類毎に階層化し、1つの文書として保持する統合文書を作成する。例えば、原稿入力処理部101を、プリンタ機能及びコピー機能を備えたデジタル複合機とし、印刷設定編集部102をユーザが利用するホストコンピュータに相当させた場合には、保管データ管理部108、統合文書作成部109には、ネットワークインタフェース機能が備えられており、保管データ管理部108と、統合文書作成部109とは、イーサーネット(登録商標)ケーブル等により接続される。また、別の形態としては、原稿入力処理部101、印刷設定編集部102とをデジタル複合機内に含めるようにしても良い。
更に、情報処理装置102は、ページレイアウトを編集するページレイアウト編集部111、印刷データ出力部への印刷指示を編集する印刷指示編集部112、印刷指示並びにページレイアウトの情報を印刷設定情報としてジョブチケットファイルに保存する印刷設定情報保存部113、印刷設定情報とページデータを1つの印刷データとする印刷データ変換部114を有し、これらの編集情報や印刷データへの変換情報等に基づいて、印刷設定制御部116は統合文書作成部109や各編集部(111、112)、印刷設定情報保存部113、印刷データ変換部114、表示制御部117を制御する。また、表示制御部117は編集処理結果や作成した統合文書のページ情報等の内容に基づいて表示部110上に処理内容をプレビュー等の表示するための制御を行う。印刷設定制御部116で処理されたデータは、表示制御部117に送られ、登録されているスキャンページデータのレイアウト表示が表示部110上に表示される。
Further, the
また、印刷データ変換部114の処理に基づき、印刷設定情報とページデータが1つの印刷データとして変換された印刷データは印刷データ送信部115に送られ、印刷データを印刷する印刷データ出力部103から出力することができる。印刷データ出力部103は、原稿入力処理部101をデジタル複合機とした場合には、原稿入力処理部101と同一の装置に含めるようにしても良いし、原稿入力処理部101のデジタル複合機とは別の画像形成装置とするようにしても良い。また、原稿入力処理部101、印刷設定編集部102とをデジタル複合機内に含める場合には、印刷データ出力部を同じデジタル複合機内に含めるようにしても良い。
Further, based on the processing of the print
図2は図1のシステム(文書処理装置とも呼ぶ)における処理の流れを説明するためのフローチャートである。まず、ステップS201において、原稿をスキャン画像として入力するための原稿入力処理を行う。この処理の具体的な流れは図3のフローチャートに従う。まず、ユーザは、入力の対象となる原稿を自動給紙装置(ADF)にセットし(図3のステップS301)、原稿がADFにセットされると画像入力部104が原稿の入力処理を実行する(図3のステップS302)。この際、入力される原稿が複数種類ある場合、ユーザは種類毎に文書の方向を変えてADF上にセットする。例えば、図4に例示するように、原稿A501と原稿B502の2種類の原稿を入力する場合、原稿Aを正立方向(図6の方向1)にセットして入力し、原稿Bを原稿Aの正立方向とは逆向きの倒立方向(図6の方向3)にセットして入力する。尚、図4に例示した原稿は2種類の場合を示しているが、本実施形態にかかる文処理は、これに限定されるものでなく、更に、原稿の種類が増えた場合であっても入力処理をすることは可能であり、この場合は図4に示した原稿A、原稿Bのように、正立方向と倒立方向のように交互に向きを変えてADFにセットして入力すればよい。
FIG. 2 is a flowchart for explaining the flow of processing in the system of FIG. 1 (also referred to as a document processing apparatus). First, in step S201, a document input process for inputting a document as a scanned image is performed. The specific flow of this process follows the flowchart of FIG. First, the user sets a document to be input on the automatic paper feeder (ADF) (step S301 in FIG. 3), and when the document is set on the ADF, the
画像入力部104により読み取られた原稿はスキャン画像としてデータ保管部107に保管され(S303)、処理をステップS304に進める。ステップS304では、全ての原稿の入力が終了したか否かを判断し、原稿の入力が全て終了していない場合には(S304−No)、処理をステップS302に戻し、再度、画像の入力処理(S302)以降の処理を実行し、ステップS304の判断で、全ての原稿の入力が終了した場合(S304−Yes)には、ステップS201の原稿入力処理は終了する。
The document read by the
説明を図2のフローチャートに戻し、次に、処理をステップS202の原稿方向連続性検出処理に進め、先のステップS201で入力した原稿に関して原稿の向き(方向)が同じ方向で入力されているか否か(原稿方向の連続性)を検出するための処理を、原稿方向検出処理部105及び原稿方向連続性検出処理部106が実行する。この連続性を検出するための具体的な処理の流れは、図5のフローチャートに従う。
Returning to the flowchart of FIG. 2, the process then proceeds to the document direction continuity detection process in step S202, and whether or not the document direction (direction) is input in the same direction with respect to the document input in the previous step S201. The document direction
まず、ステップS501で、データ保管部107に一時保管されているスキャン画像を最初のページから読み出し、ステップS502で原稿の向き(原稿方向)を検出するための検出処理を原稿方向検出処理部105が実行する。原稿方向は図6に示すように「方向1〜4」に類別され、方向1を正立方向とすると方向3は逆向きの倒立方向となる。方向2及び方向4に関しても同様であり、原稿を構成する各ページ単位に、方向を検出するためフラグが定められる。原稿が白紙の場合は、原稿方向の検出処理を行わずに予め定めた例外処理を行うために、フラグは強制的に「0」と設定される。
First, in step S501, the scanned image temporarily stored in the
ここで、原稿方向検出処理部105は、原稿の向きが方向1〜4の何れに対応するかを検出するために、本実施形態では原稿中に含まれる1つの文字に該当する画像を切り出し、その画像とデータ保管部107に保管されている認識辞書の文字とのマッチングの度合いを評価し、最も高い類似度の認識結果を与える方向(1〜4)を原稿の方向として特定する。
Here, the document orientation
切り出した画像と認識辞書データとのマッチング処理は、具体的には以下の演算処理に従う。ここで、切り出した文字に該当する画像数=c、各方向毎の類似度の和をΣn (n=1〜4)、各方向毎の平均類似度をk(n=1〜4)とすると、
k(n) = Σ(n) / c ・・・(1)
(1)式により平均類似度k(n)を各方向毎に求め、最大の平均類似度k(n)を与える方向が原稿の方向として検出される。
The matching process between the cut-out image and the recognition dictionary data specifically follows the following calculation process. Here, if the number of images corresponding to the extracted characters = c, the sum of the similarities in each direction is Σn (n = 1 to 4), and the average similarity in each direction is k (n = 1 to 4). ,
k (n) = Σ (n) / c (1)
The average similarity k (n) is obtained for each direction by the equation (1), and the direction giving the maximum average similarity k (n) is detected as the direction of the document.
ここで検出された原稿方向は、一時保管データ管理テーブル(図7)の「検出方向」のデータとして記録され、スキャン画像と同一のデータ保管部107に保管される。一時保管データ管理テーブルに記録した原稿方向(「検出方向」)から、原稿を構成する各ページの連続性を検出するために、原稿方向連続性検出処理部106は連続性開始フラグを設定するための処理を行う。
The detected document direction is recorded as “detection direction” data in the temporary storage data management table (FIG. 7) and stored in the same
説明を図5のフローチャートに戻し、ステップS503において、原稿方向連続性検出処理部106は、最初の原稿のページか否かを判断する。原稿の最初のページである場合(S503−Yes)は、ステップS510に処理を進め「連続性開始フラグ」をonとして登録する(図7の701を参照)。
Returning to the flowchart of FIG. 5, in step S <b> 503, the document direction continuity
一方、ステップS503の判断で、原稿の最初のページでないと判断された場合(S503−No)は、処理をステップS504に進める。 On the other hand, if it is determined in step S503 that it is not the first page of the document (S503-No), the process proceeds to step S504.
ステップS504では、ステップS502の処理により検出された原稿方向を示すフラグに基づき原稿方向の変化の有無を判断する。原稿方向を示すフラグが、前ページにおけるスキャン画像の原稿方向としてフラグに設定されているデータと同一である場合(S504−No)は連続性に変化は無いとして、処理をステップS505に進め一時保管データ管理テーブル(図7)の「連続性開始フラグ」をoffとして記録する(S505)。 In step S504, it is determined whether or not there is a change in the document direction based on the flag indicating the document direction detected by the process in step S502. When the flag indicating the document direction is the same as the data set in the flag as the document direction of the scanned image in the previous page (S504-No), the process proceeds to step S505 and is temporarily stored, assuming that there is no change in continuity. The “continuity start flag” in the data management table (FIG. 7) is recorded as off (S505).
一方、ステップS504の判断で、前ページにおけるスキャン画像の原稿方向としてフラグに設定されているデータと異なる場合(S504−Yes)は、処理をステップS506に進める。ステップS506では、原稿方向としてフラグに設定されているデータが方向=0、すなわち白紙か否かを判定し、白紙(方向=0)である場合(S506−Yes)は、処理をステップS508に進め、強制的に前ページの原稿方向と連続しているとして、前ページの原稿方向と同じ方向を示すデータ(この場合は方向1)を一時保管データ管理テーブル(図7)の「最終的方向」に記録する(図7の703を参照)。 On the other hand, if the determination in step S504 differs from the data set in the flag as the document orientation of the scanned image in the previous page (S504-Yes), the process proceeds to step S506. In step S506, it is determined whether or not the data set in the flag as the document direction is direction = 0, that is, whether it is blank. If it is blank (direction = 0) (S506-Yes), the process proceeds to step S508. The data indicating the same direction as the original direction of the previous page (in this case, direction 1) is forcibly continued with the original direction of the previous page, and the “final direction” in the temporary storage data management table (FIG. 7). (See 703 in FIG. 7).
ステップS509では、当初の検出方向(白紙の場合はフラグの値を「0」として設定された結果による)と異なる方向が最終的に設定された履歴として「方向修正フラグ」をonと記録する(図7の705を参照)。 In step S509, “direction correction flag” is recorded as “on” as a history in which a direction different from the initial detection direction (in the case of blank paper is a result of setting the flag value as “0”) is finally set ( (See 705 in FIG. 7).
一方、ステップS506の判断で、白紙ではない場合(S506−No)は、処理をステップS507に進め、予め定めた方向以外の方向が検出されているか否かが判断される。本実施形態では、予めADFに対して原稿を正立方向=1若しくは倒立方向=3にセットする場合が想定されているので、例えば、正立方向=1もしくは倒立方向=3以外の方向(方向2もしくは方向4)が検出された場合は、ステップS502における原稿方向の検出処理に誤りがあると判断する。 On the other hand, if it is determined in step S506 that the sheet is not blank (S506-No), the process proceeds to step S507, and it is determined whether a direction other than a predetermined direction is detected. In this embodiment, since it is assumed that the document is set in the upright direction = 1 or the inverted direction = 3 in advance with respect to the ADF, for example, a direction other than the upright direction = 1 or the inverted direction = 3 (direction If 2 or direction 4) is detected, it is determined that there is an error in the document direction detection processing in step S502.
例えば、図7の一時保管データ管理テーブルにおける「ページ3」のように、方向2が検出された場合は、原稿方向の検出処理に誤りがあると判断し、強制的に前ページの原稿方向と同一の方向を示すデータが一時保管データ管理テーブル(図7)の「最終的方向」に記録され(S508、図7の702を参照)、当初の検出方向(=2)と異なる方向が最終的に設定されたこと示す履歴として「方向修正フラグ」をonと記録する(S509、図7の706を参照)。
For example, when “
そして、処理をステップS505に進め、一時保管データ管理テーブル(図7)の「連続性開始フラグ」をoffとし、前ページとの間では連続性が維持された状態として検出結果が記録される。 Then, the process proceeds to step S505, the “continuity start flag” in the temporary storage data management table (FIG. 7) is turned off, and the detection result is recorded as a state in which continuity is maintained with respect to the previous page.
一方、ステップS507の判断で、検出された方向が予め定めた方向である場合(方向2もしくは4ではない場合)(S507−No)は、処理をステップS510に進め、前ページとは不連続となる連続性変化開始ページであるとして、一時保管データ管理テーブルの「連続性開始フラグ」をonとして記録する(図7の704を参照)。この処理では、例えば、前ページまで連続した方向とは逆の方向(倒立方向)のページが検出されることになる。
On the other hand, if it is determined in step S507 that the detected direction is a predetermined direction (not the
ステップS511において、保管してある全てのスキャン画像の読み出しが終了していない場合(S511−No)、処理を再び、ステップS501に戻し、方向の連続性判断の処理を継続し、スキャン画像の読み出しが終了した場合(S511−Yes)は、データ保管部107に全ページのスキャン画像とともに一時保管データ管理テーブルとして、原稿方向の連続性に関する情報が一時保管されることになる。そして、データ保管部107の保管されたデータが保管データ管理部108を介して統合文書作成部109に転送される。
In step S511, when reading of all stored scan images has not been completed (S511-No), the process returns to step S501 again, and the direction continuity determination process is continued to read the scan image. When the process is completed (S511-Yes), information regarding continuity in the document direction is temporarily stored in the
図5のフローチャートに従い、原稿方向連続性検出処理(図2のステップS202)が終了すると、統合文書作成部109により、次のステップS203の統合文書作成処理が実行される。統合文書は、「ページを表すデータ」と「ページに関連する情報」を階層的に一つの文書として保持する文書であり、画像入力部104によって入力されたスキャン画像を「ページを表すデータ」とし、原稿方向連続性の情報に基づくページに関連する情報とスキャン画像とを種類毎に階層化した1つの文書として保持する統合文書が作成される。本実施形態において、階層の区分としては原稿の連続性の区切りとなる「章」とし、章を構成する「ページ」の帰属に関する処理は図8のフローチャートに従い統合文書作成部109により処理される。原稿方向の違いは、「章」として区別された階層の違いとして処理される。
When the original direction continuity detection process (step S202 in FIG. 2) is completed according to the flowchart in FIG. 5, the integrated
以下、ステップS203の統合文書作成処理の流れを図8のフローチャートに従い説明する。まず、ステップS801において、階層の区分である「章」の番号Nを0で初期化する。次に、一時保管してあるスキャン画像を、データ保管部107から最初のページから読み出す。原稿入力処理部101と印刷設定編集部102とがネットワークを介して接続される場合には、ステップS802の処理はネットワークを介して原稿入力処理部101から転送されてくるデータ保管部に格納されたデータを受信し読み込む処理に相当する。そして読み出したページに関連する情報として、一時保管データ管理テーブル(図7)を参照し(S803)、連続性開始フラグがonであるか否かを判定する(S804)。ステップS804の判断で、読み出したページの連続性開始フラグがonであれば(S804−Yes)、処理をステップS805に進め、そのページは新しい章の始まりであると判断し、章番号Nに1を加算する。
Hereinafter, the flow of the integrated document creation process in step S203 will be described with reference to the flowchart of FIG. First, in step S801, the number N of “chapter” which is a division of the hierarchy is initialized with zero. Next, the scan image temporarily stored is read from the first page from the
次に、処理をステップS806に進め、そのページを表すスキャン画像の原稿方向が正立か否か、すなわち方向=1(図6)であるか否かを判定する。ステップS806の判断で原稿方向が正立の場合(S806−Yes)は処理をステップS808に進める。一方、スキャン画像が正立以外の場合は(S806−No)、正立になるような角度の回転処理を行うことによりスキャン画像を正立に変換する(S807)。 Next, the process proceeds to step S806, and it is determined whether or not the document orientation of the scanned image representing the page is upright, that is, whether or not direction = 1 (FIG. 6). If it is determined in step S806 that the document orientation is upright (S806-Yes), the process proceeds to step S808. On the other hand, if the scan image is other than erect (S806-No), the scan image is converted to erect by performing an angle rotation process so as to be erect (S807).
ステップS808では、統合文書の第N章の階層を構成するページデータとしてスキャン画像を登録する。第N章の階層に係る情報は例えば統合文書の構造を示すXMLにより実現される。ここで、図9はステップS802において読み取られたスキャン画像に基づき作成された統合文書901としてのドキュメント情報の構成を示す図であり、第N章の階層902にはページ情報の階層903が含まれ、このページ情報の階層903には、ページ情報に対応するスキャン画像がスキャンページデータ904として登録される。そしてこの登録処理において登録された統合文書901が後述する図11の表示に反映される。
In step S808, the scanned image is registered as page data constituting the Nth chapter of the integrated document. Information related to the hierarchy of the Nth chapter is realized by, for example, XML indicating the structure of the integrated document. FIG. 9 is a diagram showing the structure of document information as an
説明を図8に戻し、全てのスキャン画像が読み出され、統合文書へのページ情報とスキャン画像の登録が終了したら(S809−Yes)、処理を終了し、ステップS809の判断でページデータの登録が終了していない場合(S809−No)は、処理を再び、ステップS802に戻し、データの読み出し、統合文書の作成処理を続行する。図8のフローチャートに従ったステップS203の統合文書作成処理が終了すると、次に、処理をステップS204の印刷設定処理に進め、印刷設定制御部116が印刷設定編集を図10のフローチャートに基づいて行う。
Returning to FIG. 8, when all the scanned images are read and the registration of the page information and the scanned image to the integrated document is completed (S809—Yes), the process is terminated, and the page data is registered according to the determination in step S809. Is not completed (S809-No), the process returns to step S802 again, and the data reading process and the integrated document creation process are continued. When the integrated document creation process of step S203 according to the flowchart of FIG. 8 is completed, the process proceeds to the print setting process of step S204, and the print
説明を図10に移し、まず、ステップS1001において、印刷設定制御部116は表示部110上に入力されたスキャン画像をプレビュー表示する(図11を参照)。このステップの段階では、印刷設定情報であるジョブチケットはデフォルト設定を取っている。
The description is moved to FIG. 10, and first, in step S1001, the print
ここで、図11は、登録されているスキャン画像に基づく統合文書901をレイアウトして表示する部分1101と、章に帰属するページの区分け(章分割)表示部分1102とを組み合せた表示部110上のプレビュー表示画面を例示する図であり、オペレータはこの表示画面を参照しながら、章分割された結果を確認することができ、この表示を参照しながらオペレータは、以下に説明するページレイアウトの編集等を行うことができる。
Here, FIG. 11 shows a
次に、ステップS1002において、オペレータはページレイアウト編集部111において、ページレイアウトの編集(例えば、章の登録されているページの順番を入れ替えたり、アノテーションやページ番号等を設定したり、ページが登録されている章を変更する等)を行ない、ステップS1003において、オペレータは印刷指示編集部112にて、印刷デバイスへの指示の編集(例えば、印刷部数を設定したり、ステープルやパンチ等の処理を設定したりするなど)を行うことができる(図12)。ここで、図12は、印刷設定編集時の画面表示の例を示す図であり、スキャン画像のレイアウト表示1201と区分け(章分割)された章に帰属するページの階層構造の表示1202に加え、スキャン画像を印刷するための詳細設定を指示するための入力画面1203が表示される。
Next, in step S1002, the operator uses the page
ステップS1003の印刷指示編集処理が終了すると、処理を次のステップS1004に進め、印刷設定情報保存部113にて、印刷設定情報(ページレイアウト編集の情報や、印刷指示編集の情報)をジョブチケットとして保存し、図10のフローチャートの処理を終了する。ここで、「ジョブチケット」とは、電子化原稿を構成するページを最小単位とする構造を有する中間データである。
When the print instruction editing process in step S1003 ends, the process proceeds to the next step S1004, and the print setting
説明を図2に戻し、ステップS204の印刷設定処理が終了すると、処理をステップS205に進め、データ変換部114は印刷データ変換処理を実行する。尚、ステップS204の印刷設定を含む、ステップS203において作成された統合文書901を所定の記憶部に保持し、別のタイミングでステップS205の印刷データ変換処理を行なわせるようにしても良い。印刷データ変換部114は、ジョブチケットの印刷設定情報と各ページデータとを印刷データ出力部103が出力可能な印刷データに変換し、印刷データ送信部115は、変換された印刷データを印刷データ出力部103に送信し(S206)、印刷データ出力部103は送信された印刷データに基づき印刷する(S207)。
Returning to FIG. 2, when the print setting process in step S204 is completed, the process proceeds to step S205, and the
以上説明したとおり、本実施形態によれば、複数種類の原稿を入力する場合、電子化文書を原稿方向の連続性に基づいて区分け(章分割)した階層構造としてまとめ、一冊の原稿として印刷、編集設定することが可能になる。 As described above, according to the present embodiment, when a plurality of types of manuscripts are input, the digitized document is grouped (chapter divided) based on the continuity in the manuscript direction, and printed as one manuscript. It becomes possible to set editing.
<第2実施形態>
第1実施形態における原稿方向の検出のように、予め定めた原稿方向以外は原稿方向検出に誤りがあると判断する代わりに、原稿方向検出の確度(確からしさ)によって原稿方向が連続か非連続かを判定することも可能である。
Second Embodiment
Instead of determining that there is an error in the document direction detection other than a predetermined document direction as in the case of the document direction detection in the first embodiment, the document direction is continuous or discontinuous depending on the accuracy of the document direction detection (accuracy). It is also possible to determine whether or not.
また、統合文書作成(図2のステップS203)の際に、「方向検出確度」や、「方向修正フラグ」等の情報を、更に統合文書内のテーブルに保持してもよい。これにより、原稿方向の連続性検出処理の結果、原稿が連続か非連続か不確実である場合に、オペレータの判断により入力原稿におけるページ検出の結果を修正するための情報をオペレータに可視化して報知することが可能になる。以下、この具体的な内容を図13のフローチャートに従い説明する。尚、本実施形態では、既に原稿入力処理(図2のステップS201)により、データ保管部107に原稿の全てのページを読み取ったスキャン画像が一時保管されているものとする。
In addition, when creating an integrated document (step S203 in FIG. 2), information such as “direction detection accuracy” and “direction correction flag” may be further stored in a table in the integrated document. As a result, when it is uncertain whether the original is continuous or non-continuous as a result of the continuity detection process in the original direction, information for correcting the page detection result in the input original is made visible to the operator at the operator's judgment. It becomes possible to notify. The specific contents will be described below with reference to the flowchart of FIG. In this embodiment, it is assumed that the scanned image obtained by reading all pages of the document is temporarily stored in the
まず、ステップS1301において、一時保管してあるスキャン画像を最初のページから読み出す。原稿入力処理部101と印刷設定編集部102とがネットワークを介して接続される場合には、ステップS802の処理はネットワークを介して原稿入力処理部101から転送されてくるデータ保管部に格納されたデータを受信し読み込む処理に相当する。そして、次の原稿方向検出処理においてページの原稿方向(図6)を検出する(S1302)。ステップS1302の処理は、第1実施形態で説明した(1)式に従い、最も高い平均類似度k(n)を求め、最大の平均類似度k(n)をもつ方向を原稿の方向として検出し、検出した原稿方向を一時保管データ管理テーブル(図14を参照)の「検出方向」に記録し、スキャン画像と同じデータ保管部107に保管する。原稿方向の検出の際に得られる文字認識処理結果により、原稿方向連続性検出処理部106は、各方向(図6の1〜4)の類似度から原稿方向の確からしさを確率的に評価するパラメータ(方向検出確度)を算出し、これを一時保管データ管理テーブル(図14)の「方向検出確度」(1405)に記録し、スキャン画像と同じデータ保管部107に保管する(S1303)。
First, in step S1301, the scan image temporarily stored is read from the first page. When the document
原稿方向に関する方向検出確度の算出方法として、最も高い平均類似度 k(a)と2番目に高い平均類似度k(b)をそれぞれデータ保管部107に一時的に保管しておき、それらの差をδとし、
方向検出確度 K=aδ (aは係数) ・・・(2)
(2)式に従って方向検出確度を算出する。
As a method of calculating the direction detection accuracy regarding the document direction, the highest average similarity k (a) and the second highest average similarity k (b) are temporarily stored in the
Direction detection accuracy K = aδ (a is a coefficient) (2)
The direction detection accuracy is calculated according to equation (2).
次に、一時保管データ管理テーブルに記録した原稿方向(「検出方向」)から、原稿を構成する各ページの連続性を検出するために、原稿方向連続性検出処理部106は連続性開始フラグを設定するための処理を行う。ステップS1304において、最初の原稿のページか否かを判断する。原稿の最初のページである場合(S1304−Yes)は、ステップS1311に処理を進め「連続性開始フラグ」をonとして登録する(図14の1401を参照)。
Next, in order to detect the continuity of each page constituting the document from the document direction (“detection direction”) recorded in the temporary storage data management table, the document direction continuity
一方、ステップS1304の判断で、原稿の最初のページでない場合(S1304−No)は、処理をステップS1305に進める。ステップS1305では、ステップS1302の処理により検出された原稿方向としてフラグに設定されているデータに基づき原稿方向の変化の有無を判断する。原稿方向としてフラグに設定されているデータが、前ページにおけるスキャン画像の原稿方向としてフラグに設定されているデータと同一である場合(S1305−No)は連続性に変化は無いとして、処理をステップS1306に進め、一時保管データ管理テーブル(図14)の「連続性開始フラグ」をoffとして記録する(S1306)。 On the other hand, if it is determined in step S1304 that the page is not the first page of the document (S1304-No), the process proceeds to step S1305. In step S1305, whether or not there is a change in the document direction is determined based on the data set in the flag as the document direction detected by the process in step S1302. If the data set in the flag as the document direction is the same as the data set in the flag as the document direction of the scanned image in the previous page (S1305-No), the processing is stepped assuming that there is no change in continuity. Proceeding to S1306, the “continuity start flag” in the temporary storage data management table (FIG. 14) is recorded as off (S1306).
一方、ステップS1305の判断で、前ページにおけるスキャン画像の原稿方向としてフラグに設定されているデータと異なる場合(S1305−Yes)は、処理をステップS1307に進める。ステップS1307では、原稿方向としてフラグに設定されているデータが方向=0、すなわち白紙か否かを判定し、白紙(方向=0)である場合(S1307−Yes)は、処理をステップS1309に進め、強制的に前ページの原稿方向と連続しているとして、前データの原稿方向と同じ方向を示すデータを一時保管データ管理テーブル(図14)の「最終的方向」に記録する(S1309、図14の1403を参照)。 On the other hand, if the determination in step S1305 is different from the data set in the flag as the document orientation of the scanned image in the previous page (S1305-Yes), the process proceeds to step S1307. In step S1307, it is determined whether or not the data set in the flag as the document direction is direction = 0, that is, whether it is blank paper. If the data is blank paper (direction = 0) (S1307-Yes), the process proceeds to step S1309. Assuming that the document direction of the previous page is forcibly continued, data indicating the same direction as the document direction of the previous data is recorded in the “final direction” of the temporary storage data management table (FIG. 14) (S1309, FIG. 14 of 1403).
ステップS1310では、当初の検出方向(白紙の場合はフラグの値を「0」として設定された結果による)と異なる方向が最終的に設定された履歴として「方向修正フラグ」をonと記録する(図14の1405を参照)。 In step S1310, “direction correction flag” is recorded as “on” as a history in which a direction different from the initial detection direction (in the case of blank paper is a result of setting the flag value as “0”) is finally set ( (See 1405 in FIG. 14).
ステップS1307の判断で、白紙でない場合(S1307−No)は、処理をステップS1308に進め、方向検出確度が閾値m未満か否かにより方向検出処理結果の確実性を判定する。例えば、以下に示す例では、原稿方向連続性検出処理部106は、閾値mを60として方向検出確度と比較をするが、本発明の趣旨は、閾値の値が60に限定されるものでなく、閾値は任意に設定することができるパラメータであることは言うもでもない。図14の「ページ3」のように、方向検出確度が60未満のもの(1407)が検出されている場合、原稿方向連続性検出処理部106は、原稿方向の検出処理の結果が不確実であると判断し、強制的に前ページの原稿データと同一の方向を示すデータ(この場合は方向1)を一時保管データ管理テーブル(図14)の「最終的方向」に記録し(S1309、図14の1402を参照)、当初の検出方向(=2)と異なる方向が最終的に設定されたことを示す履歴として「方向修正フラグ」をonとして記録する(S1310)。そして、ステップS1306において、一時保管データ管理テーブル(図14)の「連続性開始フラグ」をoffとし、前ページとの間では連続性が維持された状態として検出結果が記録される。
If it is determined in step S1307 that the sheet is not blank (S1307-No), the process proceeds to step S1308, and the certainty of the direction detection process result is determined based on whether the direction detection accuracy is less than the threshold value m. For example, in the example shown below, the document direction continuity
また、ステップS1308において、方向検出確度が閾値m以上である場合(S1308−No)、処理をステップS1311に進め、前ページとは不連続となる連続性変化開始ページであるとして、一時保管データ管理テーブルの「連続性開始フラグ」をonとして記録する(図14の1404を参照)。この処理では、例えば、前ページまで連続した方向とは逆の方向(倒立方向)のページが検出されることになる。 If the direction detection accuracy is greater than or equal to the threshold value m in step S1308 (S1308-No), the process proceeds to step S1311, and the temporary storage data management is performed assuming that the continuity change start page is discontinuous with the previous page. The “continuity start flag” in the table is recorded as on (see 1404 in FIG. 14). In this process, for example, a page in the direction (inverted direction) opposite to the continuous direction up to the previous page is detected.
ステップS1312において、保管してある全てのスキャン画像の読み出しが終了していない場合(S1312−No)、処理を再び、ステップS1301に戻し、方向の連続性判断の処理を継続し、スキャン画像の読み出しが終了した場合(S1312−Yes)は、データ保管部107に全ページのスキャン画像とともに一時保管データ管理テーブルとして、原稿方向の連続性に関する情報が一時保管されることになる。図13のフローチャートに従い、原稿方向連続性検出処理(図2のステップS202)が終了すると、統合文書作成部109により、ステップS203の統合文書作成処理が、図15のフローチャートに従い実行される。以下、図15を参照しつつ統合文書作成処理を説明するが、図15のステップS801〜ステップS807の処理に関しては、図8において対応する各ステップと処理内容が重複するのでここでは説明を省略する。
In step S1312, if reading of all stored scan images has not been completed (S1312-No), the process returns to step S1301, and the direction continuity determination process is continued to read the scan image. When the process is finished (S1312-Yes), information regarding continuity in the document direction is temporarily stored in the
ステップS806の判断で、スキャン画像の原稿方向が正立の場合、または、ステップS807の処理により正立に変換されたスキャン画像に対し、ステップS1508では、統合文書の第N章の階層を構成するページデータとしてスキャン画像を登録する。ここで、図16は第2実施形態において生成される統合文書1601としてのドキュメント情報の構成を示す図であり、第N章の階層1602にはページ情報の階層1603が含まれ、このページ情報の階層1603には、ページ情報に対応するスキャン画像がスキャンページデータ1604として登録される。この時、ページ情報の階層1603にはスキャンページデータ1604に対応する原稿方向関連情報1605として、「方向修正フラグ」ならびに「方向検出確度」が登録される(S1509)。更に、白紙のページが検出されている場合は、この情報も原稿方向関連情報1605として登録してもよい。
If it is determined in step S806 that the original orientation of the scanned image is upright, or the scanned image converted to upright by the processing in step S807, in step S1508, the Nth chapter of the integrated document is configured. Register scanned images as page data. Here, FIG. 16 is a diagram showing a structure of document information as an
以上のようにして、保管してある全てのスキャン画像の読み出しと統合文書へのページ情報、スキャン画像の登録が終了したら(S1510−Yes)、統合文書作成処理を終了し、ステップS1510の判断で、ページデータの登録が終了していない場合(S1510−No)は、処理を再びステップS802に戻し、データの読み出し、統合文書の作成処理を続行する。 As described above, when the reading of all stored scan images, the page information to the integrated document, and the registration of the scan image are completed (S1510-Yes), the integrated document creation process is ended, and the determination in step S1510 is performed. If registration of the page data has not been completed (S1510-No), the process returns to step S802 again, and the data reading and integrated document creation processing continues.
図15のフローチャートに従った統合文書作成処理が終了すると、印刷設定制御部116は印刷設定編集を図10のフローチャートに基づいて行う(具体的な処理の流れは、第1実施形態における説明と重複するので、ここでは説明を省略する)。この際、ステップS1001のプレビュー表示処理において、表示部110上には、章に帰属するページの区分け(章分割)表示部分1702とともに表示されるスキャン画像のレイアウト表示1701(図17)に対して、入力されたスキャン画像の章分割における区分け(章分割)の結果をオペレータが視覚的に把握できるような識別情報1703が表示制御部117により付加される。表示制御部117により付加される識別情報1703の表示には原稿方向関連情報1605として統合文書1601に登録されている、方向修正フラグまたは方向検出確度が用いられる。
When the integrated document creation process according to the flowchart of FIG. 15 is completed, the print
例えば、印刷設定制御部116は、検出された方向を強制的に修正したことを示す方向修正フラグが「on」になっているページに対しては該当ページの外枠を黄色の太枠で囲んで示したり、方向検出確度が閾値m未満であることを示すために、該当ページの外枠を赤の太枠により表示したりすることで、オペレータが原稿方向の検出結果を容易に識別できるように表示制御する。あるいは、表示制御部117は、オペレータが認識しやすいように警告を報知するためのダイアログメッセージを表示部110上に表示制御することも可能である。
For example, the print
表示制御部117は、原稿方向関連情報1605に含まれる白紙の情報に関しても同様に、ページの方向の検出処理に関して、オペレータの注意を喚起するようにページの外枠の色を変えるようにすることもできる。
The
オペレータはこの表示に基づいて検出結果が妥当か否かを判断することができ、修正が必要な場合は、変更対象となる画面のレイアウト表示を不図示の入力手段を介して指定して、ページレイアウトの編集(例えば、章に登録されているページの順番を入れ替えたり、スキャン画像がページとして登録されている章を変更する等)や、対応するページ情報(903、1603等)を更新することができる。また、ユーザは修正が必要ないと判断した場合、あるいは、ページレイアウトの編集により誤った検出結果が解消されたと判断する場合は、入力手段を介してその内容を確定させることができる。 Based on this display, the operator can determine whether or not the detection result is valid. If correction is necessary, the layout display of the screen to be changed is designated via an input means (not shown), and the page is displayed. Editing layout (for example, changing the order of pages registered in chapters, changing chapters where scanned images are registered as pages), and updating corresponding page information (903, 1603, etc.) Can do. In addition, when the user determines that correction is not necessary, or when it is determined that an erroneous detection result has been eliminated by editing the page layout, the contents can be determined via the input means.
以上説明したとおり、本実施形態によれば、複数種類の原稿を入力する場合、電子化文書を原稿方向の連続性に基づいて区分け(章分割)した階層構造としてまとめ、一冊の原稿として印刷、編集設定することが可能になる。あるいは、階層構造にまとめる際、誤認識の可能性のある原稿を特定するための識別表示をすることで、誤認識を修正するための操作を容易にすることが可能になる。 As described above, according to the present embodiment, when a plurality of types of manuscripts are input, the digitized document is grouped (chapter divided) based on the continuity in the manuscript direction, and printed as one manuscript. It becomes possible to set editing. Alternatively, when the documents are organized in a hierarchical structure, an operation for correcting the erroneous recognition can be facilitated by displaying an identification for specifying a document having a possibility of erroneous recognition.
<第3実施形態>
上述の第1実施形態においては、原稿方向の連続性を検出する方法として、予め定められた方向に原稿方向が該当するか否を判断し、予め想定された方向に該当しない場合は、強制的に検出方向を前ページの原稿方向と同じ方向に設定していた。また、第2実施形態においては、方向毎の方向検出確度をパラメータとして、所定の閾値m未満の場合は、強制的に前ページと同じ方向に原稿方向を設定していた。
<Third Embodiment>
In the first embodiment described above, as a method for detecting the continuity of the document direction, it is determined whether or not the document direction corresponds to a predetermined direction. The detection direction is set to the same direction as the document direction of the previous page. In the second embodiment, the direction detection accuracy for each direction is used as a parameter, and when it is less than a predetermined threshold value m, the document direction is forcibly set in the same direction as the previous page.
本実施形態では、原稿方向の連続性を判断する処理として、原稿方向の検出対象となるX(P)番目のページに関して、その前後のページ(X(P−1)ページ、X(P+1)ページ)の原稿方向と、前後のページに関する方向検出確度とを考慮した原稿方向の連続性の検出処理を説明する。尚、本実施形態において原稿方向連続性検出処理の前提となる第1実施形態で説明した原稿方向入力処理(図2のステップS201)、平均類似度の算出、第2実施形態で説明した方向検出確度の算出等に関しては説明が重複するので詳細な説明は省略する。 In the present embodiment, as processing for determining the continuity in the document direction, with respect to the X (P) th page that is the detection target of the document direction, the previous and subsequent pages (X (P-1) page, X (P + 1) page) ) Continuity detection processing in consideration of the original direction and the direction detection accuracy regarding the previous and subsequent pages will be described. In this embodiment, the document direction input process (step S201 in FIG. 2) described in the first embodiment, which is a premise of the document direction continuity detection process, the average similarity calculation, and the direction detection described in the second embodiment. Since the description of accuracy calculation and the like is duplicated, a detailed description thereof is omitted.
図18A、Bは、第3実施形態の処理の流れを説明するフローチャートである。まず、ステップS1801で、データ保管部107に一時保管されているスキャン画像を最初のページから一旦全て読み出す。原稿入力処理部101と印刷設定編集部102とがネットワークを介して接続される場合には、ステップS1801の処理はネットワークを介して原稿入力処理部101から転送されてくるデータ保管部に格納されたデータを受信し読み込む処理に相当する。そして、ステップS1802で原稿の向き(原稿方向)を検出するための検出処理を原稿方向検出処理部105が実行する。この原稿方向の検出は、第1実施形態でも説明したように、原稿を構成する各ページ単位に方向が定められる(図6を参照)。原稿方向検出処理部105は、原稿の向きが方向1〜4の何れに対応するかを検出するために、原稿中に含まれる1つの文字に該当する画像を切り出し、その画像とデータ保管部107に保管されている認識辞書の文字とのマッチングの度合いを評価し、最も高い類似度の認識結果を与える方向(1〜4)を原稿の方向として特定する。そして、ステップS1801で読み出した保管データの全てに関して原稿方向検知処理を終えたら処理をステップS1803に移行する。
18A and 18B are flowcharts for explaining the processing flow of the third embodiment. First, in step S1801, all the scan images temporarily stored in the
ステップS1803において、最初の原稿のページか否かを判断する。原稿の最初のページである場合(S1803−Yes)は、ステップS1811に処理を進め全ての保管データに対する処理が終了したか否かを判断する。ステップS1811の処理で全保管データの処理が終了した場合(S1811−Yes)は処理を図18BのステップS1821に進める。ステップS1811の判断で全保管データに対する処理が終了していないと判断した場合(S1811−No)、処理を再び、ステップS1801に戻し、一時保管データの読み取り処理から開始して、ページの方向の連続性に関する判定処理を続行する。ステップS1803の判断で、原稿の最初のページでないと判断された場合(S1803−No)は、処理をステップS1804に進める。 In step S1803, it is determined whether it is the first original page. If it is the first page of the document (S1803-Yes), the process proceeds to step S1811, and it is determined whether or not the processing for all stored data has been completed. When the processing of all stored data is completed in the process of step S1811 (S1811-Yes), the process proceeds to step S1821 of FIG. 18B. If it is determined in step S1811 that the processing for all the stored data has not been completed (S1811-No), the processing returns to step S1801, and the temporary storage data reading process is started to continue the page direction. Continue the sex determination process. If it is determined in step S1803 that the page is not the first page of the document (S1803-No), the process proceeds to step S1804.
ステップS1804では、ステップS1802の処理により検出された原稿方向としてフラグに設定されたデータに基づき原稿方向の変化の有無を判断する。ここで、原稿方向の検出対象のページをX(P)ページとすると、その前後のページX(P−1)、X(P+1)に関する原稿方向として設定されているフラグの値(1〜4のいずれか)をデータ保管部107から読み出し、前後のページ原稿方向を比較する。原稿方向として設定されているフラグのデータが、前後のページにおけるスキャン画像の原稿方向としてフラグに設定されているデータと同一である場合(S1804−Yes)は、ページの方向の連続性に変化は無いとして、処理をステップS1805に進める。全ての保管データに対してページの方向の連続の判定処理が終了した場合(S1811−Yes)は処理を図18BのステップS1821に進める。ステップS1811の判断で読み込んだ全保管データに対する処理が終了していないと判断した場合(S1811−No)、処理を再び、ステップS1803に戻し、孤立フラグの判定処理を読み込んだ全ての保管データに対して行なうまでステップS1803から1808の処理を繰り返す。
In step S1804, whether or not there is a change in the document direction is determined based on the data set in the flag as the document direction detected by the process in step S1802. Here, if the page to be detected in the original direction is the X (P) page, the flag values (1 to 4) set as the original direction for the previous and subsequent pages X (P−1) and X (P + 1). 1) is read from the
一方、ステップS1804の判断で、前後ページにおけるスキャン画像の原稿方向としてフラグに設定されているデータと異なる場合(S1804−No)は、処理をステップS1806に進める。 On the other hand, if it is determined in step S1804 that the data is different from the data set in the flag as the document orientation of the scanned image on the previous and next pages (S1804-No), the process proceeds to step S1806.
この場合、例えば、X(P−1)ページ=方向1
X(P)ページ=方向3
X(P+1)ページ=方向1
のように、検出対象となるX(P)ページの前後のページが同じ原稿方向(=1)であり、検出対象となっているX(P)ページ目は倒立方向(=3)と認識されている場合(前後のページの原稿方向が同一方向で、対象となるX(P)ページ目の原稿方向が前後のページの原稿方向と異なる状態を「孤立」という)、原稿方向連続性検出処理部106は、X(P)ページ目が誤認識されている可能性があると判断し、一時保管データ管理テーブル(図19)の、孤立ページを特定するための「孤立フラグ」(1910)の設定をonとして記録する(S1808、図19の1911を参照)。
In this case, for example, X (P-1) page =
X (P) page =
X (P + 1) page =
As described above, the pages before and after the X (P) page to be detected are in the same document direction (= 1), and the X (P) page being the detection target is recognized as the inverted direction (= 3). (The state in which the document direction of the front and back pages is the same direction and the document direction of the target X (P) page is different from the document direction of the previous and next pages is referred to as “isolation”). The
また、検出対象となるX(P)ページ目が前後のページに対して孤立していない場合(前後のページX(P−1)、X(P+1)の原稿方向が異なる場合)(S1806−No)、処理をステップS1807に進める。 Further, when the X (P) th page to be detected is not isolated from the previous and subsequent pages (when the document directions of the previous and subsequent pages X (P-1) and X (P + 1) are different) (No in S1806) ), The process proceeds to step S1807.
例えば、X(P−1)ページ=方向1
X(P)ページ=方向3
X(P+1)ページ=方向3
のような場合、X(P)ページは前後のページに対して孤立していないので、原稿方向連続性検出処理部106は孤立フラグをoffとして登録する(S1807)。ステップS1811の判断で、全ページに対して孤立フラグのon/off設定が終了した場合(S1811−Yes)、図18Aの処理を終了する。この場合、すくなくとも図19の一時保管データ管理テーブルを保持したまま、図18BのステップS1812に処理を進め、孤立フラグがonとして登録されているページが連続するか否かを検査する。
For example, X (P-1) page =
X (P) page =
X (P + 1) page =
In such a case, since the X (P) page is not isolated from the previous and subsequent pages, the document direction continuity
例えば、各ページの方向が、
X(P−1)=方向1
X(P)=方向3(孤立フラグon)
X(P+1)=方向1
という設定の場合、孤立フラグがonになっているのは、X(P)ページ目だけであり、この場合は孤立フラグの記録は不連続として判断され、処理はステップS1813に進められる。
For example, the direction of each page is
X (P-1) =
X (P) = direction 3 (isolation flag on)
X (P + 1) =
In this setting, the isolated flag is turned on only on the X (P) page. In this case, it is determined that the recording of the isolated flag is discontinuous, and the process proceeds to step S1813.
ステップS1813において、不連続な孤立フラグが記録されているページ(X(P))の原稿方向を、強制的に前後ページの原稿方向と連続していると判断し、一時保管データ管理テーブル(図19)の「連続性開始フラグ」をoffとして修正して記録する。その際、前後ページの原稿方向と同じ方向を示すデータ(この場合は方向1)を一時保管データ管理テーブルの「最終的方向」に記録する(図19の1902を参照)。 In step S1813, it is determined that the document direction of the page (X (P)) in which the discontinuous isolated flag is recorded is forcibly continuous with the document direction of the previous and subsequent pages, and the temporary storage data management table (FIG. 19) The “continuity start flag” of 19) is corrected as off and recorded. At this time, data indicating the same direction as the original direction of the preceding and following pages (in this case, direction 1) is recorded in the “final direction” of the temporary storage data management table (see 1902 in FIG. 19).
ステップS1814では、当初の検出方向(=3)が修正され、これと異なる方向(=1)が最終的に設定された履歴として「方向修正フラグ」をonとして記録する(図19の1906を参照)。 In step S1814, the “direction correction flag” is recorded as on as a history in which the initial detection direction (= 3) is corrected and a different direction (= 1) is finally set (see 1906 in FIG. 19). ).
一方、ステップS1812において、孤立フラグがonとして記録されているページが連続する場合(S1812−Yes)、例えば、各ページが、
X(P−1)=方向1
X(P)=方向3(孤立フラグon)
X(P+1)=方向1(孤立フラグon)
X(P+2)=方向3
という設定の場合、孤立フラグがonになっているのは、X(P)ページとX(P+1)ページであり、この場合は孤立フラグがonとして記録されているページは2連続として判断され、処理はステップS1817に進められる。
On the other hand, when the pages where the isolated flag is recorded as “on” are continuous in step S1812 (S1812—Yes), for example,
X (P-1) =
X (P) = direction 3 (isolation flag on)
X (P + 1) = direction 1 (isolation flag on)
X (P + 2) =
In this setting, the isolated flag is turned on for the X (P) page and the X (P + 1) page. In this case, the page where the isolated flag is recorded as on is determined as two consecutive, The process proceeds to step S1817.
ステップS1817では、孤立フラグがonとして記録されているページの連続が3以上か否かを判断し、連続するページが3以上である場合(S1817−Yes)は処理をステップS1815に進める。一方、連続するページが3以上でない場合(S1817−No)は処理をステップS1818に進める。ステップS1818では、原稿方向連続性検出処理部106は、孤立フラグが連続する各原稿ページの方向検出確度1905を、一時保管データ管理テーブル(図19)から読み出して比較をし、ステップS1819において、ステップS1818の処理に基づく比較結果に従い、方向検出確度の小さい方のページの原稿方向を、その前後のページと同一原稿方向に強制的に修正する。その際、原稿方向連続性検出処理部106は、前後ページの原稿方向と同じ方向を示すデータを一時保管データ管理テーブルの「最終的方向」に記録する。この場合、X(P)ページの方向検出確度をk1、X(P+1)ページの方向検出確度をk2とし、両者の関係が、
k1<k2 ・・・(3)
の場合は、方向検出確度の小さい方向ページX(P)の原稿方向が方向1として修正される。更にステップS1819では、当初の検出方向(=3)が修正され、これと異なる方向(=1)を最終的に設定した履歴として「方向修正フラグ」をonとして記録する。
In step S1817, it is determined whether or not the number of consecutive pages recorded with the isolated flag set to on is three or more. If there are three or more consecutive pages (S1817-Yes), the process proceeds to step S1815. On the other hand, if the number of continuous pages is not 3 or more (S1817-No), the process proceeds to step S1818. In step S1818, the document direction continuity
k1 <k2 (3)
In this case, the original direction of the direction page X (P) having a small direction detection accuracy is corrected as the
一方、ステップS1817の判断で、連続するページが3以上の場合、例えば、X(P−1)=方向1
X(P)=方向3(孤立フラグon)
X(P+1)=方向1(孤立フラグon)
X(P+2)=方向3(孤立フラグon)
X(P+3)=方向1(孤立フラグon)
X(P+4)=方向3
という設定の場合のように、原稿方向が1ページごとに異なるような場合は、ユーザが意図的に1ページ毎に不連続となるようにADFに原稿をセットしたものとして判断し、原稿方向の修正は行なわない。この場合は、各ページが不連続となる連続性変化開始ページであるとして、一時保管データ管理テーブルの各ページの「連続性開始フラグ」をonとして記録し、各ページは各々異なる章に分割される。
On the other hand, if it is determined in step S1817 that there are three or more consecutive pages, for example, X (P-1) =
X (P) = direction 3 (isolation flag on)
X (P + 1) = direction 1 (isolation flag on)
X (P + 2) = direction 3 (isolation flag on)
X (P + 3) = direction 1 (isolation flag on)
X (P + 4) =
If the document orientation is different for each page as in the case of the setting, it is determined that the user has intentionally set the document on the ADF so that it is discontinuous for each page. No correction is made. In this case, assuming that each page is a discontinuous continuity start page, the “continuity start flag” of each page of the temporary storage data management table is recorded as on, and each page is divided into different chapters. The
ステップS1815において、全保管データに関する処理が終了しているか否かを判断し、終了していない場合(S1815−No)は処理をステップS1823に戻して、検査ページを次ページにセットして、孤立フラグの連続性を判断するステップS1812以降の処理を続行する。全保管データに対する処理が終了した場合(S1815−Yes)は、処理をステップS1822に進める。ステップS1822の処理は、図5で説明した原稿方向の連続性を検出処理であり、本ステップでは、図5のステップS507、S509を除く、各ステップが実行され、各ページに対する「連続性開始フラグ」のon/offが設定され、処理を終了する。尚、図5のフローチャートに対する各ステップに対する処理は既に第1実施形態において説明しているので、ここでは説明を省略する。 In step S1815, it is determined whether or not the process for all stored data has been completed. If the process has not been completed (S1815-No), the process returns to step S1823 to set the inspection page as the next page and isolate The processing after step S1812 for determining the continuity of the flag is continued. When the process for all the stored data is completed (S1815-Yes), the process proceeds to step S1822. The processing in step S1822 is processing for detecting continuity in the document direction described with reference to FIG. 5. In this step, each step is executed except steps S507 and S509 in FIG. "On / off" is set, and the process ends. Since the processing for each step in the flowchart of FIG. 5 has already been described in the first embodiment, the description thereof is omitted here.
図18A、Bのフローチャートに従い、原稿方向連続性検出処理(図2のステップS202)が終了すると、統合文書作成部109により、次のステップS203の統合文書作成処理が実行される。以降の処理に関しては第1実施形態と内容が重複するので説明は省略する。
When the original direction continuity detection process (step S202 in FIG. 2) is completed according to the flowcharts in FIGS. 18A and 18B, the integrated
以上説明したとおり、本実施形態によれば、複数種類の原稿を入力する場合、電子化文書を原稿方向の連続性に基づいて区分け(章分割)した階層構造としてまとめ、一冊の原稿として印刷、編集設定することが可能になる。あるいは、本実施形態によれば、上述の実施形態では検出できない、倒立方向の原稿を正立方向に修正する処理を可能にし、より精度良く原稿の種類ごとに電子化文書を区分け(章分割)することが可能になる。 As described above, according to the present embodiment, when a plurality of types of manuscripts are input, the digitized document is grouped (chapter divided) based on the continuity in the manuscript direction, and printed as one manuscript. It becomes possible to set editing. Alternatively, according to the present embodiment, it is possible to correct an inverted document in an upright direction, which cannot be detected in the above-described embodiment, and classify a digitized document according to the type of document with more accuracy (chapter division). It becomes possible to do.
<第4実施形態>
上述各実施形態において説明したように、原稿方向の検出処理、原稿方向の連続性に基づいて区分け(章分割)した階層構造としてまとめ、一冊の原稿として印刷、編集設定をするための構成は、図1に示す原稿入力処理部101と印刷設定編集部102とに分割した構成に限定されるものではなく、例えば、第1実施形態で説明した原稿入力処理部101に設けられている原稿方向検出処理部105、原稿方向連続性検出処理部106、データ保管部107、保管データ管理部108の構成を印刷設定処理部102側に設けて、画像入力部104で取り込んだ原稿を構成するページ単位の原稿データに対して、印刷設定編集部102が、原稿の章を構成するページとして、原稿方向の検出処理、原稿方向の連続性に基づく区分け(章分割)編集処理等を実行するようにしてもよい。
<Fourth embodiment>
As described in each of the above-described embodiments, the configuration for performing the document direction detection process and the hierarchical structure divided (chapter division) based on the continuity of the document direction, and printing and editing settings as a single document is as follows. The document
尚、上述の各実施形態で示したフローチャートにおいて、その前後は処理が未完成にならない限り入れ替えることが可能である。また、本発明は、複数の機器(例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(複写機、プリンタ、ファクシミリ装置など)に適用してもよい。 In the flowcharts shown in the above-described embodiments, before and after the process can be switched as long as the process is not completed. Further, the present invention can be applied to a system (copier, printer, facsimile machine, etc.) consisting of a single device even if it is applied to a system consisting of a plurality of devices (eg, host computer, interface device, reader, printer, etc.). You may apply.
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェア(図2、図3、図5、図8、図10、図13、図15、図18の手順)のプログラムコードを記憶した記憶媒体を、システムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 Another object of the present invention is to store program codes of software (procedures of FIGS. 2, 3, 5, 8, 10, 13, 13, and 18) that realize the functions of the above-described embodiments. It is also achieved by reading out and executing the program code stored in the storage medium by the computer (or CPU or MPU) of the system or apparatus. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。 As a storage medium for supplying the program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like is used. be able to.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. A case where part or all of actual processing is performed and the functions of the above-described embodiments are realized by the processing is also included.
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。 Further, after the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion board is based on the instruction of the program code. Also included is a case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
Claims (12)
前記画像入力手段を介して入力された各画像データの方向を検出する方向検出手段と、
前記方向検出手段により検出された前記各画像データの方向が前ページの画像データの原稿方向と同一であるか否かを検出する連続性検出手段と、
前記連続性検出手段による検出結果に基づき、画像データの方向が前ページと同一であるときに当該画像データを前のページと同じ章のページとして登録し、画像データの方向が前ページと同一でないときに、当該画像データを新規の章のページとして登録する登録手段と、
を備えることを特徴とする情報処理装置。 The image data of the page unit is input via the image input unit, an information processing apparatus capable of registering as an integrated document having a hierarchical structure including a chapter
Direction detection means for detecting the direction of each image data input via the image input means;
Continuity detecting means for detecting whether the direction of each image data detected by the direction detecting means is the same as the original direction of the image data of the previous page ;
Based on the detection result by the continuity detecting means , when the direction of the image data is the same as the previous page, the image data is registered as a page of the same chapter as the previous page, and the direction of the image data is not the same as the previous page A registration means for registering the image data as a new chapter page ,
An information processing apparatus comprising:
前記方向検出手段が、前記画像入力手段を介して入力された各画像データの方向を検出する方向検出工程と、
前記連続性検出手段が、前記方向検出工程により検出された前記各画像データの方向が前ページの画像データの原稿方向と同一であるか否かを検出する連続性検出工程と、
前記登録手段が、前記連続性検出工程による検出結果に基づき、画像データの方向が前ページと同一であるときに当該画像データを前のページと同じ章のページとして登録し、画像データの方向が前ページと同一でないときに、当該画像データを新規の章のページとして登録する登録工程と、
を備えることを特徴とする情報処理方法。 And direction detecting means, and the continuity detection means, and registering means, and an image input means, the image data in units of pages which are input through the image input means, as an integrated document having a hierarchical structure including a chapter An information processing method in an information processing apparatus to register,
It said direction detection means includes a direction detection step of detecting the direction of each image data input through said image input means,
The continuity detection unit detects whether or not the direction of each image data detected by the direction detection step is the same as the document direction of the image data of the previous page ;
The registration means registers the image data as a page of the same chapter as the previous page when the direction of the image data is the same as the previous page based on the detection result by the continuity detection step, and the direction of the image data is A registration step of registering the image data as a new chapter page when not the same as the previous page ;
An information processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003412214A JP4227508B2 (en) | 2003-12-10 | 2003-12-10 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003412214A JP4227508B2 (en) | 2003-12-10 | 2003-12-10 | Information processing apparatus and information processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005173922A JP2005173922A (en) | 2005-06-30 |
JP2005173922A5 JP2005173922A5 (en) | 2006-01-12 |
JP4227508B2 true JP4227508B2 (en) | 2009-02-18 |
Family
ID=34732724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003412214A Expired - Fee Related JP4227508B2 (en) | 2003-12-10 | 2003-12-10 | Information processing apparatus and information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4227508B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036551A (en) * | 2005-07-26 | 2007-02-08 | Konica Minolta Business Technologies Inc | Image forming apparatus, image storing apparatus, image forming method and image storing method |
JP5111242B2 (en) | 2008-06-04 | 2013-01-09 | キヤノン株式会社 | Image processing apparatus and method |
JP5653651B2 (en) | 2010-05-11 | 2015-01-14 | シャープ株式会社 | Image display apparatus and image forming apparatus having the same |
JP6354705B2 (en) * | 2015-08-28 | 2018-07-11 | 京セラドキュメントソリューションズ株式会社 | Image processing device |
JP2016086450A (en) * | 2016-02-16 | 2016-05-19 | シャープ株式会社 | Image display unit and control program |
-
2003
- 2003-12-10 JP JP2003412214A patent/JP4227508B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005173922A (en) | 2005-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7791755B2 (en) | Document creation method and document creation apparatus for reflecting a document structure of a paper document in an electronic document | |
US7865490B2 (en) | Document data creating apparatus, document data creating method and control program of the same | |
JP3880723B2 (en) | Page image processing method and system, and multi-page document copying method | |
JP4164523B2 (en) | Image processing system | |
JP5247601B2 (en) | Image processing apparatus, image processing method, and computer program | |
US20050105116A1 (en) | Document processing apparatus and document processing method | |
JP4502385B2 (en) | Image processing apparatus and control method thereof | |
JP4586241B2 (en) | Image processing device | |
JP2008146605A (en) | Image processor and its control method | |
US11245803B2 (en) | Information processing apparatus and non-transitory computer readable medium storing information processing program | |
JP2007141159A (en) | Image processor, image processing method, and image processing program | |
JP2006202295A (en) | Digital photograph management device, digital photograph management method, and computer-readable recording medium storing computer program | |
JP4960902B2 (en) | Image processing apparatus and control method thereof | |
JP3684036B2 (en) | Image processing apparatus and image processing method | |
JP4227508B2 (en) | Information processing apparatus and information processing method | |
JP5565130B2 (en) | Reduced image generation apparatus and program | |
JP2006093917A (en) | Image reading apparatus and image processor, and image forming apparatus | |
JP2006155439A (en) | Document management device and its method | |
US8902457B2 (en) | Image processing apparatus and image processing system | |
JP4455358B2 (en) | Image processing apparatus and method | |
JP4827519B2 (en) | Image processing apparatus, image processing method, and program | |
JP2009026075A (en) | Image processing device | |
US20090174911A1 (en) | Information processor, information processing system, and computer readable medium | |
JP2006165863A (en) | Information processing system | |
JP2007081472A (en) | Image processing apparatus, image forming apparatus and image forming system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080829 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081121 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081128 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |