JP2008236253A - Image processing unit, program, and image process method - Google Patents
Image processing unit, program, and image process method Download PDFInfo
- Publication number
- JP2008236253A JP2008236253A JP2007071494A JP2007071494A JP2008236253A JP 2008236253 A JP2008236253 A JP 2008236253A JP 2007071494 A JP2007071494 A JP 2007071494A JP 2007071494 A JP2007071494 A JP 2007071494A JP 2008236253 A JP2008236253 A JP 2008236253A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- document
- original
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Storing Facsimile Image Data (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、画像処理装置、プログラムおよび画像加工方法に関する。 The present invention relates to an image processing apparatus, a program, and an image processing method.
近年、原稿画像を読み取るスキャナ、スキャナで読み取った原稿画像を印刷する複写機、外部機器から入力された画像データを印刷するプリンタやファクシミリ装置、あるいは、これらの機能を兼ね備えたいわゆるＭＦＰ（Multi Function Peripheral）と称される複合機が用いられている。 In recent years, a scanner that reads a document image, a copier that prints a document image read by the scanner, a printer or facsimile device that prints image data input from an external device, or a so-called MFP (Multi Function Peripheral) that combines these functions ) Is used.
この種の複合機にあっては、読み取ったコピーやファクシミリの原稿および外部機器から入力された画像データをＨＤＤ（Hard Disk Drive）に蓄積しておき、必要に応じて再出力や再送信することができるドキュメントボックス機能を搭載しているものがある。このようなドキュメントボックス機能によれば、作業効率を大幅に向上することができるとともに、ペーパーレスを実現することができる。 In this type of multifunction device, scanned copies, facsimile originals, and image data input from external devices are stored in an HDD (Hard Disk Drive) and re-outputted or retransmitted as necessary. Some of them have a document box function. According to such a document box function, work efficiency can be greatly improved and paperless can be realized.
ところで、複合機のドキュメントボックス機能において原稿の校正を行なう場合には、原稿校正のためにＨＤＤ内の画像データを紙に出力し、そこに校正内容を手書きで加筆する、という手順を経ることになる。この場合、紙上で加筆した校正内容は、元の画像データに対して手作業で反映させることになる。紙に印刷された情報と電子データとして保存されている情報とでは、その使い勝手が異なるものとなっている。紙に書かれている情報は、紙と筆記用具があれば、利用場所の制限が少なく、多くの場所で参照や追加修正作業をおこなうことができる。しかし、電子データの場合は、それを扱うための電子装置が必要である。また、場合によっては電源が必要な場合もあり、使用場所が制限される場合がある。しかしながら、修正や編集という機能は優れている。ただし、使用する電子機器に精通していないと複雑な編集は難しい場合もある。 By the way, when proofreading a document in the document box function of the multifunction device, the image data in the HDD is output to paper for document proofreading, and the proofreading contents are added to the paper by hand. Become. In this case, the proofreading contents added on paper are reflected manually on the original image data. Usability differs between information printed on paper and information stored as electronic data. The information written on the paper can be referred to and added and corrected in many places if there are paper and writing tools, with few restrictions on the place of use. However, in the case of electronic data, an electronic device for handling it is necessary. In some cases, a power source may be required, and the place of use may be limited. However, the functions of correction and editing are excellent. However, complex editing may be difficult if you are not familiar with the electronic equipment you are using.
そこで、このような問題を解決するために、紙原稿への加筆内容から利用者が付加あるいは置換しようとしている情報を読み取り元の画像データに反映することで、画像データへの情報付加・置換の利便性を向上させることができるようにした技術が提案されている（例えば、特許文献１参照）。 Therefore, in order to solve such a problem, information to be added or replaced by the user from the contents added to the paper manuscript is reflected in the image data of the reading source, thereby adding information to the image data. A technique that can improve convenience has been proposed (see, for example, Patent Document 1).
特許文献１に記載の技術は、編集作業を容易にするために、原稿となる画像データを表示しておき、その画面にスタイラスペン等で手書き入力を行って編集作業を行うものである。より具体的には、特許文献１には、あらかじめ登録している編集記号に近いものをコマンドとして認識し、追加分を仮名漢字変換で入力可能にする技術が記載されている。このように特許文献１によれば、従来から紙原稿で用いられてきた編集記号を電子機器の表示画面を用いて作業できるようになっている。
In the technique described in
しかしながら、特許文献１に記載の技術によれば、編集指示用の命令は、登録しているいくつかの命令に制限されている。また、編集対象領域を指示するにも制限がある。
However, according to the technique described in
加えて、課題となるのは、紙原稿に加筆した内容を電子ファイル上のどの位置に反映させるかということである。例えば、原稿の文章に線が引かれている場合、それが、強調表示を意味する下線なのか、削除を意味する取消線なのかを判別する必要がある。 In addition, a problem is how to reflect the content added to the paper manuscript on the electronic file. For example, when a line is drawn in the text of the document, it is necessary to determine whether it is an underline that means highlighting or a strikethrough that means deletion.
また、課題となるのは、紙原稿に加筆された内容を文字として解釈するか図形として解釈するかということである。例えば、原稿に四角形が加筆されている場合、それが、“口”を意味する文字なのか“四角”を表現した図形なのかを判別する必要がある。これが問題となるのは、その結果により後処理の仕方が異なるためである。 Also, the problem is whether to interpret the contents added to the paper manuscript as characters or graphics. For example, when a square is added to the document, it is necessary to determine whether it is a character that means “mouth” or a graphic that represents “square”. This is a problem because the method of post-processing differs depending on the result.
本発明は、上記に鑑みてなされたものであって、元原稿画像情報の校正を紙原稿上で行った場合に、紙原稿から元原稿画像情報に対する情報付加または削除の利便性を向上させることができる画像処理装置、プログラムおよび画像加工方法を提供することを目的とする。 The present invention has been made in view of the above, and improves the convenience of adding or deleting information from a paper document to the original document image information when the original document image information is calibrated on the paper document. An object is to provide an image processing apparatus, a program, and an image processing method.
上述した課題を解決し、目的を達成するために、請求項１にかかる発明の画像処理装置は、元原稿画像情報および当該元原稿画像情報の格納位置を示すリンク情報が印刷された原稿についての原稿画像情報を生成する原稿画像情報生成手段と、前記原稿画像情報の前記リンク情報に従って、前記元原稿画像情報を取得する元原稿情報取得手段と、前記元原稿画像情報の画像構成を定義する画像構成ブロックを解析する画像内容解析手段と、前記原稿画像情報と前記元原稿画像情報との差分に基づいて図形として解釈される加筆情報を取得する加筆情報取得手段と、前記加筆情報の前記原稿画像情報上の位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択手段と、選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆情報とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択手段と、選択された処理指示に従って前記元原稿画像情報の処理対象となる前記画像構成ブロックを加工する画像加工手段と、を備える。 In order to solve the above-described problems and achieve the object, an image processing apparatus according to a first aspect of the present invention relates to a document on which original document image information and link information indicating a storage position of the original document image information are printed. Document image information generating means for generating document image information, original document information acquiring means for acquiring the original document image information according to the link information of the document image information, and an image defining an image configuration of the original document image information Image content analyzing means for analyzing the constituent blocks; retouching information acquiring means for acquiring retouching information that is interpreted as a graphic based on a difference between the original image information and the original original image information; and the original image of the additional information. Processing target block selection means for selecting the image constituent block to be processed based on the position on the information, and one or more selected processing targets A processing instruction selection means for selecting a processing instruction according to the contents of each of the recording image composition block and the additional information, and a relative position between the image constituent block and the additional information, and the processing instruction selecting means according to the selected processing instruction. Image processing means for processing the image constituting block to be processed of the original document image information.
また、請求項２にかかる発明は、請求項１記載の画像処理装置において、前記加筆情報取得手段は、前記原稿上の前記加筆情報と前記画像構成ブロックとの相対的な位置関係に従って前記加筆情報が文字なのか図形なのかを判別する。 According to a second aspect of the present invention, in the image processing apparatus according to the first aspect, the additional information acquisition unit is configured to determine the additional information according to a relative positional relationship between the additional information on the document and the image configuration block. To determine whether is a character or a graphic.
また、請求項３にかかる発明は、請求項１または２記載の画像処理装置において、前記加筆情報取得手段は、前記原稿上の前記加筆情報と前記画像構成ブロックとの相対的な大きさの近似性に従って前記加筆情報が文字なのか図形なのかを判別する。 According to a third aspect of the present invention, in the image processing apparatus according to the first or second aspect, the additional information acquisition unit approximates a relative size between the additional information on the document and the image configuration block. Whether the additional information is a character or a graphic is determined according to the nature.
また、請求項４にかかる発明のプログラムは、元原稿画像情報および当該元原稿画像情報の格納位置を示すリンク情報が印刷された原稿についての原稿画像情報を生成する原稿画像情報生成機能と、前記原稿画像情報の前記リンク情報に従って、前記元原稿画像情報を取得する元原稿情報取得機能と、前記元原稿画像情報の画像構成を定義する画像構成ブロックを解析する画像内容解析機能と、前記原稿画像情報と前記元原稿画像情報との差分に基づいて図形として解釈される加筆情報を取得する加筆情報取得機能と、前記加筆情報の前記原稿画像情報上の位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択機能と、選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆情報とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択機能と、選択された処理指示に従って前記元原稿画像情報の処理対象となる前記画像構成ブロックを加工する画像加工機能と、をコンピュータに実行させる。 According to a fourth aspect of the present invention, there is provided a program for generating document image information for a document on which original document image information and link information indicating a storage position of the original document image information are printed; An original document information acquisition function for acquiring the original document image information in accordance with the link information of the document image information, an image content analysis function for analyzing an image configuration block defining an image configuration of the original document image information, and the document image A retouching information acquisition function for acquiring retouching information that is interpreted as a graphic based on a difference between the information and the original document image information, and the image configuration to be processed based on the position of the retouching information on the document image information A processing target block selection function for selecting a block, and the selected one or a plurality of processing target image selection blocks and the additional information. A processing instruction selection function for selecting a processing instruction according to each content and a relative position between the image configuration block and the additional information, and a processing target of the original document image information according to the selected processing instruction. An image processing function for processing the image configuration block is executed by a computer.
また、請求項５にかかる発明は、請求項４記載のプログラムにおいて、前記加筆情報取得機能は、前記原稿上の前記加筆情報と前記画像構成ブロックとの相対的な位置関係に従って前記加筆情報が文字なのか図形なのかを判別する。 According to a fifth aspect of the invention, in the program according to the fourth aspect, the additional information acquisition function is configured such that the additional information is a character according to a relative positional relationship between the additional information on the document and the image configuration block. Whether it is a figure or a figure.
また、請求項６にかかる発明は、請求項４または５記載のプログラムにおいて、前記加筆情報取得機能は、前記原稿上の前記加筆情報と前記画像構成ブロックとの相対的な大きさの近似性に従って前記加筆情報が文字なのか図形なのかを判別する。 According to a sixth aspect of the present invention, in the program according to the fourth or fifth aspect, the additional information acquisition function is in accordance with a relative size approximation between the additional information on the original and the image configuration block. It is determined whether the additional information is a character or a graphic.
また、請求項７にかかる発明の画像加工方法は、元原稿画像情報および当該元原稿画像情報の格納位置を示すリンク情報が印刷された原稿についての原稿画像情報を生成する原稿画像情報生成工程と、前記原稿画像情報の前記リンク情報に従って、前記元原稿画像情報を取得する元原稿情報取得工程と、前記元原稿画像情報の画像構成を定義する画像構成ブロックを解析する画像内容解析工程と、前記原稿画像情報と前記元原稿画像情報との差分に基づいて図形として解釈される加筆情報を取得する加筆情報取得工程と、前記加筆情報の前記原稿画像情報上の位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択工程と、選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆情報とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択工程と、選択された処理指示に従って前記元原稿画像情報の処理対象となる前記画像構成ブロックを加工する画像加工工程と、を含む。 According to a seventh aspect of the present invention, there is provided an image processing method for generating document image information for a document on which original document image information and link information indicating a storage position of the original document image information are printed. An original document information acquisition step for acquiring the original document image information according to the link information of the document image information, an image content analysis step for analyzing an image configuration block that defines an image configuration of the original document image information, An additional information acquisition step for acquiring additional information interpreted as a graphic based on the difference between the original image information and the original original image information, and the processing target based on the position of the additional information on the original image information A processing target block selecting step for selecting an image constituent block, and the selected one or a plurality of processing target image constituent blocks and the retouching information. A processing instruction selection step for selecting a processing instruction according to each content and a relative position between the image configuration block and the additional information, and a processing target of the original document image information according to the selected processing instruction. An image processing step of processing the image constituent block.
また、請求項８にかかる発明は、請求項７記載の画像加工方法において、前記加筆情報取得工程は、前記原稿上の前記加筆情報と前記画像構成ブロックとの相対的な位置関係に従って前記加筆情報が文字なのか図形なのかを判別する。 According to an eighth aspect of the present invention, in the image processing method according to the seventh aspect, the additional information acquisition step includes the additional information according to a relative positional relationship between the additional information on the document and the image configuration block. To determine whether is a character or a graphic.
また、請求項９にかかる発明は、請求項７または８記載の画像加工方法において、前記加筆情報取得工程は、前記原稿上の前記加筆情報と前記画像構成ブロックとの相対的な大きさの近似性に従って前記加筆情報が文字なのか図形なのかを判別する。
The invention according to
本発明によれば、元原稿画像情報の校正を紙原稿上で行った場合の原稿画像情報と元原稿画像情報との差分をとり、この差分に基づいて図形として解釈される加筆情報を取得し、取得された加筆情報と当該加筆情報の原稿画像情報上の位置に基づいて選択された１つまたは複数の処理対象となる画像構成ブロック（文字、形態素、文、段落、図、写真など）とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じて処理指示（「削除」、「強調表示」、「拡大」など）を選択し、選択された処理指示に従って元原稿画像情報の処理対象となる画像構成ブロックを加工する。これにより、元原稿画像情報の校正を紙原稿上で行った場合に、処理対象となる画像構成ブロックと加筆情報との相対的な位置に応じて処理指示を選択することで紙原稿への加筆情報をコマンドとして利用して利用者の意図を正確に元原稿画像情報に反映させることができるようになるので、紙原稿から元原稿画像情報に対する情報付加または削除の利便性を向上させることができる、という効果を奏する。 According to the present invention, the difference between the original image information and the original original image information when the original original image information is calibrated on the paper original is obtained, and the additional information to be interpreted as a graphic is acquired based on the difference. Image composition blocks (characters, morphemes, sentences, paragraphs, figures, photographs, etc.) to be processed, which are selected based on the obtained additional information and the position of the additional information on the original image information Processing instructions (“Delete”, “Highlight”, “Enlarged”, etc.) are selected according to the content of each and the relative positions of the image composition block and the additional information, and the original document is selected according to the selected processing instructions. An image configuration block that is a processing target of image information is processed. As a result, when the original document image information is calibrated on the paper document, the processing instruction is selected according to the relative position between the image configuration block to be processed and the additional information, and the paper document is rewritten. Since the user's intention can be accurately reflected in the original document image information using the information as a command, the convenience of adding or deleting information from the paper document to the original document image information can be improved. , Has the effect.
以下に添付図面を参照して、この発明にかかる画像処理装置、プログラムおよび画像加工方法の最良な実施の形態を詳細に説明する。 Exemplary embodiments of an image processing apparatus, a program, and an image processing method according to the present invention are explained in detail below with reference to the accompanying drawings.
［第１の実施の形態］
本発明の第１の実施の形態を図１ないし図１１に基づいて説明する。本実施の形態は画像処理装置として、コピー機能、ファクシミリ（ＦＡＸ）機能、プリント機能、スキャナ機能および入力画像（スキャナ機能による読み取り原稿画像やプリンタあるいはＦＡＸ機能により入力された画像）を配信する機能等を複合したいわゆるＭＦＰ（Multi Function Peripheral）と称されるカラーデジタル複合機を適用した例である。
[First Embodiment]
A first embodiment of the present invention will be described with reference to FIGS. In this embodiment, as an image processing apparatus, a copy function, a facsimile (FAX) function, a print function, a scanner function, an input image (a document image read by a scanner function, an image input by a printer or a FAX function), etc. This is an example in which a so-called MFP (Multi Function Peripheral) color digital multi-function peripheral is applied.
図１は、本発明の第１の実施の形態にかかるカラーデジタル複合機１０００を概略的に示す構成図である。本実施の形態にかかるカラーデジタル複合機１０００は、後処理装置であるフィニシャ１００と画像読取装置であるスキャナ部２００と画像印刷装置であるプリンタ部３００とで構成されている。
FIG. 1 is a block diagram schematically showing a color digital multi-function peripheral 1000 according to the first embodiment of the present invention. A color digital multi-function peripheral 1000 according to the present embodiment includes a
本実施の形態にかかるカラーデジタル複合機１０００は、操作部４００（図２参照）のアプリケーション切り替えキーにより、ドキュメントボックス機能、複写機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となっている。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、複写機能の選択時には複写モードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。ここでは、複写モードにおける画像形成の流れを例に挙げ、図１を参照して説明する。 The color digital multi-function peripheral 1000 according to the present embodiment can sequentially select and select a document box function, a copy function, a printer function, and a facsimile function by using an application switching key of the operation unit 400 (see FIG. 2). It has become. The document box mode is selected when the document box function is selected, the copy mode is selected when the copy function is selected, the printer mode is selected when the printer function is selected, and the facsimile mode is selected when the facsimile mode is selected. Here, an example of the flow of image formation in the copy mode will be described with reference to FIG.
まず、カラーデジタル複合機１０００のスキャナ部２００について説明する。スキャナ部２００は、概略的には、自動原稿送り装置（以後、ＡＤＦ（Auto Document Feeder）という。）１と読み取りユニット５０とで構成されている。
First, the
ＡＤＦ１の原稿台２に原稿の画像面を上にして置かれた原稿束は、操作部４００上のプリントキー（図示せず）が押下されると、一番下の原稿から給送ローラ３、給送ベルト４によってコンタクトガラス６上の所定の位置に給送される。なお、カラーデジタル複合機１０００は、１枚の原稿をコンタクトガラス６上の所定の位置に給送完了する毎に原稿枚数をカウントアップするカウント機能を有している。
A document bundle placed on the document table 2 of the
コンタクトガラス６上の所定の位置に給送された原稿は、読み取りユニット５０によって画像データを読み取られる。
A document fed to a predetermined position on the
ここで、読み取りユニット５０について詳述する。読み取りユニット５０は、原稿を載置するコンタクトガラス６と光学走査系で構成されている。光学走査系は、照明手段である露光ランプ５１、第１ミラー５２、レンズ５３、ＣＣＤイメージセンサ５４等で構成されている。露光ランプ５１および第１ミラー５２は、図示しない第１キャリッジ上に固定され、第２ミラー５５および第３ミラー５６は、図示しない第１キャリッジ上に固定されている。この光学走査系は、スキャナ駆動モータ（図示せず）にて駆動される。読み取りユニット５０は、コンタクトガラス６上に原稿が搭載された場合に、露光ランプ５１を点灯し、走行体である第１キャリッジおよび第２キャリッジをスキャナ駆動モータにより右方向に移動走査して原稿を読み取る読み取り方式と、露光ランプ５１を点灯し、第１キャリッジおよび第２キャリッジは停止した状態のまま、ＡＤＦ１によって搬送される原稿を読み取る読み取り方式が選択可能である。第１キャリッジおよび第２キャリッジをスキャナ駆動モータにより右方向に移動走査して原稿を読み取る読み取り方式の場合には、原稿像を読み取るときには、光路長が変わらないように、第１キャリッジと第２キャリッジとが２対１の相対速度で副走査方向に機械的に走査される。原稿画像は、ＣＣＤイメージセンサ５４によって読み取られ、電気信号に変換されて出力される。ＣＣＤイメージセンサ５４からの出力信号は、ＡＤコンバータによりデジタルデータ（画像データ）に変換される。
Here, the
デジタルデータに変換された原稿画像情報は、例えばプリンタ部３００に送られてプリント出力として画像情報の出力が行なわれる場合や、あるいは記憶装置（例えば、図２に示すＨＤＤ１１１８）に送られて記憶される場合等、種々あり、各々のスキャナ部２００の情報として使用されている。記憶装置（例えば、図２に示すＨＤＤ１１１８）に記憶された原稿画像情報は、ドキュメントボックスモードにおいて、再出力などが可能になっている。このようなドキュメントボックス機能によれば、作業効率を大幅に向上することができるとともに、ペーパーレスを実現することができる。
The document image information converted into digital data is sent to, for example, the
読み取りユニット５０によって画像データの読み取りが終了した原稿は、給送ベルト４および排送ローラ５によって排出される。
The document whose image data has been read by the
さらに、原稿セット検知７にて原稿台２に次の原稿が有ることを検知した場合、前原稿と同様に、次の原稿がコンタクトガラス６上に給送される。
Further, when it is detected by the document set detection 7 that the next document exists on the document table 2, the next document is fed onto the
上述した給送ローラ３、給送ベルト４、排送ローラ５は、それぞれ搬送モータ（図示せず）によって駆動される。 The feeding roller 3, the feeding belt 4, and the discharging roller 5 described above are each driven by a conveyance motor (not shown).
次に、カラーデジタル複合機１０００のプリンタ部３００について説明する。プリンタ部３００は、概略的には、作像ステーション７０と定着ユニット１７と給紙部８０と両面給紙ユニット１１１とで構成されている。
Next, the
作像ステーション７０は、電子写真方式で作像するものであり、書き込みユニット５７と、タンデム方式の４つのドラム状の感光体１５と、感光体１５毎に設けられていてシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の各色に対応した現像ユニット１９と、各感光体１５上に形成された画像がそれぞれの転写位置で転写紙Ｐ上に順次転写されるように用紙を搬送するベルト状の搬送ベルト１６とを主体として構成されている。
The
給紙部８０は、第１トレイ８と第２トレイ９と第３トレイ１０と第１給紙装置１１と第２給紙装置１２と第３給紙装置１３と縦搬送ユニット１４とにより構成されている。第１トレイ８、第２トレイ９、第３トレイ１０に積載された転写紙Ｐは、各々第１給紙装置１１、第２給紙装置１２、第３給紙装置１３によって給紙され、縦搬送ユニット１４によって搬送方向上流側に位置する感光体１５に当接する位置まで搬送される。
The
読み取りユニット５０にて読み込まれた画像データは、書き込みユニット５７から出力されるレーザビームによって各感光体１５に書き込まれ、各現像ユニット１９を通過することによってトナー像が形成される。書き込みユニット５７は、レーザ出力ユニット５８、結像レンズ５９、ミラー６０で構成され、レーザ出力ユニット５８の内部には、レーザ光源であるレーザダイオードおよびモータによって高速で定速回転する多角形ミラー（ポリゴンミラー）が備わっている。なお、特に図示しないが、各感光体１５の一端近傍のレーザビームを照射される位置に、主走査同期信号を発生するビームセンサが配置されている。
The image data read by the
各感光体１５上の各色のトナー像は、各感光体１５の回転と等速で搬送ベルト１６によって搬送される転写紙Ｐ上に転写されることにより、転写紙Ｐ上にカラー画像が形成される。その後、定着ユニット１７に搬送されて画像を定着された転写紙Ｐは、排紙ユニット１８によって後処理装置であるフィニシャ１００に排出される。
The toner image of each color on each photoconductor 15 is transferred onto the transfer paper P conveyed by the conveyance belt 16 at the same speed as the rotation of each photoconductor 15, thereby forming a color image on the transfer paper P. The Thereafter, the transfer paper P that has been transported to the fixing unit 17 and on which the image has been fixed is discharged by the
後処理装置のフィニシャ１００は、排紙ユニット１８の排紙ローラ１８ａによって搬送された転写紙Ｐを、通常排紙ローラ１０２方向とステープル処理部方向へと切り替えて導くことができる。より詳細には、後処理装置であるフィニシャ１００は、切り替え板１０１を上に切り替えることにより、搬送ローラ１０３を経由して通常の排紙トレイ１０４側に転写紙Ｐを排紙することができ、切り替え板１０１を下方向に切り替えることで、搬送ローラ１０５、１０７を経由して、ステープル台１０８に転写紙Ｐを搬送することができる。
The
ステープル台１０８に積載された転写紙Ｐは、一枚排紙されるごとに紙揃え用のジョガー１０９によって、紙端面が揃えられ、一部のコピー完了と共にステープラ１０６によって綴じられる。ステープラ１０６で綴じられた転写紙Ｐ群は、自重によってステープル完了排紙トレイ１１０に収納される。
The transfer paper P loaded on the staple table 108 is aligned by the
一方、フィニシャ１００の通常の排紙トレイ１０４は、前後に移動可能な排紙トレイである。前後に移動可能な排紙トレイ１０４は、原稿毎、あるいは、画像メモリによってソーティングされたコピー部毎に、前後に移動し、簡易的に排出されてくるコピー紙を仕分けるものである。
On the other hand, the normal
本実施の形態にかかるカラーデジタル複合機１０００は、転写紙Ｐの両面に画像を作像可能である。転写紙Ｐの両面に画像を作像する場合は、各給紙トレイ８〜１０から給紙され作像された転写紙Ｐを排紙トレイ１０４側に導かないで、排紙ユニット１８の経路切り替えの為の分岐爪１１２を上側にセットすることで、一旦両面給紙ユニット１１１にストックする。その後、両面給紙ユニット１１１にストックされた転写紙Ｐは、再び各感光体１５に作像されたトナー画像を転写するために、反転された状態で両面給紙ユニット１１１から再給紙され、下側にセットされた分岐爪１１２を介して排紙トレイ１０４に導かれる。このように、転写紙Ｐの両面に画像を作成する場合に両面給紙ユニット１１１は使用される。また、画像の載った転写紙Ｐの裏面に印字を行なう際にも両面給紙ユニット１１１を用いて転写紙Ｐの裏表を変えることができる。
The color digital multifunction peripheral 1000 according to the present embodiment can form images on both sides of the transfer paper P. When images are formed on both sides of the transfer paper P, the path of the
図２は、カラーデジタル複合機１０００のハードウェア構成を示すブロック図である。図２に示すように、このカラーデジタル複合機１０００は、コントローラ１１０１とプリンタ部３００及びスキャナ部２００とをＰＣＩ（Peripheral Component Interconnect）バスで接続した構成となる。コントローラ１１０１は、カラーデジタル複合機１０００全体の制御と描画、通信、操作部４００からの入力を制御するコントローラである。なお、プリンタ部３００又はスキャナ部２００には、誤差拡散やガンマ変換などの画像処理部分が含まれる。
FIG. 2 is a block diagram illustrating a hardware configuration of the color digital multi-function peripheral 1000. As shown in FIG. 2, the color digital multifunction peripheral 1000 has a configuration in which a
コントローラ１１０１は、コンピュータの主要部であるＣＰＵ（Central Processing Unit）１１１１と、システムメモリ（ＭＥＭ−Ｐ）１１１２と、ノースブリッジ（ＮＢ）１１１３と、サウスブリッジ（ＳＢ）１１１４と、ＡＳＩＣ（Application Specific Integrated Circuit）１１１６と、ローカルメモリ（ＭＥＭ−Ｃ）１１１７と、ハードディスクドライブ（ＨＤＤ）１１１８とを有し、ＮＢ１１１３とＡＳＩＣ１１１６との間をＡＧＰ（Accelerated Graphics Port）バス１１１５で接続した構成となる。また、ＭＥＭ−Ｐ１１１２は、ＲＯＭ（Read Only Memory）１１１２ａと、ＲＡＭ（Random Access Memory）１１１２ｂとをさらに有する。
The
ＣＰＵ１１１１は、カラーデジタル複合機１０００の全体制御を行うものであり、ＮＢ１１１３、ＭＥＭ−Ｐ１１１２およびＳＢ１１１４からなるチップセットを有し、このチップセットを介して他の機器と接続される。
The CPU 1111 performs overall control of the color digital multi-function peripheral 1000, has a chip set including the
ＮＢ１１１３は、ＣＰＵ１１１１とＭＥＭ−Ｐ１１１２、ＳＢ１１１４、ＡＧＰバス１１１５とを接続するためのブリッジであり、ＭＥＭ−Ｐ１１１２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩマスタおよびＡＧＰターゲットとを有する。
The
ＭＥＭ−Ｐ１１１２は、プログラムやデータの格納用メモリ、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いるシステムメモリであり、ＲＯＭ１１１２ａとＲＡＭ１１１２ｂとからなる。ＲＯＭ１１１２ａは、ＣＰＵ１１１１の動作を制御するプログラムやデータの格納用メモリとして用いる読み出し専用のメモリであり、ＲＡＭ１１１２ｂは、プログラムやデータの展開用メモリ、プリンタの描画用メモリなどとして用いる書き込みおよび読み出し可能なメモリである。
The MEM-
ＳＢ１１１４は、ＮＢ１１１３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。このＳＢ１１１４は、ＰＣＩバスを介してＮＢ１１１３と接続されており、このＰＣＩバスには、ネットワークインタフェース（Ｉ／Ｆ）部１１０４なども接続される。
The
ＡＳＩＣ１１１６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Integrated Circuit）であり、ＡＧＰバス１１１５、ＰＣＩバス、ＨＤＤ１１１８およびＭＥＭ−Ｃ１１１７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ１１１６は、ＰＣＩターゲットおよびＡＧＰマスタと、ＡＳＩＣ１１１６の中核をなすアービタ（ＡＲＢ）と、ＭＥＭ−Ｃ１１１７を制御するメモリコントローラと、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ（Direct Memory Access Controller）と、プリンタ部３００やスキャナ部２００との間でＰＣＩバスを介したデータ転送を行うＰＣＩユニットとからなる。このＡＳＩＣ１１１６には、ＰＣＩバスを介してＦＣＵ（Fax Control Unit）１１２１、ＵＳＢ（Universal Serial Bus）１１２２、ＩＥＥＥ１３９４（the Institute of Electrical and Electronics Engineers 1394）インタフェース１１２３が接続される。
The
ＭＥＭ−Ｃ１１１７は、コピー用画像バッファ、符号バッファとして用いるローカルメモリであり、ＨＤＤ１１１８は、画像データの蓄積、ＣＰＵ１１１１の動作を制御するプログラムの蓄積、フォントデータの蓄積、フォームの蓄積を行うためのストレージである。
A MEM-
ＡＧＰバス１１１５は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ−Ｐ１１１２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にするものである。
The
次に、本実施の形態のカラーデジタル複合機１０００のコントローラ１１０１がプログラムに従って実現する特徴的な機能であるドキュメントボックス機能の選択時における画像加工処理について説明する。
Next, an image processing process at the time of selecting a document box function which is a characteristic function realized by the
ここで、図３はドキュメントボックス機能の選択時における画像加工処理にかかる機能構成を示すブロック図、図４は画像加工処理の流れを示すフローチャートである。図３に示すように、カラーデジタル複合機１０００は、ＣＰＵ１１１１がプログラムに従うことにより、原稿画像情報生成手段２１と、元原稿情報取得手段２２と、画像内容解析手段２３と、加筆情報取得手段２４と、処理対象ブロック選択手段２５と、処理指示選択手段２６と、画像加工手段２７とを実現する。
Here, FIG. 3 is a block diagram showing a functional configuration related to the image processing when the document box function is selected, and FIG. 4 is a flowchart showing the flow of the image processing. As shown in FIG. 3, the color digital multifunction peripheral 1000 includes a document image
原稿画像情報生成手段２１は、スキャナ部２００を動作させて読み取った原稿に基づいて原稿画像情報を生成する（図４に示すステップＳ１）。こうして生成された原稿画像情報は、ドキュメントボックス機能の選択時においては、ＨＤＤ１１１８に記憶される場合と、ＨＤＤ１１１８に記憶されている原稿画像情報の加筆修正に用いられる場合とがある。ここでは、ＨＤＤ１１１８に記憶されている原稿画像情報の加筆修正のために、原稿画像情報が生成されたものとする。
The document image
ここで、ＨＤＤ１１１８に記憶されている原稿画像情報の加筆修正に用いられる原稿の一例を図５に示す。図５に示すように、原稿Ｄは、全体がシート状に形成されたもので、例えば、Ａ４判サイズのものが用いられている。これらの原稿Ｄには、カラーデジタル複合機１０００のＨＤＤ１１１８に格納されている各種の原稿画像情報が１画面単位で各々プリンタ部３００により予め印刷されているとともに、後述するように、その印刷時にカラーデジタル複合機１０００のＨＤＤ１１１８内の原稿画像情報であることを示すリンク情報が２次元コードＣの形態で印刷されている。
Here, FIG. 5 shows an example of a document used for rewriting correction of document image information stored in the
原稿Ｄに印刷されているリンク情報（２次元コードＣ）について説明する。この２次元コードＣは前述したようにその原稿Ｄに印刷されている原稿画像情報がＨＤＤ１１１８内の原稿画像情報であることを示すものであるが、その２次元コードＣが表現するものとしては、例えば、文書名、ページ番号、装置名、そのＩＰアドレス等があり、「￥￥装置名（装置のＩＰアドレス）￥ドライブ名￥フォルダ名￥文書名￥ページ」のようなディレクトリ構造により、その文書（最小は、１ページ分）の格納してある個所（情報蓄積個所）を一義的に特定し得るものであれば良い。
The link information (two-dimensional code C) printed on the document D will be described. The two-dimensional code C indicates that the original image information printed on the original D is the original image information in the
また、リンク情報が格納されるコードシンボルとしては、１次元バーコード等であってもよいが、文書ＩＤ用として多種多様にわたる文書を分類する必要があり、１次元バーコード等では分類数が不足してしまうことを考えると、本実施の形態のように格段に容量の大きい２次元コードＣを用いることが望ましい。 The code symbol for storing the link information may be a one-dimensional barcode or the like, but it is necessary to classify a wide variety of documents for the document ID, and the number of classifications is insufficient for the one-dimensional barcode or the like. In view of this, it is desirable to use a two-dimensional code C having a remarkably large capacity as in the present embodiment.
元原稿情報取得手段２２は、原稿画像情報生成手段２１で生成された原稿画像情報に付与されているリンク情報に従い、オリジナルの原稿画像情報（元原稿画像情報）をＨＤＤ１１１８から取得する（図４に示すステップＳ２）。より詳細には、元原稿情報取得手段２２は、読み取った原稿画像情報の予め決められた位置に付与されている２次元コードＣをデコードすることによりリンク情報を取得し、取得したリンク情報に従ってオリジナルの原稿画像情報をＨＤＤ１１１８から取得する。
The original document
画像内容解析手段２３は、元原稿情報取得手段２２で取得されたオリジナルの原稿画像情報の内容を解析する（図４に示すステップＳ３）。より具体的には、元原稿情報取得手段２２で取得されたオリジナルの原稿画像情報の領域抽出処理を行うことにより、オリジナルの原稿画像情報の画像構成を定義する画像構成ブロックの階層構造を求める。ここで、画像構成ブロックとは、原稿（原稿画像情報）Ｄ上の文字、形態素、文、段落、図、写真などである。領域抽出処理は、オリジナルの原稿画像情報に対して光学式文字認識を行うＯＣＲ処理などの各種の画像解析処理を実行して原稿画像の画像属性を表す様々な画像特性値を算出した後、算出された各種の画像特性値に基づいて画像構成ブロックの抽出を行う。図６は、図５に示すオリジナルの原稿画像情報における画像構成ブロックの抽出例である。なお、オリジナルの原稿画像情報の内容（画像構成ブロック）をメタ情報としてオリジナルの原稿画像情報に持たせるようにしても良い。
The image content analysis unit 23 analyzes the content of the original document image information acquired by the original document information acquisition unit 22 (step S3 shown in FIG. 4). More specifically, by performing an area extraction process of the original document image information acquired by the original document
加筆情報取得手段２４は、原稿画像情報生成手段２１で生成された原稿画像情報と、元原稿情報取得手段２２で取得したオリジナルの原稿画像情報との差分をとり、この差分を加筆情報とする（図４に示すステップＳ４）。本実施の形態における加筆情報は、“○”や“×”に代表されるような図形である。詳細は後述するが、この図形は、ＨＤＤ１１１８に記憶されている原稿画像情報の加筆修正のためのコマンドとなる。
The rewriting information acquisition means 24 takes the difference between the original image information generated by the original image information generation means 21 and the original original image information acquired by the original original information acquisition means 22 and uses this difference as additional information ( Step S4) shown in FIG. The additional information in the present embodiment is a figure represented by “◯” or “×”. Although details will be described later, this figure is a command for rewriting and correcting the document image information stored in the
処理対象ブロック選択手段２５は、加筆情報取得手段２４で取得した加筆情報の原稿画像情報上の位置に基づき、画像内容解析手段２３で解析した画像構成ブロックの中から処理対象となる画像構成ブロックを選択する（図４に示すステップＳ５）。
The processing target
処理指示選択手段２６は、処理対象ブロック選択手段２５で選択された１つまたは複数の処理対象となる画像構成ブロックと加筆情報取得手段２４で取得した加筆情報とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じて処理指示を選択する（図４に示すステップＳ６）。以下において、画像構成ブロックと加筆情報とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じた処理指示の選択について例示的に説明する。
（１）処理指示選択手段２６は、加筆情報が処理対象の画像構成ブロックの領域と交差するか否かに従って処理指示を選択する。具体的には、加筆した線分、閉曲線などが画像構成ブロックと交差するか否かによって、元原稿画像情報上の画像構成ブロックの削除、または強調表示を行う。原稿の一部に図（画像構成ブロック）が描かれており、図部分と加筆情報が多く交わっている場合には、利用者はこの図を操作対象としたいことが予測できる。なお、画像内容解析手段２３によって該当図の範囲を求めることができるため、ユーザは対象とする図を正確に囲むように描画しなくても、対象図を正確に選択できる。また、文章中の文字列に対しても、該当する文字列を囲むことで範囲選択が可能である。
（２）処理指示選択手段２６は、加筆情報に含まれる画像の特徴情報であるサイズ（例えば、「丸」の大きさ、線の太さなどである）に従って異なる処理指示を選択する。具体的には、加筆された「丸」などの大きさに応じて、選択された画像構成ブロックの画像の強調レベルを変更する。これにより、簡易な操作によって画像構成ブロックの強調レベルを変更でき、紙原稿を電子化した際に、加筆内容に従って画像構成ブロックが強調され、元原稿画像情報への情報付加の利便性が向上する。
（３）処理指示選択手段２６は、加筆情報に含まれる画像の特徴情報である多重度（線分の重ね合わせ、閉曲線の重ね合わせ）に従って異なる処理指示を選択する。具体的には、画像の多重度は二重丸などである。具体的には、加筆された「丸」などの多重度（二重丸、三重丸など）に応じて、選択された画像構成ブロックの画像の強調レベルを変更する。これにより、簡易な操作によって画像構成ブロックの強調レベルを変更でき、紙原稿を電子化した際に、加筆内容に従って画像構成ブロックが強調され、元原稿画像情報への情報付加の利便性が向上する。
（４）処理指示選択手段２６は、処理対象の画像構成ブロックが文字、写真、または図であるか判別し、判別結果に従って異なる処理指示を選択する。例えば処理対象となる画像構成ブロック（文字、形態素、文、段落、図、写真など）に応じて、加筆された線や丸などの処理を変更することにより、図上の加筆線では線分が追加され、文字上の加筆線では削除が実行されるなどのように異なる処理指示を選択することができるので、加筆対象に従って元原稿画像情報への情報付加、削除の利便性が向上する。
（５）処理指示選択手段２６は、処理指示として、元原稿画像情報の削除、元原稿画像情報の表示方法の変更（フォントの拡大・縮小、強調表示）、元原稿画像情報の画像の拡大・縮小、トリミングのいずれかを選択する。
The processing instruction selection means 26 includes the contents of one or a plurality of processing target image configuration blocks selected by the processing target block selection means 25 and the retouching information acquired by the retouching information acquisition means 24, and the image configuration blocks. A processing instruction is selected according to the relative position of the information and the writing information (step S6 shown in FIG. 4). In the following, the selection of processing instructions according to the contents of the image composition block and the additional information and the relative positions of the image constituent block and the additional information will be described as an example.
(1) The processing
(2) The processing
(3) The processing
(4) The processing
(5) The processing instruction selection means 26 deletes the original document image information, changes the display method of the original document image information (font enlargement / reduction, highlighting), and enlarges / reduces the image of the original document image information. Select either reduction or trimming.
画像加工手段２７は、処理指示選択手段２６で選択された処理指示に従い、リンク情報に基づいて取得したＨＤＤ１１１８内のオリジナルの原稿画像情報を加工し、ＨＤＤ１１１８にオリジナルとして格納する（図４に示すステップＳ７）。
The image processing means 27 processes the original document image information in the
ここで、処理指示選択手段２６および画像加工手段２７における処理の一例について説明する。
Here, an example of processing in the processing
ここで、図７は加筆情報の一例を示す正面図、図８はその処理結果を示す正面図である。図７に示す例は、例えば、画像構成ブロックが文字行である場合において、行間の無地部分に書き込みをした場合（図７のＸ）と、文字の上に線をひいた場合（図７のＹ）とを示す。これらの場合においては、使用者の意図は異なってくる。前者は、その近傍部分を強調したり索引対象としたい場合が多いのに対して、後者は削除対象であったりする場合が多い。したがって、処理指示選択手段２６においては、加筆情報が処理対象の画像構成ブロックの領域と交差するか否かに従って処理指示を選択する。すなわち、図７のＸに示すように、加筆情報が処理対象の画像構成ブロックの領域と交差していない場合には、処理指示選択手段２６は加筆情報の近傍部分を強調する処理指示を選択し、画像加工手段２７は図８のＺに示すように画像構成ブロックをハイライト表示する。一方、図７のＹに示すように、加筆情報が処理対象の画像構成ブロックの領域と交差している場合には、処理指示選択手段２６は削除処理指示を選択し、画像加工手段２７は図８に示すように削除指示された画像構成ブロックを削除する。
Here, FIG. 7 is a front view showing an example of the writing information, and FIG. 8 is a front view showing the processing result. In the example shown in FIG. 7, for example, when the image configuration block is a character line, when writing in a plain portion between lines (X in FIG. 7), or when drawing a line on the character (in FIG. 7) Y). In these cases, the user's intention is different. The former often emphasizes the vicinity and makes it an index target, while the latter often is a deletion target. Accordingly, the processing instruction selection means 26 selects a processing instruction according to whether or not the additional information intersects with the area of the processing target image constituent block. That is, as indicated by X in FIG. 7, when the retouching information does not intersect the region of the image composition block to be processed, the processing
すなわち、本実施の形態においては、加筆された軌跡が、原稿（原稿画像情報）Ｄ上のどの画像構成ブロック上に位置するかを解析することで、編集対象範囲が選択できるようになっている。また、図表の周辺またはそれ自体を多く囲むことで、その図表を選択したいという意図を感じることができる。そのようなことから、手書きの加筆情報が原稿（原稿画像情報）Ｄ上のどの画像構成ブロックを通過するかにより、加筆情報の処理方法の意図を推測することができる。 That is, in the present embodiment, the edit target range can be selected by analyzing on which image configuration block on the original (original image information) D the added locus is located. . In addition, by enclosing a lot of the periphery of the chart or itself, it is possible to feel the intention to select the chart. For this reason, the intention of the processing method of the writing information can be inferred depending on which image configuration block on the original (original image information) D the handwritten additional information passes.
このように本実施の形態によれば、元原稿画像情報の校正を紙原稿上で行った場合の原稿画像情報と元原稿画像情報との差分をとることにより取得された加筆情報と当該加筆情報の原稿画像情報上の位置に基づいて選択された１つまたは複数の処理対象となる画像構成ブロック（文字、形態素、文、段落、図、写真など）とのそれぞれの内容、および画像構成ブロックと加筆情報との相対的な位置に応じて処理指示（「削除」、「強調表示」、「拡大」など）を選択し、選択された処理指示に従って元原稿画像情報の処理対象となる画像構成ブロックを加工する。これにより、元原稿画像情報の校正を紙原稿上で行った場合に、処理対象となる画像構成ブロックと加筆情報との相対的な位置に応じて処理指示を選択することで紙原稿への加筆情報をコマンドとして利用して利用者の意図を元原稿画像情報に反映させることができるようになるので、紙原稿から元原稿画像情報に対する情報付加または削除の利便性を向上させることができる。 As described above, according to the present embodiment, the retouching information acquired by obtaining the difference between the original image information and the original original image information when the original original image information is calibrated on the paper original, and the additional information. Content of image processing blocks (characters, morphemes, sentences, paragraphs, figures, photographs, etc.) to be processed and selected based on the position on the original image information, and image configuration blocks; A processing instruction (“delete”, “highlighted”, “enlarged”, etc.) is selected according to the position relative to the writing information, and an image composition block to be processed of the original document image information according to the selected processing instruction Is processed. As a result, when the original document image information is calibrated on the paper document, the processing instruction is selected according to the relative position between the image configuration block to be processed and the additional information, and the paper document is rewritten. Since the user's intention can be reflected in the original document image information using the information as a command, the convenience of adding or deleting information from the paper document to the original document image information can be improved.
ところで、上述したように、紙原稿への加筆情報を元原稿画像情報の加筆修正のためのコマンドとして利用しているが、解決せねばならない課題がある。ここで課題となるのは、加筆情報は“○”や“×”に代表されるような図形であるため、紙原稿に加筆された内容を文字として解釈するか図形として解釈するかということである。例えば、原稿に四角形が加筆されている場合、それが、“口”を意味する文字なのか“四角”を表現した図形なのかを判別する必要がある。これが問題となるのは、その結果により後処理の仕方が異なるためである。 By the way, as described above, the rewriting information on the paper document is used as a command for correcting the rewriting of the original document image information, but there is a problem to be solved. The issue here is that the retouching information is a graphic such as “○” or “×”, so whether the content added to the paper manuscript should be interpreted as text or as a graphic. is there. For example, when a square is added to the document, it is necessary to determine whether it is a character that means “mouth” or a graphic that represents “square”. This is a problem because the method of post-processing differs depending on the result.
そこで、加筆情報取得手段２４においては、取得した加筆情報（差分）について、文字として解釈するか図形として解釈するかを判定するようにしている。この点について、以下において詳述する。
Therefore, the retouching
図９は、加筆情報取得手段２４における判定処理の流れを示すフローチャートである。図９に示すように、まず、取得した加筆情報（差分）が画像構成ブロック“文字行”と交わるか、もしくは画像構成ブロック“文字行”の近傍に位置しているかを判定する（ステップＳ１１）。加筆情報（差分）が画像構成ブロック“文字行”と交わっておらず、画像構成ブロック“文字行”の近傍に位置していないと判定した場合には（ステップＳ１１のＮｏ）、加筆情報の大きさが画像構成ブロック“文字”の大きさと近似しているか否かを判定する（ステップＳ１２）。
FIG. 9 is a flowchart showing the flow of determination processing in the additional
加筆情報（差分）が画像構成ブロック“文字行”と交わっている、もしくは画像構成ブロック“文字行”の近傍に位置していると判定した場合（ステップＳ１１のＹｅｓ）、または、加筆情報の大きさが画像構成ブロック“文字”の大きさと近似していると判定した場合には（ステップＳ１２のＹｅｓ）、取得した加筆情報を文字とみなす（ステップＳ１３）。 When it is determined that the retouching information (difference) intersects with the image composition block “character line” or is located near the image composition block “character line” (Yes in step S11), or the size of the retouching information Is determined to be close to the size of the image composition block “character” (Yes in step S12), the acquired writing information is regarded as a character (step S13).
一方、加筆情報の大きさが画像構成ブロック“文字”の大きさと近似していないと判定した場合には（ステップＳ１２のＮｏ）、取得した加筆情報を図形とみなす（ステップＳ１４）。 On the other hand, when it is determined that the size of the retouching information is not close to the size of the image composition block “character” (No in step S12), the acquired retouching information is regarded as a figure (step S14).
このように本実施の形態によれば、紙原稿上の加筆情報と原稿上の画像構成ブロックとの相対的な位置関係および大きさの近似性に従って加筆情報が文字なのか図形なのかを判別するようにしたことにより、紙原稿への加筆情報（図形）を元原稿画像情報の加筆修正のためのコマンドとして利用する場合に、利用者の意図を正確に元原稿画像情報に反映させることができるようになるので、紙原稿から元原稿画像情報に対する情報付加または削除の利便性を向上させることができる。 As described above, according to the present embodiment, it is determined whether the retouching information is a character or a graphic according to the relative positional relationship between the retouching information on the paper document and the image configuration block on the document and the closeness of the size. By doing so, the user's intention can be accurately reflected in the original manuscript image information when the rewriting information (figure) on the paper manuscript is used as a command for modifying the original manuscript image information. As a result, it is possible to improve the convenience of adding or deleting information from the paper document to the original document image information.
なお、取得した加筆情報が文字とみなされた場合には、加筆情報（文字）をコマンドとして利用せずに、加筆情報（文字）を文字認識するなどした後、元原稿画像情報に対して情報付加・置換処理される。 If the obtained retouching information is regarded as a character, the retouching information (character) is recognized as a character without using the retouching information (character) as a command, and then the original rendition image information is read. Added / replaced.
ここで、図１０のフローチャートは図９のフローチャートの変形例である。図９では加筆情報が画像構成ブロック“文字行”の「近くにある」か、加筆情報が画像構成ブロック“文字”と「大きさが近い」か、の順で判定している。図１０では、加筆情報が画像構成ブロック“文字”と「大きさが近い」か、加筆情報が画像構成ブロック“文字行”の「近くにある」か、の順で判定している。 Here, the flowchart of FIG. 10 is a modification of the flowchart of FIG. In FIG. 9, it is determined in order of whether the retouching information is “near” the image composition block “character line” or the retouching information is “close to the size” of the image composition block “character”. In FIG. 10, it is determined in order of whether the retouching information is “close to size” with the image composition block “character” or the retouching information is “near” with the image composition block “character line”.
図１０に示すように、まず、取得した加筆情報（差分）の大きさが画像構成ブロック“文字”の大きさと近似しているか否かを判定する（ステップＳ２１）。加筆情報の大きさが画像構成ブロック“文字”の大きさと近似していないと判定した場合には（ステップＳ２１のＮｏ）、加筆情報が画像構成ブロック“文字行”と交わるか、もしくは画像構成ブロック“文字行”の近傍に位置しているかを判定する（ステップＳ２２）。 As shown in FIG. 10, first, it is determined whether or not the size of the acquired writing information (difference) approximates the size of the image constituent block “character” (step S21). If it is determined that the size of the retouching information does not approximate the size of the image composition block “character” (No in step S21), the retouching information intersects with the image composition block “character line” or the image composition block. It is determined whether it is located near the “character line” (step S22).
加筆情報の大きさが画像構成ブロック“文字”の大きさと近似していると判定した場合（ステップＳ２１のＹｅｓ）、または、加筆情報が画像構成ブロック“文字行”と交わっている、もしくは画像構成ブロック“文字行”の近傍に位置していると判定した場合には（ステップＳ２２のＹｅｓ）、取得した加筆情報を文字とみなす（ステップＳ２３）。 When it is determined that the size of the retouching information is close to the size of the image composition block “character” (Yes in step S21), or the retouching information intersects with the image composition block “character line”, or the image composition If it is determined that the block is located in the vicinity of the “character line” (Yes in step S22), the acquired additional information is regarded as a character (step S23).
一方、加筆情報が画像構成ブロック“文字行”と交わっておらず、画像構成ブロック“文字行”の近傍に位置していないと判定した場合には（ステップＳ２２のＮｏ）、取得した加筆情報を図形とみなす（ステップＳ２４）。 On the other hand, when it is determined that the retouching information does not intersect with the image composition block “character line” and is not located in the vicinity of the image composition block “character line” (No in step S22), the acquired retouching information is displayed. It is regarded as a figure (step S24).
なお、本実施の形態においては、カラーデジタル複合機１０００に備えられるＨＤＤ１１１８内のオリジナルの原稿画像情報の処理対象となる画像構成ブロックを加工するようにしたが、これに限るものではなく、カラーデジタル複合機１０００に対しネットワークＩ／Ｆ部１１０４、ＵＳＢ１１２２、ＩＥＥＥ１３９４インタフェース１１２３などを介して接続される外部機器に設けられたＨＤＤなどの記憶部内のオリジナルの原稿画像情報の処理対象となる画像構成ブロックを加工することもできる。
In the present embodiment, the image composition block to be processed of the original document image information in the
なお、本実施の形態のカラーデジタル複合機１０００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。 The program executed in the color digital multifunction peripheral 1000 according to the present embodiment is a file in an installable or executable format and is a CD-ROM, flexible disk (FD), CD-R, DVD (Digital Versatile Disk). ) Or the like may be recorded and provided on a computer-readable recording medium.
また、本実施の形態によるカラーデジタル複合機１０００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態のカラーデジタル複合機１０００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the program executed in the color digital multifunction peripheral 1000 according to the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program executed by the color digital multifunction peripheral 1000 of the present embodiment may be configured to be provided or distributed via a network such as the Internet.
さらに、本実施の形態においては、画像処理装置としてＭＦＰと称されるカラーデジタル複合機１０００を適用したが、これに限るものではない。例えば、図１１に示すように、画像印刷装置であるプリンタ装置１２０２および画像読取装置であるスキャナ装置１２０４をパーソナルコンピュータ１２０１にケーブル１２０３を介して接続するとともに、この画像処理装置であるパーソナルコンピュータ１２０１のＨＤＤなどの記憶装置（図示せず）に所定のプログラムをインストールし、このプログラムに従ってパーソナルコンピュータ１２０１のＣＰＵ（図示せず）を動作させることによっても、上述したような各種の作用効果と同様の作用効果を得ることができる。
Furthermore, in the present embodiment, the color digital multifunction peripheral 1000 called MFP is applied as the image processing apparatus, but the present invention is not limited to this. For example, as shown in FIG. 11, a
［第２の実施の形態］
次に、本発明の第２の実施の形態を図１２に基づいて説明する。なお、前述した第１の実施の形態と同じ部分は同じ符号で示し説明も省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIG. The same parts as those in the first embodiment described above are denoted by the same reference numerals, and description thereof is also omitted.
本実施の形態では、加筆情報取得手段２４における加筆情報（差分）についての文字または図形の判定を、加筆情報が画像構成ブロック“文字行”の「近くにある」についての評価値と加筆情報が画像構成ブロック“文字”と「大きさが近い」についての評価値とを算出した後、各評価値に基づいて総合的に判定するようにしたものである。 In the present embodiment, the character information or figure determination for the retouching information (difference) in the retouching information acquisition means 24 is performed, and the evaluation value and the rewriting information for the retouching information is “near” the image composition block “character line”. After calculating the evaluation value for the image composition block “character” and “close to size”, the determination is comprehensively made based on each evaluation value.
図１２は、加筆情報取得手段２４における判定処理の流れを示すフローチャートである。図１２に示すように、まず、取得した加筆情報（差分）と画像構成ブロック“文字行”との近接度Ｄを求める（ステップＳ３１）。ここで、近接度Ｄとは、加筆情報と画像構成ブロック“文字行”との位置の近さのことである。加筆情報と画像構成ブロック“文字行”とが近い位置にある方が、加筆情報が文字である可能性が高いということである。
FIG. 12 is a flowchart showing a flow of determination processing in the additional
次いで、加筆情報と画像構成ブロック“文字”との近似度Ｓを求める（ステップＳ３２）。ここで、近似度Ｓとは、加筆情報と画像構成ブロック“文字”との大きさの近さのことである。加筆情報と画像構成ブロック“文字”との大きさが近い方が、加筆情報が文字である可能性が高いということである。 Next, the degree of approximation S between the writing information and the image composition block “character” is obtained (step S32). Here, the degree of approximation S is the closeness of the size between the retouched information and the image composition block “character”. The closer the size of the retouching information to the image composition block “character”, the higher the possibility that the rewriting information is a character.
続くステップＳ３３では、近接度Ｄと近似度Ｓから文字可能性Ｐを求める。文字可能性Ｐは、加筆情報が文字である可能性を示すものである。このような文字可能性Ｐは、計算により算出されるものであっても良いし、テーブルから求められるものであっても良い。 In the subsequent step S33, the character possibility P is obtained from the proximity D and the approximation S. The character possibility P indicates the possibility that the added information is a character. Such character possibility P may be calculated or calculated from a table.
本実施の形態においては、文字可能性Ｐが“０．５”以上である場合には（ステップＳ３４のＹｅｓ）、取得した加筆情報を文字とみなす（ステップＳ３５）。また、文字可能性Ｐが“０．５”未満である場合には（ステップＳ３４のＮｏ）、取得した加筆情報を図形とみなす（ステップＳ３６）。 In the present embodiment, when the character possibility P is “0.5” or more (Yes in step S34), the acquired writing information is regarded as a character (step S35). If the character possibility P is less than “0.5” (No in step S34), the acquired writing information is regarded as a graphic (step S36).
このように本実施の形態によれば、紙原稿上の加筆情報と原稿上の画像構成ブロックとの相対的な位置関係および大きさに従って加筆情報が文字なのか図形なのかを判別するようにしたことにより、紙原稿への加筆情報（図形）を元原稿画像情報の加筆修正のためのコマンドとして利用する場合に、利用者の意図を正確に元原稿画像情報に反映させることができるようになるので、紙原稿から元原稿画像情報に対する情報付加または削除の利便性を向上させることができる。 As described above, according to the present embodiment, it is determined whether the retouching information is a character or a graphic according to the relative positional relationship and size between the retouching information on the paper original and the image configuration block on the original. This makes it possible to accurately reflect the user's intention in the original manuscript image information when the retouching information (figure) on the paper manuscript is used as a command for modifying the original manuscript image information. Therefore, it is possible to improve the convenience of adding or deleting information from the paper document to the original document image information.
なお、取得した加筆情報が文字とみなされた場合には、加筆情報（文字）をコマンドとして利用せずに、加筆情報（文字）を文字認識するなどした後、元原稿画像情報に対して情報付加・置換処理される。 If the obtained retouching information is regarded as a character, the retouching information (character) is recognized as a character without using the retouching information (character) as a command, and then the original rendition image information is read. Added / replaced.
２１ 原稿画像情報生成手段
２２ 元原稿情報取得手段
２３ 画像内容解析手段
２４ 加筆情報取得手段
２５ 処理対象ブロック選択手段
２６ 処理指示選択手段
２７ 画像加工手段
１０００，１２０１ 画像処理装置
Ｃ リンク情報
Ｄ 原稿
DESCRIPTION OF
Claims (9)
前記原稿画像情報の前記リンク情報に従って、前記元原稿画像情報を取得する元原稿情報取得手段と、
前記元原稿画像情報の画像構成を定義する画像構成ブロックを解析する画像内容解析手段と、
前記原稿画像情報と前記元原稿画像情報との差分に基づいて図形として解釈される加筆情報を取得する加筆情報取得手段と、
前記加筆情報の前記原稿画像情報上の位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択手段と、
選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆情報とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択手段と、
選択された処理指示に従って前記元原稿画像情報の処理対象となる前記画像構成ブロックを加工する画像加工手段と、
を備えることを特徴とする画像処理装置。 Document image information generating means for generating document image information for a document on which original document image information and link information indicating a storage position of the original document image information are printed;
Original document information acquisition means for acquiring the original document image information according to the link information of the document image information;
Image content analysis means for analyzing an image configuration block defining an image configuration of the original document image information;
Retouching information acquisition means for acquiring retouching information that is interpreted as a graphic based on a difference between the document image information and the original document image information;
Processing target block selection means for selecting the image constituent block to be processed based on the position of the writing information on the document image information;
Processing for selecting processing instructions according to the contents of each of the selected image composition block and the additional information to be processed and the relative positions of the image constituent block and the additional information An instruction selection means;
Image processing means for processing the image constituting block to be processed in the original document image information in accordance with the selected processing instruction;
An image processing apparatus comprising:
ことを特徴とする請求項１記載の画像処理装置。 The additional information acquiring means determines whether the additional information is a character or a graphic according to a relative positional relationship between the additional information on the original and the image configuration block;
The image processing apparatus according to claim 1.
ことを特徴とする請求項１または２記載の画像処理装置。 The retouching information acquisition means determines whether the retouching information is a character or a graphic according to the relative size approximation of the retouching information on the document and the image configuration block.
The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記原稿画像情報の前記リンク情報に従って、前記元原稿画像情報を取得する元原稿情報取得機能と、
前記元原稿画像情報の画像構成を定義する画像構成ブロックを解析する画像内容解析機能と、
前記原稿画像情報と前記元原稿画像情報との差分に基づいて図形として解釈される加筆情報を取得する加筆情報取得機能と、
前記加筆情報の前記原稿画像情報上の位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択機能と、
選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆情報とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択機能と、
選択された処理指示に従って前記元原稿画像情報の処理対象となる前記画像構成ブロックを加工する画像加工機能と、
をコンピュータに実行させることを特徴とするプログラム。 A document image information generation function for generating document image information for a document on which original document image information and link information indicating the storage position of the original document image information are printed;
An original document information acquisition function for acquiring the original document image information according to the link information of the document image information;
An image content analysis function for analyzing an image configuration block defining an image configuration of the original document image information;
A retouching information acquisition function for acquiring retouching information that is interpreted as a graphic based on a difference between the original image information and the original original image information;
A processing target block selection function for selecting the image constituent block to be processed based on the position of the writing information on the original image information;
Processing for selecting processing instructions according to the contents of each of the selected image composition block and the additional information to be processed and the relative positions of the image constituent block and the additional information An instruction selection function;
An image processing function for processing the image constituent block to be processed in the original document image information in accordance with the selected processing instruction;
A program that causes a computer to execute.
ことを特徴とする請求項４記載のプログラム。 The additional information acquisition function determines whether the additional information is a character or a graphic according to a relative positional relationship between the additional information on the document and the image configuration block.
The program according to claim 4.
ことを特徴とする請求項４または５記載のプログラム。 The retouching information acquisition function determines whether the retouching information is a character or a graphic according to a relative size approximation between the retouching information on the document and the image configuration block.
6. The program according to claim 4 or 5, characterized in that:
前記原稿画像情報の前記リンク情報に従って、前記元原稿画像情報を取得する元原稿情報取得工程と、
前記元原稿画像情報の画像構成を定義する画像構成ブロックを解析する画像内容解析工程と、
前記原稿画像情報と前記元原稿画像情報との差分に基づいて図形として解釈される加筆情報を取得する加筆情報取得工程と、
前記加筆情報の前記原稿画像情報上の位置に基づいて処理対象となる前記画像構成ブロックを選択する処理対象ブロック選択工程と、
選択された１つまたは複数の処理対象となる前記画像構成ブロックと前記加筆情報とのそれぞれの内容、および前記画像構成ブロックと前記加筆情報との相対的な位置に応じて処理指示を選択する処理指示選択工程と、
選択された処理指示に従って前記元原稿画像情報の処理対象となる前記画像構成ブロックを加工する画像加工工程と、
を含むことを特徴とする画像加工方法。 A document image information generation step of generating document image information for a document on which original document image information and link information indicating a storage position of the original document image information are printed;
An original document information acquisition step of acquiring the original document image information according to the link information of the document image information;
An image content analysis step of analyzing an image configuration block defining an image configuration of the original document image information;
A rewriting information acquisition step of acquiring rewriting information interpreted as a graphic based on a difference between the original image information and the original original image information;
A processing target block selection step of selecting the image constituent block to be processed based on the position of the writing information on the document image information;
Processing for selecting processing instructions according to the contents of each of the selected image composition block and the additional information to be processed and the relative positions of the image constituent block and the additional information An instruction selection process;
An image processing step of processing the image constituent block to be processed of the original document image information according to the selected processing instruction;
An image processing method comprising:
ことを特徴とする請求項７記載の画像加工方法。 The additional information acquisition step determines whether the additional information is a character or a graphic according to a relative positional relationship between the additional information on the document and the image configuration block.
The image processing method according to claim 7.
ことを特徴とする請求項７または８記載の画像加工方法。 The retouching information acquisition step determines whether the retouching information is a character or a graphic according to the relative size approximation between the retouching information on the document and the image configuration block.
9. The image processing method according to claim 7, wherein the image processing method is performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007071494A JP4808662B2 (en) | 2007-03-19 | 2007-03-19 | Image processing apparatus, program, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007071494A JP4808662B2 (en) | 2007-03-19 | 2007-03-19 | Image processing apparatus, program, and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008236253A true JP2008236253A (en) | 2008-10-02 |
| JP4808662B2 JP4808662B2 (en) | 2011-11-02 |
Family
ID=39908515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007071494A Expired - Fee Related JP4808662B2 (en) | 2007-03-19 | 2007-03-19 | Image processing apparatus, program, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4808662B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010074447A (en) * | 2008-09-17 | 2010-04-02 | Ricoh Co Ltd | Image processing apparatus, program and image processing method |
| JP2010109479A (en) * | 2008-10-28 | 2010-05-13 | Ricoh Co Ltd | Image processing apparatus, program, and image processing method |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05244387A (en) * | 1992-02-26 | 1993-09-21 | Fuji Xerox Co Ltd | Document processor |
| JP2006109142A (en) * | 2004-10-06 | 2006-04-20 | Canon Inc | Image processing device and method therefor, and recording medium |
-
2007
- 2007-03-19 JP JP2007071494A patent/JP4808662B2/en not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05244387A (en) * | 1992-02-26 | 1993-09-21 | Fuji Xerox Co Ltd | Document processor |
| JP2006109142A (en) * | 2004-10-06 | 2006-04-20 | Canon Inc | Image processing device and method therefor, and recording medium |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010074447A (en) * | 2008-09-17 | 2010-04-02 | Ricoh Co Ltd | Image processing apparatus, program and image processing method |
| JP2010109479A (en) * | 2008-10-28 | 2010-05-13 | Ricoh Co Ltd | Image processing apparatus, program, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4808662B2 (en) | 2011-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007102545A (en) | Electronic document creation apparatus, electronic document creation method, and electronic document creation program | |
| JP4111462B2 (en) | Image forming apparatus | |
| JP4808661B2 (en) | Image processing apparatus, program, and image processing method | |
| JP2011044960A (en) | Image processing method, and image processing apparatus | |
| JP5594269B2 (en) | File name creation device, image forming device, and file name creation program | |
| US7962058B2 (en) | Image forming apparatus for determining a sheet size, an image forming method for determining a sheet size and a computer program product thereof | |
| JP2006253973A (en) | Image forming apparatus, image forming method, program and record medium | |
| JP2010098680A (en) | Image forming apparatus | |
| JP2006093917A (en) | Image reading apparatus and image processor, and image forming apparatus | |
| JP4808662B2 (en) | Image processing apparatus, program, and image processing method | |
| JP4801616B2 (en) | Image processing apparatus, program, and image processing method | |
| JP5168084B2 (en) | Image processing apparatus, program, and image processing method | |
| US8228553B2 (en) | Image processing apparatus, image processing method, and computer program product | |
| JP2008171356A (en) | Image processor, processing method, and processing program, image forming device,, and recording medium | |
| JP5119104B2 (en) | Image processing apparatus, program, and image processing method | |
| JP2007312100A (en) | Image processor | |
| JP2007166244A (en) | Document-processing apparatus, document-processing method, program and information recording medium | |
| JP2008236249A (en) | Image processing apparatus, program and image processing method | |
| JP4859385B2 (en) | Image forming apparatus, image forming system, and image forming method | |
| JP2008236252A (en) | Image processing device, program, and image process method | |
| JP5084679B2 (en) | Image processing apparatus, program, and image processing method | |
| JPH1169096A (en) | Image forming device | |
| JP6551680B2 (en) | Image forming device | |
| JP4987788B2 (en) | Data processing apparatus and program | |
| JP4172763B2 (en) | Drawing information processing method and apparatus, and image forming apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110817 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |