JP5656947B2 - Image processing program, electronic device, image forming apparatus - Google Patents

Image processing program, electronic device, image forming apparatus Download PDF

Info

Publication number
JP5656947B2
JP5656947B2 JP2012216207A JP2012216207A JP5656947B2 JP 5656947 B2 JP5656947 B2 JP 5656947B2 JP 2012216207 A JP2012216207 A JP 2012216207A JP 2012216207 A JP2012216207 A JP 2012216207A JP 5656947 B2 JP5656947 B2 JP 5656947B2
Authority
JP
Japan
Prior art keywords
image data
printed
specific
reference character
specific object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012216207A
Other languages
Japanese (ja)
Other versions
JP2014071593A (en
Inventor
修二 山下
修二 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2012216207A priority Critical patent/JP5656947B2/en
Priority to CN201310394994.5A priority patent/CN103716486B/en
Priority to US14/024,575 priority patent/US8970898B2/en
Publication of JP2014071593A publication Critical patent/JP2014071593A/en
Application granted granted Critical
Publication of JP5656947B2 publication Critical patent/JP5656947B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H04N1/00968Input arrangements for operating instructions or parameters, e.g. updating internal software by scanning marks on a sheet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/416Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Record Information Processing For Printing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、画像データに画像処理を施す電子機器、画像形成装置、及びこれらに用いられる画像処理プログラムに関するものである。   The present invention relates to an electronic device that performs image processing on image data, an image forming apparatus, and an image processing program used for these.

プリンター、コピー機、ファクシミリ装置、複合機などの画像形成装置は、入力された画像データに基づいて用紙に画像を形成する画像形成処理を実行する。例えば、画像データには、文字、数字、及び記号などで記載された文書と、図、表、写真、及びグラフなどの各種のオブジェクトとが含まれる。特に、文書には、参照するべきオブジェクトを示す「図a参照」、「表a参照」などの参照文字が含まれる。このような文書の閲覧者は、その文書を読みながら、参照文字の記載に応じて適宜オブジェクトを参照する。
なお、例えば特許文献1には、オブジェクトとそのオブジェクトに関連する関連情報とが複数ページにまたがっている場合に、それらを1ページに収めて印刷データを生成する技術が開示されている。
Image forming apparatuses such as printers, copiers, facsimile machines, and multifunction machines execute image forming processing for forming an image on paper based on input image data. For example, the image data includes a document described by letters, numbers, symbols, and various objects such as diagrams, tables, photographs, and graphs. In particular, the document includes reference characters such as “see FIG. A” and “see table a” indicating the object to be referred to. A viewer of such a document refers to the object as appropriate according to the description of the reference character while reading the document.
For example, Patent Document 1 discloses a technique for generating print data by storing them in one page when the object and related information related to the object extend over a plurality of pages.

特開2011−68060公報JP 2011-68060 A

また、用紙の両面に画像を形成する両面印刷機能を有する画像形成装置が一般に知られている。このような両面印刷機能を用いて画像データを印刷すると、一枚の用紙の表面及び裏面に参照文字及びオブジェクトが分けて印刷されることがある。この場合、文書の閲覧者は、その文書を読む際に用紙を裏返しながらオブジェクトを参照することになるため、閲覧時の負担が大きいことが問題となる。
なお、前記特許文献1には、オブジェクト及び関連情報を1ページに収めて印刷するための技術が開示されているが、画像データを両面印刷する際に用紙の表面及び裏面に参照文字及びオブジェクトが位置する場合を考慮したものではない。
従って、本発明は前記事情に鑑みてなされたものであり、その目的とするところは、両面印刷された文書の閲覧時の負担を軽減することのできる画像処理プログラム、電子機器、及び画像形成装置を提供することにある。
An image forming apparatus having a double-sided printing function for forming images on both sides of a sheet is generally known. When image data is printed using such a double-sided printing function, reference characters and objects may be printed separately on the front and back sides of a sheet of paper. In this case, since the document viewer refers to the object while turning over the paper when reading the document, there is a problem that the burden of browsing is large.
The above-mentioned patent document 1 discloses a technique for printing an object and related information in one page. However, when image data is printed on both sides, reference characters and objects are placed on the front and back sides of the paper. It does not consider the case where it is located.
Accordingly, the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image processing program, an electronic apparatus, and an image forming apparatus that can reduce the burden when browsing a double-side printed document. Is to provide.

前記目的を達成するために本発明は、コンピューターに抽出工程、特定工程、及びデータ生成工程を実行させるための画像処理プログラムである。前記抽出工程は、画像データに含まれた一又は複数のオブジェクトの位置と前記オブジェクト各々を参照する旨を示す参照文字の位置とを抽出する。前記特定工程は、前記オブジェクトのうち前記画像データが両面印刷された場合に前記オブジェクトの印刷面の裏面に前記オブジェクトに対応する前記参照文字が印刷されることになる特定オブジェクトを前記抽出工程による抽出結果に基づいて特定する。前記データ生成工程は、両面印刷された場合に前記特定オブジェクトに対応する前記参照文字とは別の用紙に印刷されることになる位置に前記特定オブジェクトをコピーした編集画像データを前記画像データに基づいて生成する。なお、前記オブジェクトは、図、表、写真、又はグラフなどである。
本発明によれば、前記編集画像データが両面印刷された文書を閲覧する閲覧者は、用紙を裏返しながら前記特定オブジェクトを参照することなく、別の用紙に印刷された前記特定オブジェクトを参照することができるため、閲覧者の負担が軽減される。
ところで、本発明は、抽出手段、特定手段、及びデータ生成手段を備える電子機器として捉えることができる。前記抽出手段は、画像データに含まれた一又は複数のオブジェクトの位置と前記オブジェクト各々を参照する旨を示す参照文字の位置とを抽出する。前記特定手段は、前記オブジェクトのうち前記画像データが両面印刷された場合に前記オブジェクトの印刷面の裏面に前記オブジェクトに対応する前記参照文字が印刷されることになる特定オブジェクトを前記抽出手段による抽出結果に基づいて特定する。前記データ生成手段は、両面印刷された場合に前記特定オブジェクトに対応する前記参照文字とは別の用紙に印刷されることになる位置に前記特定オブジェクトをコピーした編集画像データを前記画像データに基づいて生成する。
さらに、本発明は、抽出手段、特定手段、画像データ生成手段、及び両面印刷処理手段を備える画像形成装置として捉えることができる。前記抽出手段は、画像データに含まれた一又は複数のオブジェクトの位置と前記オブジェクト各々を参照する旨を示す参照文字の位置とを抽出する。前記特定手段は、前記オブジェクトのうち前記画像データが両面印刷された場合に前記オブジェクトの印刷面の裏面に前記オブジェクトに対応する前記参照文字が印刷されることになる特定オブジェクトを前記抽出手段による抽出結果に基づいて特定する。前記データ生成手段は、両面印刷された場合に前記特定オブジェクトに対応する前記参照文字とは別の用紙に印刷されることになる位置に前記特定オブジェクトをコピーした編集画像データを前記画像データに基づいて生成する。前記両面印刷処理手段は、前記データ生成手段により生成された前記編集画像データに基づいて用紙の両面に画像を形成する。
In order to achieve the above object, the present invention is an image processing program for causing a computer to execute an extraction process, a specific process, and a data generation process. The extraction step extracts the position of one or a plurality of objects included in the image data and the position of a reference character indicating that each of the objects is referred to. In the identifying step, when the image data is printed on both sides of the object, the identifying object that the reference character corresponding to the object is printed on the back side of the printing surface of the object is extracted by the extracting step. Identify based on results. The data generation step is based on the image data, edited image data obtained by copying the specific object at a position to be printed on a sheet different from the reference character corresponding to the specific object when duplex printing is performed. To generate. The object is a figure, a table, a photograph, a graph, or the like.
According to the present invention, a viewer who browses a document in which the edited image data is printed on both sides refers to the specific object printed on another sheet without turning over the sheet and referring to the specific object. Can reduce the burden on the viewer.
By the way, this invention can be grasped | ascertained as an electronic device provided with an extraction means, an identification means, and a data generation means. The extraction means extracts a position of one or a plurality of objects included in the image data and a position of a reference character indicating that each of the objects is referred to. The specifying unit extracts the specific object by which the reference character corresponding to the object is printed on the back side of the printing surface of the object when the image data is printed on both sides of the object. Identify based on results. The data generation means, based on the image data, edits image data obtained by copying the specific object at a position to be printed on a sheet different from the reference character corresponding to the specific object when duplex printing is performed. To generate.
Furthermore, the present invention can be understood as an image forming apparatus including an extracting unit, a specifying unit, an image data generating unit, and a duplex printing processing unit. The extraction means extracts a position of one or a plurality of objects included in the image data and a position of a reference character indicating that each of the objects is referred to. The specifying unit extracts the specific object by which the reference character corresponding to the object is printed on the back side of the printing surface of the object when the image data is printed on both sides of the object. Identify based on results. The data generation means, based on the image data, edits image data obtained by copying the specific object at a position to be printed on a sheet different from the reference character corresponding to the specific object when duplex printing is performed. To generate. The double-sided printing processing unit forms images on both sides of the paper based on the edited image data generated by the data generating unit.

本発明によれば、両面印刷された文書の閲覧時の負担を軽減することができる。   According to the present invention, it is possible to reduce a burden at the time of browsing a document printed on both sides.

本発明の実施の形態に係る複合機の概略構成図。1 is a schematic configuration diagram of a multifunction peripheral according to an embodiment of the present invention. 本発明の実施の形態に係る両面印刷処理の手順の一例を説明するためのフローチャート。The flowchart for demonstrating an example of the procedure of the double-sided printing process which concerns on embodiment of this invention. 入力画像データの一例を説明するための図。The figure for demonstrating an example of input image data. 本発明の実施の形態に係る両面印刷処理の実行結果の一例を説明するための図。The figure for demonstrating an example of the execution result of the double-sided printing process which concerns on embodiment of this invention. 入力画像データの一例を説明するための図。The figure for demonstrating an example of input image data. 本発明の実施の形態に係る両面印刷処理の実行結果の一例を説明するための図。The figure for demonstrating an example of the execution result of the double-sided printing process which concerns on embodiment of this invention.

以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。なお、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。   Embodiments of the present invention will be described below with reference to the accompanying drawings for understanding of the present invention. In addition, the following embodiment is an example which actualized this invention, Comprising: The thing of the character which limits the technical scope of this invention is not.

<複合機Xの概略構成>
まず、図1を参照しつつ、本発明の実施の形態に係る複合機Xの概略構成について説明する。なお、図1(A)は、前記複合機Xの模式断面図、図1(B)は、図1(A)におけるA−A矢視図である。
前記複合機Xは、画像読取部1、ADF2、画像形成部3、給紙部4、制御部5、及び操作表示部6などを備えた画像形成装置である。前記操作表示部6は、前記制御部5からの制御指示に従って各種の情報を表示し、前記制御部5に対して各種の情報を入力するタッチパネルなどである。なお、前記複合機Xは、本発明に係る電子機器及び画像形成装置の一例に過ぎない。例えばプリンター、ファクシミリ装置、及びコピー機なども本発明に係る電子機器及び画像形成装置に該当する。
<Schematic configuration of MFP X>
First, a schematic configuration of the multifunction machine X according to the embodiment of the present invention will be described with reference to FIG. 1A is a schematic cross-sectional view of the multifunction machine X, and FIG. 1B is a view taken along the line AA in FIG. 1A.
The multifunction machine X is an image forming apparatus including an image reading unit 1, an ADF 2, an image forming unit 3, a paper feeding unit 4, a control unit 5, an operation display unit 6, and the like. The operation display unit 6 is a touch panel that displays various types of information in accordance with control instructions from the control unit 5 and inputs various types of information to the control unit 5. The multifunction machine X is merely an example of an electronic apparatus and an image forming apparatus according to the present invention. For example, a printer, a facsimile machine, a copier, and the like correspond to the electronic apparatus and the image forming apparatus according to the present invention.

前記画像読取部1は、コンタクトガラス11、読取ユニット12、ミラー13、14、光学レンズ15、及びCCD(Charge Coupled Device)16などを備えた画像読取手段である。前記コンタクトガラス11は、前記画像読取部1の上面に設けられており、前記複合機Xの画像読取対象となる原稿Pが載置される透明な原稿台である。そして、前記画像読取部1は、前記制御部5によって制御されることにより、前記コンタクトガラス11上に載置された原稿Pから画像データを読み取る。
前記読取ユニット12は、LED光源121及びミラー122を備えており、ステッピングモーター等の駆動モーターを用いた不図示の移動機構によって図1(A)における左右方向(副走査方向)へ移動可能に構成されている。そして、前記駆動モーターにより前記読取ユニット12が副走査方向に移動されると、前記LED光源121から前記コンタクトガラス11上に照射される光が副走査方向に走査される。
前記LED光源121は、図1(A)における奥行き方向(主走査方向)に沿って配列された多数の白色LEDを備えており、前記コンタクトガラス11上の読取位置12Aにある原稿Pに向けて1ライン分の白色光を照射する。なお、前記読取位置12Aは、前記読取ユニット12の副走査方向への移動に伴って副走査方向に移動する。
前記ミラー122は、前記LED光源121から前記読取位置12Aにある原稿Pに光を照射したときの反射光を前記ミラー13に向けて反射させる。そして、前記ミラー122で反射した光は、前記ミラー13、14によって前記光学レンズ15に導かれる。前記光学レンズ15は、入射した光を集光して前記CCD16に入射させる。
前記CCD16は、受光した光をその光量に応じた電気信号(電圧)に変換し、画像データとして出力する光電変換素子である。具体的に、前記CCD16は、前記LED光源121から光が照射されたときに前記原稿Pから反射した光に基づいて前記原稿Pの画像データを読み取る。前記CCD16で読み取られた画像データは前記制御部5に入力される。
The image reading unit 1 is an image reading unit including a contact glass 11, a reading unit 12, mirrors 13 and 14, an optical lens 15, a CCD (Charge Coupled Device) 16, and the like. The contact glass 11 is provided on the upper surface of the image reading unit 1 and is a transparent document table on which a document P to be read by the multifunction machine X is placed. The image reading unit 1 reads image data from the document P placed on the contact glass 11 under the control of the control unit 5.
The reading unit 12 includes an LED light source 121 and a mirror 122, and is configured to be movable in the left-right direction (sub-scanning direction) in FIG. 1A by a moving mechanism (not shown) using a driving motor such as a stepping motor. Has been. When the reading unit 12 is moved in the sub-scanning direction by the drive motor, the light irradiated on the contact glass 11 from the LED light source 121 is scanned in the sub-scanning direction.
The LED light source 121 includes a number of white LEDs arranged along the depth direction (main scanning direction) in FIG. 1A, and faces the document P at the reading position 12A on the contact glass 11. Irradiate one line of white light. Note that the reading position 12A moves in the sub-scanning direction as the reading unit 12 moves in the sub-scanning direction.
The mirror 122 reflects reflected light toward the mirror 13 when light is emitted from the LED light source 121 to the document P at the reading position 12A. The light reflected by the mirror 122 is guided to the optical lens 15 by the mirrors 13 and 14. The optical lens 15 collects incident light and makes it incident on the CCD 16.
The CCD 16 is a photoelectric conversion element that converts received light into an electrical signal (voltage) corresponding to the amount of light and outputs it as image data. Specifically, the CCD 16 reads the image data of the document P based on the light reflected from the document P when light is emitted from the LED light source 121. Image data read by the CCD 16 is input to the control unit 5.

前記ADF2は、原稿セット部21、複数の搬送ローラー22、原稿押さえ23、及び排紙部24などを備えた自動原稿送り装置である。前記ADF2は、前記複合機Xの筐体によって前記コンタクトガラス11に対して開閉可能に支持されており、前記コンタクトガラス11のカバーを兼ねている。
前記ADF2は、前記搬送ローラー22各々を不図示のモーターで駆動させることにより、前記原稿セット部21にセットされた原稿Pを前記コンタクトガラス11上の読取位置12Aを通過させて前記排紙部24まで搬送させる。この際に、前記画像読取部1により前記読取位置12Aを通過する原稿Pから画像データが読み取られる。
前記原稿押さえ23は、前記コンタクトガラス11上の読取位置12Aの上方に原稿Pが通過できる間隔を隔てた位置に設けられている。前記原稿押さえ23は、主走査方向に長尺状を成しており、その下面(コンタクトガラス11側の面)には白色のシートが貼り付けられている。前記複合機Xでは、前記白色のシートの画像データが白色基準データとして読み取られる。そして、前記白色基準データは、周知のシェーディング補正などで用いられる。
The ADF 2 is an automatic document feeder including a document setting unit 21, a plurality of conveyance rollers 22, a document pressing unit 23, a paper discharge unit 24, and the like. The ADF 2 is supported by the housing of the multifunction machine X so as to be openable and closable with respect to the contact glass 11, and also serves as a cover for the contact glass 11.
The ADF 2 drives each of the transport rollers 22 by a motor (not shown), thereby allowing the document P set on the document setting unit 21 to pass through the reading position 12A on the contact glass 11 and the sheet discharge unit 24. Transport to. At this time, the image reading unit 1 reads image data from the document P passing through the reading position 12A.
The document presser 23 is provided at a position above the reading position 12A on the contact glass 11 at an interval through which the document P can pass. The document retainer 23 is long in the main scanning direction, and a white sheet is attached to the lower surface (the surface on the contact glass 11 side). In the multifunction machine X, the image data of the white sheet is read as white reference data. The white reference data is used for known shading correction and the like.

前記画像形成部3は、前記画像読取部1で読み取られた画像データ、又は外部のパーソナルコンピューター等の情報処理装置から入力された画像データに基づいて画像形成処理(印刷処理)を実行する電子写真方式の画像形成手段である。
具体的に、前記画像形成部3は、感光体ドラム31、帯電装置32、LSU(レーザスキャナユニット)33、現像装置34、転写ローラー35、除電装置36、定着ローラー37、及び加圧ローラー38などを備えている。そして、前記画像形成部3では、前記給紙部4から供給される用紙に以下の手順で画像が形成される。
まず、前記帯電装置32によって前記感光体ドラム31が所定の電位に一様に帯電される。次に、前記LSU33により前記感光体ドラム31の表面に画像データに基づく光が照射される。これにより、前記感光体ドラム31の表面に静電潜像が形成される。そして、前記感光体ドラム31上の静電潜像は前記現像装置34によってトナー像として現像(可視像化)される。なお、前記現像装置34には、着脱可能なトナーコンテナ34Aからトナー(現像剤)が補給される。続いて、前記感光体ドラム31に形成されたトナー像は前記転写ローラー35によって用紙に転写される。その後、用紙に転写されたトナー像は、その用紙が前記定着ローラー37及び前記加圧ローラー38の間を通過する際に前記定着ローラー37で加熱されて溶融定着する。なお、前記感光体ドラム31の電位は前記除電装置36で除電される。
The image forming unit 3 performs an image forming process (printing process) based on image data read by the image reading unit 1 or image data input from an information processing apparatus such as an external personal computer. This is an image forming unit of the type.
Specifically, the image forming unit 3 includes a photosensitive drum 31, a charging device 32, an LSU (laser scanner unit) 33, a developing device 34, a transfer roller 35, a static eliminating device 36, a fixing roller 37, a pressure roller 38, and the like. It has. The image forming unit 3 forms an image on the sheet supplied from the sheet feeding unit 4 according to the following procedure.
First, the photosensitive drum 31 is uniformly charged to a predetermined potential by the charging device 32. Next, the LSU 33 irradiates the surface of the photosensitive drum 31 with light based on image data. As a result, an electrostatic latent image is formed on the surface of the photosensitive drum 31. The electrostatic latent image on the photosensitive drum 31 is developed (visualized) as a toner image by the developing device 34. The developing device 34 is supplied with toner (developer) from a removable toner container 34A. Subsequently, the toner image formed on the photosensitive drum 31 is transferred onto a sheet by the transfer roller 35. Thereafter, the toner image transferred to the sheet is heated and fixed by the fixing roller 37 when the sheet passes between the fixing roller 37 and the pressure roller 38. The potential of the photosensitive drum 31 is neutralized by the neutralization device 36.

前記給紙部4は、用紙搬送経路40、給紙カセット41、42、手差しトレイ43、複数の搬送ローラー44、排紙トレイ45、搬送切替部46、用紙反転機構47、及び複数の搬送ローラー48などを備えている。前記給紙部4は、前記制御部5によって制御されることにより、前記給紙カセット41、42に収容された用紙、又は前記手差しトレイ43に載置された用紙を、前記画像形成部3を通過させて前記排紙トレイ45に搬送する。
前記用紙搬送経路40は、前記給紙カセット41、42又は前記手差しトレイ43から前記画像形成部3を経て前記排紙トレイ45に続いており、前記搬送ローラー44各々によって用紙が搬送される際の用紙搬送経路である。
前記給紙カセット41、42各々には、不図示の駆動モーターによって駆動され、前記給紙カセット41、42から用紙を取り出すピックアップローラー41A、42Aが設けられている。また、前記手差しトレイ43には、不図示の駆動モーターによって駆動され、前記手差しトレイ43から用紙を取り出すピックアップローラー43Aが設けられている。
複数の前記搬送ローラー44は、前記制御部5によって駆動が制御される不図示の駆動モーターにギアなどの駆動伝達部を介して連結されている。そして、複数の前記搬送ローラー44は、用紙を挟持した状態で不図示の駆動モーターによって回転駆動されることにより前記用紙搬送経路40上において用紙を搬送する。
前記搬送切替部46は、前記用紙搬送経路40上の用紙の搬送先を前記排紙トレイ45と前記用紙反転機構47に続く両面搬送経路40Aとのいずれかに切り替える。前記両面搬送経路40Aは、複数の前記搬送ローラー48によって前記搬送切替部46から前記画像形成部3に用紙を再度搬送させるための用紙搬送経路である。なお、前記搬送切替部46は、例えば前記制御部5によって駆動が制御されるソレノイド等の駆動手段と、前記駆動手段によって作動して前記用紙搬送経路40上の用紙の搬送先を前記排紙トレイ45又は前記用紙反転機構47に切り替える切替爪とを備えている。
前記用紙反転機構47は、前記両面搬送経路40Aで搬送される用紙の表裏面を反転させるものである。これにより、前記画像形成部3では、前記用紙反転機構47を経て搬送された用紙の裏面に画像形成処理が施される。従って、前記複合機Xでは、前記両面搬送経路40A及び前記用紙反転機構47などを用いることにより、用紙の両面に画像を形成する両面印刷を実行する両面印刷機能が具現される。
The paper feed unit 4 includes a paper transport path 40, paper feed cassettes 41 and 42, a manual feed tray 43, a plurality of transport rollers 44, a paper discharge tray 45, a transport switching unit 46, a paper reversing mechanism 47, and a plurality of transport rollers 48. Etc. The paper feed unit 4 is controlled by the control unit 5 so that the paper stored in the paper feed cassettes 41 and 42 or the paper placed on the manual feed tray 43 is transferred to the image forming unit 3. The paper is passed through and conveyed to the paper discharge tray 45.
The paper transport path 40 continues from the paper feed cassettes 41 and 42 or the manual feed tray 43 to the paper discharge tray 45 through the image forming unit 3, and the paper is transported by the transport rollers 44. This is a paper conveyance path.
Each of the paper feed cassettes 41 and 42 is provided with pickup rollers 41A and 42A that are driven by a drive motor (not shown) and take out paper from the paper feed cassettes 41 and 42. The manual feed tray 43 is provided with a pickup roller 43 </ b> A that is driven by a drive motor (not shown) to take out paper from the manual feed tray 43.
The plurality of transport rollers 44 are connected to a drive motor (not shown) whose drive is controlled by the control unit 5 via a drive transmission unit such as a gear. The plurality of transport rollers 44 transport the paper on the paper transport path 40 by being rotationally driven by a drive motor (not shown) while the paper is sandwiched.
The transport switching unit 46 switches the paper transport destination on the paper transport path 40 to either the paper discharge tray 45 or the double-sided transport path 40 A following the paper reversing mechanism 47. The double-sided conveyance path 40A is a sheet conveyance path for causing the plurality of conveyance rollers 48 to convey the sheet from the conveyance switching unit 46 to the image forming unit 3 again. The transport switching unit 46 is operated by the driving unit such as a solenoid whose driving is controlled by the control unit 5 and the driving unit, and the transport destination of the paper on the paper transport path 40 is set to the discharge tray. 45 or a switching claw for switching to the paper reversing mechanism 47.
The paper reversing mechanism 47 is for reversing the front and back surfaces of the paper conveyed by the double-sided conveyance path 40A. As a result, in the image forming unit 3, an image forming process is performed on the back surface of the sheet conveyed through the sheet reversing mechanism 47. Therefore, in the multifunction machine X, the duplex printing function for executing duplex printing for forming images on both sides of the paper is realized by using the duplex transport path 40A, the paper reversing mechanism 47, and the like.

前記制御部5は、CPU、ROM、RAM、及びEEPROMなどの制御機器を有している。そして、前記制御部5は、前記ROMに記憶された所定の制御プログラムを前記CPUで実行することにより、前記複合機Xを統括的に制御する。また、前記RAMは揮発性の記憶手段、前記EEPROMは不揮発性の記憶手段であって、例えば前記CPUが実行する各種の処理の一時記憶手段として利用される。なお、前記制御部5は、集積回路(ASIC、DSP)などの電子回路で構成されたものであってもよい。
また、前記ROMには、前記CPU等のコンピューターに後述の両面印刷処理(図2のフローチャート参照)を実行させるための画像処理プログラムが予め記憶されている。なお、前記画像処理プログラムは、CD、DVD、半導体メモリー(フラッシュメモリー)などのコンピューターが読み取り可能な記録媒体に記録されており、前記記録媒体から前記EEPROM或いは前記複合機Xが備える不図示のハードディスク等の記憶手段にインストールされるものであってもよい。本発明は、前記画像処理プログラムが記録されたコンピューター読み取り可能な記録媒体として捉えてもよい。
The control unit 5 includes control devices such as a CPU, a ROM, a RAM, and an EEPROM. Then, the control unit 5 performs overall control of the multifunction machine X by executing a predetermined control program stored in the ROM by the CPU. The RAM is a volatile storage unit, and the EEPROM is a non-volatile storage unit, and is used as a temporary storage unit for various processes executed by the CPU, for example. The control unit 5 may be configured by an electronic circuit such as an integrated circuit (ASIC, DSP).
The ROM stores in advance an image processing program for causing a computer such as the CPU to execute double-sided printing processing (see the flowchart in FIG. 2) described later. The image processing program is recorded on a computer-readable recording medium such as a CD, a DVD, or a semiconductor memory (flash memory), and a hard disk (not shown) provided in the EEPROM or the multifunction device X from the recording medium. It may be installed in a storage means such as. The present invention may be understood as a computer-readable recording medium on which the image processing program is recorded.

<両面印刷処理>
以下、図2のフローチャートを参照しつつ、前記複合機Xにおいて前記制御部5が実行する両面印刷処理の手順の一例について説明する。なお、前記制御部5によって実行される各処理工程をステップS1、S2、・・・と称する。
前記両面印刷処理は、例えば前記操作表示部6のユーザー操作、又は外部の情報処理装置のユーザー操作により両面印刷機能が有効に設定され、複数ページに亘る画像データの印刷要求が行われた場合に前記制御部5によって実行される。なお、前記画像データは、前記画像読取部1で読み取られた画像データ、又は外部のパーソナルコンピューターなどの情報処理装置から入力された画像データである。
<Double-sided printing process>
Hereinafter, an example of a double-sided printing process executed by the control unit 5 in the multifunction machine X will be described with reference to the flowchart of FIG. In addition, each process performed by the said control part 5 is called step S1, S2, ....
The double-sided printing process is performed when, for example, a double-sided printing function is enabled by a user operation of the operation display unit 6 or a user operation of an external information processing apparatus and a print request for image data over a plurality of pages is made. It is executed by the control unit 5. The image data is image data read by the image reading unit 1 or image data input from an information processing apparatus such as an external personal computer.

(ステップS1)
まず、ステップS1において、前記制御部5は、両面印刷の印刷対象として入力された複数ページに亘る画像データ(以下、「入力画像データ」と称する)を解析して、前記入力画像データに含まれたオブジェクト及び文字を抽出する。なお、前記ステップS1の解析処理は、例えば従来周知のOCR(Optical Character Reader)処理及び画像認識処理などを用いて行えばよいため、ここでは説明を省略する。
より具体的に、前記制御部5は、前記入力画像データに含まれた一又は複数のオブジェクトの位置と前記オブジェクト各々を参照する旨を示す参照文字の位置とを抽出する。このとき、前記制御部5は、前記オブジェクト各々を識別するために前記オブジェクト各々に付された識別文字を前記オブジェクト各々の位置として抽出する。ここに、係る処理が抽出工程に相当し、係る処理を実行するときの前記制御部5が抽出手段に相当する。なお、前記オブジェクトの位置及び前記参照文字の位置は、少なくとも前記入力画像データにおけるページ番号に関する情報である。
前記オブジェクトは、前記入力画像データに含まれる図、表、写真、グラフなどである。また、前記識別文字は、前記入力画像データにおいて前記オブジェクトの上下左右又は前記オブジェクト内部に記載されている例えば「図a」、「表a」、「写真a」、「グラフa」などの文字である。さらに、前記参照文字は、前記入力画像データにおいて前記識別文字と別の箇所に記載された文字列に含まれる例えば「図a参照」、「表a参照」、「写真a参照」、「グラフa参照」などの文字である。即ち、前記制御部5は、「参照」との記載により前記参照文字である旨を判断する。また、前記制御部5が、(図a)、(表a)のように前記識別文字が括弧書きされた文字を前記参照文字として抽出することも考えられる。
なお、前記入画像データがページの概念のないデータである場合には、両面印刷で用いる用紙サイズによって前記オブジェクトの位置などが変化するため、前記制御部5は、前記両面印刷の要求時に指定された用紙サイズで印刷した場合のシミュレーション結果の画像データを作成し、その画像データに基づいて当該両面印刷処理の各処理を実行する。
(Step S1)
First, in step S1, the control unit 5 analyzes image data (hereinafter referred to as “input image data”) over a plurality of pages input as a printing target for double-sided printing, and is included in the input image data. Extracted objects and characters. Note that the analysis processing in step S1 may be performed using, for example, conventionally known OCR (Optical Character Reader) processing, image recognition processing, and the like, and thus description thereof is omitted here.
More specifically, the control unit 5 extracts the positions of one or more objects included in the input image data and the positions of reference characters indicating that each of the objects is referred to. At this time, the control unit 5 extracts an identification character given to each object in order to identify each object as a position of each object. Here, such processing corresponds to an extraction step, and the control unit 5 when executing such processing corresponds to extraction means. Note that the position of the object and the position of the reference character are information on at least a page number in the input image data.
The object is a figure, table, photograph, graph, or the like included in the input image data. Further, the identification character is a character such as “Figure a”, “Table a”, “Photo a”, “Graph a”, etc., which is described in the input image data in the top, bottom, left and right of the object or inside the object. is there. Further, the reference character is included in a character string described in a different place from the identification character in the input image data, for example, “see FIG. A”, “see table a”, “see photo a”, “graph a” Characters such as “reference”. That is, the control unit 5 determines that the reference character is based on the description “reference”. It is also conceivable that the control unit 5 extracts a character in which the identification character is written in parentheses as shown in (a) and (a) in FIG.
If the input image data is data that does not have the concept of a page, the position of the object changes depending on the paper size used for double-sided printing. Therefore, the control unit 5 is designated when the double-sided printing is requested. The image data of the simulation result when printing is performed with the selected paper size is created, and each process of the duplex printing process is executed based on the image data.

(ステップS2)
次に、ステップS2において、前記制御部5は、前記ステップS1による抽出結果に基づいて、前記オブジェクトのうち前記入力画像データが両面印刷された場合に前記オブジェクトの印刷面の裏面に前記オブジェクトに対応する前記参照文字が印刷されることになる一又は複数の特定オブジェクトを特定する。即ち、前記制御部5は、前記入力画像データに基づいて両面印刷が実行されたときの結果を予測し、前記識別文字の位置と前記識別文字を含む前記参照文字の位置とが同じ用紙の表面及び裏面に分かれている場合に、その識別文字に対応するオブジェクトを前記特定オブジェクトとして特定する。ここに、係る処理が特定工程に相当し、係る処理を実行するときの前記制御部5が特定手段に相当する。
具体的に、前記制御部5は、前記オブジェクトのうち前記オブジェクトに対応する前記識別文字の印刷面の裏面に前記識別文字を含む前記参照文字が存在する場合に前記オブジェクトが特定オブジェクトであると特定する。例えば、前記入力画像データをそのまま両面印刷した場合に、用紙の表面に識別文字「図a」が印刷され、用紙の裏面に参照文字「図a参照」が印刷される場合には、その識別文字「図a」に対応する図aのオブジェクトが前記特定オブジェクトとして特定される。
(Step S2)
Next, in step S2, the control unit 5 corresponds to the object on the back side of the printing surface of the object when the input image data of the object is printed on both sides based on the extraction result in step S1. One or more specific objects on which the reference characters to be printed are specified. That is, the control unit 5 predicts a result when double-sided printing is performed based on the input image data, and the position of the identification character and the position of the reference character including the identification character are the same on the surface of the sheet. And an object corresponding to the identification character is specified as the specific object. This process corresponds to a specific process, and the control unit 5 when executing the process corresponds to a specifying unit.
Specifically, the control unit 5 specifies that the object is a specific object when the reference character including the identification character exists on the back side of the printing surface of the identification character corresponding to the object among the objects. To do. For example, when the input image data is directly printed on both sides, the identification character “Fig. A” is printed on the front side of the paper, and the reference character “see FIG. A” is printed on the back side of the paper. The object of FIG. A corresponding to “FIG. A” is specified as the specific object.

(ステップS3)
そして、ステップS3において、前記制御部5は、前記特定オブジェクトが存在するか否かを判断する。即ち、前記ステップS3において、前記制御部5は、前記入力画像データが両面印刷されるときに一枚の用紙の表面及び裏面に分かれて印刷される前記オブジェクト及び前記参照文字が存在するか否かを判断する。
ここで、前記制御部5は、前記特定オブジェクトが存在すると判断した場合(S3のYes側)、処理をステップS4に移行させる。一方、前記制御部5は、前記特定オブジェクトが存在しないと判断した場合(S3のNo側)、処理を後述のステップS11に移行させて前記入力画像データに基づく両面印刷動作を実行する。
(Step S3)
In step S3, the control unit 5 determines whether or not the specific object exists. That is, in step S3, the control unit 5 determines whether or not the object and the reference character that are printed separately on the front and back sides of one sheet exist when the input image data is printed on both sides. Judging.
Here, when it is determined that the specific object exists (Yes side of S3), the control unit 5 shifts the process to step S4. On the other hand, when the control unit 5 determines that the specific object does not exist (No side of S3), the control unit 5 shifts the process to step S11 to be described later, and executes a double-sided printing operation based on the input image data.

(ステップS4)
そして、以下のステップS4〜S10では、前記制御部5により、前記ステップS2で特定された前記特定オブジェクト各々を前記特定オブジェクトに対応する前記参照文字とは異なるページにコピーするための処理が実行される。ここに、係る処理がデータ生成工程に相当し、係る処理を実行するときの前記制御部5がデータ生成手段に相当する。
まず、ステップS4において、前記制御部5は、前記特定オブジェクトが縮小可能なサイズであるか否かを判断する。具体的に、前記制御部5は、前記特定オブジェクトに含まれた文字のサイズが予め設定された最小サイズ以上である場合に縮小可能であると判断する。前記最小サイズは、前記特定オブジェクトを予め設定された所定の縮小率で縮小した場合に前記特定オブジェクトに含まれた文字のサイズについて予め設定された視認性が確保されるサイズとして予め設定されたサイズである。なお、前記制御部5は、前記入力画像データについてOCR処理を実行することにより前記特定オブジェクトに含まれた文字のサイズを特定することが可能である。また、前記制御部5による前記特定オブジェクトが縮小可能であるか否かの判断は、例えば前記特定オブジェクトのサイズが予め設定された所定サイズ以上であるか否かに応じて行われてもよい。さらに、前記制御部5は、前記特定オブジェクトを前記所定の縮小率で縮小した後、その縮小後の前記特定オブジェクトから文字サイズを読み取り、その文字サイズが前記最小サイズ以上である場合に縮小可能であると判断することも考えられる。また、前記特定オブジェクトに含まれた文字のサイズなどにかかわらず、前記特定オブジェクトを予め設定された所定の縮小率で縮小することも他の実施形態として考えられる。
ここで、前記制御部5は、前記特定オブジェクトが縮小可能であると判断すると(S4のYes側)、処理をステップS5に移行させる。一方、前記制御部5は、前記特定オブジェクトが縮小可能でないと判断すると(S4のNo側)、処理をステップS6に移行させる。
(Step S4)
In the following steps S4 to S10, the control unit 5 executes a process for copying each of the specific objects specified in step S2 to a page different from the reference character corresponding to the specific object. The This processing corresponds to a data generation step, and the control unit 5 when executing such processing corresponds to a data generation means.
First, in step S4, the control unit 5 determines whether or not the specific object has a size that can be reduced. Specifically, the control unit 5 determines that the character can be reduced when the size of characters included in the specific object is equal to or larger than a preset minimum size. The minimum size is a size that is set in advance as a size that ensures the visibility set in advance for the size of characters included in the specific object when the specific object is reduced at a predetermined reduction rate set in advance. It is. The control unit 5 can specify the size of characters included in the specific object by executing an OCR process on the input image data. The determination as to whether or not the specific object can be reduced by the control unit 5 may be made according to whether or not the size of the specific object is equal to or larger than a predetermined size set in advance, for example. Further, after the specific object is reduced at the predetermined reduction rate, the control unit 5 reads the character size from the reduced specific object, and can reduce the character object when the character size is equal to or larger than the minimum size. It can be considered that there is. In addition, it is conceivable as another embodiment that the specific object is reduced at a predetermined reduction rate set in advance regardless of the size of characters included in the specific object.
Here, if the said control part 5 judges that the said specific object can be reduced (Yes side of S4), it will transfer a process to step S5. On the other hand, if the said control part 5 judges that the said specific object cannot be reduced (No side of S4), it will transfer a process to step S6.

(ステップS5)
ステップS5において、前記制御部5は、前記特定オブジェクトを予め設定された所定の縮小率で縮小した縮小オブジェクトを生成する。ここで生成された前記縮小オブジェクトに含まれた文字のサイズは前記最小サイズ以上であり、前記縮小オブジェクトについて予め想定された視認性が確保されたものである。これにより、前記特定オブジェクトのコピー先のページにおける前記特定オブジェクトのサイズが縮小され、複数の前記特定オブジェクトを同じページに配置することや印刷時のトナー消費量を省減することができる。
また、このとき前記制御部5は、前記特定オブジェクトに含まれた最小の文字のサイズが前記最小サイズとなる縮小率を算出し、その縮小率で前記特定オブジェクトを縮小することも考えられる。これにより、前記特定オブジェクト内の文字のサイズが前記最小サイズとなるため、前記特定オブジェクト内の文字について予め想定した視認性を確保しつつ前記特定オブジェクトのコピー後のサイズを極力小さくすることができる。
(Step S5)
In step S5, the control unit 5 generates a reduced object obtained by reducing the specific object at a predetermined reduction rate set in advance. The size of the character included in the reduced object generated here is equal to or larger than the minimum size, and visibility assumed in advance for the reduced object is ensured. As a result, the size of the specific object in the copy destination page of the specific object is reduced, and a plurality of specific objects can be arranged on the same page, and toner consumption during printing can be reduced.
At this time, the control unit 5 may calculate a reduction ratio at which the minimum character size included in the specific object becomes the minimum size, and reduce the specific object by the reduction ratio. Thereby, since the size of the character in the specific object becomes the minimum size, the size after copying of the specific object can be made as small as possible while ensuring the visibility assumed in advance for the character in the specific object. .

(ステップS6)
次に、ステップS6において、前記制御部5は、両面印刷されるときに前記特定オブジェクトに対応する前記参照文字とは別の用紙に印刷される位置に前記特定オブジェクトをコピーした編集画像データを前記画像データに基づいて生成する。具体的に、前記制御部5は、前記特定オブジェクト又は前記縮小オブジェクトがコピーされた追加ページを前記画像データの最後に追加した編集画像データを生成する。これにより、前記編集画像データでは、前記特定オブジェクト各々が前記オブジェクトに対応する前記参照文字とは異なる用紙のページにもコピーされていることになる。
なお、前記入力画像データを両面印刷する際の最後の用紙に余白が存在する場合であって、その用紙が前記特定オブジェクトが配置された用紙とは異なる場合には、前記余白に前記特定オブジェクトがコピーされることも他の実施形態として考えられる。その他、前記追加ページは、前記入力画像データの最後に限らず前記入力画像データの最初に付加されてもよい。
(Step S6)
Next, in step S6, the control unit 5 outputs the edited image data obtained by copying the specific object to a position where it is printed on a sheet different from the reference character corresponding to the specific object when duplex printing is performed. Generated based on image data. Specifically, the control unit 5 generates edited image data in which an additional page on which the specific object or the reduced object is copied is added to the end of the image data. As a result, in the edited image data, each of the specific objects is also copied to a page of a sheet different from the reference character corresponding to the object.
In addition, when there is a margin on the last sheet when the input image data is printed on both sides, and the sheet is different from the sheet on which the specific object is arranged, the specific object is included in the margin. Copied is also conceivable as another embodiment. In addition, the additional page may be added not only to the end of the input image data but also to the beginning of the input image data.

(ステップS7)
続いて、ステップS7において、前記制御部5は、前記特定オブジェクトに対応する前記参照文字にコピー対象である旨を示す予め設定されたコピー対象情報を付加する。具体的に、前記コピー対象情報は、前記特定オブジェクトを前記追加ページにコピーしたことを示す記号として予め設定された星印などである。また、前記コピー対象情報は、前記特定オブジェクトのコピー先の追加ページのページ番号であることも考えられる。
このように前記コピー対象情報が付加された前記編集画像データに基づいて印刷が実行されると、閲覧者は、前記コピー対象情報によって前記参照文字に対応する前記特定オブジェクトが前記追加ページにコピーされていることを容易に把握することができる。なお、前記コピー対象情報は、前記特定オブジェクト、前記識別文字、前記参照文字のいずれか一つ又は複数に付加されるものであればよい。
(Step S7)
Subsequently, in step S7, the control unit 5 adds preset copy target information indicating that it is a copy target to the reference character corresponding to the specific object. Specifically, the copy target information is an asterisk set in advance as a symbol indicating that the specific object has been copied to the additional page. The copy target information may be a page number of an additional page to which the specific object is copied.
Thus, when printing is executed based on the edited image data to which the copy target information is added, the viewer copies the specific object corresponding to the reference character to the additional page by the copy target information. Can be easily grasped. The copy target information only needs to be added to one or more of the specific object, the identification character, and the reference character.

(ステップS8)
その後、ステップS8において、前記制御部5は前記ステップS2で特定された全ての前記特定オブジェクトのコピーが終了したか否かを判断する。
ここで、前記制御部5は、全ての前記特定オブジェクトのコピーが終了した場合は(S8のYes側)、処理をステップS9に移行させ、終了していない場合には(S8のNo側)、処理を前記ステップS4に戻す。
(Step S8)
Thereafter, in step S8, the control unit 5 determines whether or not copying of all the specific objects specified in step S2 is completed.
Here, when all the specific objects have been copied (Yes side of S8), the control unit 5 moves the process to step S9, and when not finished (No side of S8), The process returns to step S4.

(ステップS9)
次に、ステップS9において、前記制御部5は、複数の前記特定オブジェクトを同時に参照する旨を示す前記参照文字が存在するか否かを判断する。具体的に、前記制御部5は、「図a及び図e参照」、「図aと図eを参照」、「図a、図e参照」などの記載が存在するか否かを判断する。
ここで、前記制御部5は、複数の前記特定オブジェクトを参照する旨を示す前記参照文字が存在すると判断すると(S9のYes側)、処理をステップS10に移行させる。一方、前記制御部5は、複数の前記特定オブジェクトを参照する旨を示す前記参照文字が存在しないと判断すると(S9のNo側)、処理をステップS11に移行させる。なお、例えば予め設定された一又は複数の行に複数の前記参照文字が含まれている場合、又は予め設定された所定範囲(ブロック)内に複数の前記参照文字が含まれている場合に、後述のステップS10を実行することも他の実施形態として考えられる。
(Step S9)
Next, in step S <b> 9, the control unit 5 determines whether or not the reference character indicating that the plurality of specific objects are referred to simultaneously exists. Specifically, the control unit 5 determines whether there is a description such as “see FIG. A and FIG. E”, “see FIG. A and FIG. E”, “see FIG.
Here, when the control unit 5 determines that there is the reference character indicating that the plurality of specific objects are referred to (Yes side of S9), the process proceeds to step S10. On the other hand, when the control unit 5 determines that the reference character indicating that a plurality of the specific objects are referred to does not exist (No side of S9), the process proceeds to step S11. For example, when a plurality of reference characters are included in one or a plurality of preset lines, or when a plurality of reference characters are included in a predetermined range (block), Execution of step S10 described later is also conceivable as another embodiment.

(ステップS10)
ステップS10において、前記制御部5は、複数の前記特定オブジェクトを参照する旨を示す前記参照文字に対応する複数の前記特定オブジェクトが前記編集画像データにおいて同じページに配置されるように前記追加ページにおける前記特定オブジェクトのレイアウトを変更する。
なお、前記入力画像データにおいて複数の前記特定オブジェクトに対応する複数の前記参照文字が異なる組み合わせで複数箇所に記載されている場合、前記制御部5は、前記追加ページにおける前記特定オブジェクトのレイアウトを変更しないことも考えられる。また、前記制御部5は、その複数の組み合わせのうち出現率の高い組み合わせを優先して前記特定オブジェクト各々を同じページに配置することも考えられる。
(Step S10)
In step S <b> 10, the control unit 5 sets the plurality of specific objects corresponding to the reference characters indicating that the plurality of specific objects are referred to on the same page in the edited image data. The layout of the specific object is changed.
When the plurality of reference characters corresponding to the plurality of specific objects are described in a plurality of locations in different combinations in the input image data, the control unit 5 changes the layout of the specific object on the additional page. It is also possible not to. In addition, the control unit 5 may place each of the specific objects on the same page with priority given to a combination having a high appearance rate among the plurality of combinations.

(ステップS11)
そして、ステップS11において、前記制御部5は、前記画像形成部3を制御することにより、前記入力画像データ又は前記編集画像データに基づいて用紙の両面に画像を形成する両面印刷動作を実行する。ここに、係る処理を実行するときの前記制御部5が両面印刷処理手段に相当する。
ここで、前記編集画像データに基づいて両面印刷動作が行われた場合、その印刷結果として得られた文書では、前記入力画像データの最後に新たに前記追加ページが付加されており、前記追加ページに前記特定オブジェクトのコピーが印刷されている。従って、前記編集画像データが両面印刷された文書を閲覧する閲覧者は、用紙を裏返しながら前記特定オブジェクトを参照することなく、別の用紙に印刷された前記特定オブジェクトを参照することができるため、閲覧者の負担が軽減される。また、前記入力画像データの最後に新たな前記追加ページを追加しているため、元の前記入力画像データにおける文書のレイアウトも維持される。
(Step S11)
In step S11, the control unit 5 controls the image forming unit 3 to execute a double-sided printing operation for forming images on both sides of the paper based on the input image data or the edited image data. Here, the control unit 5 when executing such processing corresponds to double-sided printing processing means.
Here, when a double-sided printing operation is performed based on the edited image data, the additional page is newly added to the end of the input image data in the document obtained as a result of the printing, and the additional page A copy of the specific object is printed. Therefore, a viewer who browses a document on which the edited image data is printed on both sides can refer to the specific object printed on another paper without turning over the paper and referring to the specific object. The burden on the viewer is reduced. Further, since the new additional page is added at the end of the input image data, the layout of the document in the original input image data is also maintained.

以下、図3〜図6を参照しつつ、前記両面印刷処理の実行結果の例について説明する。
ここに、図3及び図5は、前記入力画像データの一例であって、図4及び図6は前記編集画像データの一例である。図3及び図5に示す前記入力画像データは、3枚目裏面に記載された参照文字が「図e参照」、「図a及び図e参照」である点が異なる。
Hereinafter, an example of the execution result of the double-sided printing process will be described with reference to FIGS.
3 and 5 are examples of the input image data, and FIGS. 4 and 6 are examples of the edited image data. The input image data shown in FIGS. 3 and 5 is different in that the reference characters written on the back side of the third sheet are “see FIG. E” and “see FIGS. A and e”.

まず、図3に示す前記入力画像データが入力された場合、前記両面印刷処理では、前記制御部5によりオブジェクトP1〜P5と、識別文字「図a」〜「図e」と、参照文字「図a参照」〜「図e参照」とが抽出される(ステップS1)。
そして、前記入力画像データが両面印刷される場合を想定すると、前記オブジェクトP1の印刷面の裏面に前記オブジェクトP1に対応する前記参照文字「図a参照」が印刷される。また、同様に、前記オブジェクトP3の印刷面の裏面に前記オブジェクトP3に対応する前記参照文字「図c参照」が印刷され、前記オブジェクトP5の印刷面の裏面に前記オブジェクトP5に対応する前記参照文字「図e参照」が印刷される。従って、前記制御部5により前記オブジェクトP1、P3、P5が前記特定オブジェクトとして特定される(ステップS2)。
そのため、前記制御部5は、前記特定オブジェクトP1、P3、P5に対応する前記参照文字「図a参照」、「図c参照」、「図e参照」とは印刷用紙が異なる追加ページに前記特定オブジェクトP1、P3、P5をコピーした編集画像データを生成する(ステップS4〜S8)。ここに、図4は、前記編集画像データの一例を示す図である。図4に示すように、前記編集画像データでは、前記入力画像データの最後に、前記特定オブジェクトP1、P3、P5がコピーされた4枚目表面及び4枚目裏面の追加ページが追加されている。また、前記編集画像データでは、前記特定オブジェクトP1、P3、P5に対応する前記参照文字「図a参照」、「図c参照」、「図e参照」に前記コピー対象情報として星印が付されている。さらに、前記オブジェクトP1は前記所定の縮小率で縮小されて前記追加ページにコピーされている。
従って、図4に示す前記編集画像データの両面印刷が行われると、その文書の閲覧者は、前記参照文字「図a参照」、「図c参照」、「図e参照」が記載された箇所を読む際に、別の用紙に印刷された前記特定オブジェクトP1、P3、P5を参照することができる。また、閲覧者は、前記コピー対象情報として付された星印により、前記参照文字「図a参照」、「図c参照」、「図e参照」に対応する前記特定オブジェクトP1、P3、P5が前記追加ページにコピーされていることを容易に把握することができる。
First, when the input image data shown in FIG. 3 is input, in the double-sided printing process, the control unit 5 causes the objects P1 to P5, the identification characters “FIG. A” to “FIG. E”, and the reference character “FIG. “refer to a” to “refer to FIG. e” are extracted (step S1).
Assuming that the input image data is printed on both sides, the reference character “see FIG. A” corresponding to the object P1 is printed on the back side of the printing surface of the object P1. Similarly, the reference character “see FIG. C” corresponding to the object P3 is printed on the back surface of the printing surface of the object P3, and the reference character corresponding to the object P5 is printed on the back surface of the printing surface of the object P5. “See FIG. E” is printed. Accordingly, the control unit 5 identifies the objects P1, P3, and P5 as the specific objects (step S2).
For this reason, the control unit 5 determines that the specific characters P1, P3, and P5 correspond to the reference characters “see FIG. A”, “see FIG. C”, and “see FIG. Edited image data obtained by copying the objects P1, P3, and P5 is generated (steps S4 to S8). FIG. 4 is a diagram showing an example of the edited image data. As shown in FIG. 4, in the edited image data, an additional page of the fourth front surface and the fourth rear surface to which the specific objects P1, P3, and P5 are copied is added at the end of the input image data. . Further, in the edited image data, the reference characters “refer to FIG. A”, “refer to FIG. C”, and “refer to FIG. ing. Further, the object P1 is reduced at the predetermined reduction rate and copied to the additional page.
Therefore, when the two-sided printing of the edited image data shown in FIG. 4 is performed, the viewer of the document places the reference characters “see FIG. A”, “see FIG. C”, and “see FIG. E”. Can be referred to, the specific objects P1, P3, and P5 printed on another sheet can be referred to. In addition, the viewer can identify the specific objects P1, P3, and P5 corresponding to the reference characters “see FIG. A”, “see FIG. C”, and “see FIG. It can be easily grasped that it has been copied to the additional page.

一方、図5に示す前記入力画像データが入力された場合、前記両面印刷処理では、前記制御部5によりオブジェクトP1〜P5と、識別文字「図a」〜「図e」と、参照文字「図a参照」〜「図a及び図e参照」とが抽出される(ステップS1)。なお、ここでは図3に示す前記入力画像データが入力された場合と異なる点のみを説明する。
具体的に、図5に示す前記入力画像データでは、3枚目裏面に二つの前記特定オブジェクトP1、P5を参照する旨を示す前記識別文字「図a及び図e参照」が記載されている。そのため、前記制御部5は、前記特定オブジェクトP1、P5が同じページに印刷されるように、前記編集画像データの前記追加ページにおける前記特定オブジェクトP1、P3、P5のレイアウトを変更する(ステップS10)。ここに、図6は、前記編集画像データのレイアウトを変更した結果の一例を示す図である。図6に示す前記編集画像データでは、4枚目表面に前記オブジェクトP1、P5が配置されており、4枚目裏面に前記オブジェクトP3が配置されている。
従って、図6に示す前記編集画像データの両面印刷が行われると、その文書の閲覧者は、前記参照文字「図a及び図e参照」が記載された箇所を読む際に、別の用紙の同じページに印刷された前記特定オブジェクトP1、P5を同時に参照することができる。
On the other hand, when the input image data shown in FIG. 5 is input, in the double-sided printing process, the control unit 5 causes the objects P1 to P5, the identification characters “FIG. A” to “FIG. E”, and the reference character “FIG. “refer to a” to “refer to FIG. a and FIG. e” are extracted (step S1). Only the differences from the case where the input image data shown in FIG. 3 is input will be described here.
Specifically, in the input image data shown in FIG. 5, the identification characters “see FIG. A and FIG. E” indicating that the two specific objects P <b> 1 and P <b> 5 are referred to are described on the back side of the third sheet. Therefore, the control unit 5 changes the layout of the specific objects P1, P3, and P5 on the additional page of the edited image data so that the specific objects P1 and P5 are printed on the same page (step S10). . FIG. 6 is a diagram showing an example of a result of changing the layout of the edited image data. In the edited image data shown in FIG. 6, the objects P1 and P5 are disposed on the front surface of the fourth sheet, and the object P3 is disposed on the back surface of the fourth sheet.
Therefore, when the two-sided printing of the edited image data shown in FIG. 6 is performed, the viewer of the document reads a different sheet of paper when reading the portion where the reference characters “see FIG. A and FIG. E” are written. The specific objects P1 and P5 printed on the same page can be referred to simultaneously.

ところで、前記実施の形態で説明した前記両面印刷処理では、前記編集画像データを生成するための画像処理工程(ステップS1〜S10)及び前記編集画像データに基づく両面印刷工程(ステップS11)が実行される場合を例に挙げて説明した。
一方、本発明は、前記ステップS1〜S10を含む前記画像処理工程を実行する電子機器、前記画像処理工程の各処理手順をコンピューターに実行させるための画像処理プログラム、及び前記画像処理プログラムが記録されたコンピューター読み取り可能な記録媒体として捉えてもよい。
例えば、前記電子機器は、パーソナルコンピューター、携帯端末、スマートフォン、タブレット型端末、スキャナー装置、又はファクシミリ装置などである。前記電子機器では、前記画像処理工程(ステップS1〜S10)が実行されることにより、両面印刷された文書の閲覧時の負担を軽減することのできる前記編集画像データを生成することが可能である。
また、前記実施の形態では、複数ページに亘る画像データの印刷要求が行われた場合に、前記制御部5によって前記画像処理工程(ステップS1〜S10)が実行される場合を例に挙げて説明した。一方、前記制御部5が、前記画像データの印刷要求が行われる前に前記画像処理工程のみを実行し、前記画像データに基づいて前記編集画像データを予め生成することも他の実施形態として考えられる。即ち、前記画像処理工程の実行タイミングは印刷要求が行われたときに限らず、例えば前記複合機X又は前記電子機器においてユーザーにより前記画像データの印刷設定が行われるときに前記画像処理工程が実行されてもよい。また、前記複合機X又は前記電子機器が、ユーザーによる所定の操作入力に応じて印刷設定とは別の画像編集処理として前記画像処理工程を実行することも考えられる。なお、このように事前に前記編集画像データが生成される場合、前記編集画像データは前記複合機X又は前記電子機器に設けられたハードディスクなどの記憶手段に記憶される。
By the way, in the double-sided printing process described in the embodiment, an image processing step (steps S1 to S10) for generating the edited image data and a double-sided printing step (step S11) based on the edited image data are executed. An example of the case has been described.
On the other hand, in the present invention, an electronic apparatus that executes the image processing process including steps S1 to S10, an image processing program for causing a computer to execute each processing procedure of the image processing process, and the image processing program are recorded. It may be considered as a computer-readable recording medium.
For example, the electronic device is a personal computer, a portable terminal, a smartphone, a tablet terminal, a scanner device, a facsimile device, or the like. The electronic device can generate the edited image data that can reduce the burden when viewing a double-side printed document by executing the image processing steps (steps S1 to S10). .
Further, in the embodiment, the case where the image processing process (steps S1 to S10) is executed by the control unit 5 when a print request for image data over a plurality of pages is made will be described as an example. did. On the other hand, the control unit 5 may execute only the image processing step before a print request for the image data is made and generate the edited image data in advance based on the image data as another embodiment. It is done. That is, the execution timing of the image processing step is not limited to when a print request is made. For example, the image processing step is executed when a print setting of the image data is performed by a user in the multifunction device X or the electronic device. May be. It is also conceivable that the multifunction device X or the electronic device executes the image processing step as an image editing process different from the print setting in response to a predetermined operation input by the user. When the edited image data is generated in advance as described above, the edited image data is stored in a storage unit such as a hard disk provided in the multifunction device X or the electronic device.

1 :画像読取部
2 :ADF
3 :画像形成部
4 :給紙部
40:用紙搬送経路
40A:両面印刷経路
41:給紙カセット
42:給紙カセット
43:手差しトレイ
44:搬送ローラー
45:排紙トレイ
46:搬送切替部
47:用紙反転機構
48:搬送ローラー
5 :制御部
6 :操作表示部
S1、S2、・・・:処理手順(ステップ)番号
X :複合機(電子機器、画像形成装置の一例)
1: Image reading unit 2: ADF
3: Image forming unit 4: Paper feed unit 40: Paper transport path 40A: Double-sided printing path 41: Paper feed cassette 42: Paper feed cassette 43: Manual feed tray 44: Transport roller 45: Paper discharge tray 46: Transport switching unit 47: Sheet reversing mechanism 48: conveying roller 5: control unit 6: operation display units S1, S2,...

Claims (9)

画像データに含まれた一又は複数のオブジェクトの位置と前記オブジェクト各々を参照する旨を示す参照文字の位置とを抽出する抽出工程と、
前記オブジェクトのうち前記画像データが両面印刷された場合に前記オブジェクトの印刷面の裏面に前記オブジェクトに対応する前記参照文字が印刷されることになる特定オブジェクトを前記抽出工程による抽出結果に基づいて特定する特定工程と、
両面印刷された場合に前記特定オブジェクトに対応する前記参照文字とは別の用紙に印刷されることになる位置に前記特定オブジェクトをコピーした編集画像データを前記画像データに基づいて生成するデータ生成工程と、
をコンピューターに実行させるための画像処理プログラム。
An extraction step of extracting a position of one or a plurality of objects included in the image data and a position of a reference character indicating that each of the objects is referred to;
Based on the extraction result of the extraction step, the specific object that the reference character corresponding to the object is printed on the back side of the printing surface of the object when the image data is printed on both sides of the object. Specific process to
A data generation step for generating, based on the image data, edited image data in which the specific object is copied to a position where the reference character corresponding to the specific object is printed on a sheet different from the reference character when double-sided printing is performed. When,
An image processing program for causing a computer to execute.
前記抽出工程は、前記オブジェクト各々を識別するために前記オブジェクト各々に付された識別文字の位置を前記オブジェクト各々の位置として抽出するものである請求項1に記載の画像処理プログラム。   The image processing program according to claim 1, wherein the extracting step extracts a position of an identification character attached to each object in order to identify each object as a position of each object. 前記データ生成工程は、前記特定オブジェクトがコピーされた追加ページを前記画像データの最後に追加して前記編集画像データを生成するものである請求項1又は2のいずれかに記載の画像処理プログラム。   The image processing program according to claim 1, wherein the data generation step generates the edited image data by adding an additional page in which the specific object is copied to the end of the image data. 前記データ生成工程は、前記特定オブジェクトを予め設定された縮小率で縮小してコピーするものである請求項1〜3のいずれかに記載の画像処理プログラム。   The image processing program according to any one of claims 1 to 3, wherein the data generation step copies the specific object with a reduction ratio set in advance. 前記データ生成工程は、前記特定オブジェクト内に含まれた文字のサイズが予め設定された最小サイズとなる縮小率で前記特定オブジェクトを縮小してコピーするものである請求項4に記載の画像処理プログラム。   5. The image processing program according to claim 4, wherein the data generation step is to copy the specific object at a reduction ratio at which a character size included in the specific object becomes a preset minimum size. . 前記データ生成工程は、複数の前記特定オブジェクトを参照する旨を示す前記参照文字が存在する場合、前記参照文字に対応する複数の前記特定オブジェクトを前記編集画像データで同じページに配置するものである請求項1〜5のいずれかに記載の画像処理プログラム。   In the data generation step, when there are the reference characters indicating that a plurality of the specific objects are referred to, the plurality of specific objects corresponding to the reference characters are arranged on the same page with the edited image data. The image processing program according to claim 1. 前記データ生成工程は、前記特定オブジェクト又は前記特定オブジェクトに対応する前記参照文字にコピー対象である旨を示す予め設定されたコピー対象情報を付加するものである請求項1〜6のいずれかに記載の画像処理プログラム。   The said data generation process adds the preset copy object information which shows that it is a copy object to the said specific character or the said reference character corresponding to the said specific object. Image processing program. 画像データに含まれた一又は複数のオブジェクトの位置と前記オブジェクト各々を参照する旨を示す参照文字の位置とを抽出する抽出手段と、
前記オブジェクトのうち前記画像データが両面印刷された場合に前記オブジェクトの印刷面の裏面に前記オブジェクトに対応する前記参照文字が印刷されることになる特定オブジェクトを前記抽出手段による抽出結果に基づいて特定する特定手段と、
両面印刷された場合に前記特定オブジェクトに対応する前記参照文字とは別の用紙に印刷されることになる位置に前記特定オブジェクトをコピーした編集画像データを前記画像データに基づいて生成するデータ生成手段と、
を備えてなる電子機器。
Extracting means for extracting the position of one or a plurality of objects included in the image data and the position of a reference character indicating that each of the objects is referred to;
Based on the extraction result of the extraction means, the specific object that the reference character corresponding to the object is printed on the back side of the printing surface of the object when the image data is printed on both sides of the object is printed. Specific means to
Data generation means for generating, based on the image data, edited image data in which the specific object is copied to a position where the reference character corresponding to the specific object is printed on a sheet different from the reference character when double-sided printing is performed. When,
An electronic device comprising:
画像データに含まれた一又は複数のオブジェクトの位置と前記オブジェクト各々を参照する旨を示す参照文字の位置とを抽出する抽出手段と、
前記オブジェクトのうち前記画像データが両面印刷された場合に前記オブジェクトの印刷面の裏面に前記オブジェクトに対応する前記参照文字が印刷されることになる特定オブジェクトを前記抽出手段による抽出結果に基づいて特定する特定手段と、
両面印刷された場合に前記特定オブジェクトに対応する前記参照文字とは別の用紙に印刷されることになる位置に前記特定オブジェクトをコピーした編集画像データを前記画像データに基づいて生成するデータ生成手段と、
前記データ生成手段により生成された前記編集画像データに基づいて用紙の両面に画像を形成する両面印刷処理手段と、
を備えてなる画像形成装置。
Extracting means for extracting the position of one or a plurality of objects included in the image data and the position of a reference character indicating that each of the objects is referred to;
Based on the extraction result of the extraction means, the specific object that the reference character corresponding to the object is printed on the back side of the printing surface of the object when the image data is printed on both sides of the object is printed. Specific means to
Data generation means for generating, based on the image data, edited image data in which the specific object is copied to a position where the reference character corresponding to the specific object is printed on a sheet different from the reference character when double-sided printing is performed. When,
Duplex printing processing means for forming images on both sides of a sheet based on the edited image data generated by the data generating means;
An image forming apparatus comprising:
JP2012216207A 2012-09-28 2012-09-28 Image processing program, electronic device, image forming apparatus Expired - Fee Related JP5656947B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012216207A JP5656947B2 (en) 2012-09-28 2012-09-28 Image processing program, electronic device, image forming apparatus
CN201310394994.5A CN103716486B (en) 2012-09-28 2013-09-03 Electronic equipment, image processing method
US14/024,575 US8970898B2 (en) 2012-09-28 2013-09-11 Image processing method, electronic apparatus, and image forming apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012216207A JP5656947B2 (en) 2012-09-28 2012-09-28 Image processing program, electronic device, image forming apparatus

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2014237917A Division JP5697792B2 (en) 2014-11-25 2014-11-25 Image processing program, electronic device, image forming apparatus
JP2014237918A Division JP5697793B1 (en) 2014-11-25 2014-11-25 Image processing program, electronic device, image forming apparatus

Publications (2)

Publication Number Publication Date
JP2014071593A JP2014071593A (en) 2014-04-21
JP5656947B2 true JP5656947B2 (en) 2015-01-21

Family

ID=50384879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012216207A Expired - Fee Related JP5656947B2 (en) 2012-09-28 2012-09-28 Image processing program, electronic device, image forming apparatus

Country Status (3)

Country Link
US (1) US8970898B2 (en)
JP (1) JP5656947B2 (en)
CN (1) CN103716486B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256138B2 (en) * 2014-03-25 2018-01-10 コニカミノルタ株式会社 Information processing apparatus, information processing method, and information processing program
CN107483543A (en) * 2017-07-18 2017-12-15 广州市中崎商业机器股份有限公司 Intelligent advertisement delivery system and method based on duplex printer distribution map
JP7283252B2 (en) * 2019-06-21 2023-05-30 コニカミノルタ株式会社 Print controller and program
JP7396032B2 (en) * 2019-12-24 2023-12-12 京セラドキュメントソリューションズ株式会社 Image forming device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001096833A (en) * 1999-09-30 2001-04-10 Canon Inc Image processor and processing method, computer readable memory
US7162084B2 (en) * 2003-01-29 2007-01-09 Microsoft Corporation System and method for automatically detecting and extracting objects in digital image data
JP2005094666A (en) * 2003-09-19 2005-04-07 Fuji Xerox Co Ltd Image output system, image processing apparatus, method, and program
JP2008187668A (en) * 2007-01-31 2008-08-14 Kyocera Mita Corp Image forming apparatus
JP4942688B2 (en) * 2008-03-19 2012-05-30 京セラミタ株式会社 Image forming apparatus, print preview image display program
JP5387285B2 (en) * 2009-09-28 2014-01-15 ブラザー工業株式会社 Printing apparatus and program
JP2011116013A (en) * 2009-12-02 2011-06-16 Canon Inc Print data layout apparatus, print data layout method, and program
JP5232836B2 (en) * 2010-07-28 2013-07-10 京セラドキュメントソリューションズ株式会社 Image forming apparatus
US9141892B2 (en) * 2010-11-22 2015-09-22 Seiko Epson Corporation Adjusting one side print data to avoid overlap with the other side print data in two-sided printing

Also Published As

Publication number Publication date
CN103716486B (en) 2016-08-17
US8970898B2 (en) 2015-03-03
CN103716486A (en) 2014-04-09
JP2014071593A (en) 2014-04-21
US20140092398A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
JP5959494B2 (en) Image processing apparatus and image processing method
JP2009122862A (en) Operation panel and electric device including the same
JP5656947B2 (en) Image processing program, electronic device, image forming apparatus
JP2009010861A (en) Document reader and image forming apparatus employing the same
JP2009017227A (en) Image processor
JP6447584B2 (en) Image reading apparatus and image forming apparatus
JP5697792B2 (en) Image processing program, electronic device, image forming apparatus
JP5697793B1 (en) Image processing program, electronic device, image forming apparatus
JP2008171356A (en) Image processor, processing method, and processing program, image forming device,, and recording medium
JP2006331161A (en) Image forming apparatus and preview display control method
JP2016165059A (en) Image processor
JP5959392B2 (en) Image forming apparatus
JP2015211423A (en) Image forming apparatus
JP6287783B2 (en) Image forming apparatus
JP5717606B2 (en) Image forming apparatus
US10218877B2 (en) Image processing apparatus, and image processing method
JP5783990B2 (en) Image processing apparatus, image processing program, and image processing method
JP2010107587A (en) Image forming apparatus
JP4602837B2 (en) Image forming apparatus and preview display control method
JP6095558B2 (en) Image processing apparatus, image processing method, and image processing program
JP6141237B2 (en) Image processing apparatus and image processing method
JP4894461B2 (en) Image forming apparatus
JP5777578B2 (en) Image reading apparatus, image forming apparatus, image reading program, and image reading method
JP2005308829A (en) Operation part display unit and image forming apparatus using the unit, and operation part display method
JP2019125851A (en) Document reading apparatus, multifunction machine, and document reading method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140722

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140723

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141125

R150 Certificate of patent or registration of utility model

Ref document number: 5656947

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees