JP4783441B2 - 画像処理装置及びスキャナ装置 - Google Patents

画像処理装置及びスキャナ装置 Download PDF

Info

Publication number
JP4783441B2
JP4783441B2 JP2009027073A JP2009027073A JP4783441B2 JP 4783441 B2 JP4783441 B2 JP 4783441B2 JP 2009027073 A JP2009027073 A JP 2009027073A JP 2009027073 A JP2009027073 A JP 2009027073A JP 4783441 B2 JP4783441 B2 JP 4783441B2
Authority
JP
Japan
Prior art keywords
data
character data
unit
document
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009027073A
Other languages
English (en)
Other versions
JP2010183478A (ja
Inventor
亮 浜田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009027073A priority Critical patent/JP4783441B2/ja
Priority to US12/690,451 priority patent/US8265335B2/en
Priority to CN201010105783.1A priority patent/CN101800831B/zh
Publication of JP2010183478A publication Critical patent/JP2010183478A/ja
Application granted granted Critical
Publication of JP4783441B2 publication Critical patent/JP4783441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00331Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing optical character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/0084Determining the necessity for prevention
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00864Modifying the reproduction, e.g. outputting a modified copy of a scanned original
    • H04N1/00867Modifying the reproduction, e.g. outputting a modified copy of a scanned original with additional data, e.g. by adding a warning message
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs
    • H04N2201/327Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs which are undetectable to the naked eye, e.g. embedded codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)

Description

本発明は、画像処理装置及びスキャナ装置に関し、より詳細には、原稿画像データにOCR(Optical Character Reader)処理を施す画像処理装置及びスキャナ装置に関する。
従来のスキャナ装置は、スキャン結果に対する利便性、とりわけ検索性を向上させることを目的として、スキャンにより得られる原稿画像データに対してOCR処理を行い、その結果を透明文字データとして原稿画像データに埋め込むことで電子化文書を得るようにしたものがある。このような処理を行うことによって、画像としてスキャンした原稿画像データに対して透明文字データ(テキストデータ)が埋め込まれ、この透明文字データによってテキスト検索が可能となる。
このような透明文字データが埋め込まれた電子化文書を用いることで、その電子化文書を表示あるいは印刷してユーザが見るときには、スキャンした原稿画像データのみを見ることになるため、ユーザは気になることはなく、かつその原稿画像データにはOCR変換された透明文字データが埋め込まれているので、その文字データを用いて検索処理が可能となる。
画像データのOCR処理による文字認識処理に係る技術に関し、例えば、特許文献1に開示された技術では、帳票に所定のフォーマットを印刷し、文字認識の対象となる文字を記入しておき、そして文字認識を行うときに認識処理の必要な範囲の最後にストップマークを記入する。文字認識装置は、ストップマークが表示された位置までの範囲で文字認識処理を行うことより、空白部分について無駄な処理がなされないようにしている。
特開平10−232904号公報
上記のように、原稿画像データに対して透明文字データを埋め込む処理は、原稿画像データの検索性を向上させるため便利である。しかしながら、一方では、ユーザが意識しないうちに透明文字データが原稿画像データに埋め込まれるため、ユーザが意図しない情報漏洩の原因となりかねない側面を併せ持っている。例えば、透明文字データが埋め込まれた原稿画像データからなる電子化文書に対し、ユーザが情報の保護を目的に原稿画像データの一部に墨塗り処理を行った場合、墨塗りと同時に透明文字データの削除が行なわれないと、埋め込まれた透明文字データから墨塗り部分の記載内容が漏洩してしまうことになる。
また、透明文字データは、主としてキーワード検索用途で利用されるものであるので、容易にキーワード検索システムによる検索対象となる。従って、単なる原稿画像データであれば検索不可能であるにもかかわらず、悪意の検索者が個人情報などの秘密情報を取得しようとした場合には、容易に検索可能となってしまう。
特許文献1では、原稿にストップマークを記入することによって無駄な文字認識処理が行われることを抑制しようとしているが、上記のように原稿画像データに埋め込まれた透明文字データによる情報漏洩の問題については何ら触れられていない。
本発明は、上述のごとき実情に鑑みてなされたものであり、原稿のフォームに応じて透明文字データの埋め込み範囲を制御することより、ユーザの操作性を欠くことなく、情報漏洩のリスクを軽減できるようにした画像処理装置と、該画像処理装置を備えたスキャナ装置とを提供することを目的とする。
上記の課題を解決するために、本発明の第1の技術手段は、入力された原稿画像データの少なくとも一部にOCR処理を行って原稿画像データを文字認識するOCR処理部と、OCR処理部で認識した文字データを透明文字データとして原稿画像データに埋め込む透明文字埋め込み部と、透明文字埋め込み部で透明文字データを埋め込む範囲を制御する制御部と、透明文字埋め込み部で透明文字データを埋め込んだ画像データからなる電子化文書データを出力する出力部と、を備え、制御部は、原稿データの特定の範囲に対する文字データの埋め込みを禁止することにより、透明文字データを埋め込む範囲を制御することを特徴としたものである。
第2の技術手段は、第1の技術手段において、入力された原稿画像データのフォームを認識するフォーム認識部を有し、制御部が、フォーム認識部により認識したフォームの認識結果に基づいて、透明文字データを埋め込む範囲を制御することを特徴としたものである。
第3の技術手段は、第2の技術手段において、制御部は、原稿画像データの特定の範囲に対するOCR処理を禁止することにより、特定の範囲に対する透明文字データの埋め込みを禁止することを特徴としたものである。
第4の技術手段は、第2の技術手段において、制御部は、OCR処理部によって認識した文字データのうち、特定の範囲の文字データについて透明文字データとしての埋め込みを禁止することを特徴としたものである。
第5の技術手段は、第3または第4の技術手段において、上記の特定の範囲が、原稿画像データの全域であることを特徴としたものである。
第6の技術手段は、第3または第4の技術手段において、上記の特定の範囲が、フォーム認識部により認識したフォームに対応して予め定められた特定の範囲であることを特徴としたものである。
第7の技術手段は、第1〜第6のいずれか1の技術手段の画像処理装置と、原稿を読み取って原稿画像データを生成するスキャナ部とを有し、スキャナ部で生成した原稿画像データを画像処理装置で処理することを特徴としたものである。
第8の技術手段は、第7の技術手段において、画像処理装置のOCR処理部により認識された文字データを、スキャナ装置の外部に送信することを禁止することを特徴としたものである。
第9の技術手段は、第の技術手段において、OCR処理部により認識した文字データを表示する表示部と、透明文字データを原稿画像データに埋め込む範囲を指定する操作入力を受け付ける操作部とを有し、透明文字埋め込み部は、操作部により指定された範囲に基づいて、OCR処理部により認識した文字データを透明文字データとして原稿画像データに埋め込むことを特徴としたものである。
第10の技術手段は、第の技術手段において、OCR処理部により認識した文字データのうち、予め指定された埋め込み禁止文字に一致する文字データを、少なくとも透明文字データとして原稿画像データに埋め込まないようにすることを特徴としたものである。
本発明によれば、原稿のフォームに応じて、透明文字データの埋め込み範囲を制御することより、ユーザの操作性を欠くことなく、情報漏洩のリスクを軽減できるようにした画像処理装置と、該画像処理装置を備えたスキャナ装置とを提供することができる。
特に本発明によれば、原稿画像データに対してフォーム認識を行って原稿画像データが特定のフォームを有していることが判定された場合には、原稿画像データの全範囲について透明文字データの埋め込みを禁止するか、もしくは原稿画像データの特定の範囲に対して透明文字データの埋め込みを禁止することにより、透明文字データの埋め込みが原因となって生じる情報漏洩のリスクを軽減することができる。また、原稿のフォームに応じてOCR処理範囲を制御することにより、OCR処理量を低減させることが可能となる。
さらに本発明よれば、認識された文字データを利用者が確認できるよう表示して、透明文字データとして原稿画像データに埋め込む範囲を利用者が指定できるようにすることで、情報漏洩させてはいけない文字部分を利用者が確認することができ、これにより、情報漏洩を確実に防止することができる。
また、認識された文字データから、所定の禁止文字データを透明文字データとして埋め込まないようにすることにより、個人情報が不用意に透明文字データとして埋め込まれることを防止することができる。
本発明が適用されるスキャナ装置の構成例を示すブロック図であり、スキャナ機能を有する複合機を例として示す図である。 複合機により読み取る原稿の一例を示す図である。 図2のフォームデータに対してユーザが書き込みを行った原稿の一例を示す図である。 図3に示す書き込み済みの原稿をスキャナ装置で読み取って電子化したときの電子化文書データを示す図である。 図4の電子化文書データに埋め込まれた透明文字データを示す図である。 透明文字データが埋め込まれた電子化文書のデータ構造を説明するための図である。 図4に示す電子化文書データの個人情報の記載部分を加工した例を示す図である。 複合機等で予め保持するフォームデータの一例を説明するための図である。 本発明によるスキャナ装置における原稿スキャンの処理の一例を説明するためのフローチャートで、複合機として構成されたスキャナ装置の処理例を示す図である。 本発明に係るスキャナ装置の更に他の実施形態を説明するための図である。
図1は、本発明が適用されるスキャナ装置の構成例を示すブロック図であり、スキャナ機能を有する複合機を例として示している。複合機1は、本発明の画像処理装置、及びスキャナ装置の実施形態を構成するものである。ここで本発明の画像処理装置は、スキャナ機能を必須の構成要件としないものであり、本発明のスキャナ装置は、上記の画像処理装置に加えてスキャナ機能(以下の画像読取部11に相当)を備えて構成されたものである。従って複合機1は、本発明のスキャナ装置の実施形態であると同時に、本発明の画像処理装置の実施形態としても機能する。画像処理装置は、スキャナで読み取られた原稿画像データを入力して画像処理を行う構成をもっている。
以下本発明の実施形態として、複合機を例にして説明するが、本発明では複合機に限定されることなく、OCR機能を備えた画像処理装置、及びOCR機能に加えてスキャナ機能を備えたスキャナ装置に本発明を適用することができる。
複合機1は、演算を行うCPU及び演算に伴う一時的な情報を記憶するRAM等からなる機器制御部14を備えている。機器制御部14には、複合機1を制御するための制御プログラム等の各種プログラムを記憶しているROMが含まれる。機器制御部14には、複合機1が行う処理を管理するための管理情報(アドレス帳や保存先リストをはじめとする各種の制御情報)を記憶するメモリである管理部17が接続されている。
また、機器制御部14には、記録用紙に記録された画像を読み取って画像データを生成する画像読取部11が接続される。この画像読取部11には、原稿台に載置された或いはADF(自動原稿送り装置)により送られた原稿の画像を画像データとして取り込むためのCCD11aと、原稿の有無を検知する原稿検知センサ11bとが設けられる。
また、機器制御部14には、記録用紙上に画像データを形成する画像形成部13が接続される。画像形成部13には、画像データを一時的に記憶するメモリ13aと、メモリ13aが記憶した画像データから画像を形成して記録用紙に記録する印字部(例えば、LSU)13bと、給紙用のトレイ(第1給紙トレイ13c,第2給紙トレイ13d)とが設けられる。そして、複合機1は、画像読取部11が生成した画像データをメモリ13aに一旦記憶させた後、印字部13bで画像を形成することができる。このようにして、複合機1は複写機として機能する。
また、機器制御部14には、ファクシミリ通信を行うFAXモデム18が接続される。このFAXモデム18は電話回線網N3に接続されている。複合機1は、画像読取部11が生成した画像データを、電話回線網N3を介して他のファクシミリ装置4へファクシミリ通信にて送信することができる。また、複合機1は、電話回線網N3を介して他のファクシミリ装置4から送信された画像データをFAXモデム18で受信し、受信した画像データから画像形成部13で画像を形成することができる。このようにして、複合機1はファクシミリ装置として機能する。
また、機器制御部14には、複合機1が外部と情報を送受信するための通信部15が接続されている。通信部15は、社内LAN等の通信ネットワークN1に接続可能であり、通信ネットワークN1には1又は複数のPC5が接続可能である。複合機1が単独で動作している通常の状態では、通信部15は通信ネットワークN1に接続されており、通信ネットワークN1を介してPC5との間で情報を交換する。
複合機1は、画像読取部11が生成した画像データを通信部15からPC5へ送信することができる。このようにして、複合機1はファイル送信機能付きスキャナ装置(ファイル転送装置)として機能する。
機器制御部14には、HD(Hard Disk)16が接続されている。HD16は、例えば、画像読取部11が生成した画像データ等の画像処理に係る画像データを記憶する。複合機1は、電子ファイリング装置として機能し、画像読取部11が生成した画像データをファイルとしてHD16に保存することもできる。また、機器制御部14には消去部19が接続される。消去部19は、機器制御部14による制御に従って、HD16に記録保持されているデータを消去する。
また、複合機1は、PC5から送信された画像データを通信部15で受信し、受信した画像データから画像形成部13で画像を形成することができる。このようにして、複合機1は印刷装置(プリンタ)として機能する。
通信ネットワークN1は、更にインターネット網等の広域通信ネットワークN2に接続される。通信部15は、電子メールに画像データを添付して送信するなどの方法により、広域通信ネットワークN2に接続されたインターネットファクシミリ装置2や外部PC3との間で、通信ネットワークN1及び広域通信ネットワークN2を介して画像データを受信することができる。このようにして、複合機1はインターネットファクシミリ装置や電子メール送信装置として機能する。
また、機器制御部14には、使用者からの保存先指定を含む操作を受け付ける操作部12が接続されている。操作部12は、使用者の操作により制御命令などの情報が入力されるタッチパネル又はテンキー等の入力部12aと、操作のために必要な情報を表示する液晶パネル等の表示部12bとを有している。
上記のような構成を有する複合機1は、画像読取部11で読み取った原稿画像データ、もしくは外部機器等から複合機1に入力した原稿画像データの文字を認識するOCR処理部と、そのOCR処理部で認識した文字データを透明文字データとして原稿画像データに埋め込む透明文字埋め込み部とを有している。OCR処理部は、画像読取部11で読み取られ、もしくは外部機器から複合機1に入力してメモリ13aに記憶された原稿画像データに対してOCR処理を施して文字(テキスト)データを得るもので、機器制御部14の制御処理により実現される。また、OCR処理によって認識した文字データを透明文字データとして原稿画像データに埋め込む処理についても機器制御部14の制御処理により実現される。印字部13bは、透明文字データを埋め込んだ画像データからなる電子化文書データを出力する本発明の出力部に該当するものである。
機器制御部14は、OCR処理によって認識した文字データのうち、透明文字データとしての埋め込みの対象とする透明文字の範囲を制御し、これにより、ユーザの操作性を欠くことなく、情報漏洩のリスクを軽減できるようにしている。ここでは、機器制御部14では、原稿画像データのフォームを認識するフォーム認識機能を有している。原稿画像データのフォームを認識するために、機器制御部14内蔵のメモリもしくは他の記憶手段(HD16など)に予め所定のフォーム(書式)データを保存しておき、機器制御部14では、メモリ13aに一時保存した原稿画像データのフォームをフォームデータと比較して、原稿画像データが所定のフォームに一致しているかどうかを判別する。つまり機器制御部14は、本発明のフォーム認識部として機能する。
そして、機器制御部14は、フォームの認識の結果に基づいて、透明文字データを埋め込む範囲を制御する。具体的には、透明文字データを埋め込む範囲の制御として、原稿画像データの特定の範囲に対してOCR処理を禁止し、特定の範囲に対する透明文字データの埋め込みを禁止する。あるいは、OCR処理によって認識した文字データのうち、特定の範囲の文字データについて透明文字データとしての埋め込みを禁止する制御を行うものであってもよい。そして、これらの制御を行うときの特定の範囲は、原稿画像データの全域としてもよく、あるいは認識したフォームに対応して予め定められた特定の範囲としてもよい。さらには、スキャンによって得られた原稿画像データを表示部に表示させ、透明文字データの埋め込みを禁止する範囲をユーザ操作により指定可能としてもよい。あるいは、OCR処理によって認識した文字データから、所定の禁止文字データを透明文字データとして埋め込まないようにしてもよい。
これにより従来例のように、原稿画像データが表面上は不可視になるように加工されているにも関わらず、その原稿画像データに透明文字データが埋め込まれる状況を回避することができる。また、副次的な効果としてOCRそのものを禁止することにより、OCRの処理量を減らすことが可能となる。
図2は、複合機1により読み取る原稿の一例を示す図である。図2に示す原稿は、予め複合機1の内部に登録したフォーム(書式)データで、そのフォームデータに対してユーザが適宜記入できるようにしたものである。なお、フォームデータは、複合機1の内部に保持する形態のみならず、外部メモリや記憶装置に保持し、適宜複合機1からアクセス可能としたものであってもよい。
この例では、「車上あらし被害報告書」として作成されたフォームデータを示している。ユーザは、複合機1や他の外部機器もしくはメモリ等(以下、単に複合機1等とする)に保持されている「車上荒らし被害報告書」を取り出して印刷し、その印刷物に対して適宜書き込みを行うことで、車上荒らし被害報告書の原稿を完成させることができる。あるいは、複合機1等に保持しているフォームデータに対して、PC等を使用して電子的に書き込みを行い、車上荒らし被害報告書を作成することができる。この書き込みデータを印刷することにより車上荒らし被害報告書の原稿が得られる。
図3は、図2のフォームデータに対してユーザが書き込みを行った原稿の一例を示す図である。図示するように、この例の「車上あらし被害報告書」には、被害者の氏名や住所、被害車両の車両ナンバーなど、個人を特定できる情報が含まれている。
図4は、図3に示す書き込み済みの原稿をスキャナで読み取って電子化したときの電子化文書データを示す図である。図3に示す書き込み済みの原稿を従来のスキャナで読み取って電子化すると、図4に示すような電子化文書データが得られる。ここで、図4の中には目に見える形では存在していないが、図4の電子化文書データには、図5に示すようなOCR結果が透明文字データの形で埋め込まれている。図5の透明文字データは、図3に示すような書き込み済みの原稿をスキャナ装置で読み取り、得られた原稿画像データにOCR処理を施すことによって生成した文字(テキスト)データである。この文字データが、透明文字データの形式で原稿画像データに埋め込まれる。透明文字データの埋め込みは、スキャナで原稿をスキャンして電子化文書データを生成するときに実行される。
図6は、透明文字データが埋め込まれた電子化文書のデータ構造を説明するための図である。図6に示す各項目を以下に説明する。
ヘッダ101には、電子化文書データのファイル形式を示す文字列とバージョン番号が含まれる。ボディ102には、表示する情報やページ情報などが記述される。相互参照表103は、クロスリファレンステーブルとして記述されるもので、サブセクションの数とそのアドレス(ファイルの先頭からのバイト数)が記述される。また、トレーラ104は、ファイルのまとめを記述し、サイズやヘッダの位置を示すものである。
ボディ102に含まれる文書情報111には、各ページの位置などを示したデータが格納される。またボディ102に含まれるnページ目データブロック(1ページ目データブロック112、2ページ目データブロック113、・・・最終ページデータブロック114を含む)には、ページ毎のデータが格納されている。
各ページのデータブロックは、画像レイヤ121、透明文字レイヤ122、及びレイヤ情報123を含んでいる。画像レイヤ121は、スキャンした画像データからなるレイヤである。また、透明文字レイヤ122は、透明な文字オブジェクトからなるレイヤである。レイヤ情報123は、レイヤの枚数や種別などを記録するものである。
図6に示すように、スキャナにより生成された原稿画像データをOCR処理することによって得られた透明文字データは、原稿画像データを含む画像レイヤ121とは異なる透明文字レイヤ122に独立して格納されている。従って、図4に示す電子化文書データの内容を公開するに当たり、個人情報の記載部分を例えば図7に示すように墨塗りにより加工して、個人情報を秘匿しようとしても、透明文字データとして図5の内容が電子化文書データに埋め込まれたままであれば、その透明文字データから、保護すべき情報が漏洩してしまうこととなる。
本発明に係る実施形態では、上記のような情報の漏洩を抑制するために、複合機1等で予め保持するフォームデータに対して、保護すべき情報が書き込まれる領域を予め定めておき、そのフォームデータが印刷された原稿をスキャナで読み込んだときに、保護すべき情報が書き込まれる領域には透明文字データを作成しないようにする。
この場合、複合機1等に保持しているフォームデータと、スキャナで読み込んだ原稿画像データのフォームとを比較し、複合機1等で保持しているフォームデータと同じフォームの原稿が読み込まれたものと認識した場合、そのフォームデータに保護すべき特定の範囲が設定されていれば、その特定の範囲には透明文字データを作成しないようにする。
特定の範囲としては、原稿画像データ全体を設定することができる。つまり複合機1等で保持しているフォームデータに一致するフォームの原稿画像データの場合には、その原稿画像データには透明文字データの埋め込みを行わないようにすることができる。
また他の例では、上記の特定の範囲として、複合機1等で保持しているフォームデータに対応して予め定められた特定の範囲を適用することができる。つまり複合機1等で保持しているフォームデータに一致するフォームの原稿画像データの場合には、そのフォームデータに対応して予め定められている特定の範囲には、透明文字データの埋め込みを行わないようにする。
以下、本発明における原稿のスキャンと後処理の実施形態について概略を説明する。まず、スキャナ装置によってスキャンされた原稿は、複合機1等に保持されているフォームデータとの比較処理により、所定のフォームで記載された原稿であるか否かが認識される。ここで例えば、図2のフォームの原稿がスキャンされたことが認識されたものとする。
図8は、複合機1等で予め保持するフォームデータの一例を説明するための図である。本発明に係る実施形態では、複合機1等で予め保持するフォームデータにおいて、フォームのどの属性フィールドの領域に保護すべき情報が記載されているかについての情報も入力されている。この例の「車上あらし被害報告書」の場合には、決裁用の捺印欄201、部門長(報告者)と所属先等の記入欄202、被害者情報の記入欄203、被害場所の駐車場番号の記入欄204、及び被害車両番号の記入欄205について、保護すべき情報が記載される領域であることを示す情報がフォームデータに入力され保持されている。
上記の情報をもとに、本発明に係る一実施形態では、OCR処理及び透明文字データの埋め込みの範囲を制御する。ここでは、少なくともフォーム内で保護が必要な領域として予め登録されている領域については、OCR処理及び透明文字データの埋め込み動作を禁止する。これにより従来例のように表面上は不可視になるように加工されているにも関わらず、透明文字データが埋め込まれる状況を回避することができる。また、副次的な効果としてOCRそのものを禁止することで、OCRの処理量を減らすことが可能となる。この例は、OCR処理と透明文字データの埋め込みを禁止する特定の範囲が、フォームに対応して予め定められた特定の範囲である場合の例である。
図9は、本発明によるスキャナ装置における原稿スキャンの処理の一例を説明するためのフローチャートで、上記の複合機1として構成されたスキャナ装置の処理例を示すものである。
複合機1では、ユーザからの原稿読み取り指示に従って原稿の読み取り動作を行う(ステップS1)。そして複合機1では、読み取った原稿画像データに基づいてフォーム認識処理を行う(ステップS2)。ここでは、複合機1は、読み取った原稿画像データと、複合機1等に保持しているフォームデータとを比較して、一致するものがあるか判断する。なお、フォームデータと比較する原稿画像データは、複合機1のスキャナ(画像読取部)で読み取った画像データのみならず、外部機器や外部メモリなどから入力された画像データであってもよい。
そして、複合機1では、原稿画像データとフォデータとを比較した結果一致するフォームがなく、フォーム認識に成功しなかった場合には(ステップS3−No)、通常処理、すなわち、読み込んだもしくは入力した原稿画像データの全域にわたってOCR処理を行い、OCR結果を透明文字データとして原稿画像データに埋め込み、電子化文書データを得る(ステップS6)。
一方、複合機1は、読みとった原稿画像データと、スキャナ装置等に保持しているフォームデータとが一致するものがあり、フォーム認識が成功したものと判定した場合には(ステップS3―Yes)、さらにフォーム認識が成功したフォームデータに保護属性が設定されているフィールドがあるかどうかを判別する(ステップS4)。ここで、保護属性が設定されたフィールドがない場合には、ステップS6に進んで上述したごとくの通常の処理を実行する。
また、フォーム認識が成功したフォームデータに保護属性が設定されているフィールドがあれば、その保護属性フィールドの画像領域に対する透明文字データの埋め込みを禁止し、保護属性が設定されていないその他の領域についてのみ透明文字データの埋め込みを行なう(ステップS5)。
なお、上記の例において、透明文字データの埋め込みを禁止する特定の範囲として原稿画像データの全域を適用する場合には、上記ステップS3でフォーム認識が成功した場合に、その原稿画像データに対しては、OCR処理と透明文字データの埋め込み処理を禁止するようにすればよい。
(他の実施形態)
本発明の他の実施形態として、複合機1で読み込んだ、もしくは外部から入力された原稿画像データをOCR処理して透明文字データの埋め込みを行う際に、保護属性が設定されているフィールドの画像領域があっても画像データ全体にOCR処理を施し、保護属性が設定されているフィールドについては透明文字データの埋め込みについてのみ制限し、OCRによって文字認識した文字データについては、特定の用途で利用を許可するようにしてもよい。ここでは、複合機1においてOCR処理により文字認識した文字データの利用を制限すると、複合機1が搭載しているOCR機能の利便性を損ねる場合があるので、特定の用途についてはOCR処理により得られた文字データの利用を可能とする。
例えば、OCR処理によって認識した文字データを表示させる場合、あるいはOCR処理によって認識した文字データを検索する場合などにおいては、保護属性が設定されているフィールド領域についても、OCR処理により得られた文字データの利用を許可する。この例は、透明文字データの埋め込みを禁止する特定の範囲が、フォームに対応して予め定められた特定の範囲である場合の例である。
また、原稿画像データのフォームが所定のフォームデータに一致するものと認識した場合、原稿画像データに対するOCR処理を実行しつつ、原稿画像データに対する透明文字データの埋め込みを全て禁止するようにしてもよい。この例は、透明文字データの埋め込みを禁止する特定の範囲が、原稿画像データの全域である場合の例である。
また、本発明に係るスキャナ装置の実施形態では、OCR処理により認識された文字データを、スキャナ装置の外部に送信することを禁止することができる。すなわち、上記のようにスキャナ装置の一実施形態である複合機1は、透明文字データの埋め込みを特定の範囲で禁止する場合にも、OCR処理により得られた文字データを所定の条件下で利用可能とすることができる。このときに上記のように、OCR処理により得られた文字データの表示や、その文字データを使用した検索は許可しつつ、少なくともOCR処理により得られた文字データを複合機1の外部に送信することを禁止する。これにより、外部への情報漏洩の危険性を回避しつつ、OCR処理により得られた文字データの利用が可能となる。
さらに、本発明に係るスキャナ装置の他の実施形態では、OCR処理により認識した文字データを利用者が確認できるよう表示して、透明文字データを原稿画像データに埋め込む範囲を利用者が指定できるようにし、指定された特定範囲の文字データを透明文字データとして原稿画像データに埋め込むようにしてもよい。あるいは、指定された特定範囲の文字データを透明文字データとして原稿画像データに埋め込むことを禁止するようにしてもよい。
例えば、図3に示すような書き込み済みの原稿をスキャナで読み取って電子化するときに、複合機1でその読み取った書き込み済みの原稿画像データを表示させる。このときの読み込み画像の表示先は、ネットワークにより接続されたPC等の情報処理装置であってもよい。そして、ユーザは、その原稿画像データの表示を確認して、操作部12等による操作入力を行い、透明文字データを埋め込む領域を指定する。この指定領域が、透明文字データの埋め込み範囲を制御するための特定範囲に相当する。これに対して機器制御部14は、その指定された領域以外のOCR処理を禁止し、指定領域に対してOCR処理を施して、得られた文字データを透明文字データに埋め込み、電子化文書を生成する。
また、上記の例では、ユーザが指定した領域に対してOCRを施して、その指定領域に透明文字データを埋め込むようにしたが、ユーザが指定した領域に対するOCR処理を禁止するようにしてもよい。これにより、ユーザが指定された領域に対して、透明文字データが埋め込まれないようにすることができる。
さらに上記の例では、透明文字データの埋め込みを行わない領域に対しても、OCR処理のみは許可し、OCR処理により得られた文字データの利用を可能としてもよい。
これらの処理では、スキャナで読み取った画像データを表示して、情報漏洩させてはいけないテキスト部分を利用者に確認させることにより、情報漏洩を確実に防止することができる。
図10は、本発明に係るスキャナ装置の更に他の実施形態を説明するための図である。本実施形態では、OCR処理によって認識された文字データから、特定のキーワードで指定された文字データを埋め込み禁止文字として設定する。これにより、スキャナで読み取ってOCRによって認識した文字データのなかに、予め設定した埋め込み禁止文字があれば、少なくともその埋め込み禁止文字を透明文字データとして原稿画像データに埋め込まないようにすることができる。
本実施形態では、原稿をスキャナで読み取って電子化するときに、複合機1では、読み取った書き込み済みの原稿画像データにOCR処理を施し、得られた文字データと、予め用意された埋め込み禁止文字データとを比較する。そして、OCR処理によって得られた文字データと禁止文字データとが一致した場合には、その文字データを透明文字データとして原稿画像に埋め込むことを禁止する。禁止文字データは、予めメモリ13aやHD16などの機器制御部14からアクセス可能な記憶手段に記憶させ、保持しておくようにする。
また、透明文字データの埋め込みを禁止する特定範囲の決定に当たって、上記の禁止文字データと一緒に、透明文字データの埋め込みを許可する許可文字データを予め用意し、記憶手段に記憶させておくようにすることができる。
例えば、図3に示すような書き込み済みの原稿をスキャナで読み取ってOCR処理を行った結果、図10に示すような文字データが得られたものとする。このときに、複合機1の機器制御部14は、OCR処理によって得られた文字データを、所定の記憶手段に記憶させた禁止文字データ、及び許可文字データと比較する。
この例では、禁止キーワード201として、個人情報を示すキーワードである「氏名」、「役職」、「氏名コード」、「年齢」、「現住所」、「入社日」、「被害車両」が抽出されたものとする。また、このときに許可キーワード202として、個人情報で無いことを示すキーワードである「被害日時」、「被害場所」、「被害状況」、「被害品」が検出されたものとする。
この場合、OCR処理により得られた文字データを最初から検索していき、禁止キーワード201が検出された後、次に許可キーワード202が検出されるまでの文字データの範囲を特定範囲として、透明文字データの埋め込みを禁止する。そして、許可キーワード202が検出されてから、次に禁止キーワード201が検出されるまでの文字データの範囲について、透明文字データの埋め込みを許可する。このような処理を行うことにより、個人情報が不用意に透明文字データとして埋め込まれることを防止することができる。
1…複合機、2…インターネットファクシミリ装置、3…電話回線網N、4…ファクシミリ装置、5…PC、11…画像読取部、11a…CCD、11b…原稿検知センサ、12…操作部、12a…入力部、12b…表示部、13…画像形成部、13a…メモリ、13b…印字部、13c…給紙トレイ、13d…給紙トレイ、14…機器制御部、15…通信部、16…HD、17…管理部、18…FAXモデム、19…消去部、101…ヘッダ、102…ボディ、103…相互参照表、104…トレーラ、111…文書情報、112…1ページ目データブロック、113…2ページ目データブロック、114…最終ページデータブロック、121…画像レイヤ、122…透明文字レイヤ、123…レイヤ情報、201…禁止キーワード、202…許可キーワード。

Claims (10)

  1. 入力された原稿画像データの少なくとも一部にOCR処理を行って該原稿画像データを文字認識するOCR処理部と、
    該OCR処理部で認識した文字データを透明文字データとして前記原稿画像データに埋め込む透明文字埋め込み部と、
    前記透明文字埋め込み部で透明文字データを埋め込む範囲を制御する制御部と、
    前記透明文字埋め込み部で透明文字データを埋め込んだ画像データからなる電子化文書データを出力する出力部と、を備え
    前記制御部は、前記原稿データの特定の範囲に対する文字データの埋め込みを禁止することにより、前記透明文字データを埋め込む範囲を制御することを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、入力された原稿画像データのフォームを認識するフォーム認識部を有し、
    前記制御部は、前記フォーム認識部により認識したフォームの認識結果に基づいて、前記透明文字データを埋め込む範囲を制御することを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記制御部は、前記原稿画像データの前記特定の範囲に対するOCR処理を禁止することにより、前記特定の範囲に対する透明文字データの埋め込みを禁止することを特徴とする画像処理装置。
  4. 請求項2に記載の画像処理装置において、
    前記制御部は、前記OCR処理部によって認識した文字データのうち、前記特定の範囲の文字データについて前記透明文字データとしての埋め込みを禁止することを特徴とする画像処理装置。
  5. 請求項3または4に記載の画像処理装置において、前記特定の範囲は、前記原稿画像データの全域であることを特徴とする画像処理装置。
  6. 請求項3または4に記載の画像処理装置において、前記特定の範囲は、前記フォーム認識部により認識したフォームに対応して予め定められた特定の範囲であることを特徴とする画像処理装置。
  7. 請求項1〜6のいずれか1に記載の画像処理装置と、原稿を読み取って原稿画像データを生成するスキャナ部とを有し、該スキャナ部で生成した原稿画像データを前記画像処理装置で処理することを特徴とするスキャナ装置。
  8. 請求項7に記載のスキャナ装置において、前記画像処理装置の前記OCR処理部により認識された文字データを、前記スキャナ装置の外部に送信することを禁止することを特徴とするスキャナ装置。
  9. 請求項に記載のスキャナ装置において、前記OCR処理部により認識した文字データを表示する表示部と、透明文字データを原稿画像データに埋め込む範囲を指定する操作入力を受け付ける操作部とを有し、前記透明文字埋め込み部は、前記操作部により指定された範囲に基づいて、前記OCR処理部により認識した文字データを透明文字データとして前記原稿画像データに埋め込むことを特徴とするスキャナ装置。
  10. 請求項に記載のスキャナ装置において、前記OCR処理部により認識した文字データのうち、予め指定された埋め込み禁止文字に一致する文字データを、少なくとも透明文字データとして前記原稿画像データに埋め込まないようにすることを特徴とするスキャナ装置。
JP2009027073A 2009-02-09 2009-02-09 画像処理装置及びスキャナ装置 Active JP4783441B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009027073A JP4783441B2 (ja) 2009-02-09 2009-02-09 画像処理装置及びスキャナ装置
US12/690,451 US8265335B2 (en) 2009-02-09 2010-01-20 Image processing apparatus and scanner apparatus
CN201010105783.1A CN101800831B (zh) 2009-02-09 2010-01-28 图像处理装置以及扫描装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009027073A JP4783441B2 (ja) 2009-02-09 2009-02-09 画像処理装置及びスキャナ装置

Publications (2)

Publication Number Publication Date
JP2010183478A JP2010183478A (ja) 2010-08-19
JP4783441B2 true JP4783441B2 (ja) 2011-09-28

Family

ID=42540467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009027073A Active JP4783441B2 (ja) 2009-02-09 2009-02-09 画像処理装置及びスキャナ装置

Country Status (3)

Country Link
US (1) US8265335B2 (ja)
JP (1) JP4783441B2 (ja)
CN (1) CN101800831B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090210786A1 (en) * 2008-02-19 2009-08-20 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP5783990B2 (ja) * 2012-11-20 2015-09-24 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP6108100B2 (ja) * 2013-05-23 2017-04-05 大日本印刷株式会社 文書画像の傾き補正装置
JP2015215853A (ja) * 2014-05-13 2015-12-03 株式会社リコー システム、画像処理装置、画像処理方法およびプログラム
US10460192B2 (en) * 2016-10-21 2019-10-29 Xerox Corporation Method and system for optical character recognition (OCR) of multi-language content
JP6938318B2 (ja) * 2017-10-03 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7206729B2 (ja) * 2018-09-18 2023-01-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5539532A (en) * 1993-08-12 1996-07-23 Nec Corporation Image reading apparatus with varied subscanning speed
JP3255503B2 (ja) 1993-08-31 2002-02-12 株式会社東芝 帳票イメージ処理装置
JPH10232904A (ja) 1997-02-20 1998-09-02 Oki Inf Syst 文字認識方法と文字認識装置
JP3394988B2 (ja) 1999-03-30 2003-04-07 沖電気工業株式会社 画像処理システム
US7222235B1 (en) * 1999-03-30 2007-05-22 Oki Electric Industry Co., Ltd. Image processing system utilizing digital watermarks in predetermined regions
AU2002242316A1 (en) * 2001-03-02 2002-09-19 Lockstream Corporation Theft resistant graphics
US7194618B1 (en) * 2001-03-05 2007-03-20 Suominen Edwin A Encryption and authentication systems and methods
JP2003152989A (ja) 2001-09-03 2003-05-23 Canon Inc 画像処理装置、及び画像処理方法、並びにプログラム、記憶媒体
JP4257150B2 (ja) * 2003-05-16 2009-04-22 沖電気工業株式会社 印刷文書の改ざん検出装置および改ざん検出方法
US7120798B2 (en) * 2003-08-25 2006-10-10 Daniel Suisa System and method for the generation and verification of signatures associated with hardcopy documents
US7364077B2 (en) * 2005-06-17 2008-04-29 Wolf Ii Erich W PDA compatible text scanner
JP4137951B2 (ja) * 2006-03-28 2008-08-20 シャープ株式会社 画像処理装置、システム、情報処理装置、及びプログラム
US20100046790A1 (en) * 2008-08-22 2010-02-25 Koziol Anthony R Method and system for generating a symbol identification challenge
JP4758502B2 (ja) * 2008-12-10 2011-08-31 シャープ株式会社 画像処理装置、画像読取装置、画像送信装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体

Also Published As

Publication number Publication date
JP2010183478A (ja) 2010-08-19
CN101800831A (zh) 2010-08-11
CN101800831B (zh) 2012-07-18
US20100202691A1 (en) 2010-08-12
US8265335B2 (en) 2012-09-11

Similar Documents

Publication Publication Date Title
JP4783441B2 (ja) 画像処理装置及びスキャナ装置
JP4704010B2 (ja) 画像形成装置、画像形成システム、セキュリティ管理装置およびセキュリティ管理方法
JP4682837B2 (ja) ジョブログ管理プログラム、ジョブログ管理方法、画像処理装置および画像処理システム
US20060070120A1 (en) File transmitting device and multi function device
US20080151288A1 (en) Document processing system, document processing instruction apparatus, computer readable recording medium storing document processing program, and computer data signal embodied in carrier wave
US20070174896A1 (en) Security policy assignment apparatus and method and storage medium stored with security policy assignment program
US20070177227A1 (en) Code information printing apparatus, printing method, restoration apparatus, and restoration method
JP2006341614A (ja) 画像形成装置及び画像形成方法
US9027118B2 (en) Image processing apparatus, control method, and computer-readable storage medium for computer program
JP4189515B2 (ja) 画像形成装置
JP4364913B2 (ja) 検索装置、検索システム、検索装置の制御方法、検索装置の制御プログラム、コンピュータ読み取り可能な記録媒体
US20110007350A1 (en) Image forming apparatus and method of generating additional information-added documents
JP2008152363A (ja) 画像処理装置、フォルダ管理方法、およびコンピュータプログラム
US20050225792A1 (en) Apparatus and method for secondarily outputting original data
JP2010154333A (ja) 画像読取装置
JP4976227B2 (ja) 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP5550467B2 (ja) 装置、方法、およびプログラム
JP2006331222A (ja) 画像読取装置及び情報処理装置
JP2009070106A (ja) 画像形成装置、データの処理方法並びにデータの処理プログラム
US20230386234A1 (en) Image processing apparatus and image processing method
JP6050739B2 (ja) 画像処理装置及び画像処理方法
US11861253B2 (en) Image processing apparatus and image processing method for managing settings to allow or prohibit a character recognition function
JP4684216B2 (ja) データ送信装置、データ送信方法、及びプログラム
JP5752347B2 (ja) 画像形成装置、画像処理方法、及びプログラム
JP2008118364A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110708

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4783441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150