JP4870697B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP4870697B2
JP4870697B2 JP2008042234A JP2008042234A JP4870697B2 JP 4870697 B2 JP4870697 B2 JP 4870697B2 JP 2008042234 A JP2008042234 A JP 2008042234A JP 2008042234 A JP2008042234 A JP 2008042234A JP 4870697 B2 JP4870697 B2 JP 4870697B2
Authority
JP
Japan
Prior art keywords
additional information
pattern
image data
detected
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008042234A
Other languages
English (en)
Other versions
JP2009200977A (ja
Inventor
雅朗 石川
浩 志村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008042234A priority Critical patent/JP4870697B2/ja
Priority to US12/379,222 priority patent/US8339678B2/en
Priority to EP09250459.6A priority patent/EP2093992B1/en
Priority to CN2009100073995A priority patent/CN101515985B/zh
Publication of JP2009200977A publication Critical patent/JP2009200977A/ja
Application granted granted Critical
Publication of JP4870697B2 publication Critical patent/JP4870697B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/0084Determining the necessity for prevention
    • H04N1/00843Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote
    • H04N1/00846Determining the necessity for prevention based on recognising a copy prohibited original, e.g. a banknote based on detection of a dedicated indication, e.g. marks or the like
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838Preventing unauthorised reproduction
    • H04N1/00856Preventive measures
    • H04N1/00875Inhibiting reproduction, e.g. by disabling reading or reproduction apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32229Spatial or amplitude domain methods with selective or adaptive application of the additional information, e.g. in selected regions of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203Spatial or amplitude domain methods
    • H04N1/32251Spatial or amplitude domain methods in multilevel data, e.g. greyscale or continuous tone data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32309Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32352Controlling detectability or arrangements to facilitate detection or retrieval of the embedded information, e.g. using markers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3269Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of machine readable codes or marks, e.g. bar codes or glyphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Description

本発明は、画像データから検出した付加情報を基に、画像データに所定の処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
近年、企業等においては、文書情報の機密保持の観点から、複写禁止の機密文書が多数存在する。このような機密文書に対しては、複写等を禁止する等の処置を行うことが必要となる。
このようなことから、画像データが機密データであることを表す付加情報を画像データから検出し、画像データの複写を禁止する方法が提案されている。また、この方法の応用として、画像データから検出した付加情報に応じた処理を画像データに実施する方法も提案されている。
具体的には、図20に示すように、入力された画像データ(入力画像データ)からパターン(ドットパターン等)を取得し(ステップS100)、その取得したパターンから付加情報を検出する(ステップS101)。そして、その検出した付加情報に応じた処理を入力画像データに実施することにしている(ステップS102)。なお、パターンとしては、ウォーターマーク、特殊な地紋パターン等も挙げられる。
しかし、上述した図20の方法では、ステップS101で付加情報を検出できなければ、ステップS102で付加情報に応じた処理を実施することができず、付加情報がないものとして、入力画像データをそのまま何もせず出力(印刷、送信等)することになる。従って、入力画像データに付加情報が埋め込まれているにもかかわらず、入力画像データの機密保持を行うことができない状況が発生する虞がある。
このようなことから、入力画像データに付加情報が埋め込まれている場合に、その付加情報が検出できなくとも、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させるための方法の開発が必要視されることになる。
なお、本発明より先に出願された技術文献として、機密文書の再現処理、例えば複写を確実に防止する技術について開示された文献がある(例えば、特許文献1参照)。
上記特許文献1では、原稿画像の画像データに含まれる背景画像に埋め込まれた地紋パターン(背景ドットパターン)を画像データから検出する手段(210)と、検出した地紋パターン(背景ドットパターン)を、記憶領域に記憶されている出力を禁止する地紋パターン(背景ドットパターン)と比較し、その同一性を判定する手段(210、211)と、を設ける。これにより、原稿画像の種類を問わず、検出した地紋パターン(背景ドットパターン)と記憶領域に記憶されている地紋パターン(背景ドットパターン)との同一性を確認することで、原稿画像の画像データの出力を禁止すべきかどうかを判定するようにしている。
また、不正コピーの防止に好適な技術に関する技術について開示された文献がある(例えば、特許文献2参照)。
上記特許文献2は、所定の情報が埋め込まれた紙文書から該情報を抽出し、該抽出した情報及びユーザの指示に従って所定の処理を実行する画像処理装置において、抽出した情報から紙文書の属性を判断する。また、ユーザの属性を含む認証情報を取得する。そして、紙文書の属性と認証情報に基づいて所定の処理を行うようにしている。
特開2004−274092号公報 特開2007−37099号公報
なお、上記特許文献1では、地紋パターン(背景ドットパターン)を画像データから検出し、該検出した地紋パターン(背景ドットパターン)と、記憶領域に記憶されている地紋パターン(背景ドットパターン)と、の同一性を確認することで、原稿画像の画像データの出力を禁止すべきかどうかを判定するようにしている。このため、上記特許文献1では、地紋パターン(背景ドットパターン)を画像データから検出しただけでは、原稿画像の画像データの出力を禁止することができないため、上述した図20の方法と同様に、セキュリティ性が弱いものとなってしまう。
また、上記特許文献2では、所定の情報が埋め込まれた紙文書から該情報を抽出し、抽出した情報から紙文書の属性を判断する。また、ユーザの属性を含む認証情報を取得する。そして、紙文書の属性と認証情報に基づいて所定の処理を行うようにしている。このため、上記特許文献2では、紙文書から情報を抽出しただけでは、所定の処理を行うことができないため、上述した図20の方法と同様に、セキュリティ性が弱いものとなってしまう。
従って、上記特許文献1、2には、入力画像データに付加情報が埋め込まれている場合に、その付加情報が検出できなくとも、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させる点については何ら記載もその必要性についても示唆されていない。
本発明は、上記事情に鑑みてなされたものであり、上述した課題である、入力画像データに付加情報が埋め込まれている場合に、その付加情報が検出できなくとも、入力画像データのセキュリティを向上させることが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
かかる目的を達成するために、本発明は、以下の特徴を有することとする。
<画像処理装置>
本発明にかかる画像処理装置は、
入力された画像データからパターンを取得する取得手段と、
前記取得手段で取得された前記パターンから付加情報を検出する検出手段と、
画像データの出力を制御する制御手段と、を有し、
前記制御手段は、
前記検出手段で前記付加情報を検出できた場合には当該付加情報に応じた制御を行い、前記付加情報を検出できない場合には前記取得手段で取得された前記パターンに応じた制御を行い、前記検出手段で複数種類の前記付加情報を検出できた場合には、前記取得手段で取得された前記パターンに応じた制御を行うことを特徴とする。
本発明にかかる画像処理装置は、
入力された画像データからパターンを取得する取得手段と、
前記取得手段で取得された前記パターンから付加情報を検出する検出手段と、
画像データの出力を制御する制御手段と、を有し、
前記制御手段は、
前記検出手段で前記付加情報を検出できた場合には当該付加情報に応じた制御を行い、前記付加情報を検出できない場合には前記取得手段で取得された前記パターンに応じた制御を行い、前記検出手段で複数種類の前記付加情報を検出できた場合には、前記付加情報の優先順位を格納する格納手段を参照し、優先順位の高い付加情報に応じた制御を行うことを特徴とする。
<画像処理方法>
本発明にかかる画像処理方法は、
入力された画像データからパターンを取得する取得ステップと、
前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施す制御ステップと、
を有することを特徴とする。
本発明にかかる画像処理方法は、
入力された画像データからパターンを取得する取得ステップと、
前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記付加情報の優先順位を格納する格納手段を参照し、優先順位の高い付加情報に応じた出力制御を前記画像データに施す制御ステップと、
を有することを特徴とする。
<画像処理プログラム>
本発明にかかる画像処理プログラムは、
コンピュータに、
入力された画像データからパターンを取得する取得ステップと、
前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施す制御ステップと、
を実行させることを特徴とする。
本発明にかかる画像処理プログラムは、
コンピュータに、
入力された画像データからパターンを取得する取得ステップと、
前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記付加情報の優先順位を格納する格納手段を参照し、優先順位の高い付加情報に応じた出力制御を前記画像データに施す制御ステップと、
を実行させることを特徴とする。
本発明によれば、入力画像データに付加情報が埋め込まれている場合に、その付加情報が検出できなくとも、入力画像データのセキュリティを向上させることが可能となる。
<画像処理装置;10の概要>
まず、図7を参照しながら、本実施形態の画像処理装置(10)の概要について説明する。
本実施形態における画像処理装置(10)は、入力された画像データからパターンを取得するパターン取得部(210)と、パターン取得部(210)で取得されたパターンから付加情報を検出する付加情報検出部(211)と、入力された画像データの出力を制御する制御部(システムコントローラ;204に相当)と、を有し、制御部(204)は、付加情報検出部(211)で付加情報を検出できた場合には、当該付加情報に応じた制御を行い、付加情報を検出できない場合には、パターン取得部(210)で取得されたパターンに応じた制御を行うことを特徴とする。これにより、入力画像データに付加情報が埋め込まれている場合に、付加情報検出部(211)が付加情報を検出できなくとも、パターン取得部(210)がパターンを取得した場合には、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。以下、添付図面を参照しながら、本実施形態の画像処理装置(10)について詳細に説明する。
(第1の実施形態)
まず、図1〜図3を参照しながら、本実施形態の原稿画像(101)について説明する。図1は、本実施形態の原稿画像(101)の一例を示し、図2、図3は、原稿画像(101)に付加情報を埋め込む際に用いるパターンの一例を示す図である。
図1に示す原稿画像(101)は、図2、図3に示す所定のパターンを用いて付加情報が埋め込まれており、後述する図7に示す画像処理装置(10)を用いて、その原稿画像(101)に埋め込まれた付加情報を検出し、その検出した付加情報に応じた処理を実施することになる。
なお、付加情報を原稿画像(101)に埋め込む領域としては、例えば、図1に示すベース領域(104)等が挙げられる。一般的に、ベース領域(104)は、メッセージ領域(105)に比べて面積が大きく、付加情報の検出に適しているためである。なお、本実施形態では、図2、図3に示す2種類のパターンの相対的な関係を用いて『パターン』を表現する。2種類のパターンのうち、一方のパターンを『基本パターン』とし、その『基本パターン』と形状が異なる他方のパターンを『追加パターン』とする。
図2は、本実施形態における『基本パターン』の構成例を示す図である。図2において、基本パターン(107)は、ドット(107a、107b、107c)の3つのドットで構成している。図3は、本実施形態における『追加パターン』の構成例を示す図である。図3において、追加パターン(108)は、ドット(108a、108b、108c、108d)の4つのドットで構成している。なお、追加パターン(108)と基本パターン(107)との特徴量の少なくとも一部は、互いに共通するように構成することが好ましい。本実施形態では、追加パターン(108)を構成するドット(108a、108b、108c)の相対的な位置関係は、基本パターン(107)を構成する3つのドット(107a、107b、107c)と同じにする。即ち、追加パターン(108)は、基本パターン(107)にドット(108d)を追加したものに相当することになる。これにより、図2に示す『基本パターン』と、図3に示す『追加パターン』と、は、中心のドット(108d)の有無で区分することが可能となる。
なお、基本パターン(107)、追加パターン(108)について、ドット数及び各ドットの相対的な位置関係は、図2、図3に示す構成に限定するものではなく、少なくとも、基本パターン(107)と追加パターン(108)とを区別できれば、あらゆるパターンを適用することが可能である。
また、基本パターン(107)と追加パターン(108)との2種類のパターンの相対的な角度(相対的な方向の違い)を用いて付加情報を表現することも可能である。なお、2種類のパターンの相対的な角度により付加情報を表現する場合には、基本パターン(107)と追加パターン(108)との角度を量子化することが好ましい。これにより、付加情報の検出精度を向上させることが可能となる。本実施形態では、360度を6手順に量子化した場合、即ち、60度ずつ回転させた場合を例として説明する。
図4は、角度を6手順に量子化した場合の各手順における基本パターン(107)の態様を示す図である。図4において、左から0手順、1手順、2手順、3手順、4手順、5手順と呼ぶことにする。なお、各手順において円の中に描かれた矢印は、各手順における方向(角度)を分かり易く表現するためにガイドとして図示したものである。
また、図5は、角度を6手順に量子化した場合の各手順における追加パターン(108)の態様を示す図である。
相対的な角度であるから、基本パターン(107)と追加パターン(108)とが何手順(又は何度)異なるかにより付加情報を表現することが可能となる。例えば、N手順の違いをそのまま数値Nとして表現するとする。この場合、基本パターン(107)と追加パターン(108)との方向を同じにすることで『0』を表現することができる。また、1手順、2手順、3手順、4手順、5手順の相対的な角度(方向の違い)により、『1』、『2』、『3』、『4』、『5』を表現することができる。
なお、『相対的』であるから、『1』という値を表現する状態は複数ある。即ち、基本パターン(107)が0、1、2、3、4のそれぞれの手順のとき、追加パターン(108)が、1、2、3、4、5の手順であれば『1』を表現することができる。他の値の表現についても同様である。
また、相対的な角度のみで付加情報を表現する場合には、基本パターン(107)と追加パターン(108)が、ベース領域(104)の何れの位置に重畳されているかは関係ない。基本パターン(107)と追加パターン(108)との双方が少なくとも1つ重畳されていればよい。そのように考えるとき、量子化の手順をnとすると、1つの原稿画像(101)に埋め込める付加情報の情報量(I)は、I=log n(bit)となる。
図4、図5の例では、6手順の量子化を行っているため、I=log 6=2.4・・・・≧2(bit)と、少なくとも2ビット以上の付加情報を埋め込むことが可能となる。
なお、上記の例では基本パターン(107)と追加パターン(108)との相対的な角度のみを考慮し、両パターンの原稿画像(101)に対する角度(方向)については考慮していない。これは、原稿画像(101)のスキャナからの読み取りや、紙文書への出力の際に用紙の向きについて誤差が生じ得るという現実的な事情を考慮してのことである。即ち、両パターンの相対的な角度のみを考慮するとき、原稿画像(101)が何れの方向に回転しても、その相対的な角度は影響を受けず、付加情報の検出精度を高めることができるという考えのもとに、基本パターン(107)と追加パターン(108)との相対的な角度のみを考慮することにした。
但し、原稿画像(101)の方向について、ある程度の保証が確保される状態にあれば、それぞれのパターンの原稿画像(101)に対する角度(以下『絶対的な角度』という。)を考慮することも可能である。この場合、両パターンの相対的な角度が同じであっても、基本パターン(107)が原稿画像(101)に対してどの角度を有しているかにより、更に異なる付加情報を表現することが可能となる。従って、上記と同様、絶対的な角度をn手順に量子化したとすると、1つの原稿画像(101)に埋め込める付加情報の情報量(I)は、I=n×log n(bit)となる。
更に、両パターンの相対的な位置(配列)と相対的な角度又は絶対的な角度とを組み合わせて付加情報を表現することも可能である。
図6は、パターンの配列と相対的な又は絶対的な角度とにより表現される付加情報の例を示す図である。
図6に示す配列(115)は、3行3列の単位領域で構成している。単位領域(a),(b),(c),(d),(f),(g),(h),(i)には、基本パターン(107)が、単位領域(e)には、追加パターン(108)が配置されている。図6の場合、両パターンの角度の差は2手順であり、配列(115)から『2』という付加情報を表現することになる。
なお、パターンの種類の違いは、ドットの配置だけに限定せず、例えば、ドットの色を用いることも可能である。即ち、ドットの配置としては全く同一であっても、各パターンを構成する一部、又は全部のドットの色により他のパターンと区別することも可能である。もちろん、ドットの配置とドットの色との組み合わせによって種類を区別することも可能である。
<画像処理装置;10の構成>
次に、図7、図8を参照しながら、本実施形態の画像処理装置(10)の構成について説明する。図7は、本実施形態における画像処理装置(10)の構成例を示す図である。また、図8は、図7に示すパターン取得部(210)の構成例を示す図である。
本実施形態の画像処理装置(10)は、スキャナ(201)、画像処理部(202)、プロッタ(203)等をシステムコントローラ(204)が制御する構成になっている。
<システムコントローラ;204>
システムコントローラ(204)は、CPU(Central Processing Unit)(204a)、ROM(Read Only Memory)(204b)、RAM(Random Access Memory)(204c)等から構築されるコンピュータ機能を活用し、操作表示部(205)からの指示に応じてスキャナ(201)、画像処理部(202)、プロッタ(203)等を制御し、必要な情報を操作表示部(205)に表示する。なお、システムコントローラ(204)は、ハードディスク、フラッシュメモリ、NV-RAMなどの不揮発性記憶部も有して構成する。
<画像処理部;202>
画像処理部(202)は、フィルタ処理部(206)、変倍処理部(207)、γ処理部(208)、階調処理部(209)を含んで構成している。これらの各部は、一般的なデジタル複写機の構成と同様に構成することになる。
本実施形態の画像処理部(202)は、更に、パターン取得部(210)、付加情報検出部(211)、カラー画像変換部(212)、セレクタ(213)等を有して構成する。これらの構成により、原稿画像(101)に埋め込まれている付加情報を検出することになる。
スキャナ(201)が原稿から読み取った原稿画像(101)は、必要に応じて回転補正が施され、カラー画像変換部(212)に出力される。なお、基本パターン(107)と追加パターン(108)との相対角度により付加情報が埋め込まれている場合は、回転補正は必ずしも必要ではない。
カラー画像変換部(212)は、原稿画像(101)におけるパターンの色を判定し、その色に合わせて画像変換を行う。例えば、カラー画像変換部(212)は、パターンにおいてCMY空間における色成分(例えば、M成分)のドットを検知した場合は、原稿画像(101)をCMY空間に変換する。この場合、カラー画像変換部(212)は、CMY空間に変換されたカラー画像においてパターンの取得対象とされている色成分(以下、「黒ドット成分」という)、例えば、C成分とM成分との2つの色チャネルの画像をパターン取得部(210)に出力する。
一方、カラー画像変換部(212)は、パターンにおいてRGB空間における色成分(例えば、G成分)のドットを検知した場合は、原稿画像(101)に対する画像変換は行わない。この場合、カラー画像変換部(212)は、RGB空間における黒ドット成分として、例えば、G成分の色チャネルの画像をパターン取得部(210)に出力する。
なお、前者(CMY空間に変換される場合)、及び、後者(RGB空間のままの場合)の何れの場合についても、どの色成分のカラー画像をパターン取得部(210)に出力するかについては、予め固定的に定めてもよく、また、操作表示部(205)を介してユーザに設定させるようにすることも可能である。
パターン取得部(210)は、例えば、図8に示すように、基本パターン取得部(251)と、パターン閾値判断部(252)と、基本パターン判断部(253)と、追加パターン判断部(254)と、を有して構成している。
基本パターン取得部(251)は、カラー画像変換部(212)から出力された画像データに基づいて、基本パターン(107)を取得する。基本パターン(107)の取得方法としては、デジタル回路により画像パターンを取得する公知の各種の手法、例えば、パターンマッチング等を適用することが可能である。この場合、基本パターン(107)を表すパターン画像が予めROM(204b)に保存されており、当該パターン画像を用いて基本パターン(107)を取得する。
また、基本パターン(107)の特徴量を用いて当該特徴量を満たす基本パターンを取得することも可能である。基本パターン(107)の特徴量としては、例えば、基本パターン(107)を構成する各ドット間の距離を用いてもよい。原稿画像(101)内の各パターンの特徴量を算出し、該算出した特徴量を、予めROM(204b)等に保存されている基本パターン(107)の特徴量と比較し、両者が一致した場合に、基本パターン(107)を取得したとする。
なお、本実施形態において、追加パターン(108)は、基本パターン(107)を含むように構成している。従って、基本パターン取得部(251)では、基本パターン(107)のみならず追加パターン(108)も基本パターン(107)として取得する。
なお、基本パターン(107)と追加パターン(108)との相対角度により付加情報を表現する場合には、量子化された角度の手順毎にパターン画像、又は、特徴量を保存しておき、それらを用いて基本パターン(107)を取得する。
パターン閾値判断部(252)は、基本パターン取得部(251)が基本パターン(107)として取得したパターン(追加パターン(108)も含む。以下『取得パターン』という。)の総数をカウントする。カウントした総数が所定の閾値以上となった場合、パターン閾値判断部(252)は、基本パターン(107)を取得したと判断する。このような計算処理は、デジタル回路構成のカウンタや加算器等によって実行する。なお、取得パターンの総数をカウントし、そのカウント総数を所定の閾値と比較するのは、ノイズとして含まれているパターンがたまたま基本パターン(107)として取得されるため、このような誤認識を除外するためである。
基本パターン判断部(253)は、取得パターンから基本パターン(107)のみを取得し、その取得した基本パターン(107)の総数をカウントする。誤認識を考慮し、そのカウントした総数が所定の閾値より大きい場合には、基本パターン(107)が存在するものと判断し、取得した基本パターン(107)の位置情報や角度等の情報を付加情報検出部(211)に出力する。取得パターンには、追加パターン(108)も含まれている。従って、取得パターンから基本パターン(107)を取得する場合には、基本パターン(107)と追加パターン(108)との差違に基づいて行えばよい。即ち、取得パターンのうち、ドット(108d)が無いものを基本パターン(107)と判断すればよい。
追加パターン判断部(254)は、取得パターンから追加パターン(108)のみを取得し、その取得した追加パターン(108)の総数をカウントする。誤認識を考慮し、そのカウントした総数が所定の閾値より大きい場合には、追加パターン(108)が存在するものと判断し、取得した追加パターン(108)の位置情報や角度等の情報を付加情報検出部(211)に出力する。上記と同様、取得パターンのうち、ドット(108d)が有るものを追加パターン(108)と判断すればよい。
付加情報検出部(211)は、パターン取得部(210)の処理結果を受け、原稿画像(101)に埋め込まれている付加情報を検出する。
基本パターン(107)と追加パターン(108)との相対的な角度によって付加情報が埋め込まれている場合、その角度に基づいて埋め込まれている付加情報を検出する。相対的な角度は、全ての基本パターン(107)と追加パターン(108)との相対的な角度の統計をとり、そのピークとなる値を採用することも可能である。
両パターンの角度の手順の差がそのまま数値として埋め込まれている場合には、以下の式で付加情報を検出することが可能となる。
v=|x−y| Mod 360/60
v;埋め込まれている値、x;基本パターン(107)の角度、y;追加パターン(108)の角度、Mod;剰余。ここでは、角度を60度ごとに量子化した場合を考えている。
例えば、基本パターン(107)の角度が0であり、追加パターン(108)の角度が60の場合、上記式に当てはめると、
v=|0−60| Mod 360/60=1
という値が求まる。従って、『1』という値が付加情報として検出されることになる。
付加情報検出部(211)は、上記処理で検出した付加情報(制御コード)をシステムコントローラ(204)に出力する。システムコントローラ(204)は、付加情報(制御コード)に応じて画像処理装置(10)の動作を制御する。例えば、システムコントローラ(204)は、図9に示す管理テーブルを管理し、その管理テーブルを基に、画像処理装置(10)の動作を制御する。
図9に示す管理テーブルは、『付加情報(制御コード)』と、『画像処理装置(10)の動作』と、の関係例を管理するための図である。図9で、『印刷処理』は、プロッタを使用した画像データの印刷処理であり、『メール送信処理』、『PC文書送信処理』は、画像データをメール送信する処理であり、『FAX送信処理』は、画像データをファクシミリ送信する処理である。
なお、制御コード『-1』は、印刷処理、メール送信処理、PC文書送信処理、FAX送信処理、の全てで、画像データの出力が可能であることを示す制御コードである。
制御コード『1』は、全ての処理で、画像データの出力ができないことを示す制御コードである。
制御コード『2』は、印刷処理とFAX送信処理については、画像データの出力ができないが、メール送信処理とPC文書送信処理については、画像データを暗号化して送信するという条件で、当該画像データの出力が可能であることを示す制御コードである。
制御コード『3』は、印刷処理とFAX送信処理については、画像データの出力ができないが、メール送信処理とPC文書送信処理については、画像データを暗号化し、且つ、印刷不可のPDFとして送信するという条件で、当該画像データの出力が可能であることを示す制御コードである。
制御コード『4』は、印刷処理のみ、画像データの出力が可能であり、メール送信処理、PC文書送信処理、FAX送信処理については、画像データの出力ができないことを示す制御コードである。
制御コード『5』は、印刷処理については、画像データの出力が可能であり、メール送信処理とPC文書送信処理については、画像データを暗号化し、且つ、印刷不可のPDFとして送信するという条件で、当該画像データの出力が可能であり、FAX送信処理については、画像データの出力ができないことを示す制御コードである。
制御コード『6』は、印刷処理については、画像データの出力が可能であり、メール送信処理、PC文書送信処理、FAX送信処理については、アドレス帳に登録した通信相手先にのみ、当該画像データの出力が可能であることを示す制御コードである。
なお、上述した処理で画像データの不出力処理としては、画像データの情報を外部に出力させない処理のことを意味し、例えば、画像データに対する塗り潰し処理や、画像データの印刷処理や送信処理をしないとする処理等が挙げられる。なお、上述した処理は、一例であり、付加情報(制御コード)に応じて様々な処理を画像処理装置(10)で行うように構築することが可能である。
<画像処理装置;10の処理動作>
次に、図10を参照しながら、本実施形態の画像処理装置(10)の処理動作について説明する。
まず、基本パターン取得部(251)は、カラー画像変換部(212)から出力された画像データに基づいて、基本パターン(107)を取得する(ステップS1)。なお、基本パターン取得部(251)は、基本パターン(107)のみならず追加パターン(108)も基本パターン(107)として取得する。
パターン閾値判断部(252)は、基本パターン取得部(251)が基本パターン(107)として取得したパターン(追加パターン(108)も含む。以下『取得パターン』という。)の総数をカウントする。カウントした総数が所定の閾値以上の場合には、パターン閾値判断部(252)は、基本パターン(107)を取得したと判断する(ステップS2/Yes→S3)。また、カウントした総数が所定の閾値未満の場合には、パターン閾値判断部(252)は、基本パターン(107)を取得していないと判断し(ステップS2/No)、何もしないことになる(通常の処理)。
次に、基本パターン判断部(253)は、取得パターンから基本パターン(107)のみを取得し、その取得した基本パターン(107)の総数をカウントする。カウントした総数が所定の閾値より大きい場合には、基本パターン(107)が存在するものと判断し(ステップS4/Yes)、取得した基本パターン(107)の位置情報や角度等の情報を付加情報検出部(211)に出力する(ステップS5)。
また、追加パターン判断部(254)は、取得パターンから追加パターン(108)のみを取得し、その取得した追加パターン(108)の総数をカウントする。カウントした総数が所定の閾値より大きい場合には、追加パターン(108)が存在するものと判断し(ステップS6/Yes)、取得した追加パターン(108)の位置情報や角度等の情報を付加情報検出部(211)に出力する(ステップS7)。
付加情報検出部(211)は、パターン取得部(210)の処理結果(パターンの位置情報や角度等の情報)を受け、原稿画像(101)に埋め込まれている付加情報を検出する(ステップS8)。付加情報検出部(211)は、付加情報を検出できたか否かを判断し(ステップS9)、付加情報を検出できた場合には(ステップS9/Yes)、その検出した付加情報(制御コード)をシステムコントローラ(204)に出力し、システムコントローラ(204)は、付加情報検出部(211)で検出した付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップS10)。
また、付加情報検出部(211)は、付加情報を検出できない場合には(ステップS9/No)、ステップS3で基本パターン(追加パターンを含む)を取得したと判断した場合に制御する付加情報(制御コード)をシステムコントローラ(204)に出力し、システムコントローラ(204)は、基本パターンを取得した場合に制御する付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップS11)。
<本実施形態の作用・効果>
このように、本実施形態の画像処理装置(10)は、付加情報検出部(211)で付加情報を検出できた場合には、当該付加情報に応じた処理を実施するように制御し、付加情報検出部(211)で付加情報を検出できない場合には、パターン取得部(210)で取得した基本パターンに応じた処理を実施するように制御することになる。これにより、原稿画像(101)に付加情報が埋め込まれている場合には、付加情報検出部(211)で付加情報を検出できなくとも、パターン取得部(210)で基本パターンを取得できた場合には、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。
なお、上述した図10に示す処理動作では、時間の概念を踏まえて説明してはいないが、時間の概念を含めることも可能である。例えば、上述した図10に示すステップS2では、カウントした総数が所定の閾値以上の場合には、基本パターン(107)を取得したと判断し(ステップS2/Yes→S3)、カウントした総数が所定の閾値未満の場合には、基本パターン(107)を取得したと判断しないことにしたが、所定の閾値以上か否かの判断は、所定の時間の範囲内で行うように構築することも可能である。
(第2の実施形態)
次に、第2の実施形態について説明する。
第1の実施形態では、図10に示すように、基本パターン(追加パターンを含む)を取得したと判断した後に(S2/Yes→S3)、基本パターンの取得(S4)と、追加パターンの取得(S6)と、を並行して行い、付加情報検出部(211)で付加情報の検出処理を行うことにした(S8)。
第2の実施形態では、図11に示すように、基本パターン(107)の取得を行った後に(A2)、追加パターン(108)の付加情報の検出処理を行うことを特徴とする(A3)。このような方法でも、第1の実施形態と同様に、原稿画像(101)に付加情報が埋め込まれている場合には、付加情報検出部(211)で付加情報を検出できなくとも、パターン取得部(210)で基本パターン(107)を取得できた場合には、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。以下、図11を参照しながら、第2の実施形態について説明する。
第2の実施形態の画像処理装置(10)は、図7に示す第1の実施形態の画像処理装置(10)と同様に構成し、処理動作が異なるだけである。このため、図11を参照しながら、第2の実施形態の画像処理装置(10)の処理動作について説明する。
まず、パターン取得部(210)は、基本パターン(107)の取得処理を行う(ステップA1)。次に、パターン取得部(210)は、基本パターン(107)を取得したか否かを判定し(ステップA2)、基本パターン(107)を取得した場合には(ステップA2/Yes)、付加情報検出部(211)は、追加パターン(108)に関連する付加情報(制御コード)の検出処理を行う(ステップA3)。また、パターン取得部(210)は、基本パターン(107)を取得できない場合には(ステップA2/No)、通常の出力制御処理(出力制限なし)を行うことになる(ステップA7)。
付加情報検出部(211)は、追加パターン(108)に関連する付加情報(制御コード)を検出できたか否かを判定し(ステップA4)、追加パターン(108)に関連する付加情報(制御コード)を検出できた場合には(ステップA4/Yes)、その追加パターン(108)に関連する付加情報(制御コード)を、システムコントローラ(204)に出力し、システムコントローラ(204)は、付加情報検出部(211)で検出した追加パターン(108)に関連する付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップA5)。なお、画像処理装置(10)の動作を制御する方法としては、出力手段毎の出力禁止/許可の制御など、付加情報による柔軟な制御が挙げられる。なお、出力手段としては、図9に示す印刷処理、メール送信処理、PC文書送信処理、FAX送信処理等が挙げられる。
また、付加情報検出部(211)は、追加パターン(108)に関連する付加情報(制御コード)を検出できない場合には(ステップA4/No)、ステップA2でパターン取得部(210)が取得した基本パターン(107)に応じた付加情報(制御コード)を、システムコントローラ(204)に出力し、システムコントローラ(204)は、パターン取得部(210)が取得した基本パターン(107)に応じた付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップA6)。なお、画像処理装置(10)の動作を制御する方法としては、全ての出力手段で出力禁止するなどセキュリティ上厳しい出力制御が挙げられる。
<本実施形態の作用・効果>
このように、本実施形態の画像処理装置(10)は、付加情報検出部(211)が追加パターン(108)の付加情報の検出処理を行い、追加パターン(108)に関連する付加情報(制御コード)を検出できた場合には、その付加情報(制御コード)に応じた処理を実施するように制御し、追加パターン(108)に関連する付加情報(制御コード)を検出できない場合には、パターン取得部(210)が取得した基本パターン(107)に関連する付加情報に応じた処理を実施するように制御する。これにより、本実施形態の画像処理装置(10)も、第1の実施形態の画像処理装置(10)と同様に、原稿画像(101)に付加情報が埋め込まれている場合に、付加情報検出部(211)で付加情報が検出できなくとも、パターン取得部(210)で基本パターン(107)が取得できた場合には、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。
(第3の実施形態)
次に、第3の実施形態について説明する。
上述した実施形態では、付加情報検出部(211)で付加情報を検出できた場合には、その検出した付加情報に応じた処理を実施するように制御した。
第3の実施形態では、付加情報検出部(211)で複数種類の付加情報を検出できた場合には、パターン取得部(210)で取得した基本パターン(107)に関連する付加情報に応じた処理を実施するように制御する。これにより、複数種類の付加情報を検出した場合に、どの付加情報を用いて処理を実施するかを判別出来なくとも、パターン取得部(210)で取得した基本パターン(107)に関連する付加情報に応じた処理を実施することになるため、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。以下、図12、図13を参照しながら、第3の実施形態について説明する。なお、第3の実施形態の画像処理装置(10)は、図7に示す第1の実施形態の画像処理装置(10)と同様に構成し、処理動作が異なるだけであるため、図12、図13を参照しながら、第3の実施形態の画像処理装置(10)の処理動作についてのみ説明する。
図12は、図10に示す第1の実施形態の画像処理装置(10)の処理動作において、複数種類の付加情報を検出した場合を想定した処理動作を示す図であり、図12に示すように、付加情報検出部(211)は、ステップS9において、付加情報を検出できた場合には(ステップS9/Yes)、複数種類の付加情報を検出したか否かを判断する(ステップB1)。そして、付加情報検出部(211)は、1つの種類の付加情報を検出したと判断した場合は(ステップB1/No)、その1つの種類の付加情報(制御コード)をシステムコントローラ(204)に出力し、システムコントローラ(204)は、付加情報検出部(211)で検出した付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップS10)。
また、付加情報検出部(211)は、複数種類の付加情報を検出したと判断した場合には(ステップB1/Yes)、ステップS3で基本パターン(追加パターンを含む)を取得したと判断した場合に制御する付加情報(制御コード)をシステムコントローラ(204)に出力し、システムコントローラ(204)は、基本パターンを取得した場合に制御する付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップS11)。
これにより、第1の実施形態の画像処理装置(10)において、複数種類の付加情報を検出した場合に、どの付加情報を用いて処理を実施するかを判別出来なくとも、パターン取得部(210)が取得した基本パターン(107)に関連する付加情報に応じた処理を実施することになるため、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。なお、図12では、付加情報を検出できた場合には(ステップS9/Yes)、複数種類の付加情報を検出したか否かを判断することにしたが(ステップB1)、図10に示すステップS9の付加情報検出判定において、複数種類の付加情報が存在する場合には、付加情報を検出できないと判断し(ステップS9/No)、複数種類の付加情報が存在しない場合には、付加情報を検出できたと判断する(ステップS9/Yes)ように構築することも可能である。
図13は、図11に示す第2の実施形態の画像処理装置(10)の処理動作において、複数種類の付加情報を検出した場合を想定した処理動作を示す図であり、図13に示すように、付加情報検出部(211)は、ステップA4において、追加パターン(108)に関連する付加情報(制御コード)を検出できた場合には(ステップA4/Yes)、複数種類の付加情報を検出したか否かを判断する(ステップB1)。そして、付加情報検出部(211)は、1つの付加情報を検出したと判断した場合は(ステップB1/No)、その追加パターン(108)に関連する付加情報(制御コード)を、システムコントローラ(204)に出力し、システムコントローラ(204)は、付加情報検出部(211)で検出した追加パターン(108)に関連する付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップA5)。
また、付加情報検出部(211)は、複数種類の付加情報を検出したと判断した場合は(ステップB1/Yes)、ステップA2でパターン取得部(210)が取得した基本パターン(107)に応じた付加情報(制御コード)を、システムコントローラ(204)に出力し、システムコントローラ(204)は、パターン取得部(210)が取得した基本パターン(107)に応じた付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップA6)。
これにより、第2の実施形態の画像処理装置(10)において、複数種類の付加情報を検出した場合に、どの付加情報を用いて処理を実施するかを判別出来なくとも、パターン取得部(210)が取得した基本パターン(107)に関連する付加情報に応じた処理を実施することになるため、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。なお、図13では、追加パターン(108)に関連する付加情報(制御コード)を検出できた場合には(ステップA4/Yes)、複数種類の付加情報を検出したか否かを判断することにしたが(ステップB1)、図11に示すステップA4の付加情報検出判定において、複数種類の付加情報が存在する場合には、付加情報を検出できないと判断し(ステップA4/No)、複数種類の付加情報が存在しない場合には、付加情報を検出できたと判断する(ステップA4/Yes)ように構築することも可能である。
(第4の実施形態)
次に、第4の実施形態について説明する。
第3の実施形態では、付加情報検出部(211)が複数種類の付加情報を検出した場合には、パターン取得部(210)が取得した基本パターン(107)に関連する付加情報に応じた処理を実施するように制御することにした。
第4の実施形態では、付加情報検出部(211)が複数種類の付加情報を検出した場合には、優先順位の高い付加情報に応じた処理を実施するように制御することを特徴とする。これにより、複数種類の付加情報を検出した場合でも、入力画像データに優先順位の高い付加情報に応じた処理を実施し、入力画像データのセキュリティを向上させることが可能となる。以下、図14〜図16を参照しながら、第4の実施形態について説明する。
第4の実施形態の画像処理装置(10)は、図7に示す第1の実施形態の画像処理装置(10)と同様に構成する。なお、本実施形態のシステムコントローラ(204)は、図14に示す管理テーブルを管理することになる。図14に示す管理テーブルは、図9に示す管理テーブルのテーブル構成に対し、各付加情報(制御コード)の優先順位を特定するための情報を付加して構成している。図14では、付加情報(制御コード)の『優先順位』を『2』>『3』>『6』>『5』>『1』>『4』>『-1』の順に管理している。
図15は、図10に示す第1の実施形態の画像処理装置(10)の処理動作において、複数種類の付加情報を検出した場合を想定した処理動作を示す図であり、図15に示すように、付加情報検出部(211)は、ステップS9において、付加情報を検出できた場合には(ステップS9/Yes)、複数種類の付加情報を検出したか否かを判断する(ステップC1)。そして、付加情報検出部(211)は、1つの付加情報を検出したと判断した場合は(ステップC1/No)、その1つの付加情報(制御コード)をシステムコントローラ(204)に出力し、システムコントローラ(204)は、付加情報検出部(211)で検出した付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップS10)。
また、付加情報検出部(211)は、複数種類の付加情報を検出したと判断した場合には(ステップC1/Yes)、その複数種類の付加情報(制御コード)をシステムコントローラ(204)に出力し、システムコントローラ(204)は、複数種類の付加情報(制御コード)を基に、図14に示す管理テーブルを参照し、複数種類の付加情報(制御コード)の中から優先順位の高い付加情報(制御コード)を決定し、その決定した付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップC2)。
これにより、第1の実施形態の画像処理装置(10)において、複数種類の付加情報を検出した場合でも、入力画像データに優先順位の高い付加情報に応じた処理を実施し、入力画像データのセキュリティを向上させることが可能となる。
図16は、図11に示す第2の実施形態の画像処理装置(10)の処理動作において、複数種類の付加情報を検出した場合を想定した処理動作を示す図であり、図16に示すように、付加情報検出部(211)は、ステップA4において、追加パターン(108)に関連する付加情報(制御コード)を検出できた場合には(ステップA4/Yes)、複数種類の付加情報を検出したか否かを判断する(ステップC1)。そして、付加情報検出部(211)は、1つの付加情報を検出したと判断した場合は(ステップC1/No)、その追加パターン(108)に関連する付加情報(制御コード)を、システムコントローラ(204)に出力し、システムコントローラ(204)は、付加情報検出部(211)で検出した追加パターン(108)に関連する付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップA5)。
また、付加情報検出部(211)は、複数種類の付加情報を検出したと判断した場合は(ステップC1/Yes)、その複数種類の付加情報(制御コード)をシステムコントローラ(204)に出力し、システムコントローラ(204)は、複数種類の付加情報(制御コード)を基に、図14に示す管理テーブルを参照し、複数種類の付加情報(制御コード)の中から優先順位の高い付加情報(制御コード)を決定し、その決定した付加情報(制御コード)を基に、画像処理装置(10)の動作を制御する(ステップC2)。
これにより、第2の実施形態の画像処理装置(10)において、複数種類の付加情報を検出した場合でも、入力画像データに優先順位の高い付加情報に応じた処理を実施し、入力画像データのセキュリティを向上させることが可能となる。
(第5の実施形態)
次に、第5の実施形態について説明する。
第5の実施形態は、図17に示すように、パターン取得部(210)は、複数の走査ライン(図17では、3ライン)から得られた入力画像データからパターンを取得することを特徴とする。これにより、複数の走査ラインから得られた入力画像データに付加情報が埋め込まれている場合には、その付加情報を検出できた場合には、その付加情報に応じた処理を実施し、付加情報を検出できなくともパターンを取得できた場合には、そのパターンに応じた処理を実施することになる。これにより、原稿画像(101)に付加情報が埋め込まれている場合に、その付加情報が検出できなくとも、パターンを取得できた場合には、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。以下、図17を参照しながら、第5の実施形態について説明する。
第5の実施形態では、図17に示すように、原稿画像(101)を1ライン分ずつ読み込み、mライン(mは、読取ライン数を示し、図17では、m=3)読み込んだ入力画像データ;Aからパターンを取得することになる。このパターン取得をnライン(nは、移動ライン数を示し、図17では、n=1)ずつ移動させながら行うことになる。例えば、時刻;tでは、図17(a)に示す入力画像データ;A(t)を基にパターンを取得し、時刻;t+1では、図17(b)に示す入力画像データ;A(t+1)を基にパターンを取得し、時刻;t+2では、図17(c)に示す入力画像データ;A(t+2)を基にパターンを取得し、時刻;t+Δt(Δtは、任意の経過時刻)では、図17(d)に示す入力画像データ;A(t+Δt)を基にパターンを取得する。このように、mライン読み込んだ入力画像データ;Aを、nラインずつ移動させながらパターンの取得処理を行うことになる。
なお、上述した処理は、原稿画像(101)単位で行うことになる。これにより、複数の走査ラインから得られた入力画像データから付加情報を検出できた場合には、その付加情報に応じた処理を実施し、付加情報を検出できなくともパターンを取得できた場合には、そのパターンに応じた処理を実施することが可能となる。
なお、上述した処理を、複数の原稿画像(101)単位で行うことも可能である。例えば、複数の原稿画像(A,B,C)で構成される原稿があるとする。この場合、原稿画像(A)からは付加情報が検出できたが、原稿画像(B,C)からは付加情報が検出できず、パターンだけが取得できる場合等が想定される。この場合、上述した本実施形態の処理を行うことで、原稿画像(A,B,C)から取得できたパターンに応じた処理を、原稿画像(A,B,C)の入力画像データに対して実施することが可能となる。これにより、原稿画像(A、B,C)に付加情報が埋め込まれている場合に、その原稿画像(A,B,C)の付加情報を検出できなくとも、原稿画像(A、B,C)からパターンが取得できた場合には、原稿画像(A、B,C)の入力画像データに対し、何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。
(第6の実施形態)
次に、第6の実施形態について説明する。
第6の実施形態は、パターンとして図18に示す二次元コード(400)を利用し、基本パターンとして、その二次元コード(400)を構成する位置決め用シンボル(401)を用いることを特徴とする。これにより、上述した実施形態と同様に、パターン取得部(210)が入力画像データからパターン(位置決め用シンボル;401)を取得し、付加情報検出部(211)が二次元コード(400)の付加情報を検出することになる。そして、付加情報検出部(211)で二次元コード(400)の付加情報を検出できた場合には、当該付加情報に応じた処理を実施し、付加情報を検出できない場合には、パターン取得部(210)で取得できたパターン(位置決め用シンボル;401)に応じた処理を実施することになる。以下、図18、図19を参照しながら、第6の実施形態について説明する。
まず、図18を参照しながら、本実施形態のパターンとして使用する二次元コード(400)の構成について説明する。本実施形態のパターンとして使用する二次元コード(400)は、図18に示すように、位置決め用シンボル(401)を有して構成している。なお、位置決め用シンボル(401)は、二次元コード(401)を構成する位置決めに用いられるシンボルである。この図18に示す二次元コード(400)を、画像読取部(301)を用いて読み取り、デーコード(300)で二次元コード(400)の付加情報を検出することになる。
次に、図19を参照しながら、図18に示す二次元コード(400)の読取処理について説明する。
まず、デコーダ(300)は、画像読取部(301)を用いて、二次元コード(400)の読み取りを行い、二次元コード(400)の中から位置決め用シンボル(401)を取得する(ステップD1)。次に、デコーダ(300)は、ステップD1で取得した位置決め用シンボル(401)の位置座標を検出し、二次元コード(400)の位置を確定する(ステップD2)。図18の場合には、3個の位置決め用シンボル(401)が存在しているため、ステップD1で3個の位置決め用シンボル(401)を取得した場合に、二次元コード(400)の位置を確定することになる(ステップD2)。次に、デコーダ(300)は、二次元コード(400)から付加情報を検出し、二次元コード(400)の付加情報を検出できたか否かを判定する(ステップD3)。デコーダ(300)は、二次元コード(400)の付加情報を検出できた場合には(ステップD3/Yes)、その検出した付加情報に応じた処理を実施することになる(ステップD4)。また、二次元コード(400)の付加情報を検出できない場合には(ステップD3/No)、ステップD1で取得した位置決め用シンボル(401)に応じた処理を実施することになる(ステップD5)。
このように、本実施形態では、パターンとして二次元コード(400)を利用し、基本パターンを位置決め用シンボル(401)として上述した実施形態と同様な処理を行うことで、原稿画像(101)に付加情報(二次元コード;400)が埋め込まれている場合に、付加情報(二次元コード;400の付加情報)を検出できなくとも、基本パターン(位置決め用シンボル;401)を取得できた場合には、入力画像データに何かしらの処理を施し、入力画像データのセキュリティを向上させることが可能となる。なお、図18に示す二次元コード(400)の構成は一例であり、位置決め用シンボル(401)を有し、且つ、二次元コード(400)から付加情報を検出できる構成であれば、あらゆる態様の二次元コード(400)を構成することが可能である。また、図18に示す二次元コード(400)では、3つの位置決め用シンボル(401)を有して構成したが、位置決め用シンボル(401)の数も限定するものではなく、位置決め用シンボル(401)の座標位置を検出し、位置の確定を行うことが可能であれば、あらゆる態様が適用可能である。
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
例えば、上述した本実施形態における画像処理装置(10)を構成する各部の制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。
なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは、記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことが可能である。あるいは、プログラムは、リムーバブル記録媒体に、一時的、あるいは、永続的に格納(記録)しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、リムーバブル記録媒体としては、フロッピー(登録商標)ディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto optical)ディスク、DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどが挙げられる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールすることになる。また、ダウンロードサイトから、コンピュータに無線転送することになる。また、ネットワークを介して、コンピュータに有線で転送することになる。
また、本実施形態における画像処理装置(10)は、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
本発明は、画像データから検出した付加情報を基に、所定の処理を行う機器に適用可能である。
本実施形態の原稿画像(101)の一例を示す図である。 本実施形態における基本パターン(107)の一例を示す図である。 本実施形態における追加パターン(108)の一例を示す図である。 角度を6手順に量子化した場合の各手順における基本パターン(107)の態様を示す図である。 角度を6手順に量子化した場合の各手順における追加パターン(108)の態様を示す図である。 パターンの配列と相対的な又は絶対的な角度とによって表現される情報の例を示す図である。 本実施形態の画像処理装置(10)の構成を示す図である。 パターン取得部(210)の構成を示す図である。 管理テーブルの構成例を示す図であり、『付加情報(制御コード)』と、画像処理装置(10)の動作と、の関係例を示す図である。 本実施形態の画像処理装置(10)の処理動作例を示す図である。 第2の実施形態の画像処理装置(10)の処理動作例を示す図である。 第3の実施形態の画像処理装置(10)の処理動作例を示す第1の図である。 第3の実施形態の画像処理装置(10)の処理動作例を示す第2の図である。 第4の実施形態の画像処理装置(10)の管理テーブルの構成例を示す図である。 第4の実施形態の画像処理装置(10)の処理動作例を示す第1の図である。 第4の実施形態の画像処理装置(10)の処理動作例を示す第2の図である。 第5の実施形態の処理動作例を示す図である。 第6の実施形態の処理動作例を示す第1の図であり、二次元コード(400)の構成例を示す図である。 第6の実施形態の処理動作例を示す第2の図である。 本発明と関連する処理動作例を示す図である。
符号の説明
10 画像処理装置
201 スキャナ
202 画像処理部
203 プロッタ
204 システムコントローラ(制御部)
204a CPU
204b ROM
204c RAM
205 操作表示部
206 フィルタ処理部
207 変倍処理部
208 γ処理部
209 階調処理部
210 パターン取得部
211 付加情報検出部
212 カラー画像変換部
213 セレクタ
251 基本パターン取得部
252 パターン閾値判断部
253 基本パターン判断部
254 追加パターン判断部
300 デコーダ
301 画像読取部
400 二次元コード
401 位置決め用シンボル

Claims (8)

  1. 入力された画像データからパターンを取得する取得手段と、
    前記取得手段で取得された前記パターンから付加情報を検出する検出手段と、
    画像データの出力を制御する制御手段と、を有し、
    前記制御手段は、
    前記検出手段で前記付加情報を検出できた場合には当該付加情報に応じた制御を行い、前記付加情報を検出できない場合には前記取得手段で取得された前記パターンに応じた制御を行い、前記検出手段で複数種類の前記付加情報を検出できた場合には、前記取得手段で取得された前記パターンに応じた制御を行うことを特徴とする画像処理装置。
  2. 入力された画像データからパターンを取得する取得手段と、
    前記取得手段で取得された前記パターンから付加情報を検出する検出手段と、
    画像データの出力を制御する制御手段と、を有し、
    前記制御手段は、
    前記検出手段で前記付加情報を検出できた場合には当該付加情報に応じた制御を行い、前記付加情報を検出できない場合には前記取得手段で取得された前記パターンに応じた制御を行い、前記検出手段で複数種類の前記付加情報を検出できた場合には、前記付加情報の優先順位を格納する格納手段を参照し、優先順位の高い付加情報に応じた制御を行うことを特徴とする画像処理装置。
  3. 前記パターンは、基本パターンと、前記基本パターンと形状が異なる追加パターンと、を含んで構成することを特徴とする請求項1または2記載の画像処理装置。
  4. 前記基本パターンは、前記パターンを構成する位置決めに用いられるシンボルであり、前記追加パターンは、前記パターンを構成する付加情報に用いられるシンボルであることを特徴とする請求項に記載の画像処理装置。
  5. 入力された画像データからパターンを取得する取得ステップと、
    前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
    前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施す制御ステップと、
    を有することを特徴とする画像処理方法。
  6. 入力された画像データからパターンを取得する取得ステップと、
    前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
    前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記付加情報の優先順位を格納する格納手段を参照し、優先順位の高い付加情報に応じた出力制御を前記画像データに施す制御ステップと、
    を有することを特徴とする画像処理方法。
  7. コンピュータに、
    入力された画像データからパターンを取得する取得ステップと、
    前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
    前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施す制御ステップと、
    を実行させることを特徴とする画像処理プログラム。
  8. コンピュータに、
    入力された画像データからパターンを取得する取得ステップと、
    前記取得ステップで取得された前記パターンから付加情報を検出する検出ステップと、
    前記検出ステップで付加情報が検出できた場合には当該付加情報に応じた出力制御を前記画像データに施し、前記検出ステップで付加情報が検出できない場合には前記取得ステップで取得された前記パターンに応じた出力制御を前記画像データに施し、前記検出ステップで複数種類の前記付加情報を検出できた場合には、前記付加情報の優先順位を格納する格納手段を参照し、優先順位の高い付加情報に応じた出力制御を前記画像データに施す制御ステップと、
    を実行させることを特徴とする画像処理プログラム。
JP2008042234A 2008-02-22 2008-02-22 画像処理装置、画像処理方法及び画像処理プログラム Expired - Fee Related JP4870697B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008042234A JP4870697B2 (ja) 2008-02-22 2008-02-22 画像処理装置、画像処理方法及び画像処理プログラム
US12/379,222 US8339678B2 (en) 2008-02-22 2009-02-17 Apparatus, system, and method of process control based on the determination of embedded information
EP09250459.6A EP2093992B1 (en) 2008-02-22 2009-02-20 Apparatus, system, and method of process control
CN2009100073995A CN101515985B (zh) 2008-02-22 2009-02-23 处理控制设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008042234A JP4870697B2 (ja) 2008-02-22 2008-02-22 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009200977A JP2009200977A (ja) 2009-09-03
JP4870697B2 true JP4870697B2 (ja) 2012-02-08

Family

ID=40630363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008042234A Expired - Fee Related JP4870697B2 (ja) 2008-02-22 2008-02-22 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US8339678B2 (ja)
EP (1) EP2093992B1 (ja)
JP (1) JP4870697B2 (ja)
CN (1) CN101515985B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160301822A1 (en) * 2015-04-13 2016-10-13 Kabushiki Kaisha Toshiba Image forming apparatus,data overwriting image for the same forming method and non-transitory computer readable recording medium
JP6707947B2 (ja) * 2016-03-29 2020-06-10 株式会社リコー 画像処理装置、画像処理方法及びプログラム
US11904619B2 (en) * 2018-09-12 2024-02-20 David Wachs Mechanical handwriting barcode apparatus and method of use thereof
US20220266614A1 (en) * 2018-09-12 2022-08-25 David Wachs Mechanical handwriting barcode apparatus and method of use thereof

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421145B1 (en) 1992-09-28 2002-07-16 Canon Kabushiki Kaisha Image processing apparatus and method using image information and additional information or an additional pattern added thereto or superposed thereon
US5798844A (en) 1993-07-23 1998-08-25 Ricoh Company, Ltd. Duplicator having function concerning specific mark put on recording sheet and image forming apparatus having function of processing confidential documents
JP3891230B2 (ja) * 1997-05-29 2007-03-14 ソニー株式会社 付加情報重畳装置および付加情報重畳方法
JP3879552B2 (ja) * 2002-03-20 2007-02-14 富士ゼロックス株式会社 画像生成装置、画像読取装置、不正複製防止システム、プログラム、および出力媒体の製造方法
JP2004274092A (ja) 2002-07-23 2004-09-30 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体
JP2004201069A (ja) 2002-12-19 2004-07-15 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
JP4200106B2 (ja) 2003-07-15 2008-12-24 株式会社リコー 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータプログラムを記憶する記憶媒体
EP1509034B1 (en) 2003-08-21 2009-02-18 Ricoh Company, Ltd. Method, program, and apparatus for prohibiting a reproduction of an anti-copy document, and a medium storing the program
US7720290B2 (en) 2003-11-06 2010-05-18 Ricoh Company, Ltd. Method, program, and apparatus for detecting specific information included in image data of original image, and computer-readable storing medium storing the program
JP2005234970A (ja) * 2004-02-20 2005-09-02 Denso Wave Inc 情報コード読取装置
JP4660212B2 (ja) * 2005-01-24 2011-03-30 株式会社東芝 画像処理装置および画像処理方法
JP2006287902A (ja) * 2005-03-10 2006-10-19 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4004509B2 (ja) 2005-03-15 2007-11-07 シャープ株式会社 画像読取装置、画像処理システム、及び画像記録装置
JP2007037099A (ja) 2005-06-22 2007-02-08 Ricoh Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4771283B2 (ja) * 2006-01-25 2011-09-14 富士ゼロックス株式会社 画像処理装置、画像形成装置、地紋画像、印刷物、画像処理方法、画像形成方法及びプログラム
JP4115490B2 (ja) 2006-03-02 2008-07-09 シャープ株式会社 特定画像情報の付与方法及び画像形成装置
JP4692766B2 (ja) 2006-06-29 2011-06-01 富士ゼロックス株式会社 画像処理装置と画像処理方法およびプログラム

Also Published As

Publication number Publication date
CN101515985A (zh) 2009-08-26
EP2093992A1 (en) 2009-08-26
JP2009200977A (ja) 2009-09-03
US20090213397A1 (en) 2009-08-27
CN101515985B (zh) 2012-09-05
US8339678B2 (en) 2012-12-25
EP2093992B1 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
JP4915512B2 (ja) 画像処理装置、画像処理プログラム
JP2007037099A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP4870697B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2006303870A (ja) 画像形成装置及び方法
US20100060923A1 (en) Apparatus, method and program
JP4949488B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体
US20090244639A1 (en) Image output apparatus, method for controlling image output apparatus, and computer-readable storage medium thereof
JP4137935B2 (ja) 画像処理装置、パターン検出方法、プログラム、及び記録媒体
JPWO2006030514A1 (ja) 画像複製制御装置、画像複製制御方法、画像作成装置、画像作成方法、プログラム、画像複製装置
JP4137945B2 (ja) 画像検出方法
JP4525485B2 (ja) 画像形成方法、情報埋め込み方法、情報埋め込み装置、情報復号方法、情報復号装置、情報埋め込みプログラム、及び情報復号プログラム
JP4137949B2 (ja) 管理情報の付加方法及び画像形成装置
JP4587123B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8886567B2 (en) Image processing apparatus, image forming apparatus, and computer-readable recording medium storing image processing program
JP4821629B2 (ja) 画像処理装置および画像処理プログラム
JP2010171596A (ja) 画像処理装置
JP2005142918A (ja) 画像処理装置、画像処理プログラム、記憶媒体及び画像処理方法
WO2015115211A1 (ja) 画像処理装置
JP2007166333A (ja) 画像処理装置及び画像処理方法
JP6665593B2 (ja) 情報処理装置、画像形成装置、情報処理方法およびプログラム
JP2007166218A (ja) 画像処理装置、画像処理方法及びプログラム
JP2007166335A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2006108994A (ja) 画像処理方法および装置
JP2013243633A (ja) 複写禁止情報埋込方法、複写禁止情報認識方法、複写禁止機能が搭載された複合機
JP5143638B2 (ja) 画像処理方法、画像処理装置、画像形成装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111117

R150 Certificate of patent or registration of utility model

Ref document number: 4870697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees