JP2006025170A - 画像処理装置 - Google Patents

Abstract

【課題】 蓄積画像データの出力の管理（配信先、画像データの利用制限・防止、画像データの漏洩防止等）を送信側が主体的に行えるようにする。
【解決手段】 原稿読み取り等により入力し、ＨＤＤに蓄積する際に管理が必要な画像であるかを認識し、その結果によって、蓄積画像を外部に送信する際、ＪＰＥＧ変換等の送信データとしての変換を行うデータ形式変換装置１０５を通す時に、意図的に出力の管理を可能とする設定条件による色変換或いは電子透かし合成処理１０９を画像データに施して、送信する。電子透かしにより埋め込む情報を、利用制限（画像をディスプレイ表示させると普通に画像が表示されるが、印刷させると表示に現れない画像を印刷したり、コピーそのものを禁止する）等を可能とする制御データとすることにより、画像データの利用の制限や防止、画像データ漏洩の防止といった出力管理が画像データを通して直接に行うことが可能になる。
【選択図】 図５

Description

本発明は、配信機能及びキャプチャ機能を備えた、例えば複合型（コピー機能、ファクシミリ機能、プリンタ機能等を複合させた）のデジタル複写機のように、多様なデータソースから入力された画像データを蓄積し、蓄積した画像データをもとに記録媒体に画像を形成するほか、外部機器（コンピュータ等）へ配信することを可能にした画像処理装置（システム）に関し、より特定すると、データソースを明らかにすることが必要な画像の出力の管理を可能にするための手段を備えた前記画像処理装置に関する。

近年、複写機においては、コピー機能のほかに、スキャナ機能、プリンタ機能、ファクシミリ機能等を搭載した多機能機が一般化しつつあり、これに伴ってこれらの機能を支えるネットワーク技術の導入が進行している。また、ネットワーク化は、複写機を含む画像機器相互間でそれぞれが取得、蓄積した画像データの入出力を可能にし、配信機能及びキャプチャ機能として実現している。
複写機を含む画像機器内のＨＤＤ（Hard Disc Drive）等の記憶装置に蓄積されている画像データがコピー画像の場合、その原稿となるものは様々なものがある。コピー出力する際には、原稿の違いに対応して、異なる処理条件による画像処理を施している。例えば、複写機には、機器に備えた操作部などから複写する原稿が何であるかを選択し、選択に従った動作モードでコピー出力に適した処理をするようになっている。
また、これらの画像機器に備え付けられた記憶装置に蓄積されている画像データを、ネットワークを介してあるクライアントのＰＣ（Personal Computer）などに送信する場合、蓄積画像に画像処理を施し、汎用ファイルフォーマットに変換して送信する。このときに行う画像処理は、その取り込み先の指定、例えば、一般文書用であったら、ＯＣＲ（Optical Character Reader）用に加工してＰＣ側に送信する、といったように、出力先の指定に適合する形式の画像処理を施す、という方法が採用されている。
上記のように、蓄積画像に対する入力及び出力条件を考慮してデータの配信をする従来例として、下記特許文献１を挙げることができる。この例では、文書を入力し、電子データとして蓄積する際に、文書入力手段の諸情報を蓄積する電子データに付与し、また、電子データを出力する際に、出力手段の情報を付与するようにした構成が示されている。

ところで、近年のカラー複写機は、画像処理技術・画像形成技術の向上によって、カラー複写機で複写したコピー紙幣と実際の紙幣とが容易に区別できないほど精巧に複写コピーが行えるようになっている。このため、紙幣、有価証券等の特殊原稿を判別し、特殊原稿の場合に、違法複写を禁止するようにした装置や、特殊原稿を判別する機能（例えば、複写物に判別マークを付す）を有した画像処理装置が開発されている。
上記のような特殊原稿の判別機能を有した画像処理装置の従来例として、下記特許文献２を挙げることができる。この例では、パターンマッチング法により特殊原稿を判別し、判別結果を画像データと別にその関連属性データとして保存する。この属性データに基づき、複製禁止原稿の時は、複製を禁止したり、画像に加工をして複写したものと原稿が容易に区別できるようにし、複製の流出を制限している。
特許文献２と同様の複製禁止原稿に対応する機能を、多機能機に備えるようにした例を下記特許文献３に見ることができる。ここでは、画像情報とともに記憶する画像の属性データの一つとして紙幣の判別データを含め、ネットワークを経由して送られた画像に対して属性データの利用を可能としている。

また、企業のオフィス等では、紙幣や有価証券等以外の一般文書の場合にも，文書の内容の重要度や機密保持、或いは著作権保護等の観点から複写が禁止されている複写禁止原稿が多数存在する。この場合に、上記のように、マル秘の印鑑や複写禁止のマーク等により複写可能な原稿と区別するようにしているが、それ以外に、人の目で判別しにくい色で、装置の機番，製造番号，使用者ＩＤ等の情報を複写物に追跡パターンとしてプリンタ作像時に付加する方法も提案されている。この方法は、一定の目立たない色（例えば、イエロー）により、ある程度のドットの大きさでプリンタ作像時に全面に書き込む方式である。こうした方式による従来例として、特許文献４を挙げることができる。ここでは、例えば，複写機等の画像形成装置に適用して複写物に情報を付加することにより、複写物の出所を追跡することを可能としている。
さらに、インターネット上で配信される、コンテンツにおいて、著作権を保護するために、コンテンツを暗号化し、暗号解除のプログラムを有するクライアントのみが、コンテンツの暗号解除が行えてサービスを受けることを可能にするシステムを示す従来例として、下記特許文献５を挙げることができる。
特開２０００‐３５３１７２公報 特開平２―８３５７１号公報 特開２００１―２２３８２８号公報 特開平７―８７２９７号公報 特開２００２−１３２９９９号公報

しかしながら、特許文献１では、文書データを出力する際に、出力手段の情報を付加するにとどまり、その出力の可否等の出力管理がなされていないため、情報の漏洩は避けられず、機密保持、或いは著作権保護等の機能を果たせない。
また、特許文献２の複写禁止のマークを付加する方式では、このような機構は先にも述べたように紙などに出力する際に行われていることが多く、記録装置に記憶されている画像データには施されていない。そのため、これをネットワークなどで画像データとして読み出そうとしたとき、読み出せてしまうことがある。また、意図的に画像データとして読み出したいなどのニーズもある。そのような時、再利用して別のプリンタ装置において紙に出力したとき、出力が可能であり、元の原稿と見分けがつかなくなり、問題を生じてしまう。
また、特許文献３では、紙幣の判別データを画像情報の属性データの一つとして付加し、画像情報とともにその利用を可能としているが、あくまで属性データとして付加したものであり、画像データそのものに画像データの出力の管理をするための機能を付与することができない。
また、複写物に追跡パターン情報や複写禁止のマークを付加する上記方式（特許文献４参照）は、スキャナ装置と画像形成装置が一体となった機器において、画像形成処理の一環として行われているので、例えば、機器内の記憶装置にスキャナ装置からの画像データをＲＧＢ系の画像像データで蓄積し、その蓄積された画像データをＰＣなどで引き取った場合は、画像形成装置を介さないため追跡パターンが付加されない。また、蓄積された画像データをネットワーク経由で別の画像形成装置を用いて紙出力した場合では、画像形成装置の機器は特定できるが、画像データが入力されたスキャナ装置の機器情報は含んでいないため、どのような経路をたどって出力されたものかが追跡できない。

本発明は、多様なデータソースから入力された入力画像データを蓄積し、蓄積した画像データをネットワーク上に通信媒体を介して送信する機能を有する画像処理装置における上述の従来技術の問題に鑑み、これを解決するためになされたもので、その解決課題は、画像データを蓄積した画像処理装置側で主体的に利用対象となる画像データに対する送信先への出力の管理、例えば、ネットワーク上の配信先情報の管理、画像データの利用の制限や防止、画像データの漏洩の防止等、を行えるようにすることにある。また、画像データの入力の管理情報を付加することにより、データソースからの画像データの追跡を可能にすることをさらなる解決課題とする。

請求項１の発明は、入力された画像データを蓄積する画像蓄積手段と、蓄積された画像データを可変の設定条件に従い変換するデータ形式変換手段と、該データ形式変換手段により変換した画像データをネットワーク上に送信する通信手段を有する画像処理装置であって、前記データ形式変換手段が、前記画像蓄積手段に格納された画像データの出力時に、出力の管理を可能とする設定条件による変換を行う手段を備えたことにより、課題の解決を図る。
請求項２の発明は、請求項１に記載された画像処理装置において、画像データに対し出力の管理が必要なデータであることを認識する画像認識手段と、該画像認識手段の認識結果によって前記データ形式変換手段に出力の管理を可能とする設定条件による変換を指示する手段を備えたことを特徴とするものである。

請求項３の発明は、請求項１又は２に記載された画像処理装置において、前記データ形式変換手段が、出力の管理を可能とする設定条件として、画像データに透かし情報を埋め込むための条件を設定可能とした手段であること特徴とするものである。
請求項４の発明は、請求項３に記載された画像処理装置において、前記透かし情報に画像データの利用を制限するための情報を含ませたこと特徴とするものである。
請求項５の発明は、請求項１又は２に記載された画像処理装置において、前記データ形式変換手段が、出力の管理を可能とする設定条件による変換対象の画像が色情報を含むときに、出力の管理が可能な設定条件として、色情報の一色のデータを最大もしくは最小の値に設定可能とした手段であること特徴とするものである。

請求項６の発明は、請求項１に記載された画像処理装置において、原画像の入力手段と、該入力手段による画像入力時の入力関連情報を蓄積画像データに埋め込む手段を備え、かつ前記データ形式変換手段が、出力の管理を可能とする設定条件として、ネットワーク上に送信する画像データに出力関連情報を埋め込むための条件を設定可能とした手段であること特徴とするものである。
請求項７の発明は、請求項６に記載された画像処理装置において、前記出力関連情報に送信先に対する送信許可の有無を示す情報を含ませ、この情報によって送信を許可した送信先に利用を制限する送信管理手段を備えたこと特徴とするものである。

請求項８の発明は、請求項６又は７に記載された画像処理装置において、前記データ形式変換手段が、出力の管理を可能とする設定条件として、ネットワーク上に送信する画像データを暗号化するための条件を設定可能とした手段であり、前記出力関連情報に送信先に対する暗号化の必要の有無を示す情報を含ませ、この情報によって前記データ形式変換手段に暗号化するための条件を設定する手段を備えたこと特徴とする画像形成装置である。
請求項９の発明は、請求項６乃至８のいずれかに記載された画像処理装置において、前記入力関連情報が、入力に係わる装置の機器情報、ユーザ情報の少なくとも一方であること特徴とする画像形成装置である。
請求項１０の発明は、請求項６乃至９のいずれかに記載された画像処理装置において、前記出力関連情報が、出力に係わる装置の機器情報、ユーザ情報の少なくとも一方であること特徴とする画像形成装置である。

請求項１１の発明は、請求項１乃至１０のいずれかに記載された画像処理装置において、蓄積された画像データに基づいて画像を形成する手段を備えたことを特徴とするものである。

（１） 請求項１〜５の発明によると、画像データを外部に送信する際、意図的に出力の管理を可能とする設定条件による変換を画像データに施して送信することにより、画像データの利用の制限や防止、画像データ漏洩の防止等の出力管理が画像データを通して直接に行うことが可能になる。
（２） しかも、請求項２〜５の発明によると、例えば、紙幣や有価証券、著作権の保護が必要な文書などの出力を管理すべき画像データを対象に（請求項２）、画像データに透かし情報を埋めこむことにより、閲覧には問題を生じることも無く所期の目的を遂行可能となり（請求項３，４）、又管理対象の画像の色を変えることで、原画像との違いを色により認識できる形式の出力とすることにより、ユーザに注意を喚起することが可能になる（請求項５）。
（３） しかも、請求項６〜１０の発明によると、ネットワーク上に送信した画像データに、その画像データの入力及び出力（送信）関連情報を埋め込むことにより、ネットワーク上で扱われる画像データの詳細な管理が可能になり、また、出力の管理形態として、送信を許可した送信先に利用を制限すること（請求項７）、利用を制限するための暗号化を行うこと（請求項８）が可能となる。
（４） 請求項１１の発明によると、複写機（多機能機を含む）やファクシミリ等のように、入力画像データを用いて、自身で印刷出力を可能とした画像処理装置における画像データの出力にも、上記（１）〜（３）の効果を実現することを可能にする。

以下には、本発明の画像処理装置に係わる実施形態として、コピー機能、ファクシミリ（ＦＡＸ）機能、プリンタ機能、および内部に蓄積した入力画像（読み取り原稿画像やプリンタ或いはＦＡＸ機能により入力された画像）を外部に送信する機能、の各機能を複合して備えたデジタル複写機へ実施した例を示す。
図１は、本実施形態のデジタル複写機に係わる画像データ処理システムの構成を概略的に示すブロック図である。
コピー機能に用いる要素として、原稿から画像データを読み取る読み取りユニット１、読み取りユニット１が読み取った画像データに対し画像処理を施すスキャナ補正部２、スキャナ補正部２から出力される多値データを圧縮する多値データ固定長圧縮器３、圧縮後のデータを蓄積するＨＤＤ５を有する。なお、カラー画像に対応可能な構成では、読み取りユニット１では、カラー成分信号で画像を読み取り、また多値データ固定長圧縮器３もカラー・モノクロ対応とする。また、読み取りユニット１が読み取った画像データを管理する（後記で詳述）ために、紙幣や有価証券、著作権の保護が必要な文書など、管理すべき画像データを認識する画像認識装置１６を備える。
プリンタコントローラ４は、原稿読み取りから、読み取り画像データの蓄積、蓄積画像データを用いた印刷出力といったコピー機能を始め、複合機能全体の動作を制御するコントローラとして動作する。従って、動作に必要なデータを格納するためのメモリ１１を制御下に持つ。また、メモリプリンタコントローラ４にユーザによる機能の選択や動作条件の設定等の入力操作を行う操作部１７を接続する。

ＦＡＸ機能に用いる要素として、本例ではＰＳＴＮに接続してＦＡＸ信号の送受信を行い、圧縮された受信ＦＡＸデータを元のデータに戻す２値可変長可逆圧縮データ伸張器を有するＦＡＸコントローラ１３を備える。なお、ＦＡＸ画像をモノクロとする場合、２値可変長可逆圧縮データ伸張器をモノクロ対応とする。
プリンタ機能に用いる要素として、本例ではネットワーク接続された外部ＰＣ１９との間の通信を行うためのＮＩＣ（ネットワークインターフェースコントーラ）１４を介して外部ＰＣ１９からの印刷コマンドに従いラスターイメージ処理（ＲＩＰ）を行い、又ＲＩＰ後のデータ専用の圧縮をプリンタコントローラ４で行う。
蓄積された入力画像データの配信機能に用いる要素として、上記したコピー・ＦＡＸ・プリンタの各機能を用いる際に生成されＨＤＤ５に蓄積されたデータを、送信先の外部機器（本例では外部ＰＣ１９）で処理可能な汎用のデータ形式に変換したり、送信する画像データを管理するためのデータ変換をする画像フォーマット変換ユニット１０（後記で詳述）を有する。
また、上記各機能を用いて生成される画像データを用いて印刷出力（画像形成処理）をする場合には、本例では、ＨＤＤ５に蓄積されたデータを用いる。このために、蓄積した圧縮データを元のデータに戻すために、画像データ種に応じた伸張器を用いる。コピー機能の場合には多値のカラー・モノクロデータを伸張する多値データ固定長伸張器６を、又ＦＡＸ、プリンタの各機能の場合にはプリンタコントローラ４にモノクロ用、カラー用の各可変長可逆圧縮データ伸張器を設ける。また、画像形成処理を行うための手段として、伸張後のデータに補正を施すプリンタ補正部７と、ＧＡＶＤ（書き込みユニット）８、作像ユニット９からなるエンジン部を有する。なお、エンジン部はエンジンコントローラ１２によって制御される。

次に、上記した要素により構成されるデジタル複写機における画像データの出力管理に関して、その実施形態を説明する。
画像データの出力管理は、ＨＤＤ５に蓄積した入力画像（読み取り原稿画像やプリンタ或いはＦＡＸ機能により入力された画像）を外部に送信したり、複写物として外部に紙媒体で出力する場合に、画像フォーマット変換ユニット１０で画像データに対して、意図的に出力の管理を可能とする設定条件による変換を施こすことにより、画像データの利用の制限や防止、画像データ漏洩の防止等を可能とする。以下の実施形態には、画像データに対し異なる変換方法を適用することにより、出力する画像データの管理を可能にした例を示す。

「実施形態１」
本実施形態は、管理対象となる、紙幣や有価証券、著作権の保護が必要な文書などの画像データに対する色変換処理における設定を、色情報の一色のデータを最大もしくは最小の値といった特殊な設定にし、印刷出力したときに原画像との違いが識別できるような画像データとすることによって、出力の管理を可能にする。
図１を参照して、本実施形態の画像データ処理をその流れに沿ってより詳細に説明する。
コピー機能を使用する時には、まず、原稿台にセットされた原稿を読み取りユニット１のスキャナなどの読み取り装置によって読み取る。読み取られた画像データは、スキャナ補正２にて、各種の補正や変換等を行う。図２は、スキャナ補正の構成例を示す図で、同図に示すように、ここでは、スキャナγ２１、変倍２４の各処理、さらに画質モードに対応したフィルタ２２の処理及び色補正２６が行われる。
スキャナ補正後のデータは、多値データ固定長圧縮器３によって圧縮され、汎用バス１５を経由して、プリンタコントローラ４の制御によってＨＤＤなどの記憶装置５に保存される。
本例では、管理対象となる、紙幣や有価証券、著作権の保護が必要な文書などの原稿（以下、「特殊原稿」と記す）の画像データを画像データから認識する画像認識装置１６を備えている。読み取り装置によって生成された画像データは、スキャナ補正２に入ると同時に画像認識装置１６に入り、ここで認識された結果は、先にＨＤＤなどの記憶装置５に保存した画像データの関連書誌情報として、同じく保存される。
その後、プリントエンジン部が出力可能となったときに、ＨＤＤ５に保存されている画像データを多値データ固定長伸張器６によって先に圧縮されたデータを復元する。この復元された画像データをプリンタ補正７でプリント特性に適合するデータへと処理し、ＧＡＶＤ８を介してプリント作像ユニットに送り、転写紙などに画像を形成するために用いる。
ここで、先の画像認識装置１６により、特殊原稿と認識されているときは、出力の管理を可能にするための処理を施す。ここでは、再利用ができないように、カラー画像の場合には、例えばＣＭＹＫ（Ｃ：Ｃｙａｎ，Ｍ：Ｍａｇｅｎｔａ，Ｙ：Ｙｅｌｌｏｗ，Ｋ：Ｂｌａｃｋ）の場合、Ｃ版を全面にのせ、複写されたことはわかるが、原画像とは一見して区別が出来るような色変換を行い、プリントエンジン部で印刷出力を行う。印刷出力をすれば、この様に意図的に色を変えるようにするが、ユーザにこの様な画像になることを知らせ、印刷出力を中止できるようにしたり、複製を禁止したりするようにしても良い。

次に、配信機能を使用する時の画像データの処理について述べる。
ＨＤＤ５などに保存されている画像データは、例えば、操作部１７からの処理条件の設定によって、複写した後も記録していたり、記録を消去したりと自由に設定できる。また、保存されている画像データと一緒に、そのときに行ったコピーモードなどの情報も保存されていて、その一部には、画像認識装置１６で判断された結果も保存されている。
この様にしてＨＤＤなどの記憶装置５に記憶されている画像データを、ネットワークなどを通じてＰＣ１９に転送する場合、まず、ＨＤＤ５に記憶されている画像データは、汎用バス１５を通じて、画像フォーマット変換ユニット１０に設けたデータ形式変換装置に入る。
図３は、本実施形態のデータ形式変換装置の一例を示す。
図３を参照してデータ形式変換装置の構成とその動作について説明する。まず、ＨＤＤ５に記憶されている画像データは、先の読み取りユニット１からの入力パスによると、圧縮された状態で記憶されるので、ブロック固定長伸張１０６で伸張される。その後、データ形式変換用補正１０７で画像補正を施し、ＰＣ１９で受け取りたい画像フォーマット、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式で受け取りたい場合は、図３に示すようにＪＰＥＧ形式変換１０８でＪＰＥＧ形式に変換を行う。そして、ＮＩＣ１４を通じてネットワーク経由でＰＣ１９に配信されることになる。ここで、図３では、ＪＰＥＧ形式への変換を行っているが、画像フォーマットの変換は、この他にも汎用的なフォーマットへの変換、たとえば、ＴＩＦＦ（Tagged Image File Format）形式やビットマップ形式などユーザーが望むほかの形式への変換でもよい。

データ形式変換装置（図３）のデータ形式変換用補正１０７では、例えば、図４に示すような画像処理を施す。
まず、ＨＤＤなどの記憶装置５に記憶されている画像データを伸張した画像データがデータ形式変換用補正１０７に入力されると、色空間変換１０７ａでＰＣ１９側に配信するときの設定に従う色空間に変換する。例えば、機器内部に記憶されていた画像データの色空間がＣＭＹＫであり、ＴＩＦＦフォーマットにて画像データをＰＣ１９側に配信する場合などは、この色空間変換１０７ａの処理にてＣＭＹＫ空間からＲＧＢ（Ｒ：ＲＥＤ，Ｇ：ＧＲＥＥＮ，Ｂ：ＢＬＵＥ）空間に変換する。また、機器内部に記憶されている画像データの色空間とフォーマットの色空間が同じ、例えば、両方ともＲＧＢ空間であっても、ＰＣ１９側に配信されたときに適合する色補正をこの色空間変換１０７ａにて行う。
その後、たとえばＰＣ１９側でデータを２００dpiの解像度で配信を要求して、機器に保存されている画像データが６００dpiで保存されている場合、解像度変換１０７ｂを行う。この例の場合では、元の画像を１／３に解像度変換する。
その後、空間フィルタ１０７ｃにおいてフィルタ処理を施す。この空間フィルタ１０７ｃにおいては、例えば画像データをなだらかにする平滑化処理や、画像のエッジ等、画像周波数に応じた処理を施すエッジ強調処理などを行う。平滑化処理では、画像データにおけるモアレの抑制が含まれ、エッジ強調では読み取りユニット１にて読み取ったときの置ける周波数特性の劣化を補正するためにエッジの強調を行う。
空間フィルタ１０７ｃにおける処理を行った後、γ補正１０７ｄにて画像データの濃度γの調整をおこなう。このγ補正では濃度を例えば、文字用なら高濃度側に持ち上げたようなγ特性となるように処理を施すこと等が含まれる。
γ補正１０７ｄを行った後、出力として求められる画像フォーマットにあった中間調処理１０７ｅを行う。例えば、ＦＡＸデータのようなＴＩＦＦ形式に変換する場合は、ここで２値化処理を施したり、誤差拡散処理を施したりする。

データ形式変換用補正１０７におけるそれぞれの画像補正のパラメータは、ＰＣ１９から設定された画像モード、例えば、ＰＣ１９側では、普通に画像データとして受け取りたい時や、ＯＣＲ認識を目的とした時や、単純にバックアップとして保管するためのモードとして要求した時など、また、画像フォーマット形式もＪＰＥＧやＴＩＦＦ、２値ＴＩＦＦ、ＢＩＴＭＡＰなど、いろいろある。これらの設定に応じて、データ形式変換用補正１０７の各画像補正のパラメータについても、それらに適した設定とする。
ここで、上述のように、ＨＤＤ５に記録されている内容は画像データと一緒に、その原稿種など様々な情報が記憶されており、先の画像認識装置１６の認識結果も保存されている。データ形式変換用補正１０７の処理対象となる画像データが画像認識装置１６で特殊原稿と認識された場合、コピー機能を使用する時におけると同様に、特殊原稿画像が再利用によって悪用されることがないようにするために、送信出力する画像データに対して、データ形式変換補正１０７にて、ユーザーの意思とは関係なく意図的に、こうした管理を可能とする処理を施す。
例えば、色空間変換１０７ａの処理においてＲＧＢ画像を生成しようとしたとき、意図的に全面的にＲ画像のみを飽和させる。また、飽和させなくとも、例えばＲ画像の最大値で画像データを上書きする。この他、空間フィルタ１０７ｃの処理において、全面に非常に強い平滑化処理を施したりする。このような処理をする意図は、画像データとして原稿が何であったかの識別はできるが、この画像データがその後再利用されても、原稿（原画像）とは識別できるぐらいはっきりとした画像劣化が見られるぐらいの処理を施すことにより、不正行為を防止する等の管理を可能にする。

「実施形態２」
本実施形態は、出力の管理対象となる画像データに電子透かし合成による管理情報の埋め込みを行うことによって、画像データ出力の管理を可能にする。電子透かしにより埋め込んだ情報は、上記「実施形態１」のように画像データに視覚的な情報を付与する方法ではない。本実施形態では、配信機能を使用する時の画像データ処理において、電子透かし合成による管理情報の埋め込みを行うようにし、そのための処理を画像フォーマット変換ユニット１０に設けたデータ形式変換装置に付加する。なお、画像データの出力を管理するために付加された事項に係わる部分以外の構成及び動作、即ち、出力管理の対象としない通常原稿の処理については、上記「実施形態１」に示したと同様であるから、上記「実施形態１」の記載を参照することとし、記載を省略する。
図５は、本実施形態のデータ形式変換装置の一例を示す。
図５を参照してデータ形式変換装置の構成とその動作について説明すると、ブロック固定長伸張１０６で蓄積画像データ（読み取りユニット１からの入力パスを経由しＨＤＤ５に蓄積された圧縮画像データ）を伸張した後、要求に従い設定された処理条件で画像処理１０７´によって変換・補正が施され、さらにＪＰＥＧ形式変換１０８でＪＰＥＧファイル形式への変換後、最後に電子透かし合成１０９により管理情報の埋め込みを行う。この管理情報の埋め込みは、管理する側の意図で行うものであり、管理情報を埋め込む場合には、画像認識装置１６で判断された結果を利用して、対象を特殊原稿に特定することも可能である。なお、電子透かし合成１０９そのものは、公知技術であり、本例はこの公知技術を適用することにより実施することが可能である。

本実施形態では、電子透かしにより埋め込む情報を、利用制限情報とする。即ち、透かし情報を埋め込んだ画像データをディスプレイなどに表示させるときは、普段どおりに画像が表示されるが、この画像を印刷しようとした場合、表示には見えない画像が印刷されたり、コピーそのものを禁止したり、といった利用の制限を行うための制御データを電子透かしにより埋め込む情報とすることにより、所期の画像データ出力管理を可能とする。
また、認証機能を持たせるために電子透かし合成を行う方法を利用することができる。
この方法は、画像を参照、閲覧表示する場合に、特定の閲覧ソフトの使用を条件に表示のみを許可するという公知技術が存在するが、透かし情報として、この特定の閲覧ソフトの使用を認証するための情報を埋め込むことで、認証が成立する場合に、画像の参照、閲覧を可能にする方法である。また、ユーザーによる画像の参照、閲覧が可能となり、画像表示する場合にも、その閲覧ソフトでは表示のみで、ファイルの改ざんや印刷処理を許可しないように保護することを可能とする。
さらに、電子透かしにより、画像追跡をするための情報を埋め込んだりすることも、画像データの出力管理に有効な手段となる。
このように、画像認識装置によって特殊原稿と認識された画像データを外部へ配信する場合、意図的な画像処理を施すことにより、所期の画像データの出力管理を可能とする。

「実施形態３」
本実施形態は、画像データ出力の管理を可能にするために、画像データに管理情報として入力関連情報及び出力（送信）関連情報を付加するようにするものである。特に、ネットワーク上に送信する画像データにも該管理情報を付加することにより、ネットワーク上で扱われる画像データの詳細な管理を可能にすることを意図する。
このために、本実施形態では、画像データに管理情報の埋め込みを行うようにし、この処理を画像フォーマット変換ユニット１０或いはプリンタ補正６により行う。なお、ここで画像データの出力を管理するための付加事項に係わる部分以外の構成及び動作、即ち、これまでのコピー出力や配信出力において通常行われている公知の処理については、上記「実施形態１」に示したと同様であるから、上記「実施形態１」の記載を参照することとし、詳細な記載を省略する。
先ず、コピー機能を使用する時の処理の流れに沿って本例を説明すると、読み取りユニット１で読み取った原稿の画像データは、スキャナ補正部２で各種の補正・変換処理（図２参照）を行い、処理後の多値画像データは多値データ固定長圧縮器３によって圧縮される。圧縮後の画像データは汎用バスＩ／Ｆ１５を通ってプリンタコントローラ４に送られる。プリンタコントローラ４はこのデータを半導体メモリ１１に蓄積する。

プリンタコントローラ４のメモリ１１に蓄積されたデータは随時ＨＤＤ５に書き込まれるが、ＨＤＤ５に書き込む際には、画像データに管理情報の埋め込みを行う。このため、メモリ１１に蓄積された画像データを画像フォーマット変換ユニット１０に送り、入力関連情報として、読み取りユニット１のスキャナ固有の機器情報等を画像データに付加する。
一般に、読み取りユニット１のスキャナ等の入力機器は、ネットワークに接続され、外部へその入力画像データを送信する場合には、入力機器は自身の持つ機器番号、ネットワーク上で管理される機器管理情報、画像データを読み取った日時、操作者の情報、読み取った時の画質モード等の画像読み取り情報を入力情報として持つ。この様な情報が入力関連情報に含まれる。
画像データへ埋め込む入力関連情報は、情報内の各属性に分けられた所定の形式で管理される。画像データに埋め込む際は、画像データのヘッダとして、画像データの先頭に追加される方式を一例とする。また、他の実施例として、入力関連情報を一定の変換方式で画像化し、入力された画像データに画像化した入力関連情報を重ね合わせる方式（具体的には、入力情報をＭ×Ｎドットのドットイメージにして画像データにＯＲ条件で埋め込む、といった方式による）を採用することができる。
なお、上記一定の方式で画像化された入力関連情報は、一定の方式で逆変換することで、元の入力情報に復元が可能であるようにし、その利用を図ることを可能とする。

図６は、本実施形態の画像フォーマット変換ユニット１０の１例をブロック図にて示す。
図６に示すように、画像フォーマット変換ユニット１０では、入力ポート１００１を通った画像データは、第１の形式の伸張器１００２で伸張された後、追跡パターン付加部１０１５に送られ、スキャナ固有の機器情報等の入力関連情報を表す追跡パターンを画像データに付加し、再び第１の形式の圧縮器１０１６で圧縮された後、マルチプレクサ１０２０を通ってプリンタコントローラ４に戻される。なお、コピー機能を使用する時の処理では、画像フォーマット変換ユニット１０におけるもう一方のパスである、各種の補正・変換等の処理１００３〜１０１０は使用しない。
プリンタコントローラ４では、画像フォーマット変換ユニット１０から送られた画像データをＨＤＤ５に書き込む。
図７は、画像フォーマット変換ユニット１０の追跡パターン付加部１０１５内の回路構成を示す図で、合成部１０１１とマルチプレクサ１０１２を要素とし、画像データ、追跡パターン及びカラー信号を入力とする。
図７を参照すると、追跡パターン付加部１０１５は、合成部１０１１でプリンタコントローラ４からのスキャナ固有の機器情報を示す追跡パターンデータを、入力された画像データに付加して出力する。合成部１０１１で付加する追跡パターンは、人間が視覚的に認識し難い色（例えば、イエロー）を付加すると、視認する際に原稿画像の妨げにならないので、都合が良い。
また、入力画像データがカラー画像か否かを示すカラー信号がプリンタコントローラ４から追跡パターン付加部１０１５のマルチプレクサ１０１２に入力され、カラー画像データであるか否かで、追跡パターンを付加して出力するか、画像データそのままを出力するかを、図８に示すような関係で（同図において、“１”はカラー信号である場合）、選択できるようにする。この様に、画像データがカラー画像の場合にだけ、追跡パターンの付加をするような選択を可能にし、白黒画像の場合に追跡パターンを付加しないという動作をさせることによって、ネットワーク経由で白黒画像を出力するときに、転送時間を短縮することが可能になる。

上記の流れで画像データがＨＤＤ５に蓄積された後、蓄積データを用いて転写紙に出力する場合、ＨＤＤ５内の画像データは、プリンタコントローラ４で一旦半導体メモリに展開され、次に汎用バス１５を通り、エンジン部に送られる。
エンジン部では、固定長の伸張器６により再び多値の画像データに変換する。このデータをプリンタ補正７に送る。
図９は、本実施形態のプリンタ補正７の１例をブロック図にて示す。
図９に示すように、プリンタ補正７では、色補正７３、プリンタγ補正７１、の各処理を行い、次いで、プリント作像ユニット９に合わせた中間調処理７２を行う。
また、プリンタ補正７の処理として、追跡パターン付加７５で画像データに管理情報を埋め込む。ここでは、出力関連情報として、プリンタ固有の機器情報を示す追跡パターンデータを付加する。追跡パターンデータの付加は、出力関連情報を付加する上記追跡パターン付加部１０１５と同様に行うことかできる。
この様にして、転写紙に出力すると、入力と出力の関連情報を追跡パターンデータとして転写紙に印刷することが可能になる。

次に、配信機能を使用し、クライアントＰＣから画像蓄積装置に蓄積されている画像データをＰＣ側に引き取る時の処理の流れに沿って本例を説明する。クライアントＰＣ１９からＨＤＤなどの画像蓄積装置５に蓄積されている画像データをＰＣ側にキャプチャする要求があると、プリンタコントローラ４は、画像フォーマット変換ユニット１０に対して、どのような画像処理を行うかを命令をする。
画像フォーマット変換ユニット１０は、先に蓄積画像に対する入力関連情報の追跡パターンの付加処理にて示した図６の構成を備えるが、ネットワーク上のクライアントＰＣ１９へ出力する画像データに対する出力関連情報の追跡パターンの付加処理は、各種の補正・変換等の処理１００３〜１０１０を伴うので、先に示した入力関連情報の追跡パターンの付加処理パスとは違う。
図６を参照すると、まず、第１の形式より圧縮されている入力画像データは第１の形式の伸張器１００２によって伸張される。その後、多値変換１００３により変換され、色補正処理１００４によって、色補正が行われ、次いで、解像度変換１００５によって解像度変換が行われる。その後、フィルタ処理１００６により画像データのＭＴＦの強弱を調整するフィルタ処理が施され、その後、γ処理１００７により画像データの濃度特性を調整するγ処理が施され、中間調処理１００８で多値の画像データを２値の画像データに量子化する。

次いで、追跡パターン付加部１００９で、画像データに出力機器固有の情報等を示す追跡パターンの付加が施される。出力機器は、自身の機器番号、ネットワーク上で管理されるＩＰアドレスや機器管理情報、画像データを出力する日時、操作者の情報、出力時の画質モード等の画像出力情報等を持つ。この様な情報が出力関連情報に含まれる。また、出力関連情報の画像データへの埋め込みは、上述の入力関連情報の埋め込みにおいて採用したと同様の方式を適用することにより、実施することができる。
追跡パターンの付加をした後、第２の形式への圧縮器１０１０によって第２の形式のデータへと圧縮される。この様に、画像データに対する各種の補正、変換及び追跡パターンの付加等の画像処理を行うために、第１の形式の伸張器１００２によって圧縮されている画像データを伸張し、多値データに復元した後に、この画像処理を行い、処理後に、再び外部に出力するために、第２の形式への圧縮器１０１０によって、再び第２の形式へ圧縮される。なお、第１の形式、第２の形式とは、標準化されているＪＰＥＧなどの汎用データフォーマットであったり、専用ブロック固定長圧縮などの専用データフォーマットであったりする。
上記のように、画像データ内に入力と出力の関連情報を示す追跡パターンを埋め込むことで、蓄積された画像データが不正にプリントアウトされたり、ネットワーク経由で流出されたりした場合でも、画像データに付加されている追跡パターンを解析し、入力時、出力時の情報をたどることによって、流出経路を特定でき、セキュリティ保護等の画像データの出力管理を可能にする。

「実施形態４」
本実施形態は、ネットワーク接続された外部機器が、蓄積画像に対する出力要求をしてきた場合に、出力を許可していない外部機器に対し、その要求を拒否するようにした画像データの出力管理を可能にすることを意図する。
この出力管理を実現するために、上記「実施形態３」に示したところの、画像データに入力関連情報を管理情報として付加する方法を適用する。即ち、入力関連情報として、出力要求を許可する外部機器を特定するための情報を画像データに埋め込み、この管理情報によって出力要求をした外部機器をチェックし、画像データの出力を制御する。
以下、蓄積画像に対する出力要求処理の流れに沿って、本実施形態を説明する。
画像データは読み取りユニット１からの入力時に、上記「実施形態３」に示すように、入力関連情報の埋め込みが行われ、管理情報として、特定の外部機器のみに出力要求を許可するための情報が画像データに埋め込まれる。従って、出力要求処理の前に、ＨＤＤ５には、こうした入力関連情報が埋め込まれた画像データが蓄積される。
この蓄積画像に対し、ネットワーク上に接続されている外部ＰＣ１９等の出力機器への送信の要求が発生すると、プリンタコントローラ４では、ＨＤＤ５内に蓄積されている、入力関連情報が埋め込まれた画像データと、出力要求に示された、出力先の機器情報等の出力関連情報から、出力が許可された出力機器であるかをチェックし、許可されていない場合、つまり、入力情報に含まれる情報からセキュリティーを保護する等の観点から、出力先として不適当である場合には、外部ＰＣ１９からの要求を拒否し、出力先には画像データの送信は行わないように制御をする。
許可するか、否かのチェックの方法としては、予め許可の登録をした出力機器を入力関連情報として埋め込み、出力要求をした外部機器が登録した出力機器であることを認証するといった、認証方法としては公知の方法を適用することによって、実施が可能である。
上記した動作によって、ＨＤＤ５内に蓄積されている画像データのネットワーク上での利用を送信元の意図によって制限することができ、出力先の管理が可能となる。

「実施形態５」
本実施形態は、ネットワーク接続された外部機器が、蓄積画像に対する出力要求をしてきた場合に、出力を許可した外部機器のみが画像データを利用可能とする仕組みを付加することにより、画像データの出力管理を可能にすることを意図するものである。
この出力管理を実現するために、上記「実施形態３」に示したところの、画像データに入力関連情報を管理情報として埋め込む方法を適用し、かつ出力を許可しない出力先には暗号化したデータを送信する方法を用いる。即ち、入力関連情報として、出力要求を許可する外部機器を特定するための情報を画像データに埋め込み、この管理情報によって出力要求をした外部機器をチェックし、出力する画像データを暗号化して送信するか否かを制御する。
以下、蓄積画像に対する出力要求処理の流れに沿って、本実施形態を説明する。
画像データは読み取りユニット１からの入力時に、上記「実施形態３」に示すように、入力関連情報の埋め込みが行われ、管理情報として、出力要求を許可する外部機器を特定するための情報が画像データに埋め込まれる。従って、出力要求処理の前に、ＨＤＤ５には、こうした入力関連情報が埋め込まれた画像データが蓄積される。
この蓄積画像に対し、ネットワーク上に接続されている外部ＰＣ１９等の出力機器への送信の要求が発生する。具体的には、外部ＰＣ１９上にて、ＣＲＴでＨＤＤ５内の画像データをキャプチャする場合の動作を例に説明する。
この出力要求に対し、プリンタコントローラ４では、ＨＤＤ５内に蓄積されている、入力関連情報が埋め込まれた画像データと、出力要求に示された、出力先の機器情報等の出力関連情報から、正常な（暗号化しない）データ出力が許可された出力機器であるかをチェックし、許可されていない場合、つまり、入力情報に含まれる情報からセキュリティーを保護する等の観点から、出力先として不適当である場合には、送信データを暗号化する処理を画像フォーマット変換変換ユニット１０に指示し、暗号化したデータを出力する制御を行う。
上記の許可するか、否かのチェックの方法としては、予め許可の登録をした出力機器を入力関連情報として埋め込み、出力要求をした外部機器が登録した出力機器であることを認証するといった、認証方法としては公知の方法を適用することによって、実施が可能である。

図１０は、画像フォーマット変換ユニットに備える本実施形態の暗号化変換に係わる処理ブロックの１例を示す。図１０を参照して、暗号化変換に係わる処理を説明する。この暗号化変換に係わる処理回路の入出力管理１０１は、プリンタコントローラ４の制御により、ＨＤＤ５内の入力関連情報が埋め込まれた画像データと、出力関連情報と、暗号化の指示を受ける。この指示に従い、暗号化変換に係わる処理回路における、入力関連情報読み取り・付加１０２でプリンタコントローラ４から入力された画像データを読み出して得た入力関連情報と、出力関連情報読み取り・付加１０３で読み取って得た出力関連情報とを同時に画像データに埋め込む。埋め込む方式は「実施形態３」記載の方式に基づく。
さらに、入力関連情報と出力関連情報が埋め込まれた画像データは、最後に暗号化指示従い、暗号化変換１０４で一定の方式で暗号化する。
ここで用いることが可能な暗号化の１例を示す。例えば、画像データを先頭からワード単位で読み出す。そのワードデータを読み出し順番、つまり、ワード単位のデータ番号を同様にワードデータで表現する。前記２つの「ワード単位の画像データ」と「ワード単位のデータ番号」をＥＸＯＲ変換する。こうした変換をすることで、変換後の画像データは視覚的には元の画像データを認識できる状態ではなくなり、暗号化されたこととなる。ＥＸＯＲ変換を逆変換するには、例えば、出力要求をしたＰＣ１９において、変換後の画像データをワード単位で読み出し、「ワード単位の画像データ」と「ワード単位のデータ番号」を再度ＥＸＯＲすることによって、もとの画像データに復元できる。
上記のように、暗号化された画像データを復元するためには、前記変換の逆変換を行うことで復元可能である。暗号化の変換をすることで、その逆変換方式をもたないクライアントＰＣ以外では閲覧できないため、ＨＤＤ５に蓄積した画像データのネットワーク上での利用を送信元の意図によって制限することができ、セキュリティーの管理も可能となる。

本発明の実施形態のデジタル複写機に係わる画像データ処理システムのブロック構成を示す。 図１におけるスキャナ補正の内部構成の１例を示す。 図１における画像フォーマット変換ユニットの内部構成の１例（実施形態１）を示す。 図３におけるデータ形式変換用補正の内部構成の１例を示す。 図１における画像フォーマット変換ユニットの内部構成の１例（実施形態２）を示す。 図１における画像フォーマット変換ユニットの内部構成の１例（実施形態３）を示す。 図６における追跡パターン付加部の内部構成の１例を示す。 図７におけるマルチプレクサの動作条件を示す。 図１におけるプリンタ補正の内部構成の１例（実施形態３）を示す。 図１における画像フォーマット変換ユニットの内部構成の１例（実施形態５）を示す。

符号の説明

１・・読み取りユニット、 ４・・プリンタコントローラ、
５・・ＨＤＤ、 ７・・プリンタ補正、
９・・プリント作像ユニット、 １０・・画像フォーマット変換ユニット、
１６・・画像認識装置、 １９・・外部ＰＣ、
１０５・・データ形式変換装置、
１５，１００９，１０１５・・追跡パターン付加部、
１０４・・暗号化変換、 １０９・・電子透かし合成。

Claims (11)

1. 入力された画像データを蓄積する画像蓄積手段と、蓄積された画像データを可変の設定条件に従い変換するデータ形式変換手段と、該データ形式変換手段により変換した画像データをネットワーク上に送信する通信手段を有する画像処理装置であって、前記データ形式変換手段が、前記画像蓄積手段に格納された画像データの出力時に、出力の管理を可能とする設定条件による変換を行う手段であることを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置において、画像データに対し出力の管理が必要なデータであることを認識する画像認識手段と、該画像認識手段の認識結果によって前記データ形式変換手段に出力の管理を可能とする設定条件による変換を指示する手段を備えたことを特徴とする画像処理装置。
3. 請求項１又は２に記載された画像処理装置において、前記データ形式変換手段が、出力の管理を可能とする設定条件として、画像データに透かし情報を埋め込むための条件を設定可能とした手段であること特徴とする画像処理装置。
4. 請求項３に記載された画像処理装置において、前記透かし情報に画像データの利用を制限するための情報を含ませたこと特徴とする画像処理装置。
5. 請求項１又は２に記載された画像処理装置において、前記データ形式変換手段が、出力の管理を可能とする設定条件による変換対象の画像が色情報を含むときに、出力の管理が可能な設定条件として、色情報の一色のデータを最大もしくは最小の値に設定可能とした手段であること特徴とする画像処理装置。
6. 請求項１に記載された画像処理装置において、原画像の入力手段と、該入力手段による画像入力時の入力関連情報を蓄積画像データに埋め込む手段を備え、かつ前記データ形式変換手段が、出力の管理を可能とする設定条件として、ネットワーク上に送信する画像データに出力関連情報を埋め込むための条件を設定可能とした手段であること特徴とする画像処理装置。
7. 請求項６に記載された画像処理装置において、前記出力関連情報に送信先に対する送信許可の有無を示す情報を含ませ、この情報によって送信を許可した送信先に利用を制限する送信管理手段を備えたこと特徴とする画像処理装置。
8. 請求項６又は７に記載された画像処理装置において、前記データ形式変換手段が、出力の管理を可能とする設定条件として、ネットワーク上に送信する画像データを暗号化するための条件を設定可能とした手段であり、前記出力関連情報に送信先に対する暗号化の必要の有無を示す情報を含ませ、この情報によって前記データ形式変換手段に暗号化するための条件を設定する手段を備えたこと特徴とする画像処理装置。
9. 請求項６乃至８のいずれかに記載された画像処理装置において、前記入力関連情報が、入力に係わる装置の機器情報、ユーザ情報の少なくとも一方であること特徴とする画像処理装置。
10. 請求項６乃至９のいずれかに記載された画像処理装置において、前記出力関連情報が、出力に係わる装置の機器情報、ユーザ情報の少なくとも一方であること特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかに記載された画像処理装置において、蓄積された画像データに基づいて画像を形成する手段を備えたことを特徴とする画像処理装置。

Images