JP2022139238A - 画像処理システム及び画像処理方法 - Google Patents

Abstract

【課題】印刷工程及び読取工程を経て劣化した画像からより精度よく復元させる画像処理システムおよび画像処理方法を提供する。
【解決手段】画像処理システムは、元画像の描画情報が多重化された印刷物を光学的に読み取り、読取画像データを取得する読取手段と、前記読取手段により取得された前記読取画像データから前記描画情報を抽出する抽出手段と、前記抽出手段により抽出された前記描画情報に基づいて、前記元画像を表す元画像データを取得する取得手段と、前記読取画像データと前記元画像データを比較し、該比較の結果に基づいて前記元画像データを補正する補正手段と、前記補正手段により補正された補正済み元画像データを、前記印刷物の読取の結果として保存する保存手段とを備える。
【選択図】図５

Description

本発明は、画像を処理する画像処理システム及び画像処理方法に関する。

原稿画像に基づいてプリンタにより印刷された画像をスキャナで読取り、読取データとして保存するスキャン機能が知られている。その際、印刷工程及び読取工程を経て生成された読取データの表す画像の画質は、元の原稿画像に比べて劣化することがある。

特許文献１では、原稿画像中の色情報にプリンタの出力特性を加味して出力画像色を推定し、その推定色を印刷画像中に多重化情報として埋め込み、スキャナで読み取られた画像から多重化情報を抽出して、劣化した色から復元することが記載されている。

特許第５１８０５５１号公報

印刷工程及び読取工程を経て劣化した画像からの復元には、更なる精度が求められる。

本発明は、印刷工程及び読取工程を経て劣化した画像から、より精度よく復元させる画像処理システムおよび画像処理方法を提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理システムは、元画像の描画情報が多重化された印刷物を光学的に読み取り、読取画像データを取得する読取手段と、前記読取手段により取得された前記読取画像データから前記描画情報を抽出する抽出手段と、前記抽出手段により抽出された前記描画情報に基づいて、前記元画像を表す元画像データを取得する取得手段と、前記読取画像データと前記元画像データを比較し、該比較の結果に基づいて前記元画像データを補正する補正手段と、前記補正手段により補正された補正済み元画像データを、前記印刷物の読取の結果として保存する保存手段とを備えることを特徴とする。

本発明によれば、印刷工程及び読取工程を経て劣化した画像から、より精度よく復元させることができる。

印刷システムの構成を示すブロック図である。 ＰＤＬ多重化印刷処理と多重化ＰＤＬ抽出処理を示すフローチャートである。 ＰＤＬデータで表される原稿画像を示す図である。 印刷及び読取りによる画像の劣化を説明するための図である。 補正済みＰＤＬデータの生成処理を示すフローチャートである。 マスクデータを示す図である。 マスクデータで表される画像パターンを示す図である。 多重化方法の一例を説明するための図である。 手書き文字が追記された画像に対する処理を説明するための図である。 ＰＤＬデータで表される原稿画像を示す図である。 補正済みＰＤＬデータで表される原稿画像を示す図である。 補正済みＰＤＬデータの生成処理を示すフローチャートである。 手書き文字の追記画像に対する処理を説明するための図である。 埋め込みに用いたパターンの空間周波数の特性を表す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
図１は、本実施形態における印刷システム（画像処理システム）の構成を示すブロック図である。図１に示すように、印刷システムは、ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ）１１０と、そのホスト装置としてのパーソナルコンピュータ（ＰＣ）１００を含んで構成される。ＭＦＰ１１０は、本体にプリンタ機能及びスキャナ機能など、複数の機能を一体的に有するプリンタであり、両機能を連携させて行うコピー機能を有する。

ＰＣ１００は、以下の要素を含んで構成される。ＣＰＵ１０１は、ＨＤＤ１０３やＲＡＭ１０２に保持されているプログラムを読み出して実行する。ＲＡＭ１０２は、揮発性のストレージであり、プログラムやデータを一時的に保持する。また、ＨＤＤ１０３は、不揮発性のストレージであり、本実施形態で用いられるプログラムやデータを保持する。データ転送インタフェース（Ｉ／Ｆ）１０４は、ＭＦＰ１１０との間におけるデータの送受信を制御する。データ送受信の接続方式としては、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ等の有線接続や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ等の無線接続、並びに両者を含む接続が用いられる。ＨＩＤインタフェース（Ｉ／Ｆ）１０５は、キーボードやマウス等のＨＩＤ（Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｄｅｖｉｃｅ）を制御するインタフェースであり、ユーザ操作による入力を受け付ける。ディスプレイインタフェース（Ｉ／Ｆ）１０６は、ディスプレイ（不図示）の表示を制御する。

ＭＦＰ１１０は、以下の要素を含んで構成される。ＣＰＵ１１１は、ＲＯＭ１１３やＲＡＭ１１２に保持されているプログラムを読み出して実行する。ＲＡＭ１１２は、揮発性のストレージであり、プログラムやデータを一時的に保持する。また、ＲＯＭ１１３は不揮発性のストレージであり、本実施形態で用いられるプログラムやデータを保持する。

データ転送インタフェース（Ｉ／Ｆ）１１４は、ＰＣ１００との間におけるデータの送受信を制御する。記録ヘッドコントローラ１１５は、不図示の記録ヘッドで処理可能に変換された記録データに基づいて、記録ヘッドに搭載されたヒータの加熱動作を制御し、ノズルからインク滴を吐出させる。例えば、記録ヘッドコントローラ１１５は、ＲＡＭ１１２の所定のアドレスから制御パラメータと記録データを読み込むように構成される。ＣＰＵ１１１が、制御パラメータと記録データをＲＡＭ１１２の所定のアドレスに書き込むと、記録ヘッドコントローラ１１５が起動し、記録ヘッドに搭載されたヒータの加熱動作が行われる。

画像処理アクセラレータ１１６は、ハードウエアによって構成され、ＣＰＵ１１１よりも高速に画像処理を実行可能である。例えば、画像処理アクセラレータ１１６は、ＲＡＭ１１２の所定のアドレスから画像処理に必要なパラメータとデータを読み込むように構成される。ＣＰＵ１１１がパラメータとデータをＲＡＭ１１２の所定のアドレスに書き込むと、画像処理アクセラレータ１１６が起動し、画像処理が行われる。なお、プリンタの仕様などに応じて、画像処理アクセラレータ１１６ではなく、ＣＰＵ１１１による処理のみでパラメータの作成処理および画像処理を実行するようにしても良い。

スキャナコントローラ１１７は、不図示のスキャナユニットに対して、原稿台に設置された原稿への光の照射を行わせる。スキャナコントローラ１１７は、ＣＣＤ等の撮像素子が原稿からの反射光に基づいて取得した光量情報を、スキャナコントローラ１１７に送信するようスキャナユニットに対して指示する。例えば、ＣＰＵ１１１が、制御パラメータと読取データ書込みアドレスをＲＡＭ１１２の所定のアドレスに書き込むと、スキャナコントローラ１１７が起動する。そして、スキャナユニットに搭載されたＬＥＤの発光制御、スキャナユニットからの光量情報の取得、ＲＡＭ１１２内の読取データ書込みアドレス以降への光量情報の書込みが行われる。

モータコントローラ１１８は、不図示の複数のモータユニットのモータ動作を制御する。モータコントローラ１１８の制御対象のモータには、記録ヘッドを記録媒体に対して相対的に移動させるためのモータと、スキャナユニットを原稿が設置されたプラテンに対して相対的に移動させるためのモータが含まれる。他には、記録ヘッドのメンテナンス用のモータが含まれる。ＰＣ１００とＭＦＰ１１０は、図１に示す構成に限られず、ＰＣ１００とＭＦＰ１１０それぞれが実行可能な機能に応じたブロックを適宜含み得る。

本実施形態では、ＰＣ１００は、印刷対象の画像データに基づいて、ＭＦＰ１１０で印刷を行わせるようＭＦＰ１１０を制御する。その際、画像データの表す画像（元画像）の描画情報の多重化が行われる。その結果、ＭＦＰ１１０により印刷された印刷物は、元画像の描画情報が多重化されたものとなっている。なお、本実施形態では、描画情報の一例としてＰＤＬを説明する。そして、印刷物は、ＭＦＰ１１０のスキャナユニットにより光学的に読み取られ、読取画像データとして生成される。読取画像データの生成の際には、多重化された描画情報が抽出される。本実施形態では、多重化された描画情報が表す元画像データと読取画像データとの比較結果に基づいて、元画像データを補正する。

印刷工程および読取工程を経ると、各工程に起因した画質の劣化が生じ得る。一方、印刷物に対して手書き文字等がユーザにより追記された上で読取りが行われるケースを想定した場合、多重化された描画情報に基づいて元画像を復元させるだけでは、適切に読取画像データを生成することができない。本実施形態では、元画像データを補正することによって、各工程に起因して劣化した画像から復元させるとともに、上記で想定されるケースの場合においても適切に復元させることができる。

図２は、ＰＤＬ多重化印刷処理と多重化ＰＤＬ抽出処理を示すフローチャートである。図２におけるＳ２０１～Ｓ２０５は、ＰＤＬ多重化印刷処理を示すフローチャートであり、印刷対象の画像データに基づいてＭＦＰ１１０により印刷が行われるまでの処理である。Ｓ２１１～Ｓ２１６は、多重化ＰＤＬ抽出処理を示すフローチャートであり、印刷物がＭＦＰ１１０のスキャナユニットにより読み取られ、読取画像データが保存されるまでの処理である。

最初に、ＰＤＬ多重化印刷処理について説明する。Ｓ２０１において、ＰＣ１００のＣＰＵ１０１は、印刷対象の画像データとして、ＰＤＬデータを取得する。なお、印刷対象の画像データは、ＰＣ１００内のアプリケーションにより作成されたものであっても良いし、サーバ等、外部の装置から取得したものであっても良い。

ここで、ＰＤＬとは、ページ記述言語（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）の略であり、ページ単位で描画命令の組で構成される。描画命令の種類は、ＰＤＬ仕様毎に定義されているが、例えば、以下の４種類が定義される。

命令１：ＤＯＴ描画命令（Ｘ、Ｙ、色、点サイズ）
命令２：ＬＩＮＥ描画命令（Ｘ１、Ｙ１、Ｘ２、Ｙ２、色、線種、線幅）
命令３：ＢＯＸ描画命令（Ｘ１、Ｙ１、Ｘ２、Ｙ２、色、塗り形状）
命令４：ＴＥＸＴ描画命令（Ｘ１、Ｙ１、色、フォント情報、文字列情報）
命令５：ＩＭＡＧＥ描画命令（Ｘ１、Ｙ１、Ｘ２、Ｙ２、画像ファイル情報）
他にも、円弧を描くＣＩＲＣＬＥ描画命令等、用途に応じた適宜描画命令が用いられて良い。また、ＰＤＬとして、例えば、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）や、ＸＰＳ、ＨＰ－ＧＬ／２等が用いられる。

図３は、ＰＤＬデータで表される原稿画像の一例を示す図である。図３の原稿画像３００は、１ページを表し、ここでは、横幅６００画素、縦幅９００画素の画素数を有する原稿画像として説明する。

以下、図３の原稿画像３００に対応するＰＤＬの一例を示す。

＜PAGE=001＞
＜BOX＞ 50, 75, 200, 300, GRAY, STRIPE ＜/BOX＞
＜BOX＞ 420, 75, 550, 300, BLACK, FULL ＜/BOX＞
＜BOX＞ 50,620, 200, 825, BLACK, NULL ＜/BOX＞
＜TEXT＞ 50,620, 200, 825, BLACK, STD-18, “ABCXYZ123" ＜/TEXT＞
＜LINE＞ 25, 25, 25, 700, BLACK, PLAIN, 3 ＜/LINE＞
＜LINE＞ 25, 25, 450, 25, BLACK, PLAIN, 3 ＜/LINE＞
＜IMAGE＞ 250, 350, 550, 825, “PORTRAIT.jpg" ＜/IMAGE＞
＜/PAGE＞
１行目の＜PAGE=001＞は、ページ数を表すタグである。通常、ＰＤＬは複数ページを記述可能に設計されているので、ＰＤＬ中にページの区切りを示すタグが記述されている。本例では、９行目の＜／PAGE＞までが１ページ目であることを表しており、図３の原稿画像３００に相当する。２ページ目が存在する場合には、上記ＰＤＬに続いて＜PAGE=002＞が記述される。

２行目の＜BOX＞から＜/BOX＞までが上記の命令３であり、図３のオブジェクト３０１に相当する。最初の２座標が描画開始点である左上座標（Ｘ１、Ｙ１）を示し、続く２座標が描画終了点である右下座標（Ｘ２、Ｙ２）を示す。色としてGRAY（灰色：Ｒ＝１２８、Ｇ＝１２８、Ｂ＝１２８）が指定され、塗り形状として縞模様であるSTRIPE（縞模様）が指定されている。本例では、縞模様の向きについては常時右下方向への線としているが、線の角度や周期等をＢＯＸ命令中で指定可能としても良い。

３行目のＢＯＸ命令は、図３のオブジェクト３０２に相当する。本命令の場合、２行目の命令と異なり、色としてBLACK（黒色：Ｒ＝０、Ｇ＝０、Ｂ＝０）が指定され、塗り形状としてベタ塗りであるFULLが指定されている。４行目のＢＯＸ命令及び５行目のＴＥＸＴ命令は、図３のオブジェクト３０３に相当する。まず、ＢＯＸ命令でテキスト回りの枠線が記述される。本例では、ＢＯＸ内部の塗り形状としてNULL（空白）が指定されている。

５行目のＴＥＸＴ命令では、文字のフォントとして”STD”（標準）が指定され、その文字サイズとして１８ポイントが指定され、記述すべき文字列として”AMCXYZ123”が指定されている。６行目及び７行目のＬＩＮＥ命令は、図３のオブジェクト３０４に相当する。まず、６行目のＬＩＮＥ命令により縦線が描画される。本例では、描画すべき線の種類としてPLAIN（実線）が指定され、描画すべき線の太さとして３画素が指定されている。同様に、７行目のＬＩＮＥ命令により横線が描画される。

８行目のＩＭＡＧＥ命令は、図３のオブジェクト３０５に相当する。本例では、当該領域に存在する画像のファイル名として”PORTRAIT.jpg”が指定されており、画像圧縮フォーマットであるＪＰＥＧファイルであることを表している。９行目に記載の＜／PAGE＞は、当該ページの描画が終了したことを表している。

ＰＤＬデータとしては、上記の描画命令群に加えて、”STD”フォントデータ、”PORTRAIT.jpg”画像ファイルを含むＰＤＬファイルの形式としても良い。フォントデータや画像ファイルを別として管理する場合、描画命令だけでは文字・画像部分が形成できなくなってしまうことが想定され得るが、フォントデータや画像ファイルを含むＰＤＬファイルの形式とすることで、そのような事態を防ぐことができる。以上のようなＰＤＬデータが図２のＳ２０１で取得される。

Ｓ２０２において、ＣＰＵ１０１は、Ｓ２０１で取得されたＰＤＬデータのレンダリング処理を行う。レンダリング処理により、ＰＤＬ中で記述されている各描画命令を実行し、画素毎の色情報で構成されるＢｉｔｍａｐ画像データが生成される。以下、Ｓ２０２で生成されるＢｉｔｍａｐ画像データをレンダリング済み画像データともいう。

上述したように、図３の原稿画像３００は、横幅６００画素、縦幅９００画素から構成されるので、Ｓ２０２で生成されるＢｉｔｍａｐ画像データは６００×９００画素から構成される。また、各画素は、Ｒ／Ｇ／Ｂ各８ｂｉｔの２５６階調で表されるとする。

Ｓ２０３において、ＣＰＵ１０１は、多重化済み画像データを生成する。ここでは、Ｓ２０１で取得されたＰＤＬデータを、Ｓ２０２で生成されたレンダリング済み画像データに多重化情報として重畳する。これは、印刷物をスキャナユニットで読み取った後、多重化されたＰＤＬデータを抽出可能とするためである。

ＰＣ１００のような情報処理装置で情報を扱うというのはバイナリデータを扱うことである。バイナリデータとは「０」もしくは「１」の情報であり、この「０」もしくは「１」の情報が連続でつながることにより、特定の意味を持つようになる。例えば、「ｈｅｌｌｏ」という情報をバイナリデータで扱う場合、文字コードの中の一つである「シフトＪＩＳ」を例にとると、「ｈ」はバイナリデータの「０１１０１０００」に対応している。同様に「ｅ」は「０１１００１０１」、「ｌ」は「０１１０１１００」、「ｏ」は「０１１０１１１１」というバイナリデータに対応している。つまり、「ｈｅｌｌｏ」という文字は、バイナリデータで「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」と表現できる。逆に「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」というバイナリデータを取得できれば、「ｈｅｌｌｏ」という文字を取得することができる。このように、「０」もしくは「１」を判定できるようにデータを埋め込むことで、多重化を行うことができる。本実施形態では、「０」、「１」を生成するために、図６（ａ）及び図６（ｂ）に示すような２つのマスクデータを用いる。

図６（ａ）及び図６（ｂ）は、８×８画素で構成されたマスクデータであり、画像データに対してマスクデータの値を加算することで、画像データ内の８×８画素の領域に対して周期性を持ったパターンを与えることができる。例えば、デジタル画像データにおいては、１色８ｂｉｔで表現され、０から２５５までのいずれかの値が割り当てられる。０から２５５の範囲外の値は、画像データとしては扱えないため、画素値の計算結果が０未満の場合や、２５６以上の値になった場合には、例えば０もしくは２５５を割り振り、有効範囲内に収められる。図６（ａ）及び図６（ｂ）のマスクデータでは、画素値に±１０の変化を与えているが、例えばマスク領域における画像データの値が全て２５５であった場合、その領域の値は２４５から２６５の範囲ではなく、２４５から２５５の範囲となる。本実施形態では、１色が８ｂｉｔで表現されるとして説明しているが、１色が８ｂｉｔ以外で表現されても良い。デジタル画像データを扱う場合、１色をどのようなｂｉｔ数で表現しても有効範囲は存在し、その範囲外になるような変化が与えられることはない。

図７は、図６（ａ）及び図６（ｂ）のマスクデータによって、画像にどのようなパターンを与えるかを視覚的に示した図である。図７では、図６（ａ）及び図６（ｂ）のマスクデータにおける「１０」の位置を黒、「０」の位置を灰色、「－１０」の位置を白で表現しており、多重化の対象となる画像には、斜め線が現れることとなる。

図６（ａ）のマスクデータと図６（ｂ）のマスクデータを画像全体に対して交互に適応する疑似コードの一例を下記に示す。
――――――――――――――――――――――――――――――
01: int i, j, k, l;
02: int width = 640, height=480;
03: unsigned char *data = 画像データ;
04: int **maskA = マスクデータ;
05: bool isMaskA = true;
06: for(j = 0; j ＜ height; j+=8){
07: for(i = 0; i ＜ width; i+=8){
08: for(k = 0; k ＜ 8; k++){
09: for(l = 0; l ＜ 8; l++){
10: if(isMaskA == true){
11: data[(i+k)+(j+l)*width] += maskA[k][l];
12: }
13: }
14: }
15: }
16: }
――――――――――――――――――――――――――――――
本実施形態における多重化情報の多重化は、例えば、上記のような疑似コードにより実現される。続いて、Ｓ２０４において、ＣＰＵ１０１は、印刷画像データを生成する。印刷画像データの生成では、例えば、以下の方法が用いられる。

Ｓ２０４では、Ｓ２０３で生成されたＲＧＢ画素値で構成される多重化済み画像データの各画素に対して、色変換、インク色分解、出力特性変換、量子化、の４つの処理が行われる。

色変換処理は、多重化済み画像データのＲＧＢ情報を、ＭＦＰ１１０で印刷処理が可能に変換する処理である。一般的にＰＤＬ描画命令に記述されている色は、ディスプレイで表現される色値で設定されており、そのままの値をプリンタで出力した場合には異なる色が出力されてしまう。そのため、色変換処理が行われる。

例えば、入力画素値（Ｒｉｎ、Ｇｉｎ、Ｂｉｎ）の組み合わせに対して、出力画素値（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）の組み合わせを算出するために、３次元のルックアップテーブル（ＬＵＴ）が用いられる。例えば、入力値であるＲｉｎ、Ｇｉｎ、Ｂｉｎがそれぞれ２５６階調を持つ場合、２５６×２５６×２５６の合計１６，７７７，２１６組の出力値を持つテーブルTable1[256][256][256][3]を予め準備し、以下のように、出力画素値を算出する。

Rout = Table1[Rin][Gin][Bin][0]
Gout = Table1[Rin][Gin][Bin][1]
Bout = Table1[Rin][Gin][Bin][2]
また、ルックアップテーブルのグリッド数を２５６グリッドから例えば１６グリッド等に減らし、複数のグリッドのテーブル値を補間して出力値を決定する等、テーブルサイズを小さくするようにしても良い。

インク色分解処理は、色変換処理の出力値であるＲｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔを、インクジェット記録方式により記録する各インク色の出力値に変換する処理である。本実施形態では、シアン、マゼンタ、イエロー、ブラックの４色のインクを一例として想定する。本実施形態では、色変換処理と同様に、出力画素値（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）の組み合わせに対して、インク色画素値（Ｃ、Ｍ、Ｙ、Ｋ）の組み合わせを算出するために、３次元のルックアップテーブルが用いられる。例えば、Table2[256][256][256][4]を予め準備し、以下のように、インク色画素値を算出する。

C = Table2[Rout][Gout][Bout][0]
M = Table2[Rout][Gout][Bout][1]
Y = Table2[Rout][Gout][Bout][2]
K = Table2[Rout][Gout][Bout][3]
また、ルックアップテーブルのグリッド数を２５６グリッドから例えば１６グリッド等に減らし、複数のグリッドのテーブル値を補間して出力値を決定する等、テーブルサイズを小さくするようにしても良い。

出力特性変換処理は、各インク色の濃度を記録ドット数率に変換する。例えば、各色２５６階調の濃度を、各色１０２４階調のドット数率Ｃｏｕｔ、Ｍｏｕｔ、Ｙｏｕｔ、Ｋｏｕｔに変換する。そのために、各インク色の濃度に対する記録ドット数率を設定した１次元のルックアップテーブルが用いられる。例えば、Table3[4][256]を予め準備し、以下のように、記録ドット数率を算出する。

Cout = Table3[0][C]
Mout = Table3[1][M]
Yout = Table3[2][Y]
Kout = Table3[3][K]
また、ルックアップテーブルのグリッド数を２５６グリッドから例えば１６グリッド等に減らし、複数のグリッドのテーブル値を補間して出力値を決定する等、テーブルサイズを小さくするようにしても良い。

量子化処理は、各インク色の記録ドット数率Ｃｏｕｔ、Ｍｏｕｔ、Ｙｏｕｔ、Ｋｏｕｔを、実際の各画素の記録ドットのＯｎ／Ｏｆｆに変換する。量子化の方法としては、例えば、誤差拡散法やディザ法が用いられる。ディザ法の場合、例えば、以下のように、各画素位置に応じた閾値と比較し、各インク色の記録ドットのＯｎ／Ｏｆｆを出力する。例えば、各記録ドットの発生確率は、Ｃｏｕｔ／１０２３、Ｍｏｕｔ／１０２３、Ｙｏｕｔ／１０２３、Ｋｏｕｔ／１０２３となる。

Cdot = Halftone[Cout][x][y]
Mdot = Halftone[Mout][x][y]
Ydot = Halftone[Yout][x][y]
Kdot = Halftone[Kout][x][y]
以上のように、Ｓ２０４で印刷画像データの生成が行われる。Ｓ２０５において、ＣＰＵ５０１は、Ｓ２０４で生成された印刷画像データをデータ転送インタフェース１０４を介してＭＦＰ１１０に送信し、ＭＦＰ１１０において、記録媒体上に印刷が行われる。

本実施形態では、以上のように、ＰＤＬデータを多重化情報として、レンダリング済み画像データに多重化した多重化済み画像データに基づいて、記録媒体上に印刷が行われる。本実施形態では、ＰＤＬデータが多重化された多重化済み画像データに基づいて、印刷する処理を「多重化エンコード処理」という。多重化済み画像データに基づいて印刷された印刷物では、例えば、図７に示すような２画素の斜め線によってパターンが描かれる。

次に、多重化ＰＤＬ抽出処理について説明する。

図２のＳ２１１において、ＭＦＰ１１０のＣＰＵ１１１は、多重化済み画像データに基づいて印刷された印刷物を読み取るようスキャナユニットを制御する。例えば、ユーザは、ＭＦＰ１１０の原稿台に印刷物を読取対象の原稿として設置し、スキャンを指示する。ＣＰＵ１１１によるスキャナユニットの制御により、原稿にＬＥＤ光が照射され、原稿からの反射光が、各画素に対応したＣＣＤ等の撮像素子によりアナログ電気信号に変換される。

次に、Ｓ２１２において、ＣＰＵ１１１は、アナログ電気信号をデジタルデータに変換して、ＲＧＢ画素値で構成されるＢｉｔｍａｐ読取画像データを生成する。Ｂｉｔｍａｐ読取画像データの生成処理では、例えば、以下の方法が用いられる。

Ｓ２１２では、取得されたＲＧＢ画素値で構成されるＢｉｔｍａｐ読取画像データの各画素に対して、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）補正、入力補正、シェーディング補正、色変換、の４つの処理が行われる。

ＭＴＦ補正処理は、スキャナユニットの読取性能のうちの解像度に関する補正を行う処理である。例えば、スキャナユニットの読取では、フォーカス位置からのずれやレンズ自体の光学特性等の限界等により、画像のボケが発生してしまうので、フィルタ処理等である程度の復元を行う。ここでは、完全に復元する程強い強調処理をしてしまうと、白飛びや画像ノイズ・ゴミ画素の強調等、画像弊害の方が目立ってしまうので、画質改善と弊害のバランスを取って復元が行われる。例えば、画像中央部を５倍し、上下左右の画素値を－１倍する、以下のようなエッジ強調フィルタが用いられる。

R’[x][y] = R[x][y]×5－R[x-1][y]－R[x+1][y]－R[x][y-1]－R[x][y+1]
G’[x][y] = G[x][y]×5－G[x-1][y]－G[x+1][y]－G[x][y-1]－G[x][y+1]
B’[x][y] = B[x][y]×5－B[x-1][y]－B[x+1][y]－B[x][y-1]－B[x][y+1]
入力補正処理は、元々が光子量であるＣＣＤの出力値を、人間の眼の感度に合った明度に変換する処理である。例えば、各色４０９６階調のＲ’Ｇ’Ｂ’信号を、各色１０２４階調の色強度値Ｒ”、Ｇ”、Ｂ”に変換する処理である。そのために、各インク色の濃度に対する記録ドット数率を設定した１次元のルックアップテーブルTable4[3][4096]を予め準備し、以下のように、色強度値を算出する。

R” = Table4[0][R’]
G” = Table4[1][G’]
B” = Table4[2][B’]
また、ルックアップテーブルのグリッド数を４０９６グリッドから例えば２５６グリッド等に減らし、複数のグリッドのテーブル値を補間して出力値を決定する等、テーブルサイズを小さくするようにしても良い。

シェーディング補正処理は、スキャナユニットを構成するレンズ、ＬＥＤ、ＣＣＤの製造ばらつきや組付けのばらつきに起因して生ずる各画素位置での読取感度の違いによって生ずる色・濃度ムラを低減する処理である。例えば、各色１０２４階調のＲ”Ｇ”Ｂ”信号を、各色２５６階調の色強度値Ｒ”’，Ｇ”’，Ｂ”’に変換する。そのために、スキャナレンズの配置されている方向（Ｘ方向とする）に対してそれぞれ、各Ｘ画素位置用の濃度変換用の１次元ルックアップテーブルTable5[x][3][1024]を予め準備し、以下のように、色強度値を算出する。

R”’ = Table5[x][0][R”]
G”’ = Table5[x][1][G”]
B”’ = Table5[x][2][B”]
また、ルックアップテーブルのグリッド数を１０２４グリッドから例えば２５６グリッド等に減らし、複数のグリッドのテーブル値を補間して出力値を決定する等、テーブルサイズを小さくするようにしても良い。

色変換処理は、印刷時とは逆に、ここまで算出してきたＲ”’、Ｇ”’、Ｂ”’がそれぞれスキャナユニット固有の値となっているので、ディスプレイ上で表示するためのＲｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ値に変換する処理である。そのために、印刷時の色変換同様、入力値であるＲ”’、Ｇ”’、Ｂ”’がそれぞれ２５６階調を持つため、２５６×２５６×２５６の合計１６，７７７，２１６組の出力値を持つテーブルTable6[256][256][256][3]を予め準備し、以下のように、出力値を算出する。

Rout = Table1[R”’][G”’][B”’][0]
Gout = Table1[R”’][G”’][B”’][1]
Bout = Table1[R”’][G”’][B”’][2]
また、ルックアップテーブルのグリッド数を２５６グリッドから例えば１６グリッド等に減らし、複数のグリッドのテーブル値を補間して出力値を決定する等、テーブルサイズを小さくするようにしても良い。

以上のように、Ｓ２１２でのＢｉｔｍａｐ読取画像データの生成が行われる。

図４は、印刷及び読取りによる画像の劣化を説明するための図である。図４（ａ）は、図３の原稿３００をレンダリングして得られたＰＤＬ画像４００を示している。つまり、図２のＳ２０２で生成されるレンダリング済み画像データのうち、オブジェクト３０１の左上部分に対応している。図４（ｂ）は、ＰＤＬ画像４００の印刷物に対して読取が行われて得られた読取画像４０１である。

両者を比較すると分かるように、ＰＤＬ画像４００内の直線は、一様な濃度（Ｒ＝１２８、Ｇ＝１２８、Ｂ＝１２８）を持っているが、読取画像４０１内の直線は、濃度的には不均一で、直線のエッジ部分にも凸凹が目立つ。また、直線周辺に若干濃くなった画素が存在し、全体的にも背景画像が少し暗い画像となっている。これは、ＰＤＬデータに基づいて印刷を行い、スキャンすることによってＳ２１２で生成されるＢｉｔｍａｐ読取画像データには、ＰＤＬ画像４００（元原稿）に対して以下のような画像劣化が生じているからである。

・Ｓ２０４で行われる量子化に伴う形状の劣化（量子化による階調数低下）
・Ｓ２０５で行われる印刷に伴う形状の劣化（印刷精度・記録媒体（印刷用紙））
・Ｓ２１１で行われる原稿の読取に伴う形状の劣化（スキャナによる画像ボケ）
更には、記録媒体の汚れ等の劣化による形状の劣化が想定される。

Ｓ２１３において、ＣＰＵ１１１は、Ｓ２１２で取得されたＢｉｔｍａｐ読取画像データから、多重化された描画情報、即ちＰＤＬデータを抽出する。以下に、Ｂｉｔｍａｐ画像解析例の概要説明を行う。

まず、画像データから多重化された情報（付加情報とも呼ぶ）が埋め込まれている位置の検出を行う。具体的には、画像データの空間周波数特性を解析することにより埋め込み位置の検出を行う。図１４は、埋め込みに用いたパターンの空間周波数の特性を表す図である。横軸が水平方向の周波数、縦軸が垂直方向の周波数を表し、原点から遠ざかるにつれて高周波数域となる。

本実施形態では、図７（ａ）及び図７（ｂ）に示すように、２つのパターンを画像に埋め込んでいる。埋め込み例では、ＲＧＢのＢ成分に１０の加算及び減算を行っている。これにより、図７（ａ）のパターンは、図１４のラインＡ０１に大きなパワースペクトルを発生させる。同様に、図７（ｂ）のパターンは、ラインＡ０２に大きなパワースペクトルを発生させる。このパワースペクトルを、例えば８×８画素領域ごとに検出することにより、「０」か「１」のデータ抽出を行う。なお、検出の前処理として、エッジ検出を行うことにより、パワースペクトルの強調をするようにしても良い。

周波数解析によるデータの抽出では、画像データからの解析エリアの正確な切り出しが必要となるため、座標位置のずれを補正する処理が行われる。例えば、画像内からの８ピクセル×８ピクセル領域の切り出しと周波数解析とを、縦横それぞれの方向に１ピクセルずつずらしながら縦横に繰り返す。そして、例えば、横８ピクセル、縦８ピクセルずつずらすまで計６４回繰り返し、最もスペクトルが強くなる箇所を切り出しの基準位置とする方法がある。このとき、周波数解析の対象となる領域は、１６ピクセル×１６ピクセルの領域となり、付加情報をすきまなく多重化した領域内であれば、少なくとも１つの付加情報がその領域内に含まれることになる。そのため、上述したように基準となる領域の位置を決めることができる。位置検出が完了した後に、その位置を基準として、多重化の規則に従って付加情報の抽出を行うことで、埋め込まれていた「０」と「１」の数列が得られる。

なお、上記方法で基準位置を特定しようとする画像中の位置として、付加情報を埋め込んだ符号領域の先頭を選択すれば、特定された基準位置は、符号領域の先頭を示すことになる。そうでない場合であっても、基準位置が特定された領域が、多重化された符号列の中でどの位置にあるかは概ね特定できるので、その位置を基準として、多重化された符号列の先頭を特定することができる。先頭として特定した８×８画素領域及びその前後の８×８画素領域について空間周波数を解析することで、付加情報が多重化された領域の先頭を特定することができる。これにより、付加情報の長さは固定的であってよいので、付加情報が多重化された領域全体を特定することができる。こうして特定した符号領域全体を、図１４に示した空間周波数の解析により、２値データへと復号化することができる。

Ｓ２１４において、ＣＰＵ１１１は、Ｓ２１３で抽出されたＰＤＬデータをレンダリングしてレンダリング済み元画像データを生成する。レンダリング処理として、Ｓ２０２と同じ処理が行われる。Ｓ２１５において、ＣＰＵ１１１は、Ｓ２１２で生成されたＢｉｔｍａｐ読取画像データと、Ｓ２１４でレンダリングされたレンダリング済み元画像データとを比較・合成して、補正済み元画像データを生成する。

図５は、Ｓ２１５の補正済み元画像データの生成処理を示すフローチャートである。Ｓ５０１において、ＣＰＵ１１１は、Ｓ２１２で生成されたＢｉｔｍａｐ読取画像データの正規化処理を行う。これは、Ｓ２１２で生成されたＢｉｔｍａｐ読取画像データと、Ｓ２１４でレンダリングされたレンダリング済み元画像データのダイナミックレンジが異なっているからである。

例えば、Ｂｉｔｍａｐ読取画像データの最も明るい部分は一般的に読取対象の原稿の紙の色であり、原理的には何らかの濃度を持った値となっている。一方、レンダリング済み元画像データの最も明るい部分はＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５の画素であるので、両者の最も明るい色に元々違いがある。同様に、Ｂｉｔｍａｐ読取画像データの最も暗い部分は一般的にインク若しくはトナーの黒色であり、原理的には何らかの反射光による明度を持った値となっている。一方、レンダリング済み元画像データの最も明るい部分はＲ＝０、Ｇ＝０、Ｂ＝０の画素であるので、両者の最も暗い色に元々違いがある。また、カラー原稿の色味においても、読取対象の原稿上に印刷された最も鮮やかな赤色であっても、レンダリング済み元画像データ上の最も鮮やかな赤色（Ｒ＝２５５、Ｇ＝０、Ｂ＝０）と比べると彩度が低くなっている。Ｓ５０１では、Ｂｉｔｍａｐ読取画像データとレンダリング済み元画像データのダイナミックレンジを合わせるように、Ｂｉｔｍａｐ読取画像データの正規化が行われる。

例えば、Ｂｉｔｍａｐ読取画像データの画素値Ｒ、Ｇ、Ｂに対して、以下のように算出する。なお、Ｒｄ、Ｇｄ、Ｂｄは各色の最小明度を表し、Ｒｗ、Ｇｗ、Ｂｗは各色の最大明度を表す。

Rnorm = (R－Rd)/(Rw－Rd)×255
Gnorm = (G－Gd)/(Gw－Gd)×255
Bnorm = (B－Bd)/(Bw－Bd)×255
上記のように算出することで、Ｂｉｔｍａｐ読取画像データの最も明るい色がＲ＝２５５、Ｇ＝２５５、Ｂ＝２５５と正規化され、Ｂｉｔｍａｐ読取画像データの最も暗い色がＲ＝０、Ｇ＝０、Ｂ＝０と正規化される。

次に、Ｓ５０２において、ＣＰＵ１１１は、Ｓ５０１で正規化されたＢｉｔｍａｐ読取画像データに対してフィルタ処理を行う。Ｓ５０２では、上述のＭＴＦ補正が視覚的に好ましい範囲のエッジ強調となっているので、画像比較に用いるために、より強いエッジ強調を行うフィルタ処理を実行する。

次に、Ｓ５０３において、ＣＰＵ１１１は、Ｓ５０２でフィルタ処理が行われたＢｉｔｍａｐ読取画像データに対して、多重化画像の除去処理を行う。図２のＳ２０３で多重化済み画像データを生成することによって、本来復元したい元画像と印刷物（原稿画像）との間に差異が生じてしまっている。そのため、その差異を極力除去するために行われる。例えば、Ｓ２１２で取得されるＢｉｔｍａｐ読取画像データから、多重化された描画情報が抽出されるので、その描画情報を逆に減算することによって、Ｓ２１２で取得されたＢｉｔｍａｐ読取画像データを、多重化前の画像データに近づけることができる。本実施形態では、例えば、図６（ａ）及び図６（ｂ）に示すような０および１を埋め込むマスク値に、－１を乗じた値を更に多重化することにより、多重化画像の除去を行う。

以上のように、本実施形態では、原稿読取により生成されたＢｉｔｍａｐ読取画像データに対して、Ｓ２１２における補正強度よりも強い補正強度（エッジ強調）でＳ５０２のフィルタ処理を実行する。その結果、ＭＴＦ補正によりある程度復元された画像をより完全に復元することになり、原稿読取に起因して劣化した画像からより復元させることができる。また、原稿読取により生成されたＢｉｔｍａｐ読取画像データに対して、Ｓ５０３の多重化画像の除去を実行する。その結果、描画情報の多重化により現れるパターン（多重化画像。例えば上述の２画素の斜め線）に起因して劣化した画像から復元させることができる。

次に、Ｓ５０４において、ＣＰＵ１１１は、画像データの比較を行う。本実施形態では、Ｓ２１４でレンダリングされたレンダリング済み元画像データと、Ｓ５０３で生成された多重化画像除去済み読取画像データとを画素単位で比較する。例えば、Ｓ５０４で、以下の式により、各色の差分量を取得する。

ΔＲ ＝ ｜画像ＡのＲ[x][y] － 画像ＢのＲ[x][y]｜
ΔＧ ＝ ｜画像ＡのＧ[x][y] － 画像ＢのＧ[x][y]｜
ΔＢ ＝ ｜画像ＡのＢ[x][y] － 画像ＢのＢ[x][y]｜
次に、Ｓ５０５において、ＣＰＵ１１１は、画素値の差分量が閾値を超えているか否かを判定する。本実施形態では、Ｒ、Ｇ、Ｂそれぞれのチャネル毎にＲｔｈ、Ｇｔｈ、Ｂｔｈという閾値を持っており、例えば、以下のような条件式に基づいて判定が行われる。

If (（ΔＲ ＞ Ｒｔｈ）｜｜
（ΔＧ ＞ Ｇｔｈ）｜｜
（ΔＢ ＞ Ｂｔｈ） ）｛”Yes”｝
Else ｛”No”｝
本例では、閾値は、例えば、Ｒｔｈ＝Ｇｔｈ＝Ｂｔｈ＝６４とするが、スキャナユニットやプリンタユニットの特性に応じて設定されても良い。閾値より大きいと判定された場合には、Ｓ５０７に進む。一方、閾値以下であると判定された場合には、Ｓ５０６に進む。

Ｓ５０６において、ＣＰＵ１１１は、画素値の上書きを行う。ＣＰＵ１１１は、レンダリング済み元画像データの画素値に対して、多重化画像除去済み画像データの画素値を上書きする。即ち、各色の画素値について、以下で表されるような処理が行われる。

レンダリング済み元画像データのR[x][y] ＝ 多重化画像除去済み画像データのＲ[x][y]
レンダリング済み元画像データのＧ[x][y] ＝ 多重化画像除去済み画像データのＧ[x][y]
レンダリング済み元画像データのＢ[x][y] ＝ 多重化画像除去済み画像データのＢ[x][y]
例えば、画素値の上書きのため、上書きデータを別に１プレーン用意する。画像フォーマットとしては、ＲＧＢに加えて透明度を表すα値を含んだＲＧＢα（各色８ｂｉｔ、１画素３２ｂｉｔ）の画像データを用いる。

図５の処理の開始時には、上書き用データは、全ての画素について、α＝２５５（透明度最大＝上書きデータ無し）となっている。Ｓ５０６では、以下の式に基づいて、画素値の上書きが行われる。

上書きデータのR[x][y] ＝ 多重化画像除去済み画像データのＲ[x][y]
上書きデータのＧ[x][y] ＝ 多重化画像除去済み画像データのＧ[x][y]
上書きデータのＢ[x][y] ＝ 多重化画像除去済み画像データのＢ[x][y]
上書きデータのα[x][y] ＝ ０（透明度最低＝不透明）
次に、Ｓ５０７において、ＣＰＵ１１１は、全ての画素についてＳ５０５の判定処理が行われたか否かを判定する。全ての画素について判定処理が行われていないと判定された場合、他の画素に着目してＳ５０４からの処理を繰り返す。一方、全ての画素について判定処理が行われたと判定された場合、図５の処理を終了する。

図５の処理の結果、Ｓ２１４でレンダリングされたレンダリング済み元画像データに対して、一番上に上書きデータが配置された補正済み元画像データが生成される。図２のＳ２１６において、ＣＰＵ１１１は、Ｓ２１５で生成された補正済み元画像データを保存し、その後、多重化ＰＤＬ抽出処理を終了する。多重化ＰＤＬ抽出処理の後、例えば、ＣＰＵ１１１は、記録ヘッドコントローラ１１５により、補正済み元画像データに基づいて印刷処理を行う。

以上の処理によって、例えば、原稿読取によって得られた図４（ｂ）に示すような劣化した画像から復元させ、図４（ａ）の画像に近づけることができる。以下、Ｓ５０５で画素単位に画素値の差分量を算出してＳ５０６で上書きする処理についてさらに説明する。

図９は、手書き文字が追記された画像に対する処理を説明するための図である。図９（ａ）のＰＤＬ画像９００は、図４（ａ）のＰＤＬ画像４００と同じである。図９（ｂ）は、原稿読取の結果、取得された読取画像９０１である。図４（ｂ）と異なり、読取画像９０１では、ＰＤＬ画像９００の印刷物に対して「Ｃｈｅｃｋ」の文字９０２が追加された状態で原稿読取が行われた結果を示している。「Ｃｈｅｃｋ」の文字９０２は、当然に元原稿には存在しないので、図２のＳ２０２でレンダリングされることはなく、Ｓ２０３で生成される多重化済み画像データにも含まれていない。よって、Ｓ２１３で抽出されるＰＤＬデータにも含まれず、Ｓ２１４で生成されるレンダリング済み元画像データにも含まれていない。従って、Ｓ２１４で生成されたレンダリング済み元画像データを、復元された画像データとして優先的に用いると、読取画像９０１の「Ｃｈｅｃｋ」の文字９０２が欠落してしまう。

本実施形態では、「Ｃｈｅｃｋ」の文字９０２の部分について、Ｓ５０４～Ｓ５０５において画素値の差分量が閾値より大きいと判定され、Ｓ５０６で上書きの対象画素とされる。つまり、本実施形態では、図９の上書き配置された画像９０３のように、差分量の大きい画素については、読取画像側の画素が用いられ、差分量の小さい画素については、元画像側の画素が用いられる。その結果、手書き追記された部分を欠落させることなく、手書き追記されていない部分を元画像に近づけることができる。

以上のように、本実施形態では、印刷物を読み取って得られたＢｉｔｍａｐ読取画像データからＰＤＬデータを抽出し、Ｂｉｔｍａｐ読取画像データ（手書き文字部分）と組み合わせる。その際、Ｂｉｔｍａｐ読取画像データに対してＳ５０２のフィルタ処理を行うことにより、原稿読取に起因して劣化した画像からより復元させることができる。また、Ｂｉｔｍａｐ読取画像データに対してＳ５０３の多重化画像の除去を行うことにより、多重化画像の印刷処理に起因して劣化した画像から復元させることができる。また、ＰＤＬデータ（元画像）に対して、Ｂｉｔｍａｐ読取画像データを組み合わせることにより、記録媒体の汚れ等で劣化した画像から復元させるとともに、印刷物に追記された手書き文字等が欠落してしまうことを防ぐことができる。

図６及び図７では、８×８画素単位で多重化情報を多重化する例を説明した。これは、高周波領域に多重化情報を多重化することによって、ユーザに視認されにくい多重化を行う例である。しかしながら、高周波領域への多重化情報の多重化だけでなく、任意の多重化方法が用いられても良い。

図８は、多重化方法の他の例を説明するための図である。図８（ａ）は、ＱＲコードのパターンの一例を示している。本例では、ＰＤＬデータをＱＲコード化し、それを視認されにくい形で多重化する。図８（ｂ）は、実際の印刷パターンを表しており、８×８画素単位に１ドットだけ印刷するパターンとなっている。図８（ａ）の黒色画素８００に対応するドットが図８（ｂ）のドット８０１の１ドットに対応する。また、図８（ａ）の空白画素に対応する図８（ｂ）の位置には、ドットは形成されない。

このような方法により、視認されにくい多重化パターンを記録媒体上に構成することができる。例えば、図２のＳ２０３でＰＤＬデータを図８（ａ）のようにＱＲコード化し、それを離間したドット群である図８（ｂ）のような画像データとして、レンダリング済み画像データに対して重畳する。また、離間ドットを構成するインクとしてはイエローインクが最も視認され難いので、イエローインクで図８（ｂ）のパターンを構成することで、より視認されにくい多重化パターンを記録媒体上に構成することができる。

なお、本多重化方式の場合、Ｓ２１３でのＰＤＬデータ抽出では、読み取ったＢｉｔｍａｐ読取画像データにおいて、８×８画素単位でイエロードットが記録されているかを判定し、図８（ａ）相当のＱＲコードパターンを抽出し、それを復号化することでＰＤＬデータを抽出すれば良い。

また、他の多重化方式としては、例えば、図２のＳ２０４の印刷画像データの生成処理における量子化処理時に閾値変調を行って多重化する方式が用いられても良い。また、Ｓ５０３の多重化画像の除去は、用いた多重化方法に応じて上述した説明と同様に、多重化時の画素値の変化量に－１を乗じた値を多重化することによって行うことができる。

一般的に、多重化すべき情報量が増えた場合、記録ドット数や変調量を増大させる必要が生じ、その結果、印刷画像全体の画像劣化が増大する傾向がある。さらに、そのような印刷画像を読み取って得られる読取画像にも画像劣化が現れることになる。本実施形態では、そのような場合でも、Ｓ５０３で多重化画像の除去を行うので、多重化すべき情報量が増大した場合に生じた画像劣化であっても、復元させることが可能となる。

また、上述したように、図３の原稿画像３００は横幅６００画素、縦幅９００画素から構成されるので、１ページは５４０，０００画素から構成される。ここで、各画素の色をＲ／Ｇ／Ｂ各８ｂｉｔの２５６階調で表現する場合、各画素３Ｂｙｔｅ、１ページ合計で１，６２０，０００Ｂｙｔｅ≒１．６Ｍｂｙｔｅｓとなる。一方、ＰＤＬ状態でのファイルサイズは、例えば、以下のように、１０６，２００Ｂｙｔｅｓとなり、約６．６％程度となる。以下、ファイルサイズ試算の内訳を示す。

・描画命令部分 約３５０文字 （１文字２Ｂｙｔｅｓとして≒７００Ｂｙｔｅｓ）
・”PORTRAIT.jpg” ３００×４７５画素、各画素３Ｂｙｔｅｓで全４２７，５００Ｂｙｔｅｓ ここで、圧縮率を２０％とすると８５，５００Ｂｙｔｅｓ
・”STD”フォントデータ 以下の理由で２０，０００Ｂｙｔｅｓと想定
例えば、２０ページで想定すると、フォント埋め込みなしのＰＤＦファイルサイズが約６０ＫＢであることに対し、フォント埋め込みありのＰＤＦファイルサイズは、４６０ＫＢとなり、９００％近いサイズ増加となることが一例として知られている（ページあたりの新規文字が７５％とする）。従って、１ページのフォント埋め込み量を４００ｋＢｙｔｅｓ／２０＝２０ｋＢｙｔｅｓと想定した。

上記のように、Ｓ２０２でレンダリングしたＢｉｔｍａｐ画像データと比べて、Ｓ２０１で取得されたＰＤＬデータのサイズは約６．６％と極めて小さいサイズとなる。よって、多重化する際には、Ｂｉｔｍａｐ画像データよりもＰＤＬ画像データを多重化する方が、多重化に伴う印刷画像全体の画像劣化を大幅に低減することができる。

また、ＰＤＬデータを直接埋め込んだ印刷物を読み取ることによって、ＰＤＬデータ（元原稿）を完全に復元させることも可能である。その場合、図３に対応付けた各描画命令が全て復元できるので、例えば図４（ｂ）の読取画像４０１を図４（ａ）のＰＤＬ画像４００と完全に同じものにすることができる。同様に、図３のオブジェクト３０３やオブジェクト３０４のような文字・細線についても復元が可能である。コピー処理は一般的に読取～印刷の処理を経るので、画像の劣化が避けられないが、スキャン時に元原稿のＰＤＬデータを抽出することができれば、抽出したＰＤＬデータに基づいて印刷を行うことによって、ほぼ完全なコピーを実現することができる。

さらに、印刷時に縮小・拡大が伴う場合、細線・文字については線の細り・太りが生じ、文字・細線が判読不能もしくは消滅してしまうケースがあるが、本実施形態によれば、多重化したＰＤＬデータを抽出することができ、上記のようなケースを回避することができる。

また、縮小・拡大コピー時には文字・細線も縮小・拡大が伴うので、視認性が劣化してしまうケースがあるが、本実施形態のように、多重化したＰＤＬデータを抽出することができれば、例えば、ＴＥＸＴ描画命令に対してサイズ変更が可能となる。そのため、以下に一例として示すように、文字部分についてのみサイズを変更するようにしたコピーを実現するようにしても良い。

・５０％縮小＋文字サイズ２００％の設定による「文字サイズを維持した縮小コピー」
・２００％拡大＋文字サイズ５０％の設定による「文字サイズを維持した拡大コピー」
・等倍＋文字サイズ２００％の設定による「文字拡大コピー」
・等倍＋文字サイズ５０％の設定による「文字縮小コピー」
同様に、本実施形態では、多重化したＰＤＬデータを抽出することができるので、コピー処理において、ＬＩＮＥ描画命令等、他の命令に対しても線の太さや線の種類・色の変更、塗りパターンの変更等を行うようにしても良い。

また、本実施形態では、Ｓ２１６で保存された補正済み元画像データを用いて、表示制御を行うようにしても良い。上述したように、読取原稿の上に手書き文字が追記されていた場合、多重化されたＰＤＬデータの表す元画像に手書き部分の画像を合成した補正済み元画像データが保存される。その際、手書き文字が追記された画像データ部分（例えば、図９（ｂ）の文字９０２）を個別の画像データとして保存するようにしても良い。そして、その個別の画像データを用いて表示部での表示制御を行うようにしても良い。例えば、手書き文字部分を赤く表示したり、点滅したり等、識別可能に表示するようにしても良い。また、手書き文字部分を消去して、手書き文字を追記する前の画像（即ち、元画像）を表示するようにしても良い。また、手書き文字を追記する前の画像と手書き文字を追記した後の画像とを並列に表示するようにしても良い。また、それらの並列表示においてユーザからの選択を受付可能とし、選択された画像について印刷処理を行うようにしても良い。

また、本実施形態では、図２のＰＤＬ多重化印刷処理をＰＣ１００で実行し、多重化ＰＤＬ抽出処理をＭＦＰ１１０で実行するとして説明したが、ＰＤＬ多重化印刷処理と多重化ＰＤＬ抽出処理を１つの装置内で実行するようにしても良い。例えば、両処理をＭＦＰ１１０で実行するようにしても良い。

［第２実施形態］
以下、第１実施形態と異なる点について第２実施形態を説明する。第１実施形態では、ＰＤＬデータをレンダリング済み画像データに多重化する構成を説明した。本実施形態では、ＰＤＬデータの一部だけがレンダリング済み画像データに多重化される。

印刷後の原稿画像上に手書き文字やスタンプ等で情報が上書きされたために、多重化された描画情報の抽出が困難になるケースが想定される。また、原稿画像内の画像ファイルのサイズ等が大きすぎたために多重化が困難なケースや、多重化時の画像劣化が大きくなるために多重化を行えなかったケースが想定される。本実施形態では、ＰＤＬデータの一部だけが多重化対象となるので、上記のようなケースを回避可能とすることができる。

図１０は、本実施形態におけるＰＤＬデータで表される原稿画像の一例を示す図である。図１０の原稿画像１０００、オブジェクト１００１～１００４は、図３の原稿画像３００、オブジェクト３０１～３０４に対応する。以下に、本実施形態における多重化用ＰＤＬの記述内容を示す。

＜PAGE=001＞
＜BOX＞ 50, 75, 200, 300, GRAY, STRIPE ＜/BOX＞
＜BOX＞ 420, 75, 550, 300, BLACK, FULL ＜/BOX＞
＜BOX＞ 50,620, 200, 825, BLACK, NULL ＜/BOX＞
＜TEXT＞ 50,620, 200, 825, BLACK, STD-18, “ABCXYZ123” ＜/BOX＞
＜LINE＞ 25, 25, 25, 700, BLACK, PLAIN, 3 ＜/LINE＞
＜LINE＞ 25, 25, 450, 25, BLACK, PLAIN, 3 ＜/LINE＞
＜/PAGE＞
本実施形態では、第１実施形態において記述されていた、＜IMAGE＞ 250, 350, 550, 825, “PORTRAIT.jpg” ＜／IMAGE＞ という画像の描画命令が記述されていない。第１実施形態では、以下のような前提として説明していた。

・描画命令部分 約３５０文字 （１文字２Ｂｙｔｅｓとして≒７００Ｂｙｔｅｓ）
・”PORTRAIT.jpg” ３００×４７５画素、各画素３Ｂｙｔｅｓで全４２７，５００Ｂｙｔｅｓ
ここで圧縮率を２０％とすると８５，５００Ｂｙｔｅｓ
・”STD”フォントデータ 後述の理由で２０，０００Ｂｙｔｅｓと想定
つまり、以下に示されるように、画像やフォントを埋め込まない場合には、それだけ多重化用データを少なくすることができ、多重化による画像劣化の度合いを低減可能となる。

描画命令＋画像＋フォント １０６，２００Ｂｙｔｅｓ （１００％）
描画命令＋フォント ２０，７００Ｂｙｔｅｓ （１９％）
描画命令 ７００Ｂｙｔｅｓ （＜１％）
そこで、本実施形態においては、図２のＰＤＬ多重化印刷処理のＳ２０３で多重化済み画像データを生成する際、上記の多重化用ＰＤＬデータを用いて多重化済み画像データを生成する。よって、Ｓ２１３で抽出されるＰＤＬデータは、上記の多重化用ＰＤＬデータとなる。また、Ｓ２１４でレンダリングされるレンダリング済み元画像データは、図１０に示すように、人物画像が存在しない画像となる。

そして、Ｓ２１５の補正済み元画像データの生成時には、図３のオブジェクト３０５の人物画像が印刷された印刷物を読み取ったＢｉｔｍａｐ読取画像データと、人物画像が存在しないレンダリング済み元画像データとを比較することとなる。図５のＳ５０５及びＳ５０６において、人物画像の部分が、第１実施形態で説明した「手書き文字が追記された部分」として処理される。即ち、Ｓ２１４でレンダリングされた、人物画像が存在しないレンダリング済み元画像データに対して、Ｂｉｔｍａｐ読取画像データの人物画像の部分が上書きデータとして生成される。そして、上書きデータが一番上に配置された補正済み元画像データが生成される。

以上のように、本実施形態によれば、読取画像から元画像を復元させることができるとともに、多重化情報の負荷を軽減することができる。

［第３実施形態］
以下、第１及び第２実施形態と異なる点について本実施形態を説明する。第１及び第２実施形態では、ＰＤＬデータと同じ画像サイズの上書き用データをレンダリング済み画像データに上書きする構成を説明した。例えば、ＰＤＬ画像３００が横幅６００画素、縦幅９００画素から構成される場合、１ページは５４０，０００画素から構成される。各画素の色をＲ／Ｇ／Ｂ／α各８ｂｉｔの２５６階調で表現する場合、各画素４Ｂｙｔｅ、１ページで２，１６０，０００Ｂｙｔｅ≒２．２ＭＢｙｔｅｓとなる。本実施形態では、画像領域を複数のブロック（即ち、単位領域）に分割し、ブロック単位に上書き用データを生成することで、データ量を低減することができる。

図１１は、本実施形態における補正済み元画像データの一例を示す図である。図１１の補正済みＰＤＬ画像１１００、オブジェクト１１０１～１１０５は、図３のＰＤＬ画像３００、オブジェクト３０１～３０５に対応する。図１１の補正済みＰＤＬ画像１１００上には、水平方向及び垂直方向に５分割する破線が示されている。本実施形態では、ＰＤＬ画像全体を２５分割して、必要な部分に対応する上書き用データをレンダリング済み画像データに上書きする。

図１２は、本実施形態における補正済み元画像データの生成処理を示すフローチャートである。図１２のＳ１２０１～Ｓ１２０３は、図５のＳ５０１～Ｓ５０３における説明と同じであるので、それらの説明を省略する。

Ｓ１２０４において、ＣＰＵ１１１は、画像タイルの比較を行う。画像タイルとは、画像全体（横幅６００画素、縦幅９００画素）を、本例の場合、縦横それぞれ５分割した各画像タイル（１２０画素、縦幅１８０画素）である。ＣＰＵ１１１は、各画像タイルについて、レンダリング済み画像データと多重化情報除去済み画像データの比較を行う。ＣＰＵ１１１は、各画像タイルについての比較結果として、差分のある画素数を計測する。

Ｓ１２０５において、ＣＰＵ１１１は、当該画像タイルにおいて、差分のある画素数が所定の閾値を超えたか否かを判定する。言い換えれば、Ｓ１２０５では、当該画像タイル中に「手書き文字等が追加された部分」が存在するか否かを判定している。所定の閾値としては、画素数でも良いし、割合でも良い。例えば、閾値として、約１％である２１６画素が用いられる。ここで、閾値は、任意の基準で設定されても良い。例えば、閾値として１％である２１６画素は、例えば、紙面上やスキャナガラス上のゴミ等による無視可能な画素数として設定される。Ｓ１２０５で閾値を超えたと判定された場合、Ｓ１２０６に進む。一方、閾値を超えていないと判定された場合、その画像タイルについて上書き用データを生成せずに、次の画像タイルに着目してＳ１２０４からの処理を繰り返す。

Ｓ１２０６において、ＣＰＵ１１１は、多重化情報除去済み画像データの当該画像タイルの画像データを、レンダリング済み画像データの上に配置する。その場合、当該画像タイルを上書き配置する場合には、画像データとしては各画素Ｒ／Ｇ／Ｂ各８ｂｉｔの３Ｂｙｔｅで良いので、各タイルの画像データ量としては６４，８００Ｂｙｔｅｓとなる。つまり、第１実施形態における、画素値の差異判定で画素単位に上書き配置するか否かを決定する場合より、データ量をより低減させることができる。各画像タイルの画像データ量は、画像タイルの画素数を小さくすればする程データ量も小さくなる。従って、上書きが必要な部分以外について、不要なデータを含む可能性が低減する。また、画像データ量を低減するために、画像データを圧縮するようにしても良い。

図１３は、本実施形態における手書き文字の追記画像に対する処理を説明するための図である。図１３（ａ）は、レンダリング済み画像データの表す画像を示す。図１３（ｂ）は、原稿読取が行われた読取画像データの表す画像を示す。図１３では、各画像は４×４の画像タイルに分割され、ＣＰＵ１１１により、それぞれ１３ａ００～１３ａ３３、１３ｂ００～１３ｂ３３というように識別情報が付与されて管理される。識別情報として、例えば、画像タイル１３－ａ―ｘ－ｙにおいて、ｘは水平方向のタイル位置番号、ｙは垂直方向のタイル位置番号を表すようにルールが定められている。タイル１３－ｂ－ｘ－ｙ、タイル１３－ｃ－ｘ－ｙについても同様である。

図１３（ｃ）は、Ｓ１２０５～Ｓ１２０６により、追加された手書き文字である文字列”Ｃｈｅｃｋ”が存在する、タイル１３ａ１１、１３ａ１２、１３ａ１３、１３ａ１４、１３ａ２１、１３ａ２２、１３ａ２３、１３ａ２４の８つの画像タイルが上書き処理された結果を示している。図１３（ｃ）に示すように、上記の８つの画像タイルについてのみ、読取画像データが上書きされる。

以上のように、本実施形態によれば、上書きが必要な領域のみのデータを、レンダリング済み画像データに上書きする。そのような構成により、補正済み元画像データのサイズを低減させることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００ ＰＣ： １０１、１１１ ＣＰＵ： １１０ ＭＦＰ： １１６ 画像処理アクセラレータ

Claims (16)

1. 元画像の描画情報が多重化された印刷物を光学的に読み取り、読取画像データを取得する読取手段と、
   前記読取手段により取得された前記読取画像データから前記描画情報を抽出する抽出手段と、
   前記抽出手段により抽出された前記描画情報に基づいて、前記元画像を表す元画像データを取得する取得手段と、
   前記読取画像データと前記元画像データを比較し、該比較の結果に基づいて前記元画像データを補正する補正手段と、
   前記補正手段により補正された補正済み元画像データを、前記印刷物の読取の結果として保存する保存手段と、
   を備えることを特徴とする画像処理システム。
2. 前記補正手段は、前記読取画像データの画素値と前記元画像データの画素値を比較し、該比較の結果に基づいて、前記元画像データを補正することを特徴とする請求項１に記載の画像処理システム。
3. 前記補正手段は、前記読取画像データの画素値と前記元画像データの画素値の差分が閾値より大きい場合、前記読取画像データの画素値を前記元画像データの画素値の代わりに、前記読取の結果として用いることにより、前記元画像データを補正することを特徴とする請求項２に記載の画像処理システム。
4. 前記補正手段は、前記差分が前記閾値より大きくない場合、該画素値について前記元画像データの補正を行わないことを特徴とする請求項３に記載の画像処理システム。
5. 前記補正手段は、単位領域ごとに、前記読取画像データの画素値と前記元画像データの画素値の差があると判定された画素数が閾値より多いか否かを判定し、該判定の結果に基づいて前記元画像データを補正することを特徴とする請求項１又は２に記載の画像処理システム。
6. 前記補正手段は、前記画素数が前記閾値より多いと判定された前記単位領域について、前記読取画像データの画素値を前記元画像データの画素値の代わりに前記読取の結果として用いることにより、前記元画像データを補正することを特徴とする請求項５に記載の画像処理システム。
7. 前記補正手段は、前記画素数が前記閾値より多くないと判定された前記単位領域について前記元画像データの補正を行わないことを特徴とする請求項６に記載の画像処理システム。
8. 前記比較の前に、前記読取手段により取得された前記読取画像データに対して正規化処理を実行する第１処理手段、をさらに備え、
   前記比較は、前記正規化処理が実行された前記読取画像データを用いて行われることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理システム。
9. 前記比較の前に、前記読取手段により取得された前記読取画像データに対して前記読取手段の光学特性の補正処理を実行する第２処理手段、をさらに備え、
   前記比較は、前記光学特性の補正処理が実行された前記読取画像データを用いて行われることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 前記光学特性の補正処理の補正強度は、前記読取手段が前記読取画像データを取得する際に行われる前記光学特性の補正処理の補正強度よりも大きいことを特徴とする請求項９に記載の画像処理システム。
11. 前記比較の前に、前記読取手段により取得された前記読取画像データに対して、前記描画情報を除去する除去処理を実行する第３処理手段、をさらに備え、
    前記比較は、前記除去処理が実行された前記読取画像データを用いて行われることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理システム。
12. 前記描画情報を、前記元画像の画像データに多重化して、多重化済み画像データを生成する多重化手段と、
    前記多重化手段により生成された前記多重化済み画像データに基づいて、前記印刷物を印刷するための印刷画像データを生成する生成手段と、
    をさらに備えることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理システム。
13. 前記多重化手段により多重化される前記描画情報は、前記元画像の描画情報の一部であることを特徴とする請求項１２に記載の画像処理システム。
14. 前記画像処理システムは、情報処理装置と、画像処理装置とを含み、
    前記情報処理装置は、前記多重化手段、前記生成手段、を備え、
    前記画像処理装置は、前記読取手段、前記抽出手段、前記取得手段、前記補正手段、前記保存手段、を備える、
    ことを特徴とする請求項１２又は１３に記載の画像処理システム。
15. 前記画像処理システムは、プリンタ機能とスキャナ機能を実行可能な画像処理装置であることを特徴とする請求項１２又は１３に記載の画像処理システム。
16. 画像処理システムにおいて実行される画像処理方法であって、
    元画像の描画情報が多重化された印刷物を光学的に読み取り、読取画像データを取得する読取工程と、
    前記読取工程において取得された前記読取画像データから前記描画情報を抽出する抽出工程と、
    前記抽出工程において抽出された前記描画情報に基づいて、前記元画像を表す元画像データを取得する取得工程と、
    前記読取画像データと前記元画像データを比較し、該比較の結果に基づいて前記元画像データを補正する補正工程と、
    前記補正工程において補正された補正済み元画像データを、前記印刷物の読取の結果として保存する保存工程と、
    を有することを特徴とする画像処理方法。

Images