JP4861924B2

JP4861924B2 - 画像処理装置、その制御方法、そのプログラム、その記憶媒体

Info

Publication number: JP4861924B2
Application number: JP2007198949A
Authority: JP
Inventors: 幸裕進藤; 幸親市橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-07-31
Filing date: 2007-07-31
Publication date: 2012-01-25
Anticipated expiration: 2027-07-31
Also published as: US20090034011A1; JP2009038456A; US8351098B2

Description

本発明は、カラー画像データの印刷により得られたカラー印刷物から元のカラー画像データに復元する画像処理装置、あるいは、後に復元できるようにカラー画像データをカラー印刷する画像処理装置、その制御方法、そのプログラム、その記憶媒体に関する。

カラー画像データを印刷してカラー印刷物を作成する時、このカラー画像データの画質は、印刷という処理の中で変化（多くの場合は劣化）することになる。

実際に、拡張ＲＧＢ空間の色域で作成したカラー画像データを印刷すると、印刷物上のカラー画像の色域は、印刷装置の発色可能な記録デバイスＲＧＢ空間にまで圧縮されてしまうことになる（即ち、色の劣化が起きる）。

そこで、特許文献１は、カラーの印刷物からカラー画像データを復元させるための技術を開示している。

より詳細には、特許文献１は、オリジナルのカラー画像データそのものをバーコード化して、紙に印刷する方法を開示している。この紙がスキャンされると、上記バーコード内からオリジナルのカラー画像データを読み出され印刷される。
特開平１０−１２６６０７

特許文献１の方法では、情報量が非常に大きいカラー画像データをバーコード化する必要がある。従って、バーコード（二次元バーコードを含む）のサイズが非常に大きくなってしまう。

例えば、ＲＧＢ各色６００万画素相当のデジタルカメラで撮影されたカラー画像データの情報量は１８メガバイト相当になってしまうのに対し、Ａ４一枚サイズのバーコードの情報量は１キロバイト相当である。その比率は、約１８０００対１である。

本発明は上述した問題を解決するためになされたものであり、その目的とするところは、以下にある。つまり、より少ない情報量の埋込まれた電子透かし画像データと、カラー画像データとが印刷して得られた印刷物から、きれいなカラー画像データを再生することができる画像処理装置を提供するところにある。

上記課題を解決するために、本請求項１に係る画像処理装置は、以下を特徴とする。

即ち、カラー画像データの輝度データと色差データとのうちの色差データを用いて作成された電子透かし画像データを含む読取画像データから、当該読取画像データのうちの前記電子透かし画像データ内の情報を得る得手段と、前記得手段で得られた情報を用いて前記読取画像データの色差データを補正することで、復元後カラー画像データを生成する色付手段とを有し、前記電子透かし画像データ内の情報は、前記カラー画像データに含まれる複数の単位領域の色差データの代表値を含んでおり、前記色付手段は、前記読取画像データの色差データを複数の単位領域に分割する分割し、当該分割により得られた複数の単位領域のうちの、前記読取画像データ内の対象とする画素が所属する単位領域の包含領域内における、前記電子透かし画像データ内の単位領域の代表値を用いて当該対象とする画素の色差値を補正することで、前記読取画像データの色差データを補正することを特徴とする。

本発明の画像処理装置によれば、より少ない情報量の埋込まれた電子透かし画像データと、カラー画像データとが印刷して得られた印刷物から、きれいなカラー画像データを再生することができる。

（実施例１）
本実施例では、オリジナルカラー画像データをカラー印刷する環境において、輝度データと色差データのうち色差データをバーコード化してカラー出力する画像処理装置を開示する。更に、色差データを含むバーコードを有するカラー印刷物を、スキャナなどの原稿読取装置によって読み取り、カラー画像データに復元する画像処理装置を開示する。

このように、本実施例では、色データの全てではなく、そのうちの色差データをバーコード化することにより、バーコード内の情報量を削減している。

［色差データを持つカラー画像の生成］
先ずは、オリジナルのカラー画像データをカラー印刷する環境において、輝度データと色差データのうち色差データをバーコード化して出力する画像処理装置、読取装置、印刷装置を含む印刷システムを開示する。ここでいうオリジナルのカラー画像データとは、デジタルカメラやイメージスキャナで取り込んだ銀縁写真などを指す。

読取装置はオリジナル原稿又はオリジナル被写体をＲＧＢで読み取り、ＲＧＢのカラー画像データを生成する。そして、当該生成されたＲＧＢのカラー画像データを画像処理装置に対して出力する。

画像処理装置は、読取装置から受取ったＲＧＢのカラー画像データに対して画像処理を行う。そして、当該画像処理により得られたＣＭＹＫの画像データを印刷装置に出力する。

印刷装置は、画像処理装置から受取ったＣＭＹＫの画像データをシート上に出力する。言い換えると、印刷装置は、画像処理装置から受取ったＣＭＹＫの画像データから印刷物を作成する。

なお、これ以降、画像処理装置と印刷装置とが夫々別の装置であるものとして説明を行うが、これらの装置が電気的に接続された一体型の装置であってもよい。一対型の装置である時、その装置を画像形成装置と呼ぶことにする。加えて、画像読取装置も電気的に接続された一体型の装置であってもよい。一対型の装置である時、この装置も画像形成装置と呼ぶことにする。

以下、図１〜図４及び図７を参照して、読取装置により生成されたＲＧＢの色データからなるカラー画像データをＣＭＹＫに変換して印刷装置に出力する画像処理装置について開示する。

なお、図１〜図４及び図７に示す各処理部は画像処理装置内のＣＰＵにより統括的に制御される。また、各処理部が行う処理内容を定義したプログラムは同じく画像処理装置内の記憶媒体（ＨＤＤやフラッシュメモリやＣＤ−ＲＯＭやＤＶＤ）に記憶可能な状態で保存されている。従って、ＣＰＵは、この記憶媒体に記憶されているプログラムを順次読み出すことにより、各処理部の処理内容を統括的に制御する。

＜図１の説明＞
■色空間変換部１０１の処理
色空間変換部１０１は、受取ったＲＧＢの色データからなるカラー画像データを、輝度データと色差データとに分解する。本発明では、分解後の色空間に決まりはなくＹＵＶでもＬＡＢでもＹＣｂＣｒでもＨＳＶでもよいが、本実施例では分解後の色空間をＹＣｂＣｒとする。なお、本明細書では、この色空間変換部より前に、読取装置依存の画像データから読取装置非依存の画像データに変換されるものとする（周知のカラーマッチング技術により）。

また、本明細書では、一般的に明度と呼ばれる（ＬＡＢ）のＬや、強度と呼ばれる（ＨＳＶの）Ｖや、輝度と呼ばれる（ＹＵＶやＹＣｂＣｒ）のＹも、どちらも輝度という言葉に含まれるものとする。また、（ＹＣｂＣｒ）のＣｂ及びＣｒ、（ＹＵＶの）Ｕ及びＶ、（ＬＡＢの）Ａ及びＢは、文字通り色差という言葉に含まれるものとする。なお、本発明では、色差の代わりに、一般的に色相と呼ばれるＨ及び彩度と呼ばれるＳを用いても良い。

このように、輝度とは、色の明るさや暗さや濃さや輝きを表す言葉であり、一方、色差とは、上記明るさや暗さや濃さや輝き以外の色の要素を表す言葉であるものと本明細書ではする。

ＲＧＢデータとＹＣｂＣｒデータとを変換する変換式は以下である。ただし、ダイナミックレンジは２５６で、各データは０から２５５の値を取るものとする。
Ｙ＝０．２９９００＊Ｒ＋０．５８７００＊Ｇ＋０．１１４００＊Ｂ
Ｃｂ＝−０．１６８７４＊Ｒ−０．３３１２６＊Ｇ＋０．５００００＊Ｂ＋１２８
Ｃｒ＝０．５００００＊Ｒ−０．４１８６９＊Ｇ−０．０８１３１＊Ｂ＋１２８
Ｒ＝Ｙ＋１．４０２００＊（Ｃｒ−１２８）
Ｇ＝Ｙ−０．３４４１４＊（Ｃｂ−１２８）−０．７１４１４＊（Ｃｒ−１２８）
Ｂ＝Ｙ＋１．７７２００＊（Ｃｂ−１２８）
０≦Ｒ≦２５５，０≦Ｙ≦２５５
０≦Ｇ≦２５５，０≦Ｃｂ≦２５５
０≦Ｂ≦２５５，０≦Ｃｒ≦２５５
分解後、色空間変換部１０１は、カラー画像データ（カラー画像データの輝度データ及びカラー画像データの色差データ）を濃度生成部１０５に対して出力する。また、色空間変換部１０１は、カラー画像データの色差データを領域分割部１０２に対して出力する。

■領域分割部１０２
領域分割部１０２は、受取った色差データを複数の単位領域（例えば、１６画素×１６画素・・・図８参照）に領域分割する。この領域分割部１０２は、領域分割後の各領域における色差データに対応する座標値と、当該領域分割後の各領域における色差データとを分割色差データとして代表値抽出部１０３に出力する。なお、本明細書では、この単位領域のことを所定サイズ領域とも称する。

■代表値抽出部１０３
代表値抽出部１０３は、受取った複数の分割色差データの夫々から、各分割色差データに対するデータ量削減処理を行ない、削減後色差データを得る。具体的なデータ量削減処理については以下に説明する。まず、代表値抽出部１０３は、受取った各分割色差データの各代表値を抽出する。そして、各代表値と、各代表値に対応する（エンコート部１０４で生成される電子透かし画像からの）座標値とを集合化して、その集合を削減後色差データとする。このとき、座標値の集合の替わりに、（エンコート部１０４で生成される電子透かし画像からの）第一の所定サイズ領域位置と単位領域サイズと単位領域の縦横数を削減後色差データに含めてもよいものとする。その後、代表値抽出部１０３は、その削減後色差データをエンコード部１０４に出力する。

分割色差データの代表値は、例えば、分割色差データの平均値ＡＶＧｉｊであってもよい。また、分割色差データを周波数分解した際に得られる直流成分と低周波成分であってもよい。また、分割色差データに対応する単位領域内の左上の画素の色差値や中央の画素の色差値であってもよい。いずれにせよ、代表値は、分割色差データに対応する単位領域内の色差値を代表する値である。

■エンコード部１０４
エンコード部１０４は、代表値抽出部１０３から受取った集合を電子透かし画像化して電子透かし画像データに変換する。これにより、代表値（及び、当該代表値に対応する座標値）の集合は、機械読み取り可能なデジタルフォーマットの画像データになる。例えば、公知の電子透かし画像データ（図６参照）になるように変換される。なお、本明細書では電子透かしという言葉を二次元バーコードや一次元バーコードやステガノグラフィーといった技術を含む言葉として定義する。即ち、電子透かし画像とは、機械可読なデータを含む画像として定義する。ただし、この機械可読なデータは、機械により可読されない限り人間が理解することのできないデータである。

なお、このエンコード部１０４で作成された電子透かし画像データはシアン、マゼンダ、イエロー、ブラックのどれか一つ、若しくは複数のプレーンを用いて電子透かし画像データを生成する。

また、エンコード部は、上記電子透かし画像データを濃度成分のデータとして合成部１０６に出力する。

■濃度生成部１０５
濃度生成部１０５は、プロファイルを用いて、色空間変換部１０１から受取った輝度データ及び色差データをＣＭＹＫのカラー濃度データに変換する。ここで、プロファイルとは、ＹＣｂＣｒの入力データに対して、一意にＣＭＹＫの濃度データに変換するテーブルを示す。また、プロファイルは、記録部を構成するトナーやインクの色材の色相の種類によって構成される為、ＣＭＹＫとは限らない。更に言及すると、デバイス依存の色空間と、ｓＲＧＢなどに代表されるデバイス非依存の色空間をマッピングによって変換する機能も併せ持つ事が出来る。

その後、濃度生成部１０５は、カラー濃度データを合成部１０６に出力する。

■合成部１０６
合成部１０６は、濃度生成部１０５から受取ったカラー濃度データとエンコード部１０４から受取った電子透かし画像データとを濃度成分の状態で合成する。合成方法は、論理和合成である。合成後は、カラー濃度成分の合成データを二値化部１０７に出力する。

なお、オリジナルカラー画像データのサイズが記録用紙サイズよりも小さい場合には、例えば、図９に記載するようにカラー濃度データの余白部分に電子透かし画像データを合成する。

また、オリジナルカラー画像データのサイズが記録用紙サイズと同じくらいで余白が無い場合には、カラー濃度データのページとは異なるページ（例えば、裏面のページや次のページ）に電子透かし画像データを配置する。このように、本明細書では、電子透かし画像データをカラー濃度データとは別のページに配置することも、電子透かし画像データとカラーデータとを合成する、と称する。

■二値化部１０７
二値化部１０７は、合成部１０６から受取ったカラー濃度成分の合成データを、印刷装置が印刷することの出来るデータ（例えば、１ビットの二値データ）に変換する。そして、得られた濃度成分の二値合成データを印刷装置に対して出力する。

＜図２の説明＞
図１の画像処理装置において、エンコード部１０４は、代表抽出部１０３から出力された色差データのみを受取り、色空間変換部１０１から輝度データを受取らなかった。

これに対し、図２の画像処理装置は、エンコード部１０４は、色空間変換部１０１から特徴量生成部２０１を介して、非常に高い削減割合で輝度データのデータ量が削減されて得られた輝度データ全体の特徴量を更に受取ることになる。

このような違いのある図２の画像処理装置を説明するにあたって、図１と異なる処理をする色空間変換部１０１と特徴量生成部２０１とエンコード部１０４についてのみ説明を行う。

■色空間変換部１０１の処理
図２における色空間変換部１０１は、図１における色空間変換部１０１の処理に加えて、カラー画像データの輝度データを特徴量生成部２０１に対して出力する。

■特徴量生成部２０１の処理
図２における特徴量生成部２０１は、受取った輝度データ全体のヒストグラムを生成し、当該生成されたヒストグラムの特徴量を抽出する。特徴量とは、本実施例ではノイズ分を除いたヒストグラムの両端点の輝度値Ｖ１，Ｖ２（図５参照）とするが、これに限ったものではない。例えば、ヒストグラムすべてであってもよいし、ヒストグラム内の１又は複数のピークの輝度値と、両端点（Ｖ１，Ｖ２）の輝度値であってもよい。但し、本実施例では説明の簡略化の為に両端点の輝度値を特徴量とする。このように、あるデータの特徴量とは、そのあるデータ全体の統計値を示す。

なお、本実施例では、ヒストグラム内の輝度値のうち最も低い値３％と最も高い値３％とをノイズと定義している。そのため、Ｖ１は、輝度値のうちノイズ分を除いた最も小さい値となり、Ｖ２は、輝度値のうちノイズ分を除いた最も大きい値となる。

図５は、この特徴量生成部２０１が作成した輝度データ全体のヒストグラムであり、横軸が輝度値、縦軸が頻度となっている。

以上の処理を終了すると、特徴量生成部２０１は、生成した輝度データ全体の特徴量をエンコード部１０４に出力する。

■エンコード部１０４の処理
エンコード部１０４は、代表値抽出部１０３から受取った代表値（及び、それに対応する座標値）の集合と、特徴量生成部２０１から受取った輝度データ全体の特徴量とを電子透かし画像化して、輝度成分の電子透かし画像データに変換する。

このように、図２の画像処理装置は、図１の画像処理装置と違い、削減後色差データだけではなくて輝度データ全体の特徴量を電子透かし画像データに含ませることになる。

ただし、この輝度データ全体の特徴量は、輝度データのヒストグラムを元にして得られる情報なので、削減後色差データに比べて情報量が非常に少ない。例えば、本実施例のように輝度データ全体の特徴量を、ヒストグラム内の両端点の輝度値としていたとすると、その情報量たるや、たったの１６ビットである。その内訳は、Ｖ１が８ビット（Ｖ１は、０から２５５を取り得る）、Ｖ２が８ビット（Ｖ２は、０から２５５を取り得る）である。

なお、この図２の画像処理装置のように輝度データ全体の特徴量を電子透かし画像データに含めておくとで、図１の画像処理装置に比べて、復元処理の際に、よりオリジナルカラー画像データに近いカラー画像データを得ることができる。

また、図１の画像処理装置と異なり、図２の画像処理装置が生成する電子透かし画像データには色差データの他に輝度データの特徴量が含まれている。しかし、この輝度データの特徴量は、非常に高い削減割合で削減されたデータ（例えば、たったの１６ビットのデータ）であるため、電子透かし画像データのサイズへの影響は非常に小さくてすむ。

＜図３の説明＞
図３の画像処理装置は、図１の画像処理装置と異なり、二値化部３０７が前段に位置している。また、エンコード部３０４が、濃度成分のデータとして電子透かし画像データを合成部３０５に出力している。このように、図１の画像処理装置は、基本的に図１の画像処理装置に似ている。そのため、図１の画像処理装置と異なる点を中心に、図３の画像処理装置の説明を行う。

■色空間変換部３０１の処理
色空間変換部３０１は、受取ったＲＧＢの色データであるカラー画像データを、輝度データと色差データとに分解する。

その後、色空間変換部３０１は、輝度データ色差データを濃度生成部３０６に対して出力する。また、色空間変換部３０１は、色差データを領域分割部３０２に対して出力する。

■領域分割部３０２
図１の領域分割部１０２と同じ処理を行うため省略する。

■代表値抽出部３０３
図１の代表地抽出部１０３と同じ処理を行うため省略する。

■エンコード部３０４
エンコード部３０４は、代表値抽出部３０３から受取った代表値（及び、その代表地に対応する座標値）の集合を電子透かし画像化して、濃度成分の電子透かし画像データに変換する。そして、この濃度成分の電子透かし画像データを合成部３０５に出力する。

なお、図１の画像処理装置では、このエンコード部１０４はＣＭＹＫのカラー濃度データを多値の状態で生成する事が可能であった。しかし、図３の画像処理装置は２値化された状態で生成する。これは、図３の画像処理装置における二値化部が合成部の前段に位置している為である。一般的に電子透かしは２値化された状態で生成される。出力先が２値化処理前でのデータ処理の場合には０、２５５の値を取る。一方、出力先が２値化処理後でのデータ処理の場合には、０、１の値を取る。よって、エンコード部３０３の処理負荷に影響は無い事が予想される。

■濃度生成部３０６
濃度生成部３０６は、濃度生成部１０５とほぼ同様である。違う点は、二点しかない。一点目は、濃度生成部３０６が、色空間変換部１０１ではなく、色空間変換部３０１から輝度データと色差データとを受取る点である。また、二点目は、濃度生成部３０６が、合成部１０６ではなく、二値化部３０７にＣＭＹＫデータを送る点である。

■二値化部３０７
二値化部３０７は、濃度生成部３０８から受取ったカラー濃度データを、印刷装置が印刷することの出来る情報量（例えば、１ビットの二値データ）に変換し、濃度成分の二値輝度データを生成する。そして、生成された二値輝度データを合成部３０５に出力する。

■合成部３０５
合成部３０５は、二値化部３０７から受取ったカラー濃度成分の二値輝度データと、エンコード部３０４から受取った濃度成分の二値の電子透かし画像データ（Ｃ／Ｍ／Ｙ／Ｋの一つ若しくは複数）とを受け取る。そして、濃度成分の状態のまま合成することで、濃度成分の二値合成データを生成する。更に、この濃度成分の二値合成データを印刷装置に対して出力する。

なお、この図３の画像処理装置のように二値化部３０６が合成部３０５より前段にある画像処理装置では、二値化部が二値化処理を実行する領域を削減出来る。その為、電子透かし画像を次ページに記録する場合などでは、図１の画像処理装置に比べて処理負荷が少ない。

＜図４の説明＞
図３の画像処理装置において、エンコード部３０４は、代表抽出部３０３から出力された削減後色差データのみを受取り、色空間変換部３０１から輝度データを受取らなかった。

これに対し、図４の画像処理装置は、色空間変換部３０１から特徴量生成部４０１を介して、非常に高い削減割合で輝度データのデータ量が削減されて得られた輝度データ全体の特徴量を更に受取ることになる。

このような違いを持つ図４の画像処理装置を説明するにあたって、図３と異なる処理をする色空間変換部３０１と特徴量生成部４０１とエンコード部３０４についてのみ説明を行う。

■色空間変換部３０１の処理
図４における色空間変換部３０１は、図３における色空間変換部３０１の処理に加えて、輝度データを特徴量生成部４０１に対して出力する。

■特徴量生成部４０１の処理
図４における特徴量生成部４０１は、図２における特徴量生成部２０１と同じく、受取った輝度データ全体の特徴量を抽出する。

■エンコード部３０４の処理
エンコード部３０４は、代表値抽出部３０３から受取った代表値の集合（及び代表値に対応する座標値）と特徴量生成部４０１から受取った特徴量とを電子透かし画像化して電子透かし画像データに変換する。

このように、図４の画像処理装置は、図３の画像処理装置と違い、輝度データ全体の特徴量を削減後色差データに加えて電子透かし画像データに含ませることになる。

なお、この図４の画像処理装置のように特徴量を電子透かし画像データに含めておくとで、図３の画像処理装置に比べて、復元処理の際に、よりオリジナルカラー画像データに近いカラー画像データを得ることができる。

また、図３の画像処理装置と異なり、図４の画像処理装置が生成する電子透かし画像データには色差データの他に輝度データの特徴量が含まれている。しかし、この輝度データの特徴量は、非常に高い削減割合で削減されたデータであるため、電子透かし画像データは小さくてすむ。

［色差データを電子透かし画像データとして含むカラー画像からのカラー画像への復元］
次に、印刷された前述のカラーの印刷物をカラー画像データとして復元する印刷システムについて言及する。この印刷システムは、読取装置、画像処理装置、印刷装置からなる。

読取装置は印刷物を読み取り、ＲＧＢの画像データを生成する。そして、当該生成されたＲＧＢの画像データを画像処理装置に対して出力する。

画像処理装置は、読取装置から受取ったＲＧＢの画像データに対して画像処理を行う。そして、当該画像処理により得られたカラー画像データをディスプレイ等の表示装置に出力する。

なお、この表示装置は、上記印刷システムと同一のシステムであってもよいし、他のシステムであってもよい。

以下、図７を参照して、読取装置により生成されたＲＧＢの色データである画像データをカラー化して表示装置に出力する画像処理装置について開示する。

図７に示す各ステップでの処理は画像処理装置内のＣＰＵにより統括的に制御される。なお、各ステップでの処理の内容を定義したプログラムは画像処理装置内の記憶媒体（ＨＤＤやフラッシュメモリやＣＤ−ＲＯＭやＤＶＤ）に読み出し可能な状態で保存されている。従って、ＣＰＵは、この記憶媒体に記憶されているプログラムを順次読み出すことにより、各ステップにおける処理を実行する。

＜図７の説明＞
図７は、本印刷システムにおける画像処理装置が行う処理を記載したフローチャートである。この画像処理装置は、画像処理装置内のＣＰＵにより統括的に制御される。

従って、各ステップの処理はＣＰＵが実行する。

ステップ７０１では、読取装置から受取ったＲＧＢの画像データを輝度データと色差データとに分解する。

ステップ７０２では、輝度データ内に電子透かし画像データが存在するか判定する。存在しない場合には、ステップ７０９に移行して、この輝度データと色差データとを記憶手段に出力する。存在する場合には、ステップ７０３に移行する。

ステップ７０３では、電子透かし画像データをデコードして削減後色差データ（各領域の色差データの代表値及びその代表値に対応する座標値の集合）が得られるか判定する。判定の結果、存在しない場合には、ステップ７０９に移行して輝度データと色差データとを記憶手段に出力する。

ステップ７０４では、削減後色差データ内の（色差データの代表値に対応する）座標値が、ステップ７０１で得られた色差データのどの領域（１６×１６画素の領域）に対応するかを順次、決定していく。言い換えると、ステップ７０１で得られた色差データの分割領域と、電子透かし画像データに含まれる各領域の色差データの分割領域とが一対一の対応関係になるように、順次調整していく。なお、この対応関係を決めていく際には、本実施例では、印刷時や読取時に発生した斜行を補正した上で、位置関係を順次、決定している。また、本実施例では、ステップ７０１で得られた色差データを、読取画像データの色差データと称することにする。

ステップ７０５では、ステップ７０１で得られた色差データ内の各分割領域の代表値（ＤＣ成分）を求め、その上で、その代表値を削減後色差データによって補正する。

補正方法の説明図を図１２に示す。領域分割されている削減後色差データは、図１の１０３、図３の３０３で抽出された代表値であり、分割された各領域の代表値の集合である。

そこで、読取画像データの色差データ内の各分割領域における代表値を、削減後色差データのうちの当該分割領域に対応する領域の代表値で置き換える。このような置き換えが、上記補正を行うための一方法である。

なお、本実施例では、上述のように、代表値＝ＤＣ成分であるものとしているため、このステップ７０５分割領域内の画素と画素との色差の移り変わりに関する情報（ＡＣ成分）を補正せず、その分割領域内の色差の代表値（ＤＣ成分）だけを補正することになる。

あるいは、補正を行うための方法として、以下のような加算を用いてもよい。

つまり、「削減後色差データのうちのある分割領域に対応する領域の代表値−色差データ内の当該ある分割領域における代表値」を、色差データ内の当該ある分割領域内の各画素に対して加算してもよい。

以上の補正により、復元後カラー画像データ（Ｙ、Ｃｂ，Ｃｒ）を生成する。

このように、本ステップ７０５では、電子透かし画像データ内の削減後色差データにより補正されたＤＣ成分を用いて、得られた輝度データに対して色の再生成が行われることになる。以上の方法を用いることで、複写が行われた際にＡＣ成分よりも劣化しやすいＤＣ成分（代表値）を補正すことができ、これにより、元のカラー画像データに非常に近いきれいな復元後カラー画像データを生成することができる。

ステップ７０６では、電子透かし画像データ内に輝度データ全体の特徴量が存在するか判定する。輝度データ全体の特徴量が存在しない場合（図２や図４の画像処理装置で、この電子透かし画像データが生成されていた場合）には、ステップ７０８に移行する。一方、特徴量が存在する場合には、ステップ７０７に移行して輝度データを修正する。

ステップ７０７では、電子透かし画像データ内の輝度データ全体の特徴量（例：Ｙチャンネルのヒストグラムの両端点Ｖ１，Ｖ２。図５参照）を用いて、ステップ７０１で得られた輝度データを修正する。

この修正は、ステップ７０１で得られた輝度データ（スキャンにより得られた輝度データ）の特徴量を、オリジナルのカラー画像データの輝度データの特徴量と一致させるために行われる。Ｖ１、Ｖ２が輝度データ全体の特徴量と定義されている場合を例に、具体的な修正式を以下に示す。

Ｖ１（ｏｒｉｇｉｎ）は、特徴量生成部２０１又は特徴量生成部４０１により生成されたＶ１であり、Ｖ２（ｏｒｉｇｉｎ）は、特徴量生成部２０１又は特徴量生成部４０１により生成されたＶ２である。

なお、このステップ７０７では、ステップ７０１で得られた輝度データを修正するに先立ち、ステップ７０１で得られた輝度データの特徴量（Ｖ１（ｓｃａｎ）とＶ２（ｓｃａｎ））を求める。

具体的には、以下の手順で、ステップ７０１で得られた輝度データの特徴量（（Ｖ１（ｓｃａｎ）とＶ２（ｓｃａｎ）））を求める。

まず、ステップ７０１により得られた輝度データ（スキャンにより得られた輝度データ）からヒストグラムを生成する。

そして、当該生成されたヒストグラムのうちノイズ分を除いた最も小さい値を、Ｖ１（ｓｃａｎ）とする。また、当該生成されたヒストグラムのうちノイズ分を除いた最も大きい値を、Ｖ２（ｓｃａｎ）とする。

また、Ｖは、ステップ７０１で得られた輝度データにおける各画素の修正前の輝度値であり、Ｖ’は各画素の修正後の輝度値である。

そして、Ｖ’（各画素の修正後の輝度値）の集合を、修正後の輝度データとして得る。

ステップ７０８では、復元後カラー画像データ（Ｙ，Ｃｂ，Ｃｒ）を記憶手段に出力する。

以上の処理により、カラー画像データ内の色差データを用いて、オリジナルに近いカラー画像データが復元されることになる。

最後に、この記憶手段から復元後カラー画像データを読み出し、当該読み出した復元後カラー画像データをＲＧＢ成分にプロファイル等を用いて変換を行い、ディスプレイ等の表示装置に出力する。

以上の処理により、カラー印刷物における小さなサイズの電子透かし画像データと、上記カラー印刷物における輝度データと色差データからオリジナルに近いカラー画像データを復元することができる。

（実施例２）
実施例１では、削減後色差データとステップ７０１で得られた色差データとの対応付けを行い、ステップ７０５で、読取画像データの色差データを補正した。

言い換えると、所定サイズ領域に含まれる各画素の色差データを決定するにあたって、その所定サイズ領域の色差データとして電子透かし画像内に含まれている情報のＤＣ成分のみを用いて補正を行ったのである。

本実施例では、所定サイズ領域に含まれる各画素の色差データを決定するにあたって、所定サイズ領域の色差データだけでなく、その所定サイズ領域の周囲の領域の色差データをも用いるのである。

なお、本実施例では、包含領域という言葉を、各画素の属する所定サイズ領域とその近傍に存在する領域を示す言葉として用いる。そして、本実施例においては、その包含領域を３ｘ３エリアとする。ただし、１エリアは、１６×１６画素の所定サイズ領域に相当する。

従って、本実施例では、所定サイズ領域に含まれる各画素の色差データを決定するにあたって、包含領域の色差データをも用いるのである。

以下では、実施例１のように、所定サイズ領域に含まれる各画素の色差データを決定するにあたって、その所定サイズ領域の色差データとして電子透かし画像内に含まれている情報のみを用いる際の問題点とその対策を挙げる。

図１０は、領域分割画像の一部分（３×３エリア）を示している。１エリアは、１６×１６画素の所定サイズ領域に相当する。図１０が示す部分画像は赤、緑、青の３つの色で構成されており、各画素は輝度データと色差データをもっているものとする。構成色である赤、緑、青は、夫々の色が示す箇所では同じ輝度と色差であるものとする。

この図１０より、単位領域内に色の変わり目が含まれているとき、各画素の色づけに利用する代表値は、所属領域だけでなく、包含領域も利用した方が良いことがわかる。

例えば、図１０の領域５では、赤、緑、青の３色による境界が存在している。このような色の変わり目を含む領域では、実施例１の方法では、単位領域ノイズが発生してしまう。本来、色の変わり目は、エッジとなる画素群を境に切り替わる。しかし、実施例１では、所定サイズ領域の単位でしか色が切り替わらない。その上、色の境界を含む領域では、置き換える代表値が複数色の混在値で構成されているため、領域内の全画素を色づけするには、相応しい色とは言いがたい場合が起きてしまう。

例えば、図１０の画素Ａ（青）に対して色づけを行う場合、画素Ａが所属する領域５の代表値（平均値）より、領域１の代表値（平均値）で色づけを行う方が好ましいと考えられる。

以上より、所属領域のみ用いた色づけの問題点と包含領域を利用することの有効性がわかる。

具体的には、ステップ７０５の部分を、替わりに図１１のようにする。

■参照用代表値抽出ステップ１１０１
参照用代表値抽出ステップ１１０１では、読取画像データ内の複数の画素（１６×１６画素）をまとめて分割色差データとする。そして、後の処理で利用するために、各分割色差データの代表値を抽出する。

■参照先決定ステップ１１０２
参照先決定ステップ１１０２では、分割色差データ内の各画素の色差と、その画素が所属する領域の包含領域内に含まれる各領域の（分割色差データの）代表値との比較を行う。なお、本実施例で、ある画素が図１０のＡであるとすると、その画素が所属する領域とは５であり、その画素が所属する領域の包含領域とは、１〜９である。また、その画素が所属する領域の包含領域内に含まれる各領域とは、１〜９の領域の夫々を示す。

「各画素の色差値−その画素が所属する領域の包含領域内に含まれる各領域の代表値」との差が最小となるような領域の座標を参照先アドレスとする。

なお、本実施例において、上記差は、ΔＳである。

あるいは、上記差を、ΔＳではなく、Δθと定義してもよい。

あるいは、上記差を、ΔθとΔＳとの両方に基づく値（例えば、Δθの二乗＋ΔＳの二乗の合計値やΔθとΔＳとの合計値などといった、ΔθもΔＳも小さい時に小さくなる値）と定義してもよい。

ここで、Ｃｂ１、Ｃｒ１は、各画素の色差値を示し、Ｃｂ２、Ｃｒ２は、その画素が所属する領域の包含領域内に含まれる各領域の代表値を示す。例えば、領域１の代表値を示す。

なお、本実施例では、Ａの画素は青色なので、その画素が所属する領域の包含領域内に含まれる各領域（１〜９）のうち、差が最小となるような領域は、同じく青色の１になることになる。

■色差補正ステップ１１０２
以下では、「各画素の色差値−対象とする画素が所属する領域の包含領域内に含まれる各領域の代表値」との差が最小となるような領域のことを、差最小領域と称する。つまり、本実施例では、差最小領域は、１である。

色補正ステップ１１０２では、「読取画像データにおける差最小領域内の代表値−（電子透かし画像データに含まれる）削減後色差データ内の上記差最小領域の色差値の代表値」を、各画素の色差値に加算する。

つまり、読取画像データにおける領域１の色差値の平均値と、電子透かし画像データにおける領域１の色差値の平均値との差を、画素Ａの色差値に加算するのである。ここで、読取画像データにおける領域１の色差値の平均値と、電子透かし画像データにおける領域１の色差値の平均値との差は、何を示しているかというと、印刷や複写による画像の劣化具合を示している。そこで、本実施例では、本ステップで、この劣化を補償するために、上記加算を行っているのである。

なお、本実施例では、印刷や複写による画像の劣化具合を見るために、わざわざ差最小領域というのを決めている。これは、画素Ａの色差の劣化具合は、他の領域（２〜９）よりも、領域１の色差の劣化具合に近いからである。

そして、以上の処理を読取画像データ内の全画素に対して行うことにより、復元後カラー画像データ（Ｙ、Ｃｂ，Ｃｒ）を生成する。

＜その他の実施例＞
本発明は、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、一つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。

また本発明の目的は、上述した各処理を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、そのプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶した記憶媒体も本発明の一つを構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ＨＤＤ、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

またコンピュータが読み出したプログラムコードを実行することにより、その実行によって上述した実施形態の機能が実現される場合も本発明の一つを構成することになる。

電子透かし画像データを生成する画像処理装置を表す図特徴量生成部２０１を有する画像処理装置を表す図濃度生成部３０６が合成部３０５より前段にある画像処理装置を表す図特徴量生成部４０１を有する画像処理装置を表す図ヒストグラムを表す図電子透かし画像を表す図復元処理のフローチャートを表す図単位領域に分割された画像を概念的に示す図バーコードを含む印刷画像を概念的に示す図包含領域の代表値を用いて復元を行うことの優位性を概念的に示す図包含領域を利用した復元処理のフローチャートを表す図色差成分の代表値の入れ替えを概念的に示す図

Claims

カラー画像データの輝度データと色差データとのうちの色差データを用いて作成された電子透かし画像データを含む読取画像データから、当該読取画像データのうちの前記電子透かし画像データ内の情報を得る得手段と、
前記得手段で得られた情報を用いて前記読取画像データの色差データを補正することで、復元後カラー画像データを生成する色付手段とを有し、
前記電子透かし画像データ内の情報は、前記カラー画像データに含まれる複数の単位領域の色差データの代表値を含んでおり、
前記色付手段は、
前記読取画像データの色差データを複数の単位領域に分割する分割し、
当該分割により得られた複数の単位領域のうちの、前記読取画像データ内の対象とする画素が所属する単位領域の包含領域内における、前記電子透かし画像データ内の単位領域の代表値を用いて当該対象とする画素の色差値を補正することで、前記読取画像データの色差データを補正することを特徴とする画像処理装置。
カラー画像データの輝度データと色差データを用いて作成された電子透かし画像データを含む読取画像データから、当該読取画像データのうちの前記電子透かし画像データ内の情報を得る得工程と、
前記得工程で得られた情報を用いて前記読取画像データの色差データを補正することで、復元後カラー画像データを生成する色付工程とを有し、
前記電子透かし画像データ内の情報は、前記カラー画像データに含まれる複数の単位領域の色差データの代表値を含んでおり、
前記色付工程は、
前記読取画像データの色差データを複数の単位領域に分割する分割し、
当該分割により得られた複数の単位領域のうちの、前記読取画像データ内の対象とする画素が所属する単位領域の包含領域内における、前記電子透かし画像データ内の単位領域の代表値を用いて当該対象とする画素の色差値を補正することで、前記読取画像データの色差データを補正することを特徴とする画像処理装置の制御方法。
請求項２に記載の画像処理装置の制御方法をコンピュータに実行させるためのプログラム。
請求項３に記載のプログラムを格納したコンピュータ読取可能な記憶媒体。