JP6322099B2 - 画像処理装置、及び、画像処理方法 - Google Patents

Description

本発明は画像処理装置、及び画像処理方法に関し、特に、画像にその画像情報とは別の情報、例えば、音声情報やテキスト文書情報、画像に関する諸情報などを付加情報として埋め込んだ印刷物からその付加情報を読出し処理する技術に関する。

従来より、画像情報中に画像に関連のある他の情報を多重化する研究が盛んに行われている。近年では、電子透かし技術と称し、写真、絵画等の画像情報中に、その著作者名や、使用許可の可否等の付加情報を視覚的に判別しづらい様に多重化して、インターネット等のネットワークを通じて流通する技術が標準化されつつある。

また、他の応用分野としては、複写機、プリンタ等の画像出力装置の高画質化に伴い、紙幣、印紙、有価証券等の偽造を防止する目的で、記録媒体上に出力された画像から出力機器、及び、その機体番号を特定する為に画像中に付加情報を埋め込む技術がある。

さらには、電子透かしが埋め込まれた印刷物から、カメラなどの撮像機器を用いて、付加情報を読み出す技術も合わせて検討されている。例えば、特許文献１は、カメラ付携帯電話で音声データの保管場所のＵＲＬが電子透かしとして埋め込まれた印刷物を撮影し、付加情報を読取り、その際に、撮影レンズに起因する像の歪みを補正する技術を提案している。

特開２００３−３４８３２７号公報

しかしながら上記従来例では次のような問題点がある。

さて印刷物の広範囲に電子透かしが埋め込まれている場合、一度の撮影では電子透かしが埋め込まれた全ての印刷領域を撮影できず、カメラなどの撮像媒体を移動させながら複数回に分けて撮影しなければならない。ところが、ユーザがカメラなどの撮像機器を手持で撮像対象上を移動させながら印刷物を撮影した場合、手ブレが生じて撮影画像がボケしてしまうことがある。特に、被写体とカメラとの距離が移動中にずれてきて、ピンボケが生じることがある。こうした課題は、前述した技術では解決できない。

本発明は上記従来例に鑑みてなされたもので、ユーザがカメラなどの撮像機器を手持ちで動かしながら撮影しても、印刷物に埋め込まれた電子透かしを正確に読取ることが可能な画像処理装置、及び、画像処理方法を提供することを目的としている。

上記目的を達成するために本発明の画像処理装置は次のような構成からなる。

即ち、撮像装置に電子透かしが埋め込まれた印刷物を撮影させることで得られた画像に基づいて、前記電子透かしの情報を取得する画像処理装置であって、撮影条件を異ならせた連続撮影を複数回、繰り返すことで、前記印刷物における複数の領域を前記撮像装置に撮影させる撮影手段と、前記撮影手段による前記複数回の連続撮影により得られた複数の画像から、前記電子透かしの情報を取得する画像を選択する選択手段と、前記撮影手段による複数回の前記連続撮影のそれぞれにより得られた複数の画像から前記選択手段により選択された画像に基づき、前記電子透かしの情報を取得する取得手段とを有することを特徴とする。

従って本発明によれば、ユーザがカメラなどの撮像装置を手持ちで移動させながら印刷物を複数回に分けて撮影しても、ピンボケを抑えた画像を撮影することができるという効果がある。これにより、印刷物の広範囲に電子透かしが埋め込まれている場合でも、電子透かしを全て読み取ることができる。

本発明の実施形態である画像処理システムの構成を示すブロック図である。 図１に示す付加情報多重化装置１０２の詳細な構成を示すブロック図である。 誤差拡散部２００の詳細を表すブロック図である。 誤差拡散処理の処理全体概要を示すフローチャートである。 水平画素数がＷＩＤＴＨ、垂直画素数がＨＥＩＧＨＴから成る１つ画像を示す図である。 量子化条件Ａ、Ｂの例を示す図である。 付加情報分離装置１０６の構成を示すブロック図である。 撮影画像に含まれる印刷物との関係を示した図である。 付加情報分離装置に用いられる空間フィルタの例を示す図である。 第１の実施形態の処理概略を二次元の周波数領域で示した図である。 間引き部Ａと間引き部Ｂと変換値加算部と分散値算出部と判定部とが実行する付加情報の復号化動作を示すフローチャートである。 、 ブロックサイズをＰ＝Ｑ＝１６とした時の間引き方法をテーブル形式で示した図である。 連続撮影の様子を示す模式図である。 連続撮影の処理を示すフローチャートである。 カメラ付携帯端末を印刷物にかざして水平方向に移動させながら複数枚の画像を連続撮影する様子を示す図である。 フォーカスブラケット撮影で連続撮影した時の焦点距離の変動と合焦状態との関係を示す図である。 超解像処理を仕組みを説明する図である。 絞り値ブラケット撮影で連続撮影した時の被写界深度の変動と合焦状態との関係を示す図である。

以下添付図面を参照して本発明の実施形態について、さらに具体的かつ詳細に説明する。ただし、この実施形態に記載されている構成要素の相対配置等は、特定の記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

なお、この明細書において、「記録」（「プリント」という場合もある）とは、文字、図形等有意の情報を形成する場合のみならず、有意無意を問わない。さらに人間が視覚で知覚し得るように顕在化したものであるか否かも問わず、広く記録媒体上に画像、模様、パターン等を形成する、または媒体の加工を行う場合も表すものとする。

また、「記録媒体」とは、一般的な記録装置で用いられる紙のみならず、広く、布、プラスチック・フィルム、金属板、ガラス、セラミックス、木材、皮革等、インクを受容可能なものも表すものとする。

さらに、以下説明する実施形態に従う画像処理装置には、付加情報を印刷物に埋め込む付加情報多重化装置と、その付加情報を印刷物から読取る付加情報分離装置とがある。付加情報多重化装置としては、プリンタエンジンへ出力すべき画像情報を生成するコンピュータ内のプリンタドライバソフト又はアプリケーションソフトとして内蔵することが効率的である。しかしながら、複写機、ファクシミリ、プリンタ本体等にハードウエア、及びソフトウエアとして内蔵することも効果がある。一方、付加情報分離装置としては、カメラ付携帯電話、カメラ付スマートフォンやタブレットＰＣなどが挙げられる。以下、こうした撮像機能が搭載されたデバイスをカメラ付携帯端末と呼ぶ。一方、付加情報分離装置としては、例えば、デジタルスチールカメラで撮影した画像をコンピュータ内のアプリケーションソフトで付加情報を分離する一連の装置でもよい。

＜共通の実施形態＞
図１は本発明の実施形態に従う画像処理システムの構成を示すブロック図である。図１において、入力端子１００からは多階調の画像情報が、入力端子１０１からは画像情報の中に埋め込むべき必要な付加情報が入力される。この付加情報は、入力端子１００にて入力される画像情報とは別の情報、例えば、音声情報や動画情報、テキスト文書情報、入力端子１００にて入力される画像に関する著作権、撮影日時、撮影場所、撮影者等の諸情報、別の画像情報等が考えられる。

付加情報多重化装置１０２は、人間が視覚的に判別しづらいように、画像情報中に付加情報を埋め込む装置である。付加情報多重化装置１０２は、付加情報の多重化とともに入力した多階調の画像情報の量子化処理も実行する。プリンタ１０３は付加情報多重化装置１０２で生成された情報を入力し、これを内蔵するプリンタエンジンから付加情報が多重化された画像を出力する。プリンタ１０３は、インクジェット方式を採用するプリンタエンジンや電子写真方式を採用するプリンタエンジンなどを用いることができ、いずれのプリンタエンジンを用いても疑似階調処理ににより階調表現を実現している。

プリンタ１０３から出力された印刷物は、カメラ付携帯端末１０４の撮像センサ１０５を用いてその印刷物上の情報を読取り、付加情報分離装置１０６によりその印刷物中に埋め込まれた付加情報を分離し、出力端子１０７から出力する。出力端子１０７は取得した付加情報を出力するインタフェースであり、例えば、付加情報が音声情報であればカメラ付携帯端末１０４のスピーカ１０８への出力、画像情報であればディスプレイ１０９への出力とする。また、そのインタフェースは外部デバイスへデータを出力するインタフェースでも構わない。また、カメラ付携帯端末１０４に複数の撮像センサがある場合、印刷物の撮影は第２撮像センサ１１１で行ってもよい。

図２は図１に示す付加情報多重化装置１０２の詳細な構成を示すブロック図である。

付加情報多重化装置１０２の誤差拡散部２００は、入力端子１００より入力された画像情報を誤差拡散法を用いた疑似階調処理することによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。誤差拡散処理についての詳細は後述する。

ブロック化部２０１は、入力された画像情報を所定領域単位に区分する。ブロック化部２０１により行われるブロック化は矩形でも良いし、矩形以外の領域に区分しても良い。量子化条件制御部２０２は、ブロック化部２０１にてブロック化した領域単位で量子化条件を変更、制御する。量子化条件制御部２０２は、入力端子１０１で入力された付加情報に基づき、ブロック単位で量子化条件を制御する。

制御部２１０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３などから構成される。ＣＰＵ２１１は、ＲＯＭ２１２に保持された制御プログラムに従って、上述した各構成の動作や処理を制御する。ＲＡＭ２１３は、ＣＰＵ２１１の作業領域として使用される。

図３は誤差拡散部２００の詳細を表すブロック図である。なお、誤差拡散処理は公知であるので、その説明は省略する。

ここで、量子化値が２値である誤差拡散処理を例にして説明する。

加算器３００では、入力された画像情報の注目画素値と既に２値化された周辺画素の分配された量子化誤差が加算される。量子化条件制御部２０２からの量子化閾値と誤差の加算された加算結果とを比較部３０１にて比較し、所定の閾値よりも大きい場合には“１”を、それ以外では“０”を出力する。例えば、８ビットの精度で画素の階調を表現する場合には、最大値“２５５”と最小値“０”で表現するのが一般的である。

いま、量子化値が“１”の時に、記録媒体上にドット（インク、トナー等）が記録されると仮定する。減算器３０２は量子化結果と前述した加算結果との誤差を算出し、誤差配分演算部３０３に基づいて、今後の量子化処理が施される周辺画素に誤差を配分する。

誤差の配分割合は注目画素との相対的な距離に基づいて実験的に設定された誤差の配分テーブル（誤差拡散マトリクス）３０４を予め備え、配分テーブル３０４に記された配分割合に基づいて誤差を分配する。図３に示す配分テーブル３０４は、周囲４画素分の配分テーブルを示しているが、これに限るものではない。

次に、量子化条件制御部２０２を含む誤差拡散処理全体の動作手順について、フローチャートを参照して説明する。

図４は誤差拡散処理の処理全体概要を示すフローチャートである。いま、量子化値は２値である例について説明する。

ステップＳ４０１では、変数ｉを“０”に初期化する。変数ｉは垂直方向のアドレスをカウントする変数である。ステップＳ４０２では、変数ｊを“０”に初期化する。変数ｊは水平方向のアドレスをカウントする変数である。続いて、ステップＳ４０３では、現在の処理アドレスである変数（ｉ、ｊ）示す座標が多重化処理を実行すべき領域に属しているか否かを判定する。

ここで、その多重化領域について図面を参照して説明する。

図５は水平画素数がＷＩＤＴＨ、垂直画素数がＨＥＩＧＨＴから成る１つ画像を示す図である。いま、この画像に付加情報を多重化すると仮定する。

図５に示す画像の左上を原点とし、横方向にＮ画素、縦方向にＭ画素の矩形を単位にしてブロック化する。この実施形態では、原点を基準点としてブロック化を行うが、原点から離れた点を基準点として設定しても良い。さて、この画像中に最大限の情報を多重化する場合に、Ｎ×Ｍ画素のブロックを基準点から配置していく。即ち、水平方向に配置可能なブロック数をＷ、垂直方向に配置可能なブロック数をＨとすると、以下の関係が得られる。即ち、
Ｗ＝ＩＮＴ（ＷＩＤＴＨ／Ｎ） ……（１）
Ｈ＝ＩＮＴ（ＨＥＩＧＨＴ／Ｍ） ……（２）
の関係である。ここで、ＩＮＴ（ ）は（ ）内の整数部分を示す。

式（１）、式（２）において割り切れない剰余画素数が、Ｎ×Ｍ画素のブロックを複数配置した時の端部に相当し、これが符号多重化領域外となる。

図４に戻って説明を続けると、ステップＳ４０３において、現在処理している注目画素が多重化領域外にあると判定された場合、処理はステップＳ４０４に進み、量子化条件Ｃが設定される。これに対して、その注目画素が多重化領域内にあると判定された場合、処理はステップＳ４０５に進み、多重化すべき付加情報を読み込む。ここでは、説明を容易にする為に、付加情報をｃｏｄｅ［ ］という配列を用いて、各１ビットずつ表現するものとする。例えば、付加情報を４８ビット分の情報と仮定すると、配列ｃｏｄｅ［ ］はｃｏｄｅ［０］からｃｏｄｅ［４７］まで、各１ビットずつが格納されている。

ステップＳ４０５では、変数ｂｉｔは、以下のように配列ｃｏｄｅ［ ］内の情報を代入する。即ち、
ｂｉｔ＝ｃｏｄｅ［ＩＮＴ（ｉ／Ｍ）×Ｗ＋ＩＮＴ（ｊ／Ｎ）］ ……（３）
である。

続いて、ステップＳ４０６では代入した変数ｂｉｔの値が“１”であるか否かを判定する。前述のように、配列ｃｏｄｅ［ ］内の情報は各１ビットずつ格納されている為、変数ｂｉｔの値も“０”か“１”かの何れかを示すことになる。ステップＳ４０６において、変数ｂｉｔの値が“０”と判定された場合、処理はステップＳ４０７に進み量子化条件Ａを設定し、“１”と判定された場合、処理はステップＳ４０８に進み量子化条件Ｂを設定する。

次にステップＳ４０９では、設定された量子化条件に基づいて量子化処理を実行する。この量子化処理は、図３を参照して説明した誤差拡散法に基づく量子化処理である。続いて、ステップＳ４１０では水平方向の変数ｊを＋１カウントアップし、ステップＳ４１１では、変数ｊの値が画像の水平画素数であるＷＩＤＴＨ未満か否かを判定し、処理画素数がＷＩＤＴＨになるまで前述の処理を繰り返す。また、ｊ≧ＷＩＤＴＨとなり、水平方向の処理がＷＩＤＴＨ画素数分終了したと判定すると、処理はステップＳ４１２に進み、垂直方向の変数ｉを＋１カウントアップする。

ステップＳ４１３では変数ｉの値が画像の垂直画素数であるＨＥＩＧＨＴ未満か否かを判定し、処理画素数がＨＥＩＧＨＴになるまで前述の処理を繰り返す。また、ｉ≧ＨＥＩＧＨＴと判定されれば処理を終了する。

以上の処理により、Ｎ×Ｍ画素よりなるブロック単位で、量子化条件を変更することが可能になる。

続いて、量子化条件Ａ、Ｂ、Ｃの例について説明する。

誤差拡散法における量子化条件は様々な因子があるが、この実施形態では量子化条件は、量子化閾値とする。量子化条件Ｃの使用は、多重化領域外である為に、量子化閾値は何でも良い。前述のように、１画素８ビットによる階調表現で、量子化レベルが２値の場合には、最大値“２５５”と最小値“０”が量子化代表値となるが、その中間値“１２８”を量子化閾値として設定することが多い。即ち、量子化条件Ｃでは、量子化閾値を“１２８”に固定する条件にする。

量子化条件Ａ、量子化条件Ｂの使用は多重化領域内のブロックである為、量子化条件の違いによる画質の違いを生じさせなければならない。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、記録媒体上から容易に識別できなくてはならない。

図６は量子化条件Ａ、Ｂの例を示す図である。

図６（ａ）は量子化条件Ａにおける量子化閾値の変化の周期を示した図である。図６（ａ）において、１つのマスを１画素分とし、白いマスは固定閾値、灰色のマスを変動閾値とする。即ち、図６（ａ）に示す例では、横方向に８画素、縦方向に４画素のマトリクスを構成し、灰色のマスの閾値のみ突出した値を閾値として設定する。

これに対して、図６（ｂ）は量子化条件Ｂにおける量子化閾値の変化の周期を示した図である。図６（ｂ）に示す例では、図６（ａ）とは異なり、横方向に４画素、縦方向に８画素のマトリクスを構成し、灰色のマスの閾値のみ突出した値を閾値として設定する。

前述のように１画素が８ビットの階調値の場合に、一例として、固定閾値として“１２８”、突出した閾値を“１０”と設定する。量子化閾値が低くなると、注目画素の量子化値が“１”（量子化代表値“２５５”）になりやすくなる。即ち、図６（ａ）と図６（ｂ）ともに、図中の灰色のマスの並びで量子化値“１”が並びやすくなる。言い換えると、Ｎ×Ｍ画素のブロック毎に、図６（ａ）の灰色のマスの並びでドットが発生するブロックと、図６（ｂ）の灰色のマスの並びでドットが発生するブロックとが混在することになる。

誤差拡散法においては量子化閾値の多少の変更は画質に大きな影響を及ぼさない。組織的ディザ法においては、使用するディザパターンによって、階調表現の画質が大きく左右される。しかし、前述したように、規則的に量子化閾値の変化を与えた誤差拡散法では、あくまでも画質を決定する階調表現は誤差拡散法であるため、ドットの並びが多少変化したり、テクスチャの発生が変化したりするが、階調表現の画質にはほとんど影響を与えない。それは、量子化閾値が変化した場合でも、あくまでも画像信号値と量子化値との差分となる誤差は周囲画素に拡散される為、入力された画像信号値はマクロ的に保存される。即ち、誤差拡散法を用いた場合には、ドットの並び、テクスチャの発生に関しては冗長性が非常に大きいことになる。

ところで、上記の例では、誤差拡散法の量子化閾値に符号を表す所定の周期性を重畳することにより多重化を実現してきたが、以下の方式も考えられる。即ち、
・直接ＲＧＢの輝度情報に周期性を重畳する方式
・ＲＧＢの輝度情報を輝度−色差情報（例えば、ＹＣｒＣｂ信号）に分離して周期性を多重化する方式
・ＲＧＢの輝度情報をインク色（例えば、ＣＭＹＫ信号）に分離して周期性を多重化する方式
などである。

次に、図１に示した画像処理システムにおける付加情報分離装置１０６について説明する。

図７は付加情報分離装置１０６の構成を示すブロック図である。

なお、説明を容易にする為に、前述した付加情報多重化装置１０２の例と同様、分割したブロック内に各１ビットずつの付加情報が多重化されている印刷物から、付加情報を分離する例について説明する。当然、付加情報多重化装置における１ブロックあたりの付加情報量と、付加情報分離装置における１ブロックあたりの分離情報量は等しくなる。

図７に示すように、入力端子７００からは、カメラ付携帯端末１０４で読み込まれた画像情報が入力される。使用するカメラ付携帯端末１０４の撮像センサ１０５の解像度は、印刷物を記録するプリンタ１０３の解像度と同等以上が好ましい。当然、正確に印刷物のドットの点在情報を読み込む為には、サンプリング定理により、撮像センサ側はプリンタ側よりも２倍以上の解像度が必要になる。しかし、同等以上であれば、正確でなくとも、ある程度ドットが点在しているのを判別することは可能である。従って、この実施形態では、説明を容易にするためにプリンタの解像度と撮像センサ１０５の解像度が同一解像度と想定する。

幾何学的ずれ検出部７０１は、カメラ付携帯端末１０４で撮影した画像の幾何学的ずれを検出する。当然、プリンタ１０３の出力とカメラ付携帯端末１０４の撮影を経ている為に、入力端子７００から入力される画像情報は、プリンタ１０３による出力以前の画像情報とは幾何学的に大きくずれている場合がある。そこで、幾何学的ずれ検出部７０１では印刷物と印刷物以外の境界線をエッジ検出する。

図８は撮影画像に含まれる印刷物との関係を示した図である。

いま、プリンタ解像度と撮像センサ解像度が同一であれば、プリンタが記録媒体に記録する時に生じた記録媒体の斜行やカメラ付携帯端末１０４を印刷物にかざす時のずれ等による画像の回転（傾き）が補正すべき大きな要因となる。そのため、この印刷物の境界線を検出することにより、どの程度印刷物が回転してずれが生じているかが判断できる。

ブロック化部７０２は入力した画像を横方向にＰ画素、縦方向にＱ画素単位にブロック化する。このブロックは、電子透かしの重畳時にブロック化したＮ×Ｍ画素よりも小さくなければならない。即ち、
Ｐ≦Ｎ、かつ Ｑ≦Ｍ ……（４）
の関係が成り立つ。

また、Ｐ×Ｑ画素単位のブロック化はある一定間隔毎にスキップして実行する。即ち、図８に示されるように多重化時のＮ×Ｍ画素よりなるブロックと想定される領域内に、Ｐ×Ｑ画素単位のブロックがひとつ内包するようにブロック化する。スキップ画素数は、水平方向にＮ画素分、垂直方向にＭ画素分が基本となるが、幾何学的ずれ検出部７０１より検出したずれ量をブロック数で割り出し、１ブロックあたりのずれ量を演算して、スキップ画素数に加算して補正する必要がある。

特性の異なる空間フィルタＡ、Ｂ７０３、７０４はそれぞれ、周辺画素との積和を演算する専用のディジタルフィルタリング部７０５に接続されている。この空間フィルタの各係数は、多重化時の量子化条件の変動閾値の周期に適応して作成される。ここでは、多重化装置における量子化条件の変更を図６（ａ）、図６（ｂ）の２種の周期性を用いることにより付加情報を多重化したと仮定する。

図９は付加情報分離装置に用いられる空間フィルタの例を示す図である。

図９（ａ）と図９（ｂ）とは、図６（ａ）、図６（ｂ）の２種の周期性を用いることにより付加情報が多重化された画像を入力した場合における付加情報分離装置が使用する空間フィルタＡ７０３、空間フィルタＢ７０４の例をそれぞれ示している。これらの図において、５×５画素の中央部が注目画素になり、それ以外の２４画素分が周辺画素になる。図中、空白部の画素は、フィルタ係数が“０”であることを表している。これらの図から明らかな様に、図９（ａ）、（ｂ）はエッジ強調のフィルタになっている。加えて、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが一致している。つまり、図９（ａ）は図６（ａ）に、また図９（ｂ）は図６（ｂ）に一致するように空間フィルタが作成されているのである。

間引き部Ａ７０６と間引き部Ｂ７０７はそれぞれ、Ｐ×Ｑ画素より成るブロック内のフィルタリング後の信号（以下、変換値）を、ある規則性に基づいて間引き処理する。この実施形態では、この間引きの規則性を周期性と位相とに分離して処理する。即ち、間引き部Ａ７０６と間引き部Ｂ７０７とでは間引きの周期性が異なっていて、各々、位相を変化させた複数の間引き処理を実行する。その間引き方法については後述する。

間引き部Ａ７０６と間引き部Ｂ７０７でそれぞれ間引きされた変換値は、対応する２つの変換値加算部７０８に入力され、位相毎にそれぞれ加算する。この間引き処理と変換値の加算処理は空間フィルタで強調した所定周波数ベクトルの電力を抽出することに相当する。２つの分散値算出部７０９では、位相毎に加算した複数の加算値の分散をそれぞれの周期性において算出する。判定部７１０は、それぞれの周期性における分散値に基づいて、多重化された符号を判定する。

図１０はこの実施形態の処理概略を二次元の周波数領域で示した図である。図１０において、横軸ｆｘは水平方向の周波数、縦軸ｆｙは垂直方向の周波数を示している。中心となる原点は直流成分を示し、原点から遠ざかるにつれて、高周波域となる。図１０中の円は、誤差拡散によるカットオフ周波数を示している。誤差拡散法のフィルタ特性は、低周波域がカットオフされたＨＰＦ（ハイパスフィルタ）の特性を示し、そのカットオフされる周波数は、対象画像の濃度に応じて変化する。

量子化閾値の変更により、量子化後に発生する周波数特性が変化する。図６（ａ）による量子化閾値の変更では、図１０に示す周波数ベクトルＡ上に、また、図６（ｂ）による量子化閾値の変更では、図１０に示す周波数ベクトルＢ上に大きなパワースペクトルが生じる。付加情報の分離時には、この大きなパワースペクトルが発生する周波数ベクトルを検出することが多重化信号の判定につながる。そこで、各々の周波数ベクトルを個別に強調、抽出することが必要になる。

図９（ａ）と図９（ｂ）に示す空間フィルタは、特定の周波数ベクトルの方向性を有するＨＰＦに相当する。即ち、図９（ａ）に示す空間フィルタでは直線Ａ上の周波数ベクトルを強調することが可能になり、図９（ｂ）に示す空間フィルタでは直線Ｂ上の周波数ベクトルを強調することが可能になる。

例えば、図６（ａ）による量子化条件の変更により、図１０に示す直線Ａの周波数ベクトル上に大きなパワースペクトルが発生したと仮定する。その時に、図９（ａ）の空間フィルタではパワースペクトルの変化量が増幅するが、図９（ｂ）の空間フィルタでは、ほとんど増幅されない。即ち、複数の空間フィルタを並列にフィルタリングした場合には、周波数ベクトルが一致した空間フィルタ時のみ増幅し、それ以外のフィルタでは増幅がほとんど無い為、どのような周波数ベクトル上に大きなパワースペクトルが発生しているかが容易にわかる。

図１１は間引き部Ａ７０６と間引き部Ｂ７０７と変換値加算部７０８と分散値算出部７０９と判定部７１０とが実行する動作を示すフローチャートである。

ステップＳ１１０１とステップＳ１１０２はそれぞれ、変数ｉ、ｊの値を“０”に初期化する。ステップＳ１１０３では間引き部Ａ７０６と間引き部Ｂ７０７とによる間引きの規則性の因子、即ち、“周期性”と“位相”の２因子を決定する。ここでは、周期性に関する変数をｉ、位相に関する変数をｊとする。この周期性と位相の条件は、番号（ナンバー）により管理されていて、いま、周期性ナンバー（以下、Ｎｏ．）がｉ、位相Ｎｏ．がｊである間引き方法の因子を設定する。

ステップＳ１１０４ではブロック内で間引きをした変換値を加算し、加算した加算値を変数の配列ＴＯＴＡＬ［ｉ］［ｊ］として記憶する。

ステップＳ１１０５では変数ｊを＋１カウントアップし、ステップＳ１１０６では固定値Ｊと比較する。ここで、Ｊは位相を変化させて間引き処理をする回数であり、メモリ或いはレジスタに格納されているものである。ここで、変数ｊがＪ未満であれば（ｊ＜Ｊ）、処理はステップＳ１１０３に戻り、カウントアップ後のｊによる新たな位相Ｎｏ．により、間引き処理と間引き画素の加算処理が繰り返される。

これに対して、ｊ≧Ｊであり、位相をずらした間引き処理及び加算処理が設定回数分終了したと判断された場合、処理はステップＳ１１０７に進み、加算結果ＴＯＴＡＬ［ｉ］［ｊ］の分散値を算出する。即ち、各加算結果が位相の差により、どの程度ばらついているかを評価する。ここでは、ｉの値を固定し、Ｊ個のＴＯＴＡＬ［ｉ］［ｊ］の分散値を求める。分散値はＢ［ｉ］とする。

ステップＳ１１０８では変数ｉを＋１カウントアップし、さらにステップＳ１１０９では変数ｉと固定値Ｉとを比較する。固定値Ｉは周期性を変化させて間引き処理をする回数であり、メモリやレジスタに格納されるものである。ここで、変数ｉがＩ未満（ｉ＜Ｉ）であれば、処理はステップＳ１１０２に戻り、カウントアップ後の変数ｉの値による新たな周期性Ｎｏ．の条件を用いて、再び、間引き処理と変換値の加算処理を繰り返す。これに対して、ｉ≧Ｉであり、設定回数終了したと判断されると、処理はステップＳ１１１０に進む。この時点で、分散値Ｂ［ｉ］はＩ個算出できたことになる。

ステップＳ１１１０では、Ｉ個の分散値の集合から分散値の最大値を検出し、その時の変数ｉの値を変数ｉｍａｘに代入する。最後にステップＳ１１１１では、周期性Ｎｏ．がｉｍａｘである符号を多重化された符号であると判定して処理を終了する。

ここで、Ｉ＝２、Ｊ＝４の例を示す。

図１２〜図１３はブロックサイズをＰ＝Ｑ＝１６とした時の間引き方法をテーブル形式で示した図である。図１２〜図１３において、ブロック内のひとマスが１画素分を表している。図１２〜図１３ではブロック形状をＰ＝Ｑの正方形としているが、当然正方形には限らないし、Ｐ≠Ｑとなる矩形でも良い。

図１２は周期性Ｎｏ．＝０の時の間引き方法（図７の間引き部Ａ７０６に相当）を、図１３は周期性Ｎｏ．＝１の時の間引き方法（図７の間引き部Ｂ７０７に相当）を示している。これらの図において、ブロック内の各画素に示している値は、位相Ｎｏ．であるｊの間引き画素を示している。例えば、“０”と表示している画素は、ｊ＝０の時の間引き画素に対応する。即ち、図１２〜図１３ともに位相は４種であり、位相Ｎｏ．がｊ＝０〜３の時の間引き方法に相当する。

図１２と図１３に示した周期性に関し、図１２は図６（ａ）の周期性に、図１３は図６（ｂ）の周期性に一致している。前述のように、図６（ａ）と図６（ｂ）ともに図中の灰色のマスの並びで量子化値“１”（但し、“０”、“１”の２値の場合）が並びやすくなる。その為、例えば、多重化時に量子化条件Ａであったブロックの場合には、図６（ａ）の周期性で量子化値“１”が並びやすくなり、適合した空間フィルタ時には更にその周波数成分が増幅される。そして、図１２に示す周期性で変換値を間引きして加算すると、その加算結果の分散は大きくなる。

それに比べて、量子化条件Ａであったブロックを、適合しない空間フィルタを用いてフィルタリングし、なおかつ、図１３に示す周期性により間引きを実行した場合、変換値の加算結果の分散値は小さくなる。即ち、量子化値の周期性と間引きの周期性が異なる為、間引きの位相の違いによる変換値の加算値は平均的になり、ばらつきは小さくなる。これとは反対に、多重化時に量子化条件Ｂであったブロックでは、図１２に示す間引きでは分散値は小さくなり、図１３に示す間引きでは分散値は大きくなる。

前述の図４に示したフローチャートの処理に適用すると、ｂｉｔ＝０を量子化条件Ａ、ｂｉｔ＝１を量子化条件Ｂに設定している。このため、周期性Ｎｏ． ＝ ０の分散値が大きいときにはｂｉｔ＝０、逆に周期性Ｎｏ．＝１の分散値が大きいときにはｂｉｔ＝１と判断できる。

即ち、量子化条件と空間フィルタ特性、及び間引き条件の周期性を関連づけることで、容易に付加情報の多重化とその付加情報の分離が実現できる。

この実施形態では、周期性Ｎｏ．は０と１の２種であり、ブロック内の多重化符号は１ビットであったが、多重化符号はこれ以上でも良いのは勿論である。当然、量子化条件の種類と空間フィルタの種類と間引き条件の周期性Ｎｏ．の種類（Ｉの値）とは一致する。

この実施形態では、直交変換による量子化条件の規則性に対応した周波数の電力値の比較をしなくても、容易に符号を分離でき、加えて、実空間領域の処理の為、非常に高速に付加情報の分離処理が実現できる。

以上、この実施形態を説明してきたが、量子化条件Ａ、Ｂ、及び、空間フィルタＡ、Ｂ、間引き部Ａ、Ｂは一例であり、本発明はこれに限るものではない。他の周期性を持たせても良いし、空間フィルタのタップ数、間引きのブロックサイズ等は前述した例よりも大きくても小さくても構わない。

また、図１１に示したフローチャートでは本発明の概念を容易に説明するために、周期性Ｎｏ．である変数ｉと、位相Ｎｏ．である変数ｊの繰り返し処理を用いている。しかしながら、実際には、Ｐ×Ｑ画素よりなるブロック内の画素アドレスによる繰り返し処理の方法が実現が容易である。即ち、図１２〜図１３に示したように、ブロック内の各画素アドレスに対して周期性Ｎｏ．と位相Ｎｏ．の２種の情報をテーブルとして予め格納し、これに対応した周期性Ｎｏ．と位相Ｎｏ．の各々の変数に対して変換値を加算していく方法である。この方法によれば、Ｐ×Ｑ画素分を処理するだけで並列に周期性Ｎｏ．と位相Ｎｏ．との各集合の加算値を算出することができる。

さらに、図１１に示したフローチャートの手順では、空間フィルタ後の間引きした変換値の加算結果の分散を算出して、分散値の大小比較により、符号を判定していたが、本発明はこれにより限定されるものではない。分散値を用いない評価関数の比較による方法も考えられる。間引きした変換値の加算結果の偏りは、位相をずらした際に、ひとつの位相の時だけ値が突出しやすいため、“ばらつき度合い”が評価できれば良い。

例えば、ばらつき度合いを評価するには、分散値以外に次の評価関数が考えられる。即ち、
１．間引きした変換値を加算した加算値の最大値と最小値の差分
２．間引きした変換値を加算した加算値の最大値と２番目に大きな値との差分、
もしくは、最小値と２番目に小さな値との差分のどちらか
３．間引きした変換値を加算した加算値によるヒストグラム作成時における、
前後の順番の差分の最大値
などである。

また、上記１、２、３の評価関数は差分値であるが、これらの差分値と変換値、もしくは画素値や変換値の総和等との相対的な比率も評価関数として用いることができる。また、量子化値は２値化を例にして説明したが、これには限らない。

以上のようにこの実施形態によれば、画像をＭ×Ｎ画素よりなるブロック単位で量子化条件を変更し、その量子化条件に従って画像を量子化することにより画像に対して所定の情報を埋め込むことができる。従って、従来の情報埋め込み方法、例えば、直交変換をして情報を埋め込む方法に比べて、画質劣化を抑制し、かつ高速に、かつ埋め込まれた情報が精度よく抽出できるように画像に対して情報を埋め込むことができる。

次に、カメラ付携帯端末１０４による多重化印刷物の連続撮影について説明する。この実施形態では、音声データや動画データなど大容量のデータを印刷物に付加する場合を考える。そのため、印刷物全体に情報を埋め込むことを想定して以下に説明する。

カメラ付携帯端末１０４で印刷物の多重化情報を読み取る際、その多重化パターンが解析できる距離までカメラ付携帯端末１０４を印刷物に近づけなければならない。ところが、印刷物全体に多重化情報が埋め込まれていると、読取解像度などの関係で一度の撮影で印刷物全範囲の多重化情報を撮影することはできない。そのため、カメラ付携帯端末１０４を印刷物上で移動させながら、全範囲を複数枚に分けて撮影する必要がある。この実施形態ではこれを「連続撮影」という。

以下に連続撮影の詳細を図を参照して説明する。

図１４は連続撮影の様子を示す模式図である。また、図１５は連続撮影の処理を示すフローチャートである。

ユーザはまず、カメラ付携帯端末１０４の多重化デコード用アプリケーション（以下、アプリ）を起動する。このアプリは、図１５に示すように処理順に４つの機能を備える。即ち、ステップＳ１５０１では印刷物を撮影する撮影機能を実行し、ステップＳ１５０２では複数の画像の連続性を評価する連続性評価機能を実行する。さらに、ステップＳ１５０３では連続性評価に基づいて画像から多重化パターンを読取ってデコードする多重化デコード機能を実行する。最後には、ステップＳ１５０４では、デコード結果をカメラ付携帯端末１０４のスピーカ１０８で再生したり、ディスプレイ１０９に表示するコンテンツ再生機能を実行する。

次に、ユーザはカメラ付携帯端末１０４を印刷物の左上部に位置させ、多重化パターンが読み取れる高さに調整する。

ここで、ステップＳ１５０１における撮影機能によって撮影を開始し、図１４に示すようにカメラ付携帯端末１０４を右方向へ移動させながら連続撮影を行う。なお、１枚１枚が撮影する範囲は、ステップＳ１５０２における連続性評価機能で複数の画像の位置合わせを行うか、又は１枚の画像に合成するために前の画像と撮影領域を重複させる。このようにして連続撮影を行う。

この連続撮影において、カメラ付携帯端末１０４の移動速度が速すぎると、連続撮影開始時に設定されたシャッター速度では追い付かず、印刷物の撮影領域に抜けが生じることがある。その場合、例えば、カメラ付携帯端末１０４のディスプレイ１０９上で移動速度を落とすようユーザに指示する表示をしたり、カメラ付携帯端末１０４の加速度センサ１１０から移動速度を算出し、それに応じたシャッター速度を自動設定するようにする。また、撮影された画像を合成しながら、印刷物の中で未撮影の領域を算出して、ユーザに表示してもよい。

いずれにしても、図１４に示すように印刷物の１ライン分を撮影し終えると、１ライン分下へ移動して、次に左方向へ移動させながら、同様に連続撮影を行う。こうして、印刷物の全範囲を操作しながら、抜ける範囲なく最後まで連続撮影する。ただし、カメラ付携帯端末１０４の移動方向は図１４に示すものに限定されるものではない。多重化情報が埋め込まれた範囲を網羅できれば、カメラ付携帯端末１０４の移動方向や重複領域の大きさは問わない。

次に、ステップＳ１５０２における連続性評価機能を実行し、撮影された複数の画像の位置合わせをする。画像が撮影された順番と、連続する画像内での重複領域を検知することで、撮影した複数の画像がどのように繋がっているかを評価する。その結果を用いて、複数の画像を１つの画像に合成してもよい。ここで行う合成処理は、例えば、一般に知られたパノラマ合成処理などが挙げられる。もしくは、カメラ付携帯端末１０４の加速度センサ１１０により、移動方向と移動距離を算出し、その結果から複数の画像を合成してもよい。詳細な処理方法は後述する。

続いて、ステップＳ１５０３における多重化デコード機能を実行し、連続性評価された画像から埋め込まれた多重化情報をデコードする。このデコード処理の詳細は、図７を参照して既に説明したのでここではその説明は割愛する。ところで、ステップＳ１５０２において複数の画像の連続性が評価されても、ステップＳ１５０３において、多重化情報が正しく読み取れないこともあり得る。その場合、カメラ付携帯端末１０４のディスプレイ１０９にステップＳ１５０１における撮影機能を再度実行して連続撮影を行うようメッセージを表示し、ユーザに再撮影を促す。

最後に、ステップＳ１５０４においてコンテンツ再生機能を実行し、デコードされた付加情報をカメラ付携帯端末１０４で再生する。コンテンツとは、音声データ、動画データ、画像データ、インターネットのリンク先、テキストデータなど、カメラ付携帯端末１０４がオープン可能なファイルであるが、そのファイルの種類は問わない。例えば、印刷物に埋め込まれていた多重化情報が動画データであれば、ステップＳ１５０４ではその動画データを再生するか、又は、カメラ付携帯端末１０４に格納されている他の動画再生アプリケーションにリンクして、その動画データを再生する。

なお、この連続撮影は静止画の連写モードで撮影してもよいし、動画モードで撮影後、そのフレームを１コマずつ切り出して、画像データとして分割してもよい。ステップＳ１５０１では、アプリが加速度センサ１１０から算出結果を取得し、その結果から撮像センサ１０５に撮影条件を指示し、撮影した複数の画像を取得する場合について説明した。しかしながら、カメラ付携帯端末１０４のカメラ機能ではなくデジタルスチールカメラ（撮像装置）で撮影しても良い。その場合は、連続撮影した複数の画像をパソコンなどに取り込み、パソコンのＯＳ上で多重化デコードアプリケーションを起動し、取りこんだ複数の画像を合成してデコードするとよい。

次に、以上のような構成の画像処理システム、特に、カメラ付き携帯端末が連続撮影によるピンボケを発生させずに、印刷物に記録された付加情報を正確に読取りデコードする実施形態の例について説明する。

＜第１の実施形態（フォーカスブラケット撮影）＞
ここでは、異なる焦点距離で連続撮影するフォーカスブラケット撮影を複数回繰り返し行う例について説明する。

図１６はカメラ付携帯端末１０４を印刷物にかざして水平方向に移動させながら複数枚の画像を連続撮影する様子を示す図である。

まず、ユーザはカメラ付携帯端末１０４の多重化デコード用アプリケーションを起動して、撮影機能を実行する。この際、印刷物の連続撮影をフォーカスブラケット撮影で行うよう撮影条件をカメラ付携帯端末１０４に設定する。次に、カメラ付携帯端末１０４を印刷物の端（図１６では印刷物の左端）にかざして、印刷物に対して焦点が合う高さに位置させる。このとき、撮影機能により印刷物から付加情報が読み取れるようカメラの焦点調整を行う。この時、撮影機能が撮影画像を一時的にデコードして、付加情報が読取可能であることを確認してもよいし、撮影画像が予め設定したエッジ量に達した時点で焦点が合ったと判定してもよい。あるいは、焦点が合い付加情報がデコードできたなら、カメラ付携帯端末１０４において合焦状態にあることをユーザに通知するメッセージを表示したりアラームを鳴動させるなどしてもよい。

続いて、ユーザはカメラ付携帯端末１０４を印刷物の反対端（図１６では右側）へ移動させながら、連続撮影にて印刷物の１ライン分を読み取る。このとき、撮影機能は上記メッセージを表示した時点で連写撮影を開始してもよい。また、カメラ付携帯端末１０４に内蔵の加速度センサ１１０でカメラ付携帯端末１０４が移動し始めたことを検知して連写撮影を開始してもよい。いずれにしてもユーザが撮影の度毎に位置を合わせて、その都度シャッターを押すのは非常に煩わしいため、カメラ付携帯端末１０４が自動的に連写撮影するのが望ましい。

さて、図１６に示すように、ユーザがカメラ付携帯端末１０４を手動で移動させた場合に最初の合焦距離を保てず、例えば、移動軌跡Ｂのように印刷物に近づいてしまったり、逆に移動軌跡Ｃのように遠ざかってしまうことがある。図１６の点線矢印で示すように、移動軌跡Ａの焦点距離は連続撮影開始時の焦点距離と同じである。ところが、移動軌跡Ｂの焦点距離はＡより近距離になり、移動軌跡ＣはＡより遠距離になる。

また上記の連続撮影を行う場合、ユーザが撮影毎にシャッターボタンを押下するのではなく、自動的に連続で撮影が行われる。この場合、撮影毎に印刷物との距離を測定することで焦点距離を調整する機能を用いず、撮影時に設定された焦点距離を維持したまま連写が行われることがある。この場合、図１６に示すように連続撮影中に撮像デバイスと印刷物との距離が変動した場合、焦点距離が合っていない設定で撮影が行われる。こうした焦点距離の変動に対応するため、この実施形態では、連続撮影時にフォーカスブラケット撮影を行う。こうした焦点距離の変動に対応するため、この実施形態では、連続撮影時にフォーカスブラケット撮影を行う。フォーカスブラケット撮影とは、焦点距離の異なる連続撮影であり、ここでは、このフォーカスブラケット撮影を複数回繰り返し行うものである。そして後述するように、フォーカスブラケット撮影で得られた複数の画像のうち、印刷物に対して合った画像を選択し、その画像から付加情報を抽出する。これにより、仮にユーザが撮像デバイスを移動させながら撮影したことにより、図１６に示したように印刷物との距離が変化してしまった場合でも、焦点の合った適切な画像から付加情報を抽出することができる。以下、詳細に説明する。

図１７は焦点距離の変動と合焦状態との関係を示す図である。

図１７に示す移動軌跡Ｃにおいて、印刷物までの焦点距離は連続撮影開始時の焦点距離よりも遠ざかってしまっているので、カメラ付き携帯端末１０４は印刷物に合焦しない。そのため、この実施形態では、連続撮影開始時の焦点距離（ＩＩ）と、それより近い焦点距離（Ｉ）、それより遠い焦点距離（ＩＩＩ）の３つの焦点距離を設定して、３枚の画像をほぼ同時に撮影する。移動距離Ｃの位置にある３つの点線矢印（Ｉ）〜（ＩＩＩ）は、上記３つの焦点距離を示す。

連続撮影開始時に合わせた焦点距離は（ＩＩ）の点線矢印で表され、（Ｉ）の点線矢印は焦点が近くに設定された焦点距離、（ＩＩＩ）の点線矢印は焦点が遠くに設定された焦点距離を表す。ここでの画像の選択基準は、最も焦点距離が合った画像である。よってこの図において、印刷物の多重化パターンに最も焦点が合っているのは、焦点距離が遠くに設定された（ＩＩＩ）であるため、（ＩＩＩ）の画像が電子透かしの情報を取得する画像として選択される。

このように、連続撮影時にフォーカスブラケット撮影を行うことで、焦点距離が固定のまま撮影する場合に比べて、焦点の合った画像を取得しやすくなる。

次に、ほぼ同じ位置で撮影された複数の画像から、付加情報をデコード可能な画像を選択または生成しなければならない。その方法として、この実施形態では以下の２通りを説明する。

（１）第１の方法
これはフォーカスブラケットで撮影された３枚の画像（Ｉ）〜（ＩＩＩ）から、最も焦点が合った１枚を選択する方法である。この方法では、各画像に対して、画像全体のエッジの度合いを検出し、最もエッジ量が高い画像を一つ選択する。その画像から付加情報が取得できれば、その１枚の画像を選択すればよい。

図１７に示す例では画像（ＩＩＩ）が最もピントが合っているため、エッジ量が最も高く、この１枚を選択する。エッジ量の算出は多くの公知技術があるので、ここでは説明を割愛する。もし画像（Ｉ）〜（ＩＩＩ）のいずれもエッジ量が低かったり、エッジ量は高くても付加情報まで読み込めず、デコードできなかった場合、カメラ付携帯端末１０４のディスプレイ１０９にエラーメッセージを表示する。それによって、ユーザは読取れなかった箇所を再度撮影することで、印刷物全範囲をもれなくデコードすることができる。

（２）第２の方法
これはフォーカスブラケット撮影した複数枚の画像から超解像処理を行う方法である。この方法によれば、被写体に対する撮影画角（位相）がわずかにずれた複数枚の画像を用いて、超解像処理を実行する。

図１８は超解像処理を仕組みを説明する図である。

図１８（ａ）において、実線は被写体の輝度変化を空間的に表したものである。この被写体を、サンプリング間隔を図中のＡ（黒丸）として撮影した場合、その画像の信号値は図１８（ｂ）に示すようになる。この信号値（黒丸）のサンプリングだけでは、被写体の輝度変化は図１８（ｂ）の実線のようになり、元の被写体とは異なる信号値のプロファイルとなってしまう。これに対して、図１８（ａ）においてサンプリング間隔をＢ（白丸）として撮影した場合、その画像の信号値は図１８（ｃ）に示すようになる。ここでも、信号値（白丸）だけでは被写体の輝度変化は図１８（ｃ）の実線のようになり、同様に元の被写体とは異なる信号値となってしまう。

言い換えれば、図１８（ｂ）と図１８（ｃ）とはいずれも被写体をぼかして粗い解像度で撮影した画像ということになる。しかしながら、サンプリング間隔が半位相ずれた図１８（ｂ）と図１８（ｃ）に示す画像サンプリングを重ね合わせることで、解像度が２倍になり、図１８（ａ）に示すような元の被写体が復元できる。これが一般的に超解像と言われる処理である。この処理方法は、ボケた画像を復元する際に有効な方法である。

図１７に戻って説明を続けると、画像（Ｉ）はフォーカスブラケット撮影のうち１枚目に撮影されたものであり、焦点距離は印刷物に対して最も近くに設定され、被写体となる多重化パターンは画像のやや右側に位置する。次に画像（ＩＩ）はフォーカスブラケット撮影のうち２枚目に撮影されたものであり、その焦点距離は連続撮影開始時の焦点距離であり、カメラ付携帯端末１０４が右方向へ移動しているため、被写体となる多重化パターンは画像の中央に位置する。最後に、画像（ＩＩＩ）はフォーカスブラケット撮影のうち３枚目に撮影されたものであり、焦点距離は印刷物から最も遠くに設定され、被写体となる多重化パターンは画像のやや左側に位置する。

例えば、正確な焦点距離は（Ｉ）と（ＩＩ）の間にあり、故にこれら３枚の画像が全てピンボケしていたとする。この場合でも、図１８に示すような超解像処理を行うことで、重ね合わせた画像の解像度を高めることができる。その結果、画像（Ｉ）だけでは読み取りにくかった多重化パターンが高解像に復元されて、付加情報をデコードしやすくすることができる。

なお、３枚の画像（Ｉ）〜（ＩＩＩ）を重ね合わせる際、被写体を位置合わせすることが必要になる。この実施形態では、カメラ付携帯端末１０４に内蔵された加速度センサ１１０を使って、３枚の画像を位置合わせする。加速度センサ１１０は、カメラ付携帯端末１０４の水平方向や垂直方向の加速度を測定することができる。それによって、カメラ付携帯端末１０４の移動方向、加速度、現在の速度などを算出できる。

図１７において、フォーカスブラケット撮影の連写間隔と、加速度センサ１１０の測定値から、図１７に示された画像（Ｉ）〜（ＩＩＩ）がそれぞれどれくらいの距離間隔で撮影されたかを算出することができる。その算出結果より、３枚の画像を位置合わせし、図１８に示すように解像度の高い画像に重ね合わせる。こうすることで、従来のように、画像中のエッジを検出して位置合わせをするような画像解析をしなくても、超解像処理を行うことができる。

この実施形態では、連続撮影した複数の画像において、隣接する画像の位置合わせをすることで、その連続性を評価した後、印刷物全体の多重化パターンをデコードする例について説明した。こうした連続性評価以外にも、当然のことながら一般的に知られたパノラマ合成のように、各画像のエッジを検出して特徴量を割り出し、それらを位置合わせして一つの画像に合成する方法を用いてもよい。

最後に、フォーカスブラケット撮影の振り幅をどのように設定するかに関し、２つの方法を挙げて説明する。

（１）カメラ付携帯端末１０４の加速度センサ１１０を用いる方法
この方法では、加速度センサ１１０から、カメラ付携帯端末１０４を移動する際のずれ量、特に、印刷物との距離に対応する垂直方向のずれ量（図１７に示す焦点距離に沿った方向）を逐次検知する。撮影する直前の検知結果に基づいて、連続撮影開始時の印刷物までの距離と、現在の印刷物までの距離を推定し、その推定結果に応じてブラケット撮影の振り幅を設定する。例えば、図１７に示すように、カメラ付携帯端末１０４が連続撮影中に印刷物から遠ざかったのであれば、画像（ＩＩＩ）は加速度センサ１１０の測定値から算出した焦点距離を設定する。また、画像（Ｉ）は図中では焦点距離が短いが、カメラ付携帯端末１０４が印刷物から遠ざかっているのであれば、画像（ＩＩＩ）よりも長い焦点距離に設定する。こうすることで、カメラ付携帯端末１０４がどれくらい動いたかを検知して、振り幅を動的に最適値に設定することができる。

（２）複数回の連続撮影を行う方法
この方法では、実際に多くのユーザに、例えば、Ａ４用紙の印刷物に何度か連続撮影をさせ、連続撮影開始時の焦点距離と図１７に示すような印刷物右端へ移動させた時点の焦点距離との相違を測定する。それにより、焦点距離がずれる平均値などを算出することで、当該ユーザが連続撮影するときに撮像デバイスを上下方向に動かしてしまう傾向を推測し、それに応じた振り幅を固定値として設定すればよい。

また、付加情報分離装置１０６内に学習機能を持たせて、加速度センサ１１０の測定値から統計的にフォーカスブラケット撮影の振り幅を設定してもよい。ユーザが連続撮影する際に、加速度センサ１１０の測定値を随時記録しておき、ずれ量の統計値を求め、その平均値または最大値を振れ幅とする。

以上説明した２つの方法は、図１５に示すステップＳ１５０２における連続性評価機能を実行中に行う。

従って以上説明した実施形態に従えば、焦点距離を複数段階変化させながら同じ印刷物を連続撮影し、得られた画像を位置合わせ又は合成し、さらには超解像処理を行うことで、正確に多重化パターンを読取り、印刷物の付加情報を正確にデコードできる。

なお、上記のようにこの実施形態では、撮像デバイスを移動させながら、フォーカスブラケット撮影における連写を繰り返すことで複数の画像を撮影する。そして、各フォーカスブラケット撮影において撮影された複数の画像から、ピントの合ったものを選択する。よって、例えばユーザが撮像デバイスを高速に移動させた場合、上記のように選択された画像間で重複がない場合があり、この場合、印刷物上の付加情報に抜けが生じる。例えば、あるフォーカスブラケット撮影において最初に撮影された画像と、次のフォーカスブラケット撮影において最後に撮影された画像が選択された場合、撮影位置の距離が大きい。この場合、上記の抜けが生じることがある。

よって、例えば、加速度センサ１１０により撮像デバイスの移動速度を計測し、その移動速度が所定の速度以上である場合、ディスプレイ１０９等を用いてユーザに通知を行ってもよい。なお、フォーカスブラケット撮影ではなく、通常の連続撮影においても、撮像デバイスが高速で移動されると、上記の画像の抜けが生じるため、通常の連続撮影の際にも同様の通知を行ってもよい。ただし、上記のようにフォーカスブラケット撮影においては、画像の選択を行うため、通常の連続撮影よりも画像の抜けが生じる可能性が高い。そこでフォーカスブラケット撮影の場合、上記速度の判定で用いる所定の速度として、通常の連続撮影の場合よりも遅い速度を設定してもよい。

＜第２の実施形態（絞り値ブラケット撮影）＞
第１の実施形態では、フォーカスブラケット撮影を行いながら連続撮影をすることを説明した。その際、印刷物にピントが合った画像を取得し、さらには複数の画像を超解像処理して、付加情報をデコードしやすい画像に変換することについて説明した。この実施形態では、カメラ付携帯端末１０４に撮影条件として絞り値ブラケット撮影で連続撮影するよう設定する。

以下、絞り値ブラケット撮影で連続撮影の方法について説明する。

カメラは絞りを大きくすると被写界深度は深くなり、小さくすると浅くなる。被写界深度が深い方が、手ブレをして被写体とカメラとの間の距離が変化しても、被写体にピントが合いやすい。一方、被写界深度が浅いと、少しの手ブレで被写体からピントが外れてしまう。従って、手ブレによるピンボケを防止するという観点からは、被写界深度を深く、即ち、絞りを大きくして撮影することが望ましい。しかしながら、絞りを大きくし過ぎると光量が低下し、カメラのレンズ性能によっては撮影画像の明るさが低下してしまうことがある。そうなると、多重化された付加情報を読み取れなくなってしまう。

元々、連続撮影はカメラ付携帯端末１０４を移動させながら撮影するため、シャッター速度を高める必要があり、その結果、撮影画像が暗くなることがある。即ち、絞りを大きくし、かつシャッター速度を高めて連続撮影すると、光量不足になって撮影画像が暗くなってしまう。光量が少なくなると、多重化パターンの信号値が読み取りにくくなり、もう一方で撮像素子のノイズが目立ちやすくなる。つまり、Ｓ／Ｎ比が低下してしまう。

以上のことを考慮し、この実施形態では絞り値のブラケット撮影を行う。

図１９は第２の実施形態に従って絞り値ブラケット撮影を行う際の焦点距離の変動と合焦状態との関係を示す図である。第１の実施形態において図１７で説明したのと同様に、カメラ付携帯端末１０４を印刷物の左端に位置させ、焦点を合わせる。次に、カメラ付携帯端末１０４を右方向へ移動させながら、連続撮影を行う。

この時、ユーザがカメラ付携帯端末１０４を手持ちで移動させると、印刷物との距離を一定には保てず、カメラ付携帯端末１０４を印刷物に近づけてしまったり、遠ざけてしまったりする。

図１９にはカメラ付携帯端末１０４が印刷物から遠ざかってしまった例を示す。このような状況のもと、この実施形態では、連続撮影する際に、絞り値ブラケット撮影を行う。即ち、絞り値を複数段階に切り替えながら撮影することで、被写界深度の異なる複数枚の画像を取得することができる。この実施形態では、三段階の絞り値で撮影を行う。その被写界深度と撮影画像を図１９の画像（Ｉ）〜（ＩＩＩ）で表す。

前述のように、絞り値が大きいと光量が不足し、撮影画像が暗くなってＳ／Ｎ比が低下する。そのため、被写界深度が最も深い撮影画像（ＩＩＩ）は図１９の下に示すように、他の二つの画像に比べて、光量が最も不足する画像となる。つまり、たとえ絞り値を大きくして被写界深度を深くし、合焦させようとしても、撮影画像が暗くなってＳ／Ｎ比が低下し、多重化パターンが読み取れなければ、付加情報をデコードできない。これとは反対に、絞り値を小さくして撮影画像を明るくしても、被写界深度が浅くて合焦しなければ、同様に多重化パターンが読み取れずに付加情報をデコードできない。そのため、この実施形態では、絞り値を複数段階に切り替えながら撮影することで、複数の撮影画像の中から最もピントが合い、かつ最もＳ／Ｎ比が高い画像を選択する。

絞り値ブラケット撮影することで、ブラケット撮影で３枚の被写界深度の異なる画像がほぼ同時に得られる。その中から、最もピントが合い、かつ多重化パターンがデコード可能な１枚を選択する。この選択方法は、第１の実施形態で説明したように、画像のエッジ量を算出して、最も高い画像を１つ選び、それを多重化デコードをして、付加情報が抽出できればその画像を選択する。もし撮影画像のＳ／Ｎ比が小さく多重化パターンがデコードできなかった場合、次にエッジ量の高い画像を選択し、同様の処理を行えばよい。

図１９に示した例において、画像（ＩＩＩ）が最もピントが合っているが、絞り値が大きいため撮影画像が暗く、多重化デコードができなかったとする。その場合、次にピントが合っている画像（ＩＩ）を多重化デコードする。画像（ＩＩ）は画像（ＩＩＩ）に比べて光量が多くてＳ／Ｎ比も高い。多重化デコードできた場合、画像（ＩＩ）を選択して、連続性評価機能を実行して隣接の画像との連続性を評価する。こうした選択処理は他にも公知技術が多々あり、その方法は問わない。

ところで、上記のように絞り値ブラケット撮影を行い、それぞれ最もデコードしやすい１枚を選択すると、隣接する画像の明るさがバラバラになる可能性がある。従来のパノラマ合成処理では、複数枚の隣接した画像同士は、明るさが一致していないと写真として合成できない。しかしながら、この実施形態では、印刷物に埋め込まれた多重化パターンを読み取るのが目的のため、連続撮影された複数枚の隣接する画像において、明るさが一致している必要はない。即ち、連続撮影の開始時の撮影画像は、ピントが合った画像（Ｉ）の明るさの画像で、移動後に撮影された画像は、ピントが合った画像（ＩＩ）の明るさのであってもよい。それらを位置合わせ又は合成して、多重化パターンが読み取れれば、複数枚の画像の明るさが一致していなくてもよい。即ち、連続撮影の開始時の撮影画像は、ピントが合った画像（Ｉ）の明るさの画像で、移動後に撮影された画像は、ピントが合った画像（ＩＩ）の明るさのであってもよい。それらを位置合わせ又は合成して、多重化パターンが読み取れれば、複数枚の画像の明るさが一致していなくてもよい。本実施形態では、画像間で明るさが一致するように調整する処理は行わないため、処理を簡略化することができる。

また、第１の実施形態において説明したように、この実施形態でもブラケット撮影された複数枚の画像を用いて超解像処理を行ってもよい。

図１９に示した画像（Ｉ）〜（ＩＩＩ）は、カメラ付携帯端末１０４を右へ移動させながら、絞り値ブラケット撮影した３枚の画像である。そのため、被写体となる多重化パターンは画像毎に位相がずれている。図１８で説明したように、位相がずれた複数の画像を超解像処理することで、解像度を高めた合成画像を生成することができる。その結果、画像（Ｉ）のだけでは読み取りにくかった多重化パターンが復元されて、付加情報をデコードしやすくすることができる。

従って、この実施形態でも超解像処理を行うことで、多重化パターンを高解像にして信号値（Ｓ値）を高めることができる。さらに、位相がずれた画像を重ね合わせるので、撮像センサ１０５のノイズ（Ｎ値）を平滑化することができる。よって、Ｓ／Ｎ比を高めることができる。

この実施形態でも、３枚の画像（Ｉ）〜（ＩＩＩ）を重ね合わせる際、カメラ付携帯端末１０４の加速度センサ１１０を使って、３枚の画像を位置合わせする。

ここで、絞り値ブラケット撮影の振り幅をどのように設定するかについて３つの例を挙げて説明する。

（１）第１の例
これは第１の実施形態と同様に、カメラ付携帯端末１０４の加速度センサ１１０を用いる方法である。

カメラ付携帯端末１０４を移動させる際に生じるずれ量、特に印刷物との距離を測定する垂直方向（図１９の焦点距離に沿った方向）のずれ量を加速度センサ１１０から逐次検知する。撮影直前の検知結果に基づいて、連続撮影開始時の印刷物までの距離と、現在の印刷物までの距離を推定し、その推定結果に応じてブラケット撮影の振り幅を設定する。

例えば、図１９に実線の矢印で移動軌跡を示すように、カメラ付携帯端末１０４が連続撮影中に印刷物から遠ざかった場合、画像（ＩＩＩ）は加速度センサ１１０の測定値から算出した被写界深度、つまり絞り値を設定する。また、画像（Ｉ）は図中では被写界深度が短いが、カメラ付携帯端末１０４が印刷物から遠ざかっているのであれば、画像（ＩＩＩ）よりも長い被写界深度、つまり大きな絞り値に設定する。こうすることで、カメラ付携帯端末１０４がどれくらい動いたかを検知して、振り幅を動的に最適値に設定することができる。

（２）第２の例
これも第１の実施形態と同様に、実際に多くのユーザに、例えば、Ａ４用紙の印刷物を何度か連続撮影させ、その連続撮影開始時の印刷物までの距離と図１９に示す印刷物の右端へ移動させた時点の印刷物までの距離との差を測定する。それにより、連続撮影中における印刷物までの距離がずれる平均値などを算出し、それに応じた振り幅を固定値として設定する。また、付加情報分離装置１０６内に学習機能を持たせて、加速度センサ１１０の測定値から統計的に絞り値ブラケット撮影の振り幅を設定してもよい。ユーザが連続撮影する際に、加速度センサ１１０の測定値を随時記録しておき、ずれ量の統計値を取り、その平均値または最大値を振れ幅とすればよい。

（３）第３の例
これは印刷物の下地領域の明るさをどの程度下げると又は印刷物の黒インク領域の明るさをどの程度上げると多重化パターンが読み取れるかをカメラ付携帯端末１０４毎に予め定め、その明るさの上限値と下限値の範囲内で絞り値を最大限変化させる設定とする。

以上説明した３つの例は図１５におけるステップＳ１５０２で連続性評価機能を実行中に行う。

従って以上説明した実施形態に従えば、絞り値を複数段階変化させながら同じ印刷物を連続撮影し、得られた画像を位置合わせ又は合成し、さらには超解像処理を行うことで、正確に多重化パターンを読取り、印刷物の付加情報を正確にデコードできる。

＜第３の実施形態（シャッター速度ブラケット撮影）＞
ここではシャッター速度ブラケット撮影の実施形態について説明する。そのため、ステップＳ１５０１での撮影機能の実行にあたり、ユーザはカメラ付携帯端末１０４に撮影条件としてシャッター速度ブラケット撮影を設定する。上述のように、シャッター速度を速く設定すると、連続撮影において多少手ブレしてもボケ量を抑えて撮影することができる。しかし、その分光量不足となり、撮影画像が暗くなってしまう。そのため、シャッター速度ブラケット撮影を行う。この方法も第２の実施形態（図１９）と同様に、撮影画像のボケ量と光量から、最も多重化パターンをデコードしやすい画像を重ね合わせる。

図１９を参照して説明すると、ユーザはカメラ付携帯端末１０４を印刷物の左端に位置させ焦点を合わせる。次に、カメラ付携帯端末１０４を右方向へ移動させながら、連続撮影を行う。この時、ユーザがカメラ付携帯端末１０４を手持ちで移動させると、どうしても印刷物との距離が変化したり、その移動速度が速くなって多重化パターンがボケてしまうことがある。このような状況のもと、この実施形態では連続撮影する際にシャッター速度ブラケット撮影を行う。シャッター速度を複数段階に切り替えながら印刷物を撮影することで、手ブレボケ量の異なる複数枚の画像を取得することができる。この実施形態では３段階のシャッター速度で撮影を行う。

前述のように、シャッター速度が速いと光量が不足し撮影画像が暗くなってＳ／Ｎ比が低下する。シャッター速度を速くし手ブレによるボケ量を抑えても、撮影画像が暗くなってＳ／Ｎ比が低下し多重化パターンが読み取れなければ、付加情報をデコードできない。一方、シャッター速度を遅くして撮影画像を明るくしても、手ブレによるボケ量が大きければ、同様に多重化パターンが読み取れずに付加情報をデコードできない。

そのため、この実施形態ではシャッター速度を複数段階に切り替えながら撮影することで、複数の撮影画像の中から最も手ブレによるボケ量が少なく、かつ最もＳ／Ｎ比が高い画像を生成する。複数の撮影画像から多重化パターンをデコードする方法は、複数枚の中から最適な１枚を選択してもよいし、超解像処理を行ってもよい。その詳細は第２の実施形態で前述したとおりである。

また、シャッター速度ブラケット撮影の振り幅の設定方法も、第１の実施形態で前述したとおりである。カメラ付携帯端末１０４の加速度センサ１１０を用いて、移動する際のずれ量を逐次検知し、その結果に応じてブラケット撮影の振り幅を設定すればよい。または、多くのユーザの統計値から振り幅を固定値として設定してもよい。

これらの方法は図１５におけるステップＳ１５０２で連続性評価機能を実行中に行う。

従って以上説明した実施形態に従えば、シャッター速度を複数段階変化させながら同じ印刷物を連続撮影し、得られた画像を位置合わせ又は合成し、さらには超解像処理を行うことで、正確に多重化パターンを読取り印刷物の付加情報を正確にデコードできる。

＜その他の実施形態＞
第１〜第３の実施形態は、カメラ付携帯端末１０４で連続撮影する際に、焦点、絞り値、シャッター速度のいずれかをそれぞれブラケット撮影する例について説明した。また、加速度センサ１１０の測定値によって、各ブラケット撮影の振り幅を設定することについても説明した。ここでは、加速度センサ１１０の測定値によって、ブラケット撮影の種類を切り替える例について説明する。

例えば、カメラ付携帯端末１０４が印刷物との距離方向に激しく動く時、フォーカスブラケット撮影よりも絞り値ブラケット撮影の方が、被写界深度が深いためにピントが合いやすい場合がある。その場合、連続撮影開始時はフォーカスブラケット撮影を行っていても、手ブレがある予め定めた閾値以上に激しく動いた場合は、絞り値ブラケット撮影に切り替えて連続撮影してもよい。また、カメラ付携帯端末１０４の移動方向（印刷物に対して水平方向）に激しく動く時は、水平方向の動きによるブレが発生する。その場合は、シャッター速度ブラケット撮影に切り替えてもよい。こうして、加速度センサ１１０の測定値によって、ブラケット撮影の種類を切り替えることで、より手ブレを抑えて多重化パターンをデコードしやすい画像を生成することができる。

一方、第１〜第３の実施形態では、カメラ付携帯端末１０４をカメラ付携帯電話、カメラ付スマートフォンやタブレットＰＣとして、図１６、図１７、図１９に示すように印刷物の上方から撮影する例について説明した。しかしながら、本発明は印刷物を上方から撮影するカメラ付携帯端末によって限定されるものではない。例えば、眼鏡にカメラ機能やディスプレイ機能などのハードウェアが一体になったウェアラブルカメラを用いることもできる。この場合、ユーザがウェアラブルカメラを装着し、自分の周囲の印刷物をカメラ機能で撮影し、印刷物に埋め込まれた付加情報を読み取り、ディスプレイに表示させる。その際、ユーザが顔を上下左右に動かしたり、前後左右に歩くことで、ウェアラブルカメラに内蔵の加速度センサがその動きを検知する。それに応じて複数枚の撮影画像を超解像処理したり、前述したブラケット撮影の振り幅を変化させるようにしてもよい。複数枚の画像の連続撮影や、ブラケット撮影の処理方法などは、上記実施形態に記載したとおりである。

その他、車載カメラなど撮影デバイスが印刷物の周囲を移動可能な場合にも全て前述した実施形態を適用できる。

また、本発明は、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータがプログラムを読み出して実行することでも実現される。この場合、そのプログラム、および該プログラムを記憶した記憶媒体は本発明を構成する。

１０２ 付加情報多重化装置、１０３ プリンタ、１０４ カメラ付き携帯端末、
１０５ 撮像センサ、１０６ 付加情報分離装置、１０８ スピーカ、
１０９ ディスプレイ、１１０ 加速度センサ、２００ 誤差拡散部
２０１ ブロック化部、２０２ 量子化条件制御部、３００ 加算器、３０１ 比較部、
３０２ 減算部、３０３ 誤差配分演算部、
３０４ 配分テーブル（誤差拡散マトリクス）

Claims (16)

1. 撮像装置に電子透かしが埋め込まれた印刷物を撮影させることで得られた画像に基づいて、前記電子透かしの情報を取得する画像処理装置であって、
   撮影条件を異ならせた連続撮影を複数回、繰り返すことで、前記印刷物における複数の領域を前記撮像装置に撮影させる撮影手段と、
   前記撮影手段による前記複数回の連続撮影により得られた複数の画像から、前記電子透かしの情報を取得する画像を選択する選択手段と、
   前記撮影手段による複数回の前記連続撮影のそれぞれにより得られた複数の画像から前記選択手段により選択された画像に基づき、前記電子透かしの情報を取得する取得手段とを有することを特徴とする画像処理装置。
2. 前記取得手段により取得された電子透かしの情報が表わすコンテンツを再生する再生手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像装置を内蔵することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像装置は、
   前記印刷物の連続撮影を行う際の撮影条件を設定する第１の設定手段と、
   前記第１の設定手段により設定された撮影条件により撮影して得られた複数の画像の連続性を評価する評価手段とを有することを特徴とする請求項３に記載の画像処理装置。
5. 前記撮影条件は、前記印刷物までの焦点距離、絞り値、シャッター速度の少なくとも１つを含み、前記選択手段は、当該撮影条件に対応する所定の基準を用いて画像を選択することを特徴とする請求項３に記載の画像処理装置。
6. 前記撮像装置による連続撮影はユーザによる手持ち撮影であり、
   前記撮像装置はさらに、前記ユーザによる手持ち撮影による前記撮像装置の移動の加速度を検出する検出手段を有することを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像装置はさらに、
   前記連続撮影において、前記撮影条件として設定される前記焦点距離、又は、前記絞り値、又は、前記シャッター速度の変更が可能な範囲を設定する第２の設定手段と、
   前記第２の設定手段により設定された範囲の中で前記撮影条件の値を変化させて前記連続撮影を行うよう制御する制御手段とを有することを特徴とする請求項６に記載の画像処理装置。
8. 前記変更が可能な範囲は、予め定められた固定値、又は、以前に実行された複数回の連続撮影から統計的に定められた値、又は、前記検出手段による検出の結果に基づいて動的に得られた値であることを特徴とする請求項７に記載の画像処理装置。
9. 前記撮像装置はさらに、前記ユーザによる手持ち撮影による前記撮像装置の移動の間に、前記検出手段による検出の結果に基づいて、前記撮影条件を切り替える切り替え手段を有することを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 前記撮像装置はさらに、前記ユーザによる手持ち撮影による前記撮像装置の移動の間に、前記検出手段による検出の結果に基づいて、前記ユーザに対して前記撮像装置の移動速度や前記撮像装置から前記印刷物までの距離を調整するよう通知する通知手段を有することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
11. 前記取得手段は、前記検出手段による検出の結果に基づいて、異なる位置での撮影から得られた複数の画像を用いて、該複数の画像の位置合わせを行って１枚の画像に合成する処理を行うことを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理装置。
12. 前記撮像装置における連続撮影の開始時には、前記撮像装置から前記印刷物までの焦点距離は合焦されていることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記取得手段は、撮影条件を異ならせて撮影した複数の画像を用いて超解像処理を行い、元の画像より解像度の高い画像を生成する処理を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記電子透かしの情報は、音声情報、動画情報、テキスト文書情報を含むことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 請求項１乃至１４のいずれか１項に記載の画像処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。
16. 撮像装置に電子透かしが埋め込まれた印刷物を撮影させることで得られた画像に基づいて、前記電子透かしの情報を取得する画像処理装置の画像処理方法であって、
    撮影条件を異ならせた連続撮影を複数回、繰り返すことで、前記印刷物における複数の領域を前記撮像装置に撮影させる撮影工程と、
    前記撮影工程における前記複数回の連続撮影から得られた複数の画像を用いて、前記電子透かしの情報を取得する取得工程とを有することを特徴とする画像処理方法。

Images