JP6326082B2 - 電子透かし埋め込み装置、電子透かし検出装置、方法、及びプログラム - Google Patents

Description

本発明は、電子透かし埋め込み装置、電子透かし検出装置、方法、及びプログラムに関する。

画像、映像といったコンテンツの流通の際、コンテンツ識別・管理や著作権保護・管理、関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。特に、画像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。

具体的には、例えば、枠線を利用した幾何ひずみ補正と２次元ブロックパターン変調方式に基づく電子透かしとを組み合わせた手法が知られている（例えば、非特許文献１）。この手法によれば、あらかじめ電子透かしを埋め込んだ画像を紙に印刷した場合でも、携帯電話やスマートフォンのカメラを使って高速かつ安定的に電子透かしを検出可能である。特に、画像を印刷した場合、斜め方向から撮影しても検出可能になる点が大きな利点となっている。

中村高雄、片山淳、山室雅司、曽根原登「カメラ付き携帯電話機を用いたアナログ画像からの高速電子透かし検出方式」電子情報通信学会論文誌、D-II Vol.J87-D-II, No.12, pp.2145-2155, 2004

しかしながら、斜め方向からの撮影による透かし検出を可能にするために、透かし埋め込み画像に対して明示的に枠を付加する必要がある。この枠の検出により特定される透かし埋め込み位置の四隅座標により、正面から見た特定スケールの画像に正規化し、安定的に透かしを検出する原理である。

しかし、例えば商品パッケージに付与された企業ロゴや商品ロゴなどに適用する場合、枠を付加することでロゴデザインを大きく損ねる可能性がある。そのため、適用範囲が著しく限定されるといった課題があった。

本発明は、上記問題点を解決するために成されたものであり、電子透かしのための枠を画像に付与しなくても、画像に対し、安定して検出される電子透かしを埋め込むことができる電子透かし埋め込み装置、方法、及びプログラムを提供することを目的とする。

また、電子透かしのための枠を画像に付与されていなくても、画像から電子透かしを安定して検出することができる電子透かし検出装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る電子透かし埋め込み装置は、画像に対して特定のＩＤを表す電子透かしを埋め込むための電子透かし埋め込み装置であって、特定の２次元パターンを示すための参照画像をディジタルデータとして入力する参照画像入力部と、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させる登録部と、前記参照画像入力部で得られた前記参照画像の特定の領域に電子透かしを埋め込む電子透かし重畳部と、前記電子透かし重畳部で前記電子透かしが埋め込まれた前記参照画像を出力する埋め込み済み画像出力部と、を含んで構成されている。

第２の発明に係る電子透かし埋め込み方法は、参照画像入力部、登録部、電子透かし重畳部、及び埋め込み済み画像出力部を含み、画像に対して特定のＩＤを表す電子透かしを埋め込むための電子透かし埋め込み装置における電子透かし埋め込み方法であって、前記参照画像入力部が、特定の２次元パターンを示すための参照画像をディジタルデータとして入力するステップと、前記登録部が、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させるステップと、前記電子透かし重畳部が、前記参照画像入力部で得られた前記参照画像の特定の領域に電子透かしを埋め込むステップと、前記埋め込み済み画像出力部が、前記電子透かし重畳部で前記電子透かしが埋め込まれた前記参照画像を出力するステップと、を含む。

第３の発明に係る電子透かし埋め込み装置は、画像に対して特定のＩＤを表す電子透かしを埋め込むための電子透かし埋め込み装置であって、特定の２次元パターンを示すための参照画像をディジタルデータとして入力する参照画像入力部と、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させる登録部と、電子透かしを埋め込む対象となる画像をディジタルデータとして入力する画像入力部と、前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別する画像検索部と、前記画像検索部による識別結果に基づいて、前記画像入力部で入力された前記画像の特定の領域に電子透かしを埋め込む電子透かし重畳部と、前記電子透かし重畳部で前記電子透かしが埋め込まれた前記画像を出力する埋め込み済み画像出力部と、を含んで構成されている。

第４の発明に係る電子透かし埋め込み方法は、 参照画像入力部、登録部、画像入力部、画像検索部、電子透かし重畳部、及び埋め込み済み画像出力部を含み、画像に対して特定のＩＤを表す電子透かしを埋め込むための電子透かし埋め込み装置における電子透かし埋め込み方法であって、前記参照画像入力部が、特定の２次元パターンを示すための参照画像をディジタルデータとして入力するステップと、前記登録部が、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させると、前記画像入力部が、電子透かしを埋め込む対象となる画像をディジタルデータとして入力するステップと、前記画像検索部が、前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別するステップと、前記電子透かし重畳部が、前記画像検索部による識別結果に基づいて、前記画像入力部で入力された前記画像の特定の領域に電子透かしを埋め込むステップと、前記埋め込み済み画像出力部が、前記電子透かし重畳部で前記電子透かしが埋め込まれた前記画像を出力するステップと、を含む。

第５の発明に係る電子透かし検出装置は、電子透かしが埋め込まれた画像について、埋め込まれている電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取るための電子透かし検出装置であって、特定の２次元パターンを示すための参照画像をディジタルデータとして入力する参照画像入力部と、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させる登録部と、電子透かしを検出する対象となる画像をディジタルデータとして入力する画像入力部と、前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別する画像検索部と、前記画像検索部によって対応付けられた前記特徴点同士の位置の相違に基づいて、前記画像入力部により入力された画像に加えられている射影変換を表す射影変換行列パラメータを推定し、前記射影変換行列パラメータに基づいて、前記画像入力部により入力された画像における、前記記憶部に記憶されている前記参照画像の四隅位置座標に対応する位置座標を算出する四隅座標計算部と、前記四隅座標計算部により算出された前記画像入力部により入力された画像における前記位置座標に基づいて、前記画像入力部により入力された画像を正面から見た規定の大きさの画像に射影変換して補正する射影変換補正部と、前記射影変換補正部により補正された画像に基づいて、埋め込まれた電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取る電子透かし検出部と、前記電子透かし検出部によって検出された前記電子透かしを表すＩＤ情報を、ディジタルデータとして出力する結果出力部と、を含んで構成されている。

第６の発明に係る電子透かし検出方法は、参照画像入力部、登録部、画像入力部、画像検索部、四隅座標計算部、射影変換補正部、電子透かし検出部、及び結果出力部を含み、電子透かしが埋め込まれた画像について、埋め込まれている電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取るための電子透かし検出装置における電子透かし検出方法であって、前記参照画像入力部が、特定の２次元パターンを示すための参照画像をディジタルデータとして入力するステップと、前記登録部が、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させるステップと、前記画像入力部が、電子透かしを検出する対象となる画像をディジタルデータとして入力するステップと、前記画像検索部が、前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別するステップと、前記四隅座標計算部が、前記画像検索部によって対応付けられた前記特徴点同士の位置の相違に基づいて、前記画像入力部により入力された画像に加えられている射影変換を表す射影変換行列パラメータを推定し、前記射影変換行列パラメータに基づいて、前記画像入力部により入力された画像における、前記記憶部に記憶されている前記参照画像の四隅位置座標に対応する位置座標を算出するステップと、前記射影変換補正部が、前記四隅座標計算部により算出された前記画像入力部により入力された画像における前記位置座標に基づいて、前記画像入力部により入力された画像を正面から見た規定の大きさの画像に射影変換して補正するステップと、前記電子透かし検出部が、前記射影変換補正部により補正された画像に基づいて、埋め込まれた電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取るステップと、前記結果出力部が、前記電子透かし検出部によって検出された前記電子透かしを表すＩＤ情報を、ディジタルデータとして出力するステップと、を含む。

上記の電子透かし検出装置及び上記の電子透かし検出方法において、前記四隅座標計算部は、前記射影変換行列パラメータを推定する際に、ＲＡＮＳＡＣに基づく最小二乗法アルゴリズムを用いるようにすることができる。

第７の発明に係るプログラムは、コンピュータを、上記の電子透かし埋め込み装置の各部として機能させるためのプログラムである。

第８の発明に係るプログラムは、コンピュータを、上記の電子透かし検出装置の各部として機能させるためのプログラムである。

本発明の電子透かし埋め込み装置、方法、及びプログラムによれば、参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部に記憶させ、参照画像の特定の領域に電子透かしを埋め込むことのより、電子透かしのための枠を画像に付与しなくても、画像に対し、安定して検出される電子透かしを埋め込むことができる、という効果が得られる。

また、本発明の電子透かし検出装置、方法、及びプログラムによれば、参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部に記憶させ、電子透かしを検出する対象となる画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、記憶部に記憶されている特徴点との対応付けを、局所特徴量の照合により行って、当該画像が参照画像の何れに該当するかを識別し、特徴点同士の位置の相違に基づいて推定された射影変換行列パラメータに基づいて、当該画像における、記憶部に記憶されている参照画像の四隅位置座標に対応する位置座標を算出し、当該画像における位置座標に基づいて、当該画像を正面から見た規定の大きさの画像に射影変換して補正し、補正された画像に基づいて、埋め込まれた電子透かしを検出し、電子透かしが表すＩＤ情報を読み取ることにより、電子透かしのための枠が画像に付与されていなくても、画像から安定して電子透かしを検出することができる、という効果が得られる。

第１の実施の形態に係る電子透かし埋め込み装置の構成を示すブロック図である。 第１の実施の形態に係る電子透かし検出装置の構成を示すブロック図である。 第１の実施の形態に係る電子透かし埋め込み装置における電子透かし埋め込み処理ルーチンを示すフローチャートである。 第１の実施の形態に係る電子透かし検出装置における電子透かし検出処理ルーチンを示すフローチャートである。 第２の実施の形態に係る電子透かし埋め込み装置の構成を示すブロック図である。 第２の実施の形態に係る電子透かし検出装置における電子透かし検出処理ルーチンを示すフローチャートである。 第２の実施の形態に係る電子透かし検出装置における電子透かし検出処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態の概要＞
本発明の実施の形態は、電子透かしが埋め込まれた画像に対して、射影変換が施された場合に、電子透かしの検出を容易にするための技術に関連する。

カメラによって撮影された画像から電子透かしを検出するためには、射影変換が必要であり、射影変換のためには画像の四隅情報が必要となる。従来技術では、画像に枠を設けて四隅情報を特定していた。本発明の実施の形態では、画像の特徴点の位置座標と四隅位置座標とを事前に登録しておき、特徴点の対応付けに応じて四隅位置座標を得る。

本実施の形態において、電子透かしを画像に埋め込む際には、対象の画像の特徴点を検出し、検出された各特徴点の座標と、各特徴点に関する局所特徴量と、当該画像の四隅位置座標とを登録しておく。そして、各特徴点の座標と、各特徴点に関する局所特徴量と、当該画像の四隅位置座標とが登録された画像に対し、電子透かしを画像全体に埋め込んで、その画像を印刷し流通させる。

また、本発明の実施の形態において、電子透かしを検出する際には、カメラによって撮影され、かつ電子透かしが埋め込まれた画像から特徴点を抽出し、特徴点から得られる局所特徴量から、当該画像が登録済みの画像の何れに該当するかを識別する。そして、各特徴点の位置に基づいて、登録済みの画像の対応特徴点の位置への歪み（位置ずれ）を射影変換行列として求める。そして、射影変換行列に基づいて、電子透かし埋め込み位置の四隅位置座標を逆算することで、電子透かしが埋め込まれた画像を正面から見た特定スケールの画像へ正規化する。

これにより、電子透かしのための枠を利用せずとも、斜め方向からの画像の撮影に対し、電子透かしの検出を安定的に行うことが可能になる。

上記の方法では、電子透かしの埋め込み対象となる参照画像を予め決めておく必要がある。例えば、特定の会社のプライベートブランドのロゴを参照画像として登録しておき、商品ごとに異なるＩＤの電子透かしを登録済みのロゴに埋め込んで貼付すれば、カメラでロゴを撮影するだけでその商品が何であるかを特定することができ、その商品の詳細情報をユーザに提供できるようになる。

また、プライベートブランドロゴは高々数種類のパターンに限定でき、その識別も比較的容易なため、ロゴの誤識別率および電子透かしの誤検出率も非常に小さく抑えられる。

本実施形態では、参照画像に電子透かしを埋め込む電子透かし埋め込み装置と、電子透かしが埋め込まれた画像から電子透かしを検出する電子透かし検出装置とに、本発明を適用した場合を例に説明する。

＜本発明の第１の実施の形態＞

（第１の実施の形態の電子透かし埋め込み装置の構成）
第１の実施の形態に係る電子透かし埋め込み装置の構成について説明する。第１の実施の形態に係る電子透かし埋め込み装置１００は、ＣＰＵと、ＲＡＭと、後述する電子透かし埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この電子透かし装置１００は、機能的には図１に示すように参照画像入力部１０と、演算部２０と、埋め込み画像出力部３０とを備えている。電子透かし埋め込み装置１００は、画像に対して特定のＩＤを表す電子透かしを埋め込むための装置である。第１の実施の形態では、電子透かしの埋め込み処理対象の画像は唯一つの画像パターンとして予め決められ、埋め込み処理対象の画像と参照画像とが同じである場合を例に説明する。

参照画像入力部１０は、特定の２次元パターンを示すための参照画像をディジタルデータとして入力する。具体的には、参照画像入力部１０は、電子透かしを埋め込む対象の参照画像をディジタルデータとして入力し、後述する演算部２０の登録部２２へ出力する。

演算部２０は、登録部２２と、記憶部２３と、電子透かし重畳部２４とを備える。

登録部２２は、参照画像入力部１０によって受け付けた参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを、後述する記憶部２３に記憶させる。

具体的には、まず、登録部２２は、参照画像入力部１０にて入力された参照画像の各特徴点を抽出する。そして、登録部２２は、抽出された各特徴点の位置座標と、各特徴点の局所特徴量と、参照画像の四隅位置座標とを、識別辞書として記憶部２３に登録する。

ここで、参照画像の四隅位置座標は、矩形の４点の座標を特定できる情報、例えば４点の座標、あるいは始点座標と画像のサイズ等によって定義される。例えば、四隅位置座標を参照画像自体の四隅位置の座標とする場合は、参照画像の入力によって四隅位置座標も自動的に登録される。

一方、参照画像上の任意の位置において四隅位置を定義する場合は、登録部２２において、人間の手作業によって四隅位置座標が入力される。その際、四隅位置座標の座標値をテキストにより入力しても良いし、画像を見ながらポインティングデバイス等で位置を指定することで入力しても良い。四隅位置座標の登録は、例えば特許文献１（特開２０１５−２０１１２３号公報）に示された方法などが利用可能である。

記憶部２３には、参照画像入力部１０によって受け付けた参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とが識別辞書として記憶される。なお、記憶部２３は、例えばサーバなどを利用し、インターネット経由で参照できるようにしても良い。

電子透かし重畳部２４は、参照画像入力部１０で得られた参照画像の特定の領域に電子透かしを埋め込む。

具体的には、電子透かし重畳部２４は、参照画像入力部１０で得られた参照画像に対して、特定のＩＤを表す電子透かしを画像に埋め込む。ここで、電子透かし重畳部２４は、電子透かし埋め込み位置として、例えば、参照画像入力部１０で入力された参照画像の四隅の点を結んで表される矩形領域全体に、電子透かしを埋め込む。

なお、予め決められたルールにより、参照画像の矩形領域から逆算できる特定領域に電子透かしを埋め込んでも良い。この場合は、登録部２２及び後述する電子透かし検出装置１１０の登録部６２において、特定領域の指定ルールを記憶部２３に記憶させる必要がある。

電子透かし埋め込み方法としては、例えば上記非特許文献１に示された方法などを利用することができる。また、電子透かし埋め込みのための電子透かしパターンを生成する際に利用された秘密鍵（例えば、電子透かし埋め込みアルゴリズムにおけるスペクトル拡散変調での疑似乱数生成に関する情報などが該当する）は、後述する電子透かし検出装置１１０の電子透かし検出部７０においても利用される。

ここで、登録部２２によって各特徴点の位置座標等が登録された参照画像ごとに秘密鍵を変え、後述する電子透かし検出装置１１０では画像検索結果に応じて秘密鍵を選定し利用する方法も考えられる。この場合、電子透かしの埋め込み可能なＩＤの数を秘密鍵の数だけ増やすことができる。そのため、ＩＤをたくさん利用する必要がある場合には有効な手法となる。

埋め込み画像出力部３０は、電子透かし重畳部２４によって電子透かしが埋め込まれた参照画像を、埋め込み済み画像として出力する。出力先としては、例えば、プリンタ等で印刷物として出力する他に、ＨＤＤなどの電子媒体へ画像ファイルとしていったん蓄積し、その後、画像をディスプレイに表示あるいはプリンタ印刷するといった場合も考えられる。

（第１の実施の形態の電子透かし検出装置の構成）
次に、第１の実施の形態に係る電子透かし検出装置の構成について説明する。第１の実施の形態に係る電子透かし検出装置１１０は、ＣＰＵと、ＲＡＭと、後述する電子透かし検出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この電子透かし検出装置１１０は、機能的には図２に示すように参照画像入力部５０と、画像入力部５２と、演算部６０と、結果出力部８０とを備えている。電子透かし検出装置１１０は、電子透かしが埋め込まれた画像について、埋め込まれている電子透かしを検出し、電子透かしが表すＩＤ情報を読み取るための装置である。

参照画像入力部５０は、特定の２次元パターンを示すための参照画像をディジタルデータとして入力する。参照画像入力部５０は、電子透かしが埋め込まれる画像と同じパターンの画像をディジタルデータとして入力し、演算部６０の登録部６２へ出力する。これは、電子透かし埋め込み装置１００の参照画像入力部１０と同じ処理を行うものであり、入力すべき参照画像のコンテンツは同一にする。そのため、参照画像入力部５０と、電子透かし埋め込み装置１００の参照画像入力部５０とについては、共有する構成にしても良い。

画像入力部５２は、電子透かしを検出する対象となる画像をディジタルデータとして入力する。そして、画像入力部５２は、画像を後述する演算部６０の画像検索部６４へ出力する。電子透かしを検出する対象となる画像は、例えば、スマートフォンなどのカメラで撮影されディジタル入力される。

演算部６０は、登録部６２と、記憶部６３と、画像検索部６４と、四隅座標計算部６６と、射影変換補正部６８と、電子透かし検出部７０とを備えている。

登録部６２は、電子透かし埋め込み装置１００の登録部２２と同様に、参照画像入力部５０により入力された参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを、後述する記憶部６３に記憶させる。

登録部６２が、各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを参照画像から取得する方法としては、例えば上記特許文献１に示された方法などを利用することができる。登録部６２は、電子透かし埋め込み装置１００の登録部２２と同じ処理を行うものであり、登録される参照画像のコンテンツは同一にする必要がある。そのため、登録部６２は電子透かし埋め込み装置１００の登録部２２と共有する構成にしても良い。

記憶部６３は、参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、当該参照画像の四隅位置座標とが識別辞書として記憶される。記憶部６３はサーバなどを利用し、インターネット経由で参照できるようにしても良い。

画像検索部６４は、画像入力部５２により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、記憶部６３に記憶されている特徴点との対応付けを、局所特徴量の照合により行う。そして、画像検索部６４は、特徴点の対応付けの結果から、画像入力部５２により入力された画像が参照画像の何れに該当するかを識別する。

具体的には、画像検索部６４は、記憶部６３から参照画像の識別辞書を呼び出し、画像入力部５２で入力された画像と照合することにより検索を行う。ここでは上記特許文献１の手法を利用することができる。この方法によれば、画像入力部５２により入力された画像に含まれるパターンが、予め登録された参照画像のうち何れであるかを識別できるとともに、被写体から検出される特徴点とあらかじめ登録された被写体の特徴点の対応付けも可能となる。

四隅座標計算部６６は、画像検索部６４によって識別された参照画像と対応付けられた特徴点同士の位置の相違に基づいて、画像入力部５２により入力された画像に加えられている射影変換を表す射影変換行列パラメータを推定する。そして、四隅座標計算部６６は、推定された射影変換行列パラメータに基づいて、画像入力部５２により入力された画像における、記憶部６３に記憶されている参照画像の四隅位置座標に対応する位置座標を算出する。

例えば、四隅座標計算部６６は、射影変換行列パラメータを推定する際に、ＲＡＮＳＡＣに基づく最小二乗法アルゴリズムを用いることができる。ＲＡＮＳＡＣ（非特許文献２：Simon J. D. Prince「Computer Vision: Model, Learning, and Interface」Cambridge University Press, pp.342-345, 2012）に基づく最小二乗法アルゴリズムを適用することで、射影変換行列のパラメータの推定を精度良く行うことができる。

そして、四隅座標計算部６６は、記憶部６３に記憶された参照画像の四隅位置座標が、画像入力部５２により入力された画像のどの位置に対応づけられるかを、推定した射影変換行列パラメータを基に逆算して求める。そして、四隅座標計算部６６は、四隅位置座標に対応する位置座標の結果を射影変換補正部６８へ出力する。

射影変換補正部６８は、四隅座標計算部６６により算出された画像入力部５２により入力された画像における位置座標に基づいて、画像入力部５２により入力された画像を正面から見た規定の大きさの画像に射影変換して補正する。

これにより、カメラの撮影方向に依らず、記憶部６３に記憶された参照画像と同じ向き及び大きさに、画像入力部５２により入力された画像を正規化することができる。また、四隅位置座標を結んでできる矩形領域の外にあたる部分は、後述する電子透かし検出部７０の処理において必要ないためクリッピングする（ただし、電子透かし埋め込み装置１００の電子透かし重畳部２４において、電子透かしを埋め込んだ領域を画像全体としなかった場合は、その埋め込み領域の特定ルールに基づきクリッピングが行われる）。

電子透かし検出部７０は、射影変換補正部６８により補正された画像に基づいて、埋め込まれた電子透かしを検出し、電子透かしが表すＩＤ情報を読み取る。

ここで、電子透かし検出部７０は、電子透かし埋め込み装置１００の電子透かし重畳部２４で利用された秘密鍵をここで適用する。具体的には、上記非特許文献１に示された電子透かし方式などが利用可能である。そして、電子透かし検出部７０は、電子透かしの検出結果を結果出力部８０へ出力する。

結果出力部８０は、電子透かし検出部７０によって検出された電子透かしを表すＩＤ情報を、ディジタルデータとして出力する。あるいは、結果出力部８０は、ＩＤ情報に紐づけられたＷｅｂのＵＲＬ情報を出力する。この場合は、ＩＤ情報とＵＲＬ情報とを変換するテーブルを記憶領域に保存し、その都度そのテーブルを参照することになる。

＜第１の実施の形態に係る電子透かし埋め込み装置の作用＞

次に、本発明の実施の形態に係る電子透かし埋め込み装置１００の作用について説明する。参照画像が電子透かし埋め込み装置１００に入力されると、電子透かし埋め込み装置１００は、図３に示す電子透かし埋め込み処理ルーチンを実行する。

まず、ステップＳ１００で、参照画像入力部１０は、入力された参照画像を受け付ける。

ステップＳ１０２で、登録部２２は、上記ステップＳ１００で受け付けた参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部２３に記憶させる。

ステップＳ１０４で、電子透かし重畳部２４は、上記ステップＳ１００で受け付けた参照画像の特定の領域に電子透かしを埋め込む。

ステップＳ１０６で、埋め込み画像出力部３０は、上記ステップＳ１０４で電子透かしが埋め込まれた参照画像を、埋め込み済み画像として出力し処理を終了する。

＜第１の実施の形態に係る電子透かし検出装置の作用＞

次に、本発明の実施の形態に係る電子透かし検出装置１１０の作用について説明する。参照画像と電子透かしを検出する対象となる画像とが電子透かし検出装置１１０に入力されると、電子透かし検出装置１１０は、図４に示す電子透かし検出処理ルーチンを実行する。

ステップＳ２００で、参照画像入力部５０は、入力された参照画像を受け付ける。

ステップＳ２０２で、登録部６２は、上記ステップＳ２００で受け付けた参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部６３に記憶させる。

ステップＳ２０４で、画像入力部５２は、入力された、電子透かしを検出する対象となる画像を受け付ける。

ステップＳ２０６で、画像検索部６４は、上記ステップＳ２０４で受け付けた画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、記憶部６３に記憶されている特徴点との対応付けを、局所特徴量の照合により行う。そして、画像検索部６４は、特徴点の対応付けの結果から、上記ステップＳ２０４で受け付けた画像が参照画像の何れに該当するかを識別する。

ステップＳ２０８で、四隅座標計算部６６は、上記ステップＳ２０６で識別された参照画像と対応付けられた特徴点同士の位置の相違に基づいて、上記ステップＳ２０４で受け付けた画像に加えられている射影変換を表す射影変換行列パラメータを推定する。そして、四隅座標計算部６６は、推定された射影変換行列パラメータに基づいて、上記ステップＳ２０４で受け付けた画像における、記憶部６３に記憶されている参照画像の四隅位置座標に対応する位置座標を算出する。

ステップＳ２１０で、射影変換補正部６８は、上記ステップＳ２０８で算出された位置座標に基づいて、上記ステップＳ２０４で受け付けた画像を正面から見た規定の大きさの画像に射影変換して補正する。

ステップＳ２１２で、電子透かし検出部７０は、上記ステップＳ２１０で補正された画像に基づいて、上記ステップＳ２０４で受け付けた画像に埋め込まれた電子透かしを検出し、電子透かしが表すＩＤ情報を読み取る。

ステップＳ２１４で、結果出力部８０は、上記ステップＳ２１２で検出された電子透かしを表すＩＤ情報を、ディジタルデータとして出力し処理を終了する。

以上説明したように、第１の実施の形態に係る電子透かし埋め込み装置によれば、参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部に記憶させ、参照画像の特定の領域に電子透かしを埋め込むことのより、電子透かしのための枠を画像に付与しなくても、画像に対し電子透かしを埋め込むことができる。

また、第１の実施の形態に係る電子透かし検出装置によれば、電子透かしを検出する対象となる画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、記憶部に記憶されている特徴点との対応付けを、局所特徴量の照合により行って、当該画像が参照画像の何れに該当するかを識別し、特徴点同士の位置の相違に基づいて推定された射影変換行列パラメータに基づいて、当該画像における、記憶部に記憶されている参照画像の四隅位置座標に対応する位置座標を算出し、当該画像における位置座標に基づいて、当該画像を正面から見た規定の大きさの画像に射影変換して補正し、補正された画像に基づいて、埋め込まれた電子透かしを検出し、電子透かしが表すＩＤ情報を読み取ることにより、電子透かしのための枠が画像に付与されていなくても、画像から電子透かしを検出することができる。

また、電子透かしの埋め込まれた画像に対してカメラで撮影して電子透かしを検出する際、明示的に枠を付与しなくても、斜め方向からの撮影に対しロバストに電子透かしを検出することができる。

＜本発明の第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。第２の実施の形態では、埋め込み処理対象の画像の画像パターンが複数存在する点が、第１の実施の形態と異なる。

（第２の実施の形態の電子透かし埋め込み装置の構成）
第２の実施の形態に係る電子透かし埋め込み装置の構成について説明する。図５に示すように、第２の実施の形態に係る電子透かし埋め込み装置２００は、ＣＰＵと、ＲＡＭと、後述する電子透かし埋め込み処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この電子透かし装置２００は、機能的には図５に示すように参照画像入力部１０と、画像入力部２１２と、演算部２２０と、埋め込み画像出力部３０とを備えている。第２の実施の形態に係る電子透かし埋め込み装置２００は、図５に示すように、電子透かしの埋め込みにおいて、画像入力部２１２と画像検索部２２３とを備える点が、第１の実施の形態と異なる。

参照画像入力部２１０は、特定の２次元パターンを示すための参照画像をディジタルデータとして入力する。ここで、参照画像入力部２１０において、参照画像が複数パターン存在する場合は、パターンの数分だけ入力が繰り返される。第２の実施の形態では、参照画像が複数パターン存在し、複数の参照画像が参照画像入力部２１０により入力される場合を例に説明する。

画像入力部２１２は、電子透かしを埋め込む対象となる画像をディジタルデータとして入力する。そして、画像入力部５２は、画像を後述する演算部６０の画像検索部６４へ出力する。

演算部２２０は、登録部２２２と、記憶部２３と、画像検索部２２３と、電子透かし重畳部２４とを備える。

登録部２２２は、参照画像入力部２１０により入力された参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを、記憶部２３に記憶させる。参照画像入力部２１０によって、複数パターンの参照画像が入力されるため、画像パターンの数分だけ記憶部２３への登録が繰り返される。

画像検索部２２３は、画像入力部２１２により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、記憶部２３に記憶されている特徴点との対応付けを、局所特徴量の照合により行う。そして、画像検索部２２３は、特徴点の対応付けの結果から、画像入力部２１２により入力された画像が参照画像の何れに該当するかを識別する。なお、画像検索部２２３による検索処理は、機械が自動的に行うのではなく、人間が目視等で確認して手作業で実施しても良い。

電子透かし重畳部２４は、画像検索部２２３による識別結果に基づいて、画像入力部２１２で得られた画像の特定の領域に電子透かしを埋め込む。

具体的には、電子透かし重畳部２４は、画像検索部２２３によって何れかの参照画像に該当すると識別された場合、画像入力部２１２で得られた画像に対して、特定のＩＤを表す電子透かしを画像に埋め込む。ここで、電子透かし重畳部２４は、電子透かし埋め込み位置として、例えば、画像検索部２２３で識別された参照画像の四隅の点を結んで表される矩形領域全体に、電子透かしを埋め込む。

埋め込み画像出力部３０は、電子透かし重畳部２４によって電子透かしが埋め込まれた画像を、埋め込み済み画像として出力する。

なお、第２の実施の形態に係る電子透かし検出装置の構成は、第１の実施の形態の電子透かし検出装置１１０と同様の構成となるため、同一符号を付して説明を省略する。

＜第２の実施の形態に係る電子透かし埋め込み装置の作用＞

次に、第２の実施の形態に係る電子透かし埋め込み装置２００の作用について説明する。複数の参照画像と、電子透かしを検出する対象となる画像とが電子透かし埋め込み装置２００に入力されると、電子透かし埋め込み装置２００は、図６に示す電子透かし埋め込み処理ルーチンを実行する。

まず、ステップＳ３００で、参照画像入力部２１０は、入力された複数の参照画像を受け付ける。

ステップＳ３０２で、登録部２２は、上記ステップＳ３００で受け付けた複数の参照画像から１つの参照画像を設定し、当該参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部２３に記憶させる。

ステップＳ３０３で、登録部２２は、上記ステップＳ３００で受け付けた複数の参照画像の全てについて、上記ステップＳ３０２の処理を実行したか否かを判定する。全ての参照画像について、上記ステップＳ３０２の処理を実行した場合には、ステップＳ３０４へ進む。一方、上記ステップＳ３０２の処理を実行していない参照画像が存在する場合には、ステップＳ３０２へ戻る。

ステップＳ３０４で、画像入力部２１２は、入力された、電子透かしを検出する対象となる画像を受け付ける。

ステップＳ３０６で、画像検索部２２３は、上記ステップＳ３０４で受け付けた画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、記憶部２３に記憶されている特徴点との対応付けを、局所特徴量の照合により行う。そして、画像検索部２２３は、特徴点の対応付けの結果から、上記ステップＳ３０４で受け付けた画像が参照画像の何れに該当するかを識別する。

ステップＳ３０８で、電子透かし重畳部２４は、上記ステップＳ３０４で受け付けた画像の特定の領域に電子透かしを埋め込む。

ステップＳ３１０で、埋め込み画像出力部３０は、上記ステップＳ３０８で電子透かしが埋め込まれた画像を出力し処理を終了する。

＜第２の実施の形態に係る電子透かし検出装置の作用＞

次に、本発明の実施の形態に係る電子透かし検出装置の作用について説明する。複数の参照画像と電子透かしを検出する対象となる画像とが、第２の実施の形態の電子透かし検出装置に入力されると、電子透かし検出装置は、図７に示す電子透かし検出処理ルーチンを実行する。

ステップＳ４００で、参照画像入力部５０は、入力された複数の参照画像を受け付ける。

ステップＳ４０２で、登録部６２は、上記ステップＳ４００で受け付けた参照画像のうち１つの参照画像を設定し、当該参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部６３に記憶させる。

ステップＳ４０３で、登録部６２は、上記ステップＳ４００で受け付けた複数の参照画像の全てについて、上記ステップＳ４０２の処理を実行したか否かを判定する。全ての参照画像について、上記ステップＳ４０２の処理を実行した場合には、ステップＳ２０４へ進む。一方、上記ステップＳ４０２の処理を実行していない参照画像が存在する場合には、ステップＳ４０２へ戻る。

なお、第２の実施の形態に係る文書評価装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態に係る電子透かし埋め込み装置によれば、参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、参照画像の四隅位置座標とを記憶部に記憶させ、電子透かしを埋め込む対象となる画像をディジタルデータとして入力し、入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、記憶部に記憶されている特徴点との対応付けを、局所特徴量の照合により行って、特徴点の対応付けの結果から、入力された画像が参照画像の何れに該当するかを識別し、入力された画像の特定の領域に電子透かしを埋め込むことにより、電子透かしのための枠を画像に付与しなくても、画像に対し電子透かしを埋め込むことができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、第２の実施の形態では、複数の参照画像が入力される場合を例に説明したが、これに限定されるものではなく、１つの参照画像が入力されてもよい。

また、上記実施の形態では、電子透かし埋め込み装置及び電子透かし検出装置が記憶部を備えている場合について説明したが、これに限定されるものではない。例えば記憶部が電子透かし埋め込み装置及び電子透かし検出装置の外部装置に設けられ、電子透かし埋め込み装置及び電子透かし検出装置は、外部装置と通信手段を用いて通信することにより、記憶部を参照するようにしてもよい。

上述の電子透かし埋め込み装置及び電子透かし検出装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばCD-ROM、DVD-ROM、CD-R、CD-RW、MO、HDD等は本発明を構成する。

１０ 参照画像入力部
２０，２２０ 演算部
２２，２２２ 登録部
２３ 記憶部
２４ 電子透かし重畳部
３０ 埋め込み画像出力部
５０，２１０ 参照画像入力部
５２，２１２ 画像入力部
６０ 演算部
６２ 登録部
６３ 記憶部
６４，２２３ 画像検索部
６６ 四隅座標計算部
６８ 射影変換補正部
７０ 電子透かし検出部
８０ 結果出力部
１００，２００ 電子透かし埋め込み装置
１１０ 電子透かし検出装置

Claims (8)

1. 画像に対して特定のＩＤを表す電子透かしを埋め込むための電子透かし埋め込み装置であって、
   特定の２次元パターンを示すための参照画像をディジタルデータとして入力する参照画像入力部と、
   前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させる登録部と、
   電子透かしを埋め込む対象となる画像をディジタルデータとして入力する画像入力部と、
   前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別する画像検索部と、
   前記画像検索部による識別結果に基づいて、前記画像入力部で入力された前記画像の特定の領域に電子透かしを埋め込む電子透かし重畳部と、
   前記電子透かし重畳部で前記電子透かしが埋め込まれた前記画像を出力する埋め込み済み画像出力部と、
   を含む電子透かし埋め込み装置。
2. 電子透かしが埋め込まれた画像について、埋め込まれている電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取るための電子透かし検出装置であって、
   特定の２次元パターンを示すための参照画像をディジタルデータとして入力する参照画像入力部と、
   前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させる登録部と、
   電子透かしを検出する対象となる画像をディジタルデータとして入力する画像入力部と、
   前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別する画像検索部と、
   前記画像検索部によって対応付けられた前記特徴点同士の位置の相違に基づいて、前記画像入力部により入力された画像に加えられている射影変換を表す射影変換行列パラメータを推定し、前記射影変換行列パラメータに基づいて、前記画像入力部により入力された画像における、前記記憶部に記憶されている前記参照画像の四隅位置座標に対応する位置座標を算出する四隅座標計算部と、
   前記四隅座標計算部により算出された前記画像入力部により入力された画像における前記位置座標に基づいて、前記画像入力部により入力された画像を正面から見た規定の大きさの画像に射影変換して補正する射影変換補正部と、
   前記射影変換補正部により補正された画像に基づいて、埋め込まれた電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取る電子透かし検出部と、
   前記電子透かし検出部によって検出された前記電子透かしを表すＩＤ情報を、ディジタルデータとして出力する結果出力部と、
   を含む電子透かし検出装置。
3. 前記四隅座標計算部は、前記射影変換行列パラメータを推定する際に、ＲＡＮＳＡＣに基づく最小二乗法アルゴリズムを用いる請求項２に記載の電子透かし検出装置。
4. 参照画像入力部、登録部、画像入力部、画像検索部、電子透かし重畳部、及び埋め込み済み画像出力部を含み、画像に対して特定のＩＤを表す電子透かしを埋め込むための電子透かし埋め込み装置における電子透かし埋め込み方法であって、
   前記参照画像入力部が、特定の２次元パターンを示すための参照画像をディジタルデータとして入力するステップと、
   前記登録部が、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させると、
   前記画像入力部が、電子透かしを埋め込む対象となる画像をディジタルデータとして入力するステップと、
   前記画像検索部が、前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別するステップと、
   前記電子透かし重畳部が、前記画像検索部による識別結果に基づいて、前記画像入力部で入力された前記画像の特定の領域に電子透かしを埋め込むステップと、
   前記埋め込み済み画像出力部が、前記電子透かし重畳部で前記電子透かしが埋め込まれた前記画像を出力するステップと、
   を含む電子透かし埋め込み方法。
5. 参照画像入力部、登録部、画像入力部、画像検索部、四隅座標計算部、射影変換補正部、電子透かし検出部、及び結果出力部を含み、電子透かしが埋め込まれた画像について、埋め込まれている電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取るための電子透かし検出装置における電子透かし検出方法であって、
   前記参照画像入力部が、特定の２次元パターンを示すための参照画像をディジタルデータとして入力するステップと、
   前記登録部が、前記参照画像から抽出される各特徴点の位置座標と、各特徴点の位置より検出される局所特徴量と、前記参照画像の四隅位置座標とを記憶部に記憶させるステップと、
   前記画像入力部が、電子透かしを検出する対象となる画像をディジタルデータとして入力するステップと、
   前記画像検索部が、前記画像入力部により入力された画像から各特徴点の位置座標を抽出し、各特徴点の位置より局所特徴量を検出し、前記記憶部に記憶されている特徴点との対応付けを、前記局所特徴量の照合により行って、前記特徴点の対応付けの結果から、前記画像入力部により入力された画像が前記参照画像の何れに該当するかを識別するステップと、
   前記四隅座標計算部が、前記画像検索部によって対応付けられた前記特徴点同士の位置の相違に基づいて、前記画像入力部により入力された画像に加えられている射影変換を表す射影変換行列パラメータを推定し、前記射影変換行列パラメータに基づいて、前記画像入力部により入力された画像における、前記記憶部に記憶されている前記参照画像の四隅位置座標に対応する位置座標を算出するステップと、
   前記射影変換補正部が、前記四隅座標計算部により算出された前記画像入力部により入力された画像における前記位置座標に基づいて、前記画像入力部により入力された画像を正面から見た規定の大きさの画像に射影変換して補正するステップと、
   前記電子透かし検出部が、前記射影変換補正部により補正された画像に基づいて、埋め込まれた電子透かしを検出し、前記電子透かしが表すＩＤ情報を読み取るステップと、
   前記結果出力部が、前記電子透かし検出部によって検出された前記電子透かしを表すＩＤ情報を、ディジタルデータとして出力するステップと、
   を含む電子透かし検出方法。
6. 前記四隅座標計算部が前記位置座標を算出するステップは、前記射影変換行列パラメータを推定する際に、ＲＡＮＳＡＣに基づく最小二乗法アルゴリズムを用いる請求項５に記載の電子透かし検出方法。
7. コンピュータを、請求項１に記載の電子透かし埋め込み装置の各部として機能させるためのプログラム。
8. コンピュータを、請求項２又は請求項３に記載の電子透かし検出装置の各部として機能させるためのプログラム。

Images