JP6006698B2 - マーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラム - Google Patents

Description

本発明は、静止画や動画像に対して射影変換が施された場合においても元の静止画や動画像への逆変換を容易にするためのマーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラムに関するものである。

画像、映像といったコンテンツの流通において、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。特に、画像・映像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法としては例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（例えば、特許文献１）。

また、電子透かしにおいては、デジタルコンテンツを表すデジタル信号が、電子透かしの埋め込み後に受けるさまざまな改変に対して耐性を持つこと、すなわちさまざまな改変を受けた上で電子透かしを検出できることが必要である。特に電子透かしが耐性を持つべき重要な改変としては、幾何学的変換を挙げられる。幾何学的変換への耐性は、対象となる画像、映像といったコンテンツをカメラで再撮影して、そのコンテンツに埋め込まれた電子透かしを検出する場合に必須の要件となっている。なぜなら、コンテンツを撮影する距離やアングルの違いに応じて、コンテンツに対して幾何学的変換が生じるからである。

幾何学的変換に対して耐性を持たせる方法としては、電子透かしが埋め込まれている画像の縁を検出し、画像の四隅の位置を特定することで逆射影変換を行って変換前の状態を復元する手法がある（特許文献２）。この方法だと、射影変換による変形を伴った画像からも電子透かしを検出できるが、画像の縁を安定的に検出するためには画像の周囲に黒い枠もしくは白い枠で囲う必要がある。これは人間の目で知覚されるため、コンテンツ自体のデザイン性を大きく損ねてしまう問題がある。

一方、電子透かしを空間的な繰り返しパターンとして埋め込み、検出時にはそのパターンの自己相関を利用して補正する方法（特許文献３）、画像の周波数空間上に人間に不可視なかたちでマーカを埋め込み、それを使って補正する方法（特許文献４、特許文献５）がある。これらは人間の目で知覚されることなく、幾何学的変換を伴った画像から電子透かしを検出できるが、対応可能なのは回転、スケール変換などに代表されるアフィン変換であり、射影変換には対応できない問題がある。また、これらの方法においては、マーカの埋め込み強度とマーカ検出安定性とが比例するため、マーカの検出精度を高くする場合にはマーカのパターンの埋め込み強度を強める必要があり、マーカが視認されやすくなってしまうという問題がある。

特開２００３−２１９１４８号公報 特開２００５−２７７７３２号公報 特表２００３−５１０９３１号公報 特開２００５−０５１７９３号公報 特開２０１０−２３２８８６号公報

上述したように、特許文献１〜５に記載されている発明や技術では、コンテンツのデザイン性を損なうことなく、射影変換が施された画像や映像に対して逆射影変換により元の画像や映像に変換することができないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、コンテンツのデザイン性を損なわずに、射影変換が施された画像や映像を元の画像や映像に変換する際に用いるマーカを画像や映像に埋め込むマーカ埋め込み装置及びマーカ埋め込み方法と、当該マーカを画像や映像から検出するマーカ検出装置及びマーカ検出方法と、プログラムとを提供することにある。

本発明の一態様のマーカ埋め込み装置は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳部と、前記マーカとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳部と、前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力部とを備え、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様のマーカ埋め込み装置は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳部と、前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳部と、前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳部と、前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力部とを備え、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様は、上記のマーカ埋め込み装置において、前記ガイドライン重畳部は、前記画像の右端と左端とにそれぞれ一つずつ前記ガイドラインを重畳するか、又は前記画像の上端と下端とにそれぞれ一ずつ前記ガイドラインを重畳することを特徴とする。
また、本発明の一態様は、上記のマーカ埋め込み装置において、前記マーカ重畳部は、前記画像の右端と左端とにそれぞれ一つずつ前記マーカを重畳するか、又は前記画像の上端と下端とにそれぞれ一ずつ前記マーカを重畳することを特徴とする。

また、本発明の一態様のマーカ検出装置は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出部と、検出された前記マーカに基づいて前記画像に対して射影変換を行う射影変換補正部と射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出部と、検出された前記画像に関する情報を出力する検出結果出力部とを備え、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様のマーカ検出装置は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出部と、前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出部と、検出された前記マーカ及び前記ガイドラインに基づいて前記画像に対して射影変換を行う射影変換補正部と射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出部と、検出された前記画像に関する情報を出力する検出結果出力部とを備え、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様は、上記のマーカ検出装置において、前記マーカ検出部は、前記濃淡パターンに応じて定められるボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を、前記濃淡パターンの点として検出することを特徴とする。
また、本発明の一態様は、上記のマーカ検出装置において、前記マーカ検出部は、前記画像の色成分における積分画像を算出し、算出した積分画像に基づいて各画素に対するボックスフィルタの出力値を算出することを特徴とする。

また、本発明の一態様のマーカ埋め込み方法は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳ステップと、前記マーカとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳ステップと、前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力ステップとを有し、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様のマーカ埋め込み方法は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳ステップと、前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳ステップと、前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳ステップと、前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力ステップとを有し、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様のマーカ検出方法は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出ステップと、検出された前記マーカに基づいて前記画像に対して射影変換を行う射影変換補正ステップと射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出ステップと、検出された前記画像に関する情報を出力する検出結果出力ステップとを有し、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様のマーカ検出方法は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出ステップと、前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出ステップと、検出された前記マーカ及び前記ガイドラインに基づいて前記画像に対して射影変換を行う射影変換補正ステップと射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出ステップと、検出された前記画像に関する情報を出力する検出結果出力ステップとを有し、前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値であることを特徴とする。

また、本発明の一態様のプログラムは、上記のマーカ埋め込み装置としてコンピュータを機能させることを特徴とする。
また、本発明の一態様のプログラムは、上記のマーカ検出装置としてコンピュータを機能させることを特徴とする。

この発明によれば、画像の知覚されにくい色成分にマーカを埋め込むことにより、人間の目で知覚されにくいマーカを実現する。また、マーカが有する濃淡パターンにより検出される点の組み合わせから射影変換の影響を受けない複比を算出することにより、当該マーカの画像上における位置を検出することができる。このマーカを予め定められた位置に重畳しておくことにより、射影変換が施された画像を元に戻す逆射影変換を求めることができるので、射影変換が施された画像を元の画像に変換することができる。

本実施形態において用いるマーカの一例を示す図である。 同実施形態において用いるマーカを重畳した画像例を示す図である。 同実施形態のマーカを埋め込んだ画像において電子透かしを埋め込む領域の一例を示す図である。 同実施形態で用いるマーカにおける複比の一例を示す図である。 同実施形態のマーカを検出する際に用いるボックスフィルタの一例を示す図である。 第１の実施形態におけるマーカ埋め込み装置１の構成を示すブロック図である。 同実施形態におけるマーカの領域内における直線的な帯状の領域と任意の直線との交点を検出する際にＢｏｘフィルタが検出する濃淡パターンの一例を示す図である。 同実施形態に置けるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。 同実施形態におけるマーカ検出装置２の構成例を示すブロック図である。 同実施形態においてマーカ検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。 同実施形態におけるマーカ検出部２２がマーカに基づいて算出する直線の例を示す図である。 同実施形態におけるマーカ検出部２２が算出する位置情報の概要を示す図である。 同実施形態におけるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。 第２の実施形態におけるマーカ埋め込み装置３の構成を示すブロック図である。 同実施形態においてガイドライン重畳部３５が画像に重畳するガイドラインのパターンの一例を示す図である。 同実施形態のガイドライン重畳部３５によりガイドラインが重畳された画像例を示す図である。 同実施形態におけるマーカ埋め込み装置３が行うマーカ埋め込み処理を示すフローチャートである。 同実施形態におけるマーカ検出装置４の構成例を示すブロック図である。 同実施形態におけるガイドライン検出部４６がガイドラインを検出する際に用いるＢｏｘフィルタの一例を示す図である。 本実施形態におけるガイドライン検出部４６がガイドラインを検出する処理の概要を示す図である。 同実施形態におけるガイドライン検出部４６がガイドラインを検出する他の処理の概要を示す図である。 同実施形態においてマーカとガイドラインとから得られる位置情報の一例を示す図である。 同実施形態におけるマーカ検出装置４が行うマーカ検出処理を示すフローチャートである。

以下、図面を参照して、本発明の実施形態におけるマーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラムを説明する。図１は、本実施形態において用いるマーカの一例を示す図である。同図に示すように、本実施形態において用いるマーカは、ある領域内に複数の直線的な帯状の領域を所定の条件を満たすように配置したものである。このマーカは、画像に埋め込む際に人間の目に知覚されにくいように、視覚特性において知覚されにくい色成分に埋め込んで用いる。例えば、ＲＧＢ色空間においては、人間が知覚しにくいＢ成分に埋め込む。また、ＹＣｂＣｒ色空間においてＣｂ成分に埋め込む。

同図では、マーカを埋め込む成分において直線的な帯状の領域に正の色差（＋１）を加え、他の領域に負の色差（−１）を加える例が示されている。また、同図に示すパターンでは、直線的な帯状の領域と当該領域に隣接する領域とにおいて、共通した特徴的な濃淡パターン「−１、＋１、−１」が存在している。なお、マーカを埋め込む色成分は、ＲＧＢ色空間においてはＲ成分であってもよく、ＹＣｂＣｒ色空間においてはＣｒ成分であってもよい。以下の説明ではＹＣｂＣｒ色空間におけるＣｂ成分にマーカなどを重畳する場合について説明する。

図２は、本実施形態において用いるマーカを重畳した画像例を示す図である。同図に示すように、本実施形態のマーカは、例えば画像の右端と左端とに埋め込まれる。このとき、画像に埋め込まれたマーカにより特定できる領域内に所定の位置に電子透かしを埋め込むことになる。図３は、本実施形態のマーカを埋め込んだ画像において電子透かしを埋め込む領域の一例を示す図である。同図に示すように、電子透かしを埋め込む領域は、例えば画像の右端と左端とに配置されたマーカで挟まれる領域（矩形領域αβγδ）として特定される。

一方、電子透かしの検出は、マーカが埋め込まれた画像をカメラ等で撮影して得られた撮影画像において人間が知覚しにくい色成分から埋め込まれたマーカを検出する。そして、検出したマーカから取得できる位置情報に基づいた逆射影変換を行うことにより、撮影画像を変換して幾何学的変換前の状態に復元する。復元により得られた画像から電子透かしを検出するなどの処理を行うことにより、射影変換等の幾何学変換に対する電子透かしの耐性を得ることができる。

マーカのパターンが射影変換によって形状変化していても安定してマーカを検出できる必要がある。本実施形態のマーカでは、射影変換不変量である複比（cross ratio）を利用する。図４は、本実施形態で用いるマーカにおける複比の一例を示す図である。同図に示すように、マーカを通過する直線上において得られる７つの点（点Ａ〜点Ｇ）が次式（１）及び次式（２）を満たすように、直線的な帯状の領域をマーカの領域内に配置する。なお、７つの点（点Ａ〜点Ｇ）は直線と各帯状の領域との交点である。また、直線と帯状の領域との交点とは、帯状の領域における長手方向の中心線と直線との交点である。ｎは任意の実数である。

このとき、７つの点（点Ａ〜点Ｇ）の位置から算出される複比は、次式（３）となる。

式（３）の値は射影変換によらず一定の値となる。例えば、ｎ＝３の場合、（３×５）／４^２＝１５／１６となる。そこで画像上のマーカをＢｏｘフィルタ（ボックスフィルタ）を用いて検出する。図５は、本実施形態のマーカを検出する際に用いるボックスフィルタの一例を示す図である。同図に示すボックスフィルタは、横方向のスキャン（ラスタスキャン）に用いるＢｏｘフィルタであり、９画素×９画素のＢｏｘフィルタである。同図において、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。このＢｏｘフィルタで算出される重み付け加算値に基づいて横方向の濃淡パターンを検出する。

同図に示すＢｏｘフィルタでは、（（ｘ，ｙ）；１≦ｘ≦９，１≦ｙ≦３）と（（ｘ，ｙ）；１≦ｘ≦９，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）と、（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）との画素においては、Ｃｂ成分に対して（−１）を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して（＋２）を乗じる重み付けをする。

このＢｏｘフィルタを用いて画像の各画素をラスタスキャンして得られた値の極値をもとに、連続して見つかった７つの極値の位置（点Ａ’〜点Ｇ’）から次式（４）及び次式（５）の値を算出し、算出した値が式（３）の右辺の値と等しかったらマーカ上をＢｏｘフィルタがマーカ上を横切ったということになる。

前述のようにＢｏｘフィルタを用いたラスタスキャンにより、画像に埋め込まれたマーカを検出し、マーカの位置を特定することが可能となる。また、マーカに配置された直線的な帯状の領域すべてと交差する任意の直線の７つの交点は上記の条件を満たすため、マーカを重畳した画像上のノイズや他の要因によって一部分で当該条件を満たさない領域が存在しても、他の領域において当該条件が満たされればマーカを検出することができる。その結果、マーカの埋め込み強度を小さくしても安定してマーカを検出し、マーカの位置を特定することが可能となる。また、右端と左端とのマーカのうち、片方のマーカだけを検出した場合でも電子透かしの埋め込み領域を特定することが可能なため、一部でオクルージョンが発生している場合に対応できる。

なお、前述のＢｏｘフィルタを用いたラスタスキャンを行う前に、対象画像の積分画像（integral image）を算出しておくことにより、フィルタリングによる演算量を大幅に削減でき、処理の高速化を図ることができる。積分画像の算出には、例えば参考文献１に記載の技術を用いることができる。
［参考文献１］八木康史、斉藤秀雄編「コンピュータビジョン 最先端ガイド２」、アドコムメディア株式会社、４６頁、２０１０年６月

＜第１の実施形態＞
以下、第１の実施形態におけるマーカ埋め込み装置とマーカ検出装置との具体的な構成例について説明する。図６は、第１の実施形態におけるマーカ埋め込み装置１の構成を示すブロック図である。マーカ埋め込み装置１は、入力される画像コンテンツ（静止画）又は映像コンテンツ（動画像）に対して、画像コンテンツ又は映像コンテンツ上の予め定められた領域に前述の特徴を有するマーカを埋め込む。更に、マーカ埋め込み装置１は、マーカの位置に基づいて特定される部分領域に電子透かしを埋め込み、マーカ及び電子透かしを埋め込んだ画像コンテンツ又は映像コンテンツを出力する。同図に示すように、マーカ埋め込み装置１は、画像入力部１１、マーカ重畳部１２、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４を備えている。

画像入力部１１は、予め用意された画像コンテンツ又は映像コンテンツを入力する。なお、映像コンテンツが入力される場合は、映像の時系列に連続する各フレーム画像を一枚ずつ入力する。また、入力される画像コンテンツ又は映像コンテンツは、デジタルデータとして入力される。

マーカ重畳部１２は、画像入力部１１に入力された画像又は映像の各フレーム画像に対して、画像の所定の位置にマーカを重畳する。例えば、図２に示したように、画像の右端と左端とにそれぞれ一箇所ずつマーカを重畳する。以降は、画像の右端と左端とのそれぞれにマーカを重畳（埋め込む）する場合について説明する。マーカのパターンは、図１において示した濃淡パターンである。マーカにおけるパターンの条件は、
（条件１）：マーカの領域内において、位置と傾きとが異なる複数の直線的な帯状の領域を配置したパターンである、
（条件２）：マーカの領域内に配置された複数の直線的な帯状の領域すべてを横切る任意の直線と各直線的な帯状の領域との交点を検出するための濃淡が存在する
ことである。

図７は、本実施形態におけるマーカの領域内における直線的な帯状の領域と任意の直線との交点を検出する際にＢｏｘフィルタが検出する濃淡パターンの一例を示す図である。同図において、縦軸は濃淡差（色成分の差）を示し、横軸は画像横方向の座標を示している。図１に示したマーカにおける直線的な帯状の領域と直線との交点を検出するには図７に示す特徴的な濃淡パターンを検出することになる。なお、前述の条件を満たす濃淡パターンであれば、図１に示したマーカと異なる形状であってもよく、また図７の濃淡パターン以外であってもよい。

マーカ重畳部１２がマーカを埋め込む際の重畳は、画像入力部１１に入力された画像ごとに、ＲＧＢ色空間からＹＣｂＣｒ色空間に変換を行い、画像の所定の領域にマーカを重ね合わせ、対応する位置の画像の知覚されにくい色成分にマーカのパターンを足し込むことにより行う。図１に示したマーカを用いる場合は、同図に示した数値が加算値であり、当該値がプラスの場合には加算し、当該値がマイナスの場合には減算する。マーカ重畳の強度を調整するために、パラメータとして事前に設定した強度値ａを係数としてマーカの加算値に対して掛け合わせてから足し込んでもよい。また、画像の右端と左端とそれぞれにマーカを重畳することに代えて、画像の上端と下端とそれぞれに９０°回転させたマーカを重畳するようにしてもよい。

図６に戻ってマーカ埋め込み装置１の構成の説明を続ける。
電子透かし重畳部１３は、画像に埋め込まれたマーカとの相対的な位置関係にて定められる画像内の部分領域に電子透かしを重畳する。例えば、図３に示したように右端と左端とに重畳されたマーカで挟まれた領域を、電子透かしを重畳する部分領域とする。他にも、マーカを画像の中央に一つ重畳し、それ以外の領域を部分領域とするなど、幾つかのヴァリエーションが考えられる。部分領域に電子透かしを重畳する方式は、採用する電子透かし方式に従うこととする。電子透かし方式には、特許文献１に記載の方式などさまざまな方式が提案されているが、いずれの電子透かし方式を採用してもよい。また、本実施形態において採用する電子透かし方式自体に幾何学的変換耐性がなくてもよい。なお、電子透かしが示す情報は、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの画像に関する情報が含まれる。

埋め込み済み画像出力部１４は、マーカ重畳部１２と電子透かし重畳部１３とによってマーカと電子透かしとが重畳された画像を「埋め込み済み画像」として出力する。画像入力部１１に映像コンテンツが入力された場合には、埋め込み済みの画像をフレームとして、一連の映像シーケンスに繋ぎ合わせて一つの映像コンテンツとして出力する。埋め込み済み画像出力部１４が出力する先は、例えば、ＨＤＤや、ＤＶＤ−ＲＯＭなどの電子記録媒体や、ディスプレイ装置などである。出力先が電子記録媒体の場合には当該電子記録媒体に埋め込み済み画像を記録させ、出力先がディスプレイ装置である場合には当該ディスプレイ装置に埋め込み済み画像を表示させることになる。

図８は、本実施形態に置けるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。マーカ埋め込み装置１は、マーカ埋め込み処理を開始すると、マーカを埋め込む対象としての画像が画像入力部１１に入力される（ステップＳ１１）。
マーカ重畳部１２は、画像入力部１１に入力された画像のＣｂ成分に対して、右端と左端とにマーカを重畳し、２つのマーカを重畳した画像を電子透かし重畳部１３に入力する（ステップＳ１２）。

電子透かし重畳部１３は、マーカ重畳部１２から入力された画像上の所定の部分領域内、すなわちマーカとの相対的な位置関係にて定められる画像内の部分領域に所定の電子透かしを重畳する。電子透かし重畳部１３は、電子透かしを重畳した画像を埋め込み済み画像出力部１４に入力する（ステップＳ１３）。
埋め込み済み画像出力部１４は、電子透かし重畳部１３から入力された画像を外部の装置に出力する（ステップＳ１４）。

埋め込み済み画像出力部１４は、すべての画像に対して処理が完了したが否かを判定し（ステップＳ１５）、すべての画像に対して処理が完了している場合（ステップＳ１５：ＹＥＳ）には埋め込み処理を終了させる。一方、すべての画像に対して処理が完了していない場合（ステップＳ１５：ＮＯ）、埋め込み済み画像出力部１４は処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１５の処理を繰り返させる。

上述のように、マーカ埋め込み装置１において、画像入力部１１に入力された画像コンテンツ又は映像コンテンツは、マーカ重畳部１２、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４において一連の処理を施されて、画像コンテンツ又は映像コンテンツ内の予め定められた領域にマーカが重畳され、当該マーカとの位置関係にて定められる部分領域に電子透かしが重畳されて出力される。

図９は、本実施形態におけるマーカ検出装置２の構成例を示すブロック図である。マーカ検出装置２は、入力される画像コンテンツ又は映像コンテンツに対して、所定のマーカが重畳されているか否かを判定する。マーカ検出装置２は、マーカを検出した場合、当該マーカに基づいて画像コンテンツ又は映像コンテンツに対して重畳されている電子透かしを検出し、検出した電子透かしが示す情報を出力する。同図に示すように、マーカ検出装置２は、画像入力部２１、マーカ検出部２２、射影変換補正部２３、電子透かし検出部２４、及び、検出結果出力部２５を備えている。

画像入力部２１には、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツをカメラ等で撮影したデジタルデータ、並びに、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツが加工（例えば、射影変換）されたデジタルデータが入力される。なお、埋め込まれている電子透かしが、検出の際に時系列的に連続する複数の画像を必要とする場合には、必要となる枚数の画像がまとめて時系列順に画像入力部２１に入力される。

マーカ検出部２２は、画像入力部２１に入力された画像に対して、当該画像上にマーカが重畳されている位置を特定する。以下、画像に埋め込まれたマーカが図１に示したマーカである場合について説明する。マーカ検出部２２は、入力された画像をＲＧＢ色空間の信号からＹＣｂＣｒ色空間の信号に変換し、人間が知覚しにくい色成分の画像を抽出する。ＹＣｂＣｒ色空間においては、Ｃｂ成分の画像を抽出する。

マーカ検出部２２は、予め用意された複数の大きさのＢｏｘフィルタごとに、抽出した画像に対して水平方向の操作を繰り返して行うことによる左上から右下へ向かってのラスタスキャンを行う。図１０は、本実施形態においてマーカ検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。Ｂｏｘフィルタは、例えば、３画素×３画素、６画素×６画素、９画素×９画素、…、１５画素×１５画素のように複数のサイズのＢｏｘフィルタを用意する。

なお、各Ｂｏｘフィルタの大きさや、Ｂｏｘフィルタの個数は、対象とするコンテンツ及びコンテンツに重畳されるマーカのサイズに応じて予め定めるようにしてもよい。マーカ検出部２２は、各Ｂｏｘフィルタを用いたラスタスキャンにおいて画素ごとに値を算出する。ラスタスキャンにおける値の算出は、抽出した画像の積分画像を算出し、当該積分画像を用いることにより、処理の高速化を図ることができる。

ここで、ラスタスキャンのスキャン方向と、当該スキャン方向に垂直な方向と、Ｂｏｘフィルタの大きさとからなる三次元スペース上において、それぞれの方向に隣接する領域を２６近傍として定義する。マーカ検出部２２は、現在のスキャン位置（画素）の算出値と２６近傍それぞれの算出値とを比べて、スキャン位置の算出値が最大値となる場合に当該スキャン位置の算出値を極大値として検出する。なお、近傍の定義方法として空間方向を横方向のみに限定した二次元スペース上における８近傍を定義して、極大値を検出するようにしてもよい。なお、マーカの濃淡パターンに応じて、極大値（近傍の最大値）に代えて極小値（近傍の最小値）を検出するようにしてもよい。

マーカ検出部２２は、スキャン順に連続した７つの極大値の位置（画素）を点Ａ’〜点Ｇ’として式（４）と式（５）とそれぞれの値を算出する。マーカ検出部２２は、算出した値が式（３）の右辺と等しい場合、マーカ上を横切ったとして点Ａ’、点Ｄ’、点Ｇ’それぞれの位置と、点Ａ’、点Ｂ’、点Ｃ’、点Ｄ’の中心の位置と、点Ｄ’、点Ｅ’、点Ｆ’、点Ｇ’の中心の位置との合計５点の位置を記憶する。マーカ検出部２２は、この処理を画像全体に対して行う。なお、算出した式（４）と式（５）との値と、式（３）の右辺の値とが一致するか否かの判定において、一定のマージンを設けて判定してもよい。すなわち、式（３）の右辺の値に対して所定の許容区間±εを予め定め、式（４）や式（５）の値が式（３）の右辺の値に対して当該許容区間内に含まれる場合にマーカ上を横切ったと判定するようにしてもよい。

マーカ検出部２２は、画像を左右半分に分割し、左半分の画像と右半分の画像とそれぞれに含まれるマーカにおいて図１１に示す直線Ｌ３を検出する。図１１は、本実施形態におけるマーカ検出部２２がマーカに基づいて算出する直線の例を示す図である。同図に示すように、直線Ｌ３は、マーカには位置されている７つの直線的な帯状の領域のうち真ん中に配置される直線的な帯状の領域に対応する直線である。この直線は、例えば、真ん中に配置される直線的な帯状の領域における長手方向の中心線である。直線Ｌ３は、ラスタスキャンにおいて記憶している点Ｄ’の位置それぞれをプロットすることにより算出することができる。ここでは、例えばＨｏｕｇｈ変換などを利用することが可能である。マーカ検出部２２は、この直線Ｌ３の位置情報から、更に図１１に示す直線Ｌ２及び直線Ｌ４、並びに、直線Ｌ１及び直線Ｌ５を算出する。

マーカ検出部２２は、算出した直線Ｌ１、直線Ｌ２、直線Ｌ４、及び直線Ｌ５からマーカに対応する位置情報を算出する。図１２は、本実施形態におけるマーカ検出部２２が算出する位置情報の概要を示す図である。同図に示す点Ｈ、点Ｉ、点Ｊ、点Ｋをマーカ検出部２２は直線Ｌ１、直線Ｌ２、直線Ｌ４、及び直線Ｌ５から算出する。点Ｈは直線Ｌ２と直線Ｌ５との交点であり、点Ｉは直線Ｌ４と直線Ｌ５との交点であり、点Ｊは直線Ｌ１と直線Ｌ２との交点であり、点Ｋは直線Ｌ１と直線Ｌ４との交点である。マーカ検出部２２が算出する４点（点Ｈ〜点Ｋ）は、平行四辺形の頂点を表しており、検出した４点（点Ｈ〜点Ｋ）の位置関係と、マーカ埋め込み装置１が埋め込んだマーカにおける対応する４点の位置関係とから射影変換行列を得ることができる。マーカ検出部２２は、例えば特許文献２に記載されている手法を用いて、４点の位置関係から射影変換行列を算出する。

更に、マーカ検出部２２は、図３に示した電子透かしを埋め込んだ領域αβγδを逆算することができる。なお、左半分の画像から検出されたマーカは画像左側のマーカであり、右半分の領域から検出されたマーカは画像右側のマーカであるとする。

前述の射影変換行列を得る手順は、マーカが片方だけ検出された場合の処理手順である。マーカが両方とも検出された場合は、左側のマーカから検出された４つの点（点Ｈ_ｌｅｆｔ、点Ｉ_ｌｅｆｔ、点Ｊ_ｌｅｆｔ、点Ｋ_ｌｅｆｔ）から電子透かし埋め込み領域α_ｌｅｆｔβ_ｌｅｆｔγ_ｌｅｆｔδ_ｌｅｆｔを算出し、右側のマーカから検出された４つの点（点Ｈ_{ｒｉｇｈｔ}、点Ｉ_{ｒｉｇｈｔ}、点Ｊ_{ｒｉｇｈｔ}、点Ｋ_{ｒｉｇｈｔ}）から電子透かし埋め込み領域α_{ｒｉｇｈｔ}β_{ｒｉｇｈｔ}γ_{ｒｉｇｈｔ}δ_{ｒｉｇｈｔ}を算出する。二つの電子透かし埋め込み領域の対応する位置座標を平均して算出することで、より精度のよい結果を得ることが期待できる。

マーカ検出部２２は、前述の処理により、電子透かしが埋め込まれた部分領域を特定することができる。なお、画像に埋め込まれたマーカのパターンが図１に示したパターンの形状以外のものであっても、マーカのパターンの条件である「共通した特徴的な濃淡パターン」を抽出できるフィルタを定めることができれば、前述した処理と同様の処理によってマーカを検出できる。その際、抽出フィルタをＢｏｘフィルタのような加重平均フィルタの形態に近似できれば、同様に、積分画像を利用して演算の高速化を図ることができる。

また、右端のマーカと左端のマーカとのいずれも検出できなかった場合には、電子透かし及びマーカが画像に埋め込まれていない、或いは、マーカの検出が失敗したとして処理を中断又は終了するようにしてもよい。また、前述の処理では、マーカ検出部２２は、元の画像を９０度回転させた画像からマーカを検出することができない。これに対応するには、画像入力部２１で入力された画像を９０度回転させてから、前述の処理を行うようにすればよい。すなわち、マーカ検出部２２は、マーカを検出できなかった場合には、対象となる画像を９０度回転させた後に再度マーカの検出を行うようにする。

図９に戻って、マーカ検出装置２の構成の説明を続ける。
射影変換補正部２３は、マーカ検出部２２によって特定された電子透かしが埋め込まれた領域の位置に基づいて、入力された画像に対して逆射影変換を行う。このとき、射影変換補正部２３は、電子透かしが埋め込まれた領域が所定の大きさの矩形領域になるように逆射影変換を行う。このとき、射影変換補正部２３は、例えば特許文献２に記載されている技術と同じ技術を適用するようにしてもよい。また、射影変換補正部２３は、マーカ検出部２２が算出した射影変換行列を利用するようにしてもよい。

電子透かし検出部２４は、射影変換補正部２３による逆射影変換によって得られた画像から、電子透かし重畳部１３によって埋め込まれた電子透かしを、当該電子透かしに応じた方式によって検出する。なお、このとき、埋め込まれている電子透かしが、時系列的に複数の画像の電子透かしを必要とする場合には、マーカ検出部２２及び射影変換補正部２３が必要な枚数の画像が得られるまで繰り返して処理を行い、必要数の画像を得てから電子透かしを検出する。電子透かし検出部２４は、検出した電子透かしが示す情報を検出結果出力部２５に出力する。

検出結果出力部２５は、電子透かし検出部２４が出力する情報、すなわち電子透かしが示す電子透かし情報をデジタルデータとして外部に出力する。

図１３は、本実施形態におけるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。マーカ検出装置２において、マーカ検出処理が開始されると、マーカを検出する対象としての画像が画像入力部２１に入力される（ステップＳ２１）。
マーカ検出部２２は、画像入力部２１に入力された画像のＣｂ成分の画像において、Ｂｏｘフィルタを用いてマーカを検出する（ステップＳ２２）。

マーカ検出部２２は、検出したマーカが１個以上であるか否かを判定し（ステップＳ２３）、検出したマーカが１個以上でない場合（ステップＳ２３：ＮＯ）、マーカ検出処理を終了させる。
一方、検出したマーカが１個以上である場合（ステップＳ２３：ＹＥＳ）、射影変換補正部２３は、マーカ検出部２２によって特定された電子透かしが埋め込まれた領域の位置に基づいて、入力された画像に対して逆射影変換による補正を行う（ステップＳ２４）。

電子透かし検出部２４は、射影変換補正部２３による逆射影変換により得られた画像から電子透かしを検出する（ステップＳ２５）。
電子透かし検出部２４は、検出した電子透かしが示す情報が正しいか否かを判定し（ステップＳ２６）、電子透かしの情報が正しい場合（ステップＳ２６：ＹＥＳ）、当該情報を出力し（ステップＳ２７）、マーカ検出処理を終了させる。
一方、検出した電子透かしの情報が正しくない場合（ステップＳ２６：ＮＯ）、電子透かし検出部２４は、処理をステップＳ２１に戻して、ステップＳ２１からステップＳ２６までの処理を繰り返して行わせる。

上述のように、マーカ検出装置２において、画像入力部２１に入力された画像コンテンツ又は映像コンテンツは、マーカ検出部２２によって検出されたマーカに基づいて逆射影変換が施され、逆射影変換された画像から電子透かしが検出される。このように、射影変換に対する耐性を有するマーカに基づいた逆射影変換を行うことにより、射影変換に対して耐性がない電子透かしを重畳した画像コンテンツ又は映像コンテンツに対して射影変換が施された場合においても、電子透かしを検出することができる。

＜第２の実施形態＞
第２の実施形態では、第１の実施形態において説明したマーカを用いた射影変換による電子透かしの復元の精度を更に高める手法について説明する。図１４は、第２の実施形態におけるマーカ埋め込み装置３の構成を示すブロック図である。同図に示すように、マーカ埋め込み装置３は、画像入力部１１、マーカ重畳部１２、ガイドライン重畳部３５、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４を備えている。本実施形態のマーカ埋め込み装置３は、ガイドライン重畳部３５を備えている点が、第１の実施形態のマーカ埋め込み装置１（図６）と異なる。なお、マーカ埋め込み装置３においてマーカ埋め込み装置１と対応する各機能部には同じ符号を付してその説明を省略する。

ガイドライン重畳部３５は、図１５に示すようなガイドラインのパターンを画像に重畳する。ガイドライン重畳部３５は、マーカ重畳部１２がマーカを人間が知覚しにくい色成分に重畳するのと同様に、ガイドラインのパターンを人間が知覚しにくい色成分に重畳する。図１５は、本実施形態においてガイドライン重畳部３５が画像に重畳するガイドラインのパターンの一例を示す図である。同図に示すようにガイドラインのパターンは、特徴的な濃淡パターン（−１，＋１，−１）を有している。

図１６は、本実施形態のガイドライン重畳部３５によりガイドラインが重畳された画像例を示す図である。図１６（ａ）は右端のマーカと左端のマーカとに挟まれる領域において上端と下端との領域にガイドラインを配置する位置を示している。図１６（ｂ）は画像の上端と下端との領域において右端から左端までの長さのガイドラインを配置する位置を示している。この場合の電子透かしを埋め込む領域（部分領域）は、マーカとガイドラインとに対する位置関係で定められる領域、具体的にはマーカとガイドラインとで囲まれた領域α’β’γ’δ’になる。なお、電子透かしを埋め込む領域は、図１６に示す領域α’β’γ’δ’以外であってもよい。また、マーカが画像の上端と下端とそれぞれに配置される場合には、ガイドラインを画像の右端と左端とに縦方向に配置するようにしてもよい。

図１７は、本実施形態におけるマーカ埋め込み装置３が行うマーカ埋め込み処理を示すフローチャートである。マーカ埋め込み装置３は、マーカ埋め込み処理を開始すると、マーカを埋め込む対象としての画像が画像入力部１１に入力される（ステップＳ３１）。
マーカ重畳部１２は、画像入力部１１に入力された画像のＣｂ成分に対して、右端と左端とにマーカを重畳し、２つのマーカを重畳した画像をガイドライン重畳部３５に入力する（ステップＳ３２）。

ガイドライン重畳部３５は、マーカ重畳部１２から入力された画像上の所定の領域（図１６に示したように画像の上端と下端と）にガイドラインを重畳し、２つのガイドラインを重畳した画像を電子透かし重畳部１３に入力する（ステップＳ３３）。
電子透かし重畳部１３は、ガイドライン重畳部３５から入力された画像上の所定の部分領域内、すなわちマーカとガイドラインとの相対的な位置関係にて定められる画像内の部分領域に所定の電子透かしを重畳する。電子透かし重畳部１３は、電子透かしを重畳した画像を埋め込み済み画像出力部１４に入力する（ステップＳ３４）。

埋め込み済み画像出力部１４は、電子透かし重畳部１３から入力された画像を外部の装置に出力する（ステップＳ３５）。
埋め込み済み画像出力部１４は、すべての画像に対して処理が完了したか否かを判定し（ステップＳ３６）、すべての画像に対して処理が完了している場合（ステップＳ３６：ＹＥＳ）には埋め込み処理を終了させる。一方、すべての画像に対して処理が完了していない場合（ステップＳ３６：ＮＯ）、埋め込み済み画像出力部１４は処理をステップＳ３１に戻し、ステップＳ１１からステップＳ３６の処理を繰り返させる。

上述のように、マーカ埋め込み装置３において、画像入力部１１に入力された画像コンテンツ又は映像コンテンツは、マーカ重畳部１２、ガイドライン重畳部３５、電子透かし重畳部１３、及び、埋め込み済み画像出力部１４において一連の処理を施されて、画像コンテンツ又は映像コンテンツ内の予め定められた領域にマーカ及びガイドラインが重畳され、マーカ及びガイドラインとの位置関係にて定められる部分領域に電子透かしが重畳されて出力される。

図１８は、本実施形態におけるマーカ検出装置４の構成例を示すブロック図である。同図に示すように、マーカ検出装置４は、画像入力部２１、マーカ検出部２２、ガイドライン検出部４６、射影変換補正部４３、電子透かし検出部２４、及び、検出結果出力部２５を備えている。本実施形態のマーカ検出装置４は、ガイドライン検出部４６を備えている点と、射影変換補正部２３に代えて射影変換補正部４３を備えている点が、第１の実施形態におけるマーカ検出装置２（図９）と異なる。なお、マーカ検出装置４においてマーカ検出装置２と対応する各機能部には同じ符号を付してその説明を省略する。

ガイドライン検出部４６は、マーカ検出部２２において検出されたマーカの位置情報に基づいて、画像上のガイドラインを検出する。ガイドライン検出部４６は、図１９に示す縦方向の特徴的な濃淡パターンを検出するＢｏｘフィルタを用いてラスタスキャンをする。図１９は、本実施形態におけるガイドライン検出部４６がガイドラインを検出する際に用いるＢｏｘフィルタの一例を示す図である。同図に示すように、Ｂｏｘフィルタは、９画素×９画素のＢｏｘフィルタである。同図において、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。すなわち（（ｘ，ｙ）；１≦ｘ≦３，１≦ｙ≦９）と（（ｘ，ｙ）；７≦ｘ≦９，１≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，１≦ｙ≦３）と、（（ｘ，ｙ）；４≦ｘ≦６，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して（−１）を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して（＋２）を乗じる重み付けをする。

ガイドライン検出部４６は、Ｂｏｘフィルタを用いて画像の各画素をラスタスキャンして得られた値が近傍の画素において最大となる極大値の画素を検出し、検出した画素をプロットすることによりガイドライン候補の直線を得る。ガイドライン検出部４６は、例えば、極大値をプロットした結果を基にＨｏｕｇｈ変換による直線検出をすることにより、ガイドライン候補の直線を検出する。図２０は、本実施形態におけるガイドライン検出部４６がガイドラインを検出する処理の概要を示す図である。図２０（ａ）は、ガイドライン検出部４６が図１９に示したＢｏｘフィルタを用いて検出したガイドライン候補の直線を示す図である。なお、ガイドライン検出部４６による直線を検出する手法は、マーカ検出部２２による直線を検出する手法と同様である。

ガイドライン検出部４６は、ガイドライン候補の直線ごとに、マーカ検出部２２において横方向Ｂｏｘフィルタ（図１０）により検出された極大値の座標の集合のうちガイドライン候補の直線が通過する座標の数（交点の数）を算出し、算出した交点の数が予め定めた閾値と比較する。ガイドライン検出部４６は、交点の数が閾値より少ないガイドライン候補の直線を除外することにより、ガイドライン候補を絞り込む。図２０（ｂ）はガイドライン候補の絞り込みの概要を示す図である。なお、ガイドラインのパターンを図１６（ｂ）のように画像に重畳した場合は、直接交わる点が存在しないため、ガイドライン候補の上下にあそびを設けて、その領域と交わる点の数に基づいてガイドライン候補を絞り込むようにしてもよい。すなわち、ガイドライン候補の近傍に対して所定の許容区間±εを設け、それによって指定される領域に横方向のＢｏｘフィルタ（例えば図５）による極大値の探索の処理結果が含まれている点の数をカウントし閾値と比較する。

ガイドライン検出部４６は、絞り込んだガイドライン候補の直線ごとに、マーカ検出部２２が検出した直線Ｌ１、直線Ｌ２、直線Ｌ４、及び直線Ｌ５との４つの交点の間隔に基づいてガイドライン候補から上下２本のガイドラインを確定する。具体的には、図２０（ｃ）に示すように、ガイドライン候補と直線Ｌ１との交点からガイドライン候補と直線Ｌ２との交点までの間隔ａ、及び、ガイドライン候補と直線Ｌ４との交点からガイドライン候補と直線Ｌ５との交点までの間隔ｂを用いる。間隔ａと間隔ｂとにより得られる次式（６）の値が最大になるガイドライン候補と、最小になるガイドライン候補とが上下２本のガイドラインとして決定する。

なお、ガイドラインを決定する方法はこれに限定されるものではない。図２１は、本実施形態におけるガイドライン検出部４６がガイドラインを検出する他の処理の概要を示す図である。図２１（ａ）に示すように、ガイドライン候補と、直線Ｌ１、直線Ｌ２、直線Ｌ４及び直線Ｌ５との交点から得られる間隔ａ、間隔ｂ、間隔ｃにより得られる次式（７）の値が予め定められた特定の値となるか否かにより、上下２本のガイドラインを決定するようにしてもよい。ここでは、射影変換不変量である複比を利用している。

また、図２１（ｂ）に示すように、ガイドライン候補と、直線Ｌ１、直線Ｌ３及び直線Ｌ５との交点から得られる間隔ａ、間隔ｂにより得られる次式（８）の値が最大となるガイドライン候補と、最小となるガイドライン候補とを上下２本のガイドラインと決定するようにしてもよい。図２１（ｂ）に示す例では、直線Ｌ２及び直線Ｌ４に代えて直線Ｌ３を利用している。

射影変換補正部４３は、マーカ検出部２２が検出したマーカと、ガイドライン検出部４６が検出した上下２本のガイドラインとに基づいて、位置情報を取得する。図２２は、本実施形態においてマーカとガイドラインとから得られる位置情報の一例を示す図である。射影変換補正部４３は、図２２（ａ）に示すようにマーカ検出部２２がマーカに基づいて算出した直線Ｌ１及び直線Ｌ５と、上下２本のガイドラインとの４つの交点（点Ｌ、点Ｍ、点Ｎ、点Ｏ）を算出する。射影変換補正部４３は、算出した４つの交点の位置関係と、マーカ埋め込み装置３が埋め込んだマーカとガイドラインとにおける対応する４つの交点の位置関係とから射影変換行列を得ることができる。射影変換補正部４３は、例えば特許文献２に記載されている手法を用いて、４つの交点（点Ｌ、点Ｍ、点Ｎ、点Ｏ）の位置関係から射影変換魚列を算出する。

更に、射影変換補正部４３は、図３に示した電子透かしを埋め込んだ領域αβγδを逆算することができる。一方で、右端のマーカと左端のマーカとが検出できた場合には、図２２（ｂ）に示す４つの交点（点Ｌ、点Ｍ、点Ｐ、点Ｑ）の位置関係に基づいて、射影変換行列を算出するようにしてもよい。２つのマーカを検出できた場合の方が、より精度よく電子透かしを埋め込んだ領域αβγδを特定することができる。

図２３は、本実施形態におけるマーカ検出装置４が行うマーカ検出処理を示すフローチャートである。マーカ検出装置４において、マーカ検出処理が開始されると、マーカを検出する対象としての画像が画像入力部２１に入力される（ステップＳ４１）。
マーカ検出部２２は、画像入力部２１に入力された画像のＣｂ成分の画像において、Ｂｏｘフィルタを用いてマーカを検出する（ステップＳ４２）。

ガイドライン検出部４６は、画像入力部２１に入力された画像のＣｂ成分の画像において、Ｂｏｘフィルタを用いてガイドライン候補を検出する。ガイドライン検出部４６は、マーカ検出部２２が検出したマーカに関する情報（直線Ｌ１〜Ｌ５）に基づいて、検出したガイドライン候補から上下２本のガイドラインを検出する（ステップＳ４３）。

マーカ検出部２２は、検出したマーカが個以上であるか否かを判定し（ステップＳ４４）、検出したマーカが１個以上でない場合（ステップＳ４４：ＮＯ）、マーカ検出処理を終了させる。
一方、検出したマーカが１個以上である場合（ステップＳ４４：ＹＥＳ）、射影変換補正部４３は、マーカ検出部２２が検出したマーカに関する情報と、ガイドライン検出部４６が検出した２本のガイドラインとに基づいて、入力された画像に対して逆射影変換による補正を行う（ステップＳ４５）。

電子透かし検出部２４は、射影変換補正部４３による逆射影変換により得られた画像から電子透かしを検出する（ステップＳ４６）。
電子透かし検出部２４は、検出した電子透かしが示す情報が正しいか否かを判定し（ステップＳ４７）、電子透かしの情報が正しい場合（ステップＳ４７：ＹＥＳ）、当該情報を出力し（ステップＳ４８）、マーカ検出処理を終了させる。
一方、検出した電子透かしの情報が正しくない場合（ステップＳ４７：ＮＯ）、電子透かし検出部２４は、処理をステップＳ４１に戻して、ステップＳ４１からステップＳ４７までの処理を繰り返して行わせる。

上述のように、マーカ検出装置４において、画像入力部２１に入力された画像コンテンツ又は映像コンテンツは、マーカ検出部２２によって検出されたマーカと、ガイドライン検出部４６によって検出されたガイドラインとに基づいて逆射影変換が施され、逆射影変換された画像から電子透かしが検出される。このように、射影変換に対する耐性を有するマーカ及びガイドラインに基づいた逆射影変換を行うことにより、射影変換に対して耐性がない電子透かしを重畳した画像コンテンツ又は映像コンテンツに対して射影変換が施された場合においても、電子透かしを検出することができる。

なお、本実施形態におけるガイドラインの濃淡パターンについても、マーカの濃淡パターンと同様に、事前に設定し強度値ａを係数として濃淡パターンを強くしてから画像の人間が知覚しにくい色成分に足し込むようにしてもよい。

なお、上記の各実施形態においては、マーカの埋め込み位置は対象画像の右端と左端とにそれぞれ一つずつ配置する場合について説明したが、電子透かしを画像いっぱいに埋め込むのではなく、画像中の特定の部分領域に埋め込むようにしてもよい。この場合、電子透かしを埋め込む領域に合わせてマーカを埋め込む位置を変更するようにしてもよい。例えば、対象画像に二人の人物が映っているとして、それぞれの顔の領域に異なる二種類の電子透かしを埋め込むといったことも可能である。このようにすることで、一枚の画像コンテンツからそれぞれの人物に関連した情報サイトへとユーザを誘導することができる。

また、電子透かしの埋め込み領域を特定する目的以外に、画像認識を利用した同様なアプリケーション、例えばカメラで撮影したオブジェクトに関連したＷｅｂ情報サイトアクセスするための情報を提供するアプリケーションにおいても、画像認識の前処理として利用可能である。ただし、情報を埋め込む領域を含むオブジェクトは平面的な物体であり、かつ印刷等により事前にマーカを埋め込むことが可能な場合に限られる。もちろん、このような利用を想定する場合、マーカ埋め込み装置における電子透かし重畳部１３や、マーカ検出装置における射影変換補正部２３及び電子透かし検出部２４は不要であり、検出結果出力部２５は、埋め込み画像上のマーカの位置情報を出力するようにしてもよい。認識モジュールは、出力されたマーカの位置情報に基づいて、オブジェクトの切り出しや幾何学変換の補正を行うことにより、認識精度を向上させることができる。また、マーカの位置情報に基づいて、オブジェクトとカメラとの相対的な空間位置関係を算出し、認識結果と合わせて利用することにより、認識精度を向上させるようにしてもよい。

上述した実施形態におけるマーカ埋め込み装置やマーカ検出装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

本発明は、射影変換を施すことによって得られた画像を元の画像に戻す逆射影変換が必要不可欠な用途にも適用できる。

１、３…マーカ埋め込み装置
２、４…マーカ検出装置
１１…画像入力部
１２…マーカ重畳部
１３…電子透かし重畳部（情報重畳部）
１４…埋め込み済み画像出力部
２１…画像入力部
２２…マーカ検出部
２３、４３…射影変換補正部
２４…電子透かし検出部（情報検出部）
２５…検出結果出力部
３５…ガイドライン重畳部
４６…ガイドライン検出部

Claims (14)

1. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳部と、
   前記マーカとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳部と、
   前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力部と
   を備え、
   前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
   ことを特徴とするマーカ埋め込み装置。
2. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳部と、
   前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳部と、
   前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳部と、
   前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力部と
   を備え、
   前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
   ことを特徴とするマーカ埋め込み装置。
3. 請求項２に記載のマーカ埋め込み装置において、
   前記ガイドライン重畳部は、
   前記画像の右端と左端とにそれぞれ一つずつ前記ガイドラインを重畳するか、又は前記画像の上端と下端とにそれぞれ一ずつ前記ガイドラインを重畳する
   ことを特徴とするマーカ埋め込み装置。
4. 請求項１から請求項３のいずれか一項に記載のマーカ埋め込み装置において、
   前記マーカ重畳部は、
   前記画像の右端と左端とにそれぞれ一つずつ前記マーカを重畳するか、又は前記画像の上端と下端とにそれぞれ一ずつ前記マーカを重畳する
   ことを特徴とするマーカ埋め込み装置。
5. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出部と、
   検出された前記マーカに基づいて前記画像に対して射影変換を行う射影変換補正部と
   射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出部と、
   検出された前記画像に関する情報を出力する検出結果出力部と
   を備え、
   前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
   ことを特徴とするマーカ検出装置。
6. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出部と、
   前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出部と、
   検出された前記マーカ及び前記ガイドラインに基づいて前記画像に対して射影変換を行う射影変換補正部と
   射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出部と、
   検出された前記画像に関する情報を出力する検出結果出力部と
   を備え、
   前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
   ことを特徴とするマーカ検出装置。
7. 請求項５又は請求項６のいずれかに記載のマーカ検出装置であって、
   前記マーカ検出部は、
   前記濃淡パターンに応じて定められるボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を、前記濃淡パターンの点として検出する
   ことを特徴とするマーカ検出装置。
8. 請求項７に記載のマーカ検出装置であって、
   前記マーカ検出部は、
   前記画像の色成分における積分画像を算出し、算出した積分画像に基づいて各画素に対するボックスフィルタの出力値を算出する
   ことを特徴とするマーカ検出装置。
9. 一又は複数の連続する画像を入力する画像入力ステップと、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳ステップと、
   前記マーカとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳ステップと、
   前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力ステップと
   を有し、
   前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
   ことを特徴とするマーカ埋め込み方法。
10. 一又は複数の連続する画像を入力する画像入力ステップと、
    前記画像の知覚されにくい色成分において予め定められた濃淡パターンを有するマーカを予め定められた領域に重畳するマーカ重畳ステップと、
    前記画像の知覚されにくい色成分において前記マーカが重畳された領域と異なる領域に所定の濃淡で示されるガイドラインを重畳するガイドライン重畳ステップと、
    前記マーカ及び前記ガイドラインとの位置関係で定められる部分領域に前記画像に関する情報を重畳する情報重畳ステップと、
    前記マーカと前記画像に関する情報とを重畳した画像を出力する埋め込み済み画像出力ステップと
    を有し、
    前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
    ことを特徴とするマーカ埋め込み方法。
11. 一又は複数の連続する画像を入力する画像入力ステップと、
    前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出ステップと、
    検出された前記マーカに基づいて前記画像に対して射影変換を行う射影変換補正ステップと
    射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出ステップと、
    検出された前記画像に関する情報を出力する検出結果出力ステップと
    を有し、
    前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
    ことを特徴とするマーカ検出方法。
12. 一又は複数の連続する画像を入力する画像入力ステップと、
    前記画像の知覚されにくい色成分において予め定められた濃淡パターンの点を複数検出し、検出した点の組み合わせで定められる複比が所定の値である場合に、マーカを検出したと判定するマーカ検出ステップと、
    前記画像の知覚されにくい色成分において所定の濃淡で示されるガイドラインを検出するガイドライン検出ステップと、
    検出された前記マーカ及び前記ガイドラインに基づいて前記画像に対して射影変換を行う射影変換補正ステップと
    射影変換により得られた画像における前記マーカとの位置関係で定められる部分領域から前記画像に関する情報を検出する情報検出ステップと、
    検出された前記画像に関する情報を出力する検出結果出力ステップと
    を有し、
    前記マーカには複数の直線的な帯状の領域が異なる位置と異なる傾きで配置され、前記複数の直線的な帯状の領域における前記色成分には前記マーカにおける他の領域の前記色成分と異なる色差が定められ、前記複数の直線的な帯状の領域すべてを横切る直線と前記直線的な帯状の領域それぞれとの交点の組み合わせで定められる複比が一定の値である
    ことを特徴とするマーカ検出方法。
13. 請求項１から請求項４のいずれか一項に記載のマーカ埋め込み装置としてコンピュータを機能させることを特徴とするプログラム。
14. 請求項５から請求項８のいずれか一項に記載のマーカ検出装置としてコンピュータを機能させることを特徴とするプログラム。

Images