JP2014225754A - マーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラム - Google Patents

Abstract

【課題】コンテンツのデザイン性を損なわずに、射影変換が施された画像や映像を元の画像や映像に変換する際に用いるマーカを画像や映像に埋め込む。
【解決手段】一又は複数の連続する画像を入力する画像入力部と、画像の知覚されにくい色成分に対して、色成分の濃淡が同心円状の縞模様を有し該同心円の中心点を通る直線上に４箇所の共通した濃淡パターンを有する少なくとも４つのマーカを画像上の矩形領域を定める第１の辺に沿って中心点間の距離が所定の複比をなす位置に一直線上に重畳し、他の少なくとも４つのマーカを矩形領域を定める第２の辺に沿って中心点間の距離が所定の複比をなす位置に一直線上に重畳するマーカ重畳部と、画像の色成分に対して、第１及び第２の辺に沿って重畳されたマーカ間に識別コードを重畳する識別コード重畳部と、色成分にマーカと第１の識別コードと第２の識別コードとが重畳された画像を出力する画像出力部とを備える。
【選択図】図４

Description

本発明は、静止画や動画像に対して射影変換が施された場合においても元の静止画や動画像への逆変換を容易にするためのマーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラムに関する。

画像、映像といったコンテンツの流通において、コンテンツの識別や管理、更にコンテンツの著作権保護及び管理、並びに関連情報提供などの目的のため、人間の目に知覚されないようにコンテンツ内に別の情報を埋め込む電子透かし技術を用いる方法が知られている。特に、画像・映像コンテンツに対する電子透かし技術においては、画素値の微小変更に基づく方法が一般的である。具体的方法としては例えば、電子透かしを埋め込む際に、埋め込み対象成分位置情報に基づいて、複素行列の実数成分と虚数成分を独立に変更するスペクトル拡散を行い、入力画像と独立に透かしパターンを生成し、実際の画像パターンの加算を行うことで埋め込み済み画像を生成し、電子透かしを検出する際には、検出対象成分位置情報に基づいて検出対象系列を生成し、オフセット情報を抽出し、検出対象系列を修正した後にスペクトル逆拡散を行い、切り出した画素ブロック内に埋め込まれている電子透かしを検出するような電子透かし方式がある（例えば、特許文献１）。

また、電子透かしにおいては、デジタルコンテンツを表すデジタル信号が、電子透かしの埋め込み後に受けるさまざまな改変に対して耐性を持つこと、すなわちさまざまな改変を受けた上で電子透かしを検出できることが必要である。特に電子透かしが耐性を持つべき重要な改変としては、幾何学的変換を挙げられる。幾何学的変換への耐性は、対象となる画像、映像といったコンテンツをカメラで再撮影して、そのコンテンツに埋め込まれた電子透かしを検出する場合に必須の要件となっている。なぜなら、コンテンツを撮影する距離やアングルの違いに応じて、コンテンツに対して幾何学的変換が生じるからである。

幾何学的変換に対して耐性を持たせる方法としては、電子透かしが埋め込まれている画像の縁を検出し、画像の四隅の位置を特定することで逆射影変換を行って変換前の状態を復元する手法がある（特許文献２）。この方法だと、射影変換による変形を伴った画像からも電子透かしを検出できるが、画像の縁を安定的に検出するためには画像の周囲に黒い枠もしくは白い枠で囲う必要がある。これは人間の目で知覚されるため、コンテンツ自体のデザイン性を大きく損ねてしまう問題がある。

一方、電子透かしを空間的な繰り返しパターンとして埋め込み、検出するときにはそのパターンの自己相関を利用して補正する方法（特許文献３）、画像の周波数空間上に人間に不可視なかたちでマーカを埋め込み、それを使って補正する方法（特許文献４、特許文献５）がある。これらは人間の目で知覚されることなく、幾何学的変換を伴った画像から電子透かしを検出できるが、対応可能なのは回転、スケール変換などに代表されるアフィン変換であり、射影変換には対応できない問題がある。

特開２００３−２１９１４８号公報 特許第４０２００９３号公報 特表２００３−５１０９３１号公報 特許第３９４９６７９号公報 特開２０１０−２３２８８６号公報

上述したように、特許文献１〜５に記載されている発明や技術では、コンテンツのデザイン性を損なうことなく、射影変換が施された画像や映像に対して逆射影変換により元の画像や映像に変換することができないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、コンテンツのデザイン性を損なわずに、射影変換が施された画像や映像を元の画像や映像に変換する際に用いるマーカを画像や映像に埋め込むマーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラムを提供することにある。

本発明の一態様は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分に対して、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心点を通る直線上に４箇所の共通した濃淡パターンを有する少なくとも４つのマーカを前記画像上の予め定められた矩形領域を定める第１の辺に沿ってマーカの中心点間の距離が所定の複比をなす位置に一直線上に重畳し、他の少なくとも４つの前記マーカを前記矩形領域を定める前記第１の辺と異なる第２の辺に沿ってマーカの中心点間の距離が前記所定の複比をなす位置に一直線上に重畳するマーカ重畳部と、前記画像の前記色成分に対して、前記第１の辺に沿って重畳された前記マーカ間に第１の識別コードを重畳し、前記第２の辺に沿って重畳された前記マーカ間に前記第１の識別コードに対応する第２の識別コードを重畳する識別コード重畳部と、前記色成分に前記マーカと前記第１の識別コードと前記第２の識別コードとが重畳された前記画像を出力する画像出力部とを備えることを特徴とするマーカ埋め込み装置である。

また、本発明の一態様は、前述のマーカ埋め込み装置において、前記矩形領域に前記画像に関する情報を重畳する情報重畳部を更に備えることを特徴とする。
また、本発明の一態様は、前述のマーカ埋め込み装置において、前記識別コード重畳部は、前記第１の識別コードと前記第２の識別コードとに対して同じ識別コードを用いることを特徴とする。
また、本発明の一態様は、前述のマーカ埋め込み装置において、前記識別コード重畳部は、前記第１の識別コードと前記第２の識別コードとに対して前記画像の上下方向を識別できる識別コードを用いることを特徴とする。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力部と、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する４つの点を検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心点を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部と、前記マーカ検出部により検出された前記マーカのから、中心点が一直線上に並び、かつ中心点間の距離の比が所定の複比をなすマーカの組を少なくとも２つ特定し、特定した組のマーカ間の前記色成分において重畳されている識別コードが対応するマーカの組の対に基づいて、前記画像における部分領域を特定する領域特定部と、前記領域特定部が特定した部分領域を所定の矩形領域にする射影変換を行う射影変換補正部とを備えることを特徴とするマーカ検出装置である。

また、本発明の一態様は、前述のマーカ検出装置において、前記射影変換補正部により矩形領域に射影変換された前記部分領域から前記画像に関する情報を検出する情報検出部を更に備えることを特徴とする。また、本発明の一態様は、前述のマーカ検出装置において、前記マーカ検出部は、前記マーカが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカを検出することを特徴とする。
また、本発明の一態様は、前述のマーカ検出装置において、前記画像の前記色成分における積分画像を算出する積分画像算出部を更に備え、前記マーカ検出部は、前記積分画像に基づいて、前記画像における前記マーカの位置を検出することを特徴とする。
また、本発明の一態様は、前述のマーカ検出装置において、前記領域特定部は、特定したマーカの組のマーカ間に重畳されている識別コードが一致するマーカの組を対として、マーカの組で定められる線分を繋いで得られる四辺形の領域を前記部分領域として特定することを特徴とする。
また、本発明の一態様は、前述のマーカ検出装置において、前記領域特定部が特定した部分領域の前記画像における位置を示す情報を出力する情報出力部を更に備えることを特徴とする。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分に対して、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心点を通る直線上に４箇所の共通した濃淡パターンを有する少なくとも４つのマーカを前記画像上の予め定められた矩形領域を定める第１の辺に沿ってマーカの中心点間の距離が所定の複比をなす位置に一直線上に重畳し、他の少なくとも４つの前記マーカを前記矩形領域を定める前記第１の辺と異なる第２の辺に沿ってマーカの中心点間の距離が前記所定の複比をなす位置に一直線上に重畳するマーカ重畳ステップと、前記画像の前記色成分に対して、前記第１の辺に沿って重畳された前記マーカ間に第１の識別コードを重畳し、前記第２の辺に沿って重畳された前記マーカ間に前記第１の識別コードに対応する第２の識別コードを重畳する識別コード重畳ステップと、前記色成分に前記マーカと前記第１の識別コードと前記第２の識別コードとが重畳された前記画像を出力する画像出力ステップとを有することを特徴とするマーカ埋め込み方法である。

また、本発明の一態様は、前述のマーカ埋め込み方法において、前記矩形領域に前記画像に関する情報を重畳する情報重畳ステップを更に有することを特徴とする。
また、本発明の一態様は、前述のマーカ埋め込み方法において、前記識別コード重畳ステップでは、前記第１の識別コードと前記第２の識別コードとに対して同じ識別コードを用いることを特徴とする。
また、本発明の一態様は、前述のマーカ埋め込み方法において、前記識別コード重畳ステップでは、前記第１の識別コードと前記第２の識別コードとに対して前記画像の上下方向を識別できる識別コードを用いることを特徴とする。

また、本発明の一態様は、一又は複数の連続する画像を入力する画像入力ステップと、前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する４つの点を検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心点を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、前記マーカ検出ステップにおいて検出された前記マーカのから、中心点が一直線上に並び、かつ中心点間の距離の比が所定の複比をなすマーカの組を少なくとも２つ特定し、特定した組のマーカ間の前記色成分において重畳されている識別コードが対応するマーカの組の対に基づいて、前記画像における部分領域を特定する領域特定ステップと、前記領域特定ステップにおいて特定した部分領域を所定の矩形領域にする射影変換を行う射影変換補正ステップとを有することを特徴とするマーカ検出方法である。

また、本発明の一態様は、前述のマーカ検出方法において、前記射影変換補正ステップにおいて矩形領域に射影変換された前記部分領域から前記画像に関する情報を検出する情報検出ステップを更に有することを特徴とする。
また、本発明の一態様は、前述のマーカ検出方法において、前記マーカ検出ステップでは、前記マーカが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカを検出することを特徴とする。
また、本発明の一態様は、前述のマーカ検出方法において、前記画像の前記色成分における積分画像を算出する積分画像算出ステップを更に有し、前記マーカ検出ステップでは、前記積分画像に基づいて、前記画像における前記マーカの位置を検出することを特徴とする。
また、本発明の一態様は、前述のマーカ検出方法において、前記領域特定ステップでは、特定したマーカの組のマーカ間に重畳されている識別コードが一致するマーカの組を対として、マーカの組で定められる線分を繋いで得られる四辺形の領域を前記部分領域として特定することを特徴とする。
また、本発明の一態様は、前述のマーカ検出方法において、前記領域特定ステップにおいて特定した部分領域の前記画像における位置を示す情報を出力する情報出力ステップを更に有することを特徴とする。

また、本発明の一態様は、前述のマーカ埋め込み方法における各ステップ、又は、前述のマーカ検出方法における各ステップをコンピュータに実行させるためのプログラムである。

本発明よれば、画像の知覚されにくい色成分にマーカを重畳することにより、人間の目で知覚されにくいマーカを実現する。また、マーカが有する濃淡パターンにより検出される４箇所の点から射影変換の影響を受けない複比を算出することにより、当該マーカの画像上における位置を検出することができる。このマーカを中心点間の距離が所定の複比をなす位置に一直線上に重畳することにより、射影変換された画像においても第１及び第２の辺に沿って一直線上に重畳されたマーカを精度よく検出することができ、第１及び第２の辺により定められる部分領域を予め定められた矩形領域に変換する逆射影変換を求めて射影変換が施された画像を元の画像に変換することができる。

本実施形態において用いられるマーカの一例を示す図である。 本実施形態のマーカ埋め込み装置が画像にマーカを重畳した画像例を示す図である。 本実施形態においてマーカ検出装置が用いるＢｏｘフィルタの一例を示す図である。 本実施形態におけるマーカ埋め込み装置１の構成を示すブロック図である。 本実施形態において用いるマーカが有している特徴的な濃淡パターンの一例を示す図である。 本実施形態におけるマーカ埋め込み装置１によりマーカ及びＩＤコードが重畳された画像例を示す図である。 本実施形態におけるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。 本実施形態におけるマーカ検出装置２の構成を示すブロック図である。 本実施の形態においてマーカ検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。 線分ＩＤコード検出部２３における処理の概要を示す図である。 本実施形態において電子透かし情報を埋め込む領域の異なる例を示す図である。 本実施形態に置けるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。 本実施形態において電子透かし情報を重畳する領域の一例を示す図である。

以下、図面を参照して、本発明の実施形態におけるマーカ埋め込み装置、マーカ検出装置、マーカ埋め込み方法、マーカ検出方法、及びプログラムを説明する。

本実施形態におけるマーカ埋め込み装置及びマーカ検出装置は、射影変換が施された画像や映像を元の画像や映像に変換する際に、画像や映像に対して施された変換を検出するために図１に示すような同心円状の濃淡パターンを用いる。図１は、本実施形態において用いられるマーカの一例を示す図である。同図に示すように、マーカは同心円状の縞模様で構成されておりマーカの中心の円の色差（又は輝度など）を基準にして、同心円の中心点から外周方向に向かって−１、＋２、−２、＋２、−１の比に応じた色差を有する等間隔の濃淡パターンである。マーカ埋め込み装置は、画像や映像上の所定の領域の四隅にマーカを重畳する。また、マーカ埋め込み装置は、マーカを画像や映像に埋め込む際に、画像又は映像をＲＧＢ色空間からＹＣｂＣｒ（又はＹＰｂＰｒ）色空間へ変換し、視覚特性において人間に最も知覚されにくいＣｂ成分、又はその次に知覚されにくいＣｒ成分にマーカを埋め込む。なお、ＲＧＢ色空間においては、ＲＧＢの各成分のうち人間に知覚されにくいＢ成分に対してマーカを埋め込むようにしてもよい。また、画像又は映像が他の色空間で表現されている場合には当該色空間の色成分のうち最も人間に知覚されにくい色成分、又はその次に知覚されにくい色成分などに対してマーカを埋め込むようにしてもよい。以下では、Ｃｂ成分にマーカを埋め込む場合について説明する。

図２は、本実施形態のマーカ埋め込み装置が画像にマーカを重畳した画像例を示す図である。同図に示すように、マーカ埋め込み装置は、画像上の予め定められた電子透かし埋め込み領域（矩形領域）を定める右側の一辺と左側の一辺とそれぞれに沿って４つずつマーカを画像に埋め込む（重畳）する。このとき、マーカ埋め込み装置は、右側の一辺の両端と、左側の一辺の両端とにマーカを配置する。すなわち、マーカ埋め込み装置は、電子透かし埋め込み領域の四隅を含む位置にマーカを埋め込む。また、マーカ埋め込み装置は、左側の一辺に沿って埋め込むマーカの中心点が同一直線上に位置し、かつ隣り合うマーカの中心点間の距離の比が１：ｘ：ｙとなる位置にマーカを配置する。また、マーカ埋め込み装置は、右側の一辺に沿って埋め込むマーカについても同様に配置する。
このように、画像上において８つのマーカにより囲まれる矩形領域が、電子透かしを埋め込む領域になる。すなわち、４つのマーカが並ぶ２つの線分に挟まれる矩形領域が、電子透かしを埋め込む領域になる。

以下、本実施形態において用いられるマーカ（図１）について更に説明する。マーカは、射影変換等の幾何学的変換によってマーカの形状が変化しても、マーカ検出装置が安定してマーカを検出できる必要がある。そのため、射影変換不変量である複比（cross ratio）を利用する。具体的には、図１に示されているように、マーカの中心（同心円の中心点）を通る直線L上に４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）を定義し、この４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）をＢｏｘフィルタ（ボックスフィルタ）を用いて検出する。ここで、４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）が、次式（１）を満たすようにマーカ上の各点の位置を定める。

式（１）において、ｎは任意の実数である。式（１）を満たすとき、４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）の位置から算出される複比は次式（２）で表される。この複比は射影変換によらず一定の値となる。例えばｎ＝３の場合、複比は（（３×５）／（４^２）＝１５／１６）になる。

ここで、図１に示したような縞模様を有するマーカを検出するためのＢｏｘフィルタについて説明する。図３は、本実施形態においてマーカ検出装置が用いるＢｏｘフィルタの一例を示す図である。同図において、横方向をＸ方向とし、縦方向をＹ方向としている。同図に示されているＢｏｘフィルタは、９画素×９画素のＢｏｘフィルタであり、「０」、「−１」、「＋２」は、ハッチングで分けられている各画素（領域）に対する重み係数である。すなわち（（ｘ、ｙ）；１≦ｘ≦９，１≦ｙ≦３）と（（ｘ，ｙ）；１≦ｘ≦９，７≦ｙ≦９）との画素においては、Ｃｂ成分に対して０を乗じる重み付けをする。また、（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）と、（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）との画素においては、Ｃｂ成分に対して「−１」を乗じる重み付けをする。また、（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の画素においてはＣｂ成分に対して「＋２」を乗じる重み付けをする。

このＢｏｘフィルタを用いて画像の各画素に対するラスタスキャンによりマーカを検索した際に、例えば、マーカ上の点Ａを含む「＋２」の縞が（（ｘ，ｙ）；４≦ｘ≦６，４≦ｙ≦６）の領域に位置し、マーカ上の点Ａを含む縞に接する外周側の「−１」の縞が（（ｘ，ｙ）；１≦ｘ≦３，４≦ｙ≦６）に位置し、マーカ上の点Ａを含む縞に接する内周側の「−２」の縞が（（ｘ，ｙ）；７≦ｘ≦９，４≦ｙ≦６）に位置したときに、当該Ｂｏｘフィルタを用いて算出される値は、周囲の画素に比べて大きくなる。マーカを検出する際には、算出される値が周囲に比べて大きくなる点（画素）を検出し、検出した点（画素）のうちラスタスキャンを行った方向に隣接する４点から複比を算出する。算出した複比が、マーカの複比と一致するか、マーカの複比との差分が所定範囲内である場合に、算出した複比に対応する４点がマーカ上の４つの点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）であると判定することにより、マーカを検出する。

図３に示したようなＢｏｘフィルタを用いて撮影画像をラスタスキャンすることにより順次得られる値であってＣｂ成分に基づいて算出される値の極値（近傍で最も大きい値、又は最も小さい値）を検出する。そして、検出した極値であってスキャン方向に連続する４つの極値に対応する点（画素）を点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’とする。そして、検出した極値に対応する４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）から次式（３）により複比を算出する。

式（３）を用いて算出した複比が、画像に予め埋め込まれたマーカにおける複比と等しい場合に、４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）は、マーカの中心点を通っている直線上の点であってマーカが有する特徴的な濃淡パターンに対応する点であることになる。このようにＢｏｘフィルタを用いてマーカ上の４つの特徴点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）の候補点を撮影画像上から検出し、検出した候補点における複比がマーカにおける複比と等しい場合に、候補点はマーカ上の４つの特徴点（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）であると判定する。このことにより、撮影画像において、元の画像に予め埋め込まれたマーカを検出し、その位置を特定することができる。

また、マーカ検出装置は、上述のＢｏｘフィルタを用いて検出したマーカから４つのマーカを選択する。マーカ検出装置は、選択したマーカの中心点が一つの直線上に位置し、かつ各マーカの中心点間の距離の比が１：ｘ：ｙであるか否かを判定する。マーカ検出装置は、中心点が直線上に位置し、中心点間の距離の比が１：ｘ：ｙを満たす４つのマーカの組を２つ検出する。マーカ検出装置は、検出した２組のマーカ（８個のマーカ）の位置に基づいて、元の画像に対して施された射影変換の逆変換（逆射影変換）を行う。

以下、本実施形態におけるマーカ埋め込み装置、及びマーカ検出装置の具体的な構成例について説明する。図４は、本実施形態におけるマーカ埋め込み装置１の構成を示すブロック図である。マーカ埋め込み装置１は、入力される画像コンテンツ（静止画）又は映像コンテンツ（動画像）に対して、画像コンテンツ又は映像コンテンツ上の予め定められた矩形領域の四隅を含む位置に上述の特徴を有するマーカを埋め込む。更に、マーカ埋め込み装置１は、マーカ間にＩＤコードを埋め込み、矩形領域内に予め定められた電子透かしを埋め込む。ＩＤコード（識別コード）には、中心点が一直線上に位置するマーカの組を識別するための情報が含まれている。マーカ埋め込み装置１は、同図が示すように、画像入力部１１、マーカ重畳部１２、線分ＩＤコード重畳部１３、電子透かし重畳部１４、及び、埋め込み済み画像出力部１５を備えている。

画像入力部１１は、予め用意された画像コンテンツ又は映像コンテンツを入力する。なお、映像コンテンツが入力される場合は、映像の時系列に連続する各フレーム画像を一枚ずつ入力する。また、入力される画像コンテンツ又は映像コンテンツは、デジタルデータとして入力される。

マーカ重畳部１２は、画像入力部１１に入力された画像又は映像の各フレーム画像に対して、予め定められた矩形領域の四隅を含む８箇所に適当な大きさでマーカを重畳する。マーカ重畳部１２が画像又はフレーム画像に重畳するマーカは、図１に示した濃淡パターンを有するマーカである。また、マーカのサイズは、予め定められたサイズであってもよいし、当該矩形領域に重畳する電子透かしのサイズに応じて定めるようにしてもよい。マーカ重畳部１２は、例えば、図２に示したように画像の左端に沿って４つのマーカを中心点が直線上に位置し、中心点間の距離の比が１：ｘ：ｙとなるようにマーカを重畳する。また、マーカ重畳部１２は、同様に、右端に沿って４つのマーカを重畳する。すなわち、マーカ重畳部１２は、画像又は映像の各フレーム画像に対して４つで１組のマーカを２組分、矩形領域に重畳する。

マーカ重畳部１２が画像又は映像の各フレーム画像に埋め込むマーカは、同心円状のパターンであること、及び、当該同心円パターンの中心を通る任意の直線上で共通した特徴的な濃淡パターンが４箇所存在することの２つの構成を有している。後者の構成については、例えば、図１に示されているマーカでは、点Ａ、点Ｂ、点Ｃ、及び点Ｄの周辺で図５に示されるような濃淡の変化が存在している。図５は、本実施形態において用いるマーカが有している特徴的な濃淡パターンの一例を示す図である。同図において、横軸はマーカの中心を通る直線に対応し縦軸は当該直線上においてマーカの中心を基準としたときの濃淡を示している。図１に示されているマーカには、図５に示されている特徴的な濃淡パターンが４箇所（点Ａ、点Ｂ、点Ｃ、及び点Ｄ）存在している。例えば、点Ａでは（−１，＋２，−２）、点Ｂでは（−２，＋２，−１）となっており、着目している点（又は領域）に対して正（＋）の濃淡が与えられており、着目している点（又は領域）に隣接する点（又は領域）に対して負（−）の濃淡が与えられている。なお、図１に示されているマーカは、一例であって、上述の２つの構成を有する濃淡パターンからなるマーカであれば、図１に示されているマーカと異なる形状であってもよい。

マーカを画像に重畳する重畳方式として、具体的には、マーカ重畳部１２は、入力された画像をＲＧＢ色空間の信号から、ＹＣｂＣｒ色空間の信号に変換する。マーカ重畳部１２は、画像上の予め定められた矩形領域の四隅を含む８箇所にマーカを重ね合わせ、マーカが重ね合わされた位置（画素）のＣｂ成分にマーカの濃淡値を足し込む。図１に示されているマーカを用いる場合には、同図に示されている数値がＣｂ成分に足し込む値である。ここでは、値が正値（プラス）である場合には加算を行い、値が負値（マイナス）である場合には減算を行う。なお、マーカ重畳による濃淡の強度を強めるために、パラメータとして事前に設定した固定値ａを係数としてマーカの濃淡値に対して掛け合わせてから画像のＣｂ成分に足し込んでもよい。すなわち、マーカの濃淡値を固定値ａ倍した値を画像のＣｂ成分に足し込むようにしてもよい。また、画像コンテンツや映像コンテンツに対する幾何学的変換として、±４５度以上の回転が加わった場合において、マーカを検出する際に四隅のマーカの対応が正しくとれるようにするために、矩形領域の四隅に配置するマーカのうち一つのマーカの正負を反転させて足し込むようにする。以下では、図２に示したマーカ重畳例のように、右下のマーカの濃淡の正負を反転したものを重畳する場合について説明する。

線分ＩＤコード重畳部１３は、マーカ重畳部１２が重畳した中心点間の距離の比が１：ｘ：ｙとなるマーカの間にＩＤコードを画像又は映像の各フレーム画像に対して更に重畳する。ＩＤコードはマーカを識別するための情報が含まれている。ＩＤコードは、例えば、「１」と「０」とからなる２進数の値である。線分ＩＤコード重畳部１３は、「１」に対応する領域（画素）においてはＣｂ成分の値に所定の値を加え、「０」に対応する領域においてはＣｂ成分の値から所定の値を減じることにより、ＩＤコードを画像又は映像の各フレーム画像に対して重畳する。このとき、ＩＤコードは、中心点間の距離の比が１：ｘ：ｙとなるマーカの中心点を結ぶ線分上に重畳される。

なお、ＩＤコードの読み出しは、例えば、ＩＤコードが重畳されている領域（画素）ごとに、ＩＤコードが配置されている方向に隣接する領域との差分を算出し、算出した差分値に基づいて重畳された値（「０」又は「１」）を判定することにより行う。また、２組のマーカそれぞれにマーカ間には、対応することを示すために同じＩＤコードが用いられる。また、異なる画像及び映像に対しては、異なるＩＤコードを用いることが望ましい。特に、複数の画像又は映像が空間的に近い位置に配置され、表示されることが前もって分かっているような場合には、近傍の配置される画像及び映像と異なるＩＤコードを割り当てる用にする。

図６は、本実施形態におけるマーカ埋め込み装置１によりマーカ及びＩＤコードが重畳された画像例を示す図である。ここでは、電子透かし埋め込み領域を示す矩形領域の右側の一辺と左側の一辺とそれぞれに沿って配置されているマーカであって中心点の距離の比が１：ｘ：ｙとなるように配置されているマーカのうち、距離の比が１に対応するマーカ間と、距離の比がｙに対応するマーカ間とに２つのＩＤコードが重畳されている。右端に配置されている組のマーカ間に重畳されている２つのＩＤコードと、左端に配置されている組のマーカ間に重畳されている２つのＩＤコードとは、前述のように同じＩＤコードとなっている。なお、同図では、２個ずつのＩＤコードをマーカ間に配置する例を示しているが、マーカ間に配置するＩＤコードは１個であってもよいし、３個以上であってもよい。

電子透かし重畳部１４は、マーカ重畳部１２によって画像に重畳された八つのマーカにより囲まれた矩形領域内に画像に関する情報としての電子透かし情報を重畳する。重畳方式は、重畳する電子透かしの方式に従うこととする。電子透かしの方式には、特許文献１に示されている方式などのさまざまな方式が提案されているが、いずれの方式を採用してもよい。また、電子透かし重畳部１４によって重畳される電子透かし情報は、それ自体が幾何学的変換に対する耐性がなくてもよい。

埋め込み済み画像出力部１５は、マーカ重畳部１２と線分ＩＤコード重畳部１３と電子透かし重畳部１４とにおいて処理が施された画像を、マーカ、ＩＤコード、及び電子透かしが重畳された「埋め込み済み画像」として出力する。画像入力部１１に映像コンテンツが入力された場合には、埋め込み済みの画像をフレームとして、一連の映像シーケンスに繋ぎ合わせて一つの映像コンテンツとして出力する。埋め込み済み画像出力部１５が出力する先は、例えば、ＨＤＤや、ＤＶＤ−ＲＯＭなどの電子記録媒体や、ディスプレイ装置などである。出力先が電子記録媒体の場合には当該電子記録媒体に埋め込み済み画像を記録させ、出力先がディスプレイ装置である場合には当該ディスプレイ装置に埋め込み済み画像を表示させることになる。

図７は、本実施形態におけるマーカ埋め込み装置１が行うマーカ埋め込み処理を示すフローチャートである。マーカ埋め込み装置１において、マーカ埋め込み処理が開始されると、マーカ及び電子透かしを埋め込む対象としての画像（又は映像の各フレーム画像）が画像入力部１１に入力される（ステップＳ１１）。
マーカ重畳部１２は、画像入力部１１に入力された画像のＣｂ成分に対して、図２に示したように所定の矩形領域において中心点が同一の直線上にあり、かつ中心点間の間隔が所定の複比（１：ｘ：ｙ）を満たす位置に左端と右端とに４つずつ重畳する。マーカ重畳部１２は、８つのマーカを重畳した画像を線分ＩＤコード重畳部１３に出力する（ステップＳ１２）。

線分ＩＤコード重畳部１３は、マーカ重畳部１２から出力された画像においてマーカ間にＩＤコードを重畳し、ＩＤコードを重畳した画像を電子透かし重畳部１４に出力する（ステップＳ１３）。
電子透かし重畳部１４は、線分ＩＤコード重畳部１３から出力された画像において、当該画像に重畳されている８つのマーカに囲まれた矩形領域に電子透かし情報を重畳し、電子透かし情報を重畳した画像を埋め込み済み画像出力部１５に出力する（ステップＳ１４）。

埋め込み済み画像出力部１５は、電子透かし重畳部１４から入力された画像を外部の装置に出力する（ステップＳ１５）。
埋め込み済み画像出力部１５は、全ての画像に対してマーカ、ＩＤコード、及び、電子透かし情報を重畳する処理が完了したか否かを判定し（ステップＳ１６）、全ての画像に対して処理が完了している場合(ステップＳ１６：ＹＥＳ)、マーカ埋め込み処理を終了させる。一方、全ての画像に対して処理が完了していない場合(ステップＳ１６：ＮＯ)、埋め込み済み画像出力部１５は、処理をステップＳ１１に戻し、ステップＳ１１からステップＳ１５の処理を繰り返して行わせる。

上述のように、マーカ埋め込み装置１において、画像入力部１１に入力された画像コンテンツ又は映像コンテンツは、マーカ重畳部１２、線分ＩＤコード重畳部１３、電子透かし重畳部１４、及び、埋め込み済み画像出力部１５において一連の処理が施される。これにより、画像コンテンツ又は映像コンテンツには、コンテンツ内の予め定められた矩形領域における左側の一辺と右側の一辺とに４つずつ（計８個）のマーカと、マーカ間のＩＤコードと、電子透かし情報とが重畳される。

図８は、本実施形態におけるマーカ検出装置２の構成を示すブロック図である。マーカ検出装置２は、入力される画像コンテンツ又は映像コンテンツに対して、所定のマーカを検出する。マーカ検出装置２は、検出したマーカに対して複比及びＩＤコードを用いた判定を行う。マーカ検出装置２は、判定を満たすマーカに基づいて、画像コンテンツ又は映像コンテンツに対して重畳された電子透かし情報を検出し、検出した電子透かし情報を出力する。マーカ検出装置２は、同図に示すように、画像入力部２１、マーカ検出部２２、線分ＩＤコード検出部２３、射影変換補正部２４、電子透かし検出部２５、及び、検出結果出力部２６を備えている。

画像入力部２１には、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツをカメラ等で撮影したデジタルデータ、並びに、検出対象の電子透かしが埋め込まれた画像コンテンツ又は映像コンテンツが加工（例えば、射影変換）されたデジタルデータが入力される。なお、埋め込まれている電子透かしが、検出の際に時系列的に連続する複数の画像を必要とする場合には、必要となる枚数の画像がまとめて時系列順に画像入力部２１に入力される。

マーカ検出部２２は、画像入力部２１に入力された画像に対して、当該画像上にマーカが重畳されている位置を特定する。画像に埋め込まれているマーカが図１に示されているマーカである場合について、具体的な方法を説明する。マーカ検出部２２は、入力された画像をＲＧＢ色空間の信号からＹＣｂＣｒ色空間の信号に変換し、当該画像のＣｂ成分を抽出する。マーカ検出部２２は、予め用意された複数の大きさのＢｏｘフィルタごとに、Ｃｂ成分の画像に対して水平方向の走査を繰り返して行うことによる左上から右下に向かってのラスタスキャンを、Ｂｏｘフィルタを用いて行う。ここでは、図９に示すように３つの異なる大きさのＢｏｘフィルタが予め用意されている場合について説明する。

図９は、本実施の形態においてマーカ検出部２２が用いるＢｏｘフィルタであって異なる大きさのＢｏｘフィルタの概要を示す図である。Ｂｏｘフィルタは、例えば、３画素×３画素、５画素×５画素、７画素×７画素、１５画素×１５画素のＢｏｘフィルタを予め用意する。なお、各Ｂｏｘフィルタの大きさや、Ｂｏｘフィルタの個数は、対象とするコンテンツ及びコンテンツに重畳されるマーカのサイズに応じて予め定めるようにしてもよい。マーカ検出部２２は、各Ｂｏｘフィルタを用いたラスタスキャンにおいて画素ごとに値を算出する。

ここで、スキャン方向と、当該スキャン方向に垂直な方向と、Ｂｏｘフィルタの大きさ方向とからなる３次元スケールスペース上において、それぞれの方向に隣接する領域を２６近傍として定義する。マーカ検出部２２は、現在のスキャン位置（画素）の算出値と２６近傍の算出値を比べて、スキャン位置の算出値が最大値となる場合に当該スキャン位置の算出値を極大値として検出する。マーカ検出部２２は、スキャン方向に連続する４つの極大値に対応する点を、点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’として式（３）を用いて複比を算出する。マーカ検出部２２は、式（３）を用いて算出した複比と、マーカに対して定められている式（２）で算出される複比とを比較し、等しい場合にマーカが４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）で定められる位置に存在すると判定し、マーカの中心点を記憶する。マーカ検出部２２は、Ｂｏｘフィルタを用いたマーカの中心点を検出する処理を画像全体に対して行う。なお、スキャン方向又はスキャン方向に垂直な方向のいずれかと、Ｂｏｘフィルタの大きさ方向とからなる２次元スケールスペース上における８近傍の算出値を比べて極大値を検出するようにしてもよい。

また、マーカ検出部２２は、矩形領域の右下に対応するマーカについて以下のように行う。なお、矩形領域の右下に対応するマーカは、その濃淡パターンが他の３箇所のマーカの濃淡パターンと逆になっているため、上述のＢｏｘフィルタにより算出される値はマーカの特徴点において近傍の画素より小さくなる。マーカ検出部２２は、現在のスキャン位置（画素）の算出値と２６近傍の算出値とを比べて、スキャン位置の算出値が最小となる場合に当該スキャン位置の算出値を極小値として検出する。マーカ検出部２２は、スキャン方向に連続する４つの極小値（最小値）に対応する点を、点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’として式（３）を用いて複比を算出する。マーカ検出部２２は、式（３）を用いて算出した複比と、マーカに対して定められている式（２）で算出される複比とを比較し、等しい場合にマーカが４つの点（点Ａ’、点Ｂ’、点Ｃ’、及び点Ｄ’）で定められる位置に存在すると判定し、マーカの中心点を記憶する。

線分ＩＤコード検出部２３は、マーカ検出部２２が検出したマーカ（中心点）に対して、同一直線上に位置する４つのマーカからなる組を全探索する。線分ＩＤコード検出部２３は、検出した４つのマーカの組ごとに中心点間の距離の複比を算出し、算出した複比が予め定められた複比（１：ｘ：ｙ）であるか否かを判定する。算出した複比が次式（４）と一致する場合、４つのマーカの組は電子透かし情報が重畳されている矩形領域の左側又は右側に配置されたマーカの組であると判定される。算出した複比が（１：ｘ：ｙ）でないとき、４つのマーカの組は電子透かし情報が重畳されている矩形領域を示すマーカの組でないと判定される。

なお、この判定において、算出した複比と式（４）の値との差が所定の範囲内のとき、電子透かし情報が重畳されている矩形領域を示すマーカの組と判定してもよい。
線分ＩＤコード検出部２３は、矩形領域を示す４つのマーカの組それぞれにおいて、４つのマーカの位置関係に基づいて、線分ＩＤコード重畳部１３がマーカ間に重畳したＩＤコードを読み出す。このとき、線分ＩＤコード検出部２３は、重畳されたマーカの位置座標が既知であることを利用し、直線上の埋め込まれているＩＤコードの位置を逆算して読み出す。線分ＩＤコード検出部２３は、４つのマーカの組ごとに読み出したＩＤコードが一致する２組を、電子透かし情報が重畳されている領域の左端と右端とを示すマーカであると判定する。なお、前述の２組と異なるＩＤコードで一致する他の２組が存在する場合には、画像に複数の電子透かし情報が重畳されていると判定する。

線分ＩＤコード検出部２３は、検出した２組のマーカが示す各線分の両端を繋いで得られる四辺形内の領域を電子透かし情報が重畳されている矩形領域に対応する部分領域と判定する。また、線分ＩＤコード検出部２３は、マーカ検出部２２において矩形領域を示すマーカのうち右下に位置するマーカが既に特定されているので、他の３つの隅に位置するマーカの特定を行う。すなわち、線分ＩＤコード検出部２３は、矩形領域に対応する部分領域を示すマーカのうち四隅に配置されているマーカを特定する。

図１０は、線分ＩＤコード検出部２３における処理の概要を示す図である。マーカ検出部２２が検出したマーカの中心点に対して、同一直線上に位置する４つのマーカであって所定の複比（式（４））を満たす４つのマーカを組として１つの線分にまとめる。このとき複比は、マーカ埋め込み装置１において埋め込まれたマーカの中心点間の距離の複比である。
線分ＩＤコード検出部２３は、線分上に配置されているＩＤコードを読み出し、ＩＤコードが一致する２つの線分を対として両端を繋ぎ、四辺形を検出する。線分ＩＤコード検出部２３は、検出した四辺形を電子透かし情報が埋め込まれた部分領域として特定する。
このようにして、線分ＩＤコード検出部２３は、電子透かし情報が埋め込まれた矩形領域を囲むように配置された８つのマーカの位置を全て特定することができる。

なお、電子透かし情報が埋め込まれた矩形領域は、図１１に示すように、マーカを重畳した領域を含まないように定めてもよい。図１１は、本実施形態において電子透かし情報を埋め込む（重畳する）領域の異なる例を示す図である。この場合、マーカ埋め込み装置１は、マーカと重複しない矩形領域に電子透かし情報を重畳する。この場合には、マーカ埋め込み装置１は、矩形領域の左側の一辺及び右側の一辺それぞれに沿ってマーカを画像に埋め込むことになる。

なお、埋め込まれたマーカが、図１に示されている形状以外のものであっても、本実施の形態におけるマーカの構成である「共通した特徴的な濃淡パターン」を抽出できるフィルタを用いることによって、同様にマーカの位置を検出することができる。また、マーカ検出部２２は、マーカの位置が７つ以下しか検出できなかった場合、電子透かしが埋め込まれていない、又は、マーカの検出に失敗したと判定してそれ以降の処理を行わない。また、線分ＩＤコード検出部２３は、ＩＤコードが一致する２組（左端の組と右端との組）を検出できなかった場合、電子透かしが埋め込まれていない、又は、マーカの検出に失敗したと判定してそれ以降の処理を行わない。

射影変換補正部２４は、線分ＩＤコード検出部２３が特定した四辺形の各頂点に位置するマーカ（中心点）に基づいて、入力された画像に対して逆射影変換を行う。このとき、射影変換補正部２４は、四辺形の各頂点に対応するマーカの位置が、マーカ埋め込み装置１がマーカを埋め込んだ矩形領域の四隅の位置になるように逆射影変換を行う。このとき、射影変換補正部２４は、例えば、特許文献２に記載されている技術と同じ技術を適用することにより、逆射影変換を行う。

電子透かし検出部２５は、射影変換補正部２４による逆射影変換によって得られた画像上のマーカが四隅に配置された矩形領域から、マーカ埋め込み装置１の電子透かし重畳部１４が画像に重畳した電子透かし情報を検出する。このとき、埋め込まれている電子透かし情報が時系列的に複数の画像を必要とする場合には、マーカ検出部２２、線分ＩＤコード検出部２３、及び、射影変換補正部２４が必要な枚数の画像分の処理を繰り返して行い、逆射影変換により補正された必要数の画像を得てから電子透かしを検出する。電子透かし検出部２５は、検出した電子透かし情報を検出結果出力部２６に出力する。

検出結果出力部２６は、電子透かし検出部２５が出力する情報、すなわち電子透かしが示す電子透かし情報をデジタルデータとして外部に出力する。

図１２は、本実施形態に置けるマーカ検出装置２が行うマーカ検出処理を示すフローチャートである。マーカ検出装置２において、マーカ検出処理が開始されると、マーカ及び電子透かし情報を検出する対象としての画像（又は映像の各フレーム画像）が画像入力部２１に入力される（ステップＳ２１）。
マーカ検出部２２は、画像入力部２１に入力された画像のＣｂ成分の画像において、Ｂｏｘフィルタを用いてマーカの中心点を検出する（ステップＳ２２)。

線分ＩＤコード検出部２３は、マーカ検出部２２が検出したマーカに基づいて、線分ＩＤコードを検出し、４つのマーカがなす線分の対から電子透かし情報が重畳されている領域を特定する（ステップＳ２３）。
線分ＩＤコード検出部２３は、電子透かし情報が重畳されている領域を検出できたか否かを判定し（ステップＳ２４）、検出できなかった場合（ステップＳ２４：ＮＯ）、マーカ検出処理を終了させる。

一方、検出できた場合（ステップＳ２４：ＹＥＳ）、射影変換補正部２４は、入力された画像に対して、線分ＩＤコード検出部２３が特定した領域を所定の大きさを有する矩形領域に一致させる逆射影変換を行う（ステップＳ２５）。
なお、線分ＩＤコード検出部２３が電子透かし情報が重畳されている領域を複数検出した場合には、射影変換補正部２４は検出された領域ごとに逆射影変換を行う。

電子透かし検出部２５は、射影変換補正部２４による逆射影変換によって得られた画像において、マーカが示す矩形領域から電子透かし情報を検出する（ステップＳ２６）。
なお、線分ＩＤコード検出部２３が電子透かし情報が重畳されている領域を複数検出した場合には、電子透かし検出部２５は検出された領域ごとに電子透かし情報を検出する。

電子透かし検出部２５は、検出した電子透かし情報が正しいか否かを判定し（ステップＳ２７）、正しくない場合（ステップＳ２７：ＮＯ）、処理をステップＳ２１に戻して、ステップＳ２１からステップＳ２７までの処理を繰り返させる。
一方、検出した電子透かし情報が正しい場合（ステップＳ２７：ＹＥＳ）、電子透かし検出部２５は、検出した電子透かし情報を検出結果出力部２６に出力する。検出結果出力部２６、電子透かし検出部２５から出力された電子透かし情報を外部に出力し（ステップＳ２８）、マーカ検出処理を終了させる。

上述のように、マーカ検出装置２において、画像入力部２１に入力された画像コンテンツ又は映像コンテンツは、マーカ検出部２２、線分ＩＤコード検出部２３、射影変換補正部２４、電子透かし検出部２５、及び、検出結果出力部２６において一連の処理が施される。これにより、画像コンテンツ又は映像コンテンツに重畳されたマーカが検出され、検出されたマーカの間に配置されたＩＤコードが検出され、マーカ（中心点）間の距離の複比及びＩＤコードに基づいて特定されたマーカに囲まれた領域を特定し、当該領域に対して逆射影変換を行うことにより、射影変換に対して耐性がない電子透かし情報であっても取得することができる。
このとき、線分ＩＤコード検出部２３が、マーカ検出部２２が検出したマーカに対して、同一直線上に位置していること、及び、マーカ（中心点）間の距離の比が予め定められた比（式（４））と一致していることを条件として、電子透かし情報が重畳されている領域を特定するマーカであるか否かを判定している。これにより、マーカ検出部２２が誤ってマーカを検出した場合においても、当該マーカの影響を抑えて電子透かし情報が重畳されている領域を検出することができ、電子透かし検出部２５が電子透かし情報を検出する精度を向上させることができる。

以上説明した、マーカ埋め込み装置１とマーカ検出装置２とを用いることで、視覚特性において人間に最も知覚されにくいＣｂ成分に、複比が検出可能なマーカを埋め込み、当該マーカをＢｏｘフィルタにより検出することが可能となる。
マーカの中心を通る直線上に４箇所の共通した特徴的な濃淡パターンを定めていることにより、当該特徴的な濃淡パターンをフィルタ処理により検出することができる。また、マーカの中心を通る直線上の４箇所の点で定められる複比は、射影変換によってマーカが変形したとしても、射影変換後のマーカにおける当該４箇所の点から算出される複比と一致する。この複比を用いたマーカの検出を行うことにより、射影変換が施された画像からマーカを検出することができる。

また、フィルタ処理においては、マーカが有する特徴的な濃淡パターンに対応するＢｏｘフィルタを用いたラスタスキャンを行うようにしたので、特徴的な濃淡パターンの領域がＢｏｘフィルタの領域と重なった場合に算出される値が近傍の値に比べて大きくなる。これにより、マーカの位置の特定を容易にすることができる。特定したマーカの位置に基づいて逆射影変換を行うことにより、電子透かし等の情報を埋め込んだ画像コンテンツや映像コンテンツを幾何学的変換前の状態に復元することができる。
その結果、電子透かし等の情報を埋め込んだ画像コンテンツや映像コンテンツをカメラ等で撮影した際に生じる射影変換が施された画像に対し逆射影変換を施して、埋め込まれた電子透かし等の画像に関する情報を取得することができる。

また、画像から検出したマーカに対して、マーカの中心点が一直線上にあるか、マーカの中心点間の距離の複比が所定の複比（式（４））を満たすか、マーカ間に埋め込まれたＩＤコードが対応するかという条件を用いて、電子透かし情報が埋め込まれている矩形領域を示すマーカであるか否かを判定するようにした。これにより、矩形領域を示すマーカの検出精度を向上させることができる。また、ＩＤコードで矩形領域を示すマーカを識別することができるので、複数の電子透かしが画像に埋め込まれている場合においてもそれぞれの電子透かしが埋め込まれている矩形領域を個別に検出することができる。

また、本実施形態では、矩形領域の四隅だけでなく矩形領域の一辺に沿って中心点間の距離が所定の複比を満たすように４つのマーカを配置している。これにより、マーカ間に配置されているＩＤコードに対して射影変換で生じた歪みを特定することができ、ＩＤコードを読み出す精度を向上させている。その結果、複数の電子透かしが画像に埋め込まれている場合においてもそれぞれの電子透かしが埋め込まれている各矩形領域を精度よく検出することができる。

なお、本実施形態では、図２に示したように、電子透かし情報を埋め込む対象の画像の四隅を含む位置にマーカを重畳し、画像のほとんどの領域を電子透かし情報を重畳する領域として扱う場合を例示した。しかし、これに限ることなく、対象の画像において特定の矩形領域を電子透かし情報を重畳する領域とするようにしてもよい。この場合、画像における特定の矩形領域内の四隅を含む８箇所にマーカを重畳するようにしてもよい。例えば、対象の画像に二人の人物が映っているとして、それぞれの人物の顔に対応する矩形領域それぞれにマーカを重畳して異なる電子透かし情報を重畳するといったことも可能である。このようにすることがで、一枚の画像コンテンツそれぞれの人物に対応した情報を検出することが可能となる。更に、検出した情報に基づいて他のコンテンツ（例えば、Ｗｅｂ情報サイト）にユーザを誘導するようにしてもよい。

また、本実施形態では、マーカに囲まれた領域を電子透かし情報が重畳されている領域として扱う場合を例示したが、例えば、図１３に示すように、マーカによって特定される矩形領域内の一部分を電子透かし情報が重畳されている領域にするようにしてもよい。図１３は、本実施形態において電子透かし情報を重畳する領域の一例を示す図である。同図に示す例では、８つのマーカによって特定される矩形領域内の中央５０％の範囲を電子透かし情報を重畳する領域にしている。なお、マーカによって特定される領域内において任意の領域を指定して電子透かし情報を重畳するようにしてもよい。

また、線分ＩＤコード重畳部１３がマーカ間に重畳するＩＤコードにおいて、冗長性を持たせるようにしてもよい。例えば、所定のパターンが繰り返されているＩＤコードとする。線分ＩＤコード検出部２３は、ＩＤコードに誤りを検出した場合（例えば、所定のパターンの繰り返しが検出されない場合）、当該ＩＤコードに対応する４つのマーカ（中心点）を処理の対象から除外するようにしてもよい。これにより、電子透かし情報が重畳されている領域を検出する精度を向上させることができる。

また、ＩＤコードの所定のビットに、上下方向の向きを示すコードを埋め込むようにしてもよい。例えば、ＩＤコードにおいて、一番上の位置に配置されるビットコードを「１」とし、一番下の位置に配置されるビットコードを「０」とすることにより、ＩＤコードを読み出すことで上下方向の向きを特定することができる。この場合においては、右下の隅などに濃淡の正負を反転したマーカを配置せずとも四隅のマーカを全て特定することができる。
また、左端のマーカ間に重畳されるＩＤコードと、右端のマーカ間に重畳されるＩＤコードとに同じＩＤコードを用いてマーカの組を識別する場合を例示したが、同じＩＤコードでなくとも対応関係が検出できるＩＤコードであればよい。例えば、左端のＩＤコードと右端のＩＤコードとに対してビットごとにＸＯＲ（排他的論理和）演算を行い、演算結果として全てのビットが「１」であるとき、対応するＩＤコード（マーカの組）であると判定するようにしてもよい。

また、本実施の形態では、マーカ検出装置２が逆射影変換の後に電子透かし情報を検出する構成について説明したが、電子透かし情報以外の情報を検出するようにしてもよい。例えば、電子透かし情報の埋め込み領域を特定する目的以外に、画像認識を利用した同様なアプリケーション（例えば、カメラで撮影したオブジェクトに関連したＷｅｂ情報サイトにアクセスするための情報を提供するアプリケーション）においても、画像認識の前処理として利用可能である。この場合、線分ＩＤコード検出部２３がマーカ及びＩＤコードに基づいて特定した部分領域の画像における位置を示す情報を出力する情報出力部を、マーカ検出装置２が備えるようにしてもよい。ただし、情報を埋め込む領域を含むオブジェクトは平面的な物体であり、かつ印刷等により時算にマーカを埋め込むことが可能な場合に限られる。もちろん、このような利用を想定する場合、マーカ埋め込み装置１における電子透かし重畳部１４や、マーカ検出装置２における射影変換補正部２４及び電子透かし検出部２５は不要であり、検出結果出力部２６は、埋め込み画像上のマーカの位置情報を出力するようにしてもよい。認識モジュールは、出力されたマーカの位置情報に基づいて、オブジェクトの切り出しや幾何学的変換の補正を行うことにより、認識精度を向上させることができる。また、マーカの位置情報に基づいて、オブジェクトとカメラとの相対的な空間位置関係を算出し、認識結果と合わせて利用することにより、認識精度を向上させるようにしてもよい。

また、本実施形態では、矩形領域に対応する部分領域を特定する４つのマーカにおける複比が同じ場合について説明したが、４つのマーカそれぞれの複比を異なるようにしてもよい。この場合、±４５度以上の回転が加わった場合においても、各マーカの元の位置を把握することができるので、図２に示したように一箇所のマーカの濃淡を反転させずともよい。
また、本実施形態では、電子透かし情報を重畳する領域の四隅を含む左端と右端とにマーカを配置する場合を例示したが、電子透かし情報を重畳する領域の四隅を含む上端と下端とにマーカを配置するようにしてもよい。
また、本実施形態では、矩形領域の一辺に沿って４つのマーカを配置する場合を例示したが、５つ以上のマーカを矩形領域の一辺に沿って配置するようにしてもよい。

また、上記の実施の形態において説明したＢｏｘフィルタを用いたラスタスキャンにおいて、当該ラスタスキャンを行う前に対象画像の積分画像（Integral Image）を算出しておくことにより、フィルタリングによる計算量を大幅に削減することができ、処理を高速化することができる（参考文献：八木康史、斉藤秀雄編「コンピュータビジョン 最先端ガイド２」、アドコムメディア株式会社、４６頁、２０１０年６月）。具体的には、積分画像から各重み係数を乗じる領域ごとのＣｂ成分の合計値を算出する積分画像算出部を画像入力部２１とマーカ検出部２２との間に設ける。マーカ検出部２２は、積分画像から得られる各領域のＣｂ成分の合計値に対して重み係数を乗じた値の和を算出する。これにより、Ｂｏｘフィルタの大きさに応じて増加する演算量を抑えることができ、マーカ検出の処理に要する演算量を削減することができる。

上述した実施形態におけるマーカ埋め込み装置１（図４）及びマーカ検出装置２（図８）をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、射影変換を施すことによって得られた画像から元の画像に戻す逆射影変換が必要不可欠な用途にも適用できる。

１…マーカ埋め込み装置
２…マーカ検出装置
１１、２１…画像入力部
１２…マーカ重畳部
１３…線分ＩＤコード重畳部（識別コード重畳部）
１４…電子透かし重畳部（情報重畳部）
１５…埋め込み済み画像出力部
２２…マーカ検出部
２３…線分ＩＤコード検出部（領域特定部）
２４…射影変換補正部
２５…電子透かし検出部（情報検出部）
２６…検出結果出力部

Claims (21)

1. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分に対して、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心点を通る直線上に４箇所の共通した濃淡パターンを有する少なくとも４つのマーカを前記画像上の予め定められた矩形領域を定める第１の辺に沿ってマーカの中心点間の距離が所定の複比をなす位置に一直線上に重畳し、他の少なくとも４つの前記マーカを前記矩形領域を定める前記第１の辺と異なる第２の辺に沿ってマーカの中心点間の距離が前記所定の複比をなす位置に一直線上に重畳するマーカ重畳部と、
   前記画像の前記色成分に対して、前記第１の辺に沿って重畳された前記マーカ間に第１の識別コードを重畳し、前記第２の辺に沿って重畳された前記マーカ間に前記第１の識別コードに対応する第２の識別コードを重畳する識別コード重畳部と、
   前記色成分に前記マーカと前記第１の識別コードと前記第２の識別コードとが重畳された前記画像を出力する画像出力部と
   を備えることを特徴とするマーカ埋め込み装置。
2. 請求項１に記載のマーカ埋め込み装置において、
   前記矩形領域に前記画像に関する情報を重畳する情報重畳部
   を更に備えることを特徴とするマーカ埋め込み装置。
3. 請求項１又は請求項２のいずれかに記載のマーカ埋め込み装置において、
   前記識別コード重畳部は、
   前記第１の識別コードと前記第２の識別コードとに対して同じ識別コードを用いる
   ことを特徴とするマーカ埋め込み装置。
4. 請求項１から請求項３のいずれか一項に記載のマーカ埋め込み装置において、
   前記識別コード重畳部は、
   前記第１の識別コードと前記第２の識別コードとに対して前記画像の上下方向を識別できる識別コードを用いる
   ことを特徴とするマーカ埋め込み装置。
5. 一又は複数の連続する画像を入力する画像入力部と、
   前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する４つの点を検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心点を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出部と、
   前記マーカ検出部により検出された前記マーカのから、中心点が一直線上に並び、かつ中心点間の距離の比が所定の複比をなすマーカの組を少なくとも２つ特定し、特定した組のマーカ間の前記色成分において重畳されている識別コードが対応するマーカの組の対に基づいて、前記画像における部分領域を特定する領域特定部と、
   前記領域特定部が特定した部分領域を所定の矩形領域にする射影変換を行う射影変換補正部と
   を備えることを特徴とするマーカ検出装置。
6. 請求項５に記載のマーカ検出装置において、
   前記射影変換補正部により矩形領域に射影変換された前記部分領域から前記画像に関する情報を検出する情報検出部
   を更に備えることを特徴とするマーカ検出装置。
7. 請求項５又は請求項６のいずれかに記載のマーカ検出装置において、
   前記マーカ検出部は、
   前記マーカが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカを検出する
   ことを特徴とするマーカ検出装置。
8. 請求項５から請求項７のいずれか一項に記載のマーカ検出装置において、
   前記画像の前記色成分における積分画像を算出する積分画像算出部を更に備え、
   前記マーカ検出部は、
   前記積分画像に基づいて、前記画像における前記マーカの位置を検出する
   ことを特徴とするマーカ検出装置。
9. 請求項５から請求項８のいずれか一項に記載のマーカ検出装置において、
   前記領域特定部は、
   特定したマーカの組のマーカ間に重畳されている識別コードが一致するマーカの組を対として、マーカの組で定められる線分を繋いで得られる四辺形の領域を前記部分領域として特定する
   ことを特徴とするマーカ検出装置。
10. 請求項５から請求項９のいずれか一項に記載のマーカ検出装置において、
    前記領域特定部が特定した部分領域の前記画像における位置を示す情報を出力する情報出力部
    を更に備えることを特徴とするマーカ検出装置。
11. 一又は複数の連続する画像を入力する画像入力ステップと、
    前記画像の知覚されにくい色成分に対して、前記色成分の濃淡が同心円状の縞模様を有し該同心円の中心点を通る直線上に４箇所の共通した濃淡パターンを有する少なくとも４つのマーカを前記画像上の予め定められた矩形領域を定める第１の辺に沿ってマーカの中心点間の距離が所定の複比をなす位置に一直線上に重畳し、他の少なくとも４つの前記マーカを前記矩形領域を定める前記第１の辺と異なる第２の辺に沿ってマーカの中心点間の距離が前記所定の複比をなす位置に一直線上に重畳するマーカ重畳ステップと、
    前記画像の前記色成分に対して、前記第１の辺に沿って重畳された前記マーカ間に第１の識別コードを重畳し、前記第２の辺に沿って重畳された前記マーカ間に前記第１の識別コードに対応する第２の識別コードを重畳する識別コード重畳ステップと、
    前記色成分に前記マーカと前記第１の識別コードと前記第２の識別コードとが重畳された前記画像を出力する画像出力ステップと
    を有することを特徴とするマーカ埋め込み方法。
12. 請求項１１に記載のマーカ埋め込み方法において、
    前記矩形領域に前記画像に関する情報を重畳する情報重畳ステップ
    を更に有することを特徴とするマーカ埋め込み方法。
13. 請求項１１又は請求項１２のいずれかに記載のマーカ埋め込み方法において、
    前記識別コード重畳ステップでは、
    前記第１の識別コードと前記第２の識別コードとに対して同じ識別コードを用いる
    ことを特徴とするマーカ埋め込み方法。
14. 請求項１１から請求項１３のいずれか一項に記載のマーカ埋め込み方法において、
    前記識別コード重畳ステップでは、
    前記第１の識別コードと前記第２の識別コードとに対して前記画像の上下方向を識別できる識別コードを用いる
    ことを特徴とするマーカ埋め込み方法。
15. 一又は複数の連続する画像を入力する画像入力ステップと、
    前記画像の知覚されにくい色成分において予め定められた濃淡パターンが存在する４つの点を検出し、検出した４つの点から算出される複比が所定の値である場合に、同心円状の縞模様を有し該同心円の中心点を通る直線上において４箇所の共通した前記濃淡パターンを有するマーカが位置すると判定するマーカ検出ステップと、
    前記マーカ検出ステップにおいて検出された前記マーカのから、中心点が一直線上に並び、かつ中心点間の距離の比が所定の複比をなすマーカの組を少なくとも２つ特定し、特定した組のマーカ間の前記色成分において重畳されている識別コードが対応するマーカの組の対に基づいて、前記画像における部分領域を特定する領域特定ステップと、
    前記領域特定ステップにおいて特定した部分領域を所定の矩形領域にする射影変換を行う射影変換補正ステップと
    を有することを特徴とするマーカ検出方法。
16. 請求項１５に記載のマーカ検出方法において、
    前記射影変換補正ステップにおいて矩形領域に射影変換された前記部分領域から前記画像に関する情報を検出する情報検出ステップ
    を更に有することを特徴とするマーカ検出方法。
17. 請求項１５又は請求項１６のいずれかに記載のマーカ検出方法において、
    前記マーカ検出ステップでは、
    前記マーカが有する前記濃淡パターンに応じて定められたボックスフィルタであって複数の大きさのボックスフィルタを用いて、前記画像の前記色成分の各画素に対して順にラスタスキャンを行い、各画素の近傍における最大値又は最小値に対応する画素を検出し、検出した画素のうち前記ラスタスキャンの方向に連続する４つの画素の位置関係に基づいて算出した複比によって前記マーカを検出する
    ことを特徴とするマーカ検出方法。
18. 請求項１５から請求項１７のいずれか一項に記載のマーカ検出方法において、
    前記画像の前記色成分における積分画像を算出する積分画像算出ステップを更に有し、
    前記マーカ検出ステップでは、
    前記積分画像に基づいて、前記画像における前記マーカの位置を検出する
    ことを特徴とするマーカ検出方法。
19. 請求項１５から請求項１８のいずれか一項に記載のマーカ検出方法において、
    前記領域特定ステップでは、
    特定したマーカの組のマーカ間に重畳されている識別コードが一致するマーカの組を対として、マーカの組で定められる線分を繋いで得られる四辺形の領域を前記部分領域として特定する
    ことを特徴とするマーカ検出方法。
20. 請求項１５から請求項１９のいずれか一項に記載のマーカ検出方法において、
    前記領域特定ステップにおいて特定した部分領域の前記画像における位置を示す情報を出力する情報出力ステップ
    を更に有することを特徴とするマーカ検出方法。
21. 請求項１１から請求項１４のいずれか一項に記載のマーカ埋め込み方法における各ステップ、又は、請求項１５から請求項２０のいずれか一項に記載のマーカ検出方法における各ステップをコンピュータに実行させるためのプログラム。

Images