JP4201812B2

JP4201812B2 - 情報データ提供装置、および画像処理装置

Info

Publication number: JP4201812B2
Application number: JP2006511409A
Authority: JP
Inventors: 泰彰井上; 亜輝臣国狭; 健一郎三谷; 孝介辻田; 悟竹内
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-03-25
Filing date: 2005-03-01
Publication date: 2008-12-24
Anticipated expiration: 2025-03-01
Also published as: WO2005093653A1; JPWO2005093653A1; US20070171288A1

Description

本発明は、画像処理技術に関し、特に画像を補正する画像補正装置と方法、その装置における画像補正データベース作成方法に関する。また、本発明は、情報データ提供装置、画像処理装置、情報端末、情報データベース装置に関する。

電子透かしが埋め込まれたデジタル画像を印刷媒体に印刷し、印刷された画像をデジタルカメラやスキャナ等で撮影して再度デジタル化して埋め込まれた電子透かしを検出するシステムがある。たとえば、チケットやカードを利用者に発行する際に、発行者や利用者に関する識別情報などを電子透かしとして視覚的に検知できないように画像に埋め込んでチケットやカードに印刷する。チケットやカードの利用時に、その電子透かしを検出することにより、偽造や不正入手などの不正行為を防止することができる。また、複写機やプリンタで画像を印刷する際に、著作権情報や機器の識別番号等を電子透かしとして埋めこんで印刷することにより、著作物、有価証券等の不正コピーを防止することができる。

一般にデジタルカメラやスキャナを用いて印刷画像を撮影してデジタル化すると、撮影画像には、撮影機器のレンズの形状や焦点距離に依存したレンズ歪みや、撮影時の光軸の傾きに起因する透視歪みが生じ、印刷画像と撮影画像の間で画素のずれが現れる。そのため、印刷画像に埋め込まれた電子透かしを撮影画像から正しく抽出することは困難であり、撮影画像の歪み補正が必要となる。

特許文献１には、較正パターンの画面中心付近の特徴点の位置ずれをもとに透視歪みに係る写像関数を作成し、さらに、その写像関数を用いて特徴点の理想的位置と画像上の実際の位置のずれを画面全体で評価し、レンズ歪みを補正するための補正関数を算出し、画像データの補正を行う画像補正装置が開示されている。

また、クライアントから送信されてきたデジタル画像データから、電子透かしで埋め込まれた情報を抽出し、その抽出された情報に基づいてクライアントにサービス（コンテンツのダウンロード、商品の販売などのサービス）を提供するシステムがある（例えば、特許文献２）。

図５９は、その一例である、商品販売システム１２００の構成図である。商品販売システム１２００は、サーバ１２０１、通信機能付きカメラ（カメラ付き携帯電話１２０２）、及びカタログ（印刷物１２０３）で構成される。印刷物１２０３には、商品を表す様々なイラスト画像が印刷されている。これらのイラスト画像と、販売対象の商品とは、一対一に対応するものである。また、各イラスト画像中には、商品の識別情報（商品ＩＤなど）が、電子透かしにより不可視に埋め込まれている。

このような商品販売システム１２００において、クライアントがカメラ付き携帯電話１２０２により、印刷物１２０３のイラスト画像を撮影すると、カメラ付き携帯電話１２０２で生成された撮影画像のデータは、サーバ１２０１へ送信される。サーバ１２０１は、撮影画像のデータから電子透かしで埋め込まれた情報を抽出し、その抽出結果に応じ、クライアントが購入したい商品を判断する。
特許第２９４０７３６号公報特表２００２−５４４６３７号公報

撮影による画像歪みを補正するためには、撮影機器の歪み特性に関する情報や撮影時の光軸の傾きに関する情報を取得し、撮影画像に幾何学的な変換を施す必要がある。レンズの歪曲特性を詳細に示すプロファイルデータを利用して、精細な歪み補正をすることもできるが、プロファイルデータの記憶容量が大きくなり、処理に時間もかかる。

また、画像歪みをどの程度詳細に調べて補正すべきかは、透かしの画像歪みに対する耐性に依存する。画像歪みに対して透かしの耐性が比較的強い場合に、精細な歪み補正をすることは無駄になるが、画像歪みに対して透かしの耐性が弱い場合には、粗い歪み補正では透かしを正しく検出することができない。透かし埋め込み時の透かしの耐性と透かし抽出時の画像補正の精度とがミスマッチを起こした場合、透かしの検出精度や検出効率が悪化することになる。

また、上記の商品販売システム１２００において、同型で色違いの商品を販売するような場合、印刷物１２０３には、カラーバリエーションの数だけ同型商品のイラスト画像を印刷しておく必要がある。そうすると印刷物１２０３の紙面がかさばるという問題がある。

そこで、商品画像と、色情報のみが埋め込まれた画像（例えば、８色のカラーバリエーションがある場合は、８枚の画像が別途用意されている）とを用意するようにすれば、紙面スペースを減らすことができる。例えば、赤色の商品を購入したい場合には、商品のイラストと赤色を示す画像の２つを連続して撮像する。この場合、必要な画像枚数は、商品数＋色情報の種類で済み、個別の商品毎に色情報を持たせた方式（必要な画像枚数は、商品数×色情報）よりも少なくて済むので、紙面スペースは劇的に減少する。しかし、この場合だと、サーバ１２０１は、商品画像と、色情報の画像の両方についての処理を行う必要があり、負荷が大きい。

そこで、カラーバリエーションの数に対応したイラスト画像を印刷物１２０３に印刷するのではなく、商品に対応したイラスト画像のみを印刷物１２０３に印刷するようにし、クライアントは、撮影機器に附属のボタンを押下することにより、希望する商品の色を選択することが考えられる。

即ち、クライアントは、まず、カメラ付き携帯電話１２０２により、希望する商品のイラスト画像を撮影する。次にクライアントは、希望する商品の色をカメラ付き携帯電話１２０２に附属のボタンを押下することにより選択する。そして、撮影画像のデータと、ボタン押下により選択した情報とが、カメラ付き携帯電話１２０２から、サーバ１２０１に送信される。

しかし、このような方法によれば、クライアントは、撮影操作に続いてボタン押下による選択操作を行わなくてはならないので、操作が煩わしい。

本発明はこうした状況に鑑みてなされたもので、その目的は、画像歪みを高い精度で効率良く補正することのできる画像補正技術を提供することにある。また、別の目的は、電子透かしを利用した利便性の高い情報処理技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像補正装置は、異なるズーム倍率で撮影された既知の画像にもとづいて、ズーム倍率毎にレンズ歪みの補正情報を算出するレンズ歪み算出部と、前記レンズ歪みの補正情報をズーム倍率に対応づけて記憶する記憶部とを含む。

ここで、「レンズ歪みの補正情報をズーム倍率に対応づけて記憶する」とは、レンズ歪みの補正情報が、必ずしもズーム倍率そのものに対応づけて記憶する場合だけでなく、実質的にズーム倍率に対応づけて記憶する場合も含む趣旨である。たとえば、被写体が撮像されるＣＣＤ（charge-coupled device）面やフィルム面の対角長が一定のもと、画角や焦点距離はそれぞれズーム倍率に応じて変化するものであるから、レンズ歪みの補正情報を画角や焦点距離に対応づけて記憶する場合も、ここでいう「ズーム倍率に対応づけて記憶する」に含めるものとする。

本発明の別の態様もまた、画像補正装置である。この装置は、レンズ歪みの補正情報をレンズのズーム倍率に対応づけて格納した記憶部と、入力された撮影画像の撮影時のズーム倍率に応じた前記レンズ歪みの補正情報を前記記憶部から選択する選択部と、選択された前記レンズ歪みの補正情報にもとづいて、前記撮影画像の撮影による歪みを補正する歪み補正部とを含む。

前記選択部は、前記撮影時のズーム倍率に応じて複数のレンズ歪みの補正情報を前記記憶部から候補として選択し、前記複数のレンズ歪みの補正情報の各々により前記撮影画像内の既知形状をなすサンプル点列を補正して、誤差を事前評価することにより、前記複数のレンズ歪みの補正情報の内、１つのレンズ歪みの補正情報を選択してもよい。

ここで、「既知形状をなすサンプル点列」とは、たとえば、撮影画像の画像枠上にとられたサンプル点列は撮影による歪みのない状態では直線上にあることがわかっているなど、撮影による歪みのない状態では、本来はどのような形状の上にサンプル点列があるかが既知であることをいう。別の例として、撮影された人物の顔の輪郭上のサンプル点列も、少なくともなめらかな曲線上にあることが既知である。

本発明のさらに別の態様もまた、画像補正装置である。この装置は、異なるズーム倍率で撮影された既知の画像にもとづいて、ズーム倍率毎にレンズ歪みの生じた画像内の点をレンズ歪みの生じていない画像内の点に写像するレンズ歪み補正関数とその逆関数の近似であるレンズ歪み関数を算出するレンズ歪み算出部と、前記レンズ歪み補正関数と前記レンズ歪み関数の対をズーム倍率に対応づけて記憶する記憶部とを含む。

ここで、「レンズ歪み補正関数とレンズ歪み関数の対をズーム倍率に対応づけて記憶する」とは、必ずしも関数の式と係数などの情報を記憶する場合に限らず、これらの関数の入力値と出力値の対応関係をテーブルにして記憶する場合も含む。たとえば、画像内の座標値とこれらの関数により写像された座標値との対応関係をテーブルにして記憶してもよい。

本発明のさらに別の態様もまた、画像補正装置である。この装置は、レンズ歪みの生じた画像内の点をレンズ歪みの生じていない画像内の点に写像するレンズ歪み補正関数とその逆関数の近似であるレンズ歪み関数の対をレンズのズーム倍率に対応づけて格納した記憶部と、入力された撮影画像の撮影時のズーム倍率に応じた前記レンズ歪み関数を前記記憶部から選択する選択部と、選択された前記レンズ歪み関数にもとづいて、前記撮影画像の撮影による歪みを補正する歪み補正部とを含む。この構成によれば、撮影によるレンズ歪みを補正することができる。

本発明のさらに別の態様もまた、画像補正装置である。この装置は、レンズ歪みの生じていない画像内の点をレンズ歪みの生じた画像内の点に写像するレンズ歪み関数をレンズのズーム倍率に対応づけて格納した記憶部と、入力された撮影画像の撮影時のズーム倍率に応じた前記レンズ歪み関数を前記記憶部から選択する選択部と、選択された前記レンズ歪み関数によりレンズ歪みの補正された画像を用いて、透視歪みの生じていない画像内の点を透視歪みの生じた画像内の点に写像する透視歪み関数を算出する透視歪み算出部と、前記透視歪み算出部により算出された透視歪み関数にもとづいて、前記撮影画像の撮影による歪みを補正する歪み補正部とを含む。この構成によれば、撮影による透視歪みとレンズ歪みを補正することができる。

本発明のさらに別の態様は、画像補正データベース作成方法である。この方法は、異なるズーム倍率で撮影された既知の画像にもとづいて、ズーム倍率毎にレンズ歪みの生じた画像内の点をレンズ歪みの生じていない画像内の点に写像するレンズ歪み補正関数とその逆関数の近似であるレンズ歪み関数を算出するステップと、前記レンズ歪み補正関数と前記レンズ歪み関数の対をズーム倍率に対応づけてデータベースに登録するステップとを含む。

本発明のさらに別の態様は、画像補正方法である。この方法は、レンズ歪みの生じた画像内の点をレンズ歪みの生じていない画像内の点に写像するレンズ歪み補正関数とその逆関数の近似であるレンズ歪み関数の対をレンズのズーム倍率に対応づけて登録したデータベースを参照し、入力された撮影画像の撮影時のズーム倍率に応じた前記レンズ歪み関数を選択するステップと、選択された前記レンズ歪み関数にもとづいて、前記撮影画像の撮影による歪みを補正するステップとを含む。

本発明のさらに別の態様もまた、画像補正方法である。この方法は、レンズ歪みの生じていない画像内の点をレンズ歪みの生じた画像内の点に写像するレンズ歪み関数とレンズのズーム倍率とが対応づけられて登録されているデータベースを参照し、入力された撮影画像の撮影時のズーム倍率に応じた前記レンズ歪み関数を選択するステップと、選択された前記レンズ歪み関数によりレンズ歪みの補正された画像を用いて、透視歪みの生じていない画像内の点を透視歪みの生じた画像内の点に写像する透視歪み関数を算出するステップと、算出された前記透視歪み関数にもとづいて、前記撮影画像の撮影による歪みを補正するステップとを含む。

本発明のさらに別の態様の情報提供装置は、撮像装置によって得た撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、前記撮像データから画像の歪みを検出する歪み検出手段と、情報データを格納する情報データ格納手段と、前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記情報データ格納手段に格納されている情報データを選択する選択手段と、前記選択手段により選択された情報データを外部へ出力する出力手段と、を含む。

前記の情報データとは、文字データ、画像データ、動画データ、音声データなどのことを指すものである。

本発明のさらに別の態様の情報提供装置は、撮像装置によって得た撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、前記撮像データから画像の歪みを検出する歪み検出手段と、情報データを格納する情報データ格納手段と、前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と前記歪み検出手段にて検出された画像の歪みとに基づいて前記情報データ格納手段に格納されている情報データを選択する選択手段と、前記選択手段により選択された情報データの内容を表示する表示手段と、を含むことを特徴とする。

本発明のさらに別の態様の画像処理装置は、撮像装置によって得た撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、前記撮像データから画像の歪みを検出する歪み検出手段と、画像データを格納する画像データ格納手段と、前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と前記歪み検出手段にて検出された画像の歪みとに基づいて前記画像データ格納手段に格納されている画像データを選択する選択手段と、を含む。

本発明のさらに別の態様の画像処理装置は、撮像装置によって得た撮像データから画像の歪みを検出する歪み検出手段と、前記歪み検出手段により検出された画像の歪みに基づいて前記撮像データから画像の歪みを補正する歪み補正手段と、前記歪み補正手段により画像の歪みが補正された撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、画像データを格納する画像データ格納手段と、前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と前記歪み検出手段にて検出された画像の歪みとに基づいて前記画像データ格納手段に格納されている画像データを選択する選択手段と、を含む。

本発明のさらに別の態様の情報端末は、撮像手段と、前記撮像手段によって得た撮像データから画像の歪みを検出する歪み検出手段と、前記歪み検出手段により検出された画像の歪みに基づいて前記撮像データから画像の歪みを補正する歪み補正手段と、前記歪み補正手段により画像の歪みが補正された撮像データと前記歪み検出手段にて検出された画像の歪み情報とを外部へ送信する送信手段と、を含む。

本発明のさらに別の態様の画像処理装置は、情報端末が送信した撮像データと画像の歪み情報とを受信する受信手段と、前記撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、情報データを格納する情報データ格納手段と、前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と前記受信手段が受信した画像の歪み情報とに基づいて前記情報データ格納手段に格納されている情報データを選択する選択手段と、を含む。

本発明のさらに別の態様の情報端末は、撮像手段と、前記撮像手段によって得た撮像データから画像の歪みを検出する歪み検出手段と、前記歪み検出手段により検出された画像の歪みに基づいて前記撮像データから画像の歪みを補正する歪み補正手段と、前記歪み補正手段により画像の歪みが補正された撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、前記電子透かし抽出手段により抽出された電子透かし技術により埋め込まれた情報と前記歪み検出手段にて検出された画像の歪み情報とを外部へ送信する送信手段と、を含む。

本発明のさらに別の態様の情報データベース装置は、撮像装置によって得た撮像データから画像の歪みを検出する歪み検出手段と、情報データを格納する情報データ格納手段と、前記歪み検出手段にて検出された画像の歪みに基づいて前記情報データ格納手段に格納されている情報データを選択する選択手段と、を含むことを特徴とする。

本発明のさらに別の態様のデータ構造は、撮像手段を有する情報端末から送信されるデータ構造であって、前記撮像手段によって得た撮像データから検出された画像の歪みに関する情報を有することを特徴とする。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮像画像の歪みを高い精度で効率良く補正することができる。

また、本発明によれば、電子透かしを利用した情報システムにおいて、クライアントは、１回の撮影操作により、複数の情報（たとえば、電子透かし情報と、クライアント自身が選択した情報）を外部に伝達することができる。

また、本発明によれば、例えば、電子透かしが埋め込まれた印刷画像を収録したカタログを利用した商品販売システムにおいて、色違いの商品などにそれぞれ写真を用意する必要がなくなり、紙面を有効に使用できる。

実施の形態１に係る電子透かし埋め込み装置の構成図である。図１のブロック埋め込み部によるブロック埋め込み方式を説明する図である。図１の電子透かし埋め込み装置から出力される印刷画像を説明する図である。実施の形態１に係る電子透かし抽出装置の構成図である。図４の電子透かし抽出装置により撮影された印刷画像を説明する図である。撮影による画素のずれを説明する図である。図４のプロファイル生成部および画像補正部の詳細な構成を説明する図である。画角とズームレンズの焦点距離との関係を説明する図である。図７のプロファイルデータベースに格納されるレンズ歪み関数対を説明する図である。電子透かし抽出装置によるプロファイルデータベースの生成手順を説明する図である。較正パターンとして用いられる格子模様画像を説明する図である。レンズ歪み関数対を説明する図である。実施の形態１に係る電子透かし抽出手順の全体的な流れを示すフローチャートである。図１３の画像補正処理の大まかな流れを示すフローチャートである。図１４のレンズ歪み関数対の選択の詳細な手順を示すフローチャートである。図１４の画像補正メイン処理の詳細な手順を示すフローチャートである。補正目標画像内の点が補正対象画像内の点に写像される様子を説明する図である。レンズ歪み関数による写像先の点における輝度値の算出方法を説明する図である。図１３の画像領域判定処理の詳細な手順を示すフローチャートである。レンズ歪み補正画像から特徴点が抽出される様子を説明する図である。速度優先システム向け選択方法と精度優先システム向け選択方法を切り替え可能なレンズ歪み関数対の選択の詳細な手順を示すフローチャートである。図２１の補正関数の事前評価の詳細な手順を示すフローチャートである。ベジェ曲線による近似誤差の評価の様子を説明する図である。図２２の特徴点間のサンプル点列の取得の詳細な手順を示すフローチャートである。図２５（ａ）は、原画像領域のエッジ検出処理の様子を説明する図であり、図２５（ｂ）は、原画像領域の各辺のスプライン近似を説明する図である。実施の形態２に係る電子透かし抽出装置の構成図である。図２６のプロファイル生成部および画像補正部の詳細な構成を説明する図である。実施の形態２に係る電子透かし抽出手順の全体的な流れを示すフローチャートである。図２８の画像補正処理の大まかな流れを示すフローチャートである。図２９の透視歪み関数の算出の詳細な手順を示すフローチャートである。図２９の画像補正メイン処理の詳細な手順を示すフローチャートである。補正目標画像内の点が補正対象画像内の点に写像される様子を説明する図である。実施の形態３の画像データ提供システムの構成図である。透かし入り商品画像のイメージ図である。実施の形態３におけるクライアントによる透かし入り商品画像の撮影方向を示す図である。商品の一例であるデジタルカメラを前方からみたときのイメージ画像である。商品の一例であるデジタルカメラを後方からみたときのイメージ画像である。実施の形態３のカメラ付き携帯電話の構成図である。実施の形態３のサーバの構成図である。透かし入り商品画像を真上（図３４のプラスｚ側）から撮影した場合の撮影画像である。透かし入り商品画像を左上方（図３４のプラスｚ−マイナスｘ側）から撮影した場合の撮影画像である。透かし入り商品画像を右上方（図３４のプラスｚ−プラスｘ側）から撮影した場合の撮影画像である。実施の形態３のサーバの画像データ索引部の内容を示した図である。実施の形態３のサーバ１００１が行う処理をフローチャートで示したものである。実施の形態３の変形例の撮影画像を示した図である。実施の形態３の透かし入り商品画像を参照して、ζ軸、η軸について説明した図である。実施の形態４のカメラ付き携帯電話の構成図である。実施の形態４のサーバの構成図である。実施の形態４のカメラ付き携帯電話が行う処理のフローチャートである。実施の形態４のサーバが行う処理のフローチャートでである。実施の形態５の商品購入システムの構成図である。実施の形態５の透かし入り商品画像を示した図である。実施の形態５の商品購入システムにおけるサーバの構成図である。実施の形態５のサーバの商品データベースの内容を示した図である。実施の形態５のサーバの商品購入システムの概念図である。実施の形態５の変形例のサーバの商品購入システムの概念図である。実施の形態６のクイズ回答システムの構成を示す図である実施の形態６におけるクライアントによる透かし入り商品画像の撮影方向を示す図である。電子透かしを利用した商品販売システムの構成図である。

符号の説明

１０画像形成部、１２ブロック埋め込み部、１４印刷部、２０原画像領域、２２埋め込みブロック、２４印刷媒体、２６撮影領域、３０撮影部、３２画像領域判定部、３４画像補正部、３６透かし抽出部、３８プロファイル生成部、４０プロファイルデータベース、８０透視歪み関数算出部、８２レンズ歪み関数対算出部、８４レンズ歪み関数対登録部、８６レンズ歪み関数対選択部、８７透視歪み関数算出部、８８レンズ歪み補正処理部、８９透視歪み補正処理部、１００電子透かし埋め込み装置、２００電子透かし抽出装置、１００１サーバ、１００２カメラ付き携帯電話、１００３印刷物、１００６撮影画像、１００７透かし入り商品画像、１０１１送受信部、１０１２特徴点検出部、１０１３透視歪み検出部、１０１４透視歪み補正部、１０１５透かし抽出部、１０１６画像データベース、１０１７画像データ索引部、１０１８制御部、１１００画像データ提供システム。

実施の形態１．
本発明の実施の形態１に係る電子透かしシステムは、図１の電子透かし埋め込み装置１００と図４の電子透かし抽出装置２００とを含み、電子透かし埋め込み装置１００によって電子透かしの埋め込まれた印刷画像が生成され、電子透かし抽出装置２００によって印刷画像を撮影して、埋め込まれた電子透かしが抽出される。電子透かし埋め込み装置１００は、たとえば、チケットやカードの発行に用いられ、電子透かし抽出装置２００は、チケットやカードの偽造を発見するために用いられる。どちらの装置もネットワーク上の端末からアクセスされるサーバとして構成してもよい。

図１は、実施の形態１に係る電子透かし埋め込み装置１００の構成図である。これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像処理機能および電子透かし埋め込み機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

画像形成部１０は、入力されたデジタル画像Ｉを印刷時の解像度、ここでは横方向（ｘ軸方向ともいう）にＷ画素、縦方向（ｙ軸方向ともいう）にＨ画素の解像度に変換する。画像サイズＷ、Ｈの一例としては、Ｗ＝６４０、Ｈ＝４８０である。

ブロック埋め込み部１２は、画像形成部１０によって印刷時の解像度に変換されたデジタル画像Ｉに透かし情報Ｘを埋め込む。ここで、ブロック埋め込み部１２は、デジタル画像Ｉを所定サイズの正方ブロックに分割して、ブロックに同一の透かしビットを重複して埋め込む。この透かし情報Ｘのデジタル画像Ｉへの埋め込み方式を「ブロック埋め込み方式」と呼び、透かしビットの埋め込まれたデジタル画像Ｉのブロックを「埋め込みブロック」と呼ぶ。一例として、ブロックサイズＮは４である。

図２（ａ）〜（ｄ）は、ブロック埋め込み部１２によるブロック埋め込み方式を説明する図である。図２（ａ）は、デジタル画像Ｉのブロック分割を説明する図である。横Ｗ画素、縦Ｈ画素をもつデジタル画像Ｉは、縦横Ｎ画素の埋め込みブロック２２に分割される。

ブロック埋め込み部１２は、透かし情報Ｘを構成する透かしビットの各々を埋め込むための埋め込みブロック２２をデジタル画像Ｉから選択する。ブロック埋め込み部１２は、各埋め込みブロック２２において、同一の透かしビットを重複して埋め込む。図２（ｂ）は、透かしビットが埋め込まれたデジタル画像Ｉを説明する図である。同図では、透かし情報Ｘが透かしビット列（０，１，１，０）で構成されている場合を例に説明する。ブロック埋め込み部１２は、デジタル画像Ｉから第１透かしビット０を埋め込むための埋め込みブロック２２ａ、第２透かしビット１を埋め込むための埋め込みブロック２２ｂ、第３透かしビット１を埋め込むための埋め込みブロック２２ｃ、第４透かしビット０を埋め込むための埋め込みブロック２２ｄを選択し、これらの埋め込みブロック２２ａ〜ｄにそれぞれの透かしビットを重複して埋め込む。

図２（ｃ）は、埋め込みブロック２２に埋め込まれる透かしビットを説明する図である。ここでは、ブロックサイズＮが４で、透かしビットが１の場合を例に説明する。同図のように、埋め込みブロック２２には、透かしビット１が重複して１６個埋め込まれる。

図２（ｄ）は、透かしビットの抽出時における画素のずれとそれが透かしビットの検出に与える影響を説明する図である。原画像における埋め込みブロック２２の理想的な端点２３に対して、撮影画像において検出される埋め込みブロック２８の実際の端点２９が、同図のように横方向に１画素ずれていたとする。この場合でも、原画像の埋め込みブロック２２と撮影画像の埋め込みブロック２８の重複領域では、同一の透かしビット１が重複して１２個検出される。したがって、ブロック全体で多数決により正しい透かしビットの値を検出することが可能である。このようにブロック埋め込み方式により、画素のずれに対する耐性が高まる。

印刷部１４は、ブロック埋め込み部１２により透かし情報Ｘが埋め込まれたデジタル画像Ｉを紙やカードなどの印刷媒体に印刷し、印刷画像Ｐを生成する。なお、同図では、印刷部１４は電子透かし埋め込み装置１００の構成要素であるが、印刷部１４を電子透かし埋め込み装置１００の外部に設け、プリンタによって構成してもよく、その場合は、電子透かし埋め込み装置１００とプリンタは、周辺機器の接続ケーブルまたはネットワークで接続される。

図３は、出力された印刷画像Ｐを説明する図である。印刷媒体２４上に電子透かしの埋め込まれたデジタル画像Ｉ（原画像ともいう）が印刷されており、原画像が印刷された領域２０（以下、単に原画像領域２０という）の周囲には通常、印刷媒体２４の余白部分が存在する。

図４は、実施の形態１に係る電子透かし抽出装置２００の構成図である。撮影部３０は、電子透かしの埋め込まれた印刷画像Ｐまたは格子模様画像Ｒを撮影して電子化する。プロファイル生成部３８は、異なるズーム倍率で撮影された格子模様画像Ｒの格子点の位置ずれを検出して、画像に生じた歪みの補正情報を生成し、その補正情報をズーム倍率に対応づけてプロファイルデータベース４０に登録する。画像補正部３４は、印刷画像Ｐの撮影時のズーム倍率に応じた補正情報をプロファイルデータベース４０から選択し、印刷画像Ｐの撮影画像に生じた歪みを補正する。画像領域判定部３２は、歪み補正された撮影画像内の原画像領域２０を判定する。透かし抽出部３６は、歪み補正された撮影画像内の原画像領域２０をブロックに分割して、各ブロックに埋め込まれた透かしビットを検出することにより、透かし情報Ｘを抽出する。これらの構成も、ＣＰＵ、メモリなどのハードウエア、画像処理機能および電子透かし抽出機能のあるソフトウエアの任意の組み合わせによっていろいろな形で実現することができる。

電子透かし抽出装置２００におけるプロファイル生成部３８、画像補正部３４、およびプロファイルデータベース４０は、本発明の画像補正装置の一例である。

撮影部３０は、電子透かし埋め込み装置１００により生成された印刷画像Ｐを撮影し、印刷画像Ｐをデジタル化する。同図では、撮影部３０は電子透かし抽出装置２００の構成要素であるが、撮影部３０を電子透かし抽出装置２００の外部に設け、デジタルカメラやスキャナによって構成してもよく、その場合は、電子透かし抽出装置２００と、デジタルカメラまたはスキャナは、周辺機器の接続ケーブルまたはネットワークで接続される。特にデジタルカメラに無線通信機能がある場合は、デジタルカメラで取り込まれた撮影画像が無線で電子透かし抽出装置２００に送信される。

図５は、撮影された印刷画像Ｐを説明する図である。撮影部３０は、印刷画像Ｐを撮影するとき、印刷媒体２４の原画像領域２０全体を撮影するが、通常、原画像領域２０の周囲の余白部分も撮影する。すなわち撮影領域２６は、一般に、印刷媒体２４上で原画像領域２０よりも広い範囲である。このように撮影部３０による撮影画像には、印刷媒体２４の余白部分も含まれているため、撮影画像の歪み補正をした後、原画像領域２０の切り出しが必要となる。

画像補正部３４は、撮影画像全体の歪み補正を行う。撮影部３０によって印刷画像Ｐを取り込む際、撮影画像にはレンズ歪みや透視歪みが生じる。画像補正部３４は、埋め込まれた電子透かしを正確に抽出できるように、画像に生じた歪みを補正する。歪み補正には、プロファイルデータベース４０に格納された歪みを補正するための関数が利用される。

画像領域判定部３２は、画像補正部３４により歪み補正された撮影画像にエッジ抽出処理などを施して原画像の領域を判定する。これにより、図５の撮影領域２６から余白部分を取り除いた原画像領域２０が切り出される。

透かし抽出部３６は、画像領域判定部３２により判定された原画像領域２０を縦横Ｎ画素のブロックに分割して、各ブロックから透かしビットを検出することにより、透かし情報Ｘを抽出する。ブロック埋め込み方式で埋め込まれた透かしビットを検出する際、埋め込みブロックに歪みがあると、透かしの検出が困難になるが、画像補正部３４により歪みが補正されているため、透かしの検出精度が保証される。また、仮に、歪み補正後に画素のずれが多少残っていたとしても、各ブロックには透かしビットが重複して埋め込まれているため、正しい透かしビットを検出することができる。

図６は、撮影による画素のずれを説明する図である。原画像の埋め込みブロック５０に対して、撮影画像の埋め込みブロック６０が同図のようにずれているとする。原画像の埋め込みブロック５０における端点５２に対して、撮影画像の埋め込みブロック６０の端点６２は、縦横に１画素ずつずれている。このような状況でも、原画像の埋め込みブロック５０と撮影画像の埋め込みブロック６０の重複領域では、同一の透かしビット（ここでは１で示す）が重複して検出されるので、透かし抽出部３６は正しい透かしビットを検出することができる。

図７は、プロファイル生成部３８および画像補正部３４の詳細な構成を説明する図である。プロファイル生成部３８は、透視歪み関数算出部８０、レンズ歪み関数対算出部８２、およびレンズ歪み関数対登録部８４を含む。画像補正部３４は、レンズ歪み関数対選択部８６およびレンズ歪み補正処理部８８を含む。

まず、補正情報のプロファイルデータベース４０への登録について説明する。レンズ歪みを測定するために、撮影部３０は、格子模様画像Ｒを撮影し、プロファイル生成部３８に与える。ズームレンズを利用して撮影する場合は、ズーム倍率を変えて、複数の画角θ_ｉのもとで、格子模様画像Ｒを撮影する。プロファイル生成部３８の透視歪み関数算出部８０は、格子模様画像Ｒの画像領域の入力を受け、格子模様画像Ｒの模様の交点の透視歪みによる位置ずれを検出することにより、透視歪みの生じていない画像内の点を透視歪みの生じた画像内の点に写像する透視歪み関数ｇを算出する。

レンズ歪み関数対算出部８２は、透視歪み関数算出部８０が算出した透視歪み関数ｇの入力を受け、透視歪みを考慮した上で、格子模様画像Ｒの模様の交点のレンズ歪みによる位置ずれを検出することにより、画角θ_ｉのもとでのレンズ歪み補正関数ｆ_ｉおよびレンズ歪み関数ｆ_ｉ ^−１を算出する。ここでレンズ歪み補正関数ｆ_ｉは、レンズ歪みの生じた画像内の点をレンズ歪みの生じていない画像内の点に写像するものである。レンズ歪み関数ｆ_ｉ ^−１は、レンズ歪み補正関数ｆ_ｉの逆関数の近似であり、レンズ歪みの生じていない画像内の点をレンズ歪みの生じた画像内の点に写像するものである。レンズ歪み補正関数ｆ_ｉとレンズ歪み関数ｆ_ｉ ^−１の組をレンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）と呼ぶ。

レンズ歪み関数対登録部８４は、レンズ歪み関数対算出部８２により算出されたレンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を画角θ_ｉに対応付けてプロファイルデータベース４０に登録する。

次に、上記のプロファイルデータベース４０を利用した画像の補正について説明する。撮影部３０は撮影した印刷画像Ｐを画像補正部３４に与える。画像補正部３４のレンズ歪み関数対選択部８６は、印刷画像Ｐの撮影画像の入力を受け、画像情報から撮影時の画角θを判定し、プロファイルデータベース４０から撮影時の画角θに対応するレンズ歪み関数対（Ｆ，Ｆ^−１）を選択し、レンズ歪み補正処理部８８にレンズ歪み関数Ｆ^−１を与える。レンズ歪み補正処理部８８は、レンズ歪み関数Ｆ^−１を用いて、撮影画像全体のレンズ歪みを補正し、補正後の撮影画像を画像領域判定部３２に与える。

図８（ａ）、（ｂ）は、画角とズームレンズの焦点距離との関係を説明する図である。図８（ａ）は被写体９０にレンズ９４のピントが合っている状態を示し、被写体９０の頂点Ｖは、ＣＣＤ９６の撮像面では被写体の像の頂点ｖに対応している。ここで主点９５はレンズ９４の中心であり、焦点距離ｆは、レンズの法線方向に入射した平行光が１点に収束する点（焦点という）と主点９５までの距離である。光軸９２は、主点９５を通りレンズ９４の法線方向を傾きとしてもつ直線である。光軸９２と、主点と被写体９０の頂点Ｖを結ぶ直線とがなす角度ωを半画角といい、ωの２倍を画角という。本願では、半画角ωを単に「画角」と呼ぶ。

ピントを合わせたい被写体９０の高さをＹとし、ＣＣＤ９６の撮像面に写っている被写体の像の高さをｙとする。倍率ｍは、被写体９０の実際の高さＹに対するＣＣＤ９６に撮像される被写体の像の高さｙの割合であり、ｍ＝ｙ／Ｙで求められる。ここで、ピントが完全に合っている状態を次のように定義する。

定義１被写体にピントが完全に合っている
被写体にピントが完全に合っているとは、被写体の頂点とＣＣＤ面に写った被写体の像の頂点を結ぶ直線が主点を通っており、かつ、主点からＣＣＤ面までのレンズに対する法線方向の距離が焦点距離に等しいことをいう。

定義１の意味でピントが完全に合っている状態において、光軸９２とＣＣＤ９６の撮像面が交わる点をピント中心９８と呼ぶ。

レンズは、大きく分けて単焦点レンズとズームレンズの２種類に分類される。単焦点レンズでは焦点距離ｆの変更が不可能である。これに対し、ズームレンズでは、２枚以上のレンズの組合せにより構成されていて、レンズ間の距離や各レンズのＣＣＤ９６の撮像面からの距離を調節することで、焦点距離ｆや主点などを自由に変更することができる。ズームレンズを用いた被写体の倍率変更を説明する。まず、倍率の変更を次のように定義する。

定義２倍率の変更
倍率の変更とは、被写体面とＣＣＤ面の間の距離を変更せず、ピントが完全に合った状態を維持したまま、ＣＣＤ面に写っている被写体の像の高さを変更することをいう。

ここで、「被写体面とＣＣＤ面の間の距離を変更しない」点と、「ピントが完全に合った状態を維持している」点が重要である。たとえば、カメラを持った人が被写体から遠ざかることにより、ＣＣＤ面に写る像は小さくなるが、これは被写体面とＣＣＤ面間の距離が変化しているから、倍率の変更ではない。

定義１および２にしたがって、レンズ９４の焦点距離をｆからｆ’に変更し、倍率を変えた例を図８（ｂ）に示す。焦点距離の変更により、レンズ９４の主点９７が移動する。被写体９０の頂点ＶとＣＣＤ９６の撮像面に写った被写体の像の頂点ｖ’を結ぶ直線は、焦点距離変更後のレンズ９４の主点９７を通っている。被写体９０とＣＣＤ９６間の距離は、図８（ａ）と同じであり、定義１の意味においてピントが完全に合っている。

このとき、ＣＣＤ９６の撮像面に写る被写体の像の高さはｙからｙ’（＞ｙ）に変わり、倍率がｍ＝ｙ’／Ｙに変更された。またこのとき、画角もωからω’（＞ω）に変更される。なお、実際のカメラではズームレンズは２枚以上のレンズの組み合わせにより構成されており、レンズ間の距離や各レンズのＣＣＤ面からの距離を調節することで、焦点距離と主点の位置を調整し、倍率を変更する。

補正対象となるレンズ歪みあるいは歪曲収差は、画角ωに依存することが知られている。この性質は、岸川利郎著「光学入門」（オプトロニクス社、１９９０年）に記されている。焦点距離が変更不可能な単焦点レンズの場合、画角が変わることはないため、レンズ歪み関数対は１つだけ用意して、プロファイルデータベース４０に登録しておけばよい。一方、ズームレンズの場合は、ピントが完全に合った状態を保ちつつ、倍率を変更し、いろいろな画角θ_ｉのもとで、レンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を求め、プロファイルデータベース４０に登録しておく必要がある。

図９（ａ）、（ｂ）は、プロファイルデータベース４０に格納されるレンズ歪み関数対を説明する図である。図９（ａ）は、単焦点レンズの場合のレンズ歪み関数対のデータベースの構造を示す。単焦点レンズの場合、カメラの機種名にレンズ歪み関数対を対応づけて格納したテーブル４２がプロファイルデータベース４０に設けられる。ここでは、機種名Ａには、レンズ歪み関数対（ｆ_Ａ，ｆ_Ａ ^−１）が対応づけられ、機種名Ｂには、レンズ歪み関数対（ｆ_Ｂ，ｆ_Ｂ ^−１）が対応づけられている。

図９（ｂ）は、ズームレンズの場合のレンズ歪み関数対のデータベースの構造を示す。ズームレンズの場合、カメラの機種名にカメラのＣＣＤの対角長とレンズ歪み関数対テーブルへのポインタを対応づけて格納したテーブル４４がプロファイルデータベース４０に設けられる。ここでは、機種名ＡにＣＣＤの対角長ｄ_Ａとレンズ歪み関数対テーブル４６へのポインタが対応づけられている。

レンズ歪み関数対テーブル４６は、機種名Ａのカメラのズームレンズの倍率を変化させた場合の画角をラベル付けし、ラベルｉ、画角θ_ｉ、レンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を対応づけて格納したものである。このレンズ歪み関数対テーブル４６は、画角の代わりに、焦点距離またはズーム倍率に対応づけてレンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を格納するものであってもよい。その場合θ_ｉを式により計算してレンズ歪み補正関数対を選択しなくても、焦点距離から一意にレンズ歪み関数を選択可能なため、ＣＣＤの対角長ｄをデータベース内に保持しない構成をとってもよい。

図１０は、電子透かし抽出装置２００によるプロファイルデータベース４０の生成手順を説明する図である。

プロファイル生成部３８は、変数ｉを０に初期化し、定数Ｍの値をＭ＝（Ｍａｘ−Ｍｉｎ）／ｒにより求める（Ｓ２００）。ここで、Ｍｉｎ、Ｍａｘはそれぞれズームレンズの最小倍率、最大倍率であり、ｒは倍率を変更するときの最小単位である。単焦点レンズの場合は、Ｍ＝０とする。

撮影部３０は、格子模様画像Ｒを撮影する（Ｓ２０２）。図１１は、較正パターンとして用いられる格子模様画像Ｒを説明する図である。格子模様画像Ｒは、一例として、市松模様であり、縦横Ｌ画素のサイズの格子模様で構成される。格子模様画像Ｒの格子サイズＬは、電子透かし埋め込み装置１００による透かしのブロック埋め込み方式におけるブロックサイズＮと同程度のサイズである。一例として、ブロックサイズＮが８である場合、格子サイズＬも８程度とすればよい。なお、ブロックサイズＮは、当該電子透かしシステムで統一的に決められているか、何らかの形で電子透かし抽出装置２００側に通知されているものとする。

格子模様画像Ｒの撮影は以下の条件のもとで行われる。
［撮影条件］
（１）格子模様画像ＲのＣＣＤ面上における像の高さが、撮影機器固有の値であるＣＣＤの対角長ｄと等しくなるようにする。言い換えれば、ＣＣＤ面全体に格子模様画像Ｒが撮像され、撮影機器の表示画面全体に格子模様画像Ｒが表示されるようにする。
（２）定義１の意味において格子模様画像Ｒを含む平面にピントが完全に合っているようにする。

格子模様画像Ｒをカメラで撮影する場合、正確に真上から撮影することは難しく、光軸のずれにより透視歪みが生じる。そこで、まず透視歪みを補正する処理が行われる。

透視歪み関数算出部８０は、格子模様画像Ｒの撮影画像における格子模様の交点の撮像位置を検出する（Ｓ２０４）。検出された格子模様の交点の個数をＮとし、各交点の座標を（Ｘ_ｋ，Ｙ_ｋ）（ｋ＝０，…，Ｎ−１）とする。

次に、透視歪み関数算出部８０は、検出された各交点（Ｘ_ｋ，Ｙ_ｋ）（ｋ＝０，…，Ｎ−１）に対応する格子模様画像Ｒにおけるパターン位置（ｍ_ｋ，ｎ_ｋ）（ｋ＝０，…，Ｎ−１）を決定する（Ｓ２０６）。パターン位置（ｍ_ｋ，ｎ_ｋ）とは、歪みの生じていない格子模様画像Ｒにおける格子模様の交点の座標である。格子模様画像Ｒの格子配列が既知であることより、格子模様画像Ｒの撮影画像上の交点の座標（Ｘ_ｋ，Ｙ_ｋ）に対応するパターン位置（ｍ_ｋ，ｎ_ｋ）は容易に決定できる。

透視歪み関数算出部８０は、格子模様画像Ｒの撮影画像上の交点の位置（Ｘ_ｋ，Ｙ_ｋ）とそれに対応するパターン位置（ｍ_ｋ，ｎ_ｋ）の関係をもとにして、透視歪み関数ｇを算出する（Ｓ２０８）。ここで、透視歪み関数ｇを求める際、交点の全部は利用せずに、格子模様画像Ｒの撮影画像の中心に近い交点のみを用いる。たとえば、中心付近の交点として、全体の１／４の交点を用いる。これは、中心に近い部分は、レンズ歪みの影響が少なく、透視歪み関数ｇを正確に求めることができるからである。

格子模様画像Ｒの撮影画像上の交点の撮像位置（Ｘ_ｋ，Ｙ_ｋ）とそれに対応するパターン位置（ｍ_ｋ，ｎ_ｋ）の間には、次のような関係があることが知られている。この性質は、金谷健一著「画像理解３次元認識の数理」（森北出版株式会社、１９９０年）に記されている。

Ｘ_ｋ＝（ｃｍ_ｋ＋ｄｎ_ｋ＋ｅ）／（ａｍ_ｋ＋ｂｎ_ｋ＋１）
Ｙ_ｋ＝（ｆｍ_ｋ＋ｇｎ_ｋ＋ｈ）／（ａｍ_ｋ＋ｂｎ_ｋ＋１）

対応する点の組｛（Ｘ_ｋ，Ｙ_ｋ）｝，｛（ｍ_ｋ，ｎ_ｋ）｝，ｋ＝０，…，（Ｎ−１）／４が与えられたとき、上記の関係式の係数ａ〜ｈを求めるために次の最小二乗法を用いる。

Ｊ＝Σ_ｋ＝０ ^{（Ｎ−１）／４}［（Ｘ_ｋ（ａｍ_ｋ＋ｂｎ_ｋ＋１）−（ｃｍ_ｋ＋ｄｎ_ｋ＋ｅ））^２＋（Ｙ_ｋ（ａｍ_ｋ＋ｂｎ_ｋ＋１）−（ｆｍ_ｋ＋ｇｎ_ｋ＋ｈ））^２］→ｍｉｎ

上式において、∂Ｊ／∂ａ＝０，…，∂Ｊ／∂ｈ＝０を解くことにより、Ｊが最小となる係数ａ〜ｈを求めることができる。

このようにして、パターン位置（ｍ_ｋ，ｎ_ｋ）を格子模様画像Ｒの撮影画像上の交点の基準位置（Ｘ_ｋ’，Ｙ_ｋ’）に写像する透視歪み関数ｇが得られる。
（Ｘ_ｋ’，Ｙ_ｋ’）＝ｇ（ｍ_ｋ，ｎ_ｋ），ｋ＝０，…，Ｎ−１

次に、算出された透視歪み関数ｇにもとづいて、レンズ歪み関数対を求める処理が行われる。レンズ歪み関数対算出部８２は、算出された透視歪み関数ｇを用いて、すべてのパターン位置（ｍ_ｋ，ｎ_ｋ）（ｋ＝０，…，Ｎ−１）を写像し、基準位置（Ｘ_ｋ’，Ｙ_ｋ’）（ｋ＝０，…，Ｎ−１）を求める。

格子模様画像Ｒの撮影画像上の交点の撮像位置（Ｘ_ｋ，Ｙ_ｋ）は、透視歪みとレンズ歪みの両方の影響を受けて元の位置からずれているが、パターン位置（ｍ_ｋ，ｎ_ｋ）を透視歪み関数ｇで写像した基準位置（Ｘ_ｋ’，Ｙ_ｋ’）は、透視歪みの影響のみを受けて元の位置からずれている。したがって、基準位置（Ｘ_ｋ’，Ｙ_ｋ’）と撮影画像上の交点の撮像位置（Ｘ_ｋ，Ｙ_ｋ）のずれは、レンズ歪みによるものであり、両者の関係を調べることにより、レンズ歪みを解消するためのレンズ歪み補正関数ｆ_ｉを求めることができる。

レンズ歪み関数対算出部８２は、対応する点の組｛（Ｘ_ｋ’，Ｙ_ｋ’）｝，｛（Ｘ_ｋ，Ｙ_ｋ）｝（ｋ＝０，…，Ｎ−１）に対して、次の多項式によりレンズ歪み補正関数ｆ_ｉを算出する（Ｓ２１０）。

Ｘ_ｋ’＝ａ_１Ｘ_ｋ ^４＋ｂ_１Ｘ_ｋ ^３Ｙ_ｋ＋ｃ_１Ｘ_ｋ ^２Ｙ_ｋ ^２＋ｄ_１Ｘ_ｋＹ_ｋ ^３＋ｅ_１Ｙ_ｋ ^４＋ｇ_１Ｘ_ｋ ^３＋ｈ_１Ｘ_ｋ ^２Ｙ_ｋ＋ｉ_１Ｘ_ｋＹ_ｋ ^２＋ｊ_１Ｙ_ｋ ^３＋ｋ_１Ｘ_ｋ ^２＋ｌ_１Ｘ_ｋＹ_ｋ＋ｍ_１Ｙ_ｋ ^２＋ｎ_１Ｘ_ｋ＋ｏ_１Ｙ_ｋ＋ｐ_１
Ｙ_ｋ’＝ａ_２Ｘ_ｋ ^４＋ｂ_２Ｘ_ｋ ^３Ｙ_ｋ＋ｃ_２Ｘ_ｋ ^２Ｙ_ｋ ^２＋ｄ_２Ｘ_ｋＹ_ｋ ^３＋ｅ_２Ｙ_ｋ ^４＋ｇ_２Ｘ_ｋ ^３＋ｈ_２Ｘ_ｋ ^２Ｙ_ｋ＋ｉ_２Ｘ_ｋＹ_ｋ ^２＋ｊ_２Ｙ_ｋ ^３＋ｋ_２Ｘ_ｋ ^２＋ｌ_２Ｘ_ｋＹ_ｋ＋ｍ_２Ｙ_ｋ ^２＋ｎ_２Ｘ_ｋ＋ｏ_２Ｙ_ｋ＋ｐ_２

ここで、各係数ａ_１〜ｐ_１、ａ_２〜ｐ_２は次の最小二乗法により算出される。
Ｊ＝Σ_ｋ＝０ ^Ｎ−１［（Ｘ_ｋ’−（ａ_１Ｘ_ｋ ^４＋ｂ_１Ｘ_ｋ ^３Ｙ_ｋ＋ｃ_１Ｘ_ｋ ^２Ｙ_ｋ ^２＋ｄ_１Ｘ_ｋＹ_ｋ ^３＋ｅ_１Ｙ_ｋ ^４＋ｇ_１Ｘ_ｋ ^３＋ｈ_１Ｘ_ｋ ^２Ｙ_ｋ＋ｉ_１Ｘ_ｋＹ_ｋ ^２＋ｊ_１Ｙ_ｋ ^３＋ｋ_１Ｘ_ｋ ^２＋ｌ_１Ｘ_ｋＹ_ｋ＋ｍ_１Ｙ_ｋ ^２＋ｎ_１Ｘ_ｋ＋ｏ_１Ｙ_ｋ＋ｐ_１））^２
＋（Ｙ_ｋ’−（ａ_２Ｘ_ｋ ^４＋ｂ_２Ｘ_ｋ ^３Ｙ_ｋ＋ｃ_２Ｘ_ｋ ^２Ｙ_ｋ ^２＋ｄ_２Ｘ_ｋＹ_ｋ ^３＋ｅ_２Ｙ_ｋ ^４＋ｇ_２Ｘ_ｋ ^３＋ｈ_２Ｘ_ｋ ^２Ｙ_ｋ＋ｉ_２Ｘ_ｋＹ_ｋ ^２＋ｊ_２Ｙ_ｋ ^３＋ｋ_２Ｘ_ｋ ^２＋ｌ_２Ｘ_ｋＹ_ｋ＋ｍ_２Ｙ_ｋ ^２＋ｎ_２Ｘ_ｋ＋ｏ_２Ｙ_ｋ＋ｐ_２））^２］→ｍｉｎ

このようにして、撮影画像上の交点の位置（Ｘ_ｋ，Ｙ_ｋ）と基準位置（Ｘ_ｋ’，Ｙ_ｋ’）の関係を示すレンズ歪み補正関数ｆ_ｉが得られる。画像補正時に双方向の演算が必要になることから、レンズ歪み補正関数ｆ_ｉの逆関数の近似であるレンズ歪み関数ｆ_ｉ ^−１も求めておく。レンズ歪み関数ｆ_ｉ ^−１の算出にはレンズ歪み補正関数ｆ_ｉの算出と同様に最小二乗法を用いる。
（Ｘ_ｋ’，Ｙ_ｋ’）＝ｆ_ｉ（Ｘ_ｋ，Ｙ_ｋ），ｋ＝０，…，Ｎ−１
（Ｘ_ｋ，Ｙ_ｋ）＝ｆ_ｉ ^−１（Ｘ_ｋ’，Ｙ_ｋ’），ｋ＝０，…，Ｎ−１

図１２は、レンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を説明する図である。一般に、レンズの歪曲収差により撮影された画像は樽型や糸巻き型に変形する。撮影によりレンズ歪みの生じた画像３００は、レンズ歪み補正関数ｆ_ｉにより、レンズ歪みのない画像３１０に変換される。逆に、レンズ歪みのない画像３１０は、レンズ歪み関数ｆ_ｉ ^−１により、レンズ歪みの生じた画像３００に変換される。

再び図１０を参照する。レンズ歪み関数対算出部８２は、撮影時の画角θ_ｉを焦点距離ｆ_ｉとＣＣＤ面の対角長ｄを用いて、次式により求める（Ｓ２１２）。格子模様画像Ｒの撮影画像がＥＸＩＦ（Exchangeable Image File Format）で与えられた場合、画像データに含まれるＥＸＩＦ情報から撮影時の焦点距離ｆ_ｉを取得することができる。
θ_ｉ＝ｔａｎ^−１（ｄ／２ｆ_ｉ）

レンズ歪み関数対登録部８４は、レンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を画角θ_ｉに対応づけてプロファイルデータベース４０に登録する（Ｓ２１４）。

変数ｉを１だけインクリメントし（Ｓ２１６）、変数ｉがＭより小さい場合（Ｓ２１８のＹ）、ステップＳ２０２に戻って、ズーム倍率を１段階上げた状態で格子模様画像Ｒを再度撮影し、透視歪み関数ｇとレンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を算出する処理を行う。変数ｉがＭより小さくなくなった場合（Ｓ２１８のＮ）、プロファイルデータベース４０の生成処理を終了する。

これにより、単焦点レンズの場合は、１つのレンズ歪み関数対（ｆ，ｆ^−１）がプロファイルデータベース４０に登録され、ズームレンズの場合は、各倍率に対して、画角θ_ｉとレンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）が対応づけられてプロファイルデータベース４０に登録される。

以上の構成による電子透かし抽出装置２００による電子透かし抽出手順を説明する。

図１３は、電子透かし抽出手順の全体的な流れを示すフローチャートである。撮影部３０は印刷画像Ｐを撮影する（Ｓ１０）。画像補正部３４は、補正回数ｃｏｕｎｔｅｒを初期化して、ｃｏｕｎｔｅｒ＝０とする（Ｓ１２）。

画像補正部３４は、撮影部３０による印刷画像Ｐの撮影画像に対して、後に詳述する画像補正処理を行う（Ｓ１４）。以下では、歪みが生じている補正対象の画像を「補正対象画像」と呼び、補正目標となる歪みが生じていない状態の画像を「補正目標画像」と呼ぶ。画像補正処理Ｓ１４は、プロファイルデータベース４０に格納されたレンズ歪み関数によって、補正目標画像の座標（ｉ，ｊ）を補正対象画像の座標（ｘ_ｉｊ，ｙ_ｉｊ）に変換し、座標（ｘ_ｉｊ，ｙ_ｉｊ）における輝度値をバイリニア補間などにより求め、補正目標画像の元の座標（ｉ，ｊ）における輝度値として設定するものである。

画像領域判定部３２は、画像補正部３４により歪み補正された撮影画像の原画像領域２０を判定する（Ｓ１５）。透かし抽出部３６は、画像領域判定部３２により判定された原画像領域２０から透かし情報Ｘを検出する処理を行う（Ｓ１６）。この透かし検出処理は、原画像領域２０のブロック単位で透かしビットを検出することで行われる。透かし抽出部３６は、意味のある透かし情報Ｘが得られたかどうかを調べ、透かし検出の成否を判定する（Ｓ１８）。

透かし検出に成功した場合（Ｓ１８のＹ）、終了する。透かし検出に失敗した場合（Ｓ１８のＮ）、補正回数ｃｏｕｎｔｅｒを１だけインクリメントし（Ｓ２０）、ステップＳ１４に戻り、画像補正処理をやり直し、再度透かしの検出を試みる。透かし検出に失敗した場合、閾値などのパラメータを調整して、プロファイルデータベース４０からレンズ歪み関数を再選択して画像補正処理を行い、透かし検出を再度試みる。透かし検出が成功するまで、補正回数ｃｏｕｎｔｅｒをインクリメントしながら、画像補正と透かし検出の処理を繰り返す。

図１４は、図１３の画像補正処理Ｓ１４の大まかな流れを示すフローチャートである。画像補正部３４は、印刷画像Ｐの撮影画像全体を補正対象画像とし、補正対象画像の画像サイズ（Ｗ’，Ｈ’）を取得し（Ｓ３０）、次に補正目標画像の画像サイズ（Ｗ，Ｈ）を設定する（Ｓ３２）。撮影画像は、歪み補正により最終的に横方向Ｗ画素，縦方向Ｈ画素の画像に変換される。

画像補正部３４のレンズ歪み関数対選択部８６は、プロファイルデータベース４０に問い合わせを行い、撮影時の画角に対応したレンズ歪み関数対を取得する（Ｓ３４）。レンズ歪み補正処理部８８は、レンズ歪み関数対選択部８６により取得されたレンズ歪み関数を用いて、画像補正メイン処理を行う（Ｓ３８）。

図１５は、図１４のレンズ歪み関数対の選択Ｓ３４の詳細な手順を示すフローチャートである。まず、レンズ歪み関数対選択部８６は、撮影に使われたカメラのレンズがズームレンズかどうかを判定する（Ｓ５０）。これは補正対象画像に含まれるＥＸＩＦ情報に焦点距離に関する項目があるかどうかで判定することができる。

ズームレンズでない場合（Ｓ５０のＮ）、レンズ歪み関数対選択部８６は、撮影に使われたカメラの機種名を補正対象画像のＥＸＩＦ情報から取得し、機種名をキーとしてプロファイルデータベース４０に問い合わせを行い、機種名に対応づけられたレンズ歪み関数対を取得し（Ｓ５２）、終了する。

ズームレンズである場合（Ｓ５０のＹ）、レンズ歪み関数対選択部８６は、補正対象画像に含まれるＥＸＩＦ情報より画角θを算出する（Ｓ５４）。画角θの算出は、次の前提条件が成立するものとして行われる。

［前提条件］
被写体にピントが完全に合っている。

すなわち、ピントの合っていない写真の補正時には誤差が生じることになる。上記の前提条件のもとで、レンズ歪み関数対選択部８６は、プロファイルデータベース４０からカメラのＣＣＤの対角長ｄを取得し、補正対象画像のＥＸＩＦ情報から撮影時の焦点距離ｆを取得し、画角θを次式により算出する。
θ＝ｔａｎ^−１（ｄ／２ｆ）

レンズ歪み関数対選択部８６は、ＥＸＩＦ情報から得られる機種名と、ステップＳ５４で算出された画角θをキーとしてプロファイルデータベース４０を検索し、プロファイルデータベース４０に登録されている画角θ_ｉと算出された画角θの差分｜θ−θ_ｉ｜が最も小さいラベルｉに対応するレンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を選択し（Ｓ５８）、終了する。

このようにして、レンズ歪み関数対選択部８６がプロファイルデータベース４０から取得したレンズ歪み関数対を以下（Ｆ，Ｆ^−１）と書く。

図１６は、図１４の画像補正メイン処理Ｓ３８の詳細な手順を示すフローチャートである。レンズ歪み補正処理部８８は、補正目標画像のｙ座標値ｊを０に初期化する（Ｓ８０）。次に、補正目標画像のｘ座標値ｉを０に初期化する（Ｓ８２）。

レンズ歪み補正処理部８８は、レンズ歪み関数Ｆ^−１によって、補正目標画像における点Ｐ（ｉ，ｊ）を補正対象画像内の点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）に写像する（Ｓ８６）。
（ｘ_ｉｊ，ｙ_ｉｊ）＝Ｆ^−１（ｉ，ｊ）

図１７は、補正目標画像内の点が補正対象画像内の点に写像される様子を説明する図である。補正目標画像３２０は、レンズ歪みの生じていない画像であり、補正対象画像３４０は、レンズ歪みの生じた画像である。補正目標画像３２０における点Ｐ（ｉ，ｊ）は、レンズ歪み関数Ｆ^−１により、補正対象画像３４０における点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）に写像される。

レンズ歪み補正処理部８８は、点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）における輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）を周辺の画素の輝度値によりバイリニア（bi-linear）補間法などによって補間して算出し、算出された輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）を補正目標画像の点Ｐ（ｉ，ｊ）における輝度値として設定する（Ｓ８８）。

図１８は、レンズ歪み関数Ｆ^−１による写像先の点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）における輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）の算出方法を説明する図である。点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）の近傍に４画素ｐ、ｑ、ｒ、ｓがあり、それらの座標がそれぞれ（ｘ’，ｙ’）、（ｘ’，ｙ’＋１）、（ｘ’＋１，ｙ’）、（ｘ’＋１，ｙ’＋１）であるとする。点Ｑから辺ｐｒ、辺ｑｓに下ろした垂線の足をそれぞれ点ｅ、ｆとし、点Ｑから辺ｐｑ、辺ｒｓに下ろした垂線の足を点ｇ、ｈとする。

点Ｑは、線分ｅｆを内分比ｖ：（１−ｖ）で分け、線分ｇｈを内分比ｗ：（１−ｗ）で分ける点である。点Ｑにおける輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）を４点ｐ、ｑ、ｒ、ｓの輝度値Ｌ（ｘ’，ｙ’）、Ｌ（ｘ’，ｙ’＋１）、Ｌ（ｘ’＋１，ｙ’）、Ｌ（ｘ’＋１，ｙ’＋１）を用いたバイリニア補間により次式のように求める。

Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）＝（１−ｖ）×｛（１−ｗ）×Ｌ（ｘ’，ｙ’）＋ｗ×Ｌ（ｘ’＋１，ｙ’）｝＋ｖ×｛（１−ｗ）×Ｌ（ｘ’，ｙ’＋１）＋ｗ×Ｌ（ｘ’＋１，ｙ’＋１）｝

ここでは、点Ｑの輝度値をバイリニア補間により近傍の４画素の輝度値から補間して求めたが、補間方法はこれに限られない。また、４画素以上の点を用いて補間してもよい。

図１６を参照し、ステップＳ８８の処理の後、ｘ座標値ｉを１だけインクリメントする（Ｓ９０）。ｘ座標値ｉが補正対象画像の幅Ｗ’よりも小さいなら（Ｓ９２のＮ）、ステップＳ８６に戻り、ｘ軸方向に座標値を進めながら、画素の輝度値を求める処理を繰り返す。

ｘ座標値ｉが補正対象画像の幅Ｗ’以上なら（Ｓ９２のＹ）、現在のｙ座標値ｊのもとでのｘ軸方向の画素の輝度値が得られたので、次に、ｙ座標値ｊを１だけインクリメントする（Ｓ９４）。ｙ座標値ｊが補正対象画像の高さＨ’以上なら（Ｓ９６のＹ）、補正目標画像のすべての画素について補間により輝度値が得られたので、終了する。ｙ座標値ｊが補正対象画像の高さＨ’よりも小さいなら（Ｓ９６のＮ）、ステップＳ８２に戻り、ｘ座標値を再び０に初期化し、新しいｙ座標値ｊのもとでｘ軸方向に座標値を進めながら、画素の輝度値を求める処理を繰り返す。

図１９は、図１３の画像領域判定処理Ｓ１５の詳細な手順を示すフローチャートである。画像領域判定部３２は、画像補正部３４によりレンズ歪みが補正された画像から特徴点を抽出し、画像サイズ（ｗ，ｈ）を算出する（Ｓ１２０）。

図２０は、レンズ歪み補正画像３５０から特徴点が抽出される様子を説明する図である。同図の補正目標画像３２２は、レンズ歪み補正画像３５０の原画像領域２０に対応する画像であり、幅Ｗ、高さＨの大きさである。画像領域判定部３２は、レンズ歪み補正画像３５０の特徴点として、黒丸で示した原画像領域２０の４隅の頂点や各辺上の点を検出する。レンズ歪み補正画像３５０は画像補正部３４によりレンズ歪みが除去されているため、４辺は直線になっているため、エッジ抽出処理などによる検出が容易であり、検出された特徴点列から４隅の頂点の座標値（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）を正確に求めることができる。これら４隅の頂点の座標値を用いて、原画像領域２０の幅ｗ、高さｈを次式により算出することができる。
ｗ＝ｘ２−ｘ０＝ｘ３−ｘ１
ｈ＝ｙ１−ｙ０＝ｙ３−ｙ２

画像領域判定部３２は、補正目標画像のｙ座標値ｊを０に初期化する（Ｓ１２２）。次に、補正目標画像のｘ座標値ｉを０に初期化する（Ｓ１２４）。

画像領域判定部３２は、図２０に示すように、補正目標画像の点Ｐ（ｉ，ｊ）を次式によりレンズ歪み補正画像内の点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）に写像する（Ｓ１２６）。
ｘ_ｉｊ＝ｉ×ｗ／（Ｗ−１）＋ｘ０
ｙ_ｉｊ＝ｊ×ｈ／（Ｈ−１）＋ｙ０

画像領域判定部３２は、点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）における輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）を周辺の画素の輝度値によりバイリニア補間法などによって補間して算出し、算出された輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）を補正目標画像の点Ｐ（ｉ，ｊ）における輝度値として設定する（Ｓ１２８）。

画像領域判定部３２は、ｘ座標値ｉを１だけインクリメントする（Ｓ１３０）。ｘ座標値ｉが補正目標画像の幅Ｗよりも小さいなら（Ｓ１３２のＮ）、ステップＳ１２６に戻り、ｘ軸方向に座標値を進めながら、画素の輝度値を求める処理を繰り返す。

ｘ座標値ｉが補正目標画像の幅Ｗ以上なら（Ｓ１３２のＹ）、現在のｙ座標値ｊのもとでのｘ軸方向の画素の輝度値が得られたので、次に、ｙ座標値ｊを１だけインクリメントする（Ｓ１３４）。ｙ座標値ｊが補正目標画像の高さＨ以上なら（Ｓ１３６のＹ）、補正目標画像のすべての画素について補間により輝度値が得られたので、終了する。ｙ座標値ｊが補正目標画像の高さＨよりも小さいなら（Ｓ１３６のＮ）、ステップＳ１２４に戻り、ｘ座標値を再び０に初期化し、新しいｙ座標値ｊのもとでｘ軸方向に座標値を進めながら、画素の輝度値を求める処理を繰り返す。

本実施の形態の変形例を説明する。図１５のレンズ歪み関数対の選択Ｓ３４において、現実には、被写体にピントが完全に合っているという前提条件が成り立つことは難しく、ステップＳ５４で算出される画角θには誤差が生じる。また、レンズ歪み関数算出時に誤差が生じている場合もある。これらシステムの誤差の影響により、算出された画角θに対応するレンズ歪み関数対をプロファイルデータベース４０から選択しても、必ずしも最適なレンズ歪み関数対が選択されているとは限らない。そこで算出された画角θをキーとしたプロファイルデータベース４０への問い合わせ方法をシステムの要求や電子透かしの埋め込み方法に応じて次の２通りの方法から選択する。

［速度優先システム向け選択方法］
上記のシステムの誤差を許容できる場合の方法であり、処理速度を優先し、図１５のステップＳ５８のように、単純にプロファイルデータベース４０に登録されている画角θ_ｉと算出された画角θの差分｜θ−θ_ｉ｜が最も小さいラベルｉに対応するレンズ歪み関数対（ｆ_ｉ，ｆ_ｉ ^−１）を選択する。

［精度優先システム向け選択方法］
システムの誤差を許容できない場合の方法であり、算出された画角θを基準として、プロファイルデータベース４０から複数のレンズ歪み関数対の候補を取得し、どのレンズ歪み関数対がもっとも精度よく画像を補正できるかを事前評価し、評価のもっとも良いレンズ歪み関数対を選択する。

たとえば、速度優先システム向け選択方法は、透かしの埋め込みブロックのサイズＮが大きく、システムの誤差の影響が小さいときに利用され、精度優先システム向け選択方法は、透かしの埋め込みブロックのサイズＮが小さく、システムの誤差の影響が大きいときに利用される。もしくは、本発明の適用先アプリケーションの性質によって指定してもよい。例えばアミューズメント向けのアプリケーションに適用されている場合は、透かし検出率よりも反応速度が優先されるため、速度優先が選択される。また、精度優先が選択されるアプリケーションとしてチケットの認証システムなどが考えられる。

図２１は、速度優先システム向け選択方法と精度優先システム向け選択方法を切り替え可能なレンズ歪み関数対の選択Ｓ３４の詳細な手順を示すフローチャートである。図１５と違う点のみ説明する。レンズ歪み関数対選択部８６は、速度優先かどうかを判定する（Ｓ５６）。たとえば、レンズ歪み関数対選択部８６は、透かしの埋め込みブロックのサイズＮの大小によって、自動的に速度優先、精度優先のいずれかを選択する。別の方法として、ユーザが速度優先モードか精度優先モードのいずれかを指定してもよい。

速度優先である場合（Ｓ５６のＹ）、図１５と同様にステップＳ５８が実行される。速度優先でない場合（Ｓ５６のＮ）、補正関数の事前評価がなされる（Ｓ６０）。

図２２は、図２１の補正関数の事前評価Ｓ６０の詳細な手順を示すフローチャートである。レンズ歪み関数対選択部８６は、プロファイルデータベース４０に登録されている画角θ_ｉと算出された画角θの差分｜θ−θ_ｉ｜が最も小さいラベルｉを含めて、その前後のＮ個のラベルのレンズ歪み補正関数ｆ_ｊ（ｊ＝０，１，…，Ｎ−１）を候補として取得する（Ｓ６２）。

補正対象画像においてＭ個の特徴点を定め、補正対象画像の特徴点間のＰ個のサンプル点列（Ｘ_ｍ，Ｙ_ｍ）（ｍ＝０，１，…，Ｐ−１）を取得する（Ｓ６４）。一例として、長方形の補正対象画像の場合、特徴点は４隅の頂点であり、特徴点間のサンプル点列は、隣り合う頂点を結ぶ各辺上でサンプルされた点列である。ここでサンプル点列には両端の特徴点を含むものとする。すなわち、（Ｘ_０，Ｙ_０）、（Ｘ_Ｐ−１，Ｙ_Ｐ−１）はそれぞれ特徴点である。また、別の例として、補正対象画像内の人物などのオブジェクトのエッジ上の点列をサンプル点列としてもよい。たとえば、人物の顔や目の輪郭上にサンプル点列を設けてもよい。

サンプル点の個数Ｐは、市松模様などの格子模様画像Ｒの格子サイズＬを基準として定められ、たとえばＬの値は、１６、３２などである。Ｍ個の特徴点の中から２個の特徴点を選び、その２個の特徴点間でサンプル点列を決めるため、最大_ＭＣ_２の特徴点の組み合わせがありうるが、その組み合わせの中で有効なものは、特徴点を結んだ線の形状が既知である場合に限られる。

変数ｊを０に初期化する（Ｓ６６）。サンプル点列（Ｘ_ｍ，Ｙ_ｍ）（ｍ＝０，１，…，Ｐ−１）をレンズ歪み補正関数ｆ_ｊにより写像する（Ｓ６８）。レンズ歪み補正関数ｆ_ｊにより写像されたサンプル点列を（Ｘ_ｍ ^ｊ，Ｙ_ｍ ^ｊ）（ｍ＝０，１，…，Ｐ−１）とする。
（Ｘ_ｍ ^ｊ，Ｙ_ｍ ^ｊ）＝ｆ_ｊ（Ｘ_ｍ，Ｙ_ｍ），ｍ＝０，１，…，Ｐ−１

次に、写像されたサンプル点列（Ｘ_ｍ ^ｊ，Ｙ_ｍ ^ｊ）（ｍ＝０，１，…，Ｐ−１）を制御点とするｑ次のベジェ曲線Ｈ’を算出する（Ｓ７０）。次数ｑは、特徴点間のサンプル点列が、レンズ歪みがなければ、本来どのような線上に並んでいるかによって決められる。補正目標画像が長方形であり、特徴点が４隅の頂点である場合、特徴点間のサンプル点列は本来、長方形の辺上にある。この場合、次数ｑ＝１と決める。ベジェ曲線の定義より、１次のベジェ曲線は、特徴点間を結ぶ直線となる。

算出されたベジェ曲線と制御点間の誤差の和Ｄ_ｊを次式により算出する（Ｓ７２）。
Ｄ_ｊ＝Σ_ｍ＝０ ^Ｐ−１［（Ｙ_ｍ ^ｊ−（Ｈ’（Ｘ_ｍ ^ｊ）））^２］
上式は、ｘ方向にサンプリングされた場合に、ベジェ曲線による近似誤差を評価する式である。

図２３（ａ）〜（ｃ）は、ベジェ曲線による近似誤差の評価の様子を説明する図である。図２３（ａ）は５個のサンプル点を示し、図２３（ｂ）は、図２３（ａ）のサンプル点列をレンズ歪み補正関数ｆ_ｊにより写像したものである。図２３（ｃ）は、ｑ＝１のベジェ曲線、すなわち直線を写像後のサンプル点列に当てはめた様子を示し、各サンプル点列において誤差ｄ_ｊ０〜ｄ_ｊ４が生じている。誤差の和Ｄ_ｊはＤ_ｊ＝ｄ_ｊ０＋ｄ_ｊ１＋ｄ_ｊ２＋ｄ_ｊ３＋ｄ_ｊ４により求められる。

再び図２２を参照する。変数ｊを１だけインクリメントし（Ｓ７４）、ｊがＮより小さいなら（Ｓ７６のＹ）、ステップＳ６８に戻り、次のレンズ歪み補正関数ｆ_ｊについて誤差の和Ｄ_ｊを算出する処理を行う。ｊがＮより小さくない場合（Ｓ７６のＮ）、誤差の和Ｄ_ｊ（ｊ＝０，１，…，Ｎ−１）が最小となるラベルｊに対応するレンズ歪み関数対（ｆ_ｊ，ｆ_ｊ ^−１）を選択し（Ｓ７８）、終了する。

図２４は、図２２の特徴点間のサンプル点列の取得Ｓ６４の詳細な手順を示すフローチャートである。ここでは、一例として補正対象画像すなわち原画像領域２０の画像枠を検出して、サンプル点列を抽出する方法を説明する。

まず、ステップＳ４０において、エッジ判定に用いる閾値Ｔを設定する。ここでは、Ｔ＝Ｔ０−ｃｏｕｎｔｅｒ×Δにより、閾値Ｔを設定する。ｃｏｕｎｔｅｒとは図１３のフローチャートから分かるように補正回数のことであり、Ｔ０とは初回補正時の閾値である。すなわち、補正回数が増えるごとに閾値ＴをΔずつ下げて、図１３のステップＳ１４、ステップＳ１５、およびステップＳ１６の処理を行う。

一例として、余白領域の端の画素Ａの輝度値は２００、原画像領域２０の端にあり前記画素Ａに隣接する画素Ｂの輝度値は９０、Ｔ０は１１５、Δは１０であるとする。前記画素Ａと画素Ｂの輝度値の差が閾値Ｔよりも大きいときに、画素Ａと画素Ｂの間にエッジがあると判定する場合、１回目の補正時（ｃｏｕｎｔｅｒ＝０）では、前記輝度値の差が１１０であるのに対し、閾値Ｔは１１５であるため、画素Ａと画素Ｂの間にエッジがあるとは判定されない。しかし、２回目の補正時（ｃｏｕｎｔｅｒ＝１）では、閾値Ｔは１０５となるため、画素Ａと画素Ｂの間にエッジがあると判定される。

次にステップＳ４２において、画像補正部３４がエッジ検出処理を行う。隣接する画素の輝度の差分値と、ステップＳ４０で設定した閾値Ｔとを比較し、差分値の方が大きければ該画素がエッジとみなす。図２５（ａ）は、原画像領域２０のエッジ検出処理の様子を説明する図である。撮影領域２６の左上の頂点を原点にとり、横方向をｘ軸、縦方向をｙ軸とした座標系を用いる。斜線で示した原画像領域２０の４頂点Ａ〜Ｄの座標は、それぞれ（Ｘ０，Ｙ０）、（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）である。ｘ軸上の点Ｅ（（Ｘ０＋Ｘ２）／２，０）を走査開始点としてｙ軸方向に画素を走査し、ｙ軸方向に並ぶ２画素の輝度値の差が閾値Ｔよりも大きい場合に、その２画素の境界地点をエッジとして判定する。以降、その地点を開始点としてｘ軸方向に左右に走査して、同様にｙ軸方向に並ぶ２画素の輝度値の差が閾値Ｔよりも大きくなる場所を探索し、原画像領域２０の横方向のエッジを検出する。

縦方向のエッジも同様に検出する。ｙ軸上の点Ｆ（０，（Ｙ０＋Ｙ１）／２）を走査開始点としてｘ軸方向に画素を走査し、ｘ軸方向に並ぶ２画素の輝度値の差が閾値Ｔよりも大きくなる場所を探索し、原画像領域２０の縦方向のエッジを検出する。

なお、ここではｙ軸方向またはｘ軸方向に並ぶ２画素の輝度値の差に基づき原画像領域２０の縦方向または横方向のエッジを検出するものとしたが、これに代えて、エッジ検出テンプレートを利用してエッジを検出するものであってもよい。たとえばＰｒｅｗｉｔｔのエッジ検出器を用いたマッチングによる計算値と閾値Ｔとの比較結果に基づき、エッジを検出するものであってもよい。

なお、補正回数ｃｏｕｎｔｅｒの値が大きくなると、閾値Ｔが初期値Ｔ０から小さくなっていくため、補正回数の増加とともにエッジ判定の条件が徐々に緩くなる。高い閾値Ｔを用いてエッジを抽出しようとすると、撮影画像のノイズにより、正しくエッジを検出できないことがあり、そのような場合は、閾値Ｔがより小さい値に設定されることにより、判定条件を緩めてエッジ検出がなされる。

図２４に戻り、画像補正部３４は、原画像領域２０の各辺を曲線近似するための標本点数Ｎを決定する（Ｓ４４）。たとえば、Ｎ＝Ｎｍｉｎ＋ｃｏｕｎｔｅｒ×Ｎ０と設定する。ここで、Ｎｍｉｎはスプライン曲線の次数に応じて決める値、Ｎ０は定数である。補正回数ｃｏｕｎｔｅｒが増加すると、標本点数Ｎが増えるため、各辺の近似精度が高まる。画像補正部３４は、ステップＳ４２で検出されたエッジ点列から固定パラメータＮ点分だけ標本点を選択し、原画像領域２０の各辺をスプライン近似する（Ｓ４６）。サンプル点列は、こうして得られたスプライン曲線上の点をサンプルすることにより得られる。あるいは、スプライン曲線の制御点でもあるＮ個の標本点をそのままサンプル点列としてもよい。

図２５（ｂ）は、原画像領域２０の各辺のスプライン近似を説明する図である。原画像領域２０の各辺７１、７２、７３、７４は、たとえば、各辺上の３点と両端の２頂点を標本点とする３次スプライン曲線ａ_ｊｘ^３＋ｂ_ｊｘ^２＋ｃ_ｊｘ＋ｄにより近似される。この場合、スプライン曲線のパラメータは４つあるため、Ｎｍｉｎ＝２と設定される。補正回数が増えると、画像補正部３４は、標本点数Ｎを増やすとともに、スプライン曲線の次数を大きくしてもよい。次数を増やすことにより、撮影された印刷画像Ｐにおける原画像領域２０の各辺の形状をより正確に求めることができる。

以上述べたように、本実施の形態の電子透かし抽出装置２００では、あらかじめ、画角毎にレンズ歪み関数対をデータベースに用意しておき、撮影時の画角に応じたレンズ歪み関数対を利用してレンズ歪みを補正する。そのため、高い精度で画像に生じた歪みを補正することができ、電子透かしの検出頻度を高めることができる。

また、算定される画角や、登録されているレンズ歪み補正関数には誤差が含まれるが、レンズ歪み補正関数を事前評価することで、より適切なレンズ歪み補正関数を選択することができる。また、電子透かしの埋め込みブロックのサイズの大小に応じて、レンズ歪み補正関数の事前評価をするかどうかを決めることができるため、画像歪みに対する電子透かしの耐性に見合った精度で画像歪みを補正することができ、無駄な歪み補正処理を避けて、透かしの検出精度を維持することができる。

実施の形態２．
実施の形態１では、補正対象画像に透視歪みがないか、もしくは透視歪みによる影響が無視できるほど小さいものとして、レンズ歪み補正だけを行ったが、実施の形態２では、補正対象画像の透視歪みの補正も行う。その他の構成と動作は実施の形態１と同じであるから、実施の形態１と異なる点だけを説明する。

図２６は、実施の形態２に係る電子透かし抽出装置２００の構成図である。図４に示した実施の形態１に係る電子透かし抽出装置２００では、画像補正部３４が撮影画像のレンズ歪みを補正をした後に、画像領域判定部３２がレンズ歪み補正画像から原画像領域２０を切り出す処理を行ったが、本実施の形態では、画像領域判定部３２の構成は含まれない。これは画像補正部３４における透視歪みの補正処理において、原画像領域２０を切り出す処理が合わせて行われるからである。したがって、本実施の形態では、画像補正部３４がレンズ歪みと透視歪みが補正された後の原画像領域２０を透かし抽出部３６に直接与え、透かし抽出部３６が歪み補正された原画像領域２０に埋め込まれた透かし情報Ｘを抽出する。

図２７は、実施の形態２のプロファイル生成部３８および画像補正部３４の詳細な構成を説明する図である。プロファイル生成部３８の構成は、図７に示した実施の形態１のプロファイル生成部３８と同じである。

本実施の形態の画像補正部３４は、レンズ歪み関数対選択部８６、レンズ歪み補正処理部８８、透視歪み関数算出部８７、および透視歪み補正処理部８９を含む。

撮影部３０は撮影した印刷画像Ｐを画像補正部３４に与える。画像補正部３４のレンズ歪み関数対選択部８６は、印刷画像Ｐの撮影画像の入力を受け、画像情報から撮影時の画角θを判定し、プロファイルデータベース４０から画角θに対応するレンズ歪み関数対（Ｆ，Ｆ^−１）を選択し、レンズ歪み補正処理部８８にレンズ歪み補正関数Ｆを与える。

レンズ歪み補正処理部８８は、レンズ歪み関数Ｆ^−１を利用して、撮影画像に生じたレンズ歪みを補正し、レンズ歪みが補正された画像を透視歪み関数算出部８７に与える。透視歪み関数算出部８７は、レンズ歪み補正画像を利用して、撮影画像内の原画像領域２０の透視歪みを表現する透視歪み関数Ｇを算出し、算出された透視歪み関数Ｇを透視歪み補正処理部８９に与える。

透視歪み補正処理部８９は、透視歪み関数Ｇを用いて、原画像領域２０の透視歪みを補正し、補正後の原画像領域２０を透かし抽出部３６に与える。

図２８は、電子透かし抽出手順の全体的な流れを示すフローチャートである。図１３に示した実施の形態１に係る電子透かし抽出手順と異なるのは、原画像領域２０を抽出するための画像領域判定処理Ｓ１５がない点であり、それ以外は実施の形態１と同じである。本実施の形態では、原画像領域２０の抽出は、画像補正処理Ｓ１４において透視歪みの補正の際に行われることになる。

図２９は、本実施の形態の画像補正部３４による画像補正処理Ｓ１４の大まかな流れを示すフローチャートである。図１４に示した実施の形態１における画像補正処理Ｓ１４と異なるのは、レンズ歪み関数対の選択Ｓ３４の後、レンズ歪みが補正され（Ｓ３５）、さらにレンズ歪み補正後に透視歪み関数が算出され（Ｓ３６）、画像補正メイン処理Ｓ３８において、透視歪み関数を使って画像補正がなされる点である。

レンズ歪みの補正Ｓ３５の手順を説明する。レンズ歪み補正処理部８８は、実施の形態１の図１６で説明した手順と同様に、レンズ歪み関数Ｆ^−１により写像することにより、補正対象画像全体に生じたレンズ歪みを補正する。

図３０は、図２９の透視歪み関数の算出Ｓ３６の詳細な手順を示すフローチャートである。画像補正部３４は、印刷画像Ｐの撮影画像全体を補正対象画像とし、補正目標画像における特徴点の個数Ｍとそのパターン位置（ｃｍ_ｋ，ｃｎ_ｋ）（ｋ＝０，１，…，Ｍ−１）を設定する（Ｓ１００）。特徴点の位置は補正目標画像において既知であるとする。一例として、長方形の補正目標画像における４隅の頂点を特徴点として設定するなら、Ｍ＝４で、特徴点は（０，０），（Ｗ−１，０），（０，Ｈ−１），（Ｗ−１，Ｈ−１）となる。別の例として、長方形の補正目標画像の各辺上に等間隔で目印をつけ特徴点としてもよい。また、補正目標画像内の人物などのオブジェクトのエッジ上の点を特徴点としてもよい。

透視歪み関数算出部８７は、ステップＳ１００で設定した特徴点情報に基づき、レンズ歪み補正後の補正対象画像において、対応する特徴点を検出する処理を行い、補正対象画像内の特徴点の撮像位置（ＣＸ_ｋ，ＣＹ_ｋ）（ｋ＝０，１，…，Ｍ−１）を求める（Ｓ１０４）。たとえば、補正対象画像である原画像領域２０から４隅の頂点を特徴点として検出する場合、一例として、原画像領域２０のエッジをエッジフィルタなどの手法で追跡して、原画像領域２０の頂点を見つけ、さらに、頂点近傍の画素をフーリエ変換して、位相角を検出することにより頂点の正確な位置を特定する。また、補正対象画像の各辺上の点を特徴点とする場合は、原画像領域２０の画像枠上に存在する目印の検出処理を行う。

透視歪み関数算出部８７は、ステップＳ１０４で検出された特徴点（ＣＸ_ｋ，ＣＹ_ｋ）とそれに対応する補正目標画像上のパターン位置（ｃｍ_ｋ，ｃｎ_ｋ）の関係から最小二乗法により透視歪み関数Ｇを算出する（Ｓ１０６）。この透視歪み関数Ｇの算出には、図１０の透視歪み関数ｇの算出Ｓ２０８と同じ手順が用いられる。すなわち、レンズ歪み補正後の補正対象から検出された特徴点（ＣＸ_ｋ，ＣＹ_ｋ）にはレンズ歪みの影響がないため、検出された特徴点（ＣＸ_ｋ，ＣＹ_ｋ）とそれに対応する補正目標画像上のパターン位置（ｃｍ_ｋ，ｃｎ_ｋ）のずれは、透視歪みによるものであり、両者の間には、図１０の透視歪み関数ｇの算出Ｓ２０８で述べた透視歪みの関係式が成り立つ。透視歪み関数算出部８７は、この透視歪みの関係式の係数を求めることで、透視歪み関数Ｇを算出することができる。

図３１は、本実施の形態の画像補正メイン処理Ｓ３８の詳細な手順を示すフローチャートである。透視歪み補正処理部８９は、補正目標画像のｙ座標値ｊを０に初期化する（Ｓ８０）。次に、補正目標画像のｘ座標値ｉを０に初期化する（Ｓ８２）。

透視歪み補正処理部８９は、補正目標画像における点Ｐ（ｉ，ｊ）を透視歪み関数Ｇにより写像する（Ｓ８４）。透視歪み関数Ｇにより写像された点の座標を点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）とする。
（ｘ_ｉｊ，ｙ_ｉｊ）＝Ｇ（ｉ，ｊ）

図３２は、補正目標画像内の点が補正対象画像内の点に写像される様子を説明する図である。図３２（ａ）の補正目標画像３２２は撮影画像内の原画像領域２０に対応する画像であり、幅Ｗ、高さＨの大きさである。図３２（ｃ）の補正対象画像３４２は、レンズ歪みと透視歪みのある撮影画像であり、原画像領域２０を含め、撮影領域２６全体にレンズ歪みと透視歪みが生じている。図２９のステップＳ３５において、レンズ歪み補正処理部８８がレンズ歪み関数Ｆ^−１を用い、図３２（ｃ）の補正対象画像３４２のレンズ歪みを補正し、図３２（ｂ）のレンズ歪み補正画像３３０へと変換する。レンズ歪み補正画像３３０においては、原画像領域２０を含め、撮影領域２６全体のレンズ歪みが除去されているが、透視歪みは残っている。

図３１のステップＳ８４において、補正目標画像３２２における点Ｐ（ｉ，ｊ）は、図３２に示すように、透視歪み関数Ｇにより、透視歪みの生じているレンズ歪み補正画像３３０内の点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）に写像される。

透視歪み補正処理部８９は、点Ｑ（ｘ_ｉｊ，ｙ_ｉｊ）における輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）を周辺の画素の輝度値によりバイリニア補間法などによって補間して算出し、算出された輝度値Ｌ（ｘ_ｉｊ，ｙ_ｉｊ）を補正目標画像の点Ｐ（ｉ，ｊ）における輝度値として設定する（Ｓ８８）。

ｘ座標値ｉを１だけインクリメントする（Ｓ９０）。ｘ座標値ｉが補正目標画像の幅Ｗよりも小さいなら（Ｓ９２のＮ）、ステップＳ８４に戻り、ｘ軸方向に座標値を進めながら、画素の輝度値を求める処理を繰り返す。

ｘ座標値ｉが補正目標画像の幅Ｗ以上なら（Ｓ９２のＹ）、現在のｙ座標値ｊのもとでのｘ軸方向の画素の輝度値が得られたので、次に、ｙ座標値ｊを１だけインクリメントする（Ｓ９４）。ｙ座標値ｊが補正目標画像の高さＨ以上なら（Ｓ９６のＹ）、補正目標画像のすべての画素について補間により輝度値が得られたので、終了する。ｙ座標値ｊが補正目標画像の高さＨよりも小さいなら（Ｓ９６のＮ）、ステップＳ８２に戻り、ｘ座標値を再び０に初期化し、新しいｙ座標値ｊのもとでｘ軸方向に座標値を進めながら、画素の輝度値を求める処理を繰り返す。

以上述べたように、本実施の形態の電子透かし抽出装置２００では、レンズ歪み補正関数を利用して、特徴点の透視歪みによる位置ずれを検出し、撮影時の透視歪み関数をその都度正確に求めることができる。これにより、レンズ歪みの他に透視歪みが生じた画像であっても、レンズ歪みと透視歪みを切り分けて処理することにより、正確に歪みを補正することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

そのような変形例として、上記の説明では、透視歪みを補正するために、透視歪み関数を算出したが、その変わりに、透視歪みのいくつかのパターンを示す格子形状のプロファイルデータをプロファイルデータベース４０に格納しておいてもよい。たとえば、格子模様画像Ｒを撮影するときの光軸をいろいろな方向と角度で傾けて、透視歪みが生じた複数の格子パターンを撮影し、プロファイルデータベース４０に登録しておき、画像補正時に最も合う格子パターンを利用して透視歪みを補正する。

また、上記の説明では、レンズ歪み関数対をプロファイルデータベース４０に登録したが、関数の形ではなく、補正目標画像内の点と補正対象画像内の点の対応関係を示すテーブルの形でプロファイルデータベース４０に格納してもよい。この場合、補正目標画像を透かしの埋め込みブロックのサイズに合わせて、格子状に区切り、格子点の対応関係だけをレンズ歪みのプロファイルデータとしてプロファイルデータベース４０に登録すればよい。

上記の透かし検出手順では、透かし検出に失敗した場合、閾値などのパラメータを調整して画像補正処理をやり直し、透かし検出を再度試みるが、透かし検出に失敗した場合、あるいは補正回数が所定回数を超えた場合に、画像補正部３４は、撮影部３０に印刷画像Ｐの再撮影を要求してもよい。

レンズ歪み関数対のデータは、デジタルカメラやスキャナなどの撮影機器の機種別にプロファイルデータベース４０に格納されてもよい。電子透かし抽出装置２００は、撮影機器の機種情報を取得して、印刷画像Ｐの撮影に使用された機種に合ったレンズ歪み関数対のデータを選択して使用することができる。

上記の実施例は、電子透かしが「ブロック埋め込み方式」で埋め込まれた画像の原画像領域２０の画像補正を例に説明したものであったが、これは本発明の画像補正技術の一実施例に過ぎない。上記実施例で説明した構成や処理手順によれば、電子透かしが他の方式で埋め込まれた画像の補正をすることもできる。また、上記実施例で説明した画像補正に係る構成と処理手順によれば、電子透かしが埋め込まれていない一般的な画像を補正することも可能である。たとえば、印刷画像の撮影画像に限らず、カメラで人物や風景などの被写体を実写した画像の補正にも本発明の画像補正技術を適用することができる。

実施の形態３．
図３３は、本願発明が適用される画像データ提供システム１１００の構成図である。この画像データ提供システム１１００は、３次元物体である商品（ここでは、デジタルカメラ）を各視点から見たときの２次元画像をクライアントに提供するものである。

商品の画像データ提供システム１１００は、サーバ１００１、カメラ付き携帯電話１００２、及び印刷物１００３で構成される。印刷物１００３には、透かし入り商品画像１００７が印刷されている。

図３４は、透かし入り商品画像１００７のイメージを示したものである。この透かし入り商品画像１００７は、３次元物体である商品（ここでは、デジタルカメラ）の側面図であり、この画像中には、商品に対応する識別情報が電子透かしにより埋め込まれている。

本実施の形態では、同図で示すように、透かし入り商品画像１００７の横方向をｘ方向、透かし入り商品画像１００７の縦方向をｙ方向、透かし入り商品画像１００７に対して垂直であって、その画像の裏側から表側に貫く方向をｚ方向として、以後の説明を進める。

クライアントは、商品の２次元画像を見たい視点に応じてカメラ（カメラ付き携帯電話１００２）を傾けて、透かし入り商品画像１００７を撮影する。この撮影により得られたデジタル画像データはサーバ１００１へ送信される。

この画像データを受信したサーバ１００１は、クライアントがカメラを傾けて撮影したことにより生じた、前記画像データの透視歪みを補正する。次に、補正された画像データから、電子透かし技術により埋め込まれた情報を検出する。そして、電子透かし技術により埋め込まれた情報と、補正時に得られた透視歪み情報と、に基づいて、該当する商品の一視点(斜め上、斜め横など)から見た２次元画像データを、サーバ１００１の画像データベースから選択する。画像データベースから選択された２次元画像データは、カメラ付き携帯電話１００２に返信される。

例えば、図３５（ａ）のように、クライアントが透かし入り商品画像１００７を左上方（プラスｚ−マイナスｘ側）から撮影した場合、サーバ１００１は、商品を前方からみたときの２次元画像データ（図３６）をクライアントのカメラ付き携帯電話１００２に送信する。

図３５（ｂ）のように、クライアントが透かし入り商品画像１００７を右上方（プラスｚ−プラスｘ側）から撮影した場合、サーバ１００１は、商品を後方からみたときの２次元画像データ（図３７）をクライアントのカメラ付き携帯電話１００２に送信する。

また、図３５（ｃ）のように、クライアントが透かし入り商品画像１００７を真上（プラスｚ側）から撮影した場合、サーバ１００１は、商品を側面からみたときの高解像度の２次元画像データ（図示しない）をクライアントのカメラ付き携帯電話１００２に送信する。

図３８は、本実施の形態のカメラ付き携帯電話１００２の構成図である。カメラ付き携帯電話１００２は、ＣＣＤ１０２１、画像処理回路１０２２、制御回路１０２３、ＬＣＤ１０２４、送受信部１０２５、操作部１０２６、などを有する。なお、同図にはカメラ付き携帯電話１００２に係る、カメラ機能やサーバ１００１との通信に必要な構成のみを示し、その他の構成は図示省略している。

ＣＣＤ１０２１により撮影された撮影画像１００６（図３４参照）の撮像データは、画像処理回路１０２２によりデジタル変換処理され、デジタル画像データが生成される。

送受信部１０２５は、外部とのデータ通信処理を行う。具体的には、前記デジタル画像データをサーバ１００１へ送信したり、サーバ１００１が送信したデータを受信したりする。

ＬＣＤ１０２４は、前記デジタル画像データや、外部から送信されてきたデータを表示する。

操作部１０２６は、通話を行うためのボタンに加え、撮影時に必要なシャッターボタンなどを有している。

画像処理回路１０２２、ＬＣＤ１０２４、送受信部１０２５、操作部１０２６は、制御回路１０２３に接続されている。

図３９は、本実施の形態のサーバ１００１の構成図である。サーバ１００１は、送受信部１０１１、特徴点検出部１０１２、透視歪み検出部１０１３、透視歪み補正部１０１４、透かし抽出部１０１５、画像データベース１０１６、画像データ索引部１０１７、制御部１０１８などからなる。

送受信部１０１１は、外部との送受信処理を行う。具体的には、カメラ付き携帯電話１００２から送信されてきたデジタル画像データを受信したり、カメラ付き携帯電話１００２へ情報データを送信したりする。

特徴点検出部１０１２は、送受信部１０１１が受信したデジタル画像データから、透かし入り商品画像１００７の領域を切り出すために用いられる特徴点（例えば、透かし入り商品画像１００７のフレームの四隅に存在する４つの特徴点）を検出する処理を行う。この特徴点を検出する方法については、例えば、本願出願人による特許出願（特願２００３−４１８２７２号）の明細書に記載されている。

また、特徴点検出部１０１２は、必要に応じ、特徴点検出処理の前に画像の復号処理を行う。例えば、デジタル画像データがＪＰＥＧ形式の画像データであれば、特徴点検出処理の前に、ＪＰＥＧ形式の画像データを、各座標における濃度値を表す２次元配列データに変換する，復号処理を行う必要がある。

透視歪み検出部１０１３は、カメラ付き携帯電話１００２から送信されてきたデジタル画像データから透視歪みを検出する。そして、この透視歪みに基づいて、カメラ付き携帯電話１００２による撮影時における、撮影方向を推定する。以下に撮影方向の推定方法について説明する。

図４０は、透かし入り商品画像１００７を真上（図３４のプラスｚ側）から撮影した場合の撮影画像１００６である。図４１は、透かし入り商品画像１００７を左上方（図３４のプラスｚ−マイナスｘ側）から撮影した場合の撮影画像１００６である。図４２は、透かし入り商品画像１００７を右上方（図３４のプラスｚ−プラスｘ側）から撮影した場合の撮影画像１００６である。図４０から図４２においては、撮影画像１００６の横方向をｘ’方向、縦方向をｙ’方向であるとしている。

図４０（又は図４１、図４２）を参照して、撮影方向の検出は、第１の特徴点（透かし入り商品画像１００７の領域の左上（マイナスｘ’側−プラスｙ’側）のコーナー）と第３の特徴点（透かし入り商品画像１００７の領域の左下（マイナスｘ’側−マイナスｙ’側）のコーナー）の間の距離ｄ_１３と、第２の特徴点（透かし入り商品画像１００７の領域の右上（プラスｘ’側−プラスｙ’側）のコーナー）と第４の特徴点（透かし入り商品画像１００７の領域の右下（プラスｘ’側−マイナスｙ’側）のコーナー）の間の距離ｄ_２４の大小関係に基づいて行われる。

図４０を参照して、透かし入り商品画像１００７を真上から撮影した場合、ｄ_１３＝ｄ_２４となる。したがって、特徴点検出部１０１２により検出された特徴点間の距離がｄ_１３＝ｄ_２４の関係であった場合、透視歪み検出部１０１３は撮影画像１００６は透かし入り商品画像１００７を真上（図３４のプラスｚ側）から撮影したときの画像と認識する。

図４１を参照して、透かし入り商品画像１００７を左上方から撮影した場合、ｄ_１３＞ｄ_２４となる。したがって、特徴点検出部１０１２により検出された特徴点間の距離がｄ_１３＞ｄ_２４の関係であった場合、透視歪み検出部１０１３は撮影画像１００６は透かし入り商品画像１００７を左上方（図３４のプラスｚ−マイナスｘ側）から撮影したときの画像と認識する。

図４２を参照して、透かし入り商品画像１００７を右上方から撮影した場合、ｄ_１３＜ｄ_２４となる。したがって、特徴点検出部１０１２により検出された特徴点間の距離がｄ_１３＜ｄ_２４の関係であった場合、透視歪み検出部１０１３は撮影画像１００６は透かし入り商品画像１００７を右上方（図３４のプラスｚ−プラスｘ側）から撮影したときの画像と認識する。

尚、透視歪み検出部１０１３は、上記のように、
ｄ_１３＝ｄ_２４のとき、真上から撮影したもの、
ｄ_１３＜ｄ_２４のとき、右上方から撮影したもの、
ｄ_１３＞ｄ_２４のとき、左上方から撮影したもの、
と認識する代わりに、ある正の値を有するαがあって、
｜ｄ_１３−ｄ_２４｜＜αのとき、真上から撮影したものと認識、
ｄ_２４−ｄ_１３≧αのとき、右上方から撮影したものと認識、
ｄ_１３−ｄ_２４≧αのとき、左上方から撮影したものと認識、
と認識するものであっても良い。但し、αは撮影時に発生する透視歪みのずれを許容するパラメータである。

また、透視歪み検出部１０１３は、ある正の値を有するβ（但し、β＞α）があって、
｜ｄ_１３−ｄ_２４｜＞β のとき、後に行う透視歪みの補正、もしくは透かしの検出が不可能であると判断し、これ以降のデジタル画像データの処理を中止させるものであっても良い。

透視歪み補正部１０１４は、透視歪み検出部１０１３で検出されたデジタル画像データの透視歪みを補正する。透視歪み補正の方法については、例えば本願出願人による特許出願（特願２００３−３９７５０２号）の明細書などに記載されている。

透かし抽出部１０１５は、透視歪み補正部１０１４で透視歪みが補正されたデジタル画像データから、電子透かし技術により埋め込まれた情報を抽出する。この電子透かし情報を抽出する方法については、例えば、本願出願人による特許出願の公開公報（特開２００３−２４４４１９号公報）などに記載されている。

画像データベース１０１６は、３次元物体である様々な商品を、様々な角度から撮影した２次元画像データを収録している。

画像データ索引部１０１７は、画像データベース１０１６に収録されている２次元画像データの索引情報を収録している。より具体的には、図４３を参照して、画像データ索引部１０１７は、商品の形式／型番を表す商品識別ＩＤと、透視歪み情報の２つを索引キーとして、２次元画像データの内容に関する情報と、画像データベース１０１６における２次元画像データの先頭アドレスに関する情報とを収録している。前記商品識別ＩＤは、透かし抽出部１０１５によりデジタル画像データから抽出された、デジタル画像データ中に埋め込まれた電子透かし情報に対応するものである。また、先頭アドレスに関する情報は画像を索引するために使用され、画像を一意に識別できるものであればよい。

前記透視歪み情報は、透視歪み検出部１０１３により検出された透視歪みであり、クライアントの撮影時における撮影方向に対応するものである。クライアントが真上の方向から透かし入り商品画像１００７を撮影した場合、透視歪み情報は「０」である。クライアントが左上の方向から透かし入り商品画像１００７を撮影した場合、透視歪み情報は「１」である。クライアントが右上の方向から透かし入り商品画像１００７を撮影した場合、透視歪み情報は「２」である。

制御部１０１８は、サーバ１００１の各構成部を制御する。

なお、これらの構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像処理機能および電子透かし埋め込み機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

図４４は、本実施の形態のサーバ１００１が行う処理をフローチャートで示したものである。

ステップＳ１００１では、送受信部１０１１が、カメラ付き携帯電話１００２から送信されてきたデジタル画像データを受信する。ステップＳ１００２では、特徴点検出部１０１２が、送受信部１０１１で受信したデジタル画像データから透かし入り商品画像１００７の領域を切り出すために用いられる特徴点（例えば、透かし入り商品画像１００７のフレームの四隅に存在する４つの特徴点）を検出する処理を行う。このとき、特徴点検出部１０１２は、必要に応じ特徴点検出処理の前に画像の復号処理を行う。

ステップＳ１００３では、カメラ付き携帯電話１００２から送信されてきたデジタル画像データにおける透視歪みの検出を、透視歪み検出部１０１３が行う。透視歪みの検出方法については、上記で説明したとおりである。

ステップＳ１００４では、透視歪み検出部１０１３で検出された透視歪みを、透視歪み補正部１０１４が補正する。

ステップＳ１００５では、透視歪み補正部１０１４で透視歪みが補正されたデジタル画像データから、電子透かし技術により埋め込まれた情報を抽出する処理を、透かし抽出部１０１５が行う。

ステップＳ１００６では、透かし抽出部１０１５により抽出された情報と、透視歪み検出部１０１３で検出された透視歪み情報とを索引キーとして、画像データ索引部１０１７を参照し、クライアントが要求する２次元画像データの種類を特定する。

ステップＳ１００７では、前記ステップＳ１００６において特定された２次元画像データを獲得すべく、画像データベース１０１６を参照する。

ステップＳ１００８では、画像データベース１０１６から獲得した２次元画像データをカメラ付き携帯電話１００２に送信する処理を、送受信部１０１１が行う。

本実施の形態によれば、クライアントは、１回の撮影操作により、複数の情報（見たい商品と、見たい視点）を画像データベースのサーバに伝達することができる。従来、クライアントは、見たい商品の透かし入り画像を撮影後、見たい視点をボタン押下により選択する必要があった。或いは、画像データベースの管理者は、商品と視点の組合せに対応した枚数の透かし入り画像を用意する必要があった。

したがって、本実施の形態によれば、クライアントの操作負担を軽減させるだけでなく、画像データベースの管理者の経済効率も向上させることができる。

実施の形態３の変形例１．
実施の形態３は、３次元物体である商品の２次元画像を見たい視点に応じてカメラを傾けて、透かし入り商品画像１００７を撮影するものであるが、撮影方向は、上記例の３方向に限定されるものではない。

例えば、クライアントが、商品の上方（天井側）から見たときの画像を見たい場合、クライアントは、透かし入り商品画像１００７を、図３４のプラスｚ−プラスｙ側から撮影することで、天井側から見たときの画像をサーバ１００１から獲得することができる。

或いは、商品の下方（床側）から見たときの画像を見たい場合、クライアントは、透かし入り商品画像１００７を、プラスｚ−マイナスｙ側から撮影することで、床側から見たときの画像をサーバ１００１から獲得することができる。

このような場合、撮影方向の検出は、図４５を参照して、第１の特徴点（透かし入り商品画像１００７の領域の左上（マイナスｘ’側−プラスｙ’側）のコーナー）と第２の特徴点（透かし入り商品画像１００７の領域の右上（プラスｘ’側−プラスｙ’側）のコーナー）の間の距離ｄ_１２と、第３の特徴点（透かし入り商品画像１００７の領域の左下（マイナスｘ’側−マイナスｙ’側）のコーナー）と第４の特徴点（透かし入り商品画像１００７の領域の右下（プラスｘ’側−マイナスｙ’側）のコーナー）の間の距離ｄ_３４の大小関係に基づいて行われる。

即ち、サーバ１００１は、
ｉ）ｄ_１２＞ｄ_３４のとき、画像はプラスｚ−プラスｙ側から撮影されたものと認識し、クライアントは商品を上方（天井側）から見たときの画像を欲しているものと認識する。

ｉｉ）ｄ_１２＜ｄ_３４のとき、画像はプラスｚ−マイナスｙ側から撮影されたものと認識し、クライアントは商品を下方（床側）から見たときの画像を欲しているものと認識する。

実施の形態３の変形例２．
いま、図４６に示すように透かし入り商品画像１００７の２つの対角線をそれぞれζ軸、η軸とする。ここで、クライアントが商品の背面を天井側からみたときの画像を欲している場合、透かし入り商品画像１００７をプラスｚ−プラスζ側から撮影することにより、当該画像を獲得することができるようにしても良い。或いは、クライアントが、商品の背面を床側からみたときの画像を欲している場合、透かし入り商品画像１００７をプラスｚ−プラスη側から撮影することにより、当該画像を獲得することができるようにしても良い。

このような場合、サーバ１００１は、
ｉｉｉ）ｄ_１２＞ｄ_３４、かつ、ｄ_１３＜ｄ_２４のとき、画像はプラスｚ−プラスζ側から撮影されたものと認識し、
ｉｖ）ｄ_１２＜ｄ_３４、かつ、ｄ_１３＜ｄ_２４のとき、画像はプラスｚ−プラスη側から撮影されたものと認識する。

実施の形態３の変形例３．
上記例は、３次元物体であるデジタルカメラを各視点から見たときの画像をクライアントに提供するシステムに関するものであったが、本願の発明は３次元物体である乗用車を各視点から見たときの画像をクライアントに提供するシステムにも適用できるものである。

実施の形態３の実験例．
実施の形態３に記載された画像データ提供システム１１００と同様の構成のシステムを構築し、実験を行った。この実験では、被写体画像（実施の形態３の透かし入り商品画像１００７に対応）の対角線の長さを７０．０ｍｍ、ＣＣＤの対角線の長さを８．８６ｍｍ（１／１．８型）、カメラのレンズの焦点距離を７．７ｍｍ、被写体からレンズ中心への距離を７０〜１００ｍｍとした。

その結果、被写体画像の法線とカメラ光軸の角度が２０°以下であれば、撮影された被写体画像に透視歪みがあっても、その透視歪みを補正することにより、電子透かし技術により埋め込まれた情報を抽出することが可能であった。

もしも、真上方向から大きくずれた角度から撮影した場合、電子透かし技術により埋め込まれた情報が抽出できないのであれば、本願発明の実用性は低いものとなってしまうが、上記実験結果が示すように、真上方向から２０°もずれた角度から撮影しても、画像に電子透かし技術により埋め込まれた情報が抽出することができるため、本願発明の実用性は高いものである。

また、この実験では、被写体画像の法線とカメラ光軸の角度の大きさが５°未満の場合、被写体撮影は真上から行われたものとし、被写体画像の法線とカメラ光軸のなす角度の大きさが５°以上の場合、被写体撮影は斜めから行われたものと判断するように当該実験システムを設定したが、当該実験において、撮影方向の誤認識が生じることはなかった。

実施の形態４．
実施の形態３では、サーバ１００１が、カメラ付き携帯電話１００２から送信されてきたデジタル画像データの透視歪み検出やその補正を行っていた。

これに対し、本実施の形態は、カメラ付き携帯電話１００２が、デジタル画像データをサーバ１００１に送信する前に、透視歪み検出やその補正を行っておくものである。検出された透視歪み情報は、デジタル画像データのヘッダ領域に格納される。デジタル画像データのデータ領域には、透視歪み補正後の画像データが格納される。

図４７は、本実施の形態のカメラ付き携帯電話１００２の構成図である。

カメラ付き携帯電話１００２は、カメラ付き携帯電話１００２は、ＣＣＤ１０２１、画像処理回路１０２２、制御回路１０２３、ＬＣＤ１０２４、送受信部１０２５、操作部１０２６、特徴点検出部１０２７、透視歪み検出部１０２８、透視歪み補正部１０２９、ヘッダ付加部１０３０などを有する。なお、同図にはカメラ付き携帯電話１００２に係るカメラ機能や、透視歪み補正機能、及び、サーバ１００１との通信に必要な構成のみを示し、その他の構成は図示省略している。

ＣＣＤ１０２１、画像処理回路１０２２、制御回路１０２３、ＬＣＤ１０２４、操作部１０２６、実施の形態３におけるカメラ付き携帯電話１００２のそれらと同様であるので、詳細な説明は省略する。

特徴点検出部１０２７は、画像処理回路１０２２により生成されたデジタル画像データから透かし入り商品画像１００７の領域の特徴点を検出する処理を行う。ここで言う特徴点とは、透かし入り商品画像１００７のフレームの四隅に存在する４つの特徴点のことである。

透視歪み検出部１０２８は、デジタル画像データの透視歪みを検出する。透視歪みの検出方法については、実施の形態３のサーバ１００１の透視歪み検出部１０１３が行う方法と同様であるので、詳細な説明は省略する。

透視歪み補正部１０２９は、透視歪み検出部１０２８で検出された透視歪みを補正する。補正方法については、実施の形態３のサーバ１００１の透視歪み補正部１０１４と同様、特願２００３−３９７５０２号の明細書に記載された技術などがある。

ヘッダ付加部１０３０は、透視歪み検出部１０２８で検出された透視歪み情報をデジタル画像データのヘッダ領域に付加する。

透視歪み情報が付加されたデジタル画像データは、送受信部２２によりサーバ１００１に送信される。

なお、透視歪み検出部１０２８により検出された透視歪みの情報は、ＬＣＤ１０２４に表示されるものであっても良い。そうすることにより、クライアントは、自身の撮影動作に、自身の選択が反映されているかどうかを、サーバ１００１にデジタル画像データを送信する前に確認することができる。

図４８は、本実施の形態のサーバ１００１の構成図である。サーバ１００１は、送受信部１０１１、透かし抽出部１０１５、画像データベース１０１６、画像データ索引部１０１７、制御部１０１８、ヘッダ情報検出部１０１９などを有する。

送受信部１０１１は、実施の形態３のサーバ１００１と同様、データの送受信処理を行う。

透かし抽出部１０１５は、送受信部１０１１が受信したデジタル画像データから、電子透かし技術により埋め込まれた情報を抽出する。

ヘッダ情報検出部１０１９は、カメラ付き携帯電話１００２から送信されてきたデジタル画像データのヘッダ領域に格納された透視歪み情報を検出する。

画像データベース１０１６は、実施の形態３のサーバ１００１と同様、３次元物体である様々な商品を、様々な角度から撮影した２次元画像データなどを収録している。

画像データ索引部１０１７も、実施の形態３のサーバ１００１と同様、画像データベース１０１６に収録されている２次元画像データの索引情報を収録している（図４３参照）。但し、索引キーの１つである透視歪み情報は、ヘッダ情報検出部１０１９により検出された情報である点が、実施の形態３のサーバ１００１と異なる。

なお、これらの構成も、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた画像処理機能および電子透かし埋め込み機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

図４９は、本実施の形態のカメラ付き携帯電話１００２が行う処理をフローチャートで示したものである。

クライアントが操作部１０２６のシャッタボタンを押下することにより、ＣＣＤ１０２１が撮像処理を行うと（ステップＳ１０１１）、ステップＳ１０１２では、画像処理回路１０２２が撮像データに対しデジタル変換処理を行う。

ステップＳ１０１３では、特徴点検出部１０２７が、画像処理回路１０２２により生成されたデジタル画像データから、透かし入り商品画像１００７の領域の特徴点（ここでは、透かし入り商品画像１００７のフレームの四隅に存在する４つの特徴点のことを指す）を検出する処理を行う。

ステップＳ１０１４では、透視歪み検出部１０２８が、デジタル画像データの透視歪みを検出する。ステップＳ１０１５では、透視歪み補正部１０２９が、透視歪み検出部１０２８で検出されたデジタル画像データの透視歪みを補正する。

ステップＳ１０１６では、ヘッダ付加部１０３０が、透視歪み検出部１０２８で検出された透視歪み情報を、透視歪み補正部１０２９により歪み補正されたデジタル画像データのヘッダ領域に付加する。

ステップＳ１０１７では、送受信部１０２５が、ヘッダ付加部１０３０により透視歪み情報が付加されたデジタル画像データを、サーバ１００１に送信する処理を行う。

図５０は、本実施の形態のサーバ１００１が行う処理をフローチャートで示したものである。

ステップＳ１０２１では、送受信部１０１１が、カメラ付き携帯電話１００２から送信されてきたデジタル画像データを受信する。ステップＳ１０２２では、ヘッダ情報検出部１０１９が、カメラ付き携帯電話１００２から送信されてきたデジタル画像データのヘッダ部に格納された透視歪み情報を検出する。

ステップＳ１０２３では、透かし抽出部１０１５が、送受信部１０１１が受信したデジタル画像データから、電子透かし技術により埋め込まれた情報を抽出する。

ステップＳ１０２４では、透かし抽出部１０１５により抽出された情報と、ヘッダ情報検出部１０１９で検出された透視歪み情報とを索引キーとして、画像データ索引部１０１７を参照し、クライアントの要求する２次元画像データの種類を特定する。

ステップＳ１０２５では、前記ステップＳ１０２４において特定された２次元画像データを獲得すべく、画像データベース１０１６を参照する。

ステップＳ１０２６では、画像データベース１０１６から獲得した２次元画像データをカメラ付き携帯電話１００２に送信する処理を、送受信部１０１１が行う。

本実施の形態によれば、クライアント側の端末で透視歪みの検出と、その補正を行っておくので、実施の形態３と比較して、透かし検出を行うサーバの負担を軽減させることができる。

実施の形態４の変形例１．
実施の形態４では、クライアント側の端末で、透視歪みの検出と、その補正の両方を行っていたが、これに代えて、クライアント側の端末では、透視歪みの検出のみを行い、その補正はサーバ側に委ねるものであっても良い。そのような場合において、デジタル画像データに含まれる透視歪みが大きすぎると端末が認識した場合、その画像データをサーバに送信するのではなく、端末はクライアントに再撮影を要求する旨をＬＣＤに表示するものであっても良い。

実施の形態４の変形例２．
実施の形態４では、クライアント側の端末で、透視歪みの検出と、その補正を行い、サーバ側で電子透かしの抽出を行っていた。これに代えて、電子透かし抽出もクライアント側の端末で行うものであっても良い。このとき、クライアント側の端末からは、電子透かし技術により埋め込まれた情報（商品の識別情報）と、検出された透視歪みの情報（クライアントが見たい視点に対応した情報）とがサーバへ送信される。サーバは、クライアント側の端末から送信されてきた商品識別情報と、クライアントが見たい視点についての情報に基づいて、クライアントに提供する２次元画像データの種類を決定する。

実施の形態４の変形例３．
上記実施の形態４の変形例２のクライアント側の端末は、更に、画像データベースを有していて、電子透かし技術により埋め込まれた情報（商品の識別情報）と、検出された透視歪みの情報（クライアントが見たい視点に対応した情報）とに基づいて、画像データベースにある画像を選択し、その選択された画像を端末の表示部に表示させるものであっても良い。あるいは選択された画像のサムネイルを表示部に表示させても良い。

実施の形態５．
実施の形態３、４においては、クライアントは、見たい視点に応じてカメラを傾けて透かし入り商品画像を撮影することにより、その視点から見たときの商品の２次元画像データをサーバから獲得することができた。

本実施の形態では、クライアントは、透かし入りの商品画像を撮影することにより、購入する商品のオプション機能（包装紙の種類）を選択することができる。

図５１は、本実施の形態の商品購入システム１３００の構成図である。商品購入システム１３００は、サーバ１０２０、カメラ付き携帯電話１００２、及び印刷物１００３で構成される。

図５２を参照して、印刷物１００３には、透かし入り商品画像１００８が印刷されている。実施の形態３と同様、本実施の形態でも、透かし入り商品画像１００８の横方向をｘ方向、透かし入り商品画像１００７の縦方向をｙ方向、透かし入り商品画像１００８に対して垂直であって、その画像の裏側から表側に貫く方向をｚ方向として、以後の説明を進める。

図５３は、本実施の形態のサーバ１０２０の構成図である。サーバ１０２０は、送受信部１０１１、特徴点検出部１０１２、透視歪み検出部１０１３、透視歪み補正部１０１４、透かし抽出部１０１５、商品情報データベース１０３６、制御部１０１８などからなる。送受信部１０１１、特徴点検出部１０１２、透視歪み検出部１０１３、透視歪み補正部１０１４、透かし抽出部１０１５、及び、制御部１０１８は、実施の形態３におけるサーバ１００１のそれらと同様であるので、詳細な説明は省略する。

図５４は、本実施の形態のサーバ１０２０の商品データベース１０３６の内容を示したものである。商品データベース１０３６は、商品ＩＤと、透視歪み情報の２つを索引キーとして、商品に関する情報を収録している。本実施の形態では、商品とはギフト商品のことを想定している。商品ＩＤとは、商品の種類（型番、形式など）に対応したものであり、透視歪み情報は、その商品を包装する包装紙の色に関する情報である。

図５５は、本実施の形態の商品購入システム１３００の概念図である。商品の購入を希望するクライアントが、その商品を白の包装紙で包装されることを希望する場合、クライアントは、左上方（マイナスｘ‐プラスｚ側）からｘ‐ｙ平面に配置された透かし入り商品画像１００８を通信機能付きカメラ（カメラ付き携帯電話１００２）で撮影する（図５５の（１ａ）参照）。透かし入り商品画像１００８には、商品のＩＤが電子透かしにより埋め込まれている。

商品の購入を希望するクライアントが、その商品を黒の包装紙で包装されることを希望する場合、クライアントは、右上方（プラスｘ‐プラスｚ側）から透かし入り商品画像１００８をカメラ付き携帯電話１００２で撮影する（図５５の（１ｂ）参照）。

撮影された画像にデジタル変換処理を施したデジタル画像データは、サーバ１００１へ送信される（図５５の（２）参照）。サーバ１０２０の透視歪み補正部１０１４は、透視歪み検出部１０１３により検出された透視歪み情報に基づいて、前記デジタル画像データの透視歪みを補正する。次に、透かし抽出部１０１５は透視歪み補正されたデジタル画像データから、電子透かしにより埋め込まれた商品のＩＤ情報を抽出する（図５５の（３）参照）。そして、サーバ１０２０は、商品のＩＤ情報と透視歪み情報に基づいて、商品情報データベース１０３６を参照し、クライアントに配送する商品と、その包装方法とを決定する（図５５の（４）参照）。

このように、本実施の形態の商品購入システム１３００は、撮影角度により、クライアントが商品の包装紙の色を選択することを可能としたものである。

実施の形態５の変形例．
上記実施の形態では、印刷物１００３を斜め上（２方向のいずれか）から撮影することで、クライアントが商品の包装紙の色を黒か白かを選択するものであった。商品購入システム１３００を利用するクライアントは、上記実施の形態で述べた以外の方向から印刷物１００３を撮影することにより、黒と白以外の色の包装紙を選択することもできる。

例えば、商品の購入を希望するクライアントが、その商品を青の包装紙で包装されることを希望する場合、クライアントは、プラスｚ‐マイナスｙ側から透かし入り商品画像１００８をカメラ付き携帯電話１００２で撮影する（図５６（ａ）参照）。商品の購入を希望するクライアントが、その商品を赤の包装紙で包装されることを希望する場合、クライアントは、プラスｚ‐プラスｙ側から透かし入り商品画像１００８をカメラ付き携帯電話１００２で撮影する（図５６（ｂ）参照）。

このような場合、撮影方向の検出は、図４５を参照して説明した、実施の形態３の変形例１で述べた方法と同じやり方で行うことができる。

実施の形態６．
対話型のシステムにおけるクライアントの意思表示手段として、カメラの撮影角度を利用することができる。

図５７は、そのような対話型のシステムの一例である、クイズ回答システム１４００の構成を示す図である。クイズ回答システム１４００は、サーバ１０１０、カメラ付き携帯電話１００２、質問カード１００９などで構成される。

クライアントは、カメラ付き携帯電話１００２の撮影角度を変えて、質問カード１００９を撮影することにより、質問カード１００９に印刷されているクイズに対する回答を行う。質問カード１００９には、クイズ問題が印刷されており、質問カード１００９は、そのクイズ問題に対応して領域分割されている。例えば、質問１は、質問カード１００９の領域Ｑ１に印刷されており、質問２は、質問カード１００９の領域Ｑ２に印刷されている。各領域Ｑ１、Ｑ２、・・、の中には、質問カード１００９の識別番号と、クイズ問題の番号とが、電子透かしにより埋め込まれている。例えば、領域Ｑ１の中には、質問カード１００９の識別番号と、クイズ問題番号１である旨の情報が電子透かしにより埋め込まれている。

また、質問カードの各領域は太い枠線で囲まれているので、撮影画像に表れる枠線の歪みにより、サーバ１０１０は、撮影画像の透視歪みを検出することができる。

このようなクイズ回答システム１４００における、クライアントの操作例を、以下に説明する。図５７の質問カード１００９の質問１、「米国の初代大統領は」という問いに対し、「１：ワシントン」を選択する場合は、図５８（ａ）のように、左上方から質問カード１００９の領域Ｑ１を撮影する。「２：リンカーン」を選択する場合は、図５８（ｂ）のように、右上方から質問カード１００９の領域Ｑ２を撮影する。

カメラ付き携帯電話１００２で撮影された質問カード１００９のデジタル画像データは、サーバ１０１０へ送信される。サーバ１０１０は、前記デジタル画像データの透視歪みを補正すると共に、この歪み補正の際に検出された歪み方向（クライアントの選択した回答番号）を記憶しておく。そして、サーバ１０１０は、歪み補正されたデジタル画像データから電子透かしにより埋め込まれた質問カード１００９の識別番号と、クイズ問題番号とを抽出する。

更にサーバ１０１０は、抽出されたクイズ問題番号と、検出された回答番号とに基づいて、データベース（質問番号と、これに対応する正答番号とが収録されたデータベース）を参照し、クライアントの回答が正しいかどうかを判断する。

なお、上記例では、印刷物である質問カード１００９にクイズ問題を表した文字情報と、電子透かし情報（クイズ問題番号等）が含まれているものであるとした。これに代えて、印刷物ではなく、テレビ放送の画面中に、クイズ問題を表した文字情報と、電子透かし情報（クイズ問題番号等）とを含むものであっても良い。このような実施の形態によれば、視聴者参加型オンラインのクイズ番組を実現することができる。また、このような実施の形態はテレビ番組中に見られる、電話投票によるアンケート調査にも応用することが可能である。

その他の変形例．
これ以外にも、以下のような変形例が考えられる。

（１）レストランのメニューへの適用：料理写真や貯蔵品の写真に透かし情報を埋め込む。レストランメニューの場合、撮影すると料理に関する詳細な情報やお客さんの評価などが表示される。もしくは料理の香りなどでも可。

（２）美術館、博物館のガイドブックへの適用：美術館、博物館の場合、撮影すると貯蔵品に関する音声ガイドや映像ガイドが流れる。

上記、（１）、（２）の両者とも、撮影角度により、英語、日本語、仏語など表示言語を切り替えられる。例えば、同一の透かし入り画像を斜め前から撮影すると日本語、斜め後ろからとると英語の解説が表示される。このことにより、言語毎にメニューやパンフレットを用意する必要がなくなる、というメリットがある。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

なお、上記の各実施の形態では、クライアントが透かし入り商品画像を斜め方向から撮影するものとして説明したが、クライアントはカメラを透かし入り画像の真上方向に配置した状態でカメラを傾けて当該画像を撮影しても良い。例えば、クライアントがカメラの左側を上に、右側を下に傾けて撮影したとき、撮影画像においては、透かし入り画像の領域の左側の輪郭の長さ（図４２で言えば、第１の特徴点と第３の特徴点との距離）が、右側の輪郭の長さ（図４２の第２の特徴点と第４の特徴点との距離）よりも短くなる。このような場合、サーバはクライアントが透かし入り画像を右上の方向（図３４のプラスｚ−プラスｘ方向）から撮影したものと判断する。

また、上記では、商品情報が電子透かし技術により埋め込まれた画像を、クライアントが斜め方向から撮影する実施の形態を説明したが、商品情報が１次元または２次元バーコードにより埋め込まれた印刷物を、クライアントが斜め方向から撮影しても良い。この場合、本願の電子透かし抽出部は、１次元または２次元バーコードリーダに置き換わることとなる。

或いは、撮像装置によって得た撮像データから画像の歪みを検出する歪み検出部と、情報データを格納する情報データ格納部と、前記歪み検出手段にて検出された画像の歪みに基づいて前記情報データ格納部に格納されている情報データを選択する選択部と、で構成される情報データベース装置もあって良い。

本発明は、画像処理の分野に適用することができる。

Claims

撮像装置によって得た撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、
前記撮像データから画像の歪みを検出する歪み検出手段と、
情報データを格納する情報データ格納手段と、
前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記情報データ格納手段に格納されている情報データを選択する選択手段と、
前記選択手段により選択された情報データを外部へ出力する出力手段と、
を含むことを特徴とした、情報データ提供装置。
撮像装置によって得た撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、
前記撮像データから画像の歪みを検出する歪み検出手段と、
情報データを格納する情報データ格納手段と、
前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記情報データ格納手段に格納されている情報データを選択する選択手段と、
前記選択手段により選択された情報データの内容を表示する表示手段と、
を含むことを特徴とした、情報データ提供装置。
撮像装置によって得た撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、
前記撮像データから画像の歪みを検出する歪み検出手段と、
画像データを格納する画像データ格納手段と、
前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記画像データ格納手段に格納されている画像データを選択する選択手段と、
を含むことを特徴とした、画像処理装置。
撮像装置によって得た撮像データから画像の歪みを検出する歪み検出手段と、
前記歪み検出手段により検出された画像の歪みに基づいて、前記撮像データから画像の歪みを補正する歪み補正手段と、
前記歪み補正手段により画像の歪みが補正された撮像データから電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、
画像データを格納する画像データ格納手段と、
前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記画像データ格納手段に格納されている画像データを選択する選択手段と、
を含むことを特徴とした、画像処理装置。
情報端末が送信した撮像データと、画像の歪み情報と、を受信する受信手段と、
前記撮像データから、電子透かし技術により埋め込まれた情報を抽出する電子透かし抽出手段と、
情報データを格納する情報データ格納手段と、
前記電子透かし抽出手段にて抽出された電子透かし技術により埋め込まれた情報と、前記受信手段が受信した画像の歪み情報と、に基づいて、前記情報データ格納手段に格納されている情報データを選択する選択手段と、
を含むことを特徴とした、画像処理装置。
撮像装置によって得た撮像データからバーコード技術により埋め込まれた情報を抽出する抽出手段と、
前記撮像データから画像の歪みを検出する歪み検出手段と、
情報データを格納する情報データ格納手段と、
前記抽出手段にて抽出されたバーコード技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記情報データ格納手段に格納されている情報データを選択する選択手段と、
前記選択手段により選択された情報データを外部へ出力する出力手段と、
を含むことを特徴とした、情報データ提供装置。
撮像装置によって得た撮像データからバーコード技術により埋め込まれた情報を抽出する抽出手段と、
前記撮像データから画像の歪みを検出する歪み検出手段と、
情報データを格納する情報データ格納手段と、
前記抽出手段にて抽出されたバーコード技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記情報データ格納手段に格納されている情報データを選択する選択手段と、
前記選択手段により選択された情報データの内容を表示する表示手段と、
を含むことを特徴とした、情報データ提供装置。
撮像装置によって得た撮像データからバーコード技術により埋め込まれた情報を抽出する抽出手段と、
前記撮像データから画像の歪みを検出する歪み検出手段と、
画像データを格納する画像データ格納手段と、
前記抽出手段にて抽出されたバーコード技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記画像データ格納手段に格納されている画像データを選択する選択手段と、
を含むことを特徴とした、画像処理装置。
撮像装置によって得た撮像データから画像の歪みを検出する歪み検出手段と、
前記歪み検出手段により検出された画像の歪みに基づいて、前記撮像データから画像の歪みを補正する歪み補正手段と、
前記歪み補正手段により画像の歪みが補正された撮像データからバーコード技術により埋め込まれた情報を抽出する抽出手段と、
画像データを格納する画像データ格納手段と、
前記抽出手段にて抽出されたバーコード技術により埋め込まれた情報と、前記歪み検出手段にて検出された画像の歪みと、に基づいて、前記画像データ格納手段に格納されている画像データを選択する選択手段と、
を含むことを特徴とした、画像処理装置。
情報端末が送信した撮像データと、画像の歪み情報と、を受信する受信手段と、
前記撮像データから、バーコード技術により埋め込まれた情報を抽出する抽出手段と、
情報データを格納する情報データ格納手段と、
前記抽出手段にて抽出されたバーコード技術により埋め込まれた情報と、前記受信手段が受信した画像の歪み情報と、に基づいて、前記情報データ格納手段に格納されている情報データを選択する選択手段と、
を含むことを特徴とした、画像処理装置。