JP5664346B2 - 画像処理装置、情報提供システム及びプログラム - Google Patents

Description

本発明は、画像処理装置、情報提供システム及びプログラムに関する。

オブジェクトを検索するシステムとして、例えば、特許文献１では、オブジェクトに含まれる画像ブロックにおいては画像の色に関する色特徴量を、テキストブロックにおいてはテキストの文字列に関するテキスト特徴量を、それぞれ抽出してデータベース１１８に蓄積しておく。そして、検索を行う際、取り込んだ画像から色特徴量及びテキスト特徴量を抽出し、その抽出した各特徴量をデータベース１１８に蓄積している各特徴量と比較することで、抽出した画像に類似しているオブジェクトのリストを作成する技術が提案されている。

特開２００５−３５２７８３号公報 特開２００２−００７４３２号公報

本発明は、ユーザに提供する情報が関連付けられる画像要素の識別に必要な数の特徴点が含まれるような境界を画像に埋め込む際に、その境界の中心を、本構成を有しない場合に比して、当該画像要素の位置を特定する位置情報により特定される位置の近くに配置することを目的とする。

本発明に係る画像処理装置は、ユーザに提供する情報が関連付けられる画像要素を含む画像を取得する手段と、前記画像上における前記画像要素の位置を特定する位置情報を取得する手段と、前記位置情報により前記画像上に埋め込まれる位置が特定される埋込要素の埋込範囲を取得する手段と、前記画像上の特徴点の分布を求める手段と、前記画像要素の識別に必要な所定の数以上の特徴点を中に含む所定の形状の境界及び前記埋込要素を、前記画像上において前記埋込要素全体が前記境界の中に含まれるように前記画像に埋め込む埋込手段と、前記境界及び前記埋込要素が埋め込まれた画像のうち少なくとも前記境界の中の画像と、当該画像要素に関連付けるユーザに提供する情報を特定する情報とを関連付けて記憶手段に登録する登録手段と、を有し、前記埋込手段は、前記境界により囲まれた画像の中心の位置と前記位置情報により特定される位置との距離の関係に応じて、取得した前記画像上において前記境界の埋め込む位置及び大きさを決定することを特徴とする。

また、前記埋込手段は、前記境界の大きさを表す指標と、前記境界の中心の位置と前記位置情報により特定される位置との距離と、の和が最小となるように前記境界の中心位置及び大きさを調整しながら前記境界の埋め込む位置及び大きさを決定することを特徴とする。

また、前記埋込手段は、更に調整により画像上に配置された前記境界と前記画像の周縁との距離に応じて前記境界の埋め込む位置及び大きさを決定することを特徴とする。

本発明に係る情報提供システムは、ユーザ端末装置と、画像処理装置と、記憶装置と、を有し、前記ユーザ端末装置は、ユーザに提供する情報が関連付けられる画像を特定する情報を前記画像処理装置へ送信する手段と、前記画像上の、前記ユーザに提供する情報を関連付ける画像要素の位置をユーザに指定させ、その指定された画像要素の位置を特定する位置情報を前記画像処理装置へ送信する手段と、を有し、前記画像処理装置は、ユーザに提供する情報が関連付けられる画像要素を含む画像を取得する手段と、前記画像上における前記画像要素の位置を特定する位置情報を取得する手段と、前記位置情報により前記画像上に埋め込まれる位置が特定される埋込要素の埋込範囲を取得する手段と、前記画像上の特徴点の分布を求める手段と、前記画像要素の識別に必要な所定の数以上の特徴点を中に含む所定の形状の境界及び前記埋込要素を、前記画像上において前記埋込要素全体が前記境界の中に含まれるように前記画像に埋め込む埋込手段と、前記境界及び前記埋込要素が埋め込まれた画像のうち少なくとも前記境界の中の画像と、当該画像要素に関連付けるユーザに提供する情報を特定する情報とを関連付けて前記記憶装置に登録する登録手段と、を有し、前記埋込手段は、前記境界により囲まれた画像の中心の位置と前記位置情報により特定される位置との距離の関係に応じて、取得した前記画像上において前記境界の埋め込む位置及び大きさを決定することを特徴とする。

本発明に係るプログラムは、コンピュータを、ユーザに提供する情報が関連付けられる画像要素を含む画像を取得する手段、前記画像上における前記画像要素の位置を特定する位置情報を取得する手段、前記位置情報により前記画像上に埋め込まれる位置が特定される埋込要素の埋込範囲を取得する手段、前記画像上の特徴点の分布を求める手段、前記画像要素の識別に必要な所定の数以上の特徴点を中に含む所定の形状の境界及び前記埋込要素を、前記画像上において前記埋込要素全体が前記境界の中に含まれるように前記画像に埋め込む埋込手段、前記境界及び前記埋込要素が埋め込まれた画像のうち少なくとも前記境界の中の画像と、当該画像要素に関連付けるユーザに提供する情報を特定する情報とを関連付けて記憶手段に登録する登録手段、として機能させ、前記埋込手段は、前記境界により囲まれた画像の中心の位置と前記位置情報により特定される位置との距離の関係に応じて、取得した前記画像上において前記境界の埋め込む位置及び大きさを決定することを特徴とする。

請求項１記載の発明によれば、ユーザに提供する情報が関連付けられる画像要素の識別に必要な数の特徴点が含まれるような境界を画像に埋め込む際に、その境界の中心を、本構成を有しない場合に比して、当該画像要素の位置を特定する位置情報により特定される位置の近くに配置することができる。

請求項２記載の発明によれば、ユーザに提供する情報が関連付けられる画像要素の識別に必要な数の特徴点が含まれるような境界を画像に埋め込む際に、その境界の中心を、本構成を有しない場合に比して、当該画像要素の位置を特定する位置情報により特定される位置の近くに配置することができる。

請求項３記載の発明によれば、境界を画像の周縁に近付きすぎない位置に配置することができる。

請求項４記載の発明によれば、ユーザに提供する情報が関連付けられる画像要素の識別に必要な数の特徴点が含まれるような境界を画像に埋め込む際に、その境界の中心を、本構成を有しない場合に比して、当該画像要素の位置を特定する位置情報により特定される位置の近くに配置することができる。

請求項５記載の発明によれば、ユーザに提供する情報が関連付けられる画像要素の識別に必要な数の特徴点が含まれるような境界を画像に埋め込む際に、その境界の中心を、本構成を有しない場合に比して、当該画像要素の位置を特定する位置情報により特定される位置の近くに配置することができる。

本発明に係るコンテンツ提供システムの一実施の形態を示した全体構成図である。 実施の形態１において、マーカが埋め込まれた画像がプリンタにより印刷されて作成された印刷物の要部を示した概念図である。 実施の形態１における画像処理装置を形成するコンピュータのハードウェア構成の一例を示した図である。 実施の形態１における画像処理装置のブロック構成の一例を示した図である。 実施の形態１の画像処理装置における処理を示したフローチャートである。 図５におけるマーカ形成処理の詳細を示したフローチャートである。 実施の形態１におけるマーカ形成処理においてスコアを計算する範囲を説明するために用いる特徴境界とアンカーとの位置関係を示した図である。 実施の形態１におけるマーカ形成処理において求めるスコアの計算式を説明するために用いる特徴境界とアンカーとの位置関係を示した図である。 実施の形態２におけるマーカ形成処理においてスコアを計算する範囲を説明するために用いる特徴境界とアンカーと印刷物の枠との位置関係を示した図である。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

図１は、本発明に係るコンテンツ提供システムの一実施の形態を示した全体構成図である。図１には、ユーザ端末装置１、画像処理装置３０、データベースサーバ２及びプリンタ３がそれぞれネットワーク４に接続されている構成が示されている。ユーザ端末装置１は、印刷対象の画像にマーカを埋め込みたいユーザが使用するコンピュータである。画像処理装置３０は、ユーザからの要求に応じて画像にマーカを埋め込み、また、マーカが関連付けられている位置の部分画像と、当該画像にコンテンツを関連付けたコンテンツ情報を生成する。プリンタ３は、ユーザからの要求に応じてマーカが埋め込まれた画像を紙媒体に印刷する。データベースサーバ２は、画像処理装置３０により生成されたコンテンツ情報が蓄積される記憶装置であり、本実施の形態ではサーバコンピュータにより実現する。更に、図１には、プリンタ３により印刷された印刷物１０と、カメラが搭載された携帯電話５と、が示されている。

図２は、マーカが埋め込まれた画像がプリンタ３により印刷されて作成された印刷物１０の要部を示した概念図である。図２に例示した印刷物１０には、複合機及び複合機の後方に冊子を持った女性の画像が印刷されている。そして、女性の画像にマーカ６が重畳して印刷されている。マーカ６は、印刷物１０に印刷される画像又はその画像に含まれる画像要素にデジタルコンテンツを関連付ける目印であってアンカー７とメディアアイコン８と特徴境界９とで構成される。アンカー７は、デジタルコンテンツを関連付ける画像要素の位置を特定する位置情報である。図２では、冊子上にアンカー７を配置していることから、この冊子の記述内容に関連したデジタルコンテンツが取得されることが容易に想定しうる。あるいは、印刷された画像全体にデジタルコンテンツを関連付けたい場合に、その画像上の任意の位置として冊子上にアンカー７が配置される場合もあり得る。アンカーの位置は座標データにより表される。また、アンカー７は、印刷物１０上におけるメディアアイコン８の表示位置を特定するための位置情報でもある。換言すると、埋込要素としてのメディアアイコン８を印刷物１０に印刷する画像に埋め込む位置を特定するための位置情報でもある。メディアアイコン８は、デジタルコンテンツすなわちユーザに提供する情報の種類を識別可能に表示する情報である。図２に例示したメディアアイコン８には、デジタルコンテンツが動画像であることを知らせるためにビデオカメラの形状の画像が含まれているが、その他にも音、静止画像等の情報であることを知らせるようなスピーカやカメラの形状の画像を含めるようにしてもよい。メディアアイコン８は、前述したデジタルコンテンツの種類を伝える画像に加えて、この画像の周囲にメディアアイコン８の範囲、すなわち形状及び大きさを特定するための境界を表す画像で形成される。本実施の形態では、メディアアイコン８の形状を全体を円形とする、アンカー７から吹き出した形状としたが、その他の形状で形成してもよい。特徴境界９は、所定の数以上の特徴点を含む領域を特定する所定の形状を有する境界であって、後述するようにカメラで撮影するおおよその範囲を撮影者に示すための線画像である。所定の数以上の特徴点というのは、コンテンツが関連付けられている画像要素を識別するために最低限必要な数以上からなる特徴点ということである。つまり、特徴境界９に囲まれる範囲、換言するとマーカ６全体が撮影されれば、コンテンツが関連付けられている画像要素を識別するのに十分な 特徴点が少なくともキャプチャーされることになる。本実施の形態では、特徴境界９により特定される領域の形状を円形としたが、他の形状で形成してもよい。

マーカ６は、重畳する画像を視認可能とするために透明若しくは半透明で生成される。透明の場合でも、少なくとも特徴境界９及びメディアアイコン８の境界を表す線の画像、またメディアアイコン８に含まれるビデオカメラなどのメディア形状は視認できるように印刷される。

ここで、図１及び図２を用いて、本実施の形態のコンテンツ提供システムを利用して、ユーザが印刷物１０に関連付けられているデジタルコンテンツを取得する処理の流れについて説明する。

まず、本システムがコンテンツを提供するサービスを提供する事前準備として、マーカ６を含む画像と、当該マーカ６に関連付けるデジタルコンテンツとを対応付けて生成したコンテンツ情報をデータベースサーバ２に登録させておく。なお、デジタルコンテンツを関連付ける画像要素というのは、本実施の形態の冊子のように印刷物１０の一部の画像要素としてもよいし、印刷された画像全体としてもよい。この登録処理に関しては、後述する。

印刷物１０を取得したユーザは、携帯電話５に搭載されたカメラを用いて印刷物１０に形成されたマーカ６を撮影する。この際、ユーザは、印刷物１０上の特徴境界９を含むマーカ６全体を少なくとも撮影範囲として撮影する。なお、印刷物１０に複数のマーカ６が存在する場合、ユーザは、取得したいデジタルコンテンツを関連付けたマーカ６全体を撮影する。マーカ６が撮影されると、携帯電話５は、その撮像データをデータベースサーバ２へ送信する。

携帯電話５でキャプチャーされた画像データが送信されてくると、データベースサーバ２は、その画像データに基づき内部に蓄積しているコンテンツ情報の画像データを検索する。具体的には、受信した画像データと、コンテンツ情報に含まれる各画像データとの特徴点 を比較、照合する。そして、受信した画像データと最も類似する 画像データに対応付けられているデジタルコンテンツを取り出して、携帯電話５へ返信する。なお、画像データに、ユーザに提供する情報を特定する情報としてＵＲＬなどデジタルコンテンツの格納先を特定する情報が対応付けされて登録されている場合には、対応するＵＲＬに基づきデジタルコンテンツを取得して送信するようにしてもよい。あるいは、ＵＲＬを送信してもよい。

デジタルコンテンツが送信されてくると、携帯電話５は、画面に表示するなどしてデジタルコンテンツを参照する。ＵＲＬが送信されてきた場合には、ＵＲＬにより特定される格納先からデジタルコンテンツを取得して画面に表示する。このようにして、ユーザは、携帯電話５を利用して、印刷物１０の画像要素に関連付けられているデジタルコンテンツを取得して参照する。

以上説明したように、図１に示したコンテンツ提供システムは、ユーザが携帯電話５を用いた撮影行為に応じて、印刷物１０に関連付けられているデジタルコンテンツをユーザに提供することになるが、本実施の形態は、印刷物１０に埋め込むマーカ６を形成する処理に特徴を有している。ここで、マーカ６を形成する処理を実施する画像処理装置３０の構成について以下に説明する。

図３は、本実施の形態における画像処理装置３０を形成するコンピュータのハードウェア構成の一例を示した図である。本実施の形態において画像処理装置３０を形成するコンピュータは、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、コンピュータは、図３に示したようにＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４を接続したＨＤＤコントローラ１５、入力手段として設けられたマウス１６とキーボード１７、及び表示装置として設けられたディスプレイ１８をそれぞれ接続する入出力コントローラ１９、通信手段として設けられたネットワークコントローラ２０を内部バス２１に接続して構成される。ユーザ端末装置１及びデータベースサーバ２も同じコンピュータであることから画像処理装置３０と同様に構成してもよい。

図４は、本実施の形態における画像処理装置３０のブロック構成の一例を示した図である。本実施の形態における画像処理装置３０は、画像送受信部３１、特徴点分布計算部３２、アンカー位置受付部３３、マーカ埋込部３４、コンテンツ特定情報取得部３５、コンテンツ情報生成部３６及びコンテンツ情報登録部３７を有している。画像送受信部３１は、デジタルコンテンツが関連付けられる画像要素を含む画像を取得する。また、マーカ６を埋め込んだ画像をユーザ端末装置１へ送信する。特徴点分布計算部３２は、取得した画像の特徴点の分布を計算により求める。アンカー位置受付部３３は、ユーザにより指定された画像上のアンカーの位置を示す座標データを取得する。マーカ埋込部３４は、画像にマーカ６を埋め込む。コンテンツ特定情報取得部３５は、画像要素に関連付けるコンテンツを特定する情報を取得する。コンテンツを特定する情報として、本実施の形態ではＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を用いる。コンテンツ情報生成部３６は、マーカ６が埋め込まれた画像のうち少なくとも特徴境界９の中の画像と、当該画像要素に関連付けるデジタルコンテンツを特定する情報とを関連付けてコンテンツ情報を生成する。コンテンツ情報登録部３７は、生成されたコンテンツ情報をデータベースサーバ２へ送信することによって登録させる。

画像処理装置３０における各構成要素３１〜３７は、画像処理装置３０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ１１で動作するプログラムとの協調動作により実現される。

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがインストールプログラムを順次実行することで各種処理が実現される。

次に、本実施の形態におけるコンテンツ提供システムがコンテンツを提供するサービスを提供する事前準備として、デジタルコンテンツを関連付ける画像にマーカ６を埋め込み、コンテンツ情報をデータベースサーバ２に登録するまでの処理について図５に示したフローチャートを用いて説明する。

ユーザ端末装置１において、ユーザがデジタルコンテンツを関連付けたい画像要素を含む画像を選択し、ディスプレイに表示するなどして確認した後、画像処理装置３０へ送信する。

画像処理装置３０において、画像送受信部３１がユーザ端末装置１から送信されてきた画像を受信することで取得する（ステップ１００）。画像を特定する情報としてユーザ端末装置１から画像データそのものではなく、画像の格納先を特定する情報が送信されてきた場合には、その格納先へアクセ スすることで画像を取得する。特徴点分布計算部３２は、その受信した画像の特徴点分布 、つまりその画像から抽出したすべての特徴点の位置情報を計算により求める（ステップ２００）。計算の方法は周知の方法を用いてよい。

一方、ユーザ端末装置１においては、ユーザは、ディスプレイに表示された画像上においてコンテンツを関連付けたい画像要素の表示位置を指定する。この操作は、画像上におけるアンカー７の位置を指定する操作といってもよい。この位置の指定操作は、マウス等のポインティングデバイスを用いて行う。例えば、画像上の冊子の位置にデジタルコンテンツを関連付けたい場合、ユーザは、マウスカーソルを冊子上に合わせ所定の確定操作を行うことでアンカー７の位置を指定する。

なお、デジタルコンテンツを関連付ける画像要素は、特徴境界９の中に含まれる特徴点によって識別され、また、特徴境界９は、マーカー７の位置によって画像上におけるおおよその配置が決まるので、ユーザは、可能であれば特徴点が数多く分布されていると考えられる近辺にアンカー７を指定するのが、マーカ６の大きさをより小さくできる可能性が高くなるので好適である。

ユーザ端末装置１においてアンカー７が指定されると、画像処理装置３０におけるアンカー位置受付部３３は、その指定されたアンカー７の位置を特定する座標データを受け付ける（ステップ３００）。アンカー７は、デジタルコンテンツを関連付ける画像要素を含む画像の左上の頂点等の所定の位置をＸＹ座標系の原点（０，０）とした場合に表される２次元の座標データによって位置が特定される。

以上のようにして、デジタルコンテンツが関連付けられる画像とアンカー７の位置を特定する座標データを取得すると、マーカ埋込部３４は、詳細は後述するマーカ６の大きさや埋め込む位置を決定するマーカ形成処理を実施する（ステップ４００）。そして、マーカ埋込部３４は、形成したマーカ６を、決定した画像上の位置に埋め込むことでマーカ６の埋込画像を生成する（ステップ５００）。

画像送受信部３１が以上の処理により生成されたマーカ６の埋込画像をユーザ端末装置１へ送信すると（ステップ６００）、ユーザは、そのマーカ６の埋込画像を表示して確認する。そして、この画像と関連付けるデジタルコンテンツの格納先情報としてＵＲＬを画像処理装置３０へ送信する。

コンテンツ特定情報取得部３５がユーザ端末装置１から送信されてきたＵＲＬを受け付けることで取得すると（ステップ７００）、コンテンツ情報生成部３６は、マーカ埋込部３４により生成された画像からマーカ６付近の画像を抽出し、その抽出した画像データと取得したＵＲＬとを関連付けることでコンテンツ情報を生成する（ステップ８００）。抽出する画像には、少なくともマーカ６が含まれていればよく、マーカ６のみの画像とする必要はない。マーカ６の特徴境界９の中には画像データを識別しうる数の特徴点が含まれているので、マーカ６付近の画像も合わせて抽出すれば、抽出した画像に含まれる特徴点の数が更に増える。また、任意の形状のマーカ６のみを抽出するより、例えばマーカ６を含む矩形形状の画像を抽出する方が処理は簡単である。そして、コンテンツ情報登録部３７は、生成されたコンテンツ情報をデータベースサーバ２へ送信することで、コンテンツ情報を登録させる（ステップ９００）。

このようにして、コンテンツ情報がデータベースサーバ２に保存されることで、前述したように、マーカ６の画像を含む印刷物１０の撮像データが携帯電話５から送信されてくると、データベースサーバ２は、その撮像データと類似する 画像データに対応付けられているＵＲＬを取り出し、そのＵＲＬを携帯電話５へ送信する。あるいは、ＵＲＬから特定される格納先からデジタルコンテンツを取得して、携帯電話５へ送信するようにしてもよい。これにより、携帯電話５のユーザは、印刷物１０又は印刷物１０に含まれている特定の画像要素に関連付けられているデジタルコンテンツを参照することになる。

なお、画像に複数のマーカ６を設定する場合には、前述したステップ３００〜９００の処理を繰り返し実行すればよい。

以上のようにして、本実施の形態においては、ユーザにデジタルコンテンツを提供するが、上記処理手順は一例であって、図５に例示した手順に限定されない。例えば、画像処理装置３０は、ユーザ端末装置１から画像とアンカー７の位置とＵＲＬを最初にまとめて受け取るようにしてもよい。つまり、画像とアンカー７の位置は、マーカ形成処理の前までに取得していればよく、ＵＲＬは、コンテンツ情報を生成する処理の前までに取得していればよい。

続いて、本実施の形態において特徴的なマーカ埋込部３４によるマーカ６の形成処理について図６に示したフローチャートを用いて説明する。このマーカ形成処理は、マーカ６の大きさとして特徴境界９の半径と、画像にマーカ６を埋め込む位置として円形の特徴境界９の中心点の位置座標を決定する処理であり、図５におけるステップ４００の詳細な処理の説明に相当する。

まず、マーカ埋込部３４は、メディアアイコン８の大きさを取得する（ステップ４０１）。本実施の形態では、説明の簡略化のためにメディアアイコン８の大きさは既知であり、またアンカー７に対して表示される方向は固定されているものとして説明する。

マーカ埋込部３４は、まず特徴境界の取りうる最大半径ｕｒ及び最小半径ｌｒの各値を初期化する（ステップ４０２）。すなわち、求めるべき特徴境界９の半径が最大半径と最小半径との間に存在するものとして、最大半径と最小半径とを処理の範囲として設定する。基本的には、最大半径に特徴境界９の半径としてあり得ない大きな数値を、最小半径に特徴境界９の半径としてあり得ない小さい数値を設定する。ただ、処理の効率化や現実性からすると、特徴境界９が取りうる最大の半径は、印刷物１０の短い辺の長さの半分なので、最大半径には、印刷物１０の短い辺の長さの半分くらいの値を初期値として設定するのが好適である。また、特徴境界９の中にメディアアイコン８が含まれることがマーカ６の体裁からして適切であるので、最小半径には、ステップ４０１で取得したメディアアイコン８の埋込範囲から特定される半径を初期値として設定する。メディアアイコン８の埋込範囲から特定される半径というのは、本実施の形態の場合、厳密に言うと円形状であるメディアアイコン８そのものの半径に、アンカー７からの吹き出しの長さを加算した値となる。いずれにしても、最小半径には、メディアアイコン８全体が特徴境界９に囲まれることになる値を初期値として設定する。

更に、マーカ埋込部３４は、この処理において決定すべき特徴境界９の半径ｂｒと特徴境界９の中心点の座標（ｘ_ｂ、ｙ_ｂ）となるときのスコアｂｅｓｔに無効な値で初期化する（ステップ４０３）。無効な値というのは、あり得ない値で、例えば、負の数を設定するなどしておけばよい。スコアに関しては後述する。そして、最適と考えられる特徴境界９の大きさと位置が得られるまで以下の処理を繰り返し実行する。

まず、現時点における最大半径ｕｒと最小半径ｌｒとの差と所定の閾値とを比較する。そして、差が閾値より大きい場合（ステップ４０４でＹ）、特徴境界９の半径として仮設定する半径ｃｒに、最大半径ｕｒと最小半径ｌｒとの和を２で除算した値を設定する（ステップ４０５）。所定の閾値は、適切な特徴境界の大きさと位置が得られたと判断する基準となる値である。この閾値に関しては、追って詳細を説明する。

そして、ユーザから指定されたアンカー７の位置（ｘ_ａ、ｙ_ａ）を特徴境界９の中に含み、かつデジタルコンテンツが関連付けられた画像要素を識別するために必要十分な数の特徴点を含む、半径がｃｒである特徴境界のうち最もスコアが高くなる特徴境界の中心点の座標を求める（ステップ４０６）。この処理について、図７及び図８を用いて詳述する。

図７には、画像上にユーザにより指定されたアンカー７と仮設定された半径ｃｒの特徴境界９と、特徴境界９の中心点４１とが示されている。また、図８には、特徴境界９の中心点４１とアンカー７との距離をｄで表すことが示されている。ここで、ステップ４０６においてはスコアｓを算出するが、本実施の形態では、このスコアｓを、特徴境界９の半径ｃｒと距離ｄとを加算した逆数で求めることにする。すなわち、ｓ＝１／（ｃｒ＋ｄ）という式にてスコアは算出される。この式によると、特徴境界９の半径ｃｒが小さいほどスコアｓの値が大きく なる。つまり、ステップ４０６において特徴境界９の中心座標（ｘ_ｃ、ｙ_ｃ）を求める際の条件の一つとして設定されている所定の数以上の特徴点が含まれていれば、仮設定した特徴境界９の半径ｃｒが小さいほど特徴境界９の半径として最終的に選ばれる可能性が高くなる。また、距離ｄも短いほどスコアｓの値が大きく なる。つまり、特徴境界９の中心点４１とアンカー７との距離が近いほど中心点４１を中心とする特徴境界９が最終的に選ばれる可能性が高くなる。本実施の形態では、このように特徴境界９の大きさと、特徴境界９とアンカー７との距離の相互関係によって特徴境界９を最終的に決定する。

また、ステップ４０６において特徴境界９の中心座標（ｘ_ｃ、ｙ_ｃ）を求める際の条件の一つとして設定されているアンカー７の位置（ｘ_ａ、ｙ_ａ）を特徴境界９の中に含めるという条件を満たすためには、図７に示したように、２の平行根（ルート２）と半径ｃｒとを乗算した値を一辺の長さとする正方形で表される領域４２の中を、半径ｃｒの特徴境界９の中心点４１を移動させながら上記スコアｓをその都度算出する。スコアｓは、特徴境界９を移動させた回数だけ算出されることになるので、その算出されたものの中から最高値となるスコアｓを、ステップ４０５において仮設定した半径ｃｒの特徴境界９におけるスコアｓとする。そして、最高値のスコアｓとなったときの特徴境界９の中心点４１の座標を（ｘ_ｃ、ｙ_ｃ）として得る。

領域４２の中における特徴境界９の中心点４１を１画素ずつずらしながらしらみつぶしにスコアｓを求めてもよいが、処理の効率化、高速化の観点から数画素ずつとばしながら求めるようにしてもよい。また、ステップ４０６におけるアンカー７の位置（ｘ_ａ、ｙ_ａ）を特徴境界９の中に含めるという条件を満たすのは、厳密には、アンカー７を中心とする半径ｃｒの円で示される領域であることから、この半径ｃｒの円で示される領域の中においてスコアｓを求めるようにしてもよい。ただ、本実施の形態では、処理の効率化、高速化の観点からアンカー７の位置から４５度方向に各頂点を持つ正方形４２の領域の中においてスコアｓを算出するようにした。

ステップ４０６では、以上のようにして、仮設定した半径ｃｒの特徴境界９におけるスコアｓ及び中心座標（ｘ_ｃ、ｙ_ｃ）を求める。ここで、仮設定した半径ｃｒが小さすぎて所定数以上の特徴点が特徴境界９で示される領域内に存在しなかったなどの理由で、ステップ４０６に示した条件を満たす特徴境界９が存在しなかった場合（ステップ４０７でＮ）、仮設定した半径ｃｒを最小半径ｌｒに代入し（ステップ４１１）、ステップ４０４に戻る。すなわち、ステップ４０５において仮設定した半径ｃｒが小さすぎた可能性があるため、最小半径ｌｒに半径ｃｒを設定し、ステップ４０５において改めて仮設定される半径ｃｒが直前の半径ｃｒより大きくなるようにしてステップ４０６を再度試みてみることになる。

また、ステップ４０６に示した条件を満たす特徴境界９が存在した場合でも（ステップ４０７でＹ）、特徴境界９の半径ｃｒが大きかったなどの理由で、ステップ４０６で求めたスコアｓが、現時点で有効なスコアｂｅｓｔより大きい値でなかった場合（ステップ４０８でＮ）、仮設定した半径ｃｒを最大半径ｕｒに代入し（ステップ４１２）、ステップ４０４に戻る。すなわち、ステップ４０５において仮設定した半径ｃｒが大きかった可能性があるため、最大半径ｕｒに半径ｃｒを設定し、ステップ４０５において改めて仮設定される半径ｃｒが直前の半径ｃｒより小さくなるようにしてステップ４０６を再度試みてみることになる。

また、ステップ４０６で求めたスコアｓが、現時点で有効なスコアｂｅｓｔより大きい値であった場合（ステップ４０８でＹ）、スコアｂｅｓｔをスコアｓで更新する（ステップ４０９）。また、スコアｓが最高値となったときの特徴境界９の中心点の座標（ｘ_ｃ、ｙ_ｃ）で（ｘ_ｂ、ｙ_ｂ）を、半径ｃｒでｂｒを、それぞれ更新することによって最高のスコアのときの座標データ及び半径を一時保持する（ステップ４１０）。そして、更に最高スコアとなる特徴境界９を見つけ出すためには、特徴境界９の半径ｃｒを小さくしてスコアの計算を試みてみるのが望ましいことから、仮設定した半径ｃｒを最大半径ｕｒに代入し（ステップ４１２）、ステップ４０４に戻る。

以上説明したステップ４０４〜４１２の処理を、現時点における最大半径ｕｒと最小半径ｌｒとの差が閾値以下になるまで（ステップ４０４でＮ）、繰り返し実行することになる。

本実施の形態では、以上のようにして最大半径ｕｒ又は最小半径ｌｒの値を仮設定した特徴境界９の半径ｃｒで置換していくことによって最大半径ｕｒと最小半径ｌｒとの差を小さくする、換言すると、最大半径ｕｒと最小半径ｌｒとの間を狭めていき、最大半径ｕｒと最小半径ｌｒとの間隔が所定の閾値以内になったときに、一時保持していた半径ｂｒを特徴境界９の半径ｂｒとして決定する。

ところで、ステップ４０５に示した半径ｃｒの算出式からわかるように、本実施の形態では、最大半径ｕｒと最小半径ｌｒとの差を半分ずつ縮めて絞り込みながら好適な特徴境界９の半径ｂｒを決定している。最大半径ｕｒと最小半径ｌｒとの間隔を 少しずつ狭めていく、あるいは 最大半径ｕｒと最小半径ｌｒとがほぼ一致するまで処理を繰り返して特徴境界９の半径ｂｒを決定するのが最適であるようにも考えられる。しかしながら、特徴境界９というのは、そもそもデジタルコンテンツを取得するためにユーザが撮影する最小限の範囲を指定するためのものである。最適解を求めるために必要以上に特徴境界９の半径を狭めても、その狭めた範囲は撮影範囲に含まれることになるので、処理の効率化、高速化の観点から最適解を求めることにそれほどの意味はないと考えられる。つまり、ステップ４０４において用いる所定の閾値というのは、特徴境界９の大きさの許容範囲を設定した値ということができる。

現時点における最大半径ｕｒと最小半径ｌｒとの差が閾値以下になると（ステップ４０４でＮ）、マーカ埋込部３４は、ステップ４１０において一時保持しておいた半径ｂｒと中心点の座標（ｘ_ｂ、ｙ_ｂ）とで特徴境界９の大きさ及び画像上における位置を決定する（ステップ４１３）。

以上のようにして特徴境界９の大きさと画像上において配置する位置が決定されると、この特徴境界９及び既知であるアンカー７及びメディアアイコン８の位置に基づき画像上における特徴境界９とメディアアイコン８との位置関係が決定されると同時にマーカ６の大きさと埋込位置が決定される。そして、前述したように、ステップ５００において、マーカ埋込部３４は、アンカー７の座標データ（ｘ_ａ、ｙ_ａ）及び特徴境界９の中心点の座標データ（ｘ_ｂ、ｙ_ｂ）を参照して、アンカー７により決定される位置にメディアアイコン８の画像及び特徴境界９の画像を、デジタルコンテンツを関連付ける画像上に配置することで当該画像にマーカ６を埋め込む。

画像に埋め込まれたマーカ６において、特徴境界９の中心とアンカー７とは近い位置にあるので、アンカー７により埋込範囲が特定されるメディアアイコン８は、特徴境界９の中において特徴境界９の中心に近い体裁の良い位置に埋め込まれる。

実施の形態２．
上記実施の形態１では、マーカ形成処理において最小半径ｌｒの初期値にメディアアイコン８の大きさを設定することで、特徴境界９はメディアアイコン８より大きいサイズで形成され、また、メディアアイコン８は特徴境界９の中心に近い位置に配置されることになり、メディアアイコン８が特徴境界９からはみ出すことのない体裁の良いマーカ６が形成されることになる。ただ、特徴境界９とメディアアイコン８との位置関係はよくても、マーカ６自体が印刷物１０の周縁のすぐ近くに埋め込まれ、画像全体としての体裁が良くない印刷物１０が出力されてしまう可能性が生じてくる。そこで、本実施の形態では、マーカ６自体の埋込位置まで考慮してマーカ６を形成していることを特徴とする。

図９は、実施の形態１においてスコアｓの計算を説明するために用いた図８に相当する図であるが、本実施の形態では、スコアを計算する際に、特徴境界９の半径ｃｒ及び特徴 境界９の中心点とアンカー７の位置との距離ｄに加え、印刷物１０の周縁と特徴境界９の外周との最短距離ｅを計算式に加えてスコアｓを算出することになる。

本実施の形態におけるスコアｓの計算式は、ｓ＝１／｛ｃｒ＋ｄ＋（Ｔ−ｅ）｝とする。ここで、ｅは、上記最短距離であり、Ｔは定数である。そして、ｅ＜Ｔのときに上記式が適用され、そうでない場合には実施の形態１と同じｓ＝１／（ｃｒ＋ｄ）を用いる。

ｅ＜Ｔのときに上記式を用いるということは、定数Ｔというのは、特徴境界９の外周がどれくらい印刷物１０の周縁に近づいた場合にスコアｓの計算にｅという変数を考慮するかということを意味する。定数Ｔの値が大きければ大きいほど、算出されるスコアｓの値は小さくなるので、印刷物１０の周縁に近い位置の特徴境界９は選ばれにくくなる。一方、定数Ｔの値が小さければ小さいほど、算出されるスコアｓの値は大きくなるので、定数Ｔが大きい場合に比して印刷物１０の周縁に近い位置の特徴境界９は選ばれやすくなる。もちろん、ｅ≧Ｔのときには、印刷物１０の周縁と特徴境界９の外周との距離は実施の形態１と同様に考慮しないので、印刷物１０の周縁と特徴境界９の外周との距離に関係なく特徴境界９の半径ｃｒと特徴境界９の中心点とアンカー７との距離ｄによって特徴境界９の位置は決定される。

本実施の形態は、実施の形態１とはステップ４０６のスコアｓの算出方法が異なるだけで、それ以外の処理内容、また構成等は実施の形態１と同じでよいので説明を省略する。

なお、上記各実施の形態においては、メディアアイコン８の大きさやアンカー７に対する位置を固定して説明したが、例えば、特徴境界９を決めた後にメディアアイコン８のアンカー７に対する位置を調整してメディアアイコン８が特徴境界９から更に離れた位置に配置して、マーカ６５の体裁を更に良くするようにしてもよい。

また、本実施の形態では、アンカー７により表示位置が決定される埋込要素としてコンテンツの種類を表すメディアアイコン８を特徴境界９の中に表示するようにしたが、特徴境界９の中に表示するのは、メディアの種類を特定するメディアアイコン８に限らず、他のアイコンや異なる情報を提供する埋込要素でもよい。

また、本実施の形態では、特徴境界９を円形状としたので、特徴境界９の大きさを表す指標として半径を用いたが、例えば特徴境界９が矩形形状の場合は一辺の長さや辺の合計値など他の指標を用いて特徴境界９の大きさを表してよい。また、円や正方形等の対称の形状でない場合の特徴境界９の中心は、例えば、特徴境界９を囲む矩形形状の中心を、その特徴境界９の中心とするなどして中心点を求めるようにしてもよい。

また、ユーザに提供する情報として、本実施の形態では、デジタルコンテンツを例にして説明したが、他の種類の情報を画像に関連付けるようにしてもよい。更に、本実施の形態では、画像を印刷することにより作成された印刷物１０を携帯電話５のカメラ機能を利用して撮影したが、撮影対象とするのは、必ずしもプリンタ３にて印刷用紙に印刷された印刷物１０に限定する必要はなく冊子上の画像やディスプレイに表示された画像であってもよい。

１ ユーザ端末装置、２ データベースサーバ、３ プリンタ、４ ネットワーク、５ 携帯電話、１１ ＣＰＵ、１２ ＲＯＭ、１３ ＲＡＭ、１４ ハードディスクドライブ（ＨＤＤ）、１５ ＨＤＤコントローラ、１６ マウス、１７ キーボード、１８ ディスプレイ、１９ 入出力コントローラ、２０ ネットワークコントローラ、２１ 内部バス、３０ 画像処理装置、３１ 画像送受信部、３２ 特徴点分布計算部、３３ アンカー位置受付部、３４ マーカ埋込部、３５ コンテンツ特定情報取得部、３６ コンテンツ情報生成部、３７ コンテンツ情報登録部。

Claims (5)

1. ユーザに提供する情報が関連付けられる画像要素を含む画像を取得する手段と、
   前記画像上における前記画像要素の位置を特定する位置情報を取得する手段と、
   前記位置情報により前記画像上に埋め込まれる位置が特定される埋込要素の埋込範囲を取得する手段と、
   前記画像上の特徴点の分布を求める手段と、
   前記画像要素の識別に必要な所定の数以上の特徴点を中に含む所定の形状の境界及び前記埋込要素を、前記画像上において前記埋込要素全体が前記境界の中に含まれるように前記画像に埋め込む埋込手段と、
   前記境界及び前記埋込要素が埋め込まれた画像のうち少なくとも前記境界の中の画像と、当該画像要素に関連付けるユーザに提供する情報を特定する情報とを関連付けて記憶手段に登録する登録手段と、
   を有し、
   前記埋込手段は、前記境界により囲まれた画像の中心の位置と前記位置情報により特定される位置との距離の関係に応じて、取得した前記画像上において前記境界の埋め込む位置及び大きさを決定することを特徴とする画像処理装置。
2. 前記埋込手段は、前記境界の大きさを表す指標と、前記境界の中心の位置と前記位置情報により特定される位置との距離と、の和が最小となるように前記境界の中心位置及び大きさを調整しながら前記境界の埋め込む位置及び大きさを決定することを特徴とする請求項１記載の画像処理装置。
3. 前記埋込手段は、更に調整により画像上に配置された前記境界と前記画像の周縁との距離に応じて前記境界の埋め込む位置及び大きさを決定することを特徴とする請求項２記載の画像処理装置。
4. ユーザ端末装置と、
   画像処理装置と、
   記憶装置と、
   を有し、
   前記ユーザ端末装置は、
   ユーザに提供する情報が関連付けられる画像を特定する情報を前記画像処理装置へ送信する手段と、
   前記画像上の、前記ユーザに提供する情報を関連付ける画像要素の位置をユーザに指定させ、その指定された画像要素の位置を特定する位置情報を前記画像処理装置へ送信する手段と、
   を有し、
   前記画像処理装置は、
   ユーザに提供する情報が関連付けられる画像要素を含む画像を取得する手段と、
   前記画像上における前記画像要素の位置を特定する位置情報を取得する手段と、
   前記位置情報により前記画像上に埋め込まれる位置が特定される埋込要素の埋込範囲を取得する手段と、
   前記画像上の特徴点の分布を求める手段と、
   前記画像要素の識別に必要な所定の数以上の特徴点を中に含む所定の形状の境界及び前記埋込要素を、前記画像上において前記埋込要素全体が前記境界の中に含まれるように前記画像に埋め込む埋込手段と、
   前記境界及び前記埋込要素が埋め込まれた画像のうち少なくとも前記境界の中の画像と、当該画像要素に関連付けるユーザに提供する情報を特定する情報とを関連付けて前記記憶装置に登録する登録手段と、
   を有し、
   前記埋込手段は、前記境界により囲まれた画像の中心の位置と前記位置情報により特定される位置との距離の関係に応じて、取得した前記画像上において前記境界の埋め込む位置及び大きさを決定することを特徴とする情報提供システム。
5. コンピュータを、
   ユーザに提供する情報が関連付けられる画像要素を含む画像を取得する手段、
   前記画像上における前記画像要素の位置を特定する位置情報を取得する手段、
   前記位置情報により前記画像上に埋め込まれる位置が特定される埋込要素の埋込範囲を取得する手段、
   前記画像上の特徴点の分布を求める手段、
   前記画像要素の識別に必要な所定の数以上の特徴点を中に含む所定の形状の境界及び前記埋込要素を、前記画像上において前記埋込要素全体が前記境界の中に含まれるように前記画像に埋め込む埋込手段、
   前記境界及び前記埋込要素が埋め込まれた画像のうち少なくとも前記境界の中の画像と、当該画像要素に関連付けるユーザに提供する情報を特定する情報とを関連付けて記憶手段に登録する登録手段、
   として機能させ、
   前記埋込手段は、前記境界により囲まれた画像の中心の位置と前記位置情報により特定される位置との距離の関係に応じて、取得した前記画像上において前記境界の埋め込む位置及び大きさを決定することを特徴とするプログラム。