JP5684618B2 - 撮影装置および仮想情報表示プログラム - Google Patents

Description

本発明は、撮影装置、制御方法および仮想情報表示プログラムに関する。

近年、現実空間の画像をコンピュータで処理して更なる情報を付加する拡張現実（ＡＲ：Augmented reality）技術が注目されている（例えば、特許文献１参照）。また、現実空間の画像に付加された情報を選択してより詳細な情報を表示させる技術も知られている。

特開２００２−０２７３４９号公報

しかしながら、現実空間の画像に付加する情報が複数ある場合、付加される情報が重なってしまうことがあった。このような場合、重なった情報の１つを任意に選択することは困難であった。

本発明は、画像に付加された複数の情報の１つを容易に選択することができる撮影装置、制御方法および仮想情報表示プログラムを提供することを目的とする。

本発明に係る撮影装置は、撮影部と、前記撮影部によって取得された画像を表示する表示部と、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させる制御部とを備え、前記制御部は、前記画像において前記オブジェクトが表示される位置に、前記撮影部によって撮影された所定の物体が重なった場合に、当該重なったオブジェクトを選択処理する。

ここで、前記制御部は、前記所定の物体と自装置との距離の変化を検出し、前記オブジェクトが複数表示されている場合に、前記所定の物体と自装置との距離の変化に応じて、前記複数のオブジェクトから選択処理するオブジェクトを変更することが好ましい。

また、前記制御部は、前記所定の物体が第１オブジェクトと重なったときの前記所定の物体と自装置との距離を基準として各オブジェクトの相対位置を算出し、前記画像において第２オブジェクトが重ねて表示される位置に前記所定の物体が表示された場合に、前記所定の物体が第１オブジェクトと重なったとき以降に移動した距離と、第２オブジェクトの前記相対位置とに基づいて、当該第２オブジェクトを選択処理することが好ましい。

また、前記制御部は、前記オブジェクトが表示される位置に前記所定の物体が検出された場合に、前記所定の物体との相対位置が最も近いオブジェクトを選択することが好ましい。

また、前記制御部は、前記撮影部の合焦機能によって、前記所定の物体と自装置との距離を算出することが好ましい。

また、前記制御部は、前記撮影部によって取得された画像中での前記所定の物体の大きさに基づいて、前記所定の物体と自装置との距離を算出することが好ましい。

また、前記制御部は、前記所定の物体が前記オブジェクトと重なった際に前記所定の物体と自装置との距離を算出することが好ましい。

また、前記制御部は、前記所定の物体の動作に応じて、前記選択されたオブジェクトに対応する処理を実行することが好ましい。

また、前記制御部は、予め記憶された情報に基づいて前記所定の物体か否かを判定することが好ましい。

また、前記制御部は、所定の角度以下からなる先端部を有する物体を前記所定の物体として検出することが好ましい。

また、前記制御部は、前記先端部の位置を基準として前記所定の物体と前記オブジェクトとが重なって表示されているか否かを判定することが好ましい。

また、前記制御部は、前記オブジェクトが表示される位置に前記所定の物体が重なって表示された場合、前記オブジェクトと自端末との距離が前記所定の物体と自端末との距離よりも小さければ、前記所定の物体よりも前面に前記オブジェクトを表示することが好ましい。

また、前記オブジェクトは、当該オブジェクトに関連する位置を示す位置情報と、当該オブジェクトに関連づけられた情報を示すリンク情報とを含む情報と対応づけられていることが好ましい。

また、上述した課題を解決し、目的を達成するために、本発明に係る制御方法は、撮影部によって取得された画像を表示するステップと、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、前記画像において前記オブジェクトが表示される位置に、前記撮影部によって撮影された所定の物体が重なった場合に、当該重なったオブジェクトを選択処理するステップとを含む。

また、上述した課題を解決し、目的を達成するために、本発明に係る仮想情報表示プログラムは、情報処理装置に、撮影部によって取得された画像を表示するステップと、前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、前記画像において前記オブジェクトが表示される位置に、前記撮影部によって撮影された所定の物体が重なった場合に、当該重なったオブジェクトを選択処理するステップとを実行させる。

本発明は、画像に付加された複数の情報の１つを容易に選択することができるという効果を奏する。

図１は、本実施例に係る携帯電話端末の外観を示す正面図である。 図２は、本実施例に係る携帯電話端末の機能的な構成を示すブロック図である。 図３は、仮想情報の一例を示す図である。 図４は、１つめのＡＲタグの選択の一例を示す図である。 図５は、１つめのＡＲタグの候補が複数ある例を示す図である。 図６は、基準距離と換算係数について説明するための図である。 図７は、重なったＡＲタグの中から手前にあるＡＲタグを選択する例を示す図である。 図８は、ＡＲタグを選択するための閾値の一例を示す図である。 図９は、重なったＡＲタグの中から奥にあるＡＲタグを選択する例を示す図である。 図１０は、携帯電話端末によるＡＲタグ選択処理の処理手順を示す図である。 図１１は、携帯電話端末によるＡＲタグ対応動作実行処理の処理手順を示す図である。

以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、撮影装置の一例として携帯電話端末について説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、例えば、ＰＨＳ（Personal Handyphone System）、ＰＤＡ、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等の各種情報処理装置に対しても本発明は適用できる。

まず、図１を参照しながら、本実施例に係る携帯電話端末１の外観について説明する。図１は、携帯電話端末１の外観を示す正面図である。図１に示すように、携帯電話端末１の筐体１Ｃは、ヒンジ機構８によって開閉可能に連結された第１筐体１ＣＡと第２筐体１ＣＢとを備える。すなわち、携帯電話端末１は、折り畳み式の筐体を有する。

なお、携帯電話端末１の筐体は、このような構造に限定されるものではない。例えば、携帯電話端末１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して２つの筐体を連結したものでもよい。また、携帯電話端末１の筐体は、１つの筐体からなるいわゆるストレート式（スレート式）の筐体でもよい。

第１筐体１ＣＡは、表示部２と、レシーバ１６と、撮影部４０とを有する。表示部２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Organic Electro−Luminescence）パネル等の表示装置を備え、文字、図形、画像等の各種情報を表示する。表示部２は、撮影部４０によって取得された画像を表示することもできる。レシーバ１６は、通話時に通話相手の音声を出力する。

撮影部４０は、撮像センサ等の撮影手段によって画像を撮影する。撮影部４０の撮影手段に外部の光を導く撮影窓は、第１筐体１ＣＡの表示部２が設けられている面と反対側の面に設けられている。すなわち、第１筐体１ＣＡは、利用者が表示部２を正面から見ると、撮影部４０によって取得された第１筐体１ＣＡの向こう側の画像が表示部２に表示されるように構成されている。

第２筐体１ＣＢは、テンキーや機能キー等からなる操作キー１３Ａと、メニューの選択および決定や画面のスクロール等を実行するための方向および決定キー１３Ｂと、通話時に音声を取得する音声取得手段であるマイク１５とを有する。操作キー１３Ａと、方向および決定キー１３Ｂとは、携帯電話端末１の操作部１３を構成する。なお、操作部１３は、操作キー１３Ａ等に代えて、または、操作キー１３Ａ等に加えて、表示部２に重畳されたタッチセンサを備えていてもよい。

次に、図２を参照しながら、携帯電話端末１の機能的な構成について説明する。図２は、携帯電話端末１の機能的な構成を示すブロック図である。図２に示すように、携帯電話端末１は、通信部２６と、操作部１３と、音声処理部３０と、表示部２と、撮影部４０と、位置・姿勢検出部３６と、制御部２２と、記憶部２４とを備える。

通信部２６は、アンテナ２６ａを有し、基地局によって割り当てられるチャネルを介し、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式などによる無線信号回線を確立し、基地局を通じて他の装置との間で電話通信および情報通信を行う。操作部１３は、操作キー１３Ａ、または、方向および決定キー１３Ｂがユーザによって操作されると、その操作内容に対応する信号を制御部２２へ出力する。

音声処理部３０は、マイク１５から入力される音声をデジタル信号化して制御部２２へ出力する。また、音声処理部３０は、制御部２２から出力されるデジタル信号を復号してレシーバ１６へ出力する。表示部２は、制御部２２から入力される制御信号に従って各種情報を表示する。撮影部４０は、取得した画像をデジタル信号に変換して制御部２２へ出力する。

位置・姿勢検出部３６は、携帯電話端末１の位置と姿勢を検出し、検出結果を制御部２２へ出力する。位置・姿勢検出部３６は、携帯電話端末１の位置を、例えば、ＧＰＳ（Global Positioning System）受信機や通信部２６が無線信号回線を確立している基地局に基づいて検出する。また、位置・姿勢検出部３６は、携帯電話端末１の姿勢を、例えば、３軸加速度センサ、方位センサ、ジャイロセンサに基づいて検出する。

制御部２２は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメモリとを備え、これらのハードウェア資源を用いてプログラムを実行することによって各種の機能を実現する。具体的には、制御部２２は、記憶部２４に記憶されているプログラムやデータを読み出してメモリに展開し、メモリに展開されたプログラムに含まれる命令をＣＰＵに実行させる。そして、制御部２２は、ＣＰＵによる命令の実行結果に応じて、メモリおよび記憶部２４に対してデータの読み書きを行ったり、通信部２６や表示部２等の動作を制御したりする。ＣＰＵが命令を実行するに際しては、メモリに展開されているデータや位置・姿勢検出部３６等から入力される信号がパラメータとして利用される。

記憶部２４は、フラッシュメモリ等の不揮発性を有する記憶装置からなり、各種のプログラムやデータを記憶する。記憶部２４に記憶されるプログラムおよびデータには、仮想情報表示プログラム２４ａと、１ないし複数の仮想情報２４ｂと、ポインタ情報２４ｃとが含まれる。なお、記憶部２４は、メモリカード等の可搬の記憶媒体と、記憶媒体に対して読み書きを行う読み書き装置との組み合わせによって構成されてもよい。この場合、記憶部２４に記憶されていることとしたプログラムおよびデータは、可搬の記憶媒体に記憶される。また、記憶部２４に記憶されていることとしたプログラムおよびデータは、通信部２６による無線通信によってサーバ装置等の他の装置から取得されることとしてもよい。

仮想情報表示プログラム２４ａは、拡張現実（ＡＲ：Augmented reality）技術に基づいて、撮影部４０によって取得した現実の画像に現実の施設や物品に対応した仮想的な情報を重ねて表示部２に表示する機能を提供する。具体的には、仮想情報表示プログラム２４ａは、位置・姿勢検出部３６によって検出される位置と姿勢等に基づいて撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを取得させる。そして、仮想情報表示プログラム２４ａは、取得した仮想情報２４ｂに対応するＡＲタグと呼ばれるオブジェクトを画像に重ねて表示させる。

また、仮想情報表示プログラム２４ａは、ＡＲタグを選択するための所定の物体（以下、「ポインタ」）を用いて利用者に任意のＡＲタグを選択させる機能と、選択されたＡＲタグに関連づけられた動作を実行する機能を提供する。ポインタは、例えば、指、ペン、差し棒である。仮想情報表示プログラム２４ａは、複数のＡＲタグが重なっている場合でも、任意のＡＲタグを利用者が選択することを可能にする。

仮想情報２４ｂは、撮影部４０によって取得された画像に重ねて表示されるＡＲタグに関する情報を保持する。図３は、仮想情報２４ｂの一例を示す図である。図３に示すように、仮想情報２４ｂは、緯度、経度、高さ、画像、ＵＲＬ（Uniform Resource Locator）といった項目を有する。緯度、経度、高さは、仮想情報２４ｂに対応する現実の施設や物品の位置を示す。画像は、ＡＲタグとして表示されるオブジェクトの実体を示す。ＵＲＬは、ＡＲタグに関連づけられた情報を示す。

なお、表示対象の仮想情報２４ｂの全てを予め記憶部２４に記憶させるのではなく、携帯電話端末１の位置と姿勢とに基づいて、撮影部４０の撮影範囲およびその周辺に存在する施設や物品に対応する仮想情報２４ｂをサーバ装置から随時取得してもよい。この場合、所定量または所定件数の仮想情報２４ｂを記憶部２４にキャッシュするようにしてもよい。なお、ここでいうサーバ装置とは、例えば、ＡＲサービスを提供する業者によって運営される装置である。

ポインタ情報２４ｃは、撮影部４０によって取得された画像に含まれるポインタを検出するための情報を保持する。ポインタを検出するための情報とは、例えば、ポインタの形状や色である。なお、本実施例では、ポインタとして利用者の指を用い、ポインタ情報２４ｃにはポインタの形状として、所定の角度以下の先端部を有する形状が登録されているものとする。

次に、図４から図９を参照しながら、仮想情報表示プログラム２４ａが提供する機能に基づいて制御部２２によって実行されるＡＲタグの選択処理について説明する。図４は、１つめのＡＲタグの選択の一例を示す図である。図５は、１つめのＡＲタグの候補が複数ある例を示す図である。図６は、基準距離と換算係数について説明するための図である。図７は、重なったＡＲタグの中から手前にあるＡＲタグを選択する例を示す図である。図８は、ＡＲタグを選択するための閾値の一例を示す図である。図９は、重なったＡＲタグの中から奥にあるＡＲタグを選択する例を示す図である。

図４に示すように、制御部２２は、撮影部４０によって取得した画像Ｐを表示部２に表示させるとともに、画像Ｐをポインタ情報２４ｃと照合してポインタの検出を試みる。ポインタが検出されると、制御部２２は、二値化等によってポインタを含む形状（例えば、手の形状）の輪郭を抽出する。なお、指をポインタとする場合は、例えば、特開２００３−３４６１６２号公報にて開示されている技術等を用いてポインタの検出を試みてもよい。

また、制御部２２は、位置・姿勢検出部３６によって検出された携帯電話端末１の位置と姿勢とに基づいて、撮影部４０の撮影範囲にある施設や物品に対応する仮想情報２４ｂを取得し、取得した仮想情報２４ｂに対応するＡＲタグを画像Ｐに重ねて表示部２に表示させる。

具体的には、制御部２２は、取得した仮想情報２４ｂを示す位置が、撮影部４０によって取得される画像Ｐのどの位置に対応するかを算出し、算出した位置に仮想情報２４ｂに対応するＡＲタグを表示させる。仮想情報２４ｂが示す位置が画像Ｐのどこに対応するかは、位置・姿勢検出部３６によって検出された携帯電話端末１の位置と姿勢、仮想情報２４ｂの含まれる位置情報、撮影部４０の撮像面のサイズおよび画角等に基づいて算出される。

また、画像Ｐにおいて一部でも重なる領域があるＡＲタグは、対応する仮想情報２４ｂの示す位置が携帯電話端末１に近いほど上になるように重ねて表示される。

図４に示すステップＳ１１では、画像Ｐには指Ｆが写っているので、画像Ｐをポインタ情報２４ｃと照合することによって、画像Ｐに含まれる指Ｆがポインタとして検出される。また、ステップＳ１１では、撮影部４０の撮影範囲にある施設や物品に対応するＡＲタグＡ１〜ＡＲタグＡ４の４つのＡＲタグが画像Ｐに重ねて表示されている。ＡＲタグＡ２〜Ａ４は、対応する仮想情報２４ｂが示す位置が撮影部４０の焦点からみて近いために重なり合っている。

この場面では、ポインタである指Ｆは、どのＡＲタグとも重なっていない。このように指ＦがいずれのＡＲタグとも重なっていない場合、どのＡＲタグも選択されない。なお、指ＦがＡＲタグと重なっているか否かは、指Ｆの先端を基準として判断することが好ましい。

続いて、ステップＳ１２では、指Ｆが上へ移動することによって、指Ｆの先端がＡＲタグＡ３の端部に重なっている。このように、指Ｆの先端がいずれかのＡＲタグに初めて重なると、制御部２２は、指Ｆの先端が重なったＡＲタグを選択状態にする。制御部２２は、いずれかのＡＲタグを選択状態にすると、ステップＳ１３に示すように、選択状態にしたＡＲタグを、あたかも振動しているかのように短時間に位置を何度も変更しながら表示する。このように表示することにより、ＡＲタグが選択されたことを利用者が容易に把握することができる。

なお、ここでは指Ｆが画像Ｐの下側から上側へ移動する過程で最初に重なったＡＲタグが選択される例を示したが、指Ｆの移動方向に関わりなく、指ＦがいずれかのＡＲタグに初めて重なると、そのＡＲタグが選択状態となる。

また、指Ｆの先端がいずれかのＡＲタグに初めて重なった場合、ステップＳ１２およびステップＳ１３に示すように、指Ｆを含む形状をＡＲタグより前面に表示することが好ましい。このように制御することにより、指Ｆの先端の位置が明確になり、どのＡＲタグが選択されるかを利用者が把握しやすくなる。

また、指Ｆの先端がＡＲタグと初めて重なった位置に複数のＡＲタグが表示されている場合には、最も上に表示されているＡＲタグ、すなわち、対応する仮想情報２４ｂが示す位置が携帯電話端末１に最も近いＡＲタグを選択状態にすることが好ましい。例えば、図５に示すように、指Ｆの先端がＡＲタグと初めて重なった位置にＡＲタグＡ４、ＡＲタグＡ５、ＡＲタグＡ６の３つのＡＲタグが重なって表示されている場合、最上位のＡＲタグＡ４を選択状態にすることが好ましい。このように制御することにより、全体像が表示されているＡＲタグが選択状態となる可能性が高くなり、どのＡＲタグが選択状態となったかを利用者が把握しやすくなる。

こうして、指Ｆの先端が初めて重なったＡＲタグを選択状態にすると、制御部２２は、その時点での携帯電話端末１と指Ｆの先端との距離を測定し、測定された距離を基準距離としてメモリに記憶させる。携帯電話端末１と指Ｆの先端との距離の測定は、例えば、撮影部４０が焦点を対象物に合わせるために用いる合焦機能によって実現される。なお、携帯電話端末１と指Ｆの先端との距離は、例えば、赤外線や音波等を用いて距離を測定する測距センサを用いて測定してもよいし、予め所定の距離と対応付けて指Ｆ情報２４ｃに保持されている指Ｆの大きさと画像Ｐ中の指Ｆの大きさの比率に基づいて算出してもよい。

続いて、制御部２２は、位置・姿勢検出部３６によって検出された携帯電話端末１の位置と選択状態になったＡＲタグに対応する仮想情報２４ｂが示す位置との距離を算出する。そして、制御部２２は、求めた２つの距離に基づいて、選択状態にある仮想情報２４ｂが示す位置と他の仮想情報２４ｂが示す位置との奥行き方向の距離を指Ｆの先端の移動距離に換算するための換算係数を算出する。

図６に示すように、基準距離がＤＳであり、選択状態にあるＡＲタグＡ３に対応する仮想情報２４ｂが示す位置Ｐ３と携帯電話端末１との距離がＤ３であるとすると、換算係数はＤＳ／Ｄ３となる。この換算係数を用いることにより、ＡＲタグＡ３を基準とした各ＡＲタグの奥行き方向の相対位置を指Ｆの位置と対応させることができる。

例えば、ＤＳが１０［ｃｍ］、すなわち、０．１［ｍ］であり、Ｄ３が１００［ｍ］であるとすると、換算係数は、０．００１となる。この場合、ＡＲタグＡ２に対応する仮想情報２４ｂが示す位置Ｐ２が位置Ｐ３から５０［ｍ］手前にあるとすると、５０×０．００１［ｍ］、すなわち、指Ｆを５ｃｍ手前に移動させた位置がＡＲタグＡ２の奥行き方向の位置となる。

同様に、ＡＲタグＡ１に対応する仮想情報２４ｂが示す位置Ｐ１が位置Ｐ３から１０［ｍ］手前にあるとすると、１０×０．００１［ｍ］、すなわち、指Ｆを１ｃｍ手前に移動させた位置がＡＲタグＡ１の奥行き方向の位置となる。また、ＡＲタグＡ４に対応する仮想情報２４ｂが示す位置Ｐ４が位置Ｐ３から３０［ｍ］奥にあるとすると、４０×０．００１［ｍ］、すなわち、指Ｆを４ｃｍ奥に移動させた位置がＡＲタグＡ４の奥行き方向の位置となる。

このように、ＡＲタグの奥行き方向の相対位置を指Ｆの位置と対応させることにより、画面Ｐ上に重なって表示されているＡＲタグのいずれか１つを指Ｆの位置を奥行き方向へ移動させることで任意に選択することが可能になる。

なお、ここでは、選択状態にあるＡＲタグに対応する仮想情報２４ｂが示す位置と携帯電話端末１との距離と基準距離とに基づいて算出した換算係数をそのまま用いることとしたが、換算係数を適宜調整して用いてもよい。例えば、指Ｆを携帯電話端末１から離すことができる距離は高々１ｍ程度であると考えられるため、最も遠いＡＲタグの奥行き方向の位置がこの範囲に収まるように換算係数の大きさを調整してもよい。

図７に示すステップＳ２１からステップＳ２３では、画像Ｐに含まれる指Ｆが徐々に手前へ移動し、ステップＳ２３ではＡＲタグＡ２の奥行き方向の位置まで達するとともに、指Ｆの先端がＡＲタグＡ２に重なっている。このように、指Ｆの先端がいずれかのＡＲタグに重なるとともに、そのＡＲタグの奥行き方向の位置と指Ｆの先端の奥行き方向の位置とが一致すると、制御部２２は、そのＡＲタグを選択状態にする。そして、制御部２２は、選択状態にしたＡＲタグを、あたかも振動しているかのように短時間に位置を何度も変更しながら表示する。

なお、ＡＲタグの奥行き方向の位置と指Ｆの先端の奥行き方向の位置との一致は厳密に判定しなくてもよい。すなわち、図８に示すように、ＡＲタグ毎に閾値を設け、指Ｆの先端の奥行き方向の位置が、ＡＲタグの奥行き方向の位置から閾値の範囲内にある場合には、ＡＲタグの奥行き方向の位置と指Ｆの先端の奥行き方向の位置とが一致しているとみなしてもよい。

この場合、ＡＲタグＡ１の閾値Ｔ１およびＡＲタグＡ３の閾値Ｔ３のように、奥行き方向において他のＡＲタグと近接しているＡＲタグの閾値は小さくし、ＡＲタグＡ２の閾値Ｔ２およびＡＲタグＡ４の閾値Ｔ４のように、他のＡＲタグと離れているＡＲタグの閾値は大きくしてもよい。このように閾値を設定することにより、ＡＲタグの選択のしやすさと誤選択の発生の抑制とを両立させることができる。

また、指Ｆの角度によっては指Ｆが奥行き方向へ移動していることを検出し難いため、画像Ｐ上での指Ｆの位置が一定の場所に一定時間以上留まっている場合には、指Ｆが所定の速度で奥行き方向へ移動しているものとみなしてもよい。

図９に示すステップＳ３１からステップＳ３３では、画像Ｐに含まれる指Ｆが徐々に奥へ移動し、ステップＳ３３ではＡＲタグＡ４の奥行き方向の位置まで達するとともに、指Ｆの先端がＡＲタグＡ４に重なっている。この場合、指Ｆの先端がＡＲタグＡ４に重なるとともに、そのＡＲタグＡ４の奥行き方向の位置と指Ｆの先端の奥行き方向の位置とが一致しているため、制御部２２は、そのＡＲタグＡ４を選択状態にする。そして、制御部２２は、選択状態にしたＡＲタグＡ４を、あたかも振動しているかのように短時間に位置を何度も変更しながら表示する。

ここで、制御部２２は、ステップＳ３２に示すように、指Ｆの先端がＡＲタグＡ３の手前側から奥側へ移動するに際して、指Ｆの先端を避けるようにＡＲタグＡ３を一時的に移動させる。この移動のタイミングとして、指Ｆの先端が、携帯電話端末１から見てＡＲタグの位置より奥に位置したときとする。また、ＡＲタグに閾値が設定されている場合には、閾値の範囲を超えて指Ｆの先端が奥に位置したときとしてもよい。このように、指Ｆが奥行き方向にＡＲタグを通過するに際して、指Ｆを避けるようにＡＲタグを一時的に移動させることにより、指の奥行き方向の位置がどこまで達したかを利用者に提示することができる。また、このような表示効果は、指ＦがＡＲタグをかき分けて進むように見えるため、利用者が指Ｆの位置を直感的に認識するのに好適である。

また、制御部２２は、ステップＳ３３に示すように、ＡＲタグＡ２およびＡＲタグＡ３の奥行き方向の位置が指Ｆの先端の奥行き方向の位置よりも手前にある場合、ＡＲタグＡ２およびＡＲタグＡ３を指Ｆよりも前面に表示させる。このように、奥行き方向の位置に応じてＡＲタグと指Ｆを重ねて表示する順序を変更することにより、ＡＲタグと指Ｆの奥行き方向の位置関係を視覚的に利用者に提示することができる。

次に、図１０および図１１を参照しながら、携帯電話端末１の動作について説明する。図１０は、携帯電話端末１によるＡＲタグ選択処理の処理手順を示す図である。図１１は、携帯電話端末１によるＡＲタグ対応動作実行処理の処理手順を示す図である。図１０および図１１に示す処理手順は、仮想情報表示プログラム２４ａが起動された後、利用者が所定の終了操作を行うまで繰り返して並列に実行される。なお、ＡＲタグ選択処理およびＡＲタグ対応動作実行処理は、制御部２２が仮想情報表示プログラム２４ａを実行することによって実現される。

図１０に示すように、制御部２２は、まず、ステップＳ１０１として、撮影部４０で取得された画像Ｐを表示部２に表示させる。そして、制御部２２は、ステップＳ１０２として、位置・姿勢検出部３６に自装置の位置と姿勢を取得させる。

続いて、制御部２２は、ステップＳ１０３として、自装置の位置と姿勢等に基づいて、撮影部４０の撮影範囲に対応する仮想情報２４ｂを取得する。そして、制御部２２は、ステップＳ１０４として、取得した仮想情報２４ｂに対応するＡＲタグを画像Ｐに重ねて表示部２に表示させる。

続いて、制御部２２は、ステップＳ１０５として、画像Ｐに含まれるポインタを検出する。画像Ｐに含まれるポインタが検出された場合（ステップＳ１０６，Ｙｅｓ）、制御部２２は、ステップＳ１０７として、基準距離が設定済みであるかを判定する。基準距離が設定済みでない場合（ステップＳ１０７，Ｎｏ）、制御部２２は、ステップＳ１０８として、対応するＡＲタグがポインタの先端と重なっている仮想情報２４ｂを検索する。ここで、該当する仮想情報２４ｂがない場合、すなわち、ポインタの先端がいずれのＡＲタグとも重なっていない場合（ステップＳ１０９，Ｎｏ）、制御部２２は、特に処理をおこなわない。

一方、該当する仮想情報２４ｂがみつかった場合、すなわち、ポインタの先端がいずれかのＡＲタグと重なっている場合（ステップＳ１０９，Ｙｅｓ）、制御部２２は、ステップＳ１１０として、該当する仮想情報に対応するＡＲタグを選択状態にする。そして、制御部２２は、ステップＳ１１１として、自装置とポインタの先端との距離を測定し、測定された距離を基準距離として設定する。

続いて、制御部２２は、ステップＳ１１２として、選択状態のＡＲタグに対応する仮想情報２４ｂが示す位置と自装置との距離を算出し、ステップＳ１１３として、算出した距離と基準距離とに基づいて換算係数を算出する。そして、制御部２２は、ステップＳ１１４として、選択状態のＡＲタグから他のＡＲタグへの奥行き方向の距離を、対応する仮想情報２４ｂが示す位置間の距離と換算係数とに基づいて算出する。

ステップＳ１０７で基準距離が設定済みであった場合（ステップＳ１０７，Ｙｅｓ）、制御部２２は、ステップＳ１１５として、自装置とポインタの先端との距離を測定する。次に、制御部２２は、ステップＳ１１６として、測定された距離と基準距離の差、すなわち、ポインタの移動距離を算出する。

続いて、制御部２２は、ステップＳ１１７として、対応するＡＲタグがポインタの先端と重なり、かつ、対応するＡＲタグの奥行き方向の位置とポインタの先端の奥行き方向の現在位置とが一致する仮想情報を検索する。該当する仮想情報２４ｂがみつかった場合、（ステップＳ１１８，Ｙｅｓ）、制御部２２は、ステップＳ１１９として、該当する仮想情報に対応するＡＲタグを選択状態にする。該当する仮想情報２４ｂがない場合（ステップＳ１１８，Ｎｏ）、制御部２２は、特に処理をおこなわない。

また、画像Ｐに含まれるポインタが検出されない場合（ステップＳ１０６，Ｎｏ）、制御部２２は、ステップＳ１２０として、基準距離をクリアして、基準距離を設定し直すことができるようにする。なお、位置・姿勢検出部３６によって検出される携帯電話端末１の位置と姿勢が所定以上変化した場合にも基準距離をクリアすることが好ましい。

図１１に示すように、制御部２２は、まず、ステップＳ２０１として、起動動作が検出されたかを判定する。起動動作とは、ＡＲタグに対応する動作を起動するための動作である。起動動作は、例えば、操作部１３のいずれかのキーを押下する動作であってもよいし、表示部２に表示されている選択状態のＡＲタグを指ではじいたり、摘んだりする動作であってもよい。後者の場合、起動動作は、撮影部４０よって取得される画像Ｐを解析することによって検出される。

起動動作が検出された場合（ステップＳ２０１，Ｙｅｓ）、制御部２２は、ステップＳ２０２として、対応するＡＲタグが選択状態にある仮想情報２４ｂがあるかを判定する。対応するＡＲタグが選択状態にある仮想情報２４ｂがある場合（ステップＳ２０２，Ｙｅｓ）、制御部２２は、ステップＳ２０３として、その仮想情報２４ｂに対応する動作を実行する。仮想情報２４ｂに対応する動作とは、例えば、仮想情報２４ｂに含まれるＵＲＬにアクセスしてＷＥＢページを表示する動作である。

起動動作が検出されない場合（ステップＳ２０１，Ｎｏ）、または、対応するＡＲタグが選択状態にある仮想情報２４ｂがない場合（ステップＳ２０２，Ｎｏ）、特に処理は実行されない。

上述してきたように、本実施例では、画像に付加された複数のＡＲタグの１つを容易に選択することができる。

なお、上記の実施例で示した本発明の態様は、本発明の要旨を逸脱しない範囲で任意に変更することができる。例えば、上記の実施例では、ＡＲタグの選択に関する処理を携帯電話端末１が実行することとしたが、この処理を携帯電話端末１と通信可能なサーバ装置が実行することとしてもよい。この場合、携帯電話端末１は、撮影部４０によって取得された画像Ｐと、位置・姿勢検出部３６によって検出された携帯電話端末１の位置および姿勢とをサーバ装置に送信し、サーバ装置から応答された処理済みの画像を表示部２に表示する。

１ 携帯電話端末
２ 表示部
１３ 操作部
２２ 制御部
２４ 記憶部
２４ａ 仮想情報表示プログラム
２４ｂ 仮想情報
２４ｃ ポインタ情報
２６ 通信部
３０ 音声処理部
３６ 位置・姿勢検出部
４０ 撮影部

Claims (15)

1. 撮影部と、
   前記撮影部によって取得された画像を表示する表示部と、
   前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させる制御部とを備え、
   前記制御部は、前記画像において前記オブジェクトが表示される位置に、前記撮影部によって撮影された所定の物体が重なった場合に、当該重なったオブジェクトを選択処理し、
   前記制御部は、前記所定の物体と自装置との距離の変化を検出し、前記オブジェクトが複数表示されている場合に、前記所定の物体と自装置との距離の変化に応じて、前記複数のオブジェクトから選択処理するオブジェクトを変更することを特徴とする撮影装置。
2. 撮影部と、
   前記撮影部によって取得された画像を表示する表示部と、
   前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させる制御部とを備え、
   前記制御部は、前記画像において前記オブジェクトが表示される位置に、前記撮影部によって撮影された所定の物体が重なった場合に、当該重なったオブジェクトを選択処理し、
   前記制御部は、前記所定の物体が第１オブジェクトと重なったときの前記所定の物体と自装置との距離を基準として各オブジェクトの相対位置を算出し、前記画像において第２オブジェクトが重ねて表示される位置に前記所定の物体が表示された場合に、前記所定の物体が第１オブジェクトと重なったとき以降に移動した距離と、第２オブジェクトの前記相対位置とに基づいて、当該第２オブジェクトを選択処理することを特徴とする撮影装置。
3. 前記制御部は、前記所定の物体が第１オブジェクトと重なったときの前記所定の物体と自装置との距離を基準として各オブジェクトの相対位置を算出し、前記画像において第２オブジェクトが重ねて表示される位置に前記所定の物体が表示された場合に、前記所定の物体が第１オブジェクトと重なったとき以降に移動した距離と、第２オブジェクトの前記相対位置とに基づいて、当該第２オブジェクトを選択処理することを特徴とする請求項１に記載の撮影装置。
4. 前記制御部は、前記オブジェクトが表示される位置に前記所定の物体が検出された場合に、前記所定の物体との相対位置が最も近いオブジェクトを選択することを特徴とする請求項２または３に記載の撮影装置。
5. 前記制御部は、前記撮影部の合焦機能によって、前記所定の物体と自装置との距離を算出することを特徴とする請求項１から４のいずれか１項に記載の撮影装置。
6. 前記制御部は、前記撮影部によって取得された画像中での前記所定の物体の大きさに基づいて、前記所定の物体と自装置との距離を算出することを特徴とする請求項１から４のいずれか１項に記載の撮影装置。
7. 前記制御部は、前記所定の物体が前記オブジェクトと重なった際に前記所定の物体と自装置との距離を算出することを特徴とする請求項１から６のいずれか１項に記載の撮影装置。
8. 前記制御部は、前記所定の物体の動作に応じて、前記選択されたオブジェクトに対応する処理を実行することを特徴とする請求項１から７のいずれか１項に記載の撮影装置。
9. 前記制御部は、予め記憶された情報に基づいて前記所定の物体か否かを判定することを特徴とする請求項１から８のいずれか１項に記載の撮影装置。
10. 前記制御部は、所定の角度以下からなる先端部を有する物体を前記所定の物体として検出することを特徴とする請求項９に記載の撮影装置。
11. 前記制御部は、前記先端部の位置を基準として前記所定の物体と前記オブジェクトとが重なって表示されているか否かを判定することを特徴とする請求項１０に記載の撮影装置。
12. 前記制御部は、前記オブジェクトが表示される位置に前記所定の物体が重なって表示された場合、前記オブジェクトと自端末との距離が前記所定の物体と自端末との距離よりも小さければ、前記所定の物体よりも前面に前記オブジェクトを表示することを特徴とする請求項２から１１のいずれか１項に記載の撮影装置。
13. 前記オブジェクトは、当該オブジェクトに関連する位置を示す位置情報と、当該オブジェクトに関連づけられた情報を示すリンク情報とを含む情報と対応づけられていることを特徴とする請求項１から１２のいずれか１項に記載の撮影装置。
14. 情報処理装置に、
    撮影部によって取得された画像を表示部に表示させるステップと、
    前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、
    前記画像において前記オブジェクトが表示される位置に、前記撮影部によって撮影された所定の物体が重なった場合に、当該重なったオブジェクトを選択処理するステップと、
    前記所定の物体と自装置との距離の変化を検出し、前記オブジェクトが複数表示されている場合に、前記所定の物体と自装置との距離の変化に応じて、前記複数のオブジェクトから選択処理するオブジェクトを変更するステップと
    を実行させることを特徴とする仮想情報表示プログラム。
15. 情報処理装置に、
    撮影部によって取得された画像を表示部に表示させるステップと、
    前記撮影部によって取得された前記画像に関連するオブジェクトを前記画像に重ねて前記表示部に表示させるステップと、
    前記画像において前記オブジェクトが表示される位置に、前記撮影部によって撮影された所定の物体が重なった場合に、当該重なったオブジェクトを選択処理するステップと、
    前記所定の物体が第１オブジェクトと重なったときの前記所定の物体と自装置との距離を基準として各オブジェクトの相対位置を算出し、前記画像において第２オブジェクトが重ねて表示される位置に前記所定の物体が表示された場合に、前記所定の物体が第１オブジェクトと重なったとき以降に移動した距離と、第２オブジェクトの前記相対位置とに基づいて、当該第２オブジェクトを選択処理するステップと
    を実行させることを特徴とする仮想情報表示プログラム。

Images