JP6637576B1 - 情報処理プログラム、サーバ・クライアントシステム、及び情報処理方法 - Google Patents

Abstract

【課題】ユーザにより指示された撮像画像上の位置を簡単に特定し、簡単なフォーマットの情報で出力することが可能となる情報出力プログラム、情報出力装置、及び情報出力方法を提供する。【解決手段】タッチパネルを備えたスマートフォンに実行されるパンフレット検出処理は、パンフレットを撮影して得られた撮像画像であって、タッチパネル上に表示された撮像画像３０１"に対してユーザがタップ指示した位置Ｘを検出する処理と、タッチパネル上に表示された撮像画像３０１"からパンフレットに含まれる頂点Ａ，Ｂを２点検出する処理と、当該検出された２点の頂点Ａ，Ｂを結ぶ線分を底辺とし、上記検出された、ユーザがタップ指示した位置Ｘを頂点とする三角形について、２つの底角の角度θａ，θｂをそれぞれ算出する処理と、上記算出された２つの底角の角度θａ，θｂをサーバコンピュータに出力する処理と、を有する。【選択図】 図３

Description

本発明は、ユーザにより指示された撮像画像上の位置を特定して出力する情報処理プログラム、サーバ・クライアントシステム、及び情報処理方法に関するものである。

従来より、ユーザにより指示された撮像画像上の位置を特定して出力する装置に関する技術が種々提案されている。

例えば、特許文献１に記載された情報出力装置は、地図等の媒体面に印刷されたドットパターンの同一の領域に複数の情報を定義して、撮像手段による撮像動作等によってそれらの情報を選択的に出力させるようにしている。

特開２００７−７９９９３号公報

しかし、上記従来の情報出力装置では、情報を出力させる場合には、媒体面にドットパターンを印刷する必要があり、面倒であるとともに、コストが増大する。

また、上記従来の情報出力装置では、ドットパターンの同一の領域に複数の情報が定義してあり、情報出力は、当該定義された情報である、コード情報を解析し、その解析結果に基づいて行われる。したがって、情報出力装置として、高いＣＰＵ能力のものを用いる必要があり、製造コストが増大する。さらに、コード情報を解析するためのソフトウェアを開発しなければならないため、その開発費用も必要となり、製造コストはさらに増大する。

そこで、本発明は、以上のようなことに対処するため、ユーザにより指示された撮像画像上の位置を簡単に特定し、簡単なフォーマットの情報で出力することが可能となる情報処理プログラム、サーバ・クライアントシステム、及び情報処理方法を提供することを目的とする。

この課題を解決するためになされた請求項１に係る発明は、タッチパネルを備えた端末装置に、情報の記載された物理媒体を撮影して得られた撮像画像であって、タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出処理と、タッチパネル上に表示された撮像画像から物理媒体に含まれる角度算出基点を２点検出する基点検出処理と、基点検出処理により検出された２点の角度算出基点を結ぶ線分を底辺とし、位置検出処理により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出処理と、角度算出処理により算出された２つの底角の角度を外部に出力する角度出力処理と、を実行させ、サーバ装置に、角度出力処理により出力された２つの底角の角度を受信する受信処理と、受信処理により受信された２つの底角の角度、及び、撮像画像の基とする物理媒体に含まれる角度算出基点に基づいて、撮像画像に対してユーザが押下指示した位置に対応する、物理媒体上の位置を特定する特定処理と、特定処理により特定された物理媒体上の位置から、ユーザが押下指示した情報を取得する情報取得処理と、情報取得処理により取得された情報を端末装置に送信する送信処理と、を実行させる、ことを特徴とする。

請求項２に係る発明は、請求項１に記載の情報処理プログラムであって、端末装置はさらに、カメラを備え、撮像画像は、ユーザがカメラを用いて印刷媒体を撮影して得られたものであることを特徴とする。

請求項３に係る発明は、請求項１又は２に記載の情報処理プログラムであって、印刷媒体は、平面視矩形状のものであり、２点の角度算出基点は、印刷媒体の４隅のうちの隣接する２隅であることを特徴とする。

請求項４に係る発明は、請求項１乃至３のいずれか１つに記載の情報処理プログラムであって、端末装置にさらに、２点の角度算出基点のうち、少なくとも１点に対応する、物理媒体上の位置に形成されたコードを検出するコード検出処理と、コード検出処理により検出されたコードをデコードするデコード処理と、デコード処理によるデコード結果から、当該コードに埋め込まれた埋込み情報のうち、少なくとも物理媒体を特定する特定情報を検出する特定情報検出処理と、特定情報検出処理により検出された特定情報を外部に出力する特定情報出力処理と、を実行させることを特徴とする。
請求項５に係る発明は、請求項４に記載の情報処理プログラムであって、受信処理は、特定情報出力処理により出力された特定情報を受信し、特定処理は、受信処理により受信された特定情報に基づいて、撮像画像の基とする物理媒体を特定することを特徴とする。

この課題を解決するためになされた請求項６に係る発明は、タッチパネルを備えた端末装置に、情報及び複数のコードが記載された物理媒体のうち、１つのコードを含む部分領域を撮影して得られた撮像画像であって、タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出処理と、タッチパネル上に表示された撮像画像から、当該撮像画像に含まれる１つのコードを検出するコード検出処理と、コード検出処理により検出されたコードをデコードするデコード処理と、デコード処理によるデコード結果から、当該コードに埋め込まれた埋込み情報を検出する埋込み情報検出処理と、埋込み情報検出処理により検出された埋込み情報に基づいて、角度算出基点を２点決定する基点決定処理と、基点決定処理により決定された２点の角度算出基点を結ぶ線分を底辺とし、位置検出処理により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出処理と、角度算出処理により算出された２つの底角の角度を外部に出力する角度出力処理と、を実行させ、サーバ装置に、角度出力処理により出力された２つの底角の角度を受信する受信処理と、受信処理により受信された２つの底角の角度、及び、撮像画像の基とする物理媒体に含まれる角度算出基点に基づいて、撮像画像に対してユーザが押下指示した位置に対応する、物理媒体上の位置を特定する特定処理と、特定処理により特定された物理媒体上の位置から、ユーザが押下指示した情報を取得する情報取得処理と、情報取得処理により取得された情報を端末装置に送信する送信処理と、を実行させる、ことを特徴とする。

請求項７に係る発明は、請求項６に記載の情報処理プログラムであって、検出された埋込み情報に含まれる方向特定情報が、検出されたコードが含まれる位置から所定の方向とその逆方向のいずれか一方の方向を示している場合には、基点決定処理では、検出されたコードが含まれる位置のうち、方向特定情報により示される方向と逆方向の位置の点を、２点の角度算出基点のうちの１点に決定するとともに、検出された埋込み情報に含まれる、方向特定情報により示される方向に延長させる先を示す延長先情報に基づいて延長させた点を、仮想角度算出基点として、２点の角度算出基点のうちのもう１点に決定することを特徴とする。

請求項８に係る発明は、請求項６に記載の情報処理プログラムであって、検出された埋込み情報に含まれる方向特定情報が、検出されたコードが含まれる位置から所定の方向とその逆方向のいずれも示している場合には、基点決定処理では、検出されたコードが含まれる位置を、検出された埋込み情報に含まれる、所定の方向及びその逆方向にそれぞれ延長させる各先を示す延長先情報に基づいて延長させた点を、仮想角度算出基点として、２点の角度算出基点に決定することを特徴とする。

請求項９に係る発明は、請求項７又は８に記載の情報処理プログラムであって、検出された埋込み情報には、物理媒体を特定する物理媒体特定情報が含まれており、端末装置にさらに、物理媒体特定情報を外部に出力する特定情報出力処理を実行させることを特徴とする。

この課題を解決するためになされた請求項１０に係る発明は、タッチパネルと、情報の記載された物理媒体を撮影して得られた撮像画像であって、タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出手段と、タッチパネル上に表示された撮像画像から物理媒体に含まれる角度算出基点を２点検出する基点検出手段と、基点検出手段により検出された２点の角度算出基点を結ぶ線分を底辺とし、位置検出手段により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出手段と、角度算出手段により算出された２つの底角の角度を外部に出力する出力手段と、を有する端末装置と、出力手段により出力された２つの底角の角度を受信する受信手段と、受信手段により受信された２つの底角の角度、及び、撮像画像の基とする物理媒体に含まれる角度算出基点に基づいて、撮像画像に対してユーザが押下指示した位置に対応する、物理媒体上の位置を特定する特定手段と、特定手段により特定された物理媒体上の位置から、ユーザが押下指示した情報を取得する情報取得手段と、情報取得手段により取得された情報を端末装置に送信する送信手段と、を有するサーバ装置と、を含むことを特徴とする。

この課題を解決するためになされた請求項１１に係る発明は、タッチパネルと、情報及び複数のコードが記載された物理媒体のうち、１つのコードを含む部分領域を撮影して得られた撮像画像であって、タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出手段と、タッチパネル上に表示された撮像画像から、当該撮像画像に含まれる１つのコードを検出するコード検出手段と、コード検出手段により検出されたコードをデコードするデコード手段と、デコード手段によるデコード結果から、当該コードに埋め込まれた埋込み情報を検出する埋込み情報検出手段と、埋込み情報検出手段により検出された埋込み情報に基づいて、角度算出基点を２点決定する基点決定手段と、基点決定手段により決定された２点の角度算出基点を結ぶ線分を底辺とし、位置検出手段により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出手段と、角度算出手段により算出された２つの底角の角度を外部に出力する角度出力手段と、を有する端末装置と、角度出力手段により出力された２つの底角の角度を受信する受信手段と、受信手段により受信された２つの底角の角度、及び、撮像画像の基とする物理媒体に含まれる角度算出基点に基づいて、撮像画像に対してユーザが押下指示した位置に対応する、物理媒体上の位置を特定する特定手段と、特定手段により特定された物理媒体上の位置から、ユーザが押下指示した情報を取得する情報取得手段と、情報取得手段により取得された情報を端末装置に送信する送信手段と、を有するサーバ装置と、を含むことを特徴とする。

この課題を解決するためになされた請求項１２に係る発明は、情報の記載された物理媒体を撮影して得られた撮像画像であって、端末装置のタッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出工程と、タッチパネル上に表示された撮像画像から物理媒体に含まれる角度算出基点を２点検出する基点検出工程と、基点検出工程により検出された２点の角度算出基点を結ぶ線分を底辺とし、位置検出工程により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出工程と、角度算出工程により算出された２つの底角の角度を外部に出力する角度出力工程と、角度出力工程により出力された２つの底角の角度を受信する受信工程と、受信工程により受信された２つの底角の角度、及び、撮像画像の基とする物理媒体に含まれる角度算出基点に基づいて、撮像画像に対してユーザが押下指示した位置に対応する、物理媒体上の位置を特定する特定工程と、特定工程により特定された物理媒体上の位置から、ユーザが押下指示した情報を取得する情報取得工程と、情報取得工程により取得された情報を端末装置に送信する送信工程と、を有することを特徴とする。

この課題を解決するためになされた請求項１３に係る発明は、情報及び複数のコードが記載された物理媒体のうち、１つのコードを含む部分領域を撮影して得られた撮像画像であって、端末装置のタッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出工程と、タッチパネル上に表示された撮像画像から、当該撮像画像に含まれる１つのコードを検出するコード検出工程と、コード検出工程により検出されたコードをデコードするデコード工程と、デコード工程によるデコード結果から、当該コードに埋め込まれた埋込み情報を検出する埋込み情報検出工程と、埋込み情報検出工程により検出された埋込み情報に基づいて、角度算出基点を２点決定する基点決定工程と、基点決定工程により決定された２点の角度算出基点を結ぶ線分を底辺とし、位置検出工程により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出工程と、角度算出工程により算出された２つの底角の角度を外部に出力する角度出力工程と、角度出力工程により出力された２つの底角の角度を受信する受信工程と、受信工程により受信された２つの底角の角度、及び、撮像画像の基とする物理媒体に含まれる角度算出基点に基づいて、撮像画像に対してユーザが押下指示した位置に対応する、物理媒体上の位置を特定する特定工程と、特定工程により特定された物理媒体上の位置から、ユーザが押下指示した情報を取得する情報取得工程と、情報取得工程により取得された情報を端末装置に送信する送信工程と、を有することを特徴とする。

請求項１に係る情報処理プログラムによれば、情報の記載された物理媒体を撮影して得られ、タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置が、当該指示位置を頂点とし、物理媒体に含まれる２点の角度算出基点を結ぶ線分を底辺とした三角形の２つの底角の角度として算出されて表現される。この結果、当該撮像画像上、ユーザにより指示された位置を簡単に特定し、簡単なフォーマットの情報で出力することが可能となる。

撮像画像上の位置を特定して出力する方法には、タッチパネル上の表示領域を座標平面として、その位置座標を特定して出力する方法がある。しかしこの方法では、撮像画像上の指示位置と、この指示位置に対応する、被写体である物理媒体上の位置とを一致させるのは非常に困難である。その理由は、撮像画像の大きさと物理媒体の大きさが異なるため、少なくとも、両者の倍率を算出した上で、指示位置を特定しなければならないからである。

これに対して、本情報処理プログラムでは、指示位置を三角形の２つの底角で特定するため、撮像画像と、被写体である物理媒体とが相似形である限り、両者の倍率を算出しなくても、指示位置を特定することができる。そして、このようにして特定された指示位置は、物理媒体上の対応する位置とほぼ一致する。ここで「ほぼ一致する」とは、撮像画像と、被写体である物理媒体とがほぼ相似形になり、正確な相似形になるようにすることは、少なくとも現在の技術では、不可能であるからである。つまり、撮像画像に対してどのような歪み補正を施したとしても、その歪みを完全に除去することはできないからである。また、そもそも被写体である物理媒体自体に伸縮や湾曲が生じている場合には、正確に撮影すればするほど、その歪みの除去はより困難になる。

さらに、上記三角形を形成する３頂点は、撮像画像上、ユーザがタップ指示した位置の点と、物理媒体に含まれる２点の角度算出基点である。つまり、後者の２点の角度算出基点は、底角を算出するための基準となる点であるとともに、物理媒体上の固定点であるので、撮像画像が物理媒体に対して多少回転した状態で撮影されたとしても、撮像画像上で特定された指示位置は、物理媒体上の対応する位置とほぼ一致する。

また、請求項２に係る情報処理プログラムによれば、ユーザは、カメラを用いて物理媒体を実際に撮影して得られた撮像画像上の位置を押下指示するだけで、その指示位置が特定されて出力される。そして、物理媒体には、指示位置を特定するための情報を印刷等で埋め込まなくてもよいので、面倒な作業が不要となるとともに、コストも増加しない。

さらに、請求項３に係る情報処理プログラムによれば、撮像画像から平面視矩形状の物理媒体の４隅を検出することは、画像処理においては極めて容易であるので、角度算出基点は、極めて容易に検出することができる。

また、請求項４に係る情報処理プログラムによれば、物理媒体の特定情報が外部出力されるので、外部機器は、ユーザが位置を特定した撮像画像がどの物理媒体であるかを知ることができる。そして、特定情報の埋め込まれたコードは、２点の角度算出基点のうち、少なくとも１点に対応する、物理媒体上の位置に形成される。つまり、２点の角度算出基点は、既に検出対象となっているので、その検出処理に付随させて、コードを検出する処理を実行できる。したがって、ソフトウェアの開発を容易化するとともに、その開発コストを低減させることができる。

また、請求項６に係る情報処理プログラムによれば、被写体である物理媒体が、当該物理媒体の部分領域の一部であって、複数のコードのうちのいずれか１つのみ含む領域を撮影して、撮像画像とせざるを得ないほど大きい場合でも、当該１つのコードに埋め込まれた埋込み情報に基づいて、当該部分領域の２点の角度算出基点を決定できる。そして、決定された２点の角度算出基点は、当該部分領域の現実の２点の角度算出基点とほぼ一致する。さらに、決定された２点の角度算出基点、つまり当該部分領域の現実の２点の角度算出基点とほぼ一致する２点の角度算出基点を結ぶ線分を底辺とし、上記検出されたユーザの押下指示位置を頂点とする三角形について、２つの底角のそれぞれの角度を算出して出力することができる。したがって、ユーザにより指示された撮像画像上の位置を簡単に特定し、簡単なフォーマットの情報で出力することが可能となる。

また、請求項７に係る情報処理プログラムによれば、ユーザは、物理媒体の部分領域の一部であって、少なくとも、コードの形成された１点の角度算出基点を含む領域を撮影して得られた撮像画像上を押下指示したとしても、その押下指示位置をほぼ正確に特定して、外部に出力することができる。

さらに、請求項８に係る情報処理プログラムによれば、請求項７の情報処理プログラムと同様の効果を得ることができる。

また、請求項９に係る情報処理プログラムによれば、請求項４の情報処理プログラムと同様の効果を得ることができる。

また、請求項１０に係るサーバ・クライアントシステムによれば、請求項１の情報処理プログラムと同様の効果を得ることができる。

さらに、請求項１１に係るサーバ・クライアントシステムによれば、請求項６の情報処理プログラムと同様の効果を得ることができる。

また、請求項１２に係る情報処理方法によれば、請求項１の情報処理プログラムと同様の効果を得ることができる。

さらに、請求項１３に係る情報処理装置によれば、請求項６の情報処理プログラムと同様の効果を得ることができる。

本発明の第１の実施の形態に係る情報出力装置を適用したスマートフォンの概略構成を示すブロック図である。 ユーザが図１のスマートフォンを用いて印刷媒体の一例であるパンフレットを撮影する様子を示す図である。 図２のパンフレットの左ページを撮影して得られた撮像画像を示す図である。 図２のパンフレットの右ページを撮影して得られた撮像画像を示す図である。 図１のスマートフォン、特にＣＰＵが実行するパンフレット検出処理の手順を示すフローチャートである。 図１のスマートフォン、特にＣＰＵが実行するコード検出・デコード処理の手順を示すフローチャートである。 図１のスマートフォンからの情報出力に応じて、サーバコンピュータが実行する処理の手順を示すフローチャートである。 本発明の第２の実施の形態に係る情報出力装置を適用したスマートフォンを用いてユーザがパンフレットを撮影する様子を示す図である。 本発明の第２の実施の形態に係るスマートフォン、特にＣＰＵが実行する仮想頂点算出処理の手順を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

［第１の実施の形態］

図１は、本発明の第１の実施の形態に係る情報出力装置を適用したスマートフォン１００の概略構成を示すブロック図である。

同図に示すように、本実施形態のスマートフォン１００は、当該スマートフォン１００全体の制御を司るＣＰＵ（central processing unit）１０１を備えている。ＣＰＵ１０１には、タッチパネル１０２、操作子１０３、各種センサ１０４，メモリ１０５、タイマ１０６、音声入力インターフェース（Ｉ／Ｆ）１０７、通信インターフェース（Ｉ／Ｆ）１１０、サウンドシステム１０８及びカメラ１０９が接続されている。

タッチパネル１０２は、一般的なスマートフォンが備えているものと変わらず、表示デバイスとしての機能と、入力デバイスとしての機能を兼ね備えたものである。ユーザは、例えば自身の指で、タッチパネル１０２上をタッチすることにより、タッチパネル１０２の表示画面上の任意の位置を指定することができる。ユーザによって表示画面上の位置が指定されると、その位置情報（座標）がタッチパネル１０２からＣＰＵ１０１に伝送される。ＣＰＵ１０１は、その位置情報に応じた処理（処理しないことも含む）を行う。表示画面上には、各種機能のそれぞれの動作を指示するための複数のアイコンの他に、表示コンテンツが表示される。この表示コンテンツは、本実施形態では図２に示すように、ユーザがカメラ１０９により撮影して、タッチパネル１０２上に表示したパンフレット３００（の左ページ３０１又は右ページ３０２）である。

操作子１０３は、タッチパネル１０２上に表示されるアイコンやボタン（ソフトウェアにより生成されて表示されるもの）ではなく、ハードウェアスイッチ（ハードウェアにより形成されるもの）である。その典型例としては、電源スイッチやリセットスイッチ（ともに図示せず）などを挙げることができる。

各種センサ１０４には、地磁気センサ、ＧＰＳ（global positioning system）、加速度センサ、超音波センサ、赤外線または可視光を検出する光センサなどが含まれる。

メモリ１０５には、ＣＰＵ１０１によって実行される制御プログラムや各種アプリケーションプログラム、各プログラムによって画面表示に利用される画像データや発音に利用される音声データを含む各種データ等を記憶するＲＯＭ（read only memory）と、上記画像データや音声データを含む各種データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ（random access memory）が含まれている。上記制御プログラムや各種アプリケーションプログラム、各種データ等は、本実施形態では適宜、追加、削除あるいはアップデートできるようにするために、ＲＯＭとして、書き換え可能な不揮発性のもの、具体的にはフラッシュメモリを採用している。

タイマ１０６は、タイマ割込み処理における割込み時間や各種時間を計時する。

音声入力Ｉ／Ｆ１０７は、マイクロフォン（以下「マイク」と略す）１１１を接続し、マイク１１１を介して入力された周囲のアナログ音声信号（典型的には、ユーザが発音した音声）をデジタル音声信号（音声データ）に変換し、バッファ（図示せず）に記憶する。

通信Ｉ／Ｆ１１０は、スマートフォン１００を、例えばインターネットなどの通信ネットワーク２０１に接続させ、通信ネットワーク２０１に接続された他の機器、本実施形態では、サーバコンピュータ２０２との間で各種データの送受信を行う。上記プログラム等の追加、削除あるいはアップデートは、サーバコンピュータ２０２を介して行うようにしてもよい。この場合、通信Ｉ／Ｆ１１０は、サーバコンピュータ２０２から各種プログラムや各種データをダウンロードするために用いられる。クライアントとなるスマートフォン１００は、通信Ｉ／Ｆ１１０および通信ネットワーク２０１を介してサーバコンピュータ２０２へとプログラムやデータのダウンロードを要求するコマンドを送信する。サーバコンピュータ２０２は、このコマンドを受け、要求されたプログラムやデータを、通信ネットワーク２０１を介してスマートフォン１００へと配信し、スマートフォン１００が通信Ｉ／Ｆ１１０を介して、これらプログラムやデータを受信してメモリ１０５（のフラッシュメモリ）に蓄積することにより、ダウンロードが完了する。

サウンドシステム１０８は、例えば、ＤＡＣ（digital-to-analog converter）やアンプ、スピーカ等によって構成される。サウンドシステム１０８は、電話の相手方が発音して、通信ネットワーク２０１及び通信Ｉ／Ｆ１１０を介して入力された音声信号を音響に変換する。この場合、相手方のスマートフォンあるいは電話機が通信ネットワーク２０１に接続されていることは言うまでもない。また、サウンドシステム１０８は、ＣＰＵ１０１が上記制御プログラムや各種アプリケーションプログラムを実行しているときに生成した楽音信号も音響に変換する。楽音信号は、本実施形態では、ＣＰＵ１０１が音源プログラムを実行することによって生成する、いわゆるソフトウェア音源によって生成する。もちろん、ソフトウェア音源を用いて楽音信号を生成する態様に限らず、ハードウェア音源を用いてもよいし、一部をハードウェアで構成し、残りをソフトウェアで構成した音源を用いてもよい。

なお本実施形態では、情報出力装置としてスマートフォン１００を採用したが、これに限らず、タブレット端末や携帯型のノートＰＣ（パーソナルコンピュータ）、ＰＤＡ（personal digital assistant）などを採用してもよい。但し本実施形態では、印刷媒体をカメラ１０９で撮影して、撮像画像を取得し、その撮像画像に対して所定の画像処理を行うようにしているので、どの装置を採用したとしても、カメラを備えている必要がある。もちろん、内蔵する必要はなく、外付けできる構成であってもよい。

以上のように構成されたスマートフォン１００が実行する制御処理を、図２〜図６を参照して詳細に説明する。

図２に示すように、ユーザは、物理媒体としての印刷媒体の一例であるパンフレット３００をスマートフォン１００のカメラ１０９で撮影する。このとき、パンフレット３００は、その全体をタッチパネル１０２上に一度に表示するには大きすぎるので、ユーザは、左ページ３０１と右ページ３０２とを別々に撮影している。

図３（ａ）は、左ページ３０１を撮影して取得され、タッチパネル１０２上に表示された撮像画像３０１′を示している。また、図４（ａ）は、右ページ３０２を撮影して取得され、タッチパネル１０２上に表示された撮像画像３０２′を示している。

撮像画像３０１′には通常、歪みが生じている。この歪みの原因としては、カメラ１０９のレンズの歪みや斜めからの撮影、パンフレット３００の紙面の伸縮やその表面の湾曲等を挙げることができる。歪みが生じたままの撮像画像３０１′に対しては、続く処理を行うことができない、あるいは困難であるので、当該撮像画像３０１′に対して補正を施すことにより、その歪みを矯正している。この補正は、撮像画像に対して一般的に行われている。そして、本発明は、歪みの補正に特徴を有しておらず、公知の補正方法を用いて補正を行うようにしているので、ここで用いる補正方法の具体的な説明は省略する。

図３（ｂ）は、撮像画像３０１′に対して歪み補正を行った後の撮像画像３０１" を示している。なお、補正前の撮像画像３０１′（図３（ａ））と補正後の撮像画像３０１" （図３（ｂ））は、同一形状として描かれているが、これは便宜上そのように描いたに過ぎず、実際には補正前の撮像画像３０１′には歪みが生じている。

ユーザが、タッチパネル１０２上に表示された撮像画像３０１" 上の位置を、例えばタップにより指示すると、指示された位置が分かるように、その位置に文字が表示される。図３（ｃ）は、ユーザが撮像画像３０１" 上の位置を指示した様子を示している。図示例では、ユーザのタップ位置に文字“Ｘ”が表示されている。なお、指示位置の表示態様は、文字に限らず、図形や色などの他の表示態様であってもよいしでもよいし、さらに表示態様に限らず、音声態様であってもよい。要するに、指示位置がユーザに分かるような態様であれば、どのような態様のものを用いてもよい。

このようにユーザが撮像画像３０１" 上の位置をタップすると、ＣＰＵ１０１は、図５に示すパンフレット検出処理を起動する。なお本パンフレット検出処理では、パンフレット３００及び撮像画像３０１′（撮像画像３０２′についても同様）は、次の条件を前提としている。すなわち、
Ｃ１：撮像画像３０１′の向きは、パンフレット３００の向きと一致していること；
Ｃ２：パンフレット３００の用紙は、白色であり、パンフレット３００が置かれた机（背景）は、輝度が暗めの色であること；
である。したがって条件Ｃ１によれば、パンフレット３００は、逆さや横向きには撮影されていない。但し、撮像画像３０１′は、パンフレット３００に対して多少回転した状態で撮影されていてもよい。

本パンフレット検出処理では、まずＣＰＵ１０１は、撮像画像３０１" に対して（適応的）２値化処理を実行する（ステップ（Ｓ）１１）。この２値化処理は、次のステップ１２の輪郭検出のために実行される。上記条件Ｃ２によれば、パンフレット３００の用紙が白色であるのに対して、パンフレット３００が置かれた机、つまりパンフレット３００の背景は暗めの色である。このため、撮像画像３０１" に対して２値化処理を実行すると、少なくとも、パンフレット３００と背景との境界近傍は、パンフレット３００側が“０”、背景側が“１”と２値化されるので、“１”に隣接する“０”を辿っていけば、撮像画像３０１" からパンフレット３００の輪郭を検出することができる。

但し、背景色である机の色は、全体に亘って均一ではないため、２値化処理に用いる閾値を固定すると、背景の中で“０”になる部分が生じる場合があり、パンフレット３００の輪郭検出を正確に行えない虞がある。その場合には、適応的２値化処理を用いることにより、閾値を適応的に変動させて２値化を行うようにして、背景がすべて“１”になるようにしている。

次にＣＰＵ１０１は、ステップ１１の処理によって２値化された撮像画像３０１" に基づいて、パンフレット３００の輪郭を検出する（ステップ１２）。輪郭の検出方法については上述したので、ここでは繰り返さない。

次にＣＰＵ１０１は、ステップ１２で検出されたパンフレット３００の輪郭から矩形を検出する（ステップ１３）。上述のように本実施形態では、パンフレット３００は、左ページ３０１と右ページ３０２とを別々に撮影して、それぞれ撮像画像３０１"，３０２"としているので、正確な矩形を検出することができない。例えば、撮像画像３０１" では、右端の輪郭線を検出することができない。これは、左ページ３０１の右端は右ページ３０２の左端と繋がっており、背景と繋がっていない（背景と繋がっているのは、右ページ３０２の右端である）からである。しかし、左ページ３０１を形成する矩形の一部、つまり、当該矩形から左ページ３０１の右端を削除したものは検出される。

次にＣＰＵ１０１は、検出された矩形（の一部）から頂点を検出する（ステップ１４）。例えば、撮像画像３０１" では、図３（ｃ）に示すように、頂点Ａと頂点Ｂが検出される。

さらにＣＰＵ１０１は、検出された頂点間を結ぶ線分を底辺とし、タップ位置Ｘを頂点とする三角形の２つの底角のそれぞれの角度を算出する（ステップ１５）。例えば、撮像画像３０１" では、図３（ｃ）に示すように、底角θａと底角θｂが算出される。算出された底角の各角度は、メモリ１０５内に一時的に記憶される。

次にＣＰＵ１０１は、図６に示すコード検出・デコード処理を起動する。なお本コード検出・デコード処理では、パンフレット３００は、次の条件を前提としている。すなわち、
Ｃ３：パンフレット３００の４隅には、正方形の輪郭線で囲まれたコードが印刷されていること；
である。図２に示すように、パンフレット３００の４隅には、コード４０１ａ，４０１ｂ，４０２ａ，４０２ｂが印刷されている。但し、図３及び図４に示す撮像画像３０１′，３０２′，３０１"，３０２"には、コード４０１ａ，４０１ｂ，４０２ａ，４０２ｂが描かれていない。これは便宜上そのように描いたに過ぎず、実際にはコード４０１ａ，４０１ｂ，４０２ａ，４０２ｂも撮影されて、撮像画像３０１′，３０２′，３０１"，３０２"の一部となっている。

本コード検出・デコード処理では、まずＣＰＵ１０１は、コード領域を検出する（ステップ２１）。条件Ｃ３によれば、コードはパンフレット３００の４隅に印刷されているので、ステップ２１のコード領域の検出は、パンフレット３００の頂点を検出することに相当する。そして、パンフレット３００の頂点の検出は、上記図５のステップ１４で既に実行されている。したがってステップ２１では、再度パンフレット３００の頂点の検出を行わず、ステップ１４の検出結果をそのまま利用する。

次にＣＰＵ１０１は、矩形輪郭を検出する（ステップ２２）。条件Ｃ３によれば、コードは正方形の輪郭線で囲まれているので、ＣＰＵ１０１は、パンフレット３００の頂点の近傍に位置する、コードが存在する領域である矩形（正方形）の輪郭を検出する。

そして、この矩形輪郭が検出されると、ＣＰＵ１０１は、その部分に存在するコードを切り出し（ステップ２３）、切り出したコードをデコードする（ステップ２４）。

さらにＣＰＵ１０１は、デコード結果に基づいて、コードに埋め込まれた情報を検出（抽出）する（ステップ２５）。コードには、複数の情報が埋め込まれている。埋め込まれた情報（埋込み情報）としては、例えば、当該パンフレット３００を特定する情報である。

後述するように、上記算出された底角の各角度θａ，θｂは、撮像画像３０１" 上のタップ位置Ｘを特定する情報として、サーバコンピュータ２０２に送信されるが、撮像画像３０１" がどの印刷媒体を撮影したものであるか特定できなければ、サーバコンピュータ２０２は、ユーザがタップによってどの印刷媒体のどの文言や項目などを指示しているのか分からないからである。このため、パンフレット３００が１枚であっても、本実施形態のように、左ページ３０１と右ページ３０２とを別々に撮影して、それぞれ撮像画像３０１"，３０２"とする場合には、左ページ３０１（右ページ３０２も同様）に印刷されているコード４０１ａ，４０１ｂ（の少なくともいずれか一方）には、パンフレット３００を特定する情報と、そのうちの右ページ３０２であることを示す情報が埋め込まれている。なお、パンフレット３００を特定する情報とは、例えば、パンフレット３００が存在する通信ネットワーク２０１上、典型的にはインターネット上のＵＲＬ（uniform resource locator）である。

また、パンフレット３００が複数ページからなるものである場合には、埋込み情報としては、当該パンフレット３００を特定する情報と、現在開いているページを示す情報である。

埋込み情報には、上述した内容のもの以外の内容のものがあるが、本実施形態を説明するに当たり、他の内容の埋込み情報は必要ではないので、その説明を省略する。

上記ステップ２５の処理によって検出された埋込み情報は、上記算出された底角の各角度θａ，θｂに付随させて、メモリ１０５内に一時的に記憶される。

なお本実施形態では、コードはパンフレット３００の４隅に印刷されているとしたが、これに限らず、少なくとも１隅に印刷されていればよい。但し本実施形態のように、パンフレット３００全体を一度に撮影して表示するのではなく、左ページ３０１と右ページ３０２とを別々に撮影して表示する場合には、撮像画像３０１"，３０２"に含まれる２隅のうち、少なくとも１隅にコードが印刷されている必要がある。

以上の説明は、ユーザがパンフレット３００の左ページ３０１を撮影して得られた撮像画像３０１′に対する補正処理と、その補正処理後の撮像画像３０１" に対するパンフレット検出処理及びコード検出・デコード処理についてのものである。しかし、パンフレット３００の右ページ３０２を撮影して得られた撮像画像３０２′に対する補正処理と、その補正処理後の撮像画像３０２" に対するパンフレット検出処理及びコード検出・デコード処理も、上述の手順を類推適用することにより同様に行うことができるので、その説明は省略する。

このようにして、上記パンフレット検出処理及びコード検出・デコード処理が実行されると、スマートフォン１００、特にＣＰＵ１０１は、メモリ１０５から、一時的に記憶された各底角の値と埋込み情報を読み出して、通信Ｉ／Ｆ１１０及び通信ネットワーク２０１を介してサーバコンピュータ２０２に送信する。

これに応じてサーバコンピュータ２０２（の、特にＣＰＵ（図示せず））は、図７に示すサーバ側処理を起動する。

本サーバ側処理では、まずサーバコンピュータ２０２は、スマートフォン１００からの出力情報を受信する（ステップ１０１）。

次にサーバコンピュータ２０２は、受信したスマートフォン１００からの出力情報（以下、「受信情報」という）のうち、パンフレットに関する情報に基づいて撮影されたパンフレット３００を特定する（ステップ１０２）。

次にサーバコンピュータ２０２は、受信情報のうち、底角の各角度に基づいて、パンフレット３００上のユーザのタップ位置を特定する（ステップ１０３）。底角は、本実施形態では上述のように、パンフレット３００の左ページ３０１又は右ページ３０２の頂点Ａ，Ｂ又は頂点Ｃ，Ｄを結ぶ線分を底辺とし、タップ位置Ｘを頂点とする三角形についてのものである。したがって、パンフレット３００（の左ページ３０１又は右ページ３０２）が特定されれば、サーバコンピュータ２０２は、ユーザがパンフレット３００（の左ページ３０１又は右ページ３０２）上のどの位置をタップしているかを特定することができる。しかしこのとき、タップ位置はパンフレット３００（の左ページ３０１又は右ページ３０２）上の１点に特定されるので、サーバコンピュータ２０２は、ユーザがタップにより得ようとしている情報がどれであるかを特定するために、タップ位置の曖昧さを吸収する方法を設けておく必要がある。

この理由を以下、具体的に説明する。パンフレット３００が、例えば、愛知県の観光スポットを紹介したものであるとし、ユーザが「名古屋城」についての詳しい説明を得ようとして、パンフレット３００に記載されている「名古屋城」の単語をタップした場合を例に挙げる。

この場合、「名古屋城」の単語は、撮像画像３０１"，３０２"上、所定の広がりを持った領域で表示されるので、ユーザがその領域内のどの位置をタップしたとしても、サーバコンピュータ２０２側では、ユーザが「名古屋城」についての情報を求めていると判断する必要がある。さらにユーザは、この場合でも上記領域内を正しくタップするとは限らず、その領域近傍であって、その領域外をタップすることもある。

そこでサーバコンピュータ２０２は、パンフレット３００上、「名古屋城」の単語が記載されている領域をさらに包含する領域を、タップ位置の曖昧さを吸収する領域として規定する。そしてサーバコンピュータ２０２は、その領域内に、底角の各角度から特定されるタップ位置が属するかどうかを判別し、属する場合に、ユーザがタップにより「名古屋城」を指示していると判定する。

これにより、ユーザが「名古屋城」の単語の表示領域を正確にタップせずに、その近傍をタップしたとしても、「名古屋城」の単語をタップ指示したことになるので、ユーザのタップ位置の曖昧さを吸収することが可能となる。

次にサーバコンピュータ２０２は、特定されたタップ位置の情報を取得する（ステップ１０４）。上記具体例では、「名古屋城」についての情報を、例えば、インターネット上を検索して取得する。なお、パンフレット３００に付随して、そのパンフレット３００で紹介されている観光スポットの詳細な情報（パンフレット３００に記載されていないもの）のある場所が分かるようになっていれば、サーバコンピュータ２０２は、改めて検索せずに、その場所から目的の情報を取得するようにすればよい。

スマートフォン１００は、サーバコンピュータ２０２からこの情報を受信すると、当該受信情報に基づいて、タッチパネル１０２上に表示する。

なお、パンフレット３００上に記載された情報（文字、図形、写真など）のすべてに、詳細な情報がある訳ではないので、ユーザは、詳細な情報の無い記載情報をタップ指示したときには、タップ指示が空振りに終わる。このため、パンフレット３００上の記載情報のうち、詳細な情報があるものには、詳細な情報の無い記載情報と区別する態様で表現しておく方が好ましい。その表現態様の具体例としては、色又はフォントを異ならせること、アンダーラインを付加すること、色枠で囲むことなどを挙げることができる。もちろん、区別できる態様であれば、これらに限らない。但し、区別できる態様で、パンフレット３００上の記載情報を表現することは、本発明の必須の要件ではない。区別は、ユーザのタップ指示の便宜を図るためになされるものだからである。

以上のようにして、タッチパネル１０２を備えたスマートフォン１００に実行されるパンフレット検出処理は、パンフレット３００を撮影して得られた撮像画像であって、タッチパネル１０２上に表示された撮像画像３０１"，３０２"に対してユーザがタップ指示した位置を検出する処理と、タッチパネル１０２上に表示された撮像画像３０１"，３０２"からパンフレット３００に含まれる頂点Ａ，ＢあるいはＣ，Ｄを２点検出する処理（ステップ１４）と、当該検出された２点の頂点Ａ，ＢあるいはＣ，Ｄを結ぶ線分を底辺とし、上記検出された、ユーザがタップ指示した位置を頂点とする三角形について、２つの底角の角度θａ，θｂあるいはθｃ，θｄをそれぞれ算出する処理（ステップ１５）と、上記算出された２つの底角の角度θａ，θｂあるいはθｃ，θｄをサーバコンピュータ２０２に出力する処理と、を有する。

本パンフレット検出処理によれば、パンフレット３００を撮影して得られ、タッチパネル１０２上に表示された撮像画像３０１"，３０２"に対してユーザがタップ指示した位置が、当該指示位置を頂点とし、パンフレット３００に含まれる頂点Ａ，ＢあるいはＣ，Ｄの２点を結ぶ線分を底辺とした三角形の２つの底角の角度θａ，θｂあるいはθｃ，θｄとして算出されて表現される。この結果、当該撮像画像３０１"，３０２"上、ユーザにより指示された位置を簡単に特定し、簡単なフォーマットの情報で出力することが可能となる。

撮像画像３０１"，３０２"上の位置を特定して出力する方法には、タッチパネル１０２上の表示領域を座標平面として、その位置座標を特定して出力する方法がある。しかしこの方法では、撮像画像３０１"，３０２"上の指示位置と、この指示位置に対応する、被写体であるパンフレット３００上の位置とを一致させるのは非常に困難である。その理由は、撮像画像３０１"，３０２"の大きさとパンフレット３００の大きさが異なるため、少なくとも、両者の倍率を算出した上で、指示位置を特定しなければならないからである。

これに対して、本パンフレット検出処理では、指示位置を三角形の２つの底角で特定するため、撮像画像３０１"，３０２"と、被写体であるパンフレット３００とが相似形である限り、両者の倍率を算出しなくても、指示位置を特定することができる。そして、このようにして特定された指示位置は、パンフレット３００上の対応する位置とほぼ一致する。ここで「ほぼ一致する」とは、撮像画像３０１"，３０２"と、被写体であるパンフレット３００とがほぼ相似形になり、正確な相似形になるようにすることは、少なくとも現在の技術では、不可能であるからである。つまり、撮像画像３０１"，３０２"に対してどのような歪み補正を施したとしても、その歪みを完全に除去することはできないからである。また、そもそも被写体であるパンフレット３００自体に伸縮や湾曲が生じている場合には、正確に撮影すればするほど、その歪みの除去はより困難になる。

さらに、上記三角形を形成する３頂点は、撮像画像３０１"，３０２"上、ユーザがタップ指示した位置の点と、パンフレット３００に含まれる２点の頂点Ａ，ＢあるいはＣ，Ｄである。つまり、後者の２点の頂点Ａ，ＢあるいはＣ，Ｄは、底角を算出するための基準となる点であるとともに、パンフレット３００上の固定点であるので、撮像画像３０１"，３０２"がパンフレット３００に対して多少回転した状態で撮影されたとしても、撮像画像３０１"，３０２"上で特定された指示位置は、パンフレット３００上の対応する位置とほぼ一致する。

ちなみに、本実施形態において、パンフレット検出処理は、「情報出力プログラム」の一部の一例である。スマートフォン１００は、「端末装置」の一例である。パンフレット３００は、「情報の記載された物理媒体」の一例である。タップ指示は、「押下指示」の一例である。頂点Ａ，ＢあるいはＣ，Ｄは、「角度算出基点」の一例である。サーバコンピュータ２０２は、「外部」の一例である。

また、スマートフォン１００はさらに、カメラ１０９を備え、撮像画像３０１"，３０２"は、ユーザがカメラ１０９を用いてパンフレット３００を撮影して得られたものである。

このように、ユーザは、カメラ１０９を用いてパンフレット３００を実際に撮影して得られた撮像画像３０１"，３０２"上の位置をタップ指示するだけで、その指示位置が特定されて出力される。そして、パンフレット３００には、指示位置を特定するための情報を印刷等で埋め込まなくてもよいので、面倒な作業が不要となるとともに、コストも増加しない。

さらに、パンフレット３００は、平面視矩形状のものであり、２点の頂点Ａ，ＢあるいはＣ，Ｄは、パンフレット３００の４隅のうちの隣接する２隅である。

このように、撮像画像３０１"，３０２"から平面視矩形状のパンフレット３００の４隅を検出することは、画像処理においては極めて容易であるので、底角を算出するための基準となる点は、極めて容易に検出することができる。

また、スマートフォン１００にさらに実行されるコード検出・デコード処理は、２点の頂点Ａ，ＢあるいはＣ，Ｄのうち、少なくとも１点に対応する、パンフレット３００上の位置に形成されたコードを検出する処理（ステップ２１〜２３）と、当該検出されたコードをデコードする処理（ステップ２４）と、そのデコード結果から、当該コードに埋め込まれた埋込み情報のうち、少なくともパンフレット３００を特定する特定情報を検出するを検出する処理（ステップ２５）と、検出された特定情報をサーバコンピュータ２０２に出力する処理と、を有する。

このように、パンフレット３００の特定情報がサーバコンピュータ２０２に出力されるので、サーバコンピュータ２０２は、ユーザが位置を特定した撮像画像３０１"，３０２"がどのパンフレットであるかを知ることができる。そして、特定情報の埋め込まれたコードは、２点の頂点Ａ，ＢあるいはＣ，Ｄのうち、少なくとも１点に対応する、パンフレット３００上の位置に形成される。つまり、２点の頂点Ａ，ＢあるいはＣ，Ｄは、既に検出対象となっているので、その検出処理に付随させて、コードを検出する処理を実行できる。したがって、ソフトウェアの開発を容易化するとともに、その開発コストを低減させることができる。

ちなみに、本実施形態において、コード検出・デコード処理は、「情報出力プログラム」の一部の一例である。

［第２の実施の形態］

上記第１実施形態では、パンフレット３００の頂点Ａ，Ｂ又はＣ，Ｄを撮像画像３０１"，３０２"から直接検出し、その頂点Ａ，Ｂ又はＣ，Ｄを結ぶ線分を底辺とし、タップ位置Ｘを頂点とする三角形の２つの底角のそれぞれの角度を算出して、サーバコンピュータ２０２に出力するようにしている。しかし、被写体であるパンフレットが、パンフレット３００より大きく、撮像画像からでは、その頂点を１点しか検出できない場合には、上記第１実施形態で説明した方法を適用して、２つの底角のそれぞれの角度を算出することはできない。そこで、本発明の第２の実施の形態に係る情報出力装置を適用したスマートフォンは、この場合でも、２つの底角のそれぞれの角度を算出して出力することができるようにしている。

本実施形態のスマートフォンは、上記第１実施形態のスマートフォン１００に対して、制御処理の一部が異なるのみであるので、そのハードウェアとしては、スマートフォン１００のそれ、つまり図１に記載のハードウェアを用いることにし、その符号も同じ“１００”を用いることにする。

本実施形態で用いる被写体は、図８に示すパンフレット３１０である。パンフレット３１０は、同図に示すように頂点Ｅ，Ｆ又はＩ，Ｊを撮影画像に含むように撮影するには、大きすぎる。もちろん、無理して撮影すれば、このように撮影することもできない訳ではないが、その場合には、ユーザはスマートフォン１００をパンフレット３１０からかなり離した状態で撮影する必要があり、現実的ではない。

今ユーザは、図８に示すようにパンフレット３１０の４つの頂点のうちの１つ、例えば頂点Ｅを含む領域を撮影したとする。

頂点Ｅの近傍には、コード４１１が印刷されている。コード４１１には、上記第１実施形態で説明したコード４０１ａ，４０１ｂ，４０２ａ，４０２ｂと同様に、パンフレット３１０を特定する情報が埋め込まれている。さらにコード４１１には、パンフレット３１０を４分割して形成した分割片３１１〜３１４のうち、どの分割片であるかを示す情報と、タップ位置を特定するために出力する底角の各角度を算出するための基礎となる三角形の底辺の一端（仮想頂点）を算出するための情報とが埋め込まれている。

頂点Ｅを含む領域が撮影されると、ＣＰＵ１０１は、上記第１実施形態で説明した図６のコード検出・デコード処理を起動する。なお、本実施形態では上述のように、撮影画像から２頂点Ｅ，Ｆを検出しないので、ＣＰＵ１０１は、上記第１実施形態で説明した図５のパンフレット検出処理を実行しない。

本コード検出・デコード処理が開始されると、ＣＰＵ１０１は、ステップ２１〜２５の各処理を順に実行する。本実施形態で実行されるコード検出・デコード処理は、上記第１実施形態で実行されるそれに対して、ステップ２５で検出される埋め込み情報の内容が異なるのみであるので、各ステップの処理についての詳細な説明は省略する。

ステップ２５の処理が実行されると、上記第１実施形態と同様に、パンフレット３１０を特定する情報、具体的には、当該パンフレット３１０が存在するＵＲＬが検出される。そして撮影画像が、パンフレット３１０のどの分割片を撮影したものであるかを示す情報が検出される。さらに、上記仮想頂点を算出するための情報が検出される。

この仮想頂点を算出するための情報には、具体的には、仮想頂点がコード４１１の外枠、つまり矩形輪郭（上記図６のステップ２２参照）のどの１辺をどの方向、つまり、上、下、左及び右のいずれの方向に延ばしたものであるかを示す辺・方向特定情報と、仮想頂点が上記１辺の長さの何倍先に延ばしたものであるかを示す倍数とが含まれる。

次にＣＰＵ１０１は、図９に示す仮想頂点算出処理を起動する。

本仮想頂点算出処理では、まずＣＰＵ１０１は、撮像画像からコード矩形、つまり上記矩形輪郭の１辺の長さを検出する（ステップ３１）。コード４１１の外枠は、本実施形態では正方形であるので、コード矩形を構成する各辺はいずれも、同一長である。したがって上記ステップ３１では、いずれの辺の長さを検出してもよい。

次にＣＰＵ１０１は、上記図６のステップ２５で検出した埋込み情報から上記倍数を取得する（ステップ３２）。

次にＣＰＵ１０１は、上記ステップ３１で検出したコード矩形の１辺の長さ×上記ステップ３２で取得した倍数を演算する（ステップ３３）。

そしてＣＰＵ１０１は、実頂点から、上記ステップ３３の演算結果分、つまり演算長分先の点を仮想頂点に決定する（ステップ３４）。ここで実頂点とは、コード４１１のコード矩形を例に挙げた場合には、図８中、領域Ｒの部分拡大図に示すように、辺４１１ａの端点、つまりコード矩形の１つの頂点４１１ｂである。また、辺４１１ａは、上記辺・方向特定情報に含まれる辺特定情報によって特定され、実頂点から仮想頂点を延ばす方向は、上記辺・方向特定情報に含まれる方向特定情報によって特定される。なお、辺４１１ａは、パンフレット３１０の辺３１１ａと平行になるように形成（印刷）されており、仮想頂点は、辺４１１ａの一方の端点（＝実頂点）、つまり上記方向とは逆の方向に位置する端点（この場合、上記方向が「下」であるので「上」）を辺４１１ａに沿ってそのまま上記方向に延長した延長点である。

このようにして仮想頂点が決定されると、ＣＰＵ１０１は、当該仮想頂点と実頂点とを結ぶ線分を底辺とし、タップ位置Ｘを頂点とする三角形について、上記第１実施形態で説明した図５のステップ１５と同様の処理により、２つの底角のそれぞれの角度を算出する。ここでコード４１１のコード矩形を例に挙げた場合、上記底辺は、パンフレット３１０の辺３１１ａと平行になる。これは上述のように、仮想頂点が、辺３１１ａと平行に形成される辺４１１ａの延長線上の点Ｅ′に決定されるからである。したがって、実際のパンフレット３１０に対して少しだけ回転させた状態で撮影され、タッチパネル１０２上に表示された撮像画像（図８参照）でも、決定された仮想頂点Ｅ′は、当該分割片３１１の実頂点Ｅ′とほぼ一致する。ここで、仮想頂点の符号と実頂点の符号をともに、“Ｅ′”としているが、これは、仮想頂点と実頂点がほぼ一致するからである。

なお、上記底辺の両端点４１１ｂ，Ｅ′は厳密には、図８上、当該分割片３１１の現実の２頂点Ｅ，Ｅ′と一致していない。しかしこれは、図を描く際の便宜上、そのようにしているに過ぎず、両端点４１１ｂ，Ｅ′を当該分割片３１１の現実の２頂点Ｅ，Ｅ′と一致又はほぼ一致させることは可能である。但し、両者を一致又はほぼ一致させなくても、両者が近い位置であれば、上記第１実施形態で説明したように、ユーザのタップ位置の誤差（曖昧さ）をサーバコンピュータ２０２側で吸収できるので、問題は生じない。

上記説明では、コード４１１を例に挙げたが、他のコード４１２〜４１６についても、同様にして仮想頂点を決定することができる。例えば、コード４１２を含む分割片３１２の一部が撮影された場合には、コード４１２には、コード４１１に対して、方向が逆向きの辺・方向特定情報が埋め込まれているので、仮想頂点は点Ｆ′に決定される。

またコード４１３，４１４は、パンフレット３１０の矩形を構成する４頂点ではなく、パンフレット３１０の長辺の中間に形成（印刷）されている。このように、頂点以外の位置にコード４１３，４１４を形成したのは、次の理由による。つまり、当該長辺の中心地点を撮影して撮像画像を表示し、その撮像画像上をタップ指示する場合でも、いずれか１つのコードを含ませて撮影しなければならない。しかしこの場合に、コードがパンフレット３１０の頂点Ｅ，Ｆ，Ｉ，Ｊ又はその近傍にしか印刷されていないとすると、スマートフォン１００をパンフレット３１０からかなり離して撮影しなければならず、現実的ではないからである。

本実施形態に係る発明を適用する具体例として、パンフレット３１０が非常に大きいので、撮影する領域をいくつにも区切った上で撮影して、撮像画像を表示する場合を挙げて説明した。しかし本実施形態に係る発明は、パンフレット３１０は、少なくとも、上記第１実施形態のように、左ページ３０１又は右ページ３０２のいずれかを１度に撮影して表示できるものの、その一部が折れ曲がっていたり、隠れていたりして、２頂点のうちのいずれか１頂点しか検出できない場合にも、有効に適用することができる。

以上のようにして、タッチパネル１０２を備えたスマートフォン１００に実行されるコード検出・デコード処理及び仮想頂点算出処理は、複数のコード４１１〜４１６が印刷されたパンフレット３１０のうち、１つのコード４１１を含む分割片３１１の一部を撮影して得られた撮像画像であって、タッチパネル１０２上に表示された撮像画像に対してユーザがタップ指示した位置を検出する処理と、タッチパネル１０２上に表示された撮像画像から、当該撮像画像に含まれる１つのコード４１１を検出する処理（ステップ２１〜２３）と、当該検出されたコードをデコードする処理（ステップ２４）と、そのデコード結果から、当該コードに埋め込まれた埋込み情報を検出する処理（ステップ２５）と、検出された埋込み情報に基づいて、頂点Ｅ，Ｅ′を決定する処理（ステップ３１〜３４）と、決定された頂点Ｅ，Ｅ′を結ぶ線分を底辺とし、上記検出された、ユーザがタップ指示した位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する処理と、上記算出された２つの底角の角度をサーバコンピュータ２０２に出力する処理と、を有する。

本コード検出・デコード処理及び仮想頂点算出処理によれば、被写体であるパンフレット３１０が、分割片３１１の一部であって、複数のコードのうちのいずれか１つのみ含む領域を撮影して、撮像画像とせざるを得ないほど大きい場合でも、当該１つのコードに埋め込まれた埋込み情報に基づいて、分割片３１１の２頂点Ｅ，Ｅ′を決定できる。そして、決定された２頂点Ｅ，Ｅ′は、当該分割片３１１の現実の２頂点とほぼ一致する。さらに、決定された２頂点Ｅ，Ｅ′、つまり当該分割片３１１の現実の２頂点とほぼ一致する２頂点Ｅ，Ｅ′を結ぶ線分を底辺とし、上記検出されたユーザのタップ位置を頂点とする三角形について、２つの底角のそれぞれの角度を算出して出力することができる。したがって、ユーザにより指示された撮像画像上の位置を簡単に特定し、簡単なフォーマットの情報で出力することが可能となる。

ちなみに、分割片３１１の一部は、「部分領域」の一例である。

また、検出された埋込み情報に含まれる方向特定情報が、上記検出されたコードが含まれる位置から所定の方向とその逆方向のいずれか一方の方向を示している場合には、上記仮想頂点算出処理では、上記検出されたコードが含まれる位置のうち、上記方向特定情報により示される方向と逆方向の位置の点を、２頂点Ｅ，Ｅ′のうちの１頂点Ｅに決定するとともに、上記検出された埋込み情報に含まれる、上記方向特定情報により示される方向に延長させる先を示す倍数に基づいて延長させた点を、仮想頂点Ｅ′として、上記２頂点Ｅ，Ｅ′のうちのもう１頂点Ｅ′に決定する。

これにより、ユーザは、パンフレット３１０の分割片３１１の一部であって、少なくとも、コードの形成された１頂点を含む領域を撮影して得られた撮像画像上をタップしたとしても、そのタップ位置をほぼ正確に特定して、サーバコンピュータ２０２に出力することができる。

ちなみに、仮想頂点算出処理は、「基点決定処理」の一例である。頂点Ｅは、「角度算出基点」の一例である。仮想頂点Ｅ′は、「仮想角度算出基点」の一例である。倍数は、「延長先情報」の一例である。

なお、本発明は上記各実施形態に限定されるものでなく、その趣旨を逸脱しない範囲で様々な変更が可能である。

（１）上記各実施形態では、物理媒体としての印刷媒体として、パンフレット３００を例に挙げて説明したが、これに限らず、カタログやチラシなどの他の印刷媒体であっても、本発明を同様に適用することができる。また、印刷媒体ではなく、情報を手書きした紙媒体でもよいし、紙媒体に限らず、掲示板（ホワイトボードを含む）や看板などでもよい。つまり、情報の記載された物理媒体であれば、本発明を同様に適用することができる。但し、上記第１実施形態で説明した発明を適用する場合には、上記条件Ｃ２が必要となるが、厳密に、物理媒体の輪郭とその近傍が白であり、背景が暗めの色である必要はなく、要するに、適応的２値化処理により、物理媒体の輪郭を構成する矩形が検出できるような配色であればよい。さらに被写体として、情報を手書きした物理媒体を用いた場合、コードは通常、印刷されたものを用いる必要があるが、その場合には、シールの表面にコードを印刷し、それを目的の位置に貼り付けるようにすればよい。

（２）上記各実施形態では、タッチパネル１０２上に表示された撮像画像３０１"，３０２"に対する指示は、ユーザ自身の指で行うとしたが、これに限らず、スタイラスペンなどを用いて行うようにしてもよい。また指示態様は、上記各実施形態では、タップ、つまりシングルタップを想定しているが、これに限らず、ダブルタップでもよいし、さらに他の指示態様であってもよい。

（３）上記各実施形態では、撮像画像３０１"，３０２"上のユーザの指示位置は、所定の三角形の２つの底角の角度によって特定するようにしたが、これに限らず、当該三角形の頂点、つまりユーザの指示位置の点から、当該三角形の底辺に延ばした垂線と、その両側の辺とのなす角、つまり、頂角を垂線によって分割して形成される２角の角度によって特定するようにしてもよい。

（４）上記第１実施形態では、パンフレット３００全体を一度に撮影して撮像画像とする場合については言及されていないが、この場合には、上記図５のパンフレット検出処理のステップ１３において、完全な矩形が検出されるので、続くステップ１４において、４つの頂点が検出される。このように、４つの頂点が検出された場合には、いずれの２つの頂点を用いて底角を算出するかが問題となる。この場合には、隣接する２つの頂点と、ユーザの指示位置の点により形成される三角形において、前者の２つの頂点の角を底角とし、その角度を算出して、当該撮像画像上のユーザの指示位置を特定するようにすればよい。

（５）上記第２実施形態では、パンフレット３１０を分割する個数として、４個を例に挙げたが、この個数に限られる訳ではなく、４個より多くても、少なくてもよい。また分割態様は、等分に限らず、不等分であってもよい。

（６）上記第２実施形態では、２つの底角の各角度を算出するための三角形の底辺は、その端点の一方を実頂点とし、他方をコードに埋め込まれた情報に基づいて算出するようにしたが、これに限らず、当該三角形の底辺の両端点とも、算出するようにしてもよい。その場合、コードに、当該コード矩形の所定の１頂点を両方向（典型的には、上下又は左右）に延ばす倍数を埋め込んでおき、この埋込み情報から、仮想頂点を２点決めるようにすればよい。

このように、検出された埋込み情報に含まれる方向特定情報が、検出されたコードが含まれる位置から所定の方向とその逆方向のいずれも示している場合には、仮想頂点算出処理では、上記検出されたコードが含まれる位置を、上記検出された埋込み情報に含まれる、上記所定の方向及びその逆方向にそれぞれ延長させる各先を示す倍率に基づいて延長させた点を、仮想頂点として、２頂点Ｅ，Ｅ′に決定する。

これにより、ユーザは、パンフレット３１０の分割片３１１の一部であって、少なくとも、コードの形成された１頂点を含む領域を撮影して得られた撮像画像上をタップしたとしても、そのタップ位置をほぼ正確に特定して、サーバコンピュータ２０２に出力することができる。

（７）上記各実施形態では、情報を埋め込む際のコード化の方法については言及されていない。これは本発明では、どのような方法によりコード化されても、デコードにより埋込み情報が検出できれば、問題は生じないので、どのようなコード化方法を採用してもよいという趣旨である。

１００ スマートフォン
１０１ ＣＰＵ
１０２ タッチパネル
１０５ メモリ
１１０ 通信Ｉ／Ｆ
２０１ 通信ネットワーク
２０２ サーバコンピュータ

Claims (13)

1. タッチパネルを備えた端末装置に、
   情報の記載された物理媒体を撮影して得られた撮像画像であって、前記タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出処理と、
   前記タッチパネル上に表示された撮像画像から前記物理媒体に含まれる角度算出基点を２点検出する基点検出処理と、
   前記基点検出処理により検出された２点の角度算出基点を結ぶ線分を底辺とし、前記位置検出処理により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出処理と、
   前記角度算出処理により算出された２つの底角の角度を外部に出力する角度出力処理と、
   を実行させ、
   サーバ装置に、
   前記角度出力処理により出力された前記２つの底角の角度を受信する受信処理と、
   前記受信処理により受信された前記２つの底角の角度、及び、前記撮像画像の基とする前記物理媒体に含まれる前記角度算出基点に基づいて、前記撮像画像に対して前記ユーザが押下指示した前記位置に対応する、前記物理媒体上の位置を特定する特定処理と、
   前記特定処理により特定された前記物理媒体上の位置から、前記ユーザが押下指示した情報を取得する情報取得処理と、
   前記情報取得処理により取得された情報を前記端末装置に送信する送信処理と、
   を実行させる、
   情報処理プログラム。
2. 前記端末装置はさらに、カメラを備え、
   前記撮像画像は、ユーザが前記カメラを用いて物理媒体を撮影して得られたものであることを特徴とする請求項１に記載の情報処理プログラム。
3. 前記物理媒体は、平面視矩形状のものであり、
   前記２点の角度算出基点は、前記物理媒体の４隅のうちの隣接する２隅である
   ことを特徴とする請求項１又は２に記載の情報処理プログラム。
4. 前記端末装置にさらに、
   前記２点の角度算出基点のうち、少なくとも１点に対応する、前記物理媒体上の位置に形成されたコードを検出するコード検出処理と、
   前記コード検出処理により検出されたコードをデコードするデコード処理と、
   前記デコード処理によるデコード結果から、当該コードに埋め込まれた埋込み情報のうち、少なくとも前記物理媒体を特定する特定情報を検出する特定情報検出処理と、
   前記特定情報検出処理により検出された特定情報を外部に出力する特定情報出力処理と、
   を実行させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理プログラム。
5. 前記受信処理は、前記特定情報出力処理により出力された前記特定情報を受信し、
   前記特定処理は、前記受信処理により受信された前記特定情報に基づいて、前記撮像画像の基とする前記物理媒体を特定する
   ことを特徴とする請求項４に記載の情報処理プログラム。
6. タッチパネルを備えた端末装置に、
   情報及び複数のコードが記載された物理媒体のうち、１つのコードを含む部分領域を撮影して得られた撮像画像であって、前記タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出処理と、
   前記タッチパネル上に表示された撮像画像から、当該撮像画像に含まれる１つのコードを検出するコード検出処理と、
   前記コード検出処理により検出されたコードをデコードするデコード処理と、
   前記デコード処理によるデコード結果から、当該コードに埋め込まれた埋込み情報を検出する埋込み情報検出処理と、
   前記埋込み情報検出処理により検出された埋込み情報に基づいて、角度算出基点を２点決定する基点決定処理と、
   前記基点決定処理により決定された２点の角度算出基点を結ぶ線分を底辺とし、前記位置検出処理により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出処理と、
   前記角度算出処理により算出された２つの底角の角度を外部に出力する角度出力処理と、
   を実行させ、
   サーバ装置に、
   前記角度出力処理により出力された前記２つの底角の角度を受信する受信処理と、
   前記受信処理により受信された前記２つの底角の角度、及び、前記撮像画像の基とする前記物理媒体に含まれる前記角度算出基点に基づいて、前記撮像画像に対して前記ユーザが押下指示した前記位置に対応する、前記物理媒体上の位置を特定する特定処理と、
   前記特定処理により特定された前記物理媒体上の位置から、前記ユーザが押下指示した情報を取得する情報取得処理と、
   前記情報取得処理により取得された情報を前記端末装置に送信する送信処理と、
   を実行させる、
   情報処理プログラム。
   
7. 前記検出された埋込み情報に含まれる方向特定情報が、前記検出されたコードが含まれる位置から所定の方向とその逆方向のいずれか一方の方向を示している場合には、前記基点決定処理では、前記検出されたコードが含まれる位置のうち、前記方向特定情報により示される方向と逆方向の位置の点を、前記２点の角度算出基点のうちの１点に決定するとともに、前記検出された埋込み情報に含まれる、前記方向特定情報により示される方向に延長させる先を示す延長先情報に基づいて延長させた点を、仮想角度算出基点として、前記２点の角度算出基点のうちのもう１点に決定することを特徴とする請求項６に記載の情報処理プログラム。
8. 前記検出された埋込み情報に含まれる方向特定情報が、前記検出されたコードが含まれる位置から所定の方向とその逆方向のいずれも示している場合には、前記基点決定処理では、前記検出されたコードが含まれる位置を、前記検出された埋込み情報に含まれる、前記所定の方向及びその逆方向にそれぞれ延長させる各先を示す延長先情報に基づいて延長させた点を、仮想角度算出基点として、前記２点の角度算出基点に決定することを特徴とする請求項６に記載の情報処理プログラム。
9. 前記検出された埋込み情報には、前記物理媒体を特定する物理媒体特定情報が含まれており、
   前記端末装置にさらに、
   前記物理媒体特定情報を外部に出力する特定情報出力処理を実行させることを特徴とする請求項７又は８に記載の情報処理プログラム。
10. タッチパネルと、
    情報の記載された物理媒体を撮影して得られた撮像画像であって、前記タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出手段と、
    前記タッチパネル上に表示された撮像画像から前記物理媒体に含まれる角度算出基点を２点検出する基点検出手段と、
    前記基点検出手段により検出された２点の角度算出基点を結ぶ線分を底辺とし、前記位置検出手段により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出手段と、
    前記角度算出手段により算出された２つの底角の角度を外部に出力する出力手段と、
    を有する端末装置と、
    前記出力手段により出力された前記２つの底角の角度を受信する受信手段と、
    前記受信手段により受信された前記２つの底角の角度、及び、前記撮像画像の基とする前記物理媒体に含まれる前記角度算出基点に基づいて、前記撮像画像に対して前記ユーザが押下指示した前記位置に対応する、前記物理媒体上の位置を特定する特定手段と、
    前記特定手段により特定された前記物理媒体上の位置から、前記ユーザが押下指示した情報を取得する情報取得手段と、
    前記情報取得手段により取得された情報を前記端末装置に送信する送信手段と、
    を有するサーバ装置と、
    を含むことを特徴とするサーバ・クライアントシステム。
11. タッチパネルと、
    情報及び複数のコードが記載された物理媒体のうち、１つのコードを含む部分領域を撮影して得られた撮像画像であって、前記タッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出手段と、
    前記タッチパネル上に表示された撮像画像から、当該撮像画像に含まれる１つのコードを検出するコード検出手段と、
    前記コード検出手段により検出されたコードをデコードするデコード手段と、
    前記デコード手段によるデコード結果から、当該コードに埋め込まれた埋込み情報を検出する埋込み情報検出手段と、
    前記埋込み情報検出手段により検出された埋込み情報に基づいて、角度算出基点を２点決定する基点決定手段と、
    前記基点決定手段により決定された２点の角度算出基点を結ぶ線分を底辺とし、前記位置検出手段により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出手段と、
    前記角度算出手段により算出された２つの底角の角度を外部に出力する角度出力手段と、
    を有する端末装置と、
    前記角度出力手段により出力された前記２つの底角の角度を受信する受信手段と、
    前記受信手段により受信された前記２つの底角の角度、及び、前記撮像画像の基とする前記物理媒体に含まれる前記角度算出基点に基づいて、前記撮像画像に対して前記ユーザが押下指示した前記位置に対応する、前記物理媒体上の位置を特定する特定手段と、
    前記特定手段により特定された前記物理媒体上の位置から、前記ユーザが押下指示した情報を取得する情報取得手段と、
    前記情報取得手段により取得された情報を前記端末装置に送信する送信手段と、
    を有するサーバ装置と、
    を含むことを特徴とするサーバ・クライアントシステム。
    
12. 情報の記載された物理媒体を撮影して得られた撮像画像であって、端末装置のタッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出工程と、
    前記タッチパネル上に表示された撮像画像から前記物理媒体に含まれる角度算出基点を２点検出する基点検出工程と、
    前記基点検出工程により検出された２点の角度算出基点を結ぶ線分を底辺とし、前記位置検出工程により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出工程と、
    前記角度算出工程により算出された２つの底角の角度を外部に出力する角度出力工程と、
    前記角度出力工程により出力された前記２つの底角の角度を受信する受信工程と、
    前記受信工程により受信された前記２つの底角の角度、及び、前記撮像画像の基とする前記物理媒体に含まれる前記角度算出基点に基づいて、前記撮像画像に対して前記ユーザが押下指示した前記位置に対応する、前記物理媒体上の位置を特定する特定工程と、
    前記特定工程により特定された前記物理媒体上の位置から、前記ユーザが押下指示した情報を取得する情報取得工程と、
    前記情報取得工程により取得された情報を前記端末装置に送信する送信工程と、
    を有することを特徴とする情報処理方法。
13. 情報及び複数のコードが記載された物理媒体のうち、１つのコードを含む部分領域を撮影して得られた撮像画像であって、端末装置のタッチパネル上に表示された撮像画像に対してユーザが押下指示した位置を検出する位置検出工程と、
    前記タッチパネル上に表示された撮像画像から、当該撮像画像に含まれる１つのコードを検出するコード検出工程と、
    前記コード検出工程により検出されたコードをデコードするデコード工程と、
    前記デコード工程によるデコード結果から、当該コードに埋め込まれた埋込み情報を検出する埋込み情報検出工程と、
    前記埋込み情報検出工程により検出された埋込み情報に基づいて、角度算出基点を２点決定する基点決定工程と、
    前記基点決定工程により決定された２点の角度算出基点を結ぶ線分を底辺とし、前記位置検出工程により検出された位置を頂点とする三角形について、２つの底角の角度をそれぞれ算出する角度算出工程と、
    前記角度算出工程により算出された２つの底角の角度を外部に出力する角度出力工程と、
    前記角度出力工程により出力された前記２つの底角の角度を受信する受信工程と、
    前記受信工程により受信された前記２つの底角の角度、及び、前記撮像画像の基とする前記物理媒体に含まれる前記角度算出基点に基づいて、前記撮像画像に対して前記ユーザが押下指示した前記位置に対応する、前記物理媒体上の位置を特定する特定工程と、
    前記特定工程により特定された前記物理媒体上の位置から、前記ユーザが押下指示した情報を取得する情報取得工程と、
    前記情報取得工程により取得された情報を前記端末装置に送信する送信工程と、
    を有することを特徴とする情報処理方法。

Images