JP5751430B2 - 画像処理端末、画像処理システム、および画像処理端末の制御プログラム - Google Patents

Description

この発明は、拡張現実感を生み出しつつ画像の処理を行なうことが可能な画像処理端末に、ネットワーク経由でサーバー上のデータベースから取得した情報を表示することが可能な画像処理端末、画像処理システム、および画像処理端末の制御プログラムに関する。

近年、スマートフォンやタブレット端末等をはじめとする、画像の処理を行なうことが可能な画像処理端末の分野において、端末側での保持データ量をできる限り削減し、サーバー上のデータベースから各種の情報を取得して、取得した情報を端末上に表示する技術が盛んに研究されている。このような技術を用いて、文書検索の容易化を図る技術として、例えば下記の特許文献１がある。

また、紙媒体等の印刷物上に二次元バーコードスタンプを配置し、当該スタンプを画像処理端末によりスキャンして文書認証に用いる技術が、下記の特許文献２に記載されている。

さらに、撮像部で撮影された実映像に対応して、映像オブジェクト記憶部から映像オブジェクトを読み出して、それらを重畳し、その結果、生成された仮想映像を表示することにより拡張現実感を作り出す仮想映像表示システムに関する技術が、下記の特許文献３に記載されている。

特開２００７−２６４９９２号公報 特開２００９−２３０７４８号公報 特開２００９−３０１３５０号公報

スマートフォンやタブレット端末等の画像処理端末には、ＣＭＯＳイメージセンサー等のカメラ機能が設けられていることが多い。このカメラ機能を用いて、紙媒体の印刷物等の特定の被写体を撮影し、撮影された被写体の実映像に対応して、映像オブジェクト（本願ではエアタグと称する）を実映像に重畳し、その結果、生成された仮想映像を画像処理端末の表示部に表示することにより拡張現実感を作り出すことが考えられる。

このエアタグの使用例として、例えば各種機器の操作マニュアル等の印刷物を画像処理端末で撮影しつつ、その表示部に印刷物のリアルタイム画像とともに、エアタグを重畳的に表示することが考えられる。この場合、リアルタイムで表示部に表示されたその印刷物のうちの特定箇所（例えば特定の単語や特定の図等）に応じて、その特定箇所に関連した、補足すべき電子的な情報（例えば、単語を説明するヘルプの情報、図の更なる詳細構成や機器動作状態の動画の情報等、以下、電子補足情報と称する）の項目名をエアタグとして重畳的に示すことができる。

具体的には、画像解析技術を利用することにより、印刷物に予め印刷された二次元コード等を画像処理端末で解析し、当該印刷物を特定して、当該印刷物に予め関連付けられた電子補足情報が存在する場合には、その電子補足情報を読み出し、表示部上において、電子補足情報内で指定される印刷物の特定箇所の近傍に、エアタグを配置することができる。そして、このエアタグとして、漫画等に良く用いられる、いわゆる吹き出しの形状で、電子補足情報の内容の項目名を文字表示すること等が考えられる。そして、ユーザーは、表示されたエアタグをタッチスクリーン機能を有する表示部にてタッチするなどして、電子補足情報を表示部に表示させることができる。

ここで、上記の電子補足情報を、画像処理端末内ではなく、画像処理端末にネットワークを介して接続することが可能なサーバー上のデータベース内に保存しておき、必要に応じて、ユーザーが画像処理端末を操作することにより、上記の電子補足情報を呼び出すことが考えられる。このように、画像処理端末側に電子補足情報を蓄えずに、ネットワークを介して接続可能なサーバー上のデータベースの側で電子補足情報を記憶しておけば、画像処理端末の記憶容量が小さく済む上、電子補足情報のアップデートをサーバーの側で一元的に行なうことができる。

しかし、上記のエアタグを表示可能な画像処理端末において、表示部にエアタグが多数表示されていると、タッチスクリーン表示部上にて、隣接するエアタグに誤ってタッチしてしまうなどの、エアタグを選択することが困難な場合が起こりうる。特にスマートフォン等の、表示部のそれほど大きくない画像処理端末の場合には、この問題が顕著となる。

この発明は上記の事情に鑑みてなされたもので、エアタグが多数存在する場合であっても、適切にエアタグを選択することが可能な画像処理端末、画像処理システム、および画像処理端末の制御プログラムを提供することを目的とする。

本発明の画像処理端末は、被写体を撮影する撮影部と、該撮影部で撮影された被写体の画像を表示する表示部と、を備える画像処理端末であって、前記撮影部で撮影された被写体に補足すべき電子的情報たる電子補足情報を取得する電子補足情報取得部と、前記電子補足情報取得部で取得された前記電子補足情報に対応する映像オブジェクトたるエアタグを前記被写体の画像に重畳させて前記表示部に表示させる電子補足情報表示制御部と、前記撮影部で撮影された被写体の画像を解析する画像解析部と、を有し、前記表示部が複数の前記エアタグを表示している際に、前記撮影部で撮影される前記被写体の特定箇所に対するズームアップ撮影又は近接撮影が実行されたとき、前記画像解析部が、前記撮影部で前記ズームアップ撮影又は近接撮影された前記被写体内の前記特定箇所を割り出し、前記表示部が、複数の前記エアタグのうち、前記画像解析部で割り出された前記特定箇所に対応付けられたエアタグのみを表示位置を変えずに表示し、他の複数のエアタグの表示を消すことを特徴とする。

これらの画像処理端末において、前記特定のコードが前記被写体に付与されてあり、
前記画像解析部が、前記撮影部で撮影した前記被写体を画像解析することで、当該被写体上の前記特定のコードを抽出するものとしても構わない。

又、上述の画像処理端末において、特定箇所の指示動作が行なわれた後に、特定箇所に対応付けられたエアタグ以外の他の複数のエアタグの表示を消して、特定箇所に対応付けられたエアタグのみを表示することで、ユーザーは予め、被写体に関連付けられた複数の電子補足情報の全体を把握しつつ、一方で、必要な電子補足情報にアクセスしたいときは、その他の余計な電子補足情報の表示に煩わされることが無い。

又、上記の画像処理端末において、前記電子補足情報表示制御部が前記エアタグを重畳する前記被写体の画像が、前記撮影部で撮影された前記被写体のリアルタイム画像であるものとしても構わないし、前記電子補足情報表示制御部が前記エアタグを重畳する前記被写体の画像が、前記被写体の電子化データによる画像であるものとしても構わない。更に、前記エアタグを重畳する前記被写体の画像を、前記被写体のリアルタイム画像又は電子化データのいずれかから選択できるものとしても構わない。

又、上記の画像処理端末において、前記被写体を特定する特定のコードに関連づけて前記被写体の前記電子補足情報を記憶したデータベースを有する前記サーバーとネットワークを介して通信を行うネットワークインターフェースを、更に備えるとともに、該ネットワークインターフェースにより、前記撮影部で撮影した前記被写体を特定する特定のコードを前記サーバーに送信するとともに、前記被写体の前記電子補足情報を前記サーバーから受信することで、前記電子補足情報取得部が前記電子補足情報を取得するものとしても構わない。

本発明の画像処理システムは、上述のいずれかの画像処理端末と、サーバーとがネットワークを介して接続可能とされる画像処理システムであって、前記サーバーが、前記被写体を特定する特定のコードに関連づけて前記被写体の前記電子補足情報をデータベースを有し、前記画像処理端末において、前記撮影部で撮影した前記被写体を特定する特定のコードを前記サーバーに送信するとともに、前記被写体の前記電子補足情報を前記サーバーから受信することで、前記電子補足情報取得部が前記電子補足情報を取得することを特徴とする。

本発明の制御プログラムは、被写体を撮影する撮影部と、該撮影部で撮影された被写体の画像を表示する表示部と、を備える画像処理端末における制御プログラムであって、前記撮影部で撮影された被写体に補足すべき電子的情報たる電子補足情報を取得する第１ステップと、前記第１ステップで取得された前記電子補足情報に対応する映像オブジェクトたるエアタグを前記被写体の画像に重畳させて前記表示部に表示させる第２ステップと、前記第２ステップにより前記表示部が複数の前記エアタグを表示している際に、前記撮影部で撮影される前記被写体の特定箇所に対するズームアップ撮影又は近接撮影が実行されたときに、前記撮影部で前記ズームアップ撮影又は近接撮影された前記被写体内の前記特定箇所を割り出す第５ステップと、前記表示部が、複数の前記エアタグのうち、前記第５ステップで割り出された前記特定箇所に対応付けられたエアタグのみを表示位置を変えずに表示し、他の複数のエアタグの表示を消す第６ステップと、を有することを特徴とする。

本発明によれば、表示部に表示された画像上ではなく、被写体上を指先で直接指示する動作を撮影することで、被写体内の特定箇所を特定し、その被写体とともに表示部に表示される複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを選択して、表示部上に表示させる。よって、表示部上に表示された画像に対して指先で指示する場合に比べて、その指示できる領域範囲が広げることができるため、エアタグの選択が容易となるため、エアタグが多数存在する場合であっても、適切にエアタグを選択できる。

又、本発明によれば、被写体内の特定箇所へのズームアップ撮影又は近接撮影によって、被写体内の特定箇所を特定し、その被写体とともに表示部に表示される複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを選択して、表示部上に表示させる。よって、特定箇所を拡大させる撮影動作だけで指示できることから、エアタグの選択が容易となるため、エアタグが多数存在する場合であっても、適切にエアタグを選択できる。

被写体に付与された特定のコードを画像解析により抽出できるものとすることによって、画像処理端末における被写体の特定を容易に行うことができる。又、エアタグを重畳する被写体の画像をリアルタイム画像とすることで、ユーザーの好みに合わせた被写体の位置で、エアタグを表示させることができる。又、エアタグを重畳する被写体の画像を電子化データによる画像とすることで、ユーザーによる手振れなどによる表示部上の画像の位置ブレを防ぐことができる。

更に、ネットワークを介して通信するサーバーのデータベースに、電子補足情報が記憶されるものとすることで、必要に応じて、ユーザーが画像処理端末を操作することにより、被写体の電子補足情報を呼び出すことができる。従って、画像処理端末に電子補足情報を蓄える必要がなく、画像処理端末の記憶容量が小さく済む上、電子補足情報のアップデートをサーバーの側で一元的に行なうことができる。

実施の形態１に係る画像処理システムの構成例を示す図である。 画像処理端末１００の詳細構成を示すブロック図である。 被写体ＭＮと電子補足情報との関連を示す図である。 画像処理端末１００に表示されるエアタグの例を示す図である。 画像処理端末１００とサーバー３００とで行なわれる処理を示すフローチャートである。 表示部１０１にてリアルタイム表示された被写体ＭＮにエアタグが重畳して表示されている状態を示す図である。 複数のエアタグから特定のエアタグを指示する場合の、電子補足情報の表示に関する状態遷移図である。 実施の形態２に係る画像処理システムにおける、画像処理端末１００とサーバー３００とで行なわれる処理を示すフローチャートである。

＜実施の形態１＞
本実施の形態は、画像処理端末のユーザーによる、被写体内の特定箇所を、表示部上ではなく被写体上にて指先で指示する動作に基づき、画像処理部が、指先の表示部上での位置を画像解析により特定して、被写体内の特定箇所を割り出し、複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを、表示部上にて表示する画像処理システムおよび画像処理方法である。

図１は、本実施の形態に係る画像処理システムの構成例を示す図である。この画像処理システムは、スマートフォンやタブレット端末等をはじめとする、画像の処理を行なうことが可能な携帯情報機器たる画像処理端末１００と、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のようなクローズドネットワークあるいはインターネット等のオープンネットワークのいずれであってもよい通信網たるネットワーク２００と、画像処理端末１００をクライアントとするサーバー３００と、を備える。

画像処理端末１００は、ネットワーク２００に無線ＬＡＮアクセスポイント２０１を介して接続可能である。そしてさらに、画像処理端末１００は、ネットワーク２００を介してサーバー３００と接続可能である。また、サーバー３００はデータベース３０１を有している。

図２は、画像処理端末１００の詳細構成を示すブロック図である。画像処理端末１００は、液晶ディスプレイや有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等で構成され、タッチスクリーン機能を有する表示部１０１と、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーカメラやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーカメラ等で構成される撮影部１０２と、表示部１０１に表示すべき画像および撮影部１０２で撮影された画像に対して画像処理を行なう画像処理部１０３と、ネットワーク２００に接続するためのインターフェースであるネットワークインターフェース１０４とを含む。なお、図２においては、説明の簡略化のため、画像処理端末１００とネットワーク２００との間に配置される無線ＬＡＮアクセスポイント２０１の表示を省略している。

本実施の形態に係る画像処理端末１００は、撮影部１０２を用いて、図１において「原稿」と示された、紙媒体の印刷物等の被写体ＭＮを撮影し、撮影部１０２で撮影された被写体ＭＮを表示部１０１にリアルタイムで表示することが可能である。そして、画像処理端末１００の画像処理部１０３は、撮影された被写体ＭＮの実映像に対応して、映像オブジェクトたるエアタグを実映像に重畳し、その結果、生成された仮想映像を表示部１０１に表示することにより拡張現実感を作り出すことが可能である。

エアタグの使用例として、以下が考えられる。すなわち、被写体ＭＮが例えば各種機器の操作マニュアル等の印刷物である場合に、撮影部１０２で被写体ＭＮを撮影しつつ、表示部１０１に印刷物たる被写体ＭＮのリアルタイム画像とともに、あるいは、被写体ＭＮの電子化データ（例えば被写体ＭＮを予めスキャンすることにより得られたＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）データやＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データ等）とともに、エアタグを重畳的に表示することが考えられる。この場合、表示部１０１に表示されたその印刷物のうちの特定箇所（例えば特定の単語や特定の図等）に応じて、画像処理部１０３が、その特定箇所に関連した、被写体ＭＮに補足すべき電子的な情報たる電子補足情報（例えば、単語を説明するヘルプの情報、図の更なる詳細構成や機器動作状態の動画の情報等）の項目名をエアタグとして重畳的に示すことができる。

ここで、上記の電子補足情報は、画像処理端末１００内に保存されるものと限られるものではなく、画像処理端末１００にネットワーク２００を介して接続することが可能なサーバー３００上のデータベース３０１内に、被写体ＭＮの電子化データとともに、保存されるものとしてもよい。これにより、必要に応じて、ユーザーが画像処理端末１００を操作することにより、上記の電子補足情報および被写体ＭＮの電子化データを呼び出すことができる。このように、画像処理端末１００側に電子補足情報を蓄えずに、サーバー３００上のデータベース３０１の側で電子補足情報を記憶した場合、画像処理端末の記憶容量が小さく済む上、電子補足情報のアップデートをサーバー３００の側で一元的に行なうことができる。尚、以下では、電子補足情報がサーバー３００上のデータベース３０１に記憶される例を挙げて説明する。

図３は、被写体ＭＮと電子補足情報との関連を示す図である。ここでは、例えば被写体ＭＮが、４ページで構成される文書Ａであり、文書Ａの１ページ目ＭＮａに電子補足情報ＥＳａが、２ページ目ＭＮｂに電子補足情報ＥＳｂが、４ページ目ＭＮｄに電子補足情報ＥＳｄが、それぞれ関連付けられている例が示されている。なお、この例では、文書Ａの３ページ目ＭＮｃには、対応する電子補足情報は存在しない。

図３においては、電子補足情報ＥＳａの例として、文書Ａの１ページ目を示すＩＤ情報１（ＡＡＡＡＡＡＡと表記）、用紙のサイズを示すサイズ情報２、および、文書Ａの１ページ目内のどの位置（例えば、当該ページにおける後述の原点位置からの相対位置）に、どのようなタイトル（項目名）のエアタグを表記し、補足情報の内容はどういうものであるか（例えば機器動作状態の図形のアニメーションや音声情報等）を示すエリア電子補足情報３ａ〜３ｃが示されている。このエリア電子補足情報３ａ〜３ｃの一つ一つが、表示部１０１に表示されるエアタグの一つ一つにそれぞれ対応する。

図４は、画像処理端末１００に表示されるエアタグの例を示す図である。図４において、文書Ａの１ページ目ＭＮａには、文書Ａの１ページ目を示すＩＤ情報１に対応する二次元コード等の特定のコードＣＤが、予め印刷やシール貼付により付与されている。この特定のコードＣＤは、文書Ａの１ページ目を示すＩＤ情報１を示している。そして、この文書Ａの１ページ目ＭＮａには、エリア電子補足情報３ａ〜３ｃにそれぞれ対応するエアタグを表示可能な箇所である、エアタグ表示可能箇所ＰＴａ〜ＰＴｃが含まれる。なお、図４では、エアタグ表示可能箇所ＰＴａに対応するエアタグＡＴａのみが、画像処理端末１００の表示部１０１上にて表示されている。

エアタグＡＴａは、表示部１０１上において、エリア電子補足情報３ａ内の位置情報で指定される位置に配置されている。そして、このエアタグＡＴａとして、漫画等に良く用いられる、いわゆる吹き出しの形状で、電子補足情報の内容の項目名（ここでは例として“補足情報があります”との表記）を文字表示している。

図５は、画像処理端末１００とサーバー３００とで行なわれる処理を示すフローチャートである。

まず、ユーザーが画像処理端末１００を操作することにより、本実施の形態に係るアプリケーションプログラムが起動される（ステップＳ１）。続いて、被写体ＭＮの撮影が行なわれる（ステップＳ２）。

ここで、画像処理部１０３は、画像解析部１０３ａ、電子補足情報表示制御部１０３ｂ、電子補足情報取得部１０３ｃおよび指検出用データ１０３ｄを有している。

画像解析部１０３ａは、撮影された被写体ＭＮに、二次元コード等の特定のコードＣＤが含まれるかを公知の画像解析技術により判断する。特定のコードＣＤが含まれる場合には、画像解析部１０３ａは、特定のコードＣＤが表す内容（ここでは、文書Ａの１ページ目を示すＩＤ情報１）を特定する（ステップＳ３）。そして、電子補足情報取得部１０３ｃは、この特定のコードＣＤをキーとして用いて取得したＩＤ情報１を画像解析部１０３ａより受けると、ネットワークインターフェース１０４からネットワーク２００を通じてサーバー３００に送信する（ステップＳ４）。これにより、画像処理端末１００は、サーバー３００上のデータベース３０１に対して、この特定のコードＣＤが示す文書Ａの１ページ目を示すＩＤ情報１と関連付けてデータベース３０１内に記憶された、文書Ａの１ページ目ＭＮａに関する電子補足情報ＥＳａ、および文書Ａの１ページ目ＭＮａの電子化データを要求する。

サーバー３００は、画像処理端末１００から送信されたＩＤ情報１を受信すると（ステップＳ５）、ＩＤ情報１に合致する電子化データ及び電子補足情報を、データベース３０１にて検索し（ステップＳ６）、合致するものがあれば、画像処理端末１００にそれらの情報を送信する（ステップＳ７）。これにより、ネットワークインターフェース１０４がサーバー３００から受信した電子化データ及び電子補足情報を受信して、電子補足情報取得部１０３ｃは、文書Ａの１ページ目ＭＮａの電子化データ及び電子補足情報を取得することができる（ステップＳ８）。尚、サーバー３００は、データベース３０１内より電子化データ及び電子補足情報が検索されなかった場合は、検索不可能であった旨を通知するエラー情報等が画像処理端末１００に送信され、画像処理端末１００でエラーメッセージが表示されるものとしてもよい。

画像解析部１０３ａは、公知の画像解析技術により、撮影している文書Ａの１ページ目ＭＮａの用紙エリア、及びその用紙の向きを判断する。そして、その判断に基づき、文書Ａの１ページ目ＭＮａの原点位置（例えば用紙の左上の頂点）を特定する（ステップＳ９）。続いて、電子補足情報表示制御部１０３ｂは、電子補足情報に含まれるエリア電子補足情報それぞれに含まれる位置情報に基づいて、ステップ９で特定された原点位置に対する相対的な位置を確認する。これにより、電子補足情報表示制御部１０３ｂは、表示部１０１に表示される被写体ＭＮ上における、電子補足情報から得られるエリア電子補足情報それぞれに対応するエアタグ全ての表示位置を認識し、これらのエアタグ全てを、その被写体ＭＮの画像上における各表示位置で重畳するように表示させる（ステップ１０）。

すなわち、電子補足情報表示制御部１０３ｂは、図４の文書Ａの１ページ目ＭＮａを撮影した場合、その電子補足情報によるエリア電子補足情報３ａ〜３ｃそれぞれに含まれている位置情報（図３参照）より、ステップ９で特定された原点位置に対する相対的な位置を特定する。これにより、電子補足情報表示制御部１０３ｂは、表示部１０１上に表示されている文書Ａの１ページ目ＭＮａ内における、エアタグ表示可能箇所ＰＴａ〜ＰＴｃを特定し、エアタグ表示可能箇所ＰＴａ〜ＰＴｃそれぞれに、エリア電子補足情報３ａ〜３ｃそれぞれのタイトル（項目名）によるエアタグを表示させる。

なお、このエアタグの表示に関しては、表示部１０１にてリアルタイム表示された文書Ａの１ページ目ＭＮａに重畳してエアタグを表示することもできるし、あるいは、電子補足情報取得部１０３ｃが取得した、文書Ａの１ページ目ＭＮａの電子化データに重畳してエアタグを表示することもできる。

図６は、表示部１０１にてリアルタイム表示された被写体ＭＮにエアタグが重畳して表示されている状態を示す図である。図６（ａ）に、画像処理端末１００及びサーバー３００が上述のステップ１〜ステップ１０による各動作を行うことで、画像処理端末１００の表示部１０１に複数のエアタグが表示されている状態を示す。

発明が解決しようとする課題の項にて指摘したように、図６（ａ）に示すように表示部１０１にエアタグが多数表示されていると、タッチスクリーン表示部上にて、隣接するエアタグに誤ってタッチしてしまうなどの、エアタグを選択することが困難な場合が起こりうる。

そこで、本実施の形態においては、図４に示すように、被写体ＭＮａ内のエアタグ表示可能箇所ＰＴａ〜ＰＴｃのうち、電子補足情報を表示させるべき箇所の指示を、表示部１０１上ではなく被写体ＭＮａ上にて画像処理端末１００のユーザーにより、ユーザーの指先ＦＧで指示するようにする。そして、この指示動作に基づき、画像処理部１０３の画像解析部１０３ａは、指検出用データ１０３ｄを用いつつ、指先ＦＧの表示部１０１上での位置を画像解析により特定して、被写体ＭＮａ内のエアタグ表示箇所ＰＴａ〜ＰＴｃの何れが指示されているかを割り出し、複数のエアタグのうち、指先ＦＧで指示された特定箇所である、エアタグ表示箇所ＰＴａに対応付けられたエアタグＡＴａのみを、表示部１０１上にて表示する。

すなわち、図５のフローチャートのように、ステップ１０で、画像処理端末１００は、エアタグ表示可能箇所ＰＴａ〜ＰＴｃそれぞれのエアタグＡＴａ〜ＡＴｃ全てを表示すると、画像解析部１０３ａにおいて、撮影部１０２によりユーザーの指先ＦＧが撮影されたか否かが検出される（ステップＳ１１）。このとき、ユーザーが、被写体ＭＮａを撮影している撮影部１０２の画角内にて自身の指先ＦＧで、被写体ＭＮａ上（つまり印刷物上）の、エアタグ表示可能箇所ＰＴａ〜ＰＴｃの何れかの箇所を指し示すと、ユーザーが被写体ＭＮａ上にて指し示している指先ＦＧを、撮影部１０２が撮影する。これにより、画像解析部１０３ａは、撮影部１０２によって被写体ＭＮａ上を指し示すユーザーの指先ＦＧが撮影されていることを検出するため（ステップＳ１１でＹｅｓ）、ユーザーの指し示した指先ＦＧの被写体ＭＮａ上での位置を特定する（ステップＳ１２）。

このとき、画像解析部１０３ａは、指検出用データ１０３ｄを用いて公知の画像解析を行い、ユーザーの指し示した指先の、表示部１０１上での位置を特定する。なお、指検出用データ１０３ｄには、指先の色（一般的には肌色）と印刷物の色（一般的には白色）との間のコントラストに関する画像解析用色データや、指先の形状に関する画像解析用形状データ等、指先の画像検出に関する公知のデータが含まれている。そして、その指先ＦＧの位置を、被写体ＭＮ上の二次元座標に変換する。また、上記ステップＳ１１〜Ｓ１２の動作において指先ＦＧが指定している位置を確定させる際、例えば、上記の指検出用データ１０３ｂに基づいて検出した指先ＦＧが、所定時間を超えて一定距離の範囲内にある場合に確定するものとしてもよい。

続いて、電子補足情報表示制御部１０３ｂは、変換された座標に最も近い、被写体ＭＮａ内のエアタグ表示箇所ＰＴａ〜ＰＴｃの何れかを、エアタグを表示するために指示された特定箇所として割り出す（ステップＳ１３）。そして、電子補足情報表示制御部１０３ｂは、複数のエアタグのうち、ステップＳ１３で割り出した特定箇所に対応付けられたエアタグのみを、表示部１０１上にて表示する（ステップＳ１４）。この状態を示すのが、図４の右端の図、および、図６（ｂ）である。

この後、電子補足情報表示制御部１０３ｂは、特定箇所に対応するエアタグに関連付けられた電子補足情報の内容（例えば機器動作状態の動画の情報等）を、表示部１０１に表示する。

図７は、複数のエアタグから特定のエアタグを指示する場合の、電子補足情報の表示に関する状態遷移図である。上記のアプリケーションプログラムの起動から始まって、各エアタグ表示可能箇所ＰＴａ〜ＰＴｃに対応する、表示部１０１上での各々の位置に、それぞれのエアタグが表示されている状態が、状態ＳＴ１である。

この状態ＳＴ１から、指先によるエアタグ特定を行なうと、指定されたエアタグのみを表示する状態ＳＴ２に移行する。なお、状態ＳＴ２において、ユーザーが指先ＦＧを被写体ＭＮから離して、指先ＦＧが表示部１０１に表示されなくなった場合や、あるいは、指先ＦＧを静止させず、迷っているかのような行動をとった場合などは、いったん特定されたエアタグの表示を消して、状態ＳＴ２から状態ＳＴ１に戻っても良い。そして、新たにユーザーが指先ＦＧにより他のエアタグを指し示した場合には、再び状態ＳＴ２に移行する。

状態ＳＴ２において、ユーザーが、被写体ＭＮ上で特定箇所を指示している状態で、ダブルタップ動作（用紙上ですばやく指先を上下に二回動かす動作）が行なわれた場合、画像解析部１０３ａは、その動作を指検出用データ１０３ｄを用いつつ公知の画像解析により認識して、リアルタイム表示された被写体ＭＮに電子補足情報の内容を重畳させて表示する状態ＳＴ３に移行する。

状態ＳＴ３に入ると、電子補足情報表示制御部１０３ｂは、指定されたエアタグの表示を消して、そのエアタグに対応する電子補足情報の内容（例えば、単語を説明するヘルプの情報、図の更なる詳細構成や機器動作状態の動画の情報等）を、リアルタイム表示されている被写体ＭＮに重畳して、オーバーレイ表示する。そして、電子補足情報の内容の表示が終了すれば、あるいは、ユーザーによる電子補足情報の内容の表示の強制終了の指示があれば（例えばピンチイン動作（用紙上で二本の指先を離れた状態から接近させた状態に移行させる動作）を行なう等）、状態ＳＴ２に戻る。

状態ＳＴ３では、リアルタイム表示されている被写体ＭＮに重畳して電子補足情報の内容をオーバーレイ表示したが、リアルタイム表示されている被写体ＭＮでは、手振れ等で見づらい場合も考えられる。その場合は、状態ＳＴ２において、ユーザーが、被写体ＭＮ上で特定箇所を指示している状態で、二本の指を使い、ピンチアウト動作（用紙上で二本の指先を接近させた状態から離れた状態に移行させる動作）をユーザーが行なってもよい。このピンチアウト動作が行なわれた場合、画像解析部１０３ａは、その動作を指検出用データ１０３ｄを用いつつ公知の画像解析により認識して、被写体ＭＮの電子化データに電子補足情報の内容を重畳させて表示する状態ＳＴ４に移行する。

状態ＳＴ４に入ると、電子補足情報表示制御部１０３ｂは、指定されたエアタグの表示を消し、実映像のリアルタイム表示を終了させて、そのエアタグに対応する電子補足情報の内容（例えば、単語を説明するヘルプの情報、図の更なる詳細構成や機器動作状態の動画の情報等）を、予めデータベース３０１から呼び出しておいた被写体ＭＮの電子化データ（例えば被写体ＭＮを予めスキャンすることにより得られたＰＤＦデータやＪＰＥＧデータ等）に重畳して、オーバーレイ表示する。このように、被写体ＭＮの電子化データを用いて電子補足情報の内容をオーバーレイ表示させれば、手振れ等の問題なく、表示部１０１にて被写体ＭＮをクリアに表示させることができる。そして、電子補足情報の内容の表示が終了すれば、あるいは、ユーザーによる電子補足情報の内容の表示の強制終了の指示があれば（例えばピンチイン動作を行なう等）、状態ＳＴ２に戻る。

上記においては、画像処理端末１００のユーザーによる指先ＦＧでの指示動作の前に、画像処理部１０３の電子補足情報表示制御部１０３ｂが、表示可能な複数のエアタグを、全て表示部１０１上に表示させておく例を示した（図４の例で言えば、エアタグ表示可能箇所ＰＴａ〜ＰＴｃに対応する、表示部１０１上での各々の位置に、それぞれのエアタグを全て表示した状態に相当する。また、より直接的には、図６（ａ）の状態である）。

この場合、全てのエアタグが表示されているので、ユーザーは予め、被写体ＭＮに関連付けられた複数の電子補足情報の全体を把握することができる。

この状態から、画像処理端末１００のユーザーによる指先ＦＧでの指示動作が行なわれると、電子補足情報表示制御部１０３ｂは、特定されたエアタグのみに関して、文字サイズを変更する、あるいは、色を変更するなどして、特定されたエアタグを強調表示しても良い。

そして、電子補足情報表示制御部１０３ｂは、特定されたエアタグ以外の他の複数のエアタグの表示を消して、特定されたエアタグのみを表示すればよい（この状態を示すのが、図４の右端の図、および、図６（ｂ）である）。このように、複数のエアタグの全体を表示させた後に、特定されたエアタグのみを表示する、との処理を行なえば、必要な電子補足情報にアクセスしたいときは、ユーザーはその他の余計な電子補足情報の表示に煩わされることが無い。

一方、本発明は、画像処理端末１００のユーザーによる指先ＦＧでの指示動作の前に、画像処理部１０３の電子補足情報表示制御部１０３ｂが、表示可能な複数のエアタグを全く表示部１０１上に表示させておかない場合をも、排除するものではない。

画像解析部１０３ａが特定のコードＣＤを特定し、この特定のコードＣＤをキーとして用いて、データベース３０１から、電子補足情報取得部１０３ｃが電子補足情報、および被写体のＭＮの電子化データの情報を取得している段階で、もちろん複数のエアタグの全体を表示部１０１に表示することは可能である。しかし、その場合は、図６（ａ）の状態のようにエアタグが多数、表示されすぎて、ややもすればユーザーに混乱をもたらすことも考えられる。

よって、この場合は、表示可能な複数のエアタグを全く表示部１０１上に表示させておかずに、ユーザーによる被写体ＭＮ上での指先ＦＧでの指示動作があった場合に、特定された箇所に対応付けられたエアタグのみを表示するようにしてもよい。そうすれば、シンプルな表示画面にて、必要最小限のエアタグ表示が行なえる。

本実施の形態に係る画像処理システムおよび画像処理方法によれば、画像処理端末１００のユーザーによる、被写体ＭＮ内の特定箇所を、表示部１０１上ではなく被写体ＭＮ上にて指先ＦＧで指示する動作に基づき、画像処理部１０３は、指先ＦＧの表示部１０１上での位置を画像解析により特定して、被写体ＭＮ内の特定箇所を割り出し、複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを、表示部１０１上にて表示する。よって、エアタグの選択が困難となることはなく、エアタグが多数存在する場合であっても、適切にエアタグを選択することが可能な画像処理システムおよび画像処理方法を実現することができる。

また、本実施の形態に係る画像処理システムおよび画像処理方法によれば、指先ＦＧでの指示動作が行なわれた後に、特定箇所に対応付けられたエアタグ以外の他の複数のエアタグの表示を消して、特定箇所に対応付けられたエアタグのみを表示してもよい。この場合は、ユーザーは予め、被写体ＭＮに関連付けられた複数の電子補足情報の全体を把握しつつ、一方で、必要な電子補足情報にアクセスしたいときは、その他の余計な電子補足情報の表示に煩わされることが無い。

＜実施の形態２＞
本実施の形態は、実施の形態１に係る画像処理システムおよび画像処理方法の変形例であって、ユーザーの指先により被写体内の特定箇所を指示するのではなく、画像処理端末１００のユーザーによる、表示部１０１上に表示される被写体ＭＮ内の特定箇所にズームアップさせる動作、または、撮影部１０２を被写体ＭＮ内の特定箇所に近づける動作に基づき、画像処理部１０３は、被写体ＭＮ内の特定箇所を割り出し、複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを、表示部１０１上にて表示する画像処理システムおよび画像処理方法である。

図８は、本実施の形態に係る画像処理システムおよび画像処理方法における、画像処理端末１００とサーバー３００とで行なわれる処理を示すフローチャートである。このうち、ステップＳ１〜Ｓ１０に関しては、実施の形態１に係る画像処理システムおよび画像処理方法の図５のフローと全く同様であるため、説明を省略する。

発明が解決しようとする課題の項にて指摘したように、図６（ａ）に示すように表示部１０１にエアタグが多数表示されていると、タッチスクリーン表示部上にて、隣接するエアタグに誤ってタッチしてしまうなどの、エアタグを選択することが困難な場合が起こりうる。

そこで、本実施の形態においては、被写体ＭＮ内のエアタグ表示可能箇所ＰＴａ〜ＰＴｃのうち、電子補足情報を表示させるべき箇所の指示を、以下のようにして行なう。すなわち、画像処理端末１００のユーザーにより、表示部１０１上に表示される被写体ＭＮ内の特定箇所にズームアップさせて、表示部１０１の表示領域内に一つのエアタグ表示可能箇所のみが入るようにする動作、または、撮影部１０２を被写体ＭＮ内の特定箇所に近づけて、撮影部１０２の画角内に一つのエアタグ表示可能箇所のみが入るようにする動作を行なわせる。このとき、画像処理端末１００は、画像解析部１０３ａにおいて、このユーザーによるズームアップ動作又は近接撮影動作が行われたか否かを検知する（ステップＳ１１ａ）。そして、画像解析部１０３ａが、ユーザーによるズームアップ動作又は近接撮影動作を検知すると（ステップ１１ａでＹｅｓ）、ズームアップ又は近接撮影の対象とされる被写体ＭＮ内の特定箇所の位置を割り出し（ステップＳ１２ａ）、複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを、表示部１０１上にて表示させる（ステップＳ１３）。

上述の動作により特定箇所に対応のエアタグのみを表示させる際、既に、ステップＳ９において、画像解析部１０３ａは、公知の画像解析技術により、撮影している被写体ＭＮの用紙エリア、及びその用紙の向きを判断し、その判断に基づき、被写体ＭＮの原点（例えば用紙の左上の頂点）を既に特定している。よって、ユーザーが、画像処理端末１００を操作して、表示部１０１上に表示される被写体ＭＮ内の特定箇所にズームアップさせる動作を行なった場合、または、撮影部１０２を被写体ＭＮ内の特定箇所に近づける動作を行なった場合、公知の画像処理技術により、ズームアップ後あるいは撮影部１０２の近接後の、表示部１０１に表示される箇所の座標を算出することができる。

この算出により、画像解析部１０３ａは、その位置を、被写体ＭＮ上の二次元座標に変換する。続いて、電子補足情報表示制御部１０３ｂは、変換された座標に最も近い、被写体ＭＮ内のエアタグ表示箇所ＰＴａ〜ＰＴｃの何れかを、指示された特定箇所として割り出す。そして、電子補足情報表示制御部１０３ｂは、複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを、表示部１０１上にて表示する。この状態を示すのが、図４の右端の図、および、図６（ｂ）である。

なお、本実施の形態においては、指先の検出を行なわないので、図２の画像処理端末１００の構成において、指検出用データ１０３ｄは不要である。

また、エアタグを特定する際に、表示部１０１上に表示される被写体ＭＮ内の特定箇所にズームアップさせる動作、または、撮影部１０２を被写体ＭＮ内の特定箇所に近づける動作に伴って、エアタグ内の表示項目名の文字サイズを徐々に大きくする、および／または、表示部１０１上に表示される被写体ＭＮ内の特定箇所からズームアウトさせる動作、または、撮影部１０２を被写体ＭＮ内の特定箇所から離す動作に伴って、エアタグ内の表示項目名の文字サイズを徐々に小さくする等、エアタグの表示態様を、ズームアップ動作または撮影部１０２の近接動作に連動して変更しても良い。

また、エアタグ特定後に、電子補足情報を文字情報として表示させる場合には、さらに、表示部１０１上に表示される被写体ＭＮ内の特定箇所にさらにズームアップさせる動作、または、撮影部１０２をさらに被写体ＭＮ内の特定箇所に近づける動作に伴って、電子補足情報の文字サイズを徐々に大きくしたり、表示文字数を多くしたりする、および／または、表示部１０１上に表示される被写体ＭＮ内の特定箇所からズームアウトさせる動作、または、撮影部１０２を被写体ＭＮ内の特定箇所から離す動作に伴って、電子補足情報の文字サイズを徐々に小さくしたり、表示文字数を少なくしたりする等、電子補足情報の表示態様を、ズームアップ動作または撮影部１０２の近接動作に連動して変更しても良い。

その他の点については、実施の形態１に係る画像処理システムおよび画像処理方法と同様のため、説明を省略する。

本実施の形態に係る画像処理システムおよび画像処理方法によれば、画像処理端末１００のユーザーによる、表示部１０１上に表示される被写体ＭＮ内の特定箇所にズームアップさせる動作、または、撮影部１０２を被写体ＭＮ内の特定箇所に近づける動作に基づき、画像処理部１０３は、被写体ＭＮ内の特定箇所を割り出し、複数のエアタグのうち、特定箇所に対応付けられたエアタグのみを、表示部１０１上にて表示する。よって、エアタグの選択が困難となることはなく、エアタグが多数存在する場合であっても、適切にエアタグを選択することが可能な画像処理システムおよび画像処理方法を実現することができる。

＜その他＞
上記においては、画像処理システムおよび画像処理方法としての実施の形態を説明したが、本発明はこれらに限られるものではない。本発明は、各種のコンピュータで実現される、あらゆる画像処理端末に、上記各実施の形態に記載の画像処理方法の各ステップを実行させるためのプログラム（アプリケーションプログラム）をも包含する。これにより、エアタグが多数存在する場合であっても、適切にエアタグを選択することが可能な画像処理方法を実現するプログラムを提供することができる。

１００ 画像処理端末、１０１ 表示部、１０２ 撮影部、１０３ 画像処理部、１０３ａ 画像解析部、１０３ｂ 電子補足情報表示制御部、１０３ｃ 電子補足情報取得部１０３ｄ 指検出用データ、１０４ ネットワークインターフェース、２００ ネットワーク、３００ サーバー、３０１ データベース、ＭＮ 被写体、ＥＳａ，ＥＳｂ，ＥＳｄ 電子補足情報、ＣＤ コード、ＦＧ 指先、ＰＴａ〜ＰＴｃ エアタグ表示可能箇所、ＡＴａ エアタグ。

Claims (12)

1. 被写体を撮影する撮影部と、該撮影部で撮影された被写体の画像を表示する表示部と、を備える画像処理端末であって、
   前記撮影部で撮影された被写体に補足すべき電子的情報たる電子補足情報を取得する電子補足情報取得部と、
   前記電子補足情報取得部で取得された前記電子補足情報に対応する映像オブジェクトたるエアタグを前記被写体の画像に重畳させて前記表示部に表示させる電子補足情報表示制御部と、
   前記撮影部で撮影された被写体の画像を解析する画像解析部と、
   を有し、
   前記表示部が複数の前記エアタグを表示している際に、前記撮影部で撮影される前記被写体の特定箇所に対するズームアップ撮影又は近接撮影が実行されたとき、
   前記画像解析部が、前記撮影部で前記ズームアップ撮影又は近接撮影された前記被写体内の前記特定箇所を割り出し、
   前記表示部が、複数の前記エアタグのうち、前記画像解析部で割り出された前記特定箇所に対応付けられたエアタグのみを表示位置を変えずに表示し、他の複数のエアタグの表示を消すことを特徴とする画像処理端末。
2. 請求項１に記載の画像処理端末であって、
   特定のコードが前記被写体に付与されてあり、
   前記画像解析部が、前記撮影部で撮影した前記被写体を画像解析することで、当該被写体上の前記特定のコードを抽出することを特徴とする画像処理端末。
3. 請求項１又は請求項２に記載の画像処理端末であって、
   前記電子補足情報表示制御部が前記エアタグを重畳する前記被写体の画像が、前記撮影部で撮影された前記被写体のリアルタイム画像であることを特徴とする、画像処理端末。
4. 請求項１又は請求項２に記載の画像処理端末であって、
   前記電子補足情報表示制御部が前記エアタグを重畳する前記被写体の画像が、前記被写体の電子化データによる画像であることを特徴とする画像処理端末。
5. 請求項１〜４のいずれか一項に記載の画像処理端末であって、
   前記被写体を特定する特定のコードに関連づけて前記被写体の前記電子補足情報を記憶したデータベースを有する前記サーバーとネットワークを介して通信を行うネットワークインターフェースを、更に備えるとともに、
   該ネットワークインターフェースにより、前記撮影部で撮影した前記被写体を特定する特定のコードを前記サーバーに送信するとともに、前記被写体の前記電子補足情報を前記サーバーから受信することで、前記電子補足情報取得部が前記電子補足情報を取得することを特徴とする画像処理端末。
6. 請求項１〜５のいずれか一項に記載の画像処理端末であって、
   前記画像解析部が、前記被写体の原点位置を特定した後に、前記エアタグと対応づけられた前記特定箇所の座標位置を前記原点位置からの相対座標によって特定することを特徴とする画像処理端末。
7. 請求項１〜６のいずれか一項に記載の画像処理端末であって、
   ユーザーによる前記被写体上でのダブルタップ動作を前記画像解析部で認識したとき、前記電子補足情報表示制御部が、前記エアタグを前記被写体の画像に重畳させて前記表示部に表示させることを特徴とする画像処理端末。
8. 請求項１〜６のいずれか一項に記載の画像処理端末であって、
   ユーザーによる前記被写体上でのピンチアウト動作を前記画像解析部で認識したとき、前記電子補足情報表示制御部が、前記エアタグを前記被写体の画像に重畳させて前記表示部に表示させることを特徴とする画像処理端末。
9. 請求項１〜８のいずれか一項に記載の画像処理端末であって、
   前記表示部が、前記画像解析部で割り出された前記特定箇所に対応付けられたエアタグを強調表示することを特徴とする画像処理端末。
10. 請求項１〜９のいずれか一項に記載の画像処理端末であって、
    前記画像解析部は、前記撮影部でズームアップ撮影又は近接撮影された場合に、前記表示部に表示された前記特定箇所を示す第１の座標を算出するとともに、複数の前記エアタグが表示された前記表示部の表示における第２の座標に前記第１の座標を変換し、複数の前記エアタグのうち、前記第２の座標に対応するエアタグのみを表示することを特徴とする画像処理端末。
11. 請求項１〜１０のいずれか一項に記載の画像処理端末と、サーバーとがネットワークを介して接続可能とされる画像処理システムであって、
    前記サーバーが、
    前記被写体を特定する特定のコードに関連づけて前記被写体の前記電子補足情報をデータベースを有し、
    前記画像処理端末において、
    前記撮影部で撮影した前記被写体を特定する特定のコードを前記サーバーに送信するとともに、前記被写体の前記電子補足情報を前記サーバーから受信することで、前記電子補足情報取得部が前記電子補足情報を取得することを特徴とする画像処理システム。
12. 被写体を撮影する撮影部と、該撮影部で撮影された被写体の画像を表示する表示部と、を備える画像処理端末の制御プログラムであって、
    前記撮影部で撮影された被写体に補足すべき電子的情報たる電子補足情報を取得する第１ステップと、
    前記第１ステップで取得された前記電子補足情報に対応する映像オブジェクトたるエアタグを前記被写体の画像に重畳させて前記表示部に表示させる第２ステップと、
    前記第２ステップにより前記表示部が複数の前記エアタグを表示している際に、前記撮影部で撮影される前記被写体の特定箇所に対するズームアップ撮影又は近接撮影が実行されたときに、前記撮影部で前記ズームアップ撮影又は近接撮影された前記被写体内の前記特定箇所を割り出す第５ステップと、
    前記表示部が、複数の前記エアタグのうち、前記第５ステップで割り出された前記特定箇所に対応付けられたエアタグのみを表示位置を変えずに表示し、他の複数のエアタグの表示を消す第６ステップと、
    を有することを特徴とする制御プログラム。

Images