JP6331777B2 - 拡張現実情報提供システム、拡張現実情報提供方法、及び、拡張現実情報提供プログラム - Google Patents

Description

本発明は、二次元媒体上に記載されたマーカーに対応付けて、拡張現実情報を表示するための技術に関する。

人から見た現実世界に情報を付加するなどして、現実の一部をコンピューターにより拡張及び改変する拡張現実（Augmented Reality、略して「ＡＲ」）と呼ばれる技術が実用化されている。
例えば、用紙等の２次元媒体上に印刷されたＡＲマーカーを撮影し、対応するスポットコンテンツをＡＲマーカー上に表示させることができる拡張現実を利用した技術が開示されている（例えば、特許文献１参照）。

また、遠隔端末がユーザー端末に、映像とオブジェクト認識情報を送信することにより、複数のユーザー端末においてＡＲ情報を共有する技術が開示されている（例えば、特許文献２参照）。
また、マーカーをデジタルマーカーで実現し、マーカーを編集することにより、ＡＲタグの種類及び動作を変更する技術が開示されている（例えば、特許文献３参照）。

また、第１端末を移動させその移動軌跡を描線とするコンテンツのデータを生成し、第２端末により撮影された映像内の第１端末に対応する位置に、当該コンテンツを重畳して表示する技術が開示されている（例えば、特許文献４参照）。

特開２０１２−０１４６０６号公報 特開２０１２−０４３４３５号公報 特開２０１１−１５９２７４号公報 特開２０１１−１２８９７７号公報

ユーザーが携帯端末を用いて、用紙等の２次元媒体やタブレット端末上等に表示されたＡＲタグを見ている際に、ＡＲタグに対して書き込みや修正を施して、変更した情報をすぐさま他のユーザーと共有したいという要望がある。
しかしながら、ＡＲタグに情報を追加したり、修正を加える場合には、管理者を介してサーバー等に記憶されているＡＲタグ用のデータを更新しなければならないので、変更が完了するまでにタイムラグが生じ、リアルタイムに情報を共有することができない。さらに、サーバー等に記憶されている元データを更新してしまうと、全てのユーザーに更新内容が知られてしまうため、個人的なメモや特定のメンバーのみに知らせたい情報をＡＲタグに追加することができない。

本発明は、上述のような事情に鑑みてなされたものであって、ＡＲタグに対して書き込みや修正を施して、変更した情報をすぐさま他のユーザーと共有することができる拡張現実情報提供システム、拡張現実情報提供方法、及び、拡張現実情報提供プログラムを提供することを第１の目的とする。また、上記拡張現実情報提供システム、拡張現実情報提供方法、及び、拡張現実情報提供プログラムにおいて、特定のメンバーのみに知らせたい情報を適切に共有することを第２の目的とする。

上記目的を達成するため、本発明の拡張現実情報提供システムは、２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示する複数の端末装置と、当該拡張現実情報を前記端末装置の各々へ提供するサーバーとを含む拡張現実情報提供システムであって、前記サーバーは、前記マーカーに紐付けして前記拡張現実情報を記憶しており、前記複数の端末装置は、それぞれ、２次元媒体上に記載された画像を取り込んで、画像データを取得する取得手段と、取得された前記画像データを記憶する記憶手段と、取得された前記画像データに基づいて、前記画像中の前記マーカーを認識する認識手段と、認識された前記マーカーに紐付けされて前記サーバーに記憶されている拡張現実情報を、前記サーバーから受け取る手段と、取得された前記画像データを用いて前記画像を表示し、認識された前記マーカーに置き換えて、前記サーバーから受け取った拡張現実情報を表示する表示手段と、前記２次元媒体上に追加記載後に、前記取得手段に当該２次元媒体上に記載された追加記載後の画像の画像データを取得させ、追加記載前に前記記憶手段に記憶しておいた画像データと、追加記載後に取得された画像データとを比較することにより、追加記載された部分の画像データを抽出する画像データ抽出手段と、前記画像データ抽出手段が抽出した画像データから訂正を指示する記号を更に抽出する記号抽出手段と、前記サーバーに記憶されている前記拡張現実情報を、前記記号に対応する箇所を前記画像データ抽出手段が抽出した画像データの前記記号以外の部分を用いて更新するように、前記サーバーに対して要求する更新要求手段と、を備え、前記サーバーは、さらに、前記更新要求手段による更新要求を受けて、前記拡張現実情報を更新することを特徴とする。

ここで、前記複数の端末装置は、さらに、ユーザーの発話を認識する音声認識手段を備え、前記画像データ抽出手段は、前記２次元媒体上に追加記載後に、前記音声認識手段により、所定の発話が認識されたときに、前記取得手段に画像データを取得させることができる。
ここで、前記複数の端末装置は、さらに、前記追加記載された画像データに対する共有させたい共有者の指定を、ユーザーから受け付けて、当該共有者を識別する共有者情報を取得する受付手段を備え、前記更新要求手段は、前記追加記載された画像データを含めて更新された拡張現実情報と、取得された前記共有者情報とを、対応付けて記憶するように、前記サーバーに対して要求し、前記サーバーは、前記更新要求手段による更新要求を受けて、前記拡張現実情報を前記共有者情報と対応付けて更新し、共有者情報により識別される共有者が使用する端末装置のみに当該拡張現実情報を提供することができる。

ここで、前記複数の端末装置は、それぞれ、ユーザーの発話を認識する音声認識手段を備え、前記画像データ抽出手段は、前記音声認識手段により、所定の発話が認識されたときに、前記取得手段に画像データを取得させ、前記受付手段は、前記音声認識手段により認識された前記共有者を示す発話に基づいて、前記共有者情報を取得することができる。
上記目的を達成するため、本発明の拡張現実情報提供方法は、２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示する複数の端末装置と、当該拡張現実情報を前記端末装置の各々へ提供するサーバーとを含むシステムにおける拡張現実情報提供方法であって、前記サーバーは、前記マーカーに紐付けして前記拡張現実情報を記憶しており、前記複数の端末装置のそれぞれにおいて、２次元媒体上に記載された画像を取り込んで、画像データを取得する取得ステップと、取得された前記画像データを記憶する記憶ステップと、取得された前記画像データに基づいて、前記画像中の前記マーカーを認識する認識ステップと、認識された前記マーカーに紐付けされて前記サーバーに記憶されている拡張現実情報を、前記サーバーから受け取るステップと、取得された前記画像データを用いて前記画像を表示し、認識された前記マーカーに置き換えて、前記サーバーから受け取った拡張現実情報を表示する表示ステップと、前記２次元媒体上に追加記載が行われると、当該２次元媒体上に記載された追加記載後の画像の画像データを取得し、追加記載前に前記記憶ステップにおいて記憶しておいた画像データと、追加記載後に取得された画像データとを比較することにより、追加記載された部分の画像データを抽出する画像データ抽出ステップと、前記画像データ抽出ステップにおいて抽出された画像データから訂正を指示する記号を更に抽出する記号抽出ステップと、前記サーバーに記憶されている前記拡張現実情報を、前記記号に対応する箇所を前記画像データ抽出ステップにおいて抽出された画像データの前記記号以外の部分を用いて更新するように、前記サーバーに対して要求する更新要求ステップと、を行い、前記サーバーにおいて、前記更新要求ステップによる更新要求を受けて、前記拡張現実情報を更新することを特徴とする。

ここで、前記拡張現実情報提供方法は、さらに、前記複数の端末装置のそれぞれにおいて、ユーザーの発話を認識する音声認識ステップを行い、前記画像データ抽出ステップは、前記２次元媒体上に追加記載後に、前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させることができる。
ここで、前記拡張現実情報提供方法は、さらに、前記複数の端末装置のそれぞれにおいて、前記追加記載された画像データに対する共有させたい共有者の指定を、ユーザーから受け付けて、当該共有者を識別する共有者情報を取得する受付ステップを行い、前記更新要求ステップは、前記追加記載された画像データを含めて更新された拡張現実情報と、取得された前記共有者情報とを、対応付けて記憶するように、前記サーバーに対して要求し、前記サーバーにおいて、前記更新要求ステップによる更新要求を受けて、前記拡張現実情報を前記共有者情報と対応付けて更新し、共有者情報により識別される共有者が使用する端末装置のみに当該拡張現実情報を提供することができる。

ここで、前記拡張現実情報提供方法は、さらに、前記複数の端末装置のそれぞれにおいて、ユーザーの発話を認識する音声認識ステップを行い、前記画像データ抽出ステップは、前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させ、前記受付ステップは、前記音声認識ステップにより認識された前記共有者を示す発話に基づいて、前記共有者情報を取得することができる。

上記目的を達成するため、本発明の拡張現実情報提供プログラムは、２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示する複数の端末装置と、当該拡張現実情報を前記端末装置の各々へ提供するサーバーとを含むシステムにおいて、前記２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示させる処理を、前記端末装置に実行させる拡張現実情報提供プログラムであって、２次元媒体上に記載された画像を取り込んで、画像データを取得する取得ステップと、取得された前記画像データを記憶する記憶ステップと、取得された前記画像データに基づいて、前記画像中の前記マーカーを認識する認識ステップと、認識された前記マーカーに紐付けされて前記サーバーに記憶されている拡張現実情報を、前記サーバーから受け取るステップと、取得された前記画像データを用いて前記画像を表示し、認識された前記マーカーに置き換えて、前記サーバーから受け取った拡張現実情報を表示する表示ステップと、前記２次元媒体上に追加記載後に、当該２次元媒体上に記載された追加記載後の画像の画像データを取得し、追加記載前に前記記憶ステップにおいて記憶しておいた画像データと、追加記載後に取得された画像データとを比較することにより、追加記載された部分の画像データを抽出する画像データ抽出ステップと、前記画像データ抽出ステップにおいて抽出された画像データから訂正を指示する記号を更に抽出する記号抽出ステップと、前記サーバーに記憶されている前記拡張現実情報を、前記記号に対応する箇所を前記画像データ抽出ステップにおいて抽出された画像データの前記記号以外の部分を用いて更新するように、前記サーバーに対して要求する更新要求ステップと、を含むことを特徴とする。

ここで、前記拡張現実情報提供プログラムは、さらに、前記複数の端末装置のそれぞれにおいて、ユーザーの発話を認識する音声認識ステップを含み、前記画像データ抽出ステップは、前記２次元媒体上に追加記載後に、前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させることができる。
ここで、前記拡張現実情報提供プログラムは、さらに、前記複数の端末装置において、前記追加記載された画像データに対する共有させたい共有者の指定を、ユーザーから受け付けて、当該共有者を識別する共有者情報を取得する受付ステップを含み、前記更新要求ステップは、前記追加記載された画像データを含めて更新された拡張現実情報と、取得された前記共有者情報とを、対応付けて記憶するように、前記サーバーに対して要求することができる。

ここで、前記拡張現実情報提供プログラムは、さらに、ユーザーの発話を認識する音声認識ステップを含み、前記画像データ抽出ステップは、前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させ、前記受付ステップは、前記音声認識ステップにより認識された前記共有者を示す発話に基づいて、前記共有者情報を取得することができる。

上記構成の拡張現実情報提供システム、拡張現実情報提供方法、及び、拡張現実情報提供プログラムによれば、追加記載の前後の画像データを比較して、追加記載された部分の画像データを抽出することにより、今書き込んだ記載のみを拡張現実情報に追加することができるので、精度よくＡＲタグに対して書き込みや修正を施して、変更した情報をすぐさま他のユーザーと共有することができる。さらに、共有者の指定をユーザーから受け付けて拡張現実情報を共有者情報と対応付けて更新させることにより、特定のメンバーのみに知らせたい情報を適切に共有することができる。

本実施形態に係る拡張現実情報提供システム概要を示す図である。 取得部により取り込まれるＡＲマーカーが記載された元画像と、表示部により内蔵モニター等に表示される表示画像の一例を示す図である。 受付部が共有者情報を取得する際の表示画面の一例を示す図である。 更新された拡張現実情報と共有者情報とが対応付けて記憶される様子を示す図である。 拡張現実情報提供システムにおける、拡張現実情報提を更新する際の動作の一例を示す図である。 拡張現実情報提供システムにおける、拡張現実情報を更新する際の動作の別の一例を示す図である。 拡張現実情報提供システムにおけるシーケンスを示す図である。 拡張現実情報を更新する処理、及び、拡張現実情報を提供する処理を端末装置に実行させる更新提供プログラムの処理手順を示す図（その１）である。 拡張現実情報を更新する処理、及び、拡張現実情報を提供する処理を端末装置に実行させる更新提供プログラムの処理手順を示す図（その２）である。 拡張現実情報を提供する処理をＡＲタグサーバーに実行させる提供プログラムの処理手順を示す図である。

＜実施形態＞
＜構成＞
図１は、本実施形態に係る拡張現実情報提供システム１００の概要を示す図である。
拡張現実情報提供システム１００は、複数の端末装置１１０と、ＡＲタグサーバー１２０とを含む。

端末装置１１０は、それぞれ、用紙等の２次元媒体上に記載されたＡＲマーカーに対応付けて拡張現実情報を表示することができる。
ＡＲタグサーバー１２０は、ＡＲマーカーに紐付けして拡張現実情報を記憶しており、拡張現実情報を端末装置１１０の各々へ提供することができる。
端末装置１１０は、それぞれ、取得部１１１、記憶部１１２、認識部１１３、受取部１１４、表示部１１５、音声認識部１１６、抽出部１１７、受付部１１８及び更新要求部１１９を備える。

取得部１１１は、内蔵カメラ等を用いて、２次元媒体上に記載された画像を取り込んで、画像データを取得する。
記憶部１１２は、取得部１１１により取得された画像データを記憶する。
認識部１１３は、取得部１１１により取得された画像データに基づいて、画像中のＡＲマーカーを認識する。なお、本実施形態では、端末装置１１０側でＡＲマーカーを認識しているが、端末装置１１０が取得部１１１により取得された画像データをＡＲタグサーバー１２０へ送信し、これを用いてＡＲタグサーバー１２０側でＡＲマーカーを認識してもよい。

受取部１１４は、認識部１１３により認識されたＡＲマーカーに紐付けされてＡＲタグサーバー１２０に記憶されている拡張現実情報をＡＲタグサーバー１２０から受け取る。
表示部１１５は、取得部１１１により取得された画像データを用いて画像を内蔵モニター等に表示し、認識されたＡＲマーカーの記載位置に、ＡＲタグサーバー１２０から受け取った拡張現実情報をＡＲマーカーに置き換えて、ＡＲタグとして表示する。

図２は、取得部１１１により取り込まれるＡＲマーカーが記載された元画像（図２の左側）と、表示部１１５により内蔵モニター等に表示される表示画像（図２の右側）の一例を示す図である。図２に示すように、元画像中にＡＲマーカー（図２中のＡ）が記載されている場合において、表画像内のＡＲマーカーに対応する位置に、拡張現実情報（図２中のＢ）が置き換えられたようにＡＲタグとして表示される。

音声認識部１１６は、内蔵マイク等を用いて、ユーザーの発話を認識する。
抽出部１１７は、ユーザーにより２次元媒体上に追加記載された後に、取得部１１１に当該２次元媒体上に記載された追加記載後の画像の画像データを取得させ、追加記載前に記憶部１１２に記憶しておいた画像データと、追加記載後に取得された画像データとを比較することにより、追加記載された部分の画像データをその記載位置を示す記載位置情報とともに抽出する。なお、抽出部１１７は、ユーザーが２次元媒体上に追加記載を行った後に、ユーザーが例えばタッチパネル上の「共有」ボタンにタッチするなどして、ユーザーから追加記載した画像を他のユーザーと共有する旨の指示を受けたときに、取得部１１１に２次元媒体上に記載された追加記載後の画像の画像データを取得させることが好ましい。また、抽出部１１７は、音声認識部１１６により、例えば「共有」等の所定の発話が認識されたときに、取得部１１１に画像データを取得させることが好ましい。また、本実施形態では、端末装置１１０側で追加記載された部分の画像データを抽出しているが、追加記載前に取得された画像データと追加記載後に取得された画像データとを端末装置１１０がＡＲタグサーバー１２０へ送信し、これらを用いてＡＲタグサーバー１２０側で追加記載された部分の画像データを抽出してもよい。

受付部１１８は、ユーザーが追加記載した内容を一部の特定ユーザーのみに公開したいと欲する場合において、追加記載された画像データに対する共有させたい共有者の指定をユーザーから受け付けて、当該共有者を識別する共有者情報を取得する。
図３は、受付部１１８が共有者情報を取得する際の表示画面の一例を示す図である。図３に示すように、例えばユーザーが「共有」と発話すると、予め登録されたグループ名や役職名等が一覧記載された共有先一覧のウィンド（図３中のＡ）が開くので、ユーザーは、当該共有先一覧の中の所望の共有者の表示位置をタッチするなどして共有者を選択する。なお、受付部１１８は、音声認識部１１６により、例えば「グループ１」等の共有者を示す発話が認識されることにより、共有者の指定をユーザーから受け付けることが好ましい。また本実施形態では、端末装置１１０においてユーザーより共有者情報を取得しているが、ＡＲタグサーバー１２０において共有者情報を取得してもよいし、他の外部端末において共有者情報を取得してもよい。

更新要求部１１９は、ＡＲタグサーバー１２０に記憶されている拡張現実情報を、抽出部１１７により抽出された画像データを含めて更新するように、ＡＲタグサーバー１２０に対して要求する。より詳細には、更新要求部１１９は、受取部１１４により受け取った拡張現実情報に、抽出部１１７により抽出された画像データを記載された位置に追加して、更新後の拡張現実情報を作成し、当該更新後の拡張現実情報をＡＲタグサーバー１２０に送信し、ＡＲタグサーバー１２０に対して、当該更新後の拡張現実情報を記憶して以後端末装置１１０の各々に供給するように要求する。あるいは更新要求部１１９は、抽出部１１７により抽出された部分の画像データとその記載位置情報とをＡＲタグサーバー１２０に送信し、ＡＲタグサーバー１２０に対して、対応する拡張現実情報に送信した画像データを記載位置情報により示される記載位置に追加して記憶し以後端末装置１１０の各々に供給するように要求する。また更新要求部１１９は、受付部１１８により共有者情報が取得された場合には、さらに当該共有者情報をＡＲタグサーバー１２０に送信し、ＡＲタグサーバー１２０に対して、抽出された画像データを含めて更新された拡張現実情報と当該共有者情報とを対応付けて記憶するように要求する。

ＡＲタグサーバー１２０は、さらに、更新要求部１１９から記憶されている拡張現実情報を更新するように要求を受けると、当該拡張現実情報を更新する。またＡＲタグサーバー１２０は、更新要求部１１９から更新された拡張現実情報と共有者情報とを対応付けて記憶するように要求を受けると、当該拡張現実情報を共有者情報と対応付けて更新する。
また、ＡＲタグサーバー１２０は、認識部１１３により認識されたＡＲマーカーに紐付けされて記憶されている拡張現実情報に共有者情報が対応付けられている場合には、当該共有者情報に合致するユーザーが使用する端末装置１１０のみに当該拡張現実情報を提供する。詳しくは、ＡＲタグサーバー１２０は、受取部１１４へ拡張現実情報を受け渡す際に、端末装置１１０からユーザーの識別情報を受け取り、当該識別情報を用いて、拡張現実情報毎に当該ユーザーが共有者であるか否かを判定し、共有者であると判定された拡張現実情報のみを受取部１１４へ送信する。

図４は、更新された拡張現実情報と共有者情報とが対応付けて記憶される様子を示す図である。
図４の１行目に記載のＡＲマーカー「マーカー１」に対応する拡張現実情報「ＡＲタグ１」には、更新された拡張現実情報の登録がない。よって、ＡＲタグサーバー１２０は、全てのユーザーに対して「マーカー１」に対応する拡張現実情報として「ＡＲタグ１」を提供する。

図４の２行目に記載のＡＲマーカー「マーカー２」に対応する拡張現実情報「ＡＲタグ２」には、更新された拡張現実情報「ＡＲタグ２−１」があり、共有者情報「ユーザー１」が対応付けられている。よって、ＡＲタグサーバー１２０は、ユーザー１のみに「マーカー２」に対応する拡張現実情報として「ＡＲタグ２−１」を提供し、その他のユーザーには「ＡＲタグ２」を提供する。

図４の３〜４行目に記載のＡＲマーカー「マーカー３」に対応する拡張現実情報「ＡＲタグ３」には、更新された拡張現実情報「ＡＲタグ３−１」及び「ＡＲタグ３−２」があり、前者には共有者情報「ユーザー２」及び「グループ１」が対応付けられ、後者には「ユーザー３」が対応付けられている。よって、ＡＲタグサーバー１２０は、ユーザー２及び「グループ１」のメンバーのみに「マーカー３」に対応する拡張現実情報として「ＡＲタグ３−１」を提供し、ユーザー３みに「マーカー３」に対応する拡張現実情報として「ＡＲタグ３−１」を提供し、その他のユーザーには「ＡＲタグ３」を提供する。ここで、「グループ１」のメンバーは予め登録しておく必要がある。

なお、「グループ１」のメンバーにユーザー３が含まれるような場合には、ユーザー３は複数の拡張現実情報に対してアクセス権を持つことになるので、ＡＲタグサーバー１２０は、ユーザー３からの拡張現実情報の提供要求に対し、当該複数の拡張現実情報を選択可能なように提供してもよいし、当該複数の拡張現実情報を合成して提供してもよい。
＜動作＞
図５は、拡張現実情報提供システム１００における、拡張現実情報提を更新する際の動作の一例を示す図である。

（１）表示部１１５により表示される表示画像（図５中のＡ）に対して、ユーザーが追加記載を施して他のユーザーと共有したいと所望する場合に、ユーザーは、元画像上に直に文字や絵などを書き込む（図５中のＢ）。ここでは、「重要」及び矢印が書き込まれている（図５中のＣ）。
（２）書き込みが終わると、ユーザーが「共有」と発話する（図５中のＤ）。

（３）抽出部１１７が追加記載された部分の画像データをその記載位置情報とともに抽出する。ここでは、「重要」及び矢印が抽出されている（図５中のＥ）。
（４）更新要求部１１９が、拡張現実情報を、追加記載された画像データを含めて更新するように、ＡＲタグサーバー１２０に対して要求する。ここでは、元の拡張現実情報に「重要」及び矢印が追加されている（図５中のＦ）。

図６は、拡張現実情報提供システム１００における、拡張現実情報を更新する際の動作の別の一例を示す図である。
（１）表示部１１５により表示される画像（図６中のＡ）に対して、ユーザーが追加記載を施して他のユーザーと共有したいと所望する場合に、ユーザーは、元画像上に直に文字や絵などを書き込む（図６中のＢ）。ここでは、ＡＲタグ中の「大阪」と表示されている箇所に重ねて「−」が書き込まれ、その下方に「福岡」と書き込まれている（図６中のＣ）。

（２）書き込みが終わると、ユーザーが「共有」と発話する（図６中のＤ）。
（３）抽出部１１７が追加記載された部分の画像データをその記載位置情報とともに抽出する。ここでは、「−」と「福岡」とが抽出されている（図６中のＥ）。
（４）更新要求部１１９が、拡張現実情報を、追加記載された画像データを含めて更新するように、ＡＲタグサーバー１２０に対して要求する。ここでは、「−」を、訂正を指示する記号として扱うこととし、元の拡張現実情報から「−」が重なっている「大阪」の表示が削除され、元の拡張現実情報の「大阪」を削除した領域に「福岡」が上書きされている（図６中のＦ）。なお、訂正を指示する記号は、識別可能な記号であればどの様な記号であってもよいので、例えば「／」や「×」等であってもよい。また、訂正を指示する記号がＡＲタグ中のどの画像と重なっているかは、抽出した画像データ中の当該記号とＡＲマーカーとの２次元媒体上の位置関係と、ＡＲマーカーとＡＲタグ中の各画像との仮想表示上の位置関係とを比較することで判断できる。

図７は、拡張現実情報提供システム１００におけるシーケンスを示す図である。図７において、ユーザー１が使用する端末装置１１０を「端末Ｘ」、ユーザー２が使用する端末装置１１０を「端末Ｙ」、ＡＲタグサーバー１２０を「サーバーＺ」と記載する。
以下に、図７に示すシーケンスについて説明する。
（１）端末Ｘにおいて画像を取り込むと、画像中にＡＲマーカーが有るか否かが認識され、ＡＲマーカーが有る場合に、端末ＸがサーバーＺへ、当該ＡＲマーカーに紐付けされている拡張現実情報を要求する（図７中のＡ）。

（２）要求された拡張現実情報の中に、共有者情報が対応付けられているものが有る場合に、サーバーＺが端末Ｘへ、ユーザーの識別情報を要求する（図７中のＢ）。
（３）端末ＸからサーバーＺへ、ユーザー１の識別情報が送信される（図７中のＣ）。なお、要求された拡張現実情報に共有者情報が対応付けられているものがない場合には、（２）の識別情報を要求と、（３）の識別情報の送信は省かれる。

（４）ＡＲマーカーに紐付けされている拡張現実情報のうちの、共有者情報が対応付けられていない拡張現実情報、あるいは、ユーザー１が共有者に含まれている拡張現実情報が、サーバーＺから端末Ｘへ送信される（図７中のＤ）。
（５）端末Ｘが拡張現実情報をＡＲマーカーに置き換えてＡＲタグとして画像を表示し、２次元媒体上にユーザーによる追加記載が行われた後に、端末ＸがサーバーＺへ、共有先一覧を要求する（図７中のＥ）。

（６）共有先一覧がサーバーＺから端末Ｘへ送信される（図７中のＦ）。なお、ユーザーが共有先を指定しない場合には、（５）の共有先一覧の要求と、（６）の共有先一覧の送信は省かれる。
（７）端末Ｘが共有先一覧を表示し、共有先がユーザーにより選択されると、端末ＸがサーバーＺへ、拡張現実情報を更新するように要求する（図７中のＧ）。

（８）サーバーＺにおいて、拡張現実情報の更新が終了すると、更新が終了した旨がサーバーＺから端末Ｘへ送信される（図７中のＨ）。
（９）一方、端末Ｙにおいて画像を取り込むと、画像中にＡＲマーカーが有るか否かが認識され、ＡＲマーカーが有る場合に、端末ＹがサーバーＺへ、当該ＡＲマーカーに紐付けされている拡張現実情報を要求する（図７中のＩ）。

（１０）要求された拡張現実情報の中に、共有者情報が対応付けられているものが有る場合に、サーバーＺが端末Ｙへ、ユーザーの識別情報を要求する（図７中のＪ）。
（１１）端末ＹからサーバーＺへ、ユーザー２の識別情報が送信される（図７中のＫ）。なお、要求された拡張現実情報に共有者情報が対応付けられているものがない場合には（１０）の識別情報を要求と、（１１）の識別情報の送信は省かれる。

（１２）ＡＲマーカーに紐付けされている拡張現実情報のうちの、共有者情報が対応付けられていない拡張現実情報、あるいは、ユーザー２が共有者に含まれている拡張現実情報が、サーバーＺから端末Ｙへ送信される（図７中のＬ）。
（１３）端末Ｙが拡張現実情報をＡＲマーカーに置き換えて、ＡＲタグとして画像を表示する。

図８、図９は、拡張現実情報を更新する処理、及び、拡張現実情報を提供する処理を端末装置１１０に実行させる更新提供プログラムの処理手順を示す図である。
（１）取り込んだ画像中にＡＲマーカーがあるか否かを判断する（ステップＳ１）。ＡＲマーカーがない場合には画像を表示し、処理を終了する。
（２）ＡＲマーカーがある場合には、ＡＲタグサーバー１２０へ当該ＡＲマーカーに紐付けされている拡張現実情報を要求する（ステップＳ２）。

（３）ＡＲタグサーバー１２０からユーザーの識別情報を要求されたか否かを判断する（ステップＳ３）。
（４）ユーザーの識別情報を要求された場合には、本端末装置１１０を使用しているユーザーの識別情報をＡＲタグサーバー１２０へ送信する（ステップＳ４）。
（５）ＡＲタグサーバー１２０から拡張現実情報が送信されたか否かを判断する（ステップＳ５）。

（６）ＡＲタグサーバー１２０から拡張現実情報を取得して、拡張現実情報をＡＲマーカーに置き換えて画像を表示し、画像データを記憶する（ステップＳ６）。
（７）「共有」等の所定の発話が認識されたか否かを判断する（ステップＳ７）。
（８）追加記載後の画像を取り込む（ステップＳ８）。
（９）追加記載前の画像データと、追加記載後の画像データとの差分をとり、追加記載された部分の画像データとその記載位置情報とを抽出する（ステップＳ９）。

（１０）抽出された画像データ中に、訂正を指示する記号があるか否かを判断する（ステップＳ１０）。
（１１）訂正を指示する記号がない場合には、追加記載された画像データを拡張現実情報に追加する（ステップＳ１１）。
（１２）訂正を指示する記号がある場合には、拡張現実情報から当該記号が重なっている画像の表示を削除し、削除した領域に当該記号以外の記載を上書きする（ステップＳ１２）。

（１３）共有先を指定するか否かをユーザーに選択させる（ステップＳ１３）。
（１４）共有先を指定する場合には、ＡＲタグサーバー１２０へ共有先一覧を要求する（ステップＳ１４）。
（１５）ＡＲタグサーバー１２０から共有先一覧が送信されたか否かを判断する（ステップＳ１５）。

（１６）共有先一覧を受信して表示する（ステップＳ１６）。
（１７）共有先一覧に存在する共有者を示す発話が認識されたか否かを判断する（ステップＳ１７）。なお共有者を指定しないときには、ユーザーが、例えば「指定しない」と発話することにより、共有者を指定しない旨が認識される。
（１８）共有者を示す発話が認識された場合に、（１１）又は（１２）で生成された拡張現実情報と（１７）で認識された共有者を識別する共有者情報とをＡＲタグサーバー１２０に送付し、これらを対応付けて記憶するように、ＡＲタグサーバー１２０に対して要求する（ステップＳ１８）。ここでステップＳ１３において共有先を指定しない場合、及び、ステップＳ１７において共有者を指定しなかった場合には、（１１）又は（１２）で生成された拡張現実情報をＡＲタグサーバー１２０に送付し、これを共有者を制限せずに記憶するように、ＡＲタグサーバー１２０に対して要求する。

（１９）ＡＲタグサーバー１２０から更新が終了した旨の通知を待つ（ステップＳ１９）。
（２０）更新が終了した旨を表示し、処理を終了する。（ステップＳ２０）。
（２１）タイムアウトしたか否かを判断する（ステップＳ２１）。
（２２）タイムアウトした旨を表示し、処理を終了する。（ステップＳ２２）。

図１０は、拡張現実情報を提供する処理をＡＲタグサーバー１２０に実行させる提供プログラムの処理手順を示す図である。
（１）端末装置１１０から、拡張現実情報の提供要求があるか否かを判断する（ステップＳ３１）。
（２）拡張現実情報の提供要求があった場合に、ＡＲマーカーに紐付けされている拡張現実情報の中に、共有者情報が対応付けられているものがあるか判断する（ステップＳ３２）。

（３）共有者情報が対応付けられているものがある場合には、端末装置１１０へユーザーの識別情報を要求する（ステップＳ３３）。
（４）端末装置１１０からユーザーの識別情報が送信されたか否かを判断する（ステップＳ３４）。
（５）端末装置１１０からユーザーの識別情報を受信し、ＡＲマーカーに紐付けされている拡張現実情報の中の、当該ユーザーが共有者に含まれている拡張現実情報を、端末装置１１０へ送信する（ステップＳ３５）。

（６）ＡＲマーカーに紐付けされている拡張現実情報を、端末装置１１０へ送信する（ステップＳ３６）。
（７）端末装置１１０から共有先一覧を要求されたか否かを判断する（ステップＳ３７）。
（８）要求された共有先一覧を端末装置１１０へ送信する（ステップＳ３８）。

（９）端末装置１１０から拡張現実情報を更新する要求を受けたか否かを判断する（ステップＳ３９）。
（１０）拡張現実情報を更新する（ステップＳ４０）。
（１１）更新が終了した旨を端末装置１１０へ通知する（ステップＳ４１）。
以上のように、拡張現実情報提供システム１００によれば、ユーザーが書き込んだ追加記載部分の画像データを抽出し、これを含めて拡張現実情報を更新することができるので、変更した情報をすぐさま他のユーザーと共有することができる。また、追加記載された画像データに対し共有させたい共有者を指定することができるので、特定のメンバーのみに知らせたい情報を適切に共有することができる。

なお、コンピューターに本実施の形態のような動作を実行させることができるプログラムがコンピューター読み取り可能な記録媒体に記録され、この記録媒体が流通し取り引きの対象となり得る。また、当該プログラムは、例えばネットワーク等を介して流通して取り引きの対象となり得、また、表示装置に表示されたり印刷されて、利用者に提示されることもあり得る。

ここでコンピューター読み取り可能な記録媒体とは、例えば、フロッピーディスク、ＣＤ、ＭＯ、ＤＶＤ、メモリカード等の着脱可能な記録媒体、及び、ハードディスク、半導体メモリ等の固定記録媒体等であり、特に限定されるものではない。

本発明は、携帯可能な外部端末装置において利用できる便利なアプリケーションソフトウェアとして広く適用することができる。本発明によって、ＡＲタグに対して書き込みや修正を施して、変更した情報をすぐさま他のユーザーと共有することができ、その産業的利用価値は極めて高い。

１００ 拡張現実情報提供システム
１１０ 端末装置
１１１ 取得部
１１２ 記憶部
１１３ 認識部
１１４ 受取部
１１５ 表示部
１１６ 音声認識部
１１７ 抽出部
１１８ 受付部
１１９ 更新要求部
１２０ ＡＲタグサーバー

Claims (12)

1. ２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示する複数の端末装置と、当該拡張現実情報を前記端末装置の各々へ提供するサーバーとを含む拡張現実情報提供システムであって、
   前記サーバーは、
   前記マーカーに紐付けして前記拡張現実情報を記憶しており、
   前記複数の端末装置は、それぞれ、
   ２次元媒体上に記載された画像を取り込んで、画像データを取得する取得手段と、
   取得された前記画像データを記憶する記憶手段と、
   取得された前記画像データに基づいて、前記画像中の前記マーカーを認識する認識手段と、
   認識された前記マーカーに紐付けされて前記サーバーに記憶されている拡張現実情報を、前記サーバーから受け取る手段と、
   取得された前記画像データを用いて前記画像を表示し、認識された前記マーカーに置き換えて、前記サーバーから受け取った拡張現実情報を表示する表示手段と、
   前記２次元媒体上に追加記載後に、前記取得手段に当該２次元媒体上に記載された追加記載後の画像の画像データを取得させ、追加記載前に前記記憶手段に記憶しておいた画像データと、追加記載後に取得された画像データとを比較することにより、追加記載された部分の画像データを抽出する画像データ抽出手段と、
   前記画像データ抽出手段が抽出した画像データから訂正を指示する記号を更に抽出する記号抽出手段と、
   前記サーバーに記憶されている前記拡張現実情報を、前記記号に対応する箇所を前記画像データ抽出手段が抽出した画像データの前記記号以外の部分を用いて更新するように、前記サーバーに対して要求する更新要求手段と、を備え、
   前記サーバーは、さらに、
   前記更新要求手段による更新要求を受けて、前記拡張現実情報を更新すること
   を特徴とする拡張現実情報提供システム。
2. 前記複数の端末装置は、さらに、
   ユーザーの発話を認識する音声認識手段を備え、
   前記画像データ抽出手段は、
   前記２次元媒体上に追加記載後に、前記音声認識手段により、所定の発話が認識されたときに、前記取得手段に当該２次元媒体上に記載された追加記載後の画像の画像データを取得させること
   を特徴とする請求項１に記載の拡張現実情報提供システム。
3. 前記複数の端末装置は、さらに、
   前記追加記載された画像データに対する共有させたい共有者の指定を、ユーザーから受け付けて、当該共有者を識別する共有者情報を取得する受付手段を備え、
   前記更新要求手段は、
   前記追加記載された画像データを含めて更新された拡張現実情報と、取得された前記共有者情報とを、対応付けて記憶するように、前記サーバーに対して要求し、
   前記サーバーは、
   前記更新要求手段による更新要求を受けて、前記拡張現実情報を前記共有者情報と対応付けて更新し、共有者情報により識別される共有者が使用する端末装置のみに当該拡張現実情報を提供すること
   を特徴とする請求項１に記載の拡張現実情報提供システム。
4. 前記複数の端末装置は、それぞれ、
   ユーザーの発話を認識する音声認識手段を備え、
   前記画像データ抽出手段は、
   前記音声認識手段により、所定の発話が認識されたときに、前記取得手段に画像データを取得させ、
   前記受付手段は、
   前記音声認識手段により認識された前記共有者を示す発話に基づいて、前記共有者情報を取得すること
   を特徴とする請求項３に記載の拡張現実情報提供システム。
5. ２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示する複数の端末装置と、当該拡張現実情報を前記端末装置の各々へ提供するサーバーとを含むシステムにおける拡張現実情報提供方法であって、
   前記サーバーは、
   前記マーカーに紐付けして前記拡張現実情報を記憶しており、
   前記複数の端末装置のそれぞれにおいて、
   ２次元媒体上に記載された画像を取り込んで、画像データを取得する取得ステップと、
   取得された前記画像データを記憶する記憶ステップと、
   取得された前記画像データに基づいて、前記画像中の前記マーカーを認識する認識ステップと、
   認識された前記マーカーに紐付けされて前記サーバーに記憶されている拡張現実情報を、前記サーバーから受け取るステップと、
   取得された前記画像データを用いて前記画像を表示し、認識された前記マーカーに置き換えて、前記サーバーから受け取った拡張現実情報を表示する表示ステップと、
   前記２次元媒体上に追加記載後に、当該２次元媒体上に記載された追加記載後の画像の画像データを取得し、追加記載前に前記記憶ステップにおいて記憶しておいた画像データと、追加記載後に取得された画像データとを比較することにより、追加記載された部分の画像データを抽出する画像データ抽出ステップと、
   前記画像データ抽出ステップにおいて抽出された画像データから訂正を指示する記号を更に抽出する記号抽出ステップと、
   前記サーバーに記憶されている前記拡張現実情報を、前記記号に対応する箇所を前記画像データ抽出ステップにおいて抽出された画像データの前記記号以外の部分を用いて更新するように、前記サーバーに対して要求する更新要求ステップと、を行い、
   前記サーバーにおいて、前記更新要求ステップによる更新要求を受けて、前記拡張現実情報を更新すること
   を特徴とする拡張現実情報提供方法。
6. 前記拡張現実情報提供方法は、さらに、
   前記複数の端末装置のそれぞれにおいて、ユーザーの発話を認識する音声認識ステップを行い、
   前記画像データ抽出ステップは、
   前記２次元媒体上に追加記載後に、前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させること
   を特徴とする請求項５に記載の拡張現実情報提供方法。
7. 前記拡張現実情報提供方法は、さらに、
   前記複数の端末装置のそれぞれにおいて、前記追加記載された画像データに対する共有させたい共有者の指定を、ユーザーから受け付けて、当該共有者を識別する共有者情報を取得する受付ステップを行い、
   前記更新要求ステップは、
   前記追加記載された画像データを含めて更新された拡張現実情報と、取得された前記共有者情報とを、対応付けて記憶するように、前記サーバーに対して要求し、
   前記サーバーにおいて、前記更新要求ステップによる更新要求を受けて、前記拡張現実情報を前記共有者情報と対応付けて更新し、共有者情報により識別される共有者が使用する端末装置のみに当該拡張現実情報を提供すること
   を特徴とする請求項５に記載の拡張現実情報提供方法。
8. 前記拡張現実情報提供方法は、さらに、
   前記複数の端末装置のそれぞれにおいて、ユーザーの発話を認識する音声認識ステップを行い、
   前記画像データ抽出ステップは、
   前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させ、
   前記受付ステップは、
   前記音声認識ステップにより認識された前記共有者を示す発話に基づいて、前記共有者情報を取得すること
   を特徴とする請求項７に記載の拡張現実情報提供方法。
9. ２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示する複数の端末装置と、当該拡張現実情報を前記端末装置の各々へ提供するサーバーとを含むシステムにおいて、前記２次元媒体上に記載されたマーカーに対応付けて拡張現実情報を表示させる処理を、前記端末装置に実行させる拡張現実情報提供プログラムであって、
   ２次元媒体上に記載された画像を取り込んで、画像データを取得する取得ステップと、
   取得された前記画像データを記憶する記憶ステップと、
   取得された前記画像データに基づいて、前記画像中の前記マーカーを認識する認識ステップと、
   認識された前記マーカーに紐付けされて前記サーバーに記憶されている拡張現実情報を、前記サーバーから受け取るステップと、
   取得された前記画像データを用いて前記画像を表示し、認識された前記マーカーに置き換えて、前記サーバーから受け取った拡張現実情報を表示する表示ステップと、
   前記２次元媒体上に追加記載後に、当該２次元媒体上に記載された追加記載後の画像の画像データを取得し、追加記載前に前記記憶ステップにおいて記憶しておいた画像データと、追加記載後に取得された画像データとを比較することにより、追加記載された部分の画像データを抽出する画像データ抽出ステップと、
   前記画像データ抽出ステップにおいて抽出された画像データから訂正を指示する記号を更に抽出する記号抽出ステップと、
   前記サーバーに記憶されている前記拡張現実情報を、前記記号に対応する箇所を前記画像データ抽出ステップにおいて抽出された画像データの前記記号以外の部分を用いて更新するように、前記サーバーに対して要求する更新要求ステップと、を含むこと
   を特徴とする拡張現実情報提供プログラム。
10. 前記拡張現実情報提供プログラムは、さらに、
    前記複数の端末装置のそれぞれにおいて、ユーザーの発話を認識する音声認識ステップを含み、
    前記画像データ抽出ステップは、
    前記２次元媒体上に追加記載後に、前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させること
    を特徴とする請求項９に記載の拡張現実情報提供プログラム。
11. 前記拡張現実情報提供プログラムは、さらに、
    前記複数の端末装置において、前記追加記載された画像データに対する共有させたい共有者の指定を、ユーザーから受け付けて、当該共有者を識別する共有者情報を取得する受付ステップを含み、
    前記更新要求ステップは、
    前記追加記載された画像データを含めて更新された拡張現実情報と、取得された前記共有者情報とを、対応付けて記憶するように、前記サーバーに対して要求すること
    を特徴とする請求項９に記載の拡張現実情報提供プログラム。
12. 前記拡張現実情報提供プログラムは、さらに、
    ユーザーの発話を認識する音声認識ステップを含み、
    前記画像データ抽出ステップは、
    前記音声認識ステップにより、所定の発話が認識されたときに、画像データを取得させ、
    前記受付ステップは、
    前記音声認識ステップにより認識された前記共有者を示す発話に基づいて、前記共有者情報を取得すること
    を特徴とする請求項１１に記載の拡張現実情報提供プログラム。

Images