JP2023097056A - イベント管理サーバシステムおよびコンテンツ画像制御方法 - Google Patents

Abstract

【課題】イベント来場者が携帯端末を介して、適切なサービスを容易に利用できるようにするイベント管理サーバシステム及びそれにより実現されるコンテンツ画像制御方法を提供する。【解決手段】イベント管理バシステム１において、携帯端末１２ａ～ｃは、イベントに来場したユーザによりイベント会場にてかざされると、その撮像画像を取得し、リアルタイム映像として表示させる。イベント管理サーバ１０は、携帯端末１２ａ～ｃから撮影画像を取得し、登録データと照合することによりユーザの特性を取得する。そして、注目する選手がしきい値以上離れたたことを判断すると、この選手の拡大画像を携帯端末１２ａ～ｃに重畳表示させる。【選択図】図１

Description

本発明は、スポーツ競技などのイベント会場において、携帯端末を介してサービスを提供するイベント管理サーバシステム、および、それにより実現されるコンテンツ画像制御方法に関する。

イベント会場や観光施設などにおいて、来場者が保持する携帯端末を介して様々な情報を提供することにより利便性を高める技術が実用化されている。例えば競技場におけるトイレの空き状況や飲食物を販売する売り子の位置を、来場者のスマートフォンに通知する技術が提案されている（例えば特許文献１参照）。また野球の試合観戦中、シースルーディスプレイなどを用いて、着目選手についての補助情報を表示させる技術が提案されている（例えば特許文献２参照）。一方、競技場で催される試合の様子を複数の視点で撮影しておき、クライアントからの要求に対応する視点からの映像を配信する技術が提案されている（例えば特許文献３参照）。

特開２０１８－１４２０８０号公報 特表２０１９－５３１５３８号公報 特開２０１９－６８１３０号公報

イベントの来場者が携帯端末を用いて利用できる上記のようなサービスは、付加的な情報を一方的に提示するような、比較的単純なものが多い。そのためスポーツ競技や音楽フェスティバルなど、観客の興味が実空間でのパフォーマンスに集中しがちなイベントでは特に、あえて端末を見たり操作したりしようと思える機会が少なく、サービスを有効利用できる場面が限られていた。

本発明はこうした課題に鑑みてなされたものであり、その目的は、イベント来場者が携帯端末を介して、適切なサービスを容易に利用できるようにする技術を提供することにある。

本発明のある態様はイベント管理サーバシステムに関する。このイベント管理サーバシステムは、イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得する端末情報取得部と、登録データと撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、端末に表示すべきコンテンツ画像を選択するコンテンツ画像制御部と、選択されたコンテンツ画像のデータを端末に送信し表示させる画像データ送信部と、を備えたことを特徴とする。

本発明の別の態様はコンテンツ画像制御方法に関する。このコンテンツ画像制御方法は、イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得するステップと、登録データと撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、端末に表示すべきコンテンツ画像を選択するステップと、選択されたコンテンツ画像のデータを端末に送信し表示させるステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、イベント来場者が携帯端末を介して、適切なサービスを容易に利用できるようになる。

本実施の形態を適用できるイベント管理システムの構成を示す図である。 本実施の形態において携帯端末が表示する画面を例示する図である。 本実施の形態においてコンテンツ画像により商品販売を促進する際の、携帯端末の画面を例示する図である。 本実施の形態においてコンテンツ画像によりイベントの娯楽性を向上させる際の、携帯端末の画面を例示する図である。 本実施の形態におけるイベント管理サーバの内部回路構成を示す図である。 本実施の形態における携帯端末の内部回路構成を示す図である。 本実施の形態におけるイベント管理サーバの機能ブロックの構成を示す図である。 本実施の形態における携帯端末の機能ブロックの構成を示す図である。 本実施の形態のイベント管理サーバにおいてコンテンツ画像制御部の照合部が行う照合処理の例を説明するための図である。 本実施の形態においてイベント管理サーバのコンテンツ画像制御部が、携帯端末に表示させるコンテンツ画像の例を説明するための図である。 本実施の形態においてイベント管理サーバのコンテンツ画像制御部が、携帯端末に表示させるコンテンツ画像の別の例を説明するための図である。 本実施の形態においてイベント管理サーバのコンテンツ画像制御部が、携帯端末に表示させるコンテンツ画像の種類と表示契機の設定例を示す図である。 本実施の形態においてイベント管理サーバが、携帯端末に表示させるコンテンツ画像を選択し、送信する処理手順を示すフローチャートである。

本実施の形態は、イベント会場において、携帯端末を介して来場者へのサービスを提供するシステムに関する。ここでイベントとは、複数の人が会場に赴き催しを見物したり体験したりするものであればよく、例えばスポーツ競技、音楽フェスティバル、コンサート、ショーなど、催しの内容、規模、会場の種類は特に限定されない。図１は、本実施の形態を適用できるイベント管理システムの構成を示している。イベント管理システム１は、イベント管理サーバ１０、携帯端末１２ａ～１２ｅ、仮想店舗管理サーバ１４、および実店舗管理サーバ１６を含む。

携帯端末１２ａ～１２ｅは、イベントの来場者（以後、「ユーザ」と呼ぶ）が携帯する端末であり、イベントに係る様々な情報を表示させたり、ユーザ操作を受け付けたりする。図１では携帯端末１２ａ、１２ｂ、１２ｃを高機能携帯電話（スマートフォン）、携帯端末１２ｄ、１２ｅをＡＲ（拡張現実：Augmented Reality）グラスなどのウェアラブル端末としている。このように携帯端末１２ａ～１２ｅは、ディスプレイ、通信機能を含む情報処理装置、入力装置を備えた一般的な端末であれば、その形態は限定されない。以後、携帯端末１２ａ～１２ｅを、単に「携帯端末１２」とする。

イベント管理サーバ１０は、携帯端末１２と通信を確立し、撮影画像やユーザ操作の内容を受信したうえ、対応する情報処理を実施したり、必要な情報を返信したりする。近年、５Ｇ（第５世代移動通信システム）の導入などにより、携帯端末であっても様々なデータを低遅延・大容量で伝送することが可能になっている。したがって携帯端末１２とイベント管理サーバ１０との通信にも、そのような技術を適宜利用する。

なおイベント管理サーバ１０は、実際には複数の情報処理装置や記憶装置により実現してよい。例えばイベント管理サーバ１０は、５Ｇの技術のひとつであるＭＥＣ（Multi-access Edge Computing）により、機能に応じて分散配置されていてもよい。この場合、携帯端末１２との画像データの送受信機能など、高い応答性が求められる機能はイベント会場近隣に設置したサーバにより実現し、それ以外の機能は、別のデータセンターなどに設置したサーバにより実現することが考えられる。したがって本実施形態の「イベント管理サーバ」は、装置の数によらず「イベント管理サーバシステム」と読み替えることができる。

仮想店舗管理サーバ１４は、イベント管理サーバ１０と通信を確立し、ネットワーク上の仮想店舗とユーザ間の売買を仲介する。実店舗管理サーバ１６は、イベント管理サーバ１０と通信を確立し、イベント会場内外の実店舗とユーザ間の売買を仲介する。実店舗管理サーバ１６はさらに、実店舗のリアルタイムでの状態、例えば込み具合、待ち時間、商品在庫などの情報を、イベント管理サーバ１０に随時提供してよい。

本実施の形態においてイベント管理サーバ１０は、携帯端末１２を介してユーザに様々なサービスを提供する。ここで提供されるサービスは、イベントそのものをより楽しめるようにする仕組みと、関連商品の販売促進に大別される。本実施の形態では携帯端末１２を介し、イベントの様子と合わせてサービスに係る各種情報を視認できるようにする。これによりユーザは、イベントのリアルタイムでの状況を見逃したり興味が削がれたりすることなく、多様なサービスを利用できる。

具体的には、ユーザは、携帯端末１２をかざすことによりイベントの様子をインカメラにより撮影し、そのリアルタイム映像をディスプレイに表示させた状態とする。一方、イベント管理サーバ１０は、携帯端末１２による撮影画像を収集し、それを解析することにより、携帯端末１２を扱う各ユーザの特性や興味を推定する。そして推定結果に基づき、リアルタイム映像に重畳表示させるのに最適な画像を生成し、各携帯端末１２に表示させる。

ここで重畳表示させる画像は、あたかもイベント会場に存在するかのように描画した仮想オブジェクトとして表してもよい。実空間の像に仮想的なオブジェクトを融合させる技術としては、ＡＲやＭＲ（複合現実：Mixed Reality）などの技術を応用できる。この場合、仮想オブジェクトの配置を定義するために、イベント会場の空間構造を表す３次元データが用いられる。本実施の形態では当該３次元データを、撮影画像の解析にも利用することにより、ユーザの特性や興味を低コストで特定できるようにする。以後、イベント管理サーバ１０が携帯端末１２ごとに選択し、リアルタイム映像に重畳表示させる画像を、「コンテンツ画像」と呼ぶ。

図２は、携帯端末１２が表示する画面を例示している。この例、および後述する図３、４では、イベントをサッカーの試合とし、ユーザは自分の座席からフィールド上で行われている試合を観戦しているとする。その状態でユーザが携帯端末１２をかざすと、携帯端末１２は例えば（ａ）に示すように、その視点から見える実空間の様子を表示させる。この状況は例えば、携帯端末１２の背面に装備されるカメラが撮影するリアルタイムの映像を、ディスプレイに即時表示させることにより実現される。ユーザが携帯端末１２の向きを変えれば、当然、映像の視野もそれに連動する。

（ｂ）は、（ａ）で示したリアルタイム映像に、コンテンツ画像を重畳させた状態を示している。この例ではコンテンツ画像として、円筒形の仮想サイネージの画像２００を重畳表示している。仮想サイネージは、その側面や内壁に、点数、選手の画像、広告などの各種情報を表した電光掲示板を模したオブジェクトであり、あたかも天空からつり下げられているように見せている。仮想サイネージの画像２００は、サイネージの形状を表す３次元モデル上に、必要な情報をテクスチャとしてマッピングすることにより描画される。ただしコンテンツ画像が表すオブジェクトの種類や形状、描画手法を限定する主旨ではない。

仮想サイネージの画像２００を動画とし、提示する情報を円筒の側面上で周回させてもよい。このようなＡＲを実現する場合、イベント管理サーバ１０にはあらかじめ、イベント会場であるサッカースタジアムの空間構造の３次元データを格納しておく。そして同じ３次元空間に対し仮想サイネージの配置を決定し、その位置情報を携帯端末１２に通知する。携帯端末１２は、実空間の対応する位置にサイネージのオブジェクトを仮想的に配置し、それをカメラのスクリーン座標系に射影することで、表示中のリアルタイム映像に画像２００を描画する。

これによりカメラの視野によらず、仮想的なサイネージが実空間の所定位置に固定された状態となり、サッカーフィールドなどイベント上で重要な部分を避けてコンテンツ画像を表示できる。空間構造の３次元データを、点群データなど精度の高いデータ形式とすることにより、例えばサッカースタジアムの屋根の裏側に仮想的にロゴを表すなど、多様な場所に合わせて、高い精度でコンテンツ画像を表示させることができる。

ここでユーザが、仮想サイネージの画像２００に表された情報のいずれかを指示したら、イベント管理サーバ１０は当該ユーザ操作を取得したうえ、指示された情報に関連する別の情報を表すコンテンツ画像を、携帯端末１２にさらに表示させてもよい。例えばイベント管理サーバ１０は、仮想サイネージに示されたスポンサーのロゴが指示されたとき、当該スポンサーの広告動画を追加で表示させる。また選手の顔画像が指示されたとき、当該選手のプロフィールや戦績、関連グッズなどを表す画像を追加で表示させる。

同様の表示は、リアルタイム映像に表された実物体の像への指示を契機としてもよい。例えばユーザが、向かい側の観客席に設置された看板の像２０１を指示したら、イベント管理サーバ１０はそれに関連するプロモーション動画を表示させる。またイベント管理サーバ１０は、仮想サイネージの画像２００や実物体の像に対するユーザの指示操作に応じて、関連商品の購入を受け付けるＧＵＩ（Graphical User Interface）を表示させてもよい。

コンテンツ画像は、ユーザがイベント会場に携帯端末１２をかざしている間は常に表示させてもよいし、上述のようにユーザによる特定の操作に応じて表示／非表示を切り替えてもよい。特定の操作として、画面のタップ操作に代表される一般的な指示操作のほか、ズーム倍率変更操作や静止画撮影操作などの撮影操作を利用してもよい。あるいは、出場者の状態やイベントの状況など、ユーザ操作以外の要因に基づき表示／非表示を切り替えてもよい。

図３は、コンテンツ画像により商品販売を促進する際の、携帯端末１２の画面を例示している。（ａ）は、リアルタイム映像に、商品であるスパイクの販売情報２０６と購入を受け付けるＧＵＩ２０８を重畳表示させている。例えばユーザが、図２の（ｂ）に示す仮想サイネージの画像２００に掲示された選手の画像を指示したら、当該選手の情報２０２とともに、選手が着用しているのと同モデルのスパイクを販売対象として、販売情報２０６とＧＵＩ２０８を表示する。それらのコンテンツ画像は３次元モデルを有するオブジェクトでもよいし、平面的な画像でもよい。

販売情報２０６に含まれるスパイクの画像については、ＭＲの技術を利用し、３次元オブジェクトの向きを変えたり自分の方に引き寄せたりできるようにすることで、細部を確認できるようにしてもよい。また図示する例でＧＵＩ２０８は、「これを買う」なる文字を表した、横長の３次元オブジェクトで表現されている。ＧＵＩ２０８を指示するユーザ操作がなされたら、イベント管理サーバ１０はそれを受け付け、販売元を管理する仮想店舗管理サーバ１４または実店舗管理サーバ１６に対し、発注処理や決済処理を実施する。

発注や決済の処理が完了したら、イベント管理サーバ１０は（ｂ）に例示するように、購入完了を示す画像２１０を携帯端末１２に重畳表示させる。この例で画像２１０は、「購入完了しました」なる文字を表した、横長の３次元オブジェクトで表現されている。このようにして購入された商品は、その種類や購入先によって、会場内で入手できるようにしてもよいし、後日配送されるようにしてもよい。前者の場合、来場者の座席まで届けられるようにしてもよいし、来場者が店舗へ受け取りに行くようにしてもよい。

図４は、コンテンツ画像によりイベントの娯楽性を向上させる際の、携帯端末１２の画面を例示している。（ａ）は、得点が入ったタイミングでの画面例であり、シュートした選手の情報２２０や、得点を祝う光や文字での仮想的な演出を表す画像２２２をコンテンツ画像として、リアルタイム映像に重畳表示している。（ｂ）は試合中の任意のタイミングで、フィールド上の選手のリアルタイムの像２２４をコンテンツ画像として重畳表示している。図示するように選手の像２２４を拡大して表示することにより、自席から見にくい選手の様子を詳細に確認できる。

図４に示したようなコンテンツ画像の場合は特に、表示結果を好適と感じるか煩わしいと感じるかは、応援しているチームや注目している選手など、ユーザ個々の趣味嗜好によって大きく分かれる。またユーザの座席と選手の位置によっては、選手の像を拡大する必要がないこともある。さらに戦況、天候、温度、他の観客の様子、ユーザ個々の体調など、事前に予測しにくい事象によって、見たい情報や購入したい商品は時々刻々と変化し得る。

これを踏まえ、本実施の形態においてイベント管理サーバ１０は、携帯端末１２による撮影画像、撮影操作や指示操作などのユーザ操作の内容、ユーザのプロフィールなどの情報を収集し、それに基づきユーザ個々の特性や興味を推定する。さらに出場者や会場内の状況などを加味して、表示すべきコンテンツ画像の内容や表示タイミングを最適化する。これにより、事前登録やメニュー操作などの手間を最小限に、携帯端末１２を介してイベントをより楽しんだり、欲しい商品を容易に購入したりできるようにする。

図５は、イベント管理サーバ１０の内部回路構成を示している。イベント管理サーバ１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、携帯端末１２、仮想店舗管理サーバ１４、および実店舗管理サーバ１６と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、図示しないディスプレイへデータを出力する出力部３６、図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することによりイベント管理サーバ１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた各種プログラムを実行する。ＧＰＵ２４は、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図６は携帯端末１２の内部回路構成を示している。携帯端末１２は、ＣＰＵ５０、メインメモリ５２、表示部５４、入力部５６、音声出力部５９、通信部６０、モーションセンサ６２、カメラ６４、位置取得部６６を含む。これらの各部はバス５８を介して相互に接続されている。ＣＰＵ５０は、バス５８を介して携帯端末１２の各部から取得した情報を処理し、出力データを表示部５４、音声出力部５９に供給する。メインメモリ５２はＣＰＵ５０における処理に必要なプログラムやデータを格納する。

表示部５４は、液晶パネルや有機ＥＬパネルなどの表示パネルとその駆動機構で構成され、図２乃至４で例示したような画像を表示する。入力部５６は、表示部５４の画面を覆うタッチパッドや筐体に設けられたハードウェアキーで構成され、表示された画像に対する指示操作や、ズーム倍率変更操作や静止画撮影操作などの撮影操作を受け付ける。音声出力部５９はスピーカーやイヤホンとその制御機構で構成され、必要に応じてユーザに音声を聞かせる。

通信部６０は、イベント管理サーバ１０と通信を確立し、必要なデータを送受する。本実施の形態では、例えば５Ｇの通信技術により携帯端末１２の移動通信を実現する。モーションセンサ６２は、加速度センサ、ジャイロセンサ、地磁気センサなどの少なくともいずれかで構成され、携帯端末１２の３次元空間での姿勢や動きを計測する。カメラ６４は、表示部５４の画面と反対方向の実空間を動画撮影する。本実施の形態では特に、その映像を表示部５４に即時表示させることにより、実空間の様子がリアルタイムで見られるようにする。撮影画像のデータはまた、通信部６０を介してイベント管理サーバ１０に送信され、コンテンツ画像の選択に利用される。

位置取得部６６は、ＧＰＳ（Global Positioning System）、Ａ－ＧＰＳ（Assisted-GPS）など周知の技術により、自装置の位置情報を随時取得する。モーションセンサ６２および位置取得部６６による測定値や、カメラ６４による撮影画像は、コンテンツ画像である仮想オブジェクトを描画する際、実空間に対するスクリーン座標系を決定するのに用いることができる。

図７は、本実施の形態におけるイベント管理サーバ１０の機能ブロックの構成を示している。図７および後述する図８に示す各機能ブロックは、ハードウェア的には、図５または図６に示したＣＰＵやメインメモリなどの電子部品で実現でき、ソフトウェア的には、記録媒体などからメインメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

イベント管理サーバ１０は、携帯端末１２から撮影画像のデータやユーザ操作の内容を取得する端末情報取得部７０、携帯端末１２に表示させるコンテンツ画像を制御するコンテンツ画像制御部７２、商品売買の手続きを実現する売買処理部７４、コンテンツ画像の制御や商品売買の手続きに必要な情報を格納する情報記憶部７６、イベントの出場者の状態に係る所定の情報を取得する出場者状態情報取得部７８、イベントの状況に係る所定の情報を取得するイベント状況情報取得部８０、および、コンテンツ画像のデータを送信する画像データ送信部８２を備える。

端末情報取得部７０は、携帯端末１２のカメラ６４によるリアルタイムの撮影画像のデータを取得する。また端末情報取得部７０は、携帯端末１２に対するユーザ操作の内容を随時取得する。ここでユーザ操作とは例えば、カメラ６４のズーム倍率変更操作や静止画撮影操作などの撮影操作、携帯端末１２に表示中の画像に対する指示操作、商品の購入操作などである。端末情報取得部７０は、携帯端末１２がイベント会場を撮影している期間は継続して、所定の時間間隔で撮影画像のデータを取得してもよいし、ユーザが所定の操作を行ったときのみ、当該操作の内容と対応づけて、その際の撮影画像のデータを取得してもよい。

端末情報取得部７０は、撮影画像のデータやユーザ操作の内容に係る情報を、携帯端末１２の識別情報と対応づけて取得することにより、後段の処理を、携帯端末１２のそれぞれに対し個別に行えるようにする。コンテンツ画像制御部７２は、端末情報取得部７０が取得したデータや情報に基づき、各携帯端末１２に表示すべきコンテンツ画像を、個々のユーザに対し適切に選択し生成する。詳細にはコンテンツ画像制御部７２は、照合部９０、画像選択部９２、および画像生成部９４を備える。

照合部９０は、端末情報取得部７０が取得したデータや情報と、イベント会場の空間構造を示す３次元データ、あるいはあらかじめ登録された出場者やロゴなどのテンプレート画像とを照合することで、携帯端末１２を使用しているユーザの特性や興味の対象を推定する。例えば照合部９０は、イベント会場の空間構造のデータと撮影画像とを照合することにより、携帯端末１２、ひいてはユーザの位置を特定する。

この場合、「照合」は例えば、撮影画像の特徴点分布に基づき空間構造の３次元データを探索し、最も合致する画角が得られるときの携帯端末１２の位置や姿勢を導出することにより実現される。ただしユーザの位置を特定する手段をこれに限る主旨ではなく、携帯端末１２が備えるモーションセンサ６２や位置取得部６６の出力値を用いたり、当該出力値を撮影画像の照合結果と組み合わせて精度を高めたりしてもよい。

照合部９０は、特定したユーザの位置を利用して副次的な情報を特定してもよい。例えば照合部９０は、被写体であるイベント出場者とユーザとの距離や向きの関係を導出してもよい。あるいは照合部９０は、特定した位置が含まれる座席の種類を取得することにより、ユーザが応援しているチームを判別したり、座席のランクに応じたプロフィールを推定したりしてもよい。

また照合部９０は、撮影画像中の被写体の像を、あらかじめ準備した画像や文字情報と照合することにより、ユーザが注目している人や物を推定してもよい。例えば照合部９０は、撮影画像から顔領域を抽出し、登録されている出場者の顔画像と照合したり、ユニフォームに示されている背番号や名前を検出し、登録情報と照合したりすることにより、注目している出場者を特定する。あるいは照合部９０は、撮影画像に写る看板や商品のロゴを検出し、登録済みの企業や商品のロゴ画像と照合することにより、ユーザがその時点で興味を持っている企業や商品を特定してもよい。このような画像同士の「照合」には、物体検出や物体認識などの分野で用いられる技術を採用できる。

照合部９０が上記のような照合を行うタイミングは限定されない。例えば照合部９０は、イベント開始のタイミングで１回のみ照合を行ってもよいし、携帯端末１２から撮影画像のデータが送信されている間は周期的に行ってもよい。あるいは照合部９０は、イベントの状況、出場者の状態、ユーザ操作の内容などが所定の条件を満たしたとき、照合を行ってもよい。例えば照合部９０は、ユーザがズームイン操作をおこなったとき、ズームの中心にある被写体の像を照合対象としてもよい。

画像選択部９２は、照合部９０による照合の結果に基づき、携帯端末１２に表示させるコンテンツ画像を選択する。画像選択部９２は例えば、ユーザが応援しているチームに得点が入ったとき、図４の（ａ）で示した仮想的な演出を表すコンテンツ画像を選択する。また、注目している出場者がユーザから離れた場所にいる場合に、図４の（ｂ）で示したような拡大画像を選択する。あるいは、場内の看板がズームアップされた場合に、関連する企業や商品の広告、あるいは図３で示したような、関連商品を購入するためのＧＵＩをコンテンツ画像として選択する。

画像生成部９４は、画像選択部９２が選択したコンテンツ画像を、携帯端末１２に表示可能な状態で生成する。コンテンツ画像を、実空間と融合した３次元オブジェクトで表現する場合、画像生成部９４は、当該３次元オブジェクトのモデルデータと、イベント会場を表す３次元座標系での位置とを対応づける。さらに画像生成部９４は、３次元オブジェクトにマッピングするテクスチャデータをリアルタイムでの情報に基づき生成したり、特定の出場者のリアルタイムでの像を実写映像から切り取ったりしてもよい。あるいは画像生成部９４は、２次元の画像としてコンテンツ画像を描画してもよい。

出場者状態情報取得部７８は、イベントの出場者の位置および向きの少なくともいずれかを含む状態情報を継続的に取得する。例えば出場者状態情報取得部７８は図示しない外部のカメラから、出場者を複数の視点から撮影したリアルタイム映像を取得し、それを解析することにより、イベント会場での出場者の位置や向き、速度、動作の種類などの状態情報を導出する。そのような画像解析は、スポーツ中継などの分野で広く実用化されている。

出場者状態情報取得部７８は、出場者の状態情報や映像のデータを、コンテンツ画像制御部７２に順次提供する。コンテンツ画像制御部７２は当該情報やデータを、コンテンツ画像の制御に利用する。例えばコンテンツ画像制御部７２は、ユーザと出場者との距離に応じて、当該出場者の拡大画像を表示させるか否かを決定する。あるいはコンテンツ画像制御部７２は、ユーザから見えない向きの出場者の様子を表すように、コンテンツ画像を生成する際の仮想視点の位置および向きの少なくともいずれかを変化させる。

これにより、大規模会場などで出場者が見にくい場合であっても、座席によらず視認性を向上させることができる。またコンテンツ画像制御部７２は、出場者のパフォーマンスの善し悪しに応じて、それを強調する仮想的な演出や、パフォーマンスについての解説が表示されるように制御してもよい。

イベント状況情報取得部８０は、天候、時間帯、季節、温度、湿度、試合の戦況、ショーの進捗など、イベントの状況情報を取得する。イベントの状況情報は、イベント管理サーバ１０の管理者やイベントの主催者が、イベント開始前やイベント開催中に、必要に応じて入力してもよいし、温度計、照度計、湿度計など、図示しない各種センサによる出力値から特定してもよい。あるいはイベント状況情報取得部８０は、携帯端末１２から送信される撮影画像、または、図示しない外部のカメラにより撮影されたリアルタイム映像を解析することにより、状況情報を取得してもよい。

イベント状況情報取得部８０は、イベントの状況情報をコンテンツ画像制御部７２に適宜提供する。コンテンツ画像制御部７２は当該情報をコンテンツ画像の制御に利用する。例えばコンテンツ画像制御部７２は、イベント途中での降雨に応じて、雨具の購入を受け付けるコンテンツ画像を表示させたり、温度上昇に応じて飲料水の購入を受け付けるコンテンツ画像を表示させたりする。

コンテンツ画像制御部７２はまた、得点が入ったことに応じて、得点を入れたチームを応援しているユーザの携帯端末１２に、図４の（ａ）で示したような仮想的な演出や得点者の情報を示すコンテンツ画像を表示させてもよい。さらにコンテンツ画像制御部７２は、得点を入れたチームを応援しているユーザの携帯端末１２に、関連商品の購入に用いることのできる割引きクーポンを表示させてもよい。この場合、点数が増えるほど割引き率を上げるなど、戦況によって割引き率に変化を与えてもよい。

またコンテンツ画像制御部７２の照合部９０は、状況情報に基づき、撮影画像と照合する空間構造のデータを切り替えてもよい。例えば開閉可能な屋根付きのスタジアムの場合、天候に依存して屋根の状態が変化する。このため空間構造のデータを、屋根の状態が異なる複数のパターンで準備しておき、照合部９０は、状況情報に含まれる天候に基づき、対応する屋根の状態を表すデータを選択して照合に用いる。これにより、照合結果の精度を安定させることができる。なおイベント状況情報取得部８０は、屋根が閉じているか開いているかといった、空間構造の状態自体を状況情報として、撮影画像等から取得してもよい。

またコンテンツ画像をＡＲで表現する場合、画像選択部９２がコンテンツ画像を選択する段階においても、状況情報に基づく空間構造のデータの切り替えを反映させてよい。これにより、実際には存在しない屋根の裏の位置に、コンテンツ画像として仮想的なロゴを表示するといった不具合を回避できる。上述した出場者状態情報やイベント状況情報は、コンテンツ画像制御部７２においてコンテンツの選択に用いられるほか、コンテンツ画像の表示の契機として利用してもよい。

売買処理部７４は、携帯端末１２にコンテンツ画像として表示させた、商品購入のためのＧＵＩに対する購入操作に応じて、売買の手続きを実現する。この際、売買処理部７４は、あらかじめ登録された、携帯端末１２のユーザの個人情報を取得することにより、その場でユーザが個人情報を入力し直す手間を省く。ここで個人情報とは、名前、クレジットカードの番号、セキュリティコードなど、決済に必要な情報のほか、商品を郵送する場合はその送付先住所や電話番号などの情報を含む。

なお購入対象の商品は上述のとおり、ユーザが場内の店舗へ出向くことにより受け取る物であってもよいし、店舗からユーザの座席に届ける物であってもよい。後者の場合、売買処理部７４は、照合部９０が照合の結果取得した、ユーザの座席の情報を参照して届け先を特定してよい。いずれにしろ売買処理部７４は、ユーザによる購入操作に応じて仮想店舗管理サーバ１４や実店舗管理サーバ１６と通信を確立し、発注処理や決済処理を実施する。クレジットカードや電子マネーなどの決済手段を利用した電子商取引の仕組みについては従来技術を適用できる。

なお店舗を指定せずに購入操作がなされた場合、あるいは、複数あるチェーン店で対象商品が販売されている場合、売買処理部７４は、照合部９０による照合の結果得られたユーザの位置や座席に最も近い店舗を発注先として選択してもよい。また発注後、売買処理部７４は、発注が完了した旨の通知を示すコンテンツ画像を、コンテンツ画像制御部７２を介して、購入元の携帯端末１２に表示させてもよい。これらの手順により、ユーザは図３で示したように、単純な操作で、かつイベントのリアルタイム映像の隠蔽範囲を最小限に、所望の商品を購入できる。

なお売買処理部７４は、会場内の店舗への発注後、店舗の場所、注文番号、待ち時間などを発注先の店舗から取得し、コンテンツ画像制御部７２を介して、それらの情報を表すコンテンツ画像を購入元の携帯端末１２に表示させてもよい。また売買処理部７４は、会場内や近隣にある実店舗の混み具合、商品在庫、待ち時間など店舗の状態情報を随時取得し、それらの情報を表すコンテンツ画像を、コンテンツ画像制御部７２を介して携帯端末１２に表示させてもよい。

情報記憶部７６は、コンテンツ画像制御部７２や売買処理部７４が上述したような処理を実施するために必要な情報を記憶する。詳細には情報記憶部７６は、ユーザ情報記憶部１００、関連情報記憶部１０２、空間情報記憶部１０４、照合規則記憶部１０６、および、画像データ記憶部１０８を含む。ユーザ情報記憶部１００は、携帯端末１２の識別情報とユーザの個人情報とを対応づけて記憶する。個人情報は、上述のとおり売買処理部７４が商品売買の手続きで利用するほか、コンテンツ画像制御部７２がコンテンツ画像を選択する際にも利用できる。

例えばユーザ情報記憶部１００には、ユーザの年齢、性別、住所、購入履歴、イベント参加履歴などの少なくともいずれかを個人情報として格納しておく。コンテンツ画像制御部７２はそれらの情報を参照することにより、コンテンツ画像として表示させる商品を最適化したり、照合部９０による照合結果と統合することにより、ユーザの特性や注目対象の特定精度を高めたりできる。例えば撮影画像に複数の出場者や商品が写っている場合、照合部９０は上記のような個人情報に基づき、どの出場者や商品に注目しているかを絞り込んでもよい。

関連情報記憶部１０２は、照合部９０が照合に用いるテンプレートデータと、それが表す被写体の情報とを対応づけて記憶する。ここで照合に用いるテンプレートデータとは例えば、出場者の顔やユニフォーム・衣装の画像、チームのロゴ、チーム名を示す文字情報、ボールなどの器具の画像、看板の画像、商品や企業のロゴ、マークなどである。

各画像や文字情報は、それが表す出場者やチームのプロフィール、企業のプロフィールや商品の販売情報などに対応づけられる。照合部９０は撮影画像とテンプレートデータとの照合結果に基づき、ユーザの興味の対象となっている出場者、企業、商品を推定する。これにより画像選択部９２は、コンテンツ画像として表すべき出場者、広告、販売情報などを適切に選択できる。

関連情報記憶部１０２は、商品の販売情報を、それに係るコンテンツ画像の表示条件と対応づけて格納してもよい。表示条件は例えば、出場者の状態情報やイベントの状況情報に対して設定できる。これにより画像選択部９２は、降雨に応じて雨具購入のためのＧＵＩを表示さたり、得点に応じて割引クーポンを表示させるなど、ユーザ操作によらず適切なタイミングで商品の販売情報を表示させることができる。

関連情報記憶部１０２はさらに、商品の販売情報として、販売店舗のＵＲＬ（Uniform Resource Locator）や実店舗の位置などを記憶してもよい。これにより売買処理部７４は、仮想店舗管理サーバ１４や実店舗管理サーバ１６を介して、適切な店舗に発注を行える。

空間情報記憶部１０４は、イベント会場の実空間の構造を３次元の情報として表したデータを記憶する。データ形式は特に限定されないが、例えば、会場の実空間に存在する物体の表面の位置を、当該表面上に離散的に分布させた点群の３次元位置座標で表した点群データ（ポイントクラウド）を用いることが考えられる。点群データを利用することにより、仮想オブジェクトの位置や姿勢を、同じ３次元座標系で精密に規定することができ、実空間と仮想オブジェクトの融合を高精度に表現できる。

上述のとおり本実施の形態では、空間構造のデータを、撮影画像との照合によりユーザの位置を特定する目的でも利用する。空間情報記憶部１０４はさらに、空間構造のデータの分割領域を、座席、フィールド、舞台、通路、店舗など実世界でのカテゴリに対応づけて記憶する。これにより座席に応じたユーザの特性を特定したり、携帯端末１２のカメラが向く方角を絞り込んだりできる。

また上述のとおり、イベント会場の構造が可変の場合、空間情報記憶部１０４には空間構造のデータを複数パターン記憶させ、照合部９０が所定の規則に則り照合に用いるデータを切り替えてもよい。このため空間情報記憶部１０４は、状況情報などに設定した選択基準を、空間構造の各データに対応づけて記憶してもよい。

照合規則記憶部１０６は、照合部９０による照合処理の規則を記憶する。照合規則は例えば次表のように、撮影画像を照合する対象、照合する契機、照合により特定する対象を規定する。

この例では、撮影画像とイベント会場の空間構造との照合を、携帯端末１２においてアプリケーションが起動されたときに行うことにより、ユーザの位置や座席を特定することが規定されている。また、携帯端末１２におけるズームイン操作時、および表示画像の指示操作時に、対象の像とテンプレート画像との照合を行い、注目している出場者、関連企業、商品を特定することが規定されている。

上表では画像選択部９２が、特定された情報に基づき選択するコンテンツ画像の種類も示している。具体的には、ユーザの位置や座席、注目している出場者を特定することにより、イベント用コンテンツ、すなわち視認性を向上させたり、パフォーマンスに対し仮想的な演出を表したりする対象となるチームや出場者を限定する。換言すると、応援していないチームや出場者についてはそれらのコンテンツ画像を表示させないことになり、過剰や不快と思わせる可能性を低くする。

また注目している企業や商品を特定することにより、販売促進用コンテンツ、すなわち販売情報や広告動画を表示させたり購入を受け付けたりする対象を限定する。これにより、興味がない企業や商品の情報が表示されることによる煩わしさを回避し、少ない情報で販売効果を上げることができる。ただし上表は一例であり、本実施の形態を限定する主旨ではない。例えば注目している出場者の関連グッズを購入するためのコンテンツ画像は、販売促進用コンテンツと位置づけることもできる。

画像データ記憶部１０８は、画像生成部９４がコンテンツ画像を生成するのに用いる画像データを記憶する。画像データ記憶部１０８は例えば、仮想オブジェクトを描画するための３次元モデルデータ、テクスチャデータ、イベント会場の３次元空間における配置情報などを格納する。画像データ記憶部１０８はまた、出場者や商品の情報を示すコンテンツ画像のフォーマット、商品や広告の画像データなどを格納する。これらのデータは、関連情報記憶部１０２に格納された、出場者、企業、商品の情報と対応づけておく。

画像データ送信部８２は、コンテンツ画像制御部７２が選択し生成したコンテンツ画像のデータを携帯端末１２に送信する。ここで画像データ送信部８２が送信するデータは、コンテンツ画像そのものでもよいし、仮想オブジェクトの実空間での配置やそこに表す文字情報など、携帯端末１２が解釈して画像を描画するために必要な部分的なデータでもよい。

後者の場合、携帯端末１２は、内部で保持する３次元モデルと送信された位置情報に基づき、実空間を表す座標系にオブジェクトを配置したうえ、表示画面で構成されるスクリーン座標系に像を描画する。あるいは画像データ送信部８２は、コンテンツ画像以外の領域を透明として画像を生成したうえで携帯端末１２に送信することも考えられる。この場合、携帯端末１２では、送信された画像をリアルタイム映像に重ね合わせるのみですむ。イベント管理サーバ１０と携帯端末１２で保持するデータや処理の分担について様々に考えられることは、当業者には理解されるところである。

図８は、本実施の形態における携帯端末１２の機能ブロックの構成を示している。図示する機能の全部または一部は、ユーザの選択や携帯端末１２の自律的な要求制御により、アプリケーションを配信する配信サーバからダウンロードすることにより構成してもよいし、携帯端末１２の出荷時にインストールするなどして構成してもよい。また携帯端末１２は、高機能携帯電話などアプリケーションがインストールされた端末と、画像を表示するＡＲグラスなどのウェアラブルディスプレイとで構成されていてもよい。この場合、両者は例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信でデータを送受信してもよいし、両者を有線接続してもよい。

携帯端末１２は、ユーザによる操作を受け付ける操作受付部１１０、実空間の画像を撮影する撮影部１１１、撮影画像のデータやユーザ操作の内容をイベント管理サーバ１０に送信する端末情報送信部１１２、携帯端末１２自体の状態に係る情報を取得する状態情報取得部１１４、コンテンツ画像のデータをイベント管理サーバ１０から受信する画像データ受信部１１６、リアルタイム映像やコンテンツ画像を表示させる表示部１１８を備える。

携帯端末１２はさらに、ユーザの個人情報を記憶する個人情報記憶部１２０および、コンテンツ画像の表示に用いるデータを記憶する画像データ記憶部１２２を備える。操作受付部１１０は、表示部１１８に表示されている画像に対する指示操作や撮影操作などのユーザ操作を受け付ける。ユーザ操作の手段としては、画面へのタップ操作やピンチ操作のほか、ＭＲの技術により仮想オブジェクトをカメラの視野内の実空間で仮想的に指示する操作や、当該視野内での手によるジェスチャなどでもよい。

撮影部１１１は図５に示したカメラ６４を含み、イベントが行われている実空間の像を撮影する。本実施の形態では特に、ユーザが携帯端末１２をかざしている期間、イベントの様子を動画撮影することを基本とする。端末情報送信部１１２は、撮影部１１１による撮影画像、すなわち動画のフレームのデータ、および、操作受付部１１０が受け付けたユーザ操作の内容を、携帯端末１２の識別情報とともにイベント管理サーバ１０に送信する。

個人情報記憶部１２０はそのため、少なくとも携帯端末１２の識別情報を記憶する。個人情報記憶部１２０はそのほか、ユーザの名前、電話番号、ログインＩＤ、パスワードなど、一般的な端末に記録される個人情報を記憶してよい。状態情報取得部１１４は、図５に示したモーションセンサ６２および位置取得部６６を含み、携帯端末１２の位置、姿勢、動きを、状態情報として随時取得する。当該状態情報は、端末情報送信部１１２を介してイベント管理サーバ１０に送信してもよい。

この場合、イベント管理サーバ１０は、撮影画像を用いた照合結果と、携帯端末１２の状態情報とを統合することにより、ユーザの位置や向きをより高精度に特定してもよい。画像データ受信部１１６は、イベント管理サーバ１０からコンテンツ画像のデータを受信する。コンテンツ画像のデータは、必要に応じて１回、または複数回などで断続的に受信してもよいし、所定の時間間隔で定常的に受信し続けてもよい。

表示部１１８は、撮影部１１１が撮影したリアルタイム映像を表示するとともに、画像データ受信部１１６が受信したデータに基づきコンテンツ画像を重畳表示する。例えば表示部１１８は、コンテンツ画像として表示すべきオブジェクトの３次元モデルを、状態情報取得部１１４が取得した、携帯端末１２の位置や姿勢に対応するスクリーン座標系に射影することにより、コンテンツ画像を描画する。また表示部１１８は、コンテンツ画像として表されるオブジェクトがユーザの指などとインタラクションするように、オブジェクトを動かしたり変形させたりしてもよい。

画像データ記憶部１２２は、コンテンツ画像の表示に必要なデータの一部を記憶する。上述のとおり、携帯端末１２とイベント管理サーバ１０の処理の分担により、画像データ記憶部１２２に格納するデータは様々であってよい。なお表示部１１８が表示させるコンテンツ画像は、実空間の座標系に固定させることに限定されない。例えば企業の広告動画や商品購入のための画像、割引クーポンなど、画像の種類や表示タイミングによっては、スクリーン座標系の所定位置に表示されるようにしてもよい。

図９は、イベント管理サーバ１０においてコンテンツ画像制御部７２の照合部９０が行う照合処理の例を説明するための図である。（ａ）の上段は、イベント会場であるサッカースタジアムの空間構造２３０の一部を示している。このデータは実際には、所定の位置および方向に軸を設定した３次元座標系での点群データの形式で表してよく、事前に空間情報記憶部１０４に格納しておく。

携帯端末１２から撮影画像２３２が送信されたら、照合部９０は画像から特徴点を抽出するなどして、最も合致率の高い分布が得られる空間構造の範囲２３４を、矢印に示すように特定する。（ｂ）はサーカースタジアムを俯瞰した状態を模式的に示しており、フィールド２３６を囲むように観客席２３８が配置されている。照合部９０は（ａ）に示した照合結果に基づき、範囲２３４の視野が得られる携帯端末１２の位置、ひいてはユーザの位置２４０を特定する。

照合部９０はさらに、位置２４０に対応する座席のカテゴリを、空間構造のデータに対応づけられている情報に基づき特定してもよい。この例では、ユーザの位置２４０は、ゴールポスト２４２の裏側にある、一般的にはどちらかのチームのサポーターのための席に対応する。どちらのチームのサポーター席であるかは、試合の設定によって一意に定まる。

結果として照合部９０は、撮影画像と空間構造のデータとを照合することにより、ユーザの位置と応援しているチームを特定できることになる。そのほか、座席にランクがある場合、ユーザがイベントに対し想定している支出の範囲を推定できる。またユーザが特別席にいる場合は上客であることを推定できる。これらのユーザの特性は、イベント用コンテンツで表示対象とするチームや、販売促進用コンテンツで表示対象とする商品の価格帯などの決定に利用できる。

なお照合部９０は、撮影画像と空間構造のデータとの照合により、ユーザの位置２４０のみならず、携帯端末１２の姿勢、ひいてはカメラの視線方向２４４も取得してよい。撮影画像からカメラの位置や姿勢を取得するため、Visual SLAM（Simultaneous Localization and Mapping）などの手法を導入してもよい。視線方向２４４を取得することにより、コンテンツ画像制御部７２は、視線の先に存在する出場者などの実物体を、ユーザの注目対象と推定し、コンテンツ画像の選択に利用してもよい。これにより、例えばカメラの視野を移動させることにより、表示されるコンテンツ画像が次々に入れ替わるような態様を実現できる。

図１０は、イベント管理サーバ１０においてコンテンツ画像制御部７２が、携帯端末１２に表示させるコンテンツ画像の例を説明するための図である。この例もイベント会場としてサッカースタジアムを想定し、ユーザは図９の（ｂ）に示すように、一方のゴールポストの裏側の座席にいるものとする。（ａ）、（ｂ）は、当該座席におい携帯端末１２に表示されるリアルタイム映像である。

サッカーの場合、前半戦と後半戦で各チームが攻めるゴールポストが入れ替わる。このためゴールポストの裏にいるユーザにとって、応援しているチームがゴールを攻めるプレイを間近で見られる期間が限定される。例えば前半戦は（ａ）に示すように、応援しているチームの選手がシュートを打つ様子が比較的近くで見られる一方、後半戦は（ｂ）に示すように、反対側のゴールポストへのシュートとなり見にくくなる。このため、前半と比較し後半は応援の盛り上がりに欠けてしまうことが考えられる。

そこで画像選択部９２は、ユーザと選手との距離が所定値以上離れたら、（ｃ）に示すように、選手の像の拡大画像２５０ａの表示を決定する。選手の距離は上述のとおり、出場者状態情報取得部７８が取得してもよいし、撮影画像における出場者の像の大きさから画像選択部９２が特定してもよい。また拡大する対象は、ユーザの座席から特定される、応援しているチームの選手や、ズームイン操作などにより推定される、ユーザが注目している選手などに限ってよい。

ユーザと選手との距離にしきい値を２つ以上設定し、距離がしきい値を超える都度、拡大画像２５０ａの倍率を段階的に増加させてもよい。あるいはしきい値を設けず、距離の増加に対し拡大画像２５０ａの倍率を連続的に増加させてもよい。距離が減少する際は、逆の制御により拡大画像２５０ａの倍率を小さくしたり、拡大画像２５０ａを非表示としたりしてよい。

（ｃ）に示す拡大画像２５０ａは、ユーザの視点と同一、または略同一の方向から見た該当選手を、そのまま拡大した画像である。一方、別の態様として、ユーザの位置からは見えない向きから見た拡大画像２５０ｂを表示させてもよい。この例では、選手を正面から見た画像を表示することにより、本来は見えない表情などを確認できるようになる。拡大画像として表す選手の向きを、ユーザが自由に操作できるようにしてもよい。多視点映像を用いて、プレイ中の選手を任意視点から見られるようにする技術は実用化されているため、それを応用してよい。

なおユーザの視点と異なる仮想視点から見た像は、等倍率であってもよい。また表示の契機はユーザと出場者との距離によらなくてもよい。いずれにしろユーザと出場者の位置および向きの関係に応じて、像の拡大率および、出場者の表示上の向きの少なくともいずれかを変化させる。これにより、例えばコンサートなどにおいて、舞台上の任意の演者の様子を、自由な方向から見ることができ、座席の角度によって生じる見にくさを軽減できる。

なお図ではわかりやすさのために一人の選手のみを示しているが、当然、フィールド上には複数の選手が存在する。したがって拡大対象は複数の選手でもよい。この場合、拡大率を調整することにより、選手同士の位置関係、すなわちフォーメーションを確認できるようにしてもよい。あるいは選手の像を図形などに置き換え、俯瞰図を示すなどしてフォーメーションをよりわかりやすく示してもよい。また上述のようにユーザが注目している選手を特定できたら、拡大するか否かによらず、当該選手の戦績やプレイの内容などの情報を自動で表示させてもよい。

図１１は、イベント管理サーバ１０においてコンテンツ画像制御部７２が、携帯端末１２に表示させるコンテンツ画像の別の例を説明するための図である。（ａ）はユーザがサッカースタジアムの観客席にカメラを向けているときのリアルタイム映像である。ここでユーザが、ある客が持っている商品２６０に着目し、（ｂ）に示すようにその近傍を対象にズームインしたとする。

イベント管理サーバ１０が、そのような撮影操作がなされた情報と、その際の撮影画像のデータを取得すると、コンテンツ画像制御部７２の照合部９０は、ズームイン後の撮影画像を、関連情報記憶部１０２に登録されている企業や商品の画像と照合する。これにより照合部９０は、商品２６０を製造している企業や商品自体の情報を特定する。図示する例では「ＡＡ」なる文字列や、それを囲む矩形の色、パッケージの形状やサイズなどに基づき、商品２６０が「ＡＡポテト」なるフライドポテトであることを特定する。

これに応じて画像選択部９２は、該当商品に対応づけられたコンテンツ画像を選択する。図示する例では、「ＡＡポテト」の無料クーポンを表す画像２６２が重畳表示されている。例えばユーザが、携帯端末１２の画面上でクーポンの画像２６２をタップすると、携帯端末１２が当該画像を再表示可能な状態でメモリに格納することにより、クーポンが獲得された状態となる。この場合、ユーザが店舗へ出向きクーポンを提示すると、「ＡＡポテト」が進呈される。

なお実物体の撮影により表すコンテンツ画像はクーポンに限らず、関連する企業の情報や当該企業が販売する別の商品の情報、購入のためのＧＵＩなどでもよい。同様のコンテンツ画像は、図２で示したように場内に掲示された看板の撮影によっても実現できる。一方、図１１に示すように、他の観客が持っている商品も認識対象としてコンテンツ画像の表示の根拠とすることで多様性が広がり、企業や商品との予想外の出会いを生み出すことができる。また人が食べたり着用したりしている実物を確認できるため、イメージが喚起され販売をより促進できる。

また図示する例では、ユーザによるズームイン操作を、照合やコンテンツ画像表示の契機としたが、ズームアウトや静止画撮影など、その他の撮影操作を契機としてもよい。例えばズームアウト操作時、当該操作によって全体像が見えるようになった実物体がある場合、照合部９０は、当該実物体の像を照合の対象としてもよい。また静止画撮影がなされた場合、照合部９０はズームイン時と同様に、当該静止画を登録データと照合してもよい。

図１２は、イベント管理サーバ１０のコンテンツ画像制御部７２が、携帯端末１２に表示させるコンテンツ画像の種類と表示契機の設定例を示している。この設定情報は例えば、画像選択部９２の内部のメモリにあらかじめ記憶させておく。上述したようにコンテンツ画像は、イベント用コンテンツと販売促進用コンテンツに大別される。

前者はユーザの視認性を向上させたり応援感情を喚起したりする画像であり、好適にはユーザが応援しているチームや選手に関連したものに限定する。後者は各種商品の販売を促進する画像であり、好適にはユーザが興味を示したものや、イベントの状況およびユーザの特性に適したものに限定する。ただし図２で示した仮想サイネージの画像２００のように、提示する内容によっては、全てのユーザに共通のコンテンツ画像があってもよい。

図の例ではイベント用コンテンツとして、サッカー等で得点が入った際に、それを祝う仮想的な演出や、得点を入れたチームの関連グッズの割引きクーポンを表示させる設定としている。またユーザと出場者との距離がしきい値以上の期間に、出場者の拡大画像を表示させ、ユーザが出場者を対象にズームイン、あるいは指示した際には、ユーザの視線と異なる方向から当該出場者を表した画像（別視点画像）を表示させる設定としている。

また販売促進用コンテンツとして、ユーザが場内の看板や商品を対象にズームインした際、あるいは天候や温度など環境に所定値以上の変化が生じた際、対応づけられた商品の購入を受け付けるＧＵＩを表示させる設定としている。またユーザが場内の看板や商品を対象にズームインした際、対応づけられた商品の割引きクーポンを表示させる設定としている。ただしこれらの設定は一例に過ぎず、イベントの内容や会場の規模、特性などに応じて最適化する。

またコンテンツ画像の表示契機に加え、表示されているコンテンツ画像を非表示とする契機を設定するなど、設定項目は図示するものに限らない。いずれにしろ、ユーザが意図して指示をしたときに限らず、イベントの状況やユーザと出場者との位置や向きの関係などよって適切なコンテンツ画像を臨機応変に表示できるように設定しておく。これによりユーザは、イベントに対する意識が削がれることなく、自然に気分を盛り上げたり、欲しい商品を容易に購入したりできる。

次に、上記構成によって実現できる動作について説明する。図１３は、イベント管理サーバ１０が携帯端末１２に表示させるコンテンツ画像を選択し、送信する処理手順を示すフローチャートである。まずイベント会場においてユーザが、コンテンツ画像の表示を実現するアプリケーションを起動させ、ログインなどの認証作業を行うと、イベント管理サーバ１０は、ユーザが入力した情報を取得し、認証処理を行う（Ｓ１０）。これによりイベント管理サーバ１０は、ユーザ情報記憶部１００に格納されたユーザの個人情報を参照し、商品の売買手続きなどを円滑に行えるようになる。

認証が成功すると、イベント管理サーバ１０から携帯端末１２にその旨が通知されることにより、携帯端末１２ではカメラが起動し、リアルタイム映像がディスプレイに表示される。するとイベント管理サーバ１０の端末情報取得部７０は、当該カメラによる撮影画像のデータやユーザ操作の内容に係る情報などの端末情報の取得を開始する（Ｓ１２）。これに応じてコンテンツ画像制御部７２は、撮影画像と登録データとの照合を開始するとともに（Ｓ１４）、照合結果に基づくユーザの特性や興味の取得を開始する（Ｓ１６）。

ここで登録済みのデータとは、イベント会場の空間構造の３次元データや、出場者、看板、商品を含む実物体のテンプレート画像などである。またユーザの特性や興味とは、ユーザの位置、座席、応援しているチーム、注目している看板や商品などである。ユーザの特性や興味は、撮影画像の照合結果に、ユーザ情報記憶部１００に格納されたユーザの個人情報を加味して絞り込んでもよい。撮影画像の照合は上述のとおり、あらかじめ定められたタイミング、あるいは所定のユーザ操作がなされたタイミングなどで随時実施してよい。

そしてコンテンツ画像制御部７２は、ユーザの特性や興味に適したコンテンツ画像の選択を開始する（Ｓ１８）。コンテンツ画像の選択も、ユーザの特性や興味が取得されたことを受けて随時行ってよい。ただし毎回、具体的なコンテンツ画像を決定するのでなく、取得される特性や興味に応じて、コンテンツ画像を段階的に絞り込んでもよい。

例えばコンテンツ画像制御部７２は、ユーザの座席に基づき応援しているチームを特定したら、まず、当該チームのためのイベント用コンテンツのセットを、選択候補として抽出する。そしてユーザがズームイン操作を行ったり、出場者が得点を入れるなど、具体的なコンテンツ画像を決定できるタイミングが到来したら、コンテンツ画像制御部７２は選択候補のなかから、該当選手の拡大画像など、具体的なコンテンツ画像を決定する。

コンテンツ画像制御部７２は、具体的なコンテンツ画像を選択して表示するタイミングが到来するまで待機し（Ｓ２０のＮ）、そのタイミングとなったら（Ｓ２０のＹ）、当該コンテンツ画像を生成し（Ｓ２２）、そのデータを携帯端末１２に送信する（Ｓ２４）。なお同図の例では、コンテンツ画像の表示タイミングにおいて画像の生成および送信をそれぞれ一回のみ行うフローとしているが、本実施の形態をこれに限る主旨ではない。

例えば１つのコンテンツ画像について、生成およびデータ送信を継続的に繰り返してもよい。この場合、コンテンツ画像を非表示とするタイミングをさらに判定することで、それらの処理を終了させてもよい。また図示を省略しているが、コンテンツ画像として携帯端末１２に表示された、商品購入のためのＧＵＩに対し購入操作がなされた場合、イベント管理サーバ１０は上述のとおり売買処理を実行してよい。

以後、コンテンツ画像制御部７２は、適切なタイミングでコンテンツ画像を選択してデータを生成し、送信する処理を繰り返す（Ｓ２６のＮ、Ｓ２０～Ｓ２４）。ユーザがアプリケーションを終了させるなど、コンテンツ画像に係る処理を停止させる必要が生じたら、イベント管理サーバ１０は当該処理を終了させる（Ｓ２６のＹ）。

以上述べた本実施の形態によれば、イベント管理サーバは、イベントに来場したユーザが携帯する端末に表示される実空間のリアルタイム映像に重畳表示させるコンテンツ画像を制御する。ここでイベント管理サーバは、携帯端末が撮影した画像を収集し、それに基づきユーザの特性や興味を推定することで、表示させるコンテンツ画像を最適化する。これによりユーザは、余計なコンテンツ画像に煩わされることなく、イベントとともに各種演出を楽しんだり提示情報を容易に利用したりできる。

また、イベント会場の空間構造の３次元データを撮影画像と照合することにより、ユーザの位置や座席を特定する。元来コンテンツ画像をＡＲで表現する際に必要な３次元データを利用することにより、ＡＲの技術との親和性が高くなり、低い導入障壁での実現が可能である。

さらに、ユーザがメニューや画像を明確に指示せずとも、ズームインなどの撮影操作がなされたり、ユーザと出場者の位置や向きの関係、イベントの状況、環境などに変化が生じたりした好適なタイミングで、適切なコンテンツ画像を選択し表示させる。これによりユーザは、イベントを見逃すことなく所望の情報や画像へアクセスでき、携帯端末を介したサービス利用の機会を増やすことができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ イベント管理システム、 １０ イベント管理サーバ、 １２ 携帯端末、 １４ 仮想店舗管理サーバ、 １６ 実店舗管理サーバ、 ２３ ＣＰＵ、 ２６ メインメモリ、 ３２ 通信部、 ５０ ＣＰＵ、 ５２ メインメモリ、 ５４ 表示部、 ６０ 通信部、 ６２ モーションセンサ、 ６４ カメラ、 ６６ 位置取得部、 ７０ 端末情報取得部、 ７２ コンテンツ画像制御部、 ７４ 売買処理部、 ７６ 情報記憶部、 ７８ 出場者状態情報取得部、 ８０ イベント状況情報取得部、 ８２ 画像データ送信部、 ９０ 照合部、 ９２ 画像選択部、 ９４ 画像生成部、 １１０ 操作受付部、 １１１ 撮影部、 １１２ 端末情報送信部、 １１４ 状態情報取得部、 １１６ 画像データ受信部、 １１８ 表示部、 １２０ 個人情報記憶部、 １２２ 画像データ記憶部。

Claims (19)

1. イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得する端末情報取得部と、
   登録データと前記撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、前記端末に表示すべきコンテンツ画像を選択するコンテンツ画像制御部と、
   選択された前記コンテンツ画像のデータを前記端末に送信し表示させる画像データ送信部と、
   を備えたことを特徴とするイベント管理サーバシステム。
2. イベント会場の空間構造の３次元データを格納する空間情報記憶部をさらに備え、
   前記コンテンツ画像制御部は、前記撮影画像を前記空間構造と照合することにより、ユーザの座席のカテゴリを取得することを特徴とする請求項１に記載のイベント管理サーバシステム。
3. 前記コンテンツ画像制御部は、前記イベントとして試合をしているチームのうちユーザが応援しているチームを、前記座席のカテゴリに基づき特定することを特徴とする請求項２に記載のイベント管理サーバシステム。
4. 前記コンテンツ画像制御部は、前記空間構造に配置された仮想オブジェクトとして前記コンテンツ画像を生成し、
   前記画像データ送信部は、前記空間構造の３次元データに対する前記仮想オブジェクトの位置情報を前記コンテンツ画像のデータに含めて送信することにより、前記端末に表示中の前記撮影画像における対応する位置に、前記仮想オブジェクトの像を重畳表示させることを特徴とする請求項２または３に記載のイベント管理サーバシステム。
5. 前記空間情報記憶部は、複数のパターンで前記空間構造のデータを格納し、
   前記コンテンツ画像制御部は、所定の規則に則り前記照合に用いる前記空間構造のデータを切り替えることを特徴とする請求項２から４のいずれかに記載のイベント管理サーバシステム。
6. 前記端末情報取得部は、前記撮影画像のズーム倍率を変更するユーザ操作の情報をさらに取得し、
   前記コンテンツ画像制御部は、前記ズーム倍率を変更するユーザ操作がなされたことを契機として、前記コンテンツ画像を選択することを特徴とする請求項１から５のいずれかに記載のイベント管理サーバシステム。
7. 前記端末情報取得部は、前記端末に表示中の前記撮影画像のいずれかの像を指示するユーザ操作の情報をさらに取得し、
   前記コンテンツ画像制御部は、指示された像に対応する前記コンテンツ画像を選択することを特徴とする請求項１から６のいずれかに記載のイベント管理サーバシステム。
8. 前記コンテンツ画像制御部は、前記照合によりユーザが注目している被写体を特定し、当該被写体に対応する前記コンテンツ画像を選択することを特徴とする請求項１から７のいずれかに記載のイベント管理サーバシステム。
9. 前記イベント会場における、出場者の位置を含む状態情報を取得する出場者状態情報取得部をさらに備え、
   前記コンテンツ画像制御部は、ユーザと前記出場者の位置関係に応じて、前記コンテンツ画像を変化させることを特徴とする請求項１から８のいずれかに記載のイベント管理サーバシステム。
10. 前記コンテンツ画像制御部は、前記コンテンツ画像として、前記出場者の様子を表す拡大画像を選択し、前記位置関係に応じて、当該拡大画像の拡大率を変化させることを特徴とする請求項９に記載のイベント管理サーバシステム。
11. 前記コンテンツ画像制御部は、前記コンテンツ画像として、前記位置関係に基づき決定した、ユーザの視点と異なる仮想視点から見た前記出場者の様子を表す画像を選択することを特徴とする請求項９または１０に記載のイベント管理サーバシステム。
12. 前記イベントの状況を取得するイベント状況情報取得部をさらに備え、
    前記コンテンツ画像制御部は、前記イベントの状況に応じて前記コンテンツ画像の内容を変化させることを特徴とする請求項１から１１のいずれかに記載のイベント管理サーバシステム。
13. 前記コンテンツ画像制御部は、前記コンテンツ画像として、関連商品の割引きクーポンの画像を選択するとともに、前記イベントの状況に応じて、当該割引きクーポンが示す割引き率を変化させることを特徴とする請求項１２に記載のイベント管理サーバシステム。
14. 前記コンテンツ画像制御部は、前記コンテンツ画像として、前記イベントの状況に応じた仮想的な演出を表す画像を選択することを特徴とする請求項１２または１３に記載のイベント管理サーバシステム。
15. 前記コンテンツ画像制御部は前記コンテンツ画像として、前記撮影画像に写る被写体に関連する商品に係る情報を表す画像を選択することを特徴とする請求項１から１４のいずれかに記載のイベント管理サーバシステム。
16. 前記コンテンツ画像制御部は、前記登録データに対応する看板または商品を前記撮影画像から検出することにより、前記関連する商品を決定することを特徴とする請求項１５に記載のイベント管理サーバシステム。
17. 前記コンテンツ画像制御部は、前記関連する商品の購入を受け付けるコンテンツ画像を選択し、
    前記端末情報取得部は、前記端末においてなされた、前記関連する商品の購入操作の情報をさらに取得し、
    前記イベント管理サーバシステムは、
    前記端末とユーザの個人情報の対応情報を格納するユーザ情報記憶部と、
    前記端末において前記購入操作がなされた際、当該端末に対応づけられた前記個人情報を取得することにより売買手続きを実現する売買処理部と、
    をさらに備えたことを特徴とする請求項１５または１６に記載のイベント管理サーバシステム。
18. イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得するステップと、
    登録データと前記撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、前記端末に表示すべきコンテンツ画像を選択するステップと、
    選択された前記コンテンツ画像のデータを前記端末に送信し表示させるステップと、
    を含むことを特徴とする、イベント管理サーバシステムによるコンテンツ画像制御方法。
19. イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得する機能と、
    登録データと前記撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、前記端末に表示すべきコンテンツ画像を選択する機能と、
    選択された前記コンテンツ画像のデータを前記端末に送信し表示させる機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images