JP2023097056A - イベント管理サーバシステムおよびコンテンツ画像制御方法 - Google Patents
イベント管理サーバシステムおよびコンテンツ画像制御方法 Download PDFInfo
- Publication number
- JP2023097056A JP2023097056A JP2021213191A JP2021213191A JP2023097056A JP 2023097056 A JP2023097056 A JP 2023097056A JP 2021213191 A JP2021213191 A JP 2021213191A JP 2021213191 A JP2021213191 A JP 2021213191A JP 2023097056 A JP2023097056 A JP 2023097056A
- Authority
- JP
- Japan
- Prior art keywords
- image
- content image
- event
- user
- management server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 36
- 238000003860 storage Methods 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 81
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000000547 structure data Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000012559 user support system Methods 0.000 description 4
- 235000002595 Solanum tuberosum Nutrition 0.000 description 3
- 244000061456 Solanum tuberosum Species 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000012020 french fries Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】イベント来場者が携帯端末を介して、適切なサービスを容易に利用できるようにするイベント管理サーバシステム及びそれにより実現されるコンテンツ画像制御方法を提供する。【解決手段】イベント管理バシステム1において、携帯端末12a~cは、イベントに来場したユーザによりイベント会場にてかざされると、その撮像画像を取得し、リアルタイム映像として表示させる。イベント管理サーバ10は、携帯端末12a~cから撮影画像を取得し、登録データと照合することによりユーザの特性を取得する。そして、注目する選手がしきい値以上離れたたことを判断すると、この選手の拡大画像を携帯端末12a~cに重畳表示させる。【選択図】図1
Description
本発明は、スポーツ競技などのイベント会場において、携帯端末を介してサービスを提供するイベント管理サーバシステム、および、それにより実現されるコンテンツ画像制御方法に関する。
イベント会場や観光施設などにおいて、来場者が保持する携帯端末を介して様々な情報を提供することにより利便性を高める技術が実用化されている。例えば競技場におけるトイレの空き状況や飲食物を販売する売り子の位置を、来場者のスマートフォンに通知する技術が提案されている(例えば特許文献1参照)。また野球の試合観戦中、シースルーディスプレイなどを用いて、着目選手についての補助情報を表示させる技術が提案されている(例えば特許文献2参照)。一方、競技場で催される試合の様子を複数の視点で撮影しておき、クライアントからの要求に対応する視点からの映像を配信する技術が提案されている(例えば特許文献3参照)。
イベントの来場者が携帯端末を用いて利用できる上記のようなサービスは、付加的な情報を一方的に提示するような、比較的単純なものが多い。そのためスポーツ競技や音楽フェスティバルなど、観客の興味が実空間でのパフォーマンスに集中しがちなイベントでは特に、あえて端末を見たり操作したりしようと思える機会が少なく、サービスを有効利用できる場面が限られていた。
本発明はこうした課題に鑑みてなされたものであり、その目的は、イベント来場者が携帯端末を介して、適切なサービスを容易に利用できるようにする技術を提供することにある。
本発明のある態様はイベント管理サーバシステムに関する。このイベント管理サーバシステムは、イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得する端末情報取得部と、登録データと撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、端末に表示すべきコンテンツ画像を選択するコンテンツ画像制御部と、選択されたコンテンツ画像のデータを端末に送信し表示させる画像データ送信部と、を備えたことを特徴とする。
本発明の別の態様はコンテンツ画像制御方法に関する。このコンテンツ画像制御方法は、イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得するステップと、登録データと撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、端末に表示すべきコンテンツ画像を選択するステップと、選択されたコンテンツ画像のデータを端末に送信し表示させるステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によると、イベント来場者が携帯端末を介して、適切なサービスを容易に利用できるようになる。
本実施の形態は、イベント会場において、携帯端末を介して来場者へのサービスを提供するシステムに関する。ここでイベントとは、複数の人が会場に赴き催しを見物したり体験したりするものであればよく、例えばスポーツ競技、音楽フェスティバル、コンサート、ショーなど、催しの内容、規模、会場の種類は特に限定されない。図1は、本実施の形態を適用できるイベント管理システムの構成を示している。イベント管理システム1は、イベント管理サーバ10、携帯端末12a~12e、仮想店舗管理サーバ14、および実店舗管理サーバ16を含む。
携帯端末12a~12eは、イベントの来場者(以後、「ユーザ」と呼ぶ)が携帯する端末であり、イベントに係る様々な情報を表示させたり、ユーザ操作を受け付けたりする。図1では携帯端末12a、12b、12cを高機能携帯電話(スマートフォン)、携帯端末12d、12eをAR(拡張現実:Augmented Reality)グラスなどのウェアラブル端末としている。このように携帯端末12a~12eは、ディスプレイ、通信機能を含む情報処理装置、入力装置を備えた一般的な端末であれば、その形態は限定されない。以後、携帯端末12a~12eを、単に「携帯端末12」とする。
イベント管理サーバ10は、携帯端末12と通信を確立し、撮影画像やユーザ操作の内容を受信したうえ、対応する情報処理を実施したり、必要な情報を返信したりする。近年、5G(第5世代移動通信システム)の導入などにより、携帯端末であっても様々なデータを低遅延・大容量で伝送することが可能になっている。したがって携帯端末12とイベント管理サーバ10との通信にも、そのような技術を適宜利用する。
なおイベント管理サーバ10は、実際には複数の情報処理装置や記憶装置により実現してよい。例えばイベント管理サーバ10は、5Gの技術のひとつであるMEC(Multi-access Edge Computing)により、機能に応じて分散配置されていてもよい。この場合、携帯端末12との画像データの送受信機能など、高い応答性が求められる機能はイベント会場近隣に設置したサーバにより実現し、それ以外の機能は、別のデータセンターなどに設置したサーバにより実現することが考えられる。したがって本実施形態の「イベント管理サーバ」は、装置の数によらず「イベント管理サーバシステム」と読み替えることができる。
仮想店舗管理サーバ14は、イベント管理サーバ10と通信を確立し、ネットワーク上の仮想店舗とユーザ間の売買を仲介する。実店舗管理サーバ16は、イベント管理サーバ10と通信を確立し、イベント会場内外の実店舗とユーザ間の売買を仲介する。実店舗管理サーバ16はさらに、実店舗のリアルタイムでの状態、例えば込み具合、待ち時間、商品在庫などの情報を、イベント管理サーバ10に随時提供してよい。
本実施の形態においてイベント管理サーバ10は、携帯端末12を介してユーザに様々なサービスを提供する。ここで提供されるサービスは、イベントそのものをより楽しめるようにする仕組みと、関連商品の販売促進に大別される。本実施の形態では携帯端末12を介し、イベントの様子と合わせてサービスに係る各種情報を視認できるようにする。これによりユーザは、イベントのリアルタイムでの状況を見逃したり興味が削がれたりすることなく、多様なサービスを利用できる。
具体的には、ユーザは、携帯端末12をかざすことによりイベントの様子をインカメラにより撮影し、そのリアルタイム映像をディスプレイに表示させた状態とする。一方、イベント管理サーバ10は、携帯端末12による撮影画像を収集し、それを解析することにより、携帯端末12を扱う各ユーザの特性や興味を推定する。そして推定結果に基づき、リアルタイム映像に重畳表示させるのに最適な画像を生成し、各携帯端末12に表示させる。
ここで重畳表示させる画像は、あたかもイベント会場に存在するかのように描画した仮想オブジェクトとして表してもよい。実空間の像に仮想的なオブジェクトを融合させる技術としては、ARやMR(複合現実:Mixed Reality)などの技術を応用できる。この場合、仮想オブジェクトの配置を定義するために、イベント会場の空間構造を表す3次元データが用いられる。本実施の形態では当該3次元データを、撮影画像の解析にも利用することにより、ユーザの特性や興味を低コストで特定できるようにする。以後、イベント管理サーバ10が携帯端末12ごとに選択し、リアルタイム映像に重畳表示させる画像を、「コンテンツ画像」と呼ぶ。
図2は、携帯端末12が表示する画面を例示している。この例、および後述する図3、4では、イベントをサッカーの試合とし、ユーザは自分の座席からフィールド上で行われている試合を観戦しているとする。その状態でユーザが携帯端末12をかざすと、携帯端末12は例えば(a)に示すように、その視点から見える実空間の様子を表示させる。この状況は例えば、携帯端末12の背面に装備されるカメラが撮影するリアルタイムの映像を、ディスプレイに即時表示させることにより実現される。ユーザが携帯端末12の向きを変えれば、当然、映像の視野もそれに連動する。
(b)は、(a)で示したリアルタイム映像に、コンテンツ画像を重畳させた状態を示している。この例ではコンテンツ画像として、円筒形の仮想サイネージの画像200を重畳表示している。仮想サイネージは、その側面や内壁に、点数、選手の画像、広告などの各種情報を表した電光掲示板を模したオブジェクトであり、あたかも天空からつり下げられているように見せている。仮想サイネージの画像200は、サイネージの形状を表す3次元モデル上に、必要な情報をテクスチャとしてマッピングすることにより描画される。ただしコンテンツ画像が表すオブジェクトの種類や形状、描画手法を限定する主旨ではない。
仮想サイネージの画像200を動画とし、提示する情報を円筒の側面上で周回させてもよい。このようなARを実現する場合、イベント管理サーバ10にはあらかじめ、イベント会場であるサッカースタジアムの空間構造の3次元データを格納しておく。そして同じ3次元空間に対し仮想サイネージの配置を決定し、その位置情報を携帯端末12に通知する。携帯端末12は、実空間の対応する位置にサイネージのオブジェクトを仮想的に配置し、それをカメラのスクリーン座標系に射影することで、表示中のリアルタイム映像に画像200を描画する。
これによりカメラの視野によらず、仮想的なサイネージが実空間の所定位置に固定された状態となり、サッカーフィールドなどイベント上で重要な部分を避けてコンテンツ画像を表示できる。空間構造の3次元データを、点群データなど精度の高いデータ形式とすることにより、例えばサッカースタジアムの屋根の裏側に仮想的にロゴを表すなど、多様な場所に合わせて、高い精度でコンテンツ画像を表示させることができる。
ここでユーザが、仮想サイネージの画像200に表された情報のいずれかを指示したら、イベント管理サーバ10は当該ユーザ操作を取得したうえ、指示された情報に関連する別の情報を表すコンテンツ画像を、携帯端末12にさらに表示させてもよい。例えばイベント管理サーバ10は、仮想サイネージに示されたスポンサーのロゴが指示されたとき、当該スポンサーの広告動画を追加で表示させる。また選手の顔画像が指示されたとき、当該選手のプロフィールや戦績、関連グッズなどを表す画像を追加で表示させる。
同様の表示は、リアルタイム映像に表された実物体の像への指示を契機としてもよい。例えばユーザが、向かい側の観客席に設置された看板の像201を指示したら、イベント管理サーバ10はそれに関連するプロモーション動画を表示させる。またイベント管理サーバ10は、仮想サイネージの画像200や実物体の像に対するユーザの指示操作に応じて、関連商品の購入を受け付けるGUI(Graphical User Interface)を表示させてもよい。
コンテンツ画像は、ユーザがイベント会場に携帯端末12をかざしている間は常に表示させてもよいし、上述のようにユーザによる特定の操作に応じて表示/非表示を切り替えてもよい。特定の操作として、画面のタップ操作に代表される一般的な指示操作のほか、ズーム倍率変更操作や静止画撮影操作などの撮影操作を利用してもよい。あるいは、出場者の状態やイベントの状況など、ユーザ操作以外の要因に基づき表示/非表示を切り替えてもよい。
図3は、コンテンツ画像により商品販売を促進する際の、携帯端末12の画面を例示している。(a)は、リアルタイム映像に、商品であるスパイクの販売情報206と購入を受け付けるGUI208を重畳表示させている。例えばユーザが、図2の(b)に示す仮想サイネージの画像200に掲示された選手の画像を指示したら、当該選手の情報202とともに、選手が着用しているのと同モデルのスパイクを販売対象として、販売情報206とGUI208を表示する。それらのコンテンツ画像は3次元モデルを有するオブジェクトでもよいし、平面的な画像でもよい。
販売情報206に含まれるスパイクの画像については、MRの技術を利用し、3次元オブジェクトの向きを変えたり自分の方に引き寄せたりできるようにすることで、細部を確認できるようにしてもよい。また図示する例でGUI208は、「これを買う」なる文字を表した、横長の3次元オブジェクトで表現されている。GUI208を指示するユーザ操作がなされたら、イベント管理サーバ10はそれを受け付け、販売元を管理する仮想店舗管理サーバ14または実店舗管理サーバ16に対し、発注処理や決済処理を実施する。
発注や決済の処理が完了したら、イベント管理サーバ10は(b)に例示するように、購入完了を示す画像210を携帯端末12に重畳表示させる。この例で画像210は、「購入完了しました」なる文字を表した、横長の3次元オブジェクトで表現されている。このようにして購入された商品は、その種類や購入先によって、会場内で入手できるようにしてもよいし、後日配送されるようにしてもよい。前者の場合、来場者の座席まで届けられるようにしてもよいし、来場者が店舗へ受け取りに行くようにしてもよい。
図4は、コンテンツ画像によりイベントの娯楽性を向上させる際の、携帯端末12の画面を例示している。(a)は、得点が入ったタイミングでの画面例であり、シュートした選手の情報220や、得点を祝う光や文字での仮想的な演出を表す画像222をコンテンツ画像として、リアルタイム映像に重畳表示している。(b)は試合中の任意のタイミングで、フィールド上の選手のリアルタイムの像224をコンテンツ画像として重畳表示している。図示するように選手の像224を拡大して表示することにより、自席から見にくい選手の様子を詳細に確認できる。
図4に示したようなコンテンツ画像の場合は特に、表示結果を好適と感じるか煩わしいと感じるかは、応援しているチームや注目している選手など、ユーザ個々の趣味嗜好によって大きく分かれる。またユーザの座席と選手の位置によっては、選手の像を拡大する必要がないこともある。さらに戦況、天候、温度、他の観客の様子、ユーザ個々の体調など、事前に予測しにくい事象によって、見たい情報や購入したい商品は時々刻々と変化し得る。
これを踏まえ、本実施の形態においてイベント管理サーバ10は、携帯端末12による撮影画像、撮影操作や指示操作などのユーザ操作の内容、ユーザのプロフィールなどの情報を収集し、それに基づきユーザ個々の特性や興味を推定する。さらに出場者や会場内の状況などを加味して、表示すべきコンテンツ画像の内容や表示タイミングを最適化する。これにより、事前登録やメニュー操作などの手間を最小限に、携帯端末12を介してイベントをより楽しんだり、欲しい商品を容易に購入したりできるようにする。
図5は、イベント管理サーバ10の内部回路構成を示している。イベント管理サーバ10は、CPU(Central Processing Unit)23、GPU(Graphics Processing Unit)24、メインメモリ26を含む。これらの各部は、バス30を介して相互に接続されている。バス30にはさらに入出力インターフェース28が接続されている。入出力インターフェース28には、携帯端末12、仮想店舗管理サーバ14、および実店舗管理サーバ16と通信を確立する通信部32、ハードディスクドライブや不揮発性メモリなどの記憶部34、図示しないディスプレイへデータを出力する出力部36、図示しない入力装置からデータを入力する入力部38、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部40が接続される。
CPU23は、記憶部34に記憶されているオペレーティングシステムを実行することによりイベント管理サーバ10の全体を制御する。CPU23はまた、リムーバブル記録媒体から読み出されてメインメモリ26にロードされた各種プログラムを実行する。GPU24は、CPU23からの描画命令に従って描画処理を行い、出力部36に出力する。メインメモリ26はRAM(Random Access Memory)により構成され、処理に必要なプログラムやデータを記憶する。
図6は携帯端末12の内部回路構成を示している。携帯端末12は、CPU50、メインメモリ52、表示部54、入力部56、音声出力部59、通信部60、モーションセンサ62、カメラ64、位置取得部66を含む。これらの各部はバス58を介して相互に接続されている。CPU50は、バス58を介して携帯端末12の各部から取得した情報を処理し、出力データを表示部54、音声出力部59に供給する。メインメモリ52はCPU50における処理に必要なプログラムやデータを格納する。
表示部54は、液晶パネルや有機ELパネルなどの表示パネルとその駆動機構で構成され、図2乃至4で例示したような画像を表示する。入力部56は、表示部54の画面を覆うタッチパッドや筐体に設けられたハードウェアキーで構成され、表示された画像に対する指示操作や、ズーム倍率変更操作や静止画撮影操作などの撮影操作を受け付ける。音声出力部59はスピーカーやイヤホンとその制御機構で構成され、必要に応じてユーザに音声を聞かせる。
通信部60は、イベント管理サーバ10と通信を確立し、必要なデータを送受する。本実施の形態では、例えば5Gの通信技術により携帯端末12の移動通信を実現する。モーションセンサ62は、加速度センサ、ジャイロセンサ、地磁気センサなどの少なくともいずれかで構成され、携帯端末12の3次元空間での姿勢や動きを計測する。カメラ64は、表示部54の画面と反対方向の実空間を動画撮影する。本実施の形態では特に、その映像を表示部54に即時表示させることにより、実空間の様子がリアルタイムで見られるようにする。撮影画像のデータはまた、通信部60を介してイベント管理サーバ10に送信され、コンテンツ画像の選択に利用される。
位置取得部66は、GPS(Global Positioning System)、A-GPS(Assisted-GPS)など周知の技術により、自装置の位置情報を随時取得する。モーションセンサ62および位置取得部66による測定値や、カメラ64による撮影画像は、コンテンツ画像である仮想オブジェクトを描画する際、実空間に対するスクリーン座標系を決定するのに用いることができる。
図7は、本実施の形態におけるイベント管理サーバ10の機能ブロックの構成を示している。図7および後述する図8に示す各機能ブロックは、ハードウェア的には、図5または図6に示したCPUやメインメモリなどの電子部品で実現でき、ソフトウェア的には、記録媒体などからメインメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
イベント管理サーバ10は、携帯端末12から撮影画像のデータやユーザ操作の内容を取得する端末情報取得部70、携帯端末12に表示させるコンテンツ画像を制御するコンテンツ画像制御部72、商品売買の手続きを実現する売買処理部74、コンテンツ画像の制御や商品売買の手続きに必要な情報を格納する情報記憶部76、イベントの出場者の状態に係る所定の情報を取得する出場者状態情報取得部78、イベントの状況に係る所定の情報を取得するイベント状況情報取得部80、および、コンテンツ画像のデータを送信する画像データ送信部82を備える。
端末情報取得部70は、携帯端末12のカメラ64によるリアルタイムの撮影画像のデータを取得する。また端末情報取得部70は、携帯端末12に対するユーザ操作の内容を随時取得する。ここでユーザ操作とは例えば、カメラ64のズーム倍率変更操作や静止画撮影操作などの撮影操作、携帯端末12に表示中の画像に対する指示操作、商品の購入操作などである。端末情報取得部70は、携帯端末12がイベント会場を撮影している期間は継続して、所定の時間間隔で撮影画像のデータを取得してもよいし、ユーザが所定の操作を行ったときのみ、当該操作の内容と対応づけて、その際の撮影画像のデータを取得してもよい。
端末情報取得部70は、撮影画像のデータやユーザ操作の内容に係る情報を、携帯端末12の識別情報と対応づけて取得することにより、後段の処理を、携帯端末12のそれぞれに対し個別に行えるようにする。コンテンツ画像制御部72は、端末情報取得部70が取得したデータや情報に基づき、各携帯端末12に表示すべきコンテンツ画像を、個々のユーザに対し適切に選択し生成する。詳細にはコンテンツ画像制御部72は、照合部90、画像選択部92、および画像生成部94を備える。
照合部90は、端末情報取得部70が取得したデータや情報と、イベント会場の空間構造を示す3次元データ、あるいはあらかじめ登録された出場者やロゴなどのテンプレート画像とを照合することで、携帯端末12を使用しているユーザの特性や興味の対象を推定する。例えば照合部90は、イベント会場の空間構造のデータと撮影画像とを照合することにより、携帯端末12、ひいてはユーザの位置を特定する。
この場合、「照合」は例えば、撮影画像の特徴点分布に基づき空間構造の3次元データを探索し、最も合致する画角が得られるときの携帯端末12の位置や姿勢を導出することにより実現される。ただしユーザの位置を特定する手段をこれに限る主旨ではなく、携帯端末12が備えるモーションセンサ62や位置取得部66の出力値を用いたり、当該出力値を撮影画像の照合結果と組み合わせて精度を高めたりしてもよい。
照合部90は、特定したユーザの位置を利用して副次的な情報を特定してもよい。例えば照合部90は、被写体であるイベント出場者とユーザとの距離や向きの関係を導出してもよい。あるいは照合部90は、特定した位置が含まれる座席の種類を取得することにより、ユーザが応援しているチームを判別したり、座席のランクに応じたプロフィールを推定したりしてもよい。
また照合部90は、撮影画像中の被写体の像を、あらかじめ準備した画像や文字情報と照合することにより、ユーザが注目している人や物を推定してもよい。例えば照合部90は、撮影画像から顔領域を抽出し、登録されている出場者の顔画像と照合したり、ユニフォームに示されている背番号や名前を検出し、登録情報と照合したりすることにより、注目している出場者を特定する。あるいは照合部90は、撮影画像に写る看板や商品のロゴを検出し、登録済みの企業や商品のロゴ画像と照合することにより、ユーザがその時点で興味を持っている企業や商品を特定してもよい。このような画像同士の「照合」には、物体検出や物体認識などの分野で用いられる技術を採用できる。
照合部90が上記のような照合を行うタイミングは限定されない。例えば照合部90は、イベント開始のタイミングで1回のみ照合を行ってもよいし、携帯端末12から撮影画像のデータが送信されている間は周期的に行ってもよい。あるいは照合部90は、イベントの状況、出場者の状態、ユーザ操作の内容などが所定の条件を満たしたとき、照合を行ってもよい。例えば照合部90は、ユーザがズームイン操作をおこなったとき、ズームの中心にある被写体の像を照合対象としてもよい。
画像選択部92は、照合部90による照合の結果に基づき、携帯端末12に表示させるコンテンツ画像を選択する。画像選択部92は例えば、ユーザが応援しているチームに得点が入ったとき、図4の(a)で示した仮想的な演出を表すコンテンツ画像を選択する。また、注目している出場者がユーザから離れた場所にいる場合に、図4の(b)で示したような拡大画像を選択する。あるいは、場内の看板がズームアップされた場合に、関連する企業や商品の広告、あるいは図3で示したような、関連商品を購入するためのGUIをコンテンツ画像として選択する。
画像生成部94は、画像選択部92が選択したコンテンツ画像を、携帯端末12に表示可能な状態で生成する。コンテンツ画像を、実空間と融合した3次元オブジェクトで表現する場合、画像生成部94は、当該3次元オブジェクトのモデルデータと、イベント会場を表す3次元座標系での位置とを対応づける。さらに画像生成部94は、3次元オブジェクトにマッピングするテクスチャデータをリアルタイムでの情報に基づき生成したり、特定の出場者のリアルタイムでの像を実写映像から切り取ったりしてもよい。あるいは画像生成部94は、2次元の画像としてコンテンツ画像を描画してもよい。
出場者状態情報取得部78は、イベントの出場者の位置および向きの少なくともいずれかを含む状態情報を継続的に取得する。例えば出場者状態情報取得部78は図示しない外部のカメラから、出場者を複数の視点から撮影したリアルタイム映像を取得し、それを解析することにより、イベント会場での出場者の位置や向き、速度、動作の種類などの状態情報を導出する。そのような画像解析は、スポーツ中継などの分野で広く実用化されている。
出場者状態情報取得部78は、出場者の状態情報や映像のデータを、コンテンツ画像制御部72に順次提供する。コンテンツ画像制御部72は当該情報やデータを、コンテンツ画像の制御に利用する。例えばコンテンツ画像制御部72は、ユーザと出場者との距離に応じて、当該出場者の拡大画像を表示させるか否かを決定する。あるいはコンテンツ画像制御部72は、ユーザから見えない向きの出場者の様子を表すように、コンテンツ画像を生成する際の仮想視点の位置および向きの少なくともいずれかを変化させる。
これにより、大規模会場などで出場者が見にくい場合であっても、座席によらず視認性を向上させることができる。またコンテンツ画像制御部72は、出場者のパフォーマンスの善し悪しに応じて、それを強調する仮想的な演出や、パフォーマンスについての解説が表示されるように制御してもよい。
イベント状況情報取得部80は、天候、時間帯、季節、温度、湿度、試合の戦況、ショーの進捗など、イベントの状況情報を取得する。イベントの状況情報は、イベント管理サーバ10の管理者やイベントの主催者が、イベント開始前やイベント開催中に、必要に応じて入力してもよいし、温度計、照度計、湿度計など、図示しない各種センサによる出力値から特定してもよい。あるいはイベント状況情報取得部80は、携帯端末12から送信される撮影画像、または、図示しない外部のカメラにより撮影されたリアルタイム映像を解析することにより、状況情報を取得してもよい。
イベント状況情報取得部80は、イベントの状況情報をコンテンツ画像制御部72に適宜提供する。コンテンツ画像制御部72は当該情報をコンテンツ画像の制御に利用する。例えばコンテンツ画像制御部72は、イベント途中での降雨に応じて、雨具の購入を受け付けるコンテンツ画像を表示させたり、温度上昇に応じて飲料水の購入を受け付けるコンテンツ画像を表示させたりする。
コンテンツ画像制御部72はまた、得点が入ったことに応じて、得点を入れたチームを応援しているユーザの携帯端末12に、図4の(a)で示したような仮想的な演出や得点者の情報を示すコンテンツ画像を表示させてもよい。さらにコンテンツ画像制御部72は、得点を入れたチームを応援しているユーザの携帯端末12に、関連商品の購入に用いることのできる割引きクーポンを表示させてもよい。この場合、点数が増えるほど割引き率を上げるなど、戦況によって割引き率に変化を与えてもよい。
またコンテンツ画像制御部72の照合部90は、状況情報に基づき、撮影画像と照合する空間構造のデータを切り替えてもよい。例えば開閉可能な屋根付きのスタジアムの場合、天候に依存して屋根の状態が変化する。このため空間構造のデータを、屋根の状態が異なる複数のパターンで準備しておき、照合部90は、状況情報に含まれる天候に基づき、対応する屋根の状態を表すデータを選択して照合に用いる。これにより、照合結果の精度を安定させることができる。なおイベント状況情報取得部80は、屋根が閉じているか開いているかといった、空間構造の状態自体を状況情報として、撮影画像等から取得してもよい。
またコンテンツ画像をARで表現する場合、画像選択部92がコンテンツ画像を選択する段階においても、状況情報に基づく空間構造のデータの切り替えを反映させてよい。これにより、実際には存在しない屋根の裏の位置に、コンテンツ画像として仮想的なロゴを表示するといった不具合を回避できる。上述した出場者状態情報やイベント状況情報は、コンテンツ画像制御部72においてコンテンツの選択に用いられるほか、コンテンツ画像の表示の契機として利用してもよい。
売買処理部74は、携帯端末12にコンテンツ画像として表示させた、商品購入のためのGUIに対する購入操作に応じて、売買の手続きを実現する。この際、売買処理部74は、あらかじめ登録された、携帯端末12のユーザの個人情報を取得することにより、その場でユーザが個人情報を入力し直す手間を省く。ここで個人情報とは、名前、クレジットカードの番号、セキュリティコードなど、決済に必要な情報のほか、商品を郵送する場合はその送付先住所や電話番号などの情報を含む。
なお購入対象の商品は上述のとおり、ユーザが場内の店舗へ出向くことにより受け取る物であってもよいし、店舗からユーザの座席に届ける物であってもよい。後者の場合、売買処理部74は、照合部90が照合の結果取得した、ユーザの座席の情報を参照して届け先を特定してよい。いずれにしろ売買処理部74は、ユーザによる購入操作に応じて仮想店舗管理サーバ14や実店舗管理サーバ16と通信を確立し、発注処理や決済処理を実施する。クレジットカードや電子マネーなどの決済手段を利用した電子商取引の仕組みについては従来技術を適用できる。
なお店舗を指定せずに購入操作がなされた場合、あるいは、複数あるチェーン店で対象商品が販売されている場合、売買処理部74は、照合部90による照合の結果得られたユーザの位置や座席に最も近い店舗を発注先として選択してもよい。また発注後、売買処理部74は、発注が完了した旨の通知を示すコンテンツ画像を、コンテンツ画像制御部72を介して、購入元の携帯端末12に表示させてもよい。これらの手順により、ユーザは図3で示したように、単純な操作で、かつイベントのリアルタイム映像の隠蔽範囲を最小限に、所望の商品を購入できる。
なお売買処理部74は、会場内の店舗への発注後、店舗の場所、注文番号、待ち時間などを発注先の店舗から取得し、コンテンツ画像制御部72を介して、それらの情報を表すコンテンツ画像を購入元の携帯端末12に表示させてもよい。また売買処理部74は、会場内や近隣にある実店舗の混み具合、商品在庫、待ち時間など店舗の状態情報を随時取得し、それらの情報を表すコンテンツ画像を、コンテンツ画像制御部72を介して携帯端末12に表示させてもよい。
情報記憶部76は、コンテンツ画像制御部72や売買処理部74が上述したような処理を実施するために必要な情報を記憶する。詳細には情報記憶部76は、ユーザ情報記憶部100、関連情報記憶部102、空間情報記憶部104、照合規則記憶部106、および、画像データ記憶部108を含む。ユーザ情報記憶部100は、携帯端末12の識別情報とユーザの個人情報とを対応づけて記憶する。個人情報は、上述のとおり売買処理部74が商品売買の手続きで利用するほか、コンテンツ画像制御部72がコンテンツ画像を選択する際にも利用できる。
例えばユーザ情報記憶部100には、ユーザの年齢、性別、住所、購入履歴、イベント参加履歴などの少なくともいずれかを個人情報として格納しておく。コンテンツ画像制御部72はそれらの情報を参照することにより、コンテンツ画像として表示させる商品を最適化したり、照合部90による照合結果と統合することにより、ユーザの特性や注目対象の特定精度を高めたりできる。例えば撮影画像に複数の出場者や商品が写っている場合、照合部90は上記のような個人情報に基づき、どの出場者や商品に注目しているかを絞り込んでもよい。
関連情報記憶部102は、照合部90が照合に用いるテンプレートデータと、それが表す被写体の情報とを対応づけて記憶する。ここで照合に用いるテンプレートデータとは例えば、出場者の顔やユニフォーム・衣装の画像、チームのロゴ、チーム名を示す文字情報、ボールなどの器具の画像、看板の画像、商品や企業のロゴ、マークなどである。
各画像や文字情報は、それが表す出場者やチームのプロフィール、企業のプロフィールや商品の販売情報などに対応づけられる。照合部90は撮影画像とテンプレートデータとの照合結果に基づき、ユーザの興味の対象となっている出場者、企業、商品を推定する。これにより画像選択部92は、コンテンツ画像として表すべき出場者、広告、販売情報などを適切に選択できる。
関連情報記憶部102は、商品の販売情報を、それに係るコンテンツ画像の表示条件と対応づけて格納してもよい。表示条件は例えば、出場者の状態情報やイベントの状況情報に対して設定できる。これにより画像選択部92は、降雨に応じて雨具購入のためのGUIを表示さたり、得点に応じて割引クーポンを表示させるなど、ユーザ操作によらず適切なタイミングで商品の販売情報を表示させることができる。
関連情報記憶部102はさらに、商品の販売情報として、販売店舗のURL(Uniform Resource Locator)や実店舗の位置などを記憶してもよい。これにより売買処理部74は、仮想店舗管理サーバ14や実店舗管理サーバ16を介して、適切な店舗に発注を行える。
空間情報記憶部104は、イベント会場の実空間の構造を3次元の情報として表したデータを記憶する。データ形式は特に限定されないが、例えば、会場の実空間に存在する物体の表面の位置を、当該表面上に離散的に分布させた点群の3次元位置座標で表した点群データ(ポイントクラウド)を用いることが考えられる。点群データを利用することにより、仮想オブジェクトの位置や姿勢を、同じ3次元座標系で精密に規定することができ、実空間と仮想オブジェクトの融合を高精度に表現できる。
上述のとおり本実施の形態では、空間構造のデータを、撮影画像との照合によりユーザの位置を特定する目的でも利用する。空間情報記憶部104はさらに、空間構造のデータの分割領域を、座席、フィールド、舞台、通路、店舗など実世界でのカテゴリに対応づけて記憶する。これにより座席に応じたユーザの特性を特定したり、携帯端末12のカメラが向く方角を絞り込んだりできる。
また上述のとおり、イベント会場の構造が可変の場合、空間情報記憶部104には空間構造のデータを複数パターン記憶させ、照合部90が所定の規則に則り照合に用いるデータを切り替えてもよい。このため空間情報記憶部104は、状況情報などに設定した選択基準を、空間構造の各データに対応づけて記憶してもよい。
照合規則記憶部106は、照合部90による照合処理の規則を記憶する。照合規則は例えば次表のように、撮影画像を照合する対象、照合する契機、照合により特定する対象を規定する。
この例では、撮影画像とイベント会場の空間構造との照合を、携帯端末12においてアプリケーションが起動されたときに行うことにより、ユーザの位置や座席を特定することが規定されている。また、携帯端末12におけるズームイン操作時、および表示画像の指示操作時に、対象の像とテンプレート画像との照合を行い、注目している出場者、関連企業、商品を特定することが規定されている。
上表では画像選択部92が、特定された情報に基づき選択するコンテンツ画像の種類も示している。具体的には、ユーザの位置や座席、注目している出場者を特定することにより、イベント用コンテンツ、すなわち視認性を向上させたり、パフォーマンスに対し仮想的な演出を表したりする対象となるチームや出場者を限定する。換言すると、応援していないチームや出場者についてはそれらのコンテンツ画像を表示させないことになり、過剰や不快と思わせる可能性を低くする。
また注目している企業や商品を特定することにより、販売促進用コンテンツ、すなわち販売情報や広告動画を表示させたり購入を受け付けたりする対象を限定する。これにより、興味がない企業や商品の情報が表示されることによる煩わしさを回避し、少ない情報で販売効果を上げることができる。ただし上表は一例であり、本実施の形態を限定する主旨ではない。例えば注目している出場者の関連グッズを購入するためのコンテンツ画像は、販売促進用コンテンツと位置づけることもできる。
画像データ記憶部108は、画像生成部94がコンテンツ画像を生成するのに用いる画像データを記憶する。画像データ記憶部108は例えば、仮想オブジェクトを描画するための3次元モデルデータ、テクスチャデータ、イベント会場の3次元空間における配置情報などを格納する。画像データ記憶部108はまた、出場者や商品の情報を示すコンテンツ画像のフォーマット、商品や広告の画像データなどを格納する。これらのデータは、関連情報記憶部102に格納された、出場者、企業、商品の情報と対応づけておく。
画像データ送信部82は、コンテンツ画像制御部72が選択し生成したコンテンツ画像のデータを携帯端末12に送信する。ここで画像データ送信部82が送信するデータは、コンテンツ画像そのものでもよいし、仮想オブジェクトの実空間での配置やそこに表す文字情報など、携帯端末12が解釈して画像を描画するために必要な部分的なデータでもよい。
後者の場合、携帯端末12は、内部で保持する3次元モデルと送信された位置情報に基づき、実空間を表す座標系にオブジェクトを配置したうえ、表示画面で構成されるスクリーン座標系に像を描画する。あるいは画像データ送信部82は、コンテンツ画像以外の領域を透明として画像を生成したうえで携帯端末12に送信することも考えられる。この場合、携帯端末12では、送信された画像をリアルタイム映像に重ね合わせるのみですむ。イベント管理サーバ10と携帯端末12で保持するデータや処理の分担について様々に考えられることは、当業者には理解されるところである。
図8は、本実施の形態における携帯端末12の機能ブロックの構成を示している。図示する機能の全部または一部は、ユーザの選択や携帯端末12の自律的な要求制御により、アプリケーションを配信する配信サーバからダウンロードすることにより構成してもよいし、携帯端末12の出荷時にインストールするなどして構成してもよい。また携帯端末12は、高機能携帯電話などアプリケーションがインストールされた端末と、画像を表示するARグラスなどのウェアラブルディスプレイとで構成されていてもよい。この場合、両者は例えばBluetooth(登録商標)などの近距離無線通信でデータを送受信してもよいし、両者を有線接続してもよい。
携帯端末12は、ユーザによる操作を受け付ける操作受付部110、実空間の画像を撮影する撮影部111、撮影画像のデータやユーザ操作の内容をイベント管理サーバ10に送信する端末情報送信部112、携帯端末12自体の状態に係る情報を取得する状態情報取得部114、コンテンツ画像のデータをイベント管理サーバ10から受信する画像データ受信部116、リアルタイム映像やコンテンツ画像を表示させる表示部118を備える。
携帯端末12はさらに、ユーザの個人情報を記憶する個人情報記憶部120および、コンテンツ画像の表示に用いるデータを記憶する画像データ記憶部122を備える。操作受付部110は、表示部118に表示されている画像に対する指示操作や撮影操作などのユーザ操作を受け付ける。ユーザ操作の手段としては、画面へのタップ操作やピンチ操作のほか、MRの技術により仮想オブジェクトをカメラの視野内の実空間で仮想的に指示する操作や、当該視野内での手によるジェスチャなどでもよい。
撮影部111は図5に示したカメラ64を含み、イベントが行われている実空間の像を撮影する。本実施の形態では特に、ユーザが携帯端末12をかざしている期間、イベントの様子を動画撮影することを基本とする。端末情報送信部112は、撮影部111による撮影画像、すなわち動画のフレームのデータ、および、操作受付部110が受け付けたユーザ操作の内容を、携帯端末12の識別情報とともにイベント管理サーバ10に送信する。
個人情報記憶部120はそのため、少なくとも携帯端末12の識別情報を記憶する。個人情報記憶部120はそのほか、ユーザの名前、電話番号、ログインID、パスワードなど、一般的な端末に記録される個人情報を記憶してよい。状態情報取得部114は、図5に示したモーションセンサ62および位置取得部66を含み、携帯端末12の位置、姿勢、動きを、状態情報として随時取得する。当該状態情報は、端末情報送信部112を介してイベント管理サーバ10に送信してもよい。
この場合、イベント管理サーバ10は、撮影画像を用いた照合結果と、携帯端末12の状態情報とを統合することにより、ユーザの位置や向きをより高精度に特定してもよい。画像データ受信部116は、イベント管理サーバ10からコンテンツ画像のデータを受信する。コンテンツ画像のデータは、必要に応じて1回、または複数回などで断続的に受信してもよいし、所定の時間間隔で定常的に受信し続けてもよい。
表示部118は、撮影部111が撮影したリアルタイム映像を表示するとともに、画像データ受信部116が受信したデータに基づきコンテンツ画像を重畳表示する。例えば表示部118は、コンテンツ画像として表示すべきオブジェクトの3次元モデルを、状態情報取得部114が取得した、携帯端末12の位置や姿勢に対応するスクリーン座標系に射影することにより、コンテンツ画像を描画する。また表示部118は、コンテンツ画像として表されるオブジェクトがユーザの指などとインタラクションするように、オブジェクトを動かしたり変形させたりしてもよい。
画像データ記憶部122は、コンテンツ画像の表示に必要なデータの一部を記憶する。上述のとおり、携帯端末12とイベント管理サーバ10の処理の分担により、画像データ記憶部122に格納するデータは様々であってよい。なお表示部118が表示させるコンテンツ画像は、実空間の座標系に固定させることに限定されない。例えば企業の広告動画や商品購入のための画像、割引クーポンなど、画像の種類や表示タイミングによっては、スクリーン座標系の所定位置に表示されるようにしてもよい。
図9は、イベント管理サーバ10においてコンテンツ画像制御部72の照合部90が行う照合処理の例を説明するための図である。(a)の上段は、イベント会場であるサッカースタジアムの空間構造230の一部を示している。このデータは実際には、所定の位置および方向に軸を設定した3次元座標系での点群データの形式で表してよく、事前に空間情報記憶部104に格納しておく。
携帯端末12から撮影画像232が送信されたら、照合部90は画像から特徴点を抽出するなどして、最も合致率の高い分布が得られる空間構造の範囲234を、矢印に示すように特定する。(b)はサーカースタジアムを俯瞰した状態を模式的に示しており、フィールド236を囲むように観客席238が配置されている。照合部90は(a)に示した照合結果に基づき、範囲234の視野が得られる携帯端末12の位置、ひいてはユーザの位置240を特定する。
照合部90はさらに、位置240に対応する座席のカテゴリを、空間構造のデータに対応づけられている情報に基づき特定してもよい。この例では、ユーザの位置240は、ゴールポスト242の裏側にある、一般的にはどちらかのチームのサポーターのための席に対応する。どちらのチームのサポーター席であるかは、試合の設定によって一意に定まる。
結果として照合部90は、撮影画像と空間構造のデータとを照合することにより、ユーザの位置と応援しているチームを特定できることになる。そのほか、座席にランクがある場合、ユーザがイベントに対し想定している支出の範囲を推定できる。またユーザが特別席にいる場合は上客であることを推定できる。これらのユーザの特性は、イベント用コンテンツで表示対象とするチームや、販売促進用コンテンツで表示対象とする商品の価格帯などの決定に利用できる。
なお照合部90は、撮影画像と空間構造のデータとの照合により、ユーザの位置240のみならず、携帯端末12の姿勢、ひいてはカメラの視線方向244も取得してよい。撮影画像からカメラの位置や姿勢を取得するため、Visual SLAM(Simultaneous Localization and Mapping)などの手法を導入してもよい。視線方向244を取得することにより、コンテンツ画像制御部72は、視線の先に存在する出場者などの実物体を、ユーザの注目対象と推定し、コンテンツ画像の選択に利用してもよい。これにより、例えばカメラの視野を移動させることにより、表示されるコンテンツ画像が次々に入れ替わるような態様を実現できる。
図10は、イベント管理サーバ10においてコンテンツ画像制御部72が、携帯端末12に表示させるコンテンツ画像の例を説明するための図である。この例もイベント会場としてサッカースタジアムを想定し、ユーザは図9の(b)に示すように、一方のゴールポストの裏側の座席にいるものとする。(a)、(b)は、当該座席におい携帯端末12に表示されるリアルタイム映像である。
サッカーの場合、前半戦と後半戦で各チームが攻めるゴールポストが入れ替わる。このためゴールポストの裏にいるユーザにとって、応援しているチームがゴールを攻めるプレイを間近で見られる期間が限定される。例えば前半戦は(a)に示すように、応援しているチームの選手がシュートを打つ様子が比較的近くで見られる一方、後半戦は(b)に示すように、反対側のゴールポストへのシュートとなり見にくくなる。このため、前半と比較し後半は応援の盛り上がりに欠けてしまうことが考えられる。
そこで画像選択部92は、ユーザと選手との距離が所定値以上離れたら、(c)に示すように、選手の像の拡大画像250aの表示を決定する。選手の距離は上述のとおり、出場者状態情報取得部78が取得してもよいし、撮影画像における出場者の像の大きさから画像選択部92が特定してもよい。また拡大する対象は、ユーザの座席から特定される、応援しているチームの選手や、ズームイン操作などにより推定される、ユーザが注目している選手などに限ってよい。
ユーザと選手との距離にしきい値を2つ以上設定し、距離がしきい値を超える都度、拡大画像250aの倍率を段階的に増加させてもよい。あるいはしきい値を設けず、距離の増加に対し拡大画像250aの倍率を連続的に増加させてもよい。距離が減少する際は、逆の制御により拡大画像250aの倍率を小さくしたり、拡大画像250aを非表示としたりしてよい。
(c)に示す拡大画像250aは、ユーザの視点と同一、または略同一の方向から見た該当選手を、そのまま拡大した画像である。一方、別の態様として、ユーザの位置からは見えない向きから見た拡大画像250bを表示させてもよい。この例では、選手を正面から見た画像を表示することにより、本来は見えない表情などを確認できるようになる。拡大画像として表す選手の向きを、ユーザが自由に操作できるようにしてもよい。多視点映像を用いて、プレイ中の選手を任意視点から見られるようにする技術は実用化されているため、それを応用してよい。
なおユーザの視点と異なる仮想視点から見た像は、等倍率であってもよい。また表示の契機はユーザと出場者との距離によらなくてもよい。いずれにしろユーザと出場者の位置および向きの関係に応じて、像の拡大率および、出場者の表示上の向きの少なくともいずれかを変化させる。これにより、例えばコンサートなどにおいて、舞台上の任意の演者の様子を、自由な方向から見ることができ、座席の角度によって生じる見にくさを軽減できる。
なお図ではわかりやすさのために一人の選手のみを示しているが、当然、フィールド上には複数の選手が存在する。したがって拡大対象は複数の選手でもよい。この場合、拡大率を調整することにより、選手同士の位置関係、すなわちフォーメーションを確認できるようにしてもよい。あるいは選手の像を図形などに置き換え、俯瞰図を示すなどしてフォーメーションをよりわかりやすく示してもよい。また上述のようにユーザが注目している選手を特定できたら、拡大するか否かによらず、当該選手の戦績やプレイの内容などの情報を自動で表示させてもよい。
図11は、イベント管理サーバ10においてコンテンツ画像制御部72が、携帯端末12に表示させるコンテンツ画像の別の例を説明するための図である。(a)はユーザがサッカースタジアムの観客席にカメラを向けているときのリアルタイム映像である。ここでユーザが、ある客が持っている商品260に着目し、(b)に示すようにその近傍を対象にズームインしたとする。
イベント管理サーバ10が、そのような撮影操作がなされた情報と、その際の撮影画像のデータを取得すると、コンテンツ画像制御部72の照合部90は、ズームイン後の撮影画像を、関連情報記憶部102に登録されている企業や商品の画像と照合する。これにより照合部90は、商品260を製造している企業や商品自体の情報を特定する。図示する例では「AA」なる文字列や、それを囲む矩形の色、パッケージの形状やサイズなどに基づき、商品260が「AAポテト」なるフライドポテトであることを特定する。
これに応じて画像選択部92は、該当商品に対応づけられたコンテンツ画像を選択する。図示する例では、「AAポテト」の無料クーポンを表す画像262が重畳表示されている。例えばユーザが、携帯端末12の画面上でクーポンの画像262をタップすると、携帯端末12が当該画像を再表示可能な状態でメモリに格納することにより、クーポンが獲得された状態となる。この場合、ユーザが店舗へ出向きクーポンを提示すると、「AAポテト」が進呈される。
なお実物体の撮影により表すコンテンツ画像はクーポンに限らず、関連する企業の情報や当該企業が販売する別の商品の情報、購入のためのGUIなどでもよい。同様のコンテンツ画像は、図2で示したように場内に掲示された看板の撮影によっても実現できる。一方、図11に示すように、他の観客が持っている商品も認識対象としてコンテンツ画像の表示の根拠とすることで多様性が広がり、企業や商品との予想外の出会いを生み出すことができる。また人が食べたり着用したりしている実物を確認できるため、イメージが喚起され販売をより促進できる。
また図示する例では、ユーザによるズームイン操作を、照合やコンテンツ画像表示の契機としたが、ズームアウトや静止画撮影など、その他の撮影操作を契機としてもよい。例えばズームアウト操作時、当該操作によって全体像が見えるようになった実物体がある場合、照合部90は、当該実物体の像を照合の対象としてもよい。また静止画撮影がなされた場合、照合部90はズームイン時と同様に、当該静止画を登録データと照合してもよい。
図12は、イベント管理サーバ10のコンテンツ画像制御部72が、携帯端末12に表示させるコンテンツ画像の種類と表示契機の設定例を示している。この設定情報は例えば、画像選択部92の内部のメモリにあらかじめ記憶させておく。上述したようにコンテンツ画像は、イベント用コンテンツと販売促進用コンテンツに大別される。
前者はユーザの視認性を向上させたり応援感情を喚起したりする画像であり、好適にはユーザが応援しているチームや選手に関連したものに限定する。後者は各種商品の販売を促進する画像であり、好適にはユーザが興味を示したものや、イベントの状況およびユーザの特性に適したものに限定する。ただし図2で示した仮想サイネージの画像200のように、提示する内容によっては、全てのユーザに共通のコンテンツ画像があってもよい。
図の例ではイベント用コンテンツとして、サッカー等で得点が入った際に、それを祝う仮想的な演出や、得点を入れたチームの関連グッズの割引きクーポンを表示させる設定としている。またユーザと出場者との距離がしきい値以上の期間に、出場者の拡大画像を表示させ、ユーザが出場者を対象にズームイン、あるいは指示した際には、ユーザの視線と異なる方向から当該出場者を表した画像(別視点画像)を表示させる設定としている。
また販売促進用コンテンツとして、ユーザが場内の看板や商品を対象にズームインした際、あるいは天候や温度など環境に所定値以上の変化が生じた際、対応づけられた商品の購入を受け付けるGUIを表示させる設定としている。またユーザが場内の看板や商品を対象にズームインした際、対応づけられた商品の割引きクーポンを表示させる設定としている。ただしこれらの設定は一例に過ぎず、イベントの内容や会場の規模、特性などに応じて最適化する。
またコンテンツ画像の表示契機に加え、表示されているコンテンツ画像を非表示とする契機を設定するなど、設定項目は図示するものに限らない。いずれにしろ、ユーザが意図して指示をしたときに限らず、イベントの状況やユーザと出場者との位置や向きの関係などよって適切なコンテンツ画像を臨機応変に表示できるように設定しておく。これによりユーザは、イベントに対する意識が削がれることなく、自然に気分を盛り上げたり、欲しい商品を容易に購入したりできる。
次に、上記構成によって実現できる動作について説明する。図13は、イベント管理サーバ10が携帯端末12に表示させるコンテンツ画像を選択し、送信する処理手順を示すフローチャートである。まずイベント会場においてユーザが、コンテンツ画像の表示を実現するアプリケーションを起動させ、ログインなどの認証作業を行うと、イベント管理サーバ10は、ユーザが入力した情報を取得し、認証処理を行う(S10)。これによりイベント管理サーバ10は、ユーザ情報記憶部100に格納されたユーザの個人情報を参照し、商品の売買手続きなどを円滑に行えるようになる。
認証が成功すると、イベント管理サーバ10から携帯端末12にその旨が通知されることにより、携帯端末12ではカメラが起動し、リアルタイム映像がディスプレイに表示される。するとイベント管理サーバ10の端末情報取得部70は、当該カメラによる撮影画像のデータやユーザ操作の内容に係る情報などの端末情報の取得を開始する(S12)。これに応じてコンテンツ画像制御部72は、撮影画像と登録データとの照合を開始するとともに(S14)、照合結果に基づくユーザの特性や興味の取得を開始する(S16)。
ここで登録済みのデータとは、イベント会場の空間構造の3次元データや、出場者、看板、商品を含む実物体のテンプレート画像などである。またユーザの特性や興味とは、ユーザの位置、座席、応援しているチーム、注目している看板や商品などである。ユーザの特性や興味は、撮影画像の照合結果に、ユーザ情報記憶部100に格納されたユーザの個人情報を加味して絞り込んでもよい。撮影画像の照合は上述のとおり、あらかじめ定められたタイミング、あるいは所定のユーザ操作がなされたタイミングなどで随時実施してよい。
そしてコンテンツ画像制御部72は、ユーザの特性や興味に適したコンテンツ画像の選択を開始する(S18)。コンテンツ画像の選択も、ユーザの特性や興味が取得されたことを受けて随時行ってよい。ただし毎回、具体的なコンテンツ画像を決定するのでなく、取得される特性や興味に応じて、コンテンツ画像を段階的に絞り込んでもよい。
例えばコンテンツ画像制御部72は、ユーザの座席に基づき応援しているチームを特定したら、まず、当該チームのためのイベント用コンテンツのセットを、選択候補として抽出する。そしてユーザがズームイン操作を行ったり、出場者が得点を入れるなど、具体的なコンテンツ画像を決定できるタイミングが到来したら、コンテンツ画像制御部72は選択候補のなかから、該当選手の拡大画像など、具体的なコンテンツ画像を決定する。
コンテンツ画像制御部72は、具体的なコンテンツ画像を選択して表示するタイミングが到来するまで待機し(S20のN)、そのタイミングとなったら(S20のY)、当該コンテンツ画像を生成し(S22)、そのデータを携帯端末12に送信する(S24)。なお同図の例では、コンテンツ画像の表示タイミングにおいて画像の生成および送信をそれぞれ一回のみ行うフローとしているが、本実施の形態をこれに限る主旨ではない。
例えば1つのコンテンツ画像について、生成およびデータ送信を継続的に繰り返してもよい。この場合、コンテンツ画像を非表示とするタイミングをさらに判定することで、それらの処理を終了させてもよい。また図示を省略しているが、コンテンツ画像として携帯端末12に表示された、商品購入のためのGUIに対し購入操作がなされた場合、イベント管理サーバ10は上述のとおり売買処理を実行してよい。
以後、コンテンツ画像制御部72は、適切なタイミングでコンテンツ画像を選択してデータを生成し、送信する処理を繰り返す(S26のN、S20~S24)。ユーザがアプリケーションを終了させるなど、コンテンツ画像に係る処理を停止させる必要が生じたら、イベント管理サーバ10は当該処理を終了させる(S26のY)。
以上述べた本実施の形態によれば、イベント管理サーバは、イベントに来場したユーザが携帯する端末に表示される実空間のリアルタイム映像に重畳表示させるコンテンツ画像を制御する。ここでイベント管理サーバは、携帯端末が撮影した画像を収集し、それに基づきユーザの特性や興味を推定することで、表示させるコンテンツ画像を最適化する。これによりユーザは、余計なコンテンツ画像に煩わされることなく、イベントとともに各種演出を楽しんだり提示情報を容易に利用したりできる。
また、イベント会場の空間構造の3次元データを撮影画像と照合することにより、ユーザの位置や座席を特定する。元来コンテンツ画像をARで表現する際に必要な3次元データを利用することにより、ARの技術との親和性が高くなり、低い導入障壁での実現が可能である。
さらに、ユーザがメニューや画像を明確に指示せずとも、ズームインなどの撮影操作がなされたり、ユーザと出場者の位置や向きの関係、イベントの状況、環境などに変化が生じたりした好適なタイミングで、適切なコンテンツ画像を選択し表示させる。これによりユーザは、イベントを見逃すことなく所望の情報や画像へアクセスでき、携帯端末を介したサービス利用の機会を増やすことができる。
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
1 イベント管理システム、 10 イベント管理サーバ、 12 携帯端末、 14 仮想店舗管理サーバ、 16 実店舗管理サーバ、 23 CPU、 26 メインメモリ、 32 通信部、 50 CPU、 52 メインメモリ、 54 表示部、 60 通信部、 62 モーションセンサ、 64 カメラ、 66 位置取得部、 70 端末情報取得部、 72 コンテンツ画像制御部、 74 売買処理部、 76 情報記憶部、 78 出場者状態情報取得部、 80 イベント状況情報取得部、 82 画像データ送信部、 90 照合部、 92 画像選択部、 94 画像生成部、 110 操作受付部、 111 撮影部、 112 端末情報送信部、 114 状態情報取得部、 116 画像データ受信部、 118 表示部、 120 個人情報記憶部、 122 画像データ記憶部。
Claims (19)
- イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得する端末情報取得部と、
登録データと前記撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、前記端末に表示すべきコンテンツ画像を選択するコンテンツ画像制御部と、
選択された前記コンテンツ画像のデータを前記端末に送信し表示させる画像データ送信部と、
を備えたことを特徴とするイベント管理サーバシステム。 - イベント会場の空間構造の3次元データを格納する空間情報記憶部をさらに備え、
前記コンテンツ画像制御部は、前記撮影画像を前記空間構造と照合することにより、ユーザの座席のカテゴリを取得することを特徴とする請求項1に記載のイベント管理サーバシステム。 - 前記コンテンツ画像制御部は、前記イベントとして試合をしているチームのうちユーザが応援しているチームを、前記座席のカテゴリに基づき特定することを特徴とする請求項2に記載のイベント管理サーバシステム。
- 前記コンテンツ画像制御部は、前記空間構造に配置された仮想オブジェクトとして前記コンテンツ画像を生成し、
前記画像データ送信部は、前記空間構造の3次元データに対する前記仮想オブジェクトの位置情報を前記コンテンツ画像のデータに含めて送信することにより、前記端末に表示中の前記撮影画像における対応する位置に、前記仮想オブジェクトの像を重畳表示させることを特徴とする請求項2または3に記載のイベント管理サーバシステム。 - 前記空間情報記憶部は、複数のパターンで前記空間構造のデータを格納し、
前記コンテンツ画像制御部は、所定の規則に則り前記照合に用いる前記空間構造のデータを切り替えることを特徴とする請求項2から4のいずれかに記載のイベント管理サーバシステム。 - 前記端末情報取得部は、前記撮影画像のズーム倍率を変更するユーザ操作の情報をさらに取得し、
前記コンテンツ画像制御部は、前記ズーム倍率を変更するユーザ操作がなされたことを契機として、前記コンテンツ画像を選択することを特徴とする請求項1から5のいずれかに記載のイベント管理サーバシステム。 - 前記端末情報取得部は、前記端末に表示中の前記撮影画像のいずれかの像を指示するユーザ操作の情報をさらに取得し、
前記コンテンツ画像制御部は、指示された像に対応する前記コンテンツ画像を選択することを特徴とする請求項1から6のいずれかに記載のイベント管理サーバシステム。 - 前記コンテンツ画像制御部は、前記照合によりユーザが注目している被写体を特定し、当該被写体に対応する前記コンテンツ画像を選択することを特徴とする請求項1から7のいずれかに記載のイベント管理サーバシステム。
- 前記イベント会場における、出場者の位置を含む状態情報を取得する出場者状態情報取得部をさらに備え、
前記コンテンツ画像制御部は、ユーザと前記出場者の位置関係に応じて、前記コンテンツ画像を変化させることを特徴とする請求項1から8のいずれかに記載のイベント管理サーバシステム。 - 前記コンテンツ画像制御部は、前記コンテンツ画像として、前記出場者の様子を表す拡大画像を選択し、前記位置関係に応じて、当該拡大画像の拡大率を変化させることを特徴とする請求項9に記載のイベント管理サーバシステム。
- 前記コンテンツ画像制御部は、前記コンテンツ画像として、前記位置関係に基づき決定した、ユーザの視点と異なる仮想視点から見た前記出場者の様子を表す画像を選択することを特徴とする請求項9または10に記載のイベント管理サーバシステム。
- 前記イベントの状況を取得するイベント状況情報取得部をさらに備え、
前記コンテンツ画像制御部は、前記イベントの状況に応じて前記コンテンツ画像の内容を変化させることを特徴とする請求項1から11のいずれかに記載のイベント管理サーバシステム。 - 前記コンテンツ画像制御部は、前記コンテンツ画像として、関連商品の割引きクーポンの画像を選択するとともに、前記イベントの状況に応じて、当該割引きクーポンが示す割引き率を変化させることを特徴とする請求項12に記載のイベント管理サーバシステム。
- 前記コンテンツ画像制御部は、前記コンテンツ画像として、前記イベントの状況に応じた仮想的な演出を表す画像を選択することを特徴とする請求項12または13に記載のイベント管理サーバシステム。
- 前記コンテンツ画像制御部は前記コンテンツ画像として、前記撮影画像に写る被写体に関連する商品に係る情報を表す画像を選択することを特徴とする請求項1から14のいずれかに記載のイベント管理サーバシステム。
- 前記コンテンツ画像制御部は、前記登録データに対応する看板または商品を前記撮影画像から検出することにより、前記関連する商品を決定することを特徴とする請求項15に記載のイベント管理サーバシステム。
- 前記コンテンツ画像制御部は、前記関連する商品の購入を受け付けるコンテンツ画像を選択し、
前記端末情報取得部は、前記端末においてなされた、前記関連する商品の購入操作の情報をさらに取得し、
前記イベント管理サーバシステムは、
前記端末とユーザの個人情報の対応情報を格納するユーザ情報記憶部と、
前記端末において前記購入操作がなされた際、当該端末に対応づけられた前記個人情報を取得することにより売買手続きを実現する売買処理部と、
をさらに備えたことを特徴とする請求項15または16に記載のイベント管理サーバシステム。 - イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得するステップと、
登録データと前記撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、前記端末に表示すべきコンテンツ画像を選択するステップと、
選択された前記コンテンツ画像のデータを前記端末に送信し表示させるステップと、
を含むことを特徴とする、イベント管理サーバシステムによるコンテンツ画像制御方法。 - イベントの会場に来場したユーザが保持する端末による撮影画像のデータを取得する機能と、
登録データと前記撮影画像とを照合することによりユーザの特性を取得し、当該特性に応じて、前記端末に表示すべきコンテンツ画像を選択する機能と、
選択された前記コンテンツ画像のデータを前記端末に送信し表示させる機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021213191A JP2023097056A (ja) | 2021-12-27 | 2021-12-27 | イベント管理サーバシステムおよびコンテンツ画像制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021213191A JP2023097056A (ja) | 2021-12-27 | 2021-12-27 | イベント管理サーバシステムおよびコンテンツ画像制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023097056A true JP2023097056A (ja) | 2023-07-07 |
Family
ID=87005740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021213191A Pending JP2023097056A (ja) | 2021-12-27 | 2021-12-27 | イベント管理サーバシステムおよびコンテンツ画像制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023097056A (ja) |
-
2021
- 2021-12-27 JP JP2021213191A patent/JP2023097056A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10948982B2 (en) | Methods and systems for integrating virtual content into an immersive virtual reality world based on real-world scenery | |
KR101894021B1 (ko) | Vr 공간에서 컨텐트를 제공하는 방법, 디바이스 및 기록매체 | |
US20190030441A1 (en) | Using a Portable Device to Interface with a Scene Rendered on a Main Display | |
US11416918B2 (en) | Systems/methods for identifying products within audio-visual content and enabling seamless purchasing of such identified products by viewers/users of the audio-visual content | |
US10272340B2 (en) | Media system and method | |
CN110019600B (zh) | 一种地图处理方法、装置及存储介质 | |
US20180374267A1 (en) | Method and System to Enhance Spectator Experience | |
US20090327073A1 (en) | Intelligent advertising display | |
CN101273368A (zh) | 经由移动图像识别的交互 | |
US20140363086A1 (en) | Interactivity via mobile image recognition | |
US9600781B2 (en) | Enhanced seat selection | |
US11302038B2 (en) | System and method for generating an augmented reality experience | |
US12008672B2 (en) | Systems and methods for delivering augmented reality content | |
US11972450B2 (en) | Spectator and participant system and method for displaying different views of an event | |
US20230162433A1 (en) | Information processing system, information processing method, and information processing program | |
US11461974B2 (en) | System and method for creating geo-located augmented reality communities | |
US20150106200A1 (en) | Enhancing a user's experience by providing related content | |
US20210342886A1 (en) | Virtual Advertising Database with Command Input Data | |
JP2024027196A (ja) | システム、コンピュータプログラム、およびリモート応援システム | |
US20210248645A1 (en) | Advertising via a live event wagering platform | |
JP2022011070A (ja) | イベント管理サーバシステム、イベント管理システム、およびイベント管理方法 | |
JP6609078B1 (ja) | コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム | |
JP2023097056A (ja) | イベント管理サーバシステムおよびコンテンツ画像制御方法 | |
Ennis et al. | Understanding Fans and Their Consumption of Sport | |
KR102561198B1 (ko) | 컨텐츠 활용 플랫폼 시스템, 증강현실 기반의 이미지 출력물 제작방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20240510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240610 |