JP2020154457A - 画像表示システム、画像配信方法、プログラム - Google Patents

画像表示システム、画像配信方法、プログラム Download PDF

Info

Publication number
JP2020154457A
JP2020154457A JP2019050320A JP2019050320A JP2020154457A JP 2020154457 A JP2020154457 A JP 2020154457A JP 2019050320 A JP2019050320 A JP 2019050320A JP 2019050320 A JP2019050320 A JP 2019050320A JP 2020154457 A JP2020154457 A JP 2020154457A
Authority
JP
Japan
Prior art keywords
image
display pattern
display
unit
advertisement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019050320A
Other languages
English (en)
Inventor
修 小河原
Osamu Ogawara
修 小河原
陽平 藤田
Yohei Fujita
陽平 藤田
崇之 原
Takayuki Hara
崇之 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019050320A priority Critical patent/JP2020154457A/ja
Priority to PCT/JP2020/009701 priority patent/WO2020189341A1/en
Publication of JP2020154457A publication Critical patent/JP2020154457A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】適切な視点でコンテンツを表示することができる画像表示システムを提供すること。【解決手段】画像を配信する画像配信装置10から端末装置30がコンテンツを受信する画像表示システム100であって、前記画像配信装置は、1つ以上のコンテンツを異なる視点で表示する表示パターンを生成する表示パターン生成部16と、前記視点を制約する制約部17と、前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を前記端末装置に配信する配信部12と、を有することを特徴とする。【選択図】図3

Description

本発明は、画像表示システム、画像配信方法、及び、プログラムに関する。
Webページに設けられた広告枠に広告主が広告を表示させる配信型のディスプレイ広告が知られている。広告主は様々なWebサイトが提供する広告枠に製品やサービスの広告を表示させることができる。広告枠に表示された製品やサービスに興味を持った閲覧者は広告枠をクリック(又はタップ)するので、広告主は閲覧者を自社のWebサイトに呼び込むことができる。
広告主としては閲覧者が広告をクリックする頻度を向上させたいが、1つのWebページに掲載される広告の数は増大傾向にあり、広告主は閲覧者の注意を引きつける表示方法を工夫している(例えば、特許文献1参照。)。特許文献1には、動画広告を配信することで広告の効果(クリック率)を高める技術について開示されている。人は動く物に視線を奪われやすいという傾向があるため、広告の注目度を高め広告の効果を向上させることができる。
また、3DCG(Three−dimensional computer graphics)画像や広角画像などのように画像データの中には閲覧者の操作で見え方が変わる(視点が変わる)インタラクティブなコンテンツも存在する。このようなコンテンツをWebページに表示させることで注目度を高め広告の効果を高める試みも知られている。
しかしながら、3DCG画像や広角画像などの視点を変更できるコンテンツでは必ずしも適切な視点で画像が表示されるとは限らないという問題があった。補足すると、コンテンツを受信した端末装置がコンテンツに対する視点を連続的に変えながら広告枠に表示する表示方法がある。この表示方法では、コンテンツの一部が次々に広告枠に表示されるため、静止画でありながら動画のような見せ方が可能になる。広告枠の画像が自動的に変化するので、通常の静止画の広告よりも広告効果が高いことが知られている。
しかし、このようなコンテンツの表示方法は、閲覧者があまり指定しない視点から見たコンテンツを自動で表示する場合があり、広告効果を損なうおそれがある。例えば、閲覧者がコンテンツを真上から見下ろしたり、真下から見上げたりすることで、閲覧者の天地の感覚が狂う場合がある。
本発明は、上記課題に鑑み、適切な視点でコンテンツを表示することができる画像表示システムを提供することを目的とする。
上記課題に鑑み、本発明は、画像を配信する画像配信装置から端末装置がコンテンツを受信する画像表示システムであって、前記画像配信装置は、1つ以上のコンテンツを異なる視点で表示する表示パターンを生成する表示パターン生成部と、前記視点を制約する制約部と、前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を前記端末装置に配信する配信部と、を有し、前記端末装置は、前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を取得する取得部と、前記取得部が取得した前記コンテンツを前記表示パターンで視点を変えて表示するか、又は、前記表示パターンに基づいて生成された前記複数の表示画像を表示する表示部と、を有することを特徴とする。
本発明は、適切な視点でコンテンツを表示することができる画像表示システムを提供することができる。
広角画像の一例として全天球画像について説明する図の一例である。 画像表示システムの概略を説明する図である。 端末装置が全天球画像又は3DCG画像をアニメーション表示する際の遷移禁止領域を説明する図である。 画像表示システムの一例の構成図である。 コンピュータシステムの一例のハードウェア構成図である。 端末装置の一例のハードウェア構成図である。 全天球カメラの一例の使用イメージ図である。 全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。 全天球カメラで撮像された画像から全天球画像が作成されるまでの処理の概略を説明する図である。 閲覧者の視線を説明する図の一例である。 所定領域情報と所定領域の画像の関係の一例を示した図である。 3Dモデルと射影変換を模式的に示す図である。 視点を変えて表示された一例の3Dモデルを示す図である。 Webページが使用する情報を模式的に説明する図の一例である。 端末装置、広告主Webサーバ、パートナーサイトWebサーバ、画像配信装置、SSP及びDSPの機能をブロック状に示す一例の機能ブロック図である。 コンテンツ受付部と画像登録端末の機能をブロック状に示す一例の機能ブロック図である。 画像登録端末のディスプレイに表示された一例のコンテンツ登録画面を示す図である。 注目点決定部が注目点を決定する手順を示すフローチャート図の一例である。 全天球画像の一例の部分画像を示す図である。 表示パターン生成部が表示パターンを生成する全体的な流れの一例を示すフローチャート図である。 全天球画像の視線方向又は3DCG画像における仮想的なカメラの位置のパラメータを説明する図の一例である。 全天球画像の視線方向又は3DCG画像における仮想的なカメラの位置の簡略化されたパラメータを説明する図の一例である。 水平軌道を採用した場合における、全天球画像の視線方向又は3DCG画像における仮想的なカメラの一例を示す図である。 大円軌道を採用した場合における、全天球画像の視線方向又は3DCG画像における仮想的なカメラの位置の一例を示す図である。 螺旋軌道を採用した場合の3DCG画像における仮想的なカメラの位置の一例を示す図である。 要素軌道を用いた表示パターンの生成時に、図20のステップS103で実行される手順を示すフローチャート図である。 要素軌道上の注目度の累積値を説明する図である。 2つ以上の要素軌道を求める手順を示す一例のフローチャート図である。 画像表示システムが広告として表示される全天球画像又は3DCG画像を配信する手順を説明するシーケンス図の一例である。 広告データを受信した端末装置の動作を説明する一例のフローチャート図である。 広告データが配信されるいくつかの形態を示す図である。
以下、本発明を実施するための方法の一例として画像表示システムと画像表示システムが行う画像配信方法について説明する。
<本実施形態の画像表示システムの概略>
図1は、広角画像の一例として全天球画像6について説明する図の一例である。図1(a)は、3次元の立体球CSで表された全天球画像6を示し、図1(b)は正距円筒図法で表された画像(以下、「正距円筒射影画像」という)である全天球画像6を示す。全天球カメラで生成された全天球画像6は図1(b)のような正距円筒射影画像が立体球CSに張り合わされた三次元の構造を有している。仮想カメラICは閲覧者の目の位置に対応し、図1(a)では全天球画像6の中心に目の位置がある。閲覧者は仮想カメラICを通るX軸、Y軸、Z軸を中心とする3軸の回転を行わせて、全天球画像6の任意の領域を所定領域画像Qとして端末装置のディスプレイ上に表示させることができる。所定領域画像の位置及び大きさなど(図1(b)のA1〜A3)のパラメータを連続的に変えることでアニメーションのように表示できる。
図1(c)は3DCG画像とその表示方法を説明する図である。3DCG(Three−dimensional computer graphics)画像は、3次元点群、2Dメッシュ、又はテクスチャなどで構成されている3Dモデル95を仮想的なカメラ330で撮像した(投影した)画像である。端末装置が仮想的なカメラ330の位置と照明の方向を設定し、仮想的なカメラ330に3Dモデル95を投影して投影画像が生成される。仮想的なカメラ330の位置及び画角などのパラメータを連続的に変えることでアニメーションのように表示できる。
図2は、本実施形態の画像表示システム100の概略を説明する図である。本実施形態では第三者配信により配信される広告に全天球画像6を用いる画像表示システム100について説明する。第三者配信とは、媒体社が保有しているサーバでなく広告代理店などが保有するサーバから媒体に広告を配信する仕組みである。第三者配信サーバは広告の配信頻度などのコントロールや広告の効果の計測等を行う。図2では画像配信装置10が第三者配信サーバに相当する。
(S1)端末装置30は広告枠7(広告を表示する表示枠)を有するWebページをブラウザ8等で開くと、この端末装置30に広告を表示したいと考えるDSP20(Demand−Side Platform)が端末装置30に通知される。端末装置30はこのDSP20に広告を要求する。
(S2)DSP20は画像配信装置10に広告を要求する。
(S3)画像配信装置10は広告要求を記憶しておき、自機に端末装置30がアクセスするためのアクセス情報2を生成してDSP20に送信する。
(S4)DSP20は受信したアクセス情報2を端末装置30に送信する。
(S5)端末装置30はアクセス情報2に基づいて画像配信装置10に対し広告データを要求する。
(S6)画像配信装置10はアクセス情報2で要求された広告データ(全天球画像6又は3DCG画像の少なくとも一方。これをコンテンツという。)を端末装置30に送信する。
(S7)端末装置30はコンテンツを受信して、端末装置30で動作するブラウザ8等がコンテンツ(図2では全天球画像6における複数の注目領域A1〜A3)を表示パターンにしたがって順番に所定領域画像Qとして表示する。例えば、図2の全天球画像6は3つの注目点A1〜A3と各注点A1〜A3の画角を保持しており、閲覧者が操作しなくても注目点A1(画角1)→注目点A2(画角2)→注目点A3(画角3)の順に回転する複数の表示画像を生成する。
図3は、端末装置30が全天球画像6又は3DCG画像をアニメーション表示する際の遷移禁止領域81を説明する図である。図3(a)は3DCG画像の注目点Pを示し、図3(b)は全天球画像6の注目点Pを示す。図3(a)、図3(b)では顕著性検出、物体検出などの手法を用いて決定された注目度が高い注目点Pが示されている。画像配信装置10はこのようにして注目度マップを作り、注目度が高い領域を通る軌道を視点とする表示パターンを生成する。
一方、注目度が高い領域を通る軌道を視点とする表示パターンは、閲覧者があまり指定しない視点を採用してしまう場合があり、広告効果を損なうおそれがあった。また、異なる視点を複雑な軌道で遷移することでスムーズさが失われる場合がある。
そこで、図3(c)、図3(d)に示すように、担当者が遷移禁止領域81を設定する。図3(c)は3DCG画像の遷移禁止領域81を示し、図3(d)は全天球画像6の遷移禁止領域81を示す。3DCG画像の遷移禁止領域81は、仮想的なカメラ330が取ることができない(又は取りにくい)位置を意味し、全天球画像6の遷移禁止領域81は仮想カメラICが取ることができない全天球画像6の座標(視線方向)を意味する。遷移禁止領域81は遷移が禁止される領域である。また、完全に禁止するのでなく、仮想カメラICが取りにくい全天球画像6の座標(視線方向)でもよい。この場合、遷移禁止領域81は遷移が禁止又は制限される領域である。
図3(c)、図3(d)では、天頂及び天底の斜線部分が仮想的なカメラ330の位置又は全天球画像6の座標の遷移禁止領域81である。本実施形態の端末装置30は遷移禁止領域81に入らないように表示パターンを生成する。
このように視点を制約することにより、視点が不自然に遷移することを防ぐことができる。例えば、コンテンツを真上から見下ろしたり、真下から見上げたりする視点に遷移することを抑制できる。また、後述する要素軌道を設定した上で視点を制約することで異なる視線方向を複雑な軌道で遷移することを抑制できる。したがって、適切な視点でコンテンツを表示することができ、広告効果を高めやすくなる。
<用語について>
視点とは同じコンテンツを平面画像で表示する場合にどの方向から射影するかに関する情報である。
表示パターンに基づいて生成された複数の表示画像は、少しずつ異なる静止画が連続した複数の画像であり、例えば、動画、アニメーションなどと称してよい。
<システム構成例>
図4は、画像表示システム100の概略的な構成図の一例である。画像表示システム100は、ネットワークNを介して通信可能な端末装置30、画像配信装置10、DSP20、SSP(Supply Side Platform)50、パートナーサイトWebサーバ60、及び、広告主Webサーバ70を有している。
ネットワークNは、端末装置30が設置されている施設などに構築されているLAN、LANをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等により構築されている。ネットワークNが複数のLANを有する場合、ネットワークNはWANやインターネットと呼ばれる。ネットワークNは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。また、端末装置30が直接、公衆回線網に接続する場合は、LANを介さずにプロバイダネットワークに接続することができる。
端末装置30は、本実施形態においてクライアント端末として動作する情報処理装置である。端末装置30ではブラウザソフト又はこれと同等の機能を有するアプリケーションソフトウェアが動作しており、端末装置30が要求したWebページをパートナーサイトWebサーバ60から受信してディスプレイに表示させる。
端末装置30は、例えばPC(Personal Computer)、タブレット装置、スマートフォン、PDA(Personal Digital Assistant)、ゲーム機、ナビゲーション端末、ウェアラブルPCなどであるが、Webページを表示させることができればよい。例えば、プリンターがWebページを表示させる機能やディスプレイを有する場合、プリンターが端末装置30として使用されてもよい。また、デジタルサイネージがWebページを表示させてもよい。デジタルサイネージとは、屋外、店頭、公共空間及び交通機関など、人が通過又は存在しうる場所でディスプレイなどの電子的な表示機器を使って情報を発信するシステム、表示機器又は表示される情報をいう。なお、本実施形態ではWebページにWebアプリが含まれるものとする。Webアプリとは、ブラウザ上で動作するプログラミング言語(たとえばJavaScript(登録商標))によるプログラムとWebサーバ側のプログラムが協調することによって動作し、ブラウザ上で使用されるソフトウェア又はその仕組みを言う。なお、本実施形態では、Webアプリ以外にも、ネイティブアプリと呼ばれるOSに依存するアプリであっても同様に動作させることができる。
端末装置30は、有線LANや無線LANのアクセスポイントを介してネットワークNと接続してもよいし、3G、4GやLTE(Long Term Evolution)といった交換回線型の通信により、ネットワークNに接続してもよい。
パートナーサイトWebサーバ60は閲覧者が使用するクライアントコンピュータ(本実施形態の端末装置30)に対しネットワークを通じて情報や機能を提供するサーバ(一般的な情報処理装置)である。パートナーサイトWebサーバ60が提供するWebページには広告枠7が設けられている。パートナーサイトWebサーバ60はSSP50に広告枠7への広告の表示を依頼している。これにより、広告枠7にはSSP50が発行した広告タグを対応付けることができる。
広告主Webサーバ70も閲覧者が使用するクライアントコンピュータ(本実施形態の端末装置30)に対しネットワークを通じて情報や機能を提供するサーバ(一般的な情報処理装置)である。広告主は広告枠7の購入をDSP20に依頼している。また、広告データを保持する画像配信装置10をDSP20に登録している。また、広告主は広告データを画像配信装置10に入稿しておく。広告データには、全天球画像6又は3DCG画像の他、広告主Webサーバ70など閲覧者に閲覧させたいWebサイト(ランディングページ)のURLが登録されている(URLがリンクされている)。
広告主Webサーバ70及びパートナーサイトWebサーバ60と端末装置30は例えばHTTP又はHTTPsの通信プロトコルを使って通信する。端末装置30からの要求に対し広告主Webサーバ70とパートナーサイトWebサーバ60が画面情報を端末装置30に送信する。画面情報は、HTML、スクリプト言語、及びCSS(cascading style sheet)で記述されたプログラムであり、主にHTMLによりWebページの構造が特定され、スクリプト言語によりWebページの動作が規定され、CSSによりWebページのスタイルが特定される。本実施形態で、閲覧者のWebページに対する操作を全天球画像6に反映させるのはスクリプト言語である。スクリプト言語として、具体的には、JavaScript(登録商標)又はECMAScriptというプログラム言語が知られている。
広告主Webサーバ70及びパートナーサイトWebサーバ60はいずれもクッキー(Cookie)を端末装置30のブラウザソフトに記録する。広告主Webサーバ70は自社のクッキーとDSP20のクッキーの両方を記録し、パートナーサイトWebサーバ60は自社のクッキーとSSP50のクッキーの両方を記録する。
SSP50は、広告枠7を掲載するパートナーサイトWebサーバ60が広告枠7を販売することで収益を最大化するための仕組みである。図では1つの装置のように記載されているが、1台以上の情報処理装置のネットワークである。パートナーサイトWebサーバ60はSSP50に広告枠7の販売を依頼している。具体的には広告枠7にSSP50が発行する広告タグが記載されており、端末装置30がパートナーサイトWebサーバ60のWebページを表示すると広告タグがSSP50に広告の配信を要求する(広告リクエスト)。SSP50はDSP20から広告枠7の入札を受け付け、落札したDSP20にアクセスするためのアクセス情報1を端末装置30に送信する。
DSP20は広告枠7の買い付け、広告配信等、広告主のために効率的・効果的な広告配信を行う仕組みである。図では1つの装置のように記載されているが、1台以上の情報処理装置のネットワークである。すなわち、DSP20はSSP50からクッキー(区別するためSSPクッキーという)等を取得して、自分が管理するDSPクッキーとSSPクッキーの対応付情報に基づき閲覧者の属性等を判断する。そして、閲覧者の属性や予算等に基づいて依頼している広告主からの広告の配信設定に基づいて決定した価格でSSP50に入札する。
落札したDSP20はアクセス情報1により端末装置30から広告を要求される。DSP20は画像配信装置10に広告リクエストを通知して、画像配信装置10に端末装置30が広告データを要求するためのアクセス情報2を画像配信装置10から取得する。なお、広告データは、全天球画像6又は3DCG画像の少なくとも一方を表示させる表示プログラムと操作履歴を取得する操作履歴プログラムを含む。
DSP20はアクセス情報2を端末装置30に送信する。DSP20は契約にしたがって広告主に課金する。画像配信装置10と広告主との間では契約に従った課金が行われる。ただし、広告が表示されただけで課金されるかどうかなどは契約によって異なる。
画像配信装置10は、DSP20が買い取った広告枠7に対し閲覧者の属性に最適な広告の素材(全天球画像6又は3DCG画像)を含む広告データを提供する1台以上の情報処理装置である。画像配信装置10はバナーやテキストなどの入稿素材や広告画像を保持している。広告データは単なるバナー(文字や写真や絵でつくられた画像)の場合もあるし、画像に加えスクリプト言語が含まれる場合がある。本実施形態では、全天球画像6を表示順に回転させたり、閲覧者の全天球画像6又は3DCG画像の少なくとも一方に対する操作を全天球画像6の外観に反映させたりする表示プログラム、及び、全天球画像6又は3DCG画像の少なくとも一方に対する操作履歴を記録したりするための操作履歴プログラムが含まれる。いずれもスクリプト言語で記述される。
端末装置30がアクセス情報2に基づいて画像配信装置10に広告データを要求すると、画像配信装置10は広告データを端末装置30に送信する。広告データには全天球画像6が含まれており、表示プログラムは全天球画像6又は3DCG画像の少なくとも一方の注目点を辿るように自動的に全天球画像6又は3DCG画像の少なくとも一方を回転させ、また、拡大したり縮小したりする。また、操作履歴プログラムは画像配信装置10のクッキー(区別するため画像クッキーという)及び画像IDと共に全天球画像6に対する操作履歴を画像配信装置10に送信する。画像クッキーは画像配信装置10からブラウザソフトに書き込まれる。操作履歴は例えば、どの閲覧画角が表示されたかという情報である。なお、この操作履歴は注目点の決定に使用されるため、操作履歴が注目点の決定に使用されない場合、操作履歴は送信されなくてもよい。
また、操作履歴プログラムは、後述する表示パターンのパターンIDと共にクリックされた旨を画像配信装置10に送信する。画像配信装置10は1つの全天球画像6に対し複数の表示パターンを定めており、各表示パターンのクリック率を監視することで、クリック率が高い表示パターンのみを配信できるようになる。
<ハードウェア構成例>
続いて、本実施形態の画像表示システムにおける広告主Webサーバ70、パートナーサイトWebサーバ60、画像配信装置10、SSP50及びDSP20のハードウェア構成について説明する。
広告主Webサーバ70、パートナーサイトWebサーバ60、画像配信装置10、SSP50及びDSP20は、例えば図5に示すハードウェア構成のコンピュータシステムにより実現される。図5は本実施形態に係るコンピュータシステム200の一例のハードウェア構成図である。
図5に示したコンピュータシステム200は、入力装置201、表示装置202、外部I/F203、RAM(Random Access Memory)204、ROM(Read Only Memory)205、CPU(Central Processing Unit)206、通信I/F207、及びHDD(Hard Disk Drive)208などを備え、それぞれがバスBで相互に接続されている。
入力装置201はキーボードやマウス、タッチパネルなどを含み、オペレータが各操作信号を入力するのに用いられる。表示装置202はディスプレイなどを含み、コンピュータシステム200による処理結果を表示する。
通信I/F207はコンピュータシステム200を社内ネットワーク及びインターネット等に接続させるインタフェースである。これにより、コンピュータシステム200は通信I/F207を介してデータ通信を行うことができる。
HDD208はプログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えばコンピュータシステム200全体を制御する基本ソフトウェアであるOS(Operating System)や、OS上において各種機能を提供するアプリケーションソフトなどがある。HDD208は格納しているプログラム208pやデータを所定のファイルシステム及び/又はDB(データベース)により管理している。
外部I/F203は、外部装置とのインタフェースである。外部装置には、記録媒体203aなどがある。これにより、コンピュータシステム200は外部I/F203を介して記録媒体203aの読み取り及び/又は書き込みを行うことができる。記録媒体203aにはフレキシブルディスク、CD(Compact Disk)、DVD(Digital Versatile Disk)、SDメモリカード(SD Memory card)、USBメモリ(Universal Serial Bus memory)などがある。
ROM205は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)である。ROM205には、コンピュータシステム200の起動時に実行されるBIOS(Basic Input/Output System)、OS設定、及びネットワーク設定などのプログラムやデータが格納されている。RAM204は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。
CPU206は、ROM205やHDD208などの記憶装置からプログラムやデータをRAM204上に読み出し、処理を実行することで、コンピュータシステム200全体の制御や機能を実現する演算装置である。
なお、各サーバはクラウドコンピューティングに対応していてよいが、いわゆる単体の情報処理装置でもよい。クラウドコンピューティングとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。
<<端末装置>>
図6は端末装置30の一例のハードウェア構成図である。なお、図6の端末装置30はタブレット装置又はスマートフォン等が想定されている。端末装置30は、CPU601、ROM602、RAM603、EEPROM604、CMOSセンサ605、加速度・方位センサ606、メディアドライブ608を備えている。
CPU601は端末装置30の全体の動作を制御する。ROM602は基本入出力プログラムを記憶している。RAM603はCPU601のワークエリアとして使用される。EEPROM604はCPU601の制御にしたがってデータの読み出し又は書き込みを行う。CMOSセンサ605は、CPU601の制御にしたがって被写体を撮像し画像データを得る。加速度・方位センサ606は地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等である。
メディアドライブ608は、フラッシュメモリ等のメディア607に対するデータの読み出し又は書き込み(記憶)を制御する。メディアドライブ608は、既に記録されていたデータが読み出され又は新たにデータが書き込まれて記憶するメディア607を着脱自在な構成となっている。
なお、EEPROM604には、CPU601が実行するプログラム604pが記憶されている。プログラム604pは実施形態における各種処理を実行するためのアプリケーションソフトウェアやOS等である。プログラム604pはメディア607などに記憶された状態で配布されてもよいし、プログラム配信用のサーバから配信されてもよい。
また、CMOSセンサ605は光を電荷に変換して被写体の画像を電子化する電荷結合素子である。CMOSセンサ605は被写体を撮像することができるのであれば、例えばCCD(Charge Coupled Device)センサであってもよい。CMOSセンサ605はバーコードや二次元バーコードを読み取ることができる。
更に、端末装置30は、RFタグリーダ/ライタ622、アンテナI/F623、及び、振動アクチュエータ624を備える。RFタグリーダ/ライタ622は例えばNFC(Near Field Communication)などの規格にしたがって通信する。
振動アクチュエータ624は、端末装置30を振動させるモータである。例えば、着信やメールを受信すると振動することで閲覧者にその旨を知らせることができる。
更に、端末装置30は音声入力部609、音声出力部610、アンテナ611、通信部612、無線LAN通信部613、近距離無線通信用アンテナ614、近距離無線通信部615、ディスプレイ616、タッチパネル617及びバスライン619を備える。
音声入力部609は音声を音声信号に変換する。音声出力部610は音声信号を音声に変換する。通信部612はアンテナ611を利用して無線通信信号により最寄りの基地局装置と通信を行う。無線LAN通信部613はIEEE802.11規格に準拠する無線LAN通信を行う。
近距離無線通信部615は近距離無線通信用アンテナ614を利用して例えばBluetooth(登録商標)、又は、Bluetooth Low Energy(登録商標)の通信規格にしたがった通信装置である。
ディスプレイ616は、被写体の画像や各種アイコン等を表示する液晶や有機EL等である。タッチパネル617は、ディスプレイ616上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ616上におけるタッチ位置を検出する。バスライン619は上記各部を電気的に接続するためのアドレスバスやデータバス等である。
また、端末装置30は専用の電池618を備え、電池618又は商用電源のいずれによっても駆動され得る。なお、音声入力部609は音声を入力するマイクが含まれる。音声出力部610は音声を出力するスピーカが含まれている。
<全天球画像について>
図7〜図11を用いて全天球カメラ9で撮像された全天球画像6について説明する。図7は、全天球カメラ9の使用イメージ図である。全天球カメラ9は、図7に示されているように、ユーザが手に持ってユーザの周りの被写体を撮像する撮像装置である。全天球カメラ9は、2つの撮像素子の背面同士が対向させられた構造を有しており、それぞれユーザの周りの被写体を撮像することで、2つの半球画像を得る。
次に、図8及び図9を用いて、全天球カメラ9で撮像された画像から全天球画像6が作成されるまでの処理の概略を説明する。なお、図8(a)は全天球カメラ9で撮像された半球画像(前側)、図8(b)は全天球カメラ9で撮像された半球画像(後側)、図8(c)は正距円筒図法により表された画像(正距円筒射影画像)を示した図である。図9(a)は正距円筒射影画像で球を被う状態を示した概念図、図9(b)は全天球画像6を示した図である。
図8(a)に示されているように、全天球カメラ9によって得られた画像は、魚眼レンズによって湾曲した半球画像(前側)となる。また、図8(b)に示されているように、全天球カメラ9によって得られた画像は、魚眼レンズによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、全天球カメラ9によって合成され、図8(c)に示されているように、正距円筒射影画像が作成される。これが全天球画像である。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図9(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図9(b)に示されているような全天球画像6が表示される。このように、全天球画像6は、正距円筒射影画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2−Dimensions)及び3D(3−Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。全天球画像6は、静止画であっても動画であってもよい。
画像配信装置10が配信する広告データにはこの全天球画像6が含まれている。全天球画像6は、球面を覆うように貼り付けられて表示される画像であるため湾曲しており、人間が見ると違和感を持ってしまう。そこで、端末装置30は、全天球画像6の一部の所定領域Tを湾曲の少ない平面画像として表示することで、人間に違和感を与えないように表示する。所定領域Tは、三次元の仮想空間における座標(X,Y,Z)によって示される。一方、ディスプレイ616は二次元平面なので所定領域Tのままでは端末装置30が表示できない。そこで、3Dコンピュータグラフィックの技法を用いて三次元の物体を二次元平面に投影する透視投影変換により端末装置30は所定領域Tを得る。
図10は、閲覧者の視線を説明する図の一例である。全天球画像6は三次元の座標を有しているので、視線方向は三次元の座標又は緯度・経度などの球体の座標を特定する情報で特定される。本実施形態では、所定領域Tの中心点CPを視線方向とする。所定領域Tの中心点CPは球面座標系の(θ、φ)により特定される。θは経度、φは緯度を表す。
閲覧者は操作により視線方向を変えることができるが、仮想カメラICが平行移動しないと仮定すると、仮想カメラICは剛体としてロール(Z軸を中心とする回転)、ヨー(Y軸を中心とする回転)、及びピッチ(X軸を中心とする回転)の3つの回転が可能である。この3つの回転のいずれが生じても視線方向が変化する。例えば、閲覧者が全天球画像6を水平方向に回転させるとヨー角が変化し、上下方向に回転させるとピッチ角が変化し、ディスプレイ616の中心を軸に全天球画像6を回転させるとロール角が変化する。本実施形態では、閲覧者のWebページに対する操作が、視線方向(ロール角、ヨー角、ピッチ角)等に反映される。どのように反映されるかは表示プログラムに予め記述されているものとする。所定領域Tは拡大又は縮小も可能である。
閲覧者は広告枠7に対し上下左右にフリックすることで視線方向を変更する(画像データを回転させる)ことができる。
図11を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図11は、所定領域情報と所定領域Tの画像の関係の一例を示した図である。図11に示されているように、rHはHorizontal Radian(経度θ)、rVはVertical Radian(緯度φ)、αは画角(Angle)を示す。すなわち、撮像方向(θ,φ)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像6における所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図11では、一般的に以下の式(A)で示される三角関数が成り立つ。
Lf=tan(α/2) ・・・(A)
<3Dモデルを用いた投影画像の表示について>
続いて、3DCG画像について説明する。3DCG画像は閲覧者の操作で見え方が変わる(視点が変わる)ため、インタラクティブな広告を実現できる。
<3DCGについて>
3DCGとはコンピュータの演算によって三次元空間内の仮想的な立体物を2次元である平面上の情報に変換することで奥行き感(立体感)のある画像を作る手法である。3DCGは、モデリング、ワールド変換、ビュー変換、射影変換、ライティングなどのプロセスで作成される。なお、モデリングとワールド変換までは専用のソフトウェア上で作業され、ビュー変換、射影変換、ライティングは表示プログラムで実行される。
モデリングはローカル座標系で作成者がオブジェクトの形状を定義すること、例えばポリゴンで形状を作成することをいう。ワールド変換は描画対象の三次元空間を表すワールド座標系にオブジェクトの座標を変換する(平行移動と回転)ことをいう(ワールド座標系にオブジェクトを配置すること)。ビュー変換はワールド座標系で閲覧者の視点を定めることに相当し、カメラの座標、カメラの注視点及びカメラの上方向を設定し、オブジェクトを特定の方向から見るための設定を行う処理である。視点は閲覧者の操作により決定されてもよいし、自動的に変更することもできる。射影変換は三次元空間のオブジェクトを2次元の平面に投影することをいう。ライティングは光源の位置に応じて明暗を与える処理をいう。
図12は3Dモデルと射影変換を模式的に示す図である。図12(a)では、3Dモデル95に光軸を向けた仮想的なカメラ330が配置されている。図12(a)の3Dモデル95は車であるが一例に過ぎない。仮想的なカメラ330は3Dモデル95を中心に水平方向及び上下方向に360度、角度を変えることができる。閲覧者は任意の方向から3Dモデル95を閲覧できる。あるいは、仮想的なカメラ330は固定したままターンテーブル96上で3Dモデル95を回転させてもよい。
図12(b)は、仮想的なカメラ330に3Dモデルを射影変換する様子を模式的に示している。ポリゴンや三次元点群で作成された3Dモデル95が平面に投影されている。平面に投影された画像を投影画像という。仮想的なカメラ330の位置を変えると(ビュー変換)カメラの位置に応じて3Dモデル95を投影できる。仮想的なカメラ330の位置は3Dモデル95の周囲の360度の任意の位置に変更できるので、閲覧者は限られた広告枠7の範囲で様々な角度から3Dモデル95を閲覧できる。
図13は、視点を変えて表示された3Dモデル95の一例である。図13(a)〜図13(c)のように様々な角度から撮像された3Dモデル95の投影画像を、図13(d)〜(f)に示している。このような視点の異なる投影画像が表示パターンにしたがって、次々に広告枠7に表示される。また、閲覧者は自らの操作で広告枠7に表示された3Dモデル95を回転させ、1つの広告枠7で様々な角度から1つの3Dモデル95を閲覧することができる。
<Webページが使用する情報>
図14は、Webページが使用する情報を模式的に説明する図の一例である。図14(a)はパートナーサイトWebサーバ60が提供するWebページである。パートナーサイトWebサーバ60が提供するWebページは1つ以上の広告枠7を有している。また、端末装置30のブラウザは予めSSPクッキーとDSPクッキーを保持している。広告枠7にはSSP50のURL及び広告枠ID等が対応付けられている。端末装置30のブラウザ(後述の広告枠検出部36)はSSPクッキー、及びリクエスト内容をSSP50に送信する。また、広告枠7を落札したDSP20のURLを含むアクセス情報1と落札IDがSSP50から端末装置30に送信される。
図14(b)はアクセス情報1に基づく動作を説明する図である。端末装置30はDSP20のURLに基づいてDSP20に落札IDとDSPクッキーを送信する。DSP20は落札IDで広告リクエストを特定し、画像配信装置10から画像配信装置10のURLと広告機会IDを含むアクセス情報2を取得する。端末装置30はアクセス情報2と広告機会IDをDSP20から取得する。
図14(c)はアクセス情報2に基づく動作を説明する図である。端末装置30は画像配信装置10のURLに基づいて画像配信装置10に広告機会IDを送信する。画像配信装置10は広告機会IDで特定される広告リクエスト等に基づいて広告データを生成し、画像クッキー、広告枠ID及び表示パターンと共に端末装置30に送信する。このようにして、Webページの広告枠7に全天球画像6が表示される。
<機能について>
図15は端末装置30、広告主Webサーバ70、パートナーサイトWebサーバ60、画像配信装置10、SSP50及びDSP20の機能をブロック状に示す機能ブロック図の一例である。
<<広告主Webサーバ、パートナーサイトWebサーバ>>
広告主Webサーバ70とパートナーサイトWebサーバ60は、Webページ提供部71を有している。広告主Webサーバ70とパートナーサイトWebサーバ60が有するこれらの各機能は、HDD208からRAM204に展開されたプログラム208pをCPU206が実行することにより実現される機能又は手段である。
Webページ提供部71は、例えば一般的なHTTP通信を行い、端末装置30からのWebページの要求に対しWebページを構築して端末装置30に送信する。処理に必要であればアプリケーションサーバに処理を依頼し、処理結果をWebページに配置して送信する。
広告主Webサーバ70のWebページには広告主のクッキーとDSPクッキーが含まれている。広告主Webサーバ70はDSP20に広告の配信を依頼しているためである。これによりリターゲッティング広告等が可能になる。パートナーサイトWebサーバ60のWebページにはパートナーサイトのクッキーとSSPクッキーが含まれている。パートナーサイトWebサーバ60はSSP50に広告枠7の販売を依頼しているためである。
<<SSP>>
SSP50は、広告リクエスト部51、広告要求取得部52、アクセス情報送信部53、及び、落札部54を有している。SSP50が有するこれらの各機能は、HDD208からRAM204に展開されたプログラム208pをCPU206が実行することにより実現される機能又は手段である。
広告要求取得部52は、端末装置30が広告枠7に対応づけられた広告タグを実行することでSSPクッキーと共に要求する広告リクエストを取得する。広告要求取得部52はSSPクッキーが含まれる広告リクエストを広告リクエスト部51に送出する。
広告リクエスト部51は、DSP20に対し広告リクエストを送信する。広告リクエストには、SSPクッキー、パートナーサイトWebサーバ60のドメイン、広告枠ID、広告枠7サイズ、広告フォーマット、ブラウザ種類、OS種類等が含まれる。
落札部54はDSP20から入札を受け付け、基本的に最も高い入札金額のDSP20に広告枠7を販売するオークションを行う(広告主の製品やサービスによっては入札を受け付けない)。落札部54は落札IDを生成してDSP20に通知する。
アクセス情報送信部53は落札したDSP20に対し広告を要求するためのアクセス情報1を生成し落札IDと共に端末装置30に送信する。アクセス情報1にはDSP20のURL(IPアドレス)が含まれる。
<<DSP>>
DSP20は、リクエスト受付部21、入札判断部22、入札部23、広告要求受付部24、及び、画像依頼部25を有している。DSP20が有するこれらの各機能は、HDD208からRAM204に展開されたプログラム208pをCPU206が実行することにより実現される機能又は手段である。
また、記憶部29には、クッキー情報DB291と配信設定DB292が構築されている。記憶部29は、図5に示したHDD208又はRAM204により実現される。
表1はクッキー情報DB291に記憶される情報を模式的に示す。クッキー情報DB291はDSPクッキーとSSPクッキーを対応付けると共に、閲覧者が訪問した訪問ドメインが登録されている。DSPクッキーとSSPクッキーの対応付けはクッキーシンクと呼ばれる技術により可能である。また、訪問ドメインはDSP20がタグ(行動監視タグ)を貼り付けたWebサイトを閲覧者が訪問することで得られる。したがって、DSP20は、SSPクッキーからDSPクッキーを特定でき、更に、この閲覧者がどのようなWebサイトに興味を持っているかを判断できる。
表2は配信設定DB292に記憶される情報を模式的に示す。配信設定DB292には、広告主ID、広告対象属性(好ましい対象者の属性)、及び、非広告対象属性(好ましくない対象者の属性)が登録されている。広告主IDは広角画像を提供する提供元になる広告主を特定又は識別するための識別情報である。したがって、DSP20又は画像配信装置10は、広角画像の提供元に対し設定されている好ましい対象者の属性又は好ましくない対象者の属性を参照して、広角画像を送信するか否かを決定することができる。
なお、IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。以下のIDについても同様である。広告対象属性は広告主が広告を配信したい閲覧者の属性であり、非広告対象属性は広告主が広告を配信したくない閲覧者の属性である。DSP20はクッキー情報DB291等から判断される閲覧者の属性と配信設定DB292の情報を比較して閲覧者の属性を数値化し、入札金額を決定する。なお、入札金額の決定には時間帯、曜日、閲覧者の地域等、各種の情報が考慮されてよい。
(DSPの機能)
リクエスト受付部21はSSP50から広告リクエストを受けつける。リクエスト情報により端末装置30の広告枠ID等の基本的な情報が得られる。
入札判断部22はリクエスト受付部21が受けつけた広告リクエストをクッキー情報DB291と配信設定DB292を参照して評価することで入札金額を決定する(入札しない場合もある)。上記のように、SSPクッキーからDSPクッキーを特定し、DSPクッキーに対応付けて蓄積されている属性情報が、配信設定DB292に記憶された広告主の依頼とどの程度一致するかにより入札金額を決定する。
入札部23は、決定された入札金額でSSP50に入札する。落札できた場合は落札IDを取得し、広告リクエストと対応付けておく。
広告要求受付部24は、アクセス情報1に基づく端末装置30からの広告要求(落札ID、DSPクッキー)を取得する。広告要求受付部24は落札IDにより広告リクエストを特定する。DSPクッキーはなくてもよく、SSPクッキーとDSPクッキーが対応付けられていない場合に使用される。
画像依頼部25はDSPクッキー、広告主ID、及びリクエスト内容と共にアクセス情報2を画像配信装置10に対し要求する。広告主IDにより広告主が特定される。リクエスト内容の広告枠IDにより広告枠7が特定される。更に、閲覧者の属性を画像配信装置10に送信してもよい。これにより、画像配信装置10は閲覧者に適した全天球画像6を配信できる。
<<端末装置>>
端末装置30は、Webページ取得部31、Webページ解析部32、Webページ表示部33、操作受付部34、及びスクリプト実行部35を有している。端末装置30が有するこれらの各機能は、EEPROM604からRAM603に展開されたプログラム604pをCPU601が実行することにより実現される機能又は手段である。
操作受付部34は、端末装置30に対する各種の操作を受け付ける。具体的には、端末装置30が実行するブラウザに対する操作を受け付ける。操作受付部34はWebページに対する操作を受け付ける。スクリプトに基づく画像データへの操作は画像操作受付部43が受け付ける。
Webページ取得部31は、閲覧者の操作により又はスクリプトの動作により広告主Webサーバ70及びパートナーサイトWebサーバ60と通信して、広告主Webサーバ70及びパートナーサイトWebサーバ60からWebページを取得する。
Webページ解析部32は、画面情報に含まれるHTMLを先頭から順番に読み取りHTMLに含まれる文章や画像データの構造を解析する。また、CSSに記述されたHTMLの文章や画像データとの紐付けを検出して、HTMLに含まれる文章や画像データのスタイルを対応付ける。また、Webページ解析部32は、HTMLからscriptタグを検出してスクリプト言語で記述されているスクリプトを抽出する。Webページ解析部32はHTMLとCSSをWebページ表示部33に送出し、スクリプトをスクリプト実行部35に送出する。
Webページ表示部33はHTMLの先頭から解析が終わった順にWebページをディスプレイ616に表示していく。また、Webページに対する操作に応じてWebページを更新する。
スクリプト実行部35は、Webページ解析部32が抽出したスクリプトを実行する。スクリプトの具体的な内容はWebページによって様々である。本実施形態ではスクリプトとして、広告枠7に対応付けられた広告タグ、SSP50から取得するアクセス情報1、DSP20から取得するアクセス情報2、画像配信装置10から配信される広告データが検出される。スクリプト実行部35は、図6に示したCPU601がプログラム604pを実行すること等により実現される。また、スクリプト実行部35が有する各機能又は手段は、CPU601がスクリプトを実行することで実現される。
広告枠検出部36は、Webページ取得部31が取得した画面情報に含まれる広告枠7に対応付けられた広告タグを端末装置30が実行して実現される機能である。広告枠検出部36は広告枠7に対応づけられたURLに基づいてSSPクッキーと共に広告リクエストをSSP50に送信する。
アクセス情報取得部37は、SSP50からアクセス情報1を取得する。アクセス情報1はスクリプトで記述されている。広告要求部38は、アクセス情報1に含まれるURLに基づいてDSP20にアクセスし落札IDとDSPクッキーと共に広告を要求する。広告要求部38はこの要求に対しアクセス情報2と広告機会IDを取得する。アクセス情報2もスクリプトで記述されている。
広告取得部39はアクセス情報2に含まれる画像配信装置10のURLに基づき、広告機会IDを指定して、画像配信装置10に対し広告データを要求する。画像配信装置10は広告データを生成するので、広告取得部39は広告データを取得する。本実施形態の広告データは、コンテンツ(全天球画像6及び/又は3DCG画像)、表示パターン、表示プログラム及び操作履歴プログラムを含む。操作履歴プログラムは操作履歴を画像配信装置10に送信させる。表示プログラムは表示パターンで全天球画像6や3DCG画像を回転させ、全天球画像6又は3DCG画像への操作を全天球画像6又は3DCG画像の外観に反映させる。操作履歴プログラムと表示プログラムもスクリプト言語で記述されており、スクリプト実行部35により実行される。
広告表示部40は、画像配信装置10から取得した広告データを表示する。広告表示部40は主に表示プログラムで実現され、広告枠7に全天球画像6から生成された所定領域画像又は3DCG画像から生成された投影画像を表示し更に自動的に回転させたりする。
表示画像生成部44は画像配信装置10から取得した表示パターンで広告枠7に表示する画像(所定領域画像又は投影画像)をコンテンツから生成する。すなわち、全天球画像6を回転させたり、3DCG画像における仮想的なカメラ330の位置を次々に変更したりして、1つのコンテンツから広告枠7に表示する複数の表示画像(アニメーション)を生成する。広告表示部40は表示画像生成部44が生成した複数の表示画像を表示する。
画像操作受付部43はポインティングデバイス(ディスプレイ616がタッチパネルの場合は指、棒状部材又は専用ペンとタッチパネル、マウスが使用される場合はマウスポインタ、トラックボールが使用される場合はマウスポインタ)の座標が広告枠7に含まれる場合、Webページへの操作よりも優先して画像データへの操作を受け付ける。これにより、閲覧者が広告枠7の上でフリックしたりスワイプしたりした場合、Webページでなく画像データを変化させることができる。
画像配信装置10から広告データを取得することで端末装置30は画像配信装置10の画像クッキーを取得し記憶部49に記憶できる。広告取得部39が画像クッキーを画像配信装置10に送信することで、画像配信装置10ではDSPクッキーと画像クッキーを対応付けることができる。
操作履歴記録部41は、主に操作履歴プログラムにより実現され、全天球画像6又は3DCGに対する操作情報を操作履歴として記録する。操作履歴の詳細は画像配信装置10において説明する。操作履歴送信部42は、主に操作履歴プログラムにより実現され、広告枠7に表示された全天球画像6又は3DCGに対する操作履歴を画像クッキー及び画像ID(全天球画像6を識別する)と共に画像配信装置10に送信する。また、クリックされた場合は更に表示パターンと共にその旨を画像配信装置10に送信する。
<<画像配信装置>>
画像配信装置10は、画像情報応答部11、広告配信部12、注目点決定部13、操作履歴取得部14、コンテンツ受付部15、表示パターン生成部16、及び、制約部17を有している。画像配信装置10が有するこれらの各機能は、HDD208からRAM204に展開されたプログラム208pをCPU206が実行することにより実現される機能又は手段である。
また、画像配信装置10は、図5に示したHDD208又はRAM204により実現される記憶部19を有している。記憶部19には、配信履歴DB191、操作履歴DB192、クッキー対応DB193、広告画像DB194、パターンDB195及び表示プログラム196が構築されている。
表3は、操作履歴DB192に記憶される情報を模式的に示す。操作履歴DB192には各閲覧者が全天球画像6に対しどのような操作を行ったのかという履歴が記録されている。操作履歴DB192には画像ID、閲覧時刻、画像クッキー、閲覧画角1〜3の各項目が記録されている。画像IDは全天球画像6を特定するための情報である。画像クッキーは端末装置30を操作する閲覧者又は端末装置30の同一性を判別する情報になる(装置識別情報の一例)。閲覧画角1〜3は閲覧者が全天球画像6を閲覧した際の画角である。各閲覧画角1〜3には閲覧時間、拡大の有無、拡大した場合は拡大後の画角、及び、縮小の有無、が格納されている。このように、各画像ごとに閲覧者が興味を持ったと考えられる画角が記録される。閲覧画角1〜3は、閲覧者が全天球画像6を回転させずに静止した時間が所定時間(例えば1秒)以上の画角である。端末装置30の操作履歴記録部41は静止した時間が上位3つの画角を記録する。1つだけでもよいし4つ以上でもよい。同様に、操作履歴記録部41はそれぞれの閲覧画角1〜3で閲覧者が拡大又は縮小したか否かを記録する。画像配信装置10はこのような操作履歴を注目点Pとする場合がある。更に、画像IDに画像クッキーが対応付けられていればリターゲッティング広告が可能になる。操作履歴としてクリック時画角を記録してもよい。
表4は、広告画像DB194に記憶されている情報を模式的に示す。広告画像DB194には、広告の対象となる全天球画像6又は3DCGに関する情報が登録されている。広告画像DB194には、広告主ID、画像ID、優先度、及び、対象属性が対応付けて登録されている。DSP20により広告主が決定されるので、この広告主が配信したい画像のうち、閲覧者の属性と表4の対象属性の一致度又は優先度の少なくとも一方に基づいて配信する画像が決定される。配信時には全天球画像6の初期位置が指定される(表示パターンも配信された場合は表示パターンが優先される)。画像IDには全天球画像6又は3DCG画像の少なくとも一方が対応付けられている。なお、リターゲッティング広告の場合は、操作履歴DB192で画像クッキーに対応付けられた画像が配信される。
表5は、クッキー対応DB193に記憶されている情報を模式的に示す。クッキー対応DB193には、DSPクッキーと画像クッキーが対応付けられている。DSPクッキーはDSP20から通知され、画像クッキーは端末装置30から通知される。両者が対応付けられることでDSPクッキーだけで画像配信装置10が閲覧者を判別できるようになる。
表6は、パターンDB195に登録されている情報を模式的に示す。パターンDB195には全天球画像6又は3DCG画像の注目点Pを表示させる表示パターンが登録されている。画像IDにはパターンIDが対応付けられており、パターンIDには表示パターンが対応付けられている。表示パターンは1つ以上(好ましくは複数)のパラメータが時系列に設定されたものである。1つのパラメータは全天球画像6の中心点CP又は3DCG画像における仮想的なカメラ330の位置(すなわち閲覧者の視点)を意味する。各パラメータは制約部17により制約された遷移禁止領域81を含まないように決定されている。パラメータの詳細は後述される。クリック回数はこの表示パターンごとに閲覧者がクリックした回数である。つまり、画像配信装置10は同じ全天球画像6又は3DCG画像を同じ表示パターンで全天球画像6又は3DCG画像を複数の端末装置30に表示させ、端末装置30がクリックした旨を記録する。こうすることで、クリック率の低い表示パターンによる配信を徐々に回避できる。なお、クリック回数は閲覧者の属性(性別、年代、家族構成等)ごとに記録することが好適である。これにより、閲覧者の属性に対しクリック回数が多い表示パターンで表示できる。
表7は、配信履歴DB191に登録されている情報を模式的に示す。配信履歴DB191には画像クッキーに対応付けて配信された全天球画像6又は3DCG画像の画像IDと表示パターンが登録されている。画像配信装置10が広告データを送信する際に端末装置30に画像クッキーが登録されている場合、画像配信装置10はこの画像クッキーを端末装置30から取得できる。画像配信装置10は同一の閲覧者に同じ全天球画像6又は3DCG画像の配信を避けたり、同じ全天球画像6又は3DCG画像を同じ表示パターンで配信することを避けたりすることができる。逆に、リターゲッティング配信することもできる。
(画像配信装置の機能について)
画像情報応答部11はDSP20から取得したDSPクッキー、広告主ID、リクエスト内容(主に広告枠ID)に対し広告機会IDを付与し、アクセス情報2と共にDSP20に返送する。広告機会IDにより端末装置30の広告枠7ごとに広告の配信機会を特定できる。
広告配信部12は、端末装置30から広告機会IDと共に広告データを要求されると配信する全天球画像6と表示パターンを決定する。まず、DSP20から取得した広告主IDに対応付けられた全天球画像6又は3DCG画像を広告画像DB194から決定する。好ましくは閲覧者の属性を考慮する。閲覧者の属性はDSP20から通知されてもよいし、画像配信装置10が画像クッキーに対応付けて蓄積したものでもよい。次に、広告配信部12はパターンDB195を参照して全天球画像6の表示パターンを決定する。例えば、最もクリック回数の多いパターンを決定する、又は、クリック回数が閾値以上のパターンから任意に決定する。パターン決定時も閲覧者の属性が考慮されることが好ましい。
操作履歴取得部14は、端末装置30から画像クッキー及び画像IDと共に操作履歴を取得し、操作履歴DB192に設定する。なお、注目点を決定するための操作履歴とクリック回数を更新するための操作履歴(クリックしたこと)の2種類の操作履歴がある。
端末装置30の操作履歴記録部41を画像配信装置10が有していてもよい。操作履歴記録部41は時系列的な操作内容を必要とするので、通信帯域などによっては画像配信装置10が取得することが困難になるおそれがある。これに対し、端末装置30の操作履歴記録部41は最終的な操作履歴のみを画像配信装置10に送信すればよいので通信負荷を低減できる。
注目点決定部13は、全天球画像6の注目点Pを決定する。画像処理などで注目点を推定するなど各種の注目点Pの決定方法が考えられるが、詳細は後述する。注目点決定部13が決定した注目点Pは表示パターンに使用される。
コンテンツ受付部15は、画像配信装置10が配信するためのコンテンツを受け付ける(すなわち広告の入稿を受け付ける)。また、コンテンツ受付部15は担当者による遷移禁止領域81の設定を受け付ける。コンテンツ受付部15による画像の受け付け方法については図16を参照して説明する。
表示パターン生成部16は、この制約部17による制約の下、注目点決定部13が決定した注目点Pを通過する表示パターンを生成する。詳細は後述される。
<コンテンツの受け付け>
図16は、コンテンツ受付部15と画像登録端末90の機能をブロック状に示す機能ブロック図の一例である。コンテンツ受付部15は通信部151、画面情報作成部152、及び、画像記憶部153を有している。
通信部151は、画像登録端末90と例えばHTTP又はHTTPsの通信プロトコルを使って通信する。本実施例では、画像登録端末90からの要求に対しコンテンツを登録するためのコンテンツ登録画面の画面情報を画像登録端末90に送信する。また、画像登録端末90からコンテンツを受信する。
画面情報作成部152は、図16に示すコンテンツ登録画面の画面情報を作成する。画像記憶部153は通信部151が受信したコンテンツを広告画像DB194に記憶させる。
画像登録端末90は、例えば広告主や代理店の担当者(以下、単に担当者という)が操作する端末であり、図3に示した全天球画像6又は3DCG画像の少なくとも一方をコンテンツとして画像配信装置10に登録するために使用される。画像登録端末90は通信部91、表示制御部92、及び操作受付部93を有している。なお、画像登録端末90のハードウェア構成は図6と同様でよい。
通信部91は、コンテンツ登録画面の画面情報をコンテンツ受付部15から受信し、担当者が入力したコンテンツをコンテンツ受付部15に送信する。
表示制御部92は、通信部91が受信したコンテンツ登録画面の画面情報を画像登録端末90のディスプレイに表示する。操作受付部93はコンテンツ登録画面に対する担当者の操作(全天球画像6、3DCG,遷移禁止領域81等)を受け付ける。
図17は、画像登録端末90のディスプレイに表示されたコンテンツ登録画面220の一例を示す。図17(a)に示すように、コンテンツ登録画面220は作業エリア221、ファイル選択欄222、数値で設定欄223、キャンセルボタン224、及び、新規作成ボタン225を有している。
ファイル選択欄222は、担当者が全天球画像6又は3DCG画像のファイルを選択して設定するための欄である。ファイル選択欄222で選択された全天球画像6又は3DCG画像は作業エリア221に表示される。
作業エリア221に表示された全天球画像6は例えば正距円筒射影画像として表示される。担当者はマウスや指などのポインティングデバイスで遷移禁止領域81を設定できる。全天球画像6の遷移禁止領域81は視線方向の中心点CPが取らない又は取りにくい範囲が設定される。図17(a)では緯度の絶対値が所定値以上の領域が遷移禁止領域81として設定されている。担当者は任意の領域を遷移禁止領域81に設定できる。
図17(b)は3DCG画像が作業エリア221に表示されたコンテンツ登録画面220の一例を示す。作業エリア221には3DCG画像が表示されている。担当者はマウスや指などのポインティングデバイスで遷移禁止領域81を設定する。3DCG画像の遷移禁止領域81は球体上において仮想的なカメラ330が取らない又は取りにくい位置の範囲が設定される。図17(b)では緯度の絶対値が所定値以上の領域が遷移禁止領域81として設定されている。担当者は任意の領域を遷移禁止領域81に設定できる。
なお、本実施形態では便宜上、仮想的なカメラ330の光軸は球の中心を向いているとしているが、光軸の方向は任意の方向を設定できる。
また、数値で設定欄223には、視覚的に遷移禁止領域81を設定するのでなく、後述する数値で遷移禁止領域81を設定できる。担当者は、例えば、「|zt |<a」のように軸方向の範囲を数値で指定したり、後述する遷移軌道に関するパラメータ変化の速度、画角などの他のパラメータを設定したりする。数値の他、作業エリアにて、マウスやスタイラスペンなどにより、ユーザが遷移禁止領域を選択してもよい。
<注目点の決定>
続いて、いくつかの方法で注目点の決定方法を説明する。
<<特徴量から注目点を決定する方法>>
図18は、注目点決定部13が注目点を決定する手順を示すフローチャート図の一例である。ステップS11において、注目点決定部13は単位球と共通する中心を有する正多面体を定義した上で、各面の法線方向を視線方向として透視投影変換を行って部分画像を得る。図19(a)、全天球画像の投影面として正八面体を定義した例を示し、図19(b)は、全天球画像の投影面として正十二面体を定義した例を示す。
ステップS12では、注目点決定部13がステップS11で得た各部分画像から所定の特徴量を抽出する。入力画像を上記の方法で分割し、歪みの少ない部分画像から特徴量を算出するので、180度を超える広角画像をロバストに処理することが可能になる。特徴量として、色、エッジ、顕著性、物***置/ラベル、などを用いることができる。
続くステップS13では、注目点決定部13が、所定の回帰モデルを用いて、各部分画像から抽出した特徴量から入力画像の位置ごと(画素ごと)に重要度を算出する。詳細は割愛するが、位置ごとの重要度と特徴量を回帰により関数で表す。なお、予め訓練データを用いて出力(教師データ)である重要度gを適切な方法で決定しておき、特徴量と重要度gの関係を求めておく。
続くステップS14では、注目点決定部13が重要度の高い方向にユーザの注目点が存在するという設計思想の下、ステップS13で算出された重要度の分布に基づいて注目点の尤度分布を算出する。例えば、単位画像面上に視点を通過する領域Rを定義した上で、領域R内の各位置の重要度を加算した加算値を視点の注目領域尤度として算出することができる。
続くステップS15では、注目点決定部13が、注目領域尤度分布に基づいて注目点を算出する。本実施形態では、例えば、注目領域尤度の最尤値に対応する撮像方向に対応する位置を注目点として算出する。
このようにして、いくつかの注目点が算出できる。注目点決定部13は上位のN個の注目点のうち、予め決められた数の注目点、又は、閾値以上の注目点を特定する。そして、表示パターン生成部16に注目点を送出する。
<<人物を注目点に決定する>>
閲覧者の嗜好を考慮して注目点を決定することもできる。人が注目する被写体としては人物が考えられる。人物の検出方法としては、顔認識が知られている。顔認識にはディープラーニングを初めとする各種の機械学習を採用してもよいしパターンマッチングしてもよい。注目点決定部13は顔の中心を注目点として検出する。顔の数が多い場合は、距離が近い顔を1つと見なして顔の数を決まった数に低減してもよい。
<<笑顔を注目点に決定する>>
人が注目する被写体としては人の笑顔が考えられる。笑顔の検出方法としては、上記の顔認識に加え、予め保持されている笑顔のパターンを用いてパターンマッチングする公知の方法を利用できる。顔の数が多い場合は、笑顔のみを注目点としてもよい。また、顔の他、悲しみ、怒り、困惑などの顔を注目点に決定してもよい。
<<子供を注目点に決定する>>
大人の中に子供が存在する場合、人が子供に注目する場合がある。あるいは、この逆に大勢の子供の中に大人が存在する場合、人が大人に注目する場合がある。子供又は大人の検出方法としては、顔の位置を利用できる。上記の顔認識で特定される顔の位置が他の顔の位置より低い場合は子供であると推定され、顔認識で特定される顔の位置が他の顔の位置より高い場合は大人であると推定される。
<<任意の被写体を注目点に決定する>>
広告主が閲覧者に閲覧させたい注目点は広告主が把握していると考えられる。したがって、広告主が指定した被写体を注目点決定部13が検出して注目点とすることができる。例えば、自動車、家具、食品等、広告主の製品やサービスをパターン認識により検出して注目点とする。
<<操作履歴を利用する>>
全天球画像又は3DCG画像がクリックされた場合は、このクリックされた全天球画像の視線方向(座標)又は仮想的なカメラ330の位置を注目点としてもよい。
<表示パターンの生成>
以下では、図20〜図28を用いて遷移禁止領域81が考慮された表示パターンの生成方法を説明する。
図20は、表示パターン生成部16が表示パターンを生成する全体的な流れの一例を示すフローチャート図である。
ステップS101において、表示パターン生成部16が広告画像DB194から全天球画像又は3DCG画像を取得する。
ステップS102で、図18,図19にて説明したように、注目点決定部13が注目点(注目点を含んで広告枠に表示される領域を注目領域という)を決定する。なお、注目点の決定方法には非特許文献1などの手法を使ってもよい。これにより、全天球画像又は3DCG画像の各領域(最小単位は各画素)に対する注目度が求まる。
ステップS103では、制約部17が全天球画像の視線方向又は3DCG画像における仮想的なカメラ330の位置のパラメータに制約をかけた上で表示パターン生成部16が表示パターンを生成する。
図21は全天球画像の視線方向又は3DCG画像における仮想的なカメラ330の位置のパラメータを説明する図の一例である。全天球画像の視線方向又は3DCG画像における仮想的なカメラ330の位置のパラメータとは、カメラパラメータを時系列に並べたものであり、カメラパラメータとは、全天球画像6及び3DCG画像を仮想的に三次元空間に配置した時に撮像するカメラのパラメータ(位置・姿勢、光軸方向、焦点距離(画角)など)をいう。
図21(a)は、時刻t=1からt=Tまでの間、球340上を仮想的なカメラ330が移動する状況を示している。なお、球340の鉛直方向をZ方向とする。図21(a)では球340が全天球画像であることが想定されており、中心には3Dモデル95が配置されている。この場合、端末装置30は3Dモデル95の背景として全天球画像6を表示することができる。
図21(b)は図21(a)に示す状況におけるカメラパラメータを示す。カメラパラメータは、
カメラ投影中心(x,y,z)
光軸方向(u,v,w
光軸回転θ
水平画角φ
である。
tはt=1からt=Tまで取るので、全天球画像の視線方向又は3DCG画像における仮想的なカメラ330の位置のパラメータは図21(c)に示すように、カメラパラメータが時系列に並んだものとなる。図21(c)の1行(カメラパラメータ)が表6のパターンDB195における1パラメータである。
また、図22に示すように、全天球画像6を配置する球340の中心を仮想的なカメラ330の光軸が通るように設定することでパラメータ数を減らしてもよい。図22(a)、図22(b)のカメラパラメータは、
撮像方向(x,y,z)
カメラ中心変位d
光軸回転θ
水平画角φt
である。
球340の中心を仮想的なカメラ330の光軸が通るので、仮想的なカメラ330の位置は撮像方向とカメラ中心変位dtから求められる。したがって、光軸が不要な分、パラメータを減らすことができる。
制約部17はこのように定義されるカメラパラメータに対して制約をかける。例えば、図17(a)、図17(b)の遷移禁止領域81であれば、適当な閾値a∈[0 1]に対して
|zt | < a (t=1,2, …,T)
のように制約を表現することができる。すなわち、所定の軸に対して取り得る値を制約する。この制約は全天球画像の視線方向又は3DCG画像における仮想的なカメラ330の位置のzの絶対値がa未満となることを意味するので、図17(a)、図17(b)の遷移禁止領域81と合致する。仮想的なカメラ330の位置のパラメータは、制約部が制約した座標の範囲内に限定して、注目点が時系列に設定されたものである。
表示パターン生成部16はこのような制約の下、表示パターンを生成する。生成方法としては例えば、(1)制約付き生成、(2)制約緩和、(3)再パラメタライズ、の3つが考えられる。(1)の方法は、上記の注目点の探索時に探索範囲を制約条件内に限定することをいう。(2)の方法は、たとえば|zt |<a (t=1,2, …,T)の制約に対し、その制約から外れる領域の注目度を落とした上で(極端な例では0とする)、制約がないものとして表示パターンを生成する。上記の注目点の探索時に探索範囲の注目度に1より小さい値(例えば0)を乗じればよい。以上のようにして制約された注目点を所定の数だけ抽出してランダムに順番を設定すれば表示パターンが得られる。すなわち、仮想的なカメラ330の位置のパラメータは、座標の範囲の注目度を小さくした上で、注目度が大きい注目点が優先して時系列に設定されたものである。
(3)の方法は要素軌道を使ってパラメータを再パラメタライズする方法であり、詳細は図23〜図28で説明される。
図20に戻り、ステップS104では、表示パターン生成部16が以上で生成した表示パラメータをパターンDB195に記憶させる。なお、本実施形態では表示パターンとコンテンツが端末装置30に配信されるものとして説明するが、表示パターンとコンテンツから複数の表示画像を生成して端末装置30に配信してもよい。通信コストや通信帯域に支障がなければ、端末装置30の処理負荷を低減できる。なお、複数の表示画像は動画のように再生されるので、複数の表示画像を動画又はアニメーションと称することができる。なお、この場合、画像配信装置10が表示画像生成部44を有している。
<要素軌道を用いた制約方法>>
続いて、(3)再パラメタライズによる制約について説明する。図20〜図22では、制約部17が全天球画像の視線方向又は3DCG画像における仮想的なカメラ330の位置のパラメータに制約をかけた上で表示パターンを生成した。これに対し、要素軌道を用いて表示パターンを生成する方法がある。
例えば、説明の便宜上、全天球画像の視線方向又は3DCG画像における仮想的なカメラ330の位置を大円軌道(円軌道の中心が球の中心と一致)に限定するのであれば、適当な変数w1,w2,w3∈Rに対して、
w1・xt + w2・yt + w3・zt=0 かつ xt 2 + yt 2 + zt 2 − 1 = 0 (t=1,2,…,T) …(1)
という制約が設定される。
左辺は(w1,w2,w3)と(xt,yt, zt)の内積を意味しており、内積がゼロになることは直交を意味するため、球上の点(xt,yt, zt)が大円上にあることを表している。変数w1,w2,w3の設定により様々な大円を表現できる。右辺は直径1の球を表す。
一般的にはパラメータΘに対して、N個の関数gn:(n=1,2,…,N)とM個の関数hm:(m=1,2,…,M)を用いて、
g1(Θ) < 0 ∧…∧ gN(Θ) < 0 ∧ h1(Θ)= 0 ∧…∧ hM(Θ)=0 …(2)
という形式で制約を表現できる。なお、パラメータ空間は実数Rとする。
<<軌道要素の例>>
図23、図24は要素軌道の一例を示す。図23(a)は仮想的なカメラ330の位置の水平軌道を示し、図23(b)は全天球画像6の視線方向の水平軌道を示す。水平軌道は式(3)のように表すことができる。
w1・xt + w2・yt + w3・zt − u = 0 かつ xt 2 + yt 2 + zt 2 − 1 = 0 (t=1,2, …,T) …(3)
式(3)において、z軸が鉛直方向の場合、w1=w2=0と置くと、zt = u/w3の関係から図23(a)、図23(b)に示す水平軌道になる。
また、図24に示すように、任意の軸周りの軌道を設定することができる。図24(a)は仮想的なカメラ330の大円軌道97を示し、図24(b)は全天球画像6の視線方向の大円軌道98を示す。式(3)においてu=0と置けば、図24に示す大円軌道になる。したがって、式(3)は水平軌道、及び大円軌道の一般化式である。
また、図25(a)に示すように、水平回転軌道は任意の軸99に対して設定可能である。また、図25(b)に示すように、螺旋軌道を要素軌道としてもよい。図25(b)では、仮想的なカメラ330位置又は全天球画像6の視線方向が球340上を螺旋状に移動している。このような螺旋軌道は式(4)で表すことができる。
w1・xt + w2・yt + w3・zt −(u+vt)= 0 かつ xt 2 + yt 2 + zt 2 − 1 = 0 (t=1,2,…,T) …(4)
式(4)に示すように、制約に時間成分vtを組み込む。v=0と置けば式(3)と同じになる。vは軸方向への移動の速さのパラメータである。
<<要素軌道を用いた表示パターンの生成手順>>
以上のような要素軌道であれば、異なる視点を複雑な軌道で遷移することでスムーズさが失われるような不都合を抑制できる。
要素軌道に制約を反映させて表示パターンを生成する場合、図20のステップS103の処理内容が変わる。図26は、要素軌道を用いた表示パターンの生成時に、図20のステップS103で実行される手順を示すフローチャート図である。
ステップS201では、表示パターン生成部16が、要素軌道のパラメータ(w1,w2,w3,u,v)の具体値を生成する。例えば、要素軌道のパラメータの特定領域(ある範囲に限定する意図であり、コンピュータの処理能力などから決定してよい)における一様分布に基づきランダムに生成する。
ステップS202では、表示パターン生成部16がランダムに生成したパラメータで生成される要素軌道上の注目度の累積値を算出する。
図27は要素軌道上の注目度の累積値を説明する図である。要素軌道の選択法としては要素軌道上の注目度の累積値が極値を取るものを選択することができる。水平回転軌道であれば仰角をパラメータとして要素軌道を表現することができる。図は各仰角に対応する要素軌道上の累積注目度を算出した例である。この例では2つの極値が存在し、その極値を取る仰角の要素軌道が選択される。
また極値を使った選択法とは別の方法として、累積注目度を頻度と見なして仰角をクラスタリングしても良い。大円軌道の場合も回転軸の方向ベクトルをパラメータとして、上記と同様の議論を行うことができる。
図26に戻り、ステップS203では、表示パターン生成部16は、該累積注目度の値から、パラメータの採択を判断する。もし、これまでに探索して得た累積注目度よりも大きければ該パラメータを採択し、その累積注目度を記録する。
ステップS204では、終了条件(たとえば特定回数繰り返す等)を満たした場合は終了、そうでなければステップS201に戻る。以上で1つの要素軌道が求まる。表示パターン生成部16は要素軌道上の連続的な視点を有する前記表示パターンを生成する。
図26は、ランダム探索により要素軌道のパラメータを見つける方法であるが、これ以外の方法として、要素軌道のパラメータ空間をグリッド上に分割し、グリッド点に対して全探索する方法がある。その場合は、ステップS201で順次グリッド点を選択する。ステップS204で全グリッド点が選択済みであること、が終了条件になる。
また、他には焼きなまし法、遺伝的アルゴリズム、タブーサーチといったメタヒューリスティクスを用いた探索法を使ってもよい。この場合はステップS201で各メタヒューリスティクスのアルゴリズムにしたがってパラメータを生成し、ステップS203では各メタヒューリスティクスのアルゴリズムの基準にしたがってパラメータを採択する。焼きなまし法を使う場合は、ステップS201で前回繰り返しのパラメータの近くにランダムにパラメータを生成し、ステップS203では新しいパラメータが前回繰り返しのパラメータよりも累積注目度が高い場合に採択し、低い場合でも一定の確率で採択する。
なお、式(2)〜(4)の要素軌道で図26を実行した場合、要素軌道上でのパラメータ変化の速度について自由度が残されている。これは担当者が人手で設定する。また、式(2)〜(4)の要素軌道はいずれも仮想的なカメラ330の位置又は全天球画像6の視線方向を定めるだけで、画角などの他のパラメータにも自由度が残っている。これは担当者が人手で設定する、又は、注目点の決定方法と同様の方法により生成する。
<<複数の要素軌道を求める方法>>
図26は1つの要素軌道のパラメータを選択する例なので、2つ以上求める場合は、上記手法を乱数の種を変えて複数回実行し、複数の準最適解を得る方法を使用する。
また、別のアプローチとして、クラスタリング手法を用いる方法がある。クラスタリングを用いたアプローチの処理フローを図28に示し、以下、各ステップの内容を説明する。図28は、2つ以上の要素軌道を求める手順を示すフローチャート図である。
ステップS301では、制約部17が要素軌道のパラメータ空間を適当に離散化(各パラメータが取る値を1、2…など決まった値に制限する)して、各パラメータに対する注目度の累積値を求める。
ステップS302では、表示パターン生成部16が算出した累積注目度を要素軌道のパラメータに対する確率とみなして、要素軌道のパラメータを特定個数のクラスタに分割する。クラスタリングにはk−meansや、混合分布に対するEMアルゴリズム/変分ベイズ法など、一般的なクラスタリング手法を用いることができる。なお、上記の注目点の決定方法では「注目度」を確率とみなして「カメラパラメータ」をクラスタリングしたが、図28では「累積注目度」を確率とみなして「要素軌道のパラメータ」をクラスタリングする、という差異がある。
ステップS303では、表示パターン生成部16が、各クラスタの代表値(平均値、中央値、モードなど)を選択する。これによってクラスタの数だけ、要素軌道のパラメータを得ることができる。
ステップS304では、表示パターン生成部16が、得られた複数の要素軌道の遷移順序を決める。ひとつの方法としては、要素軌道のパラメータ空間に適当な順序関係(たとえば原点とのユークリッド距離の大小)を入れてソートすることで遷移順序を決める方法がある。また、別の方法としては、まずランダムに1つの要素軌道を選択し、次にそのパラメータにもっとも近い要素軌道を選択することを再帰的に行うことで順序を決める方法がある。
ステップS305では、表示パターン生成部16が、順序の決まった要素軌道間の遷移軌道を生成する。単純に要素軌道を接合すると接合点において一般には不連続となるので、要素軌道間を補間する。これは線形補間でもよいし、スプライン補間でもよい。線形補間の場合を具体的に示すと、i番目の要素軌道に対応する時刻tのアニメーションパラメータをΘi (t)と書けば、i番目とi+1番目の要素軌道を補間したアニメーションパラメータΘ´i (t)は次式で生成できる。なお、Tは全フレーム数である。
Θi,Θi+1の時間長が異なる場合は、要素をコピーするかリサイズして時間長が同じになるように揃える。例えばΘi(1)…Θi(10)とすると時間長は10、Θi+1(1)…Θi+1(20)とすると時間長は20なので、両者の時間長は異なっている。この場合、前者のアニメーションパラメータの各要素をコピーして合計で20の時間長とするか、又は、後者のアニメーションの要素を1つ置きに削除してリサイズする。
このようにして補間した表示パラメータを用いて、補間前の表示パラメータと合わせて(Θ1,Θ´1,Θ2,Θ´2,Θ3,…)のように並べることで連続的に変化するアニメーションを得ることができます。
以上によって、複数の要素軌道をベースとした表示パターンを生成できる。なお、図26の探索方法で複数の要素軌道を求めてから、ステップS304以降のステップを実行して表示パターンを生成してもよい。
<動作手順>
図29は、画像表示システム100が広告として表示される全天球画像6又は3DCG画像を配信する手順を説明するシーケンス図の一例である。
S1:まず、閲覧者はパートナーサイトWebサーバ60と接続するように端末装置30を操作する。端末装置30の操作受付部34は操作を受け付け、Webページ取得部31がWebページを取得する。
S2:端末装置30のWebページ解析部32はWebページを解析しHTML、CSS,スクリプトを抽出し、Webページ表示部33がHTMLとCSSに基づいてWebページを表示する。
S3:端末装置30の広告枠検出部36は広告枠7に対応付けられた広告タグ(スクリプト)を実行することで広告リクエストをSSP50に送信する。広告リクエストには、例えばSSPクッキー、パートナーサイトWebサーバ60のドメイン、広告枠ID、広告枠7サイズ、広告フォーマット、ブラウザ種類、OS種類等が含まれる。
S4:SSP50の広告要求取得部52は広告リクエストを取得し、広告リクエスト部51が広告リクエストを受け付ける。広告リクエスト部51はSSPクッキーを検出してDSP20に対し広告リクエストを通知して広告枠7を販売する。
S5:DSP20のリクエスト受付部21は広告リクエストを入札判断部22に送出する。DSP20の入札判断部22はクッキー情報DB291を参照してSSPクッキーからDSPクッキーを特定する。
S6:入札判断部22はDSPクッキーから属性を判断する。クッキー情報DB291の訪問ドメインを参照してもよいし、適宜、DSPクッキーで特定される閲覧者の属性情報を参照してもよい。
S7:入札判断部22は配信設定DB292を参照して広角画像又は3DCG画像の提供元に対し設定されている好ましい対象者の属性又は好ましくない対象者の属性に基づいて、この閲覧者に広角画像を送信するか否かを決定する。ここでは少なくとも1つの広告主について配信すると決定したものとする。
S8:入札判断部22は広告主の予算や属性の一致度等に応じて入札金額を決定する。
S9:DSP20の入札部23はSSP50に入札する。SSP50の落札部54は複数のDSP20からの入札に対し原則的に最も高い入札金額を申し入れたDSP20を落札者に決定する。
S10:ここでは図示するDSP20が落札したものとする。SSP50は落札IDをDSP20に通知する。
S11:SSP50のアクセス情報送信部53は落札IDと共にアクセス情報1を端末装置30に送信する。
S12:端末装置30の広告要求部38はアクセス情報1を実行することで落札IDと共に広告要求をDSP20に送信する。
S13:DSP20の広告要求受付部24は落札IDにより広告リクエストを特定する。画像依頼部25は広告主ID、DSPクッキー、及び、広告リクエストと共に画像配信装置10に画像を要求する。
S14:画像配信装置10の画像情報応答部11は画像要求を受信すると広告リクエストを特定するための広告機会IDを生成する。
S15:画像情報応答部11は広告機会IDと対応付けられたアクセス情報2をDSP20に送信する。
S16:DSP20の画像依頼部25はアクセス情報2を受信して、広告要求受付部24が端末装置30に送信する。
S17:端末装置30の広告取得部39はアクセス情報2に含まれる画像配信装置10のURLに基づいて広告要求(広告機会ID)を送信する。端末装置30が画像クッキーを保持している場合は画像クッキーを送信することができる。
S18:画像配信装置10の広告配信部12は広告機会IDにより画像要求を特定する。
S19:広告配信部12はDSPクッキーから属性を判断したり、画像クッキーから属性を判断したりする。
S20:広告配信部12は広告主IDと属性に基づき全天球画像6を特定する。すなわち、広告画像DB194を参照し全天球画像6又は3DCG画像に対し設定されている配信の対象者の属性又は優先度に基づいて送信する全天球画像6又は3DCG画像を決定する。表示パターンはクリック回数が閾値より高いものであるが、全天球画像6又は3DCG画像の配信数が少ない間は不作為に選択する。
S21:広告配信部12は全天球画像6又は3DCG画像(両方の場合もある)、初期位置、表示パターン、画像ID、画像クッキー、及び、広告枠IDを含む広告データを端末装置30に送信する。全天球画像6又は3DCG画像には広告主Webサーバ70のURLが対応付けられている。また、画像配信装置10が複数の表示画像(アニメーション)を作成する場合、全天球画像6又は3DCG画像でなく複数の表示画像が配信される。
S22:端末装置30の広告取得部39は広告データを取得し、広告表示部40が広告枠7に全天球画像6又は3DCG画像を表示する。閲覧者が広告枠7を押下(クリック又はタップ)すると操作受付部34が受け付け、広告主Webサーバ70のURLに基づいてWebページ取得部31が広告主Webサーバ70と通信を開始する。
<端末装置の動作>
図30は広告データを受信した端末装置30の動作を説明するフローチャート図の一例である。図30(a)は、端末装置30が複数の表示画像を作成する場合の動作手順であり、図30(b)は画像配信装置10が複数の表示画像を作成する場合の動作手順である。
ステップS401では、端末装置30の広告取得部39が全天球画像又は3DCG画像(両方の場合もある)と表示パターンを受信する。
ステップS402では、表示画像生成部44は表示パターンに含まれる時系列のパラメータを順番に取得する。
ステップS403では、表示画像生成部44はパラメータにしたがって所定領域画像又は投影画像を生成し、広告表示部40は所定領域画像又は投影画像を広告枠7に表示する。
ステップS404では、表示画像生成部44は再生が終了したか否かを判断する。再生が終了したか否かの判断とは表示パターンを決まった回数だけ繰り返したか否かを判断することをいう。再生終了まで処理はステップS402に戻り、再生が終了すると広告表示部40は所定領域画像又は投影画像は停止して処理が終了する。
画像配信装置10が複数の表示画像を作成する場合、ステップS501では、端末装置30の広告取得部39が全天球画像又は3DCG画像と表示パターンから生成された複数の表示画像を受信する。
ステップS502では、広告表示部40は複数の表示画像を動画(又はアニメーション)のように再生する。最後まで再生すると再生を終了する。
<広告データの配信形態の補足>
本実施形態では第三者配信という仕組みで広告が配信されたが、広告は最終的に端末装置30が表示するWebページに表示されればよい。図31は広告データが配信されるいくつかの形態を示す。
図31(a)ではパートナーサイトWebサーバ60が配信するWebページに広告データが含まれる状態でWebページが送信されている。この場合、広告主はパートナーサイトWebサーバ60に予め画像データを入稿している。
図31(b)では広告配信サーバ80が広告データを配信している。パートナーサイトWebサーバ60が広告を載せたいWebページを広告配信サーバ80に登録する。これにより、広告配信サーバ80はアドタグを出力するので、パートナーサイトWebサーバ60は広告を載せたいWebページにアドタグを貼り付ける。また、広告主は広告データを広告配信サーバ80に入稿しておく。
閲覧者がパートナーサイトWebサーバ60にアクセスをすると、アドタグにより広告配信サーバ80を呼び出す。広告配信サーバ80は各広告主から入稿されたどの広告を配信するか判断し、広告データを端末装置30に送信する。
図31(c)は本実施形態で説明した態様における広告データの配信例である。本実施形態で説明したように、画像配信装置10が広告データを配信してもよいし、DSP20が配信してもよい。広告主は広告データをDSP20に入稿しておけばよい。また、図31(c)の構成では、DSP20又は画像配信装置10が広告配信サーバ80となる。
また、画像データの好適例として広告枠7に表示される画像データを説明したが、端末装置30に配信され閲覧者の操作で変化する(インタラクティブ性がある)画像データであれば広告に限られず本実施形態を好適に適用できる。
<まとめ>
以上説明したように、本実施形態の画像表示システムは、このように視点を制約することにより、視点が不自然に遷移することを防ぐことができる。例えば、コンテンツを真上から見下ろしたり、真下から見上げたりする視点に遷移することを抑制できる。また、要素軌道を設定した上で視点を制約することで異なる視線方向を複雑な軌道で遷移することを抑制できる。したがって、適切な視点でコンテンツを表示することができ、広告効果を高めやすくなる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、仮想的なカメラの位置は球体に限らず、楕円や直方体等でもよい。
また、本実施形態では、広告枠7に全天球画像6が表示される例を説明したが、全天球画像6は広角な画像であればよい。すなわち、広告枠7には入りきらない画角を有し、閲覧者の操作で見られる範囲が変わる画像データであればよい。また、Webページに表示される画像は広告用の画像である必要はなく、閲覧されうる画像データであればよい。
また、全天球画像6を表示する端末装置30のアプリケーションはブラウザソフトに限られず、任意のアプリケーションソフトウェアが画面に全天球画像6や3DCG画像を表示する際にも本実施形態を適用できる。
本実施形態では端末装置30がDSP20にアクセスし、次に、画像配信装置10にアクセスして広告データを取得している。しかし、DSP20が画像配信装置10から直接、広告データを取得して端末装置30に送信してもよい。端末装置30はDSP20にアクセスするだけで広告データを取得できるため、広告が表示されるまでの時間を短縮できる。また、DSP20と画像配信装置10が一体に構成されており、DSP20が広告データ(全天球画像)を端末装置30に配信してもよい。
また、本実施形態で説明されたSSP50,DSP20及び画像配信装置10が連携する広告の配信方法は一例に過ぎず、端末装置30が広告を表示するまでのプロセスを制限する意図はない。例えば、単純なプロセスとして、パートナーサイトWebサーバ60が広告主からの広告データを預かっておき、端末装置30に配信してもよい。この場合、SSP50、DSP20及び画像配信装置10はなくてよい。
また、全天球画像6は2つの画像が張り合わされる方法で作成される場合に限られず、例えば、撮像方向を少しずつ移動しながら撮像した画像データの重複部分を重ね合わせて作成してもよい。すなわち、全天球画像6の作成方法は制限されない。
また、以上の実施例で示した図13などの構成例は、画像表示システム100の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像表示システム100は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
7 広告枠
10 画像配信装置
20 DSP
30 端末装置
40 広告表示部
50 SSP
60 パートナーサイトWebサーバ
70 広告主Webサーバ
100 画像表示システム
特開2008−192115号公報
C.H. Lee, A. Varshney, D.W. Jacobs, "Mesh saliency," ACM transactions on graphics (TOG), Vol. 24. No. 3. 2005.

Claims (11)

  1. 画像を配信する画像配信装置から端末装置がコンテンツを受信する画像表示システムであって、
    前記画像配信装置は、
    1つ以上のコンテンツを異なる視点で表示する表示パターンを生成する表示パターン生成部と、
    前記視点を制約する制約部と、
    前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を前記端末装置に配信する配信部と、を有し、
    前記端末装置は、
    前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を取得する取得部と、
    前記取得部が取得した前記コンテンツを前記表示パターンで視点を変えて表示するか、又は、前記表示パターンに基づいて生成された前記複数の表示画像を表示する表示部と、
    を有することを特徴とする画像表示システム。
  2. 前記制約部は、前記コンテンツを閲覧するための視点を表す座標において特定の領域への前記視点の遷移を禁止又は制限することを特徴とする請求項1に記載の画像表示システム。
  3. 前記制約部は、前記視点を表す仮想的なカメラの位置又は前記コンテンツに対する視線方向のうち、前記視点を表す座標の所定の軸に対して取り得る値を制約することを特徴とする請求項1又は2に記載の画像表示システム。
  4. 前記コンテンツの注目点を決定する注目点決定部を有し、
    前記表示パターン生成部は、前記注目点決定部が決定した複数の前記注目点のうち、前記制約部が制約した座標の範囲内に限定して、前記注目点を時系列に設定することで前記表示パターンを生成することを特徴とする請求項3に記載の画像表示システム。
  5. 前記コンテンツの注目点を決定する注目点決定部を有し、
    前記表示パターン生成部は、前記注目点決定部が決定した複数の前記注目点のうち、前記制約部による制約から外れる座標の範囲の注目度を小さくした上で、注目度が大きい注目点を優先して時系列に設定することで前記表示パターンを生成することを特徴とする請求項3に記載の画像表示システム。
  6. 前記表示パターン生成部は、前記コンテンツの周囲を回転する要素軌道が通過する注目点の注目度に基づいて、前記要素軌道を視点とする前記表示パターンを生成することを特徴とする請求項1又は2に記載の画像表示システム。
  7. 前記コンテンツの注目点を決定する注目点決定部を有し、
    前記表示パターン生成部は、前記要素軌道が通過する前記注目点決定部が決定した注目点の前記注目度を累積し、累積した前記注目度が最も高い前記要素軌道を決定し、
    前記要素軌道を視点とする前記表示パターンを生成することを特徴とする請求項6に記載の画像表示システム。
  8. 前記表示パターン生成部は、前記要素軌道のパラメータ空間を離散化して、各パラメータに対する前記注目度の累積値を求め、前記注目度の累積値を確率と見なして、クラスタリングを行い、各クラスタの代表値を前記要素軌道のパラメータに決定し、
    決定した前記要素軌道を視点とする前記表示パターンを生成することを特徴とする請求項6に記載の画像表示システム。
  9. 前記表示パターン生成部は、前記要素軌道のパラメータを補間した前記表示パターンを生成することを特徴とする請求項8に記載の画像表示システム。
  10. 画像を配信する画像配信装置から端末装置がコンテンツを受信する画像表示システムが行う画像配信方法であって、
    前記画像配信装置は、
    表示パターン生成部が、1つ以上のコンテンツを異なる視点で表示する表示パターンを生成するステップと、
    制約部が、前記視点を制約するステップと、
    配信部が、前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を前記端末装置に配信するステップと、を有し、
    前記端末装置は、
    取得部が、前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を取得するステップと、
    表示部が、前記取得部が取得した前記コンテンツを前記表示パターンで視点を変えて表示するか、又は、前記表示パターンに基づいて生成された前記複数の表示画像を表示するステップと、
    を有することを特徴とする画像配信方法。
  11. 端末装置に画像を配信する画像配信装置を
    1つ以上のコンテンツを異なる視点で表示する表示パターンを生成する表示パターン生成部と、
    前記視点を制約する制約部と、
    前記表示パターンと前記コンテンツ、又は、前記表示パターンに基づいて生成された複数の表示画像を前記端末装置に配信する配信部、
    として機能させるためのプログラム。
JP2019050320A 2019-03-18 2019-03-18 画像表示システム、画像配信方法、プログラム Pending JP2020154457A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019050320A JP2020154457A (ja) 2019-03-18 2019-03-18 画像表示システム、画像配信方法、プログラム
PCT/JP2020/009701 WO2020189341A1 (en) 2019-03-18 2020-03-06 Image display system, image distribution method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019050320A JP2020154457A (ja) 2019-03-18 2019-03-18 画像表示システム、画像配信方法、プログラム

Publications (1)

Publication Number Publication Date
JP2020154457A true JP2020154457A (ja) 2020-09-24

Family

ID=69904140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019050320A Pending JP2020154457A (ja) 2019-03-18 2019-03-18 画像表示システム、画像配信方法、プログラム

Country Status (2)

Country Link
JP (1) JP2020154457A (ja)
WO (1) WO2020189341A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070294A1 (ja) * 2022-09-29 2024-04-04 株式会社日立システムズ コンテンツ補正装置及びコンテンツ補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5215572B2 (ja) 2007-01-31 2013-06-19 ヤフー株式会社 インターネット動画向けのコンテンツマッチ広告技術
JP6539253B2 (ja) * 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
US10701263B2 (en) * 2017-07-18 2020-06-30 Ricoh Company, Ltd. Browsing system, image distribution apparatus, and image distribution method
JP7069970B2 (ja) * 2017-07-18 2022-05-18 株式会社リコー 閲覧システム、画像配信装置、画像配信方法、プログラム
JP6846687B2 (ja) 2017-09-12 2021-03-24 パナソニックIpマネジメント株式会社 半導体装置およびその製造方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070294A1 (ja) * 2022-09-29 2024-04-04 株式会社日立システムズ コンテンツ補正装置及びコンテンツ補正方法

Also Published As

Publication number Publication date
WO2020189341A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US11140324B2 (en) Method of displaying wide-angle image, image display system, and information processing apparatus
US10140620B2 (en) Mobile device system and method providing combined delivery system using 3D geo-target location-based mobile commerce searching/purchases, discounts/coupons products, goods, and services, or service providers-geomapping-company/local and socially-conscious information/social networking (“PS-GM-C/LandSC/I-SN”)
US8494215B2 (en) Augmenting a field of view in connection with vision-tracking
US10701263B2 (en) Browsing system, image distribution apparatus, and image distribution method
US10877649B2 (en) Browsing system, browsing method, and information processing apparatus
JP6235014B2 (ja) 文書内の3次元オブジェクトの閲覧
CN102426608A (zh) 使用上下文信息来注释街道视图图像的技术
JP7069970B2 (ja) 閲覧システム、画像配信装置、画像配信方法、プログラム
JP5600148B2 (ja) 映像配信装置、映像配信方法及び映像配信プログラム
KR102198583B1 (ko) Vr 쇼핑몰 운영관리 시스템 및 그 구동방법
EP4099276A1 (en) Systems and methods for supplementing digital media with three-dimensional (3d) models
US11432046B1 (en) Interactive, personalized objects in content creator&#39;s media with e-commerce link associated therewith
EP3864605A1 (en) Method and system for automated real estate information and offers
JP7063264B2 (ja) 情報処理システム、記録媒体、情報処理方法、およびプログラム
WO2020189341A1 (en) Image display system, image distribution method, and program
JP6844420B2 (ja) 閲覧システム、プログラム
JP2021056852A (ja) プログラム、情報処理装置、表示方法
JP6891667B2 (ja) 閲覧システム、プログラム
US10991342B2 (en) Terminal apparatus, system, and method of displaying image
KR102443016B1 (ko) 증강 기술을 이용하여 광고를 구현하는 장치 및 방법
JP2021052224A (ja) プログラム、情報処理装置、表示方法
JP2020144821A (ja) 画像表示システム、画像表示方法、プログラム
JP2020149364A (ja) 画像表示システム、画像表示方法、プログラム
JP7031168B2 (ja) 閲覧システム、情報処理装置、画像配信方法、プログラム
JP2020126368A (ja) プログラム、閲覧システム、端末装置、表示方法、情報処理装置