JP2022042249A - Program, information processing device and information processing method - Google Patents
Program, information processing device and information processing method Download PDFInfo
- Publication number
- JP2022042249A JP2022042249A JP2020147585A JP2020147585A JP2022042249A JP 2022042249 A JP2022042249 A JP 2022042249A JP 2020147585 A JP2020147585 A JP 2020147585A JP 2020147585 A JP2020147585 A JP 2020147585A JP 2022042249 A JP2022042249 A JP 2022042249A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distribution image
- cloud
- time
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
特許法第３０条第２項適用申請有り 別紙商談先リストの通り公開
本開示は、プログラム、情報処理装置及び情報処理方法に関する。 The present disclosure relates to programs, information processing devices and information processing methods.
近年、ＡＲ（Augmented Reality ）システムを用いた商品の開発が行われている。ＡＲシステムでは、スマートフォン、タブレット端末、携帯ゲーム機等のようにカメラ及び表示部を有する情報機器に、ＡＲマーカを認識するためのアプリケーションプログラムをインストールしておく。このような情報機器を用いて、ＡＲマーカが付された被写体を撮影すると、情報機器がＡＲマーカを認識し、認識したＡＲマーカに応じたコンテンツを、撮影画像の上に重ねて表示する。これにより、ユーザは、撮影対象の被写体にコンテンツが重畳された画像を表示部にて見ることができる。特許文献１には、地球儀を撮影し、撮影した画像中の地球儀の上に仮想シーンを重ねて表示するデバイスが開示されている。
In recent years, products using an AR (Augmented Reality) system have been developed. In the AR system, an application program for recognizing an AR marker is installed in an information device having a camera and a display unit such as a smartphone, a tablet terminal, a portable game machine, or the like. When a subject with an AR marker is photographed using such an information device, the information device recognizes the AR marker and displays the content corresponding to the recognized AR marker superimposed on the captured image. As a result, the user can see the image on which the content is superimposed on the subject to be photographed on the display unit.
従来の技術では、地球儀等の被写体の撮影画像に重ねて表示されるコンテンツは、予め登録されているものに限定されるという問題がある。 The conventional technique has a problem that the content displayed overlaid on the captured image of a subject such as a globe is limited to the content registered in advance.
本開示は、このような事情によりなされたものであって、その目的とするところは、時々刻々と変化する地球の状態に応じたコンテンツを撮影画像に重ねて表示することが可能なプログラム等を提供することにある。 The present disclosure has been made due to such circumstances, and the purpose of the present disclosure is to provide a program or the like capable of superimposing and displaying contents according to the ever-changing state of the earth on a photographed image. To provide.
本開示の一態様に係るプログラムは、世界の雲分布を正距円筒図法で示す雲分布画像の時系列データをダウンロードし、世界の雨量分布を正距円筒図法で示す雨量分布画像の時系列データをダウンロードし、世界の気温分布を正距円筒図法で示す気温分布画像の時系列データをダウンロードし、雲分布画像、雨量分布画像、又は気温分布画像のいずれかひとつを選択するための雲画像アイコン、雨量画像アイコン、又は気温画像アイコンを選択可能に表示し、カメラから地球儀の撮影画像を取得し、前記雲画像アイコンが選択された場合に、正距円筒図法の各雲分布画像を、取得した前記撮影画像中の地球儀全体を覆い、かつ、前記地球儀上に描かれた画像に合致するように補正しながら、時系列で連続する補正後の雲分布画像を連続再生する処理をコンピュータに実行させる。 The program according to one aspect of the present disclosure downloads time-series data of a cloud distribution image showing the world cloud distribution in the regular-distance cylindrical projection, and time-series data of the rainfall distribution image showing the world rainfall distribution in the regular-distance cylindrical projection. Download, download the time series data of the temperature distribution image showing the world temperature distribution in the regular distance cylindrical projection, and select the cloud image icon to select one of the cloud distribution image, the rainfall distribution image, or the temperature distribution image. , Rain amount image icon, or temperature image icon can be displayed selectably, the photographed image of the globe is acquired from the camera, and when the cloud image icon is selected, each cloud distribution image of the regular distance cylindrical projection is acquired. Causes the computer to continuously reproduce the corrected cloud distribution image in chronological order while covering the entire globe in the captured image and correcting it so as to match the image drawn on the globe. ..
本開示の一態様によれば、撮影画像に重ねて表示されるコンテンツとして、時々刻々と変化する地球の状態に応じたコンテンツを用いることができる。 According to one aspect of the present disclosure, as the content to be displayed superimposed on the captured image, the content corresponding to the ever-changing state of the earth can be used.
以下に、本開示のプログラム、情報処理装置及び情報処理方法について、その実施形態を示す図面に基づいて詳述する。 Hereinafter, the program, the information processing apparatus, and the information processing method of the present disclosure will be described in detail with reference to the drawings showing the embodiments thereof.
（実施形態１）
ＡＲマーカを表面に有する球体であるアースボール（地球儀）を被写体として撮影するＡＲシステムについて説明する。図１はＡＲシステムの構成例を示す模式図である。本実施形態のＡＲシステムは、サーバ１０、ユーザ端末２０、及びアースボール３０を含み、サーバ１０及びユーザ端末２０は、インターネット等のネットワークＮに接続可能であり、ネットワークＮを介して情報の送受信を行う。また本実施形態のＡＲシステムは、ネットワークＮ経由で気象情報を公開しているウェブサーバ４０（以下、気象サーバ４０と呼ぶ）を含み、サーバ１０はネットワークＮ経由で気象サーバ４０から気象情報を取得する。気象情報は、例えばカスタムウェザー社が提供している地球上の雲の状況を示す雲分布画像、地球上の各地の気温を示す気温分布画像、及び、例えばＪＡＸＡ地球観測研究センター（Earth Observation Research Center：ＥＯＲＣ）が提供している地球上での降水状況を示す雨量分布画像（衛生全球降水マップ：ＧＳＭａＰ）等を用いることができる。よって、気象サーバ４０は、例えばカスタムウェザー社及びＪＡＸＡ地球観測研究センターが管理しているウェブサーバを含む。気象情報及び気象サーバ４０はこれらに限定されない。
(Embodiment 1)
An AR system that shoots an earth ball (globe), which is a sphere having an AR marker on its surface, as a subject will be described. FIG. 1 is a schematic diagram showing a configuration example of an AR system. The AR system of the present embodiment includes a
サーバ１０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ又はパーソナルコンピュータ等である。サーバ１０は、複数台設けられていてもよいし、１台のサーバ装置内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。サーバ１０は、気象サーバ４０から気象情報を取得する処理、取得した気象情報から提供用の気象情報を生成する処理、ユーザ端末２０からの要求に応じて気象情報を提供する処理等、種々の情報処理を行う。気象サーバ４０は一般的なウェブサーバであるので、詳細については説明を省略する。なお、気象サーバ４０は、公開対象のデータ（気象情報）を記憶しており、ネットワークＮ経由で他の装置からの要求を受け付けた場合に、要求されたデータをネットワークＮ経由で提供する処理を行う。
The
ユーザ端末２０は、アースボール３０を撮影してＡＲシステムを利用するユーザの端末装置である。ユーザ端末２０は、種々の情報処理及び情報の送受信が可能な情報処理装置であり、例えばスマートフォン、携帯電話、タブレット端末、パーソナルコンピュータ、ゲーム機等である。ユーザ端末２０は、可搬型の機器であれば操作が容易である。ユーザ端末２０は、サーバ１０から気象情報を取得する処理、アースボール３０を撮影する処理、撮影画像に気象情報を重畳させて表示する処理等、種々の情報処理を行う。
The
アースボール３０は例えば樹脂製の地球儀であるが、これに限定されない。アースボール３０の表面には地球上の地図が印刷（描画）されている。アースボール３０に印刷されている地図は、陸地を標高の高低に応じた色で表した地勢型の大陸図３１（地形図）と、海洋を水深の深浅に応じた色で表した海洋図３２（海図）とを含む。よって、アースボール３０は、地図中の河川、湖沼、平野、山脈、沙漠等が地形毎に色分けされており、地図中の海洋が水深毎に色分けされている。なお、図１に示すように、アースボール３０には、地図中の大陸及び海洋の名称、国境線、各国の国名、各都市の都市名等は印刷されていない。一方、アースボール３０には、海洋図３２上の適宜位置に雲の形を有する雲マーク３３（ダミーの雲画像）が印刷されている。雲マーク３３は、巻雲（すじ雲）、巻積雲（うろこ雲、いわし雲）、高積雲（ひつじ雲）等を模した形状に構成されているが、これに限定されない。このような構成のアースボール３０では、大陸図３１及び海洋図３２と、海洋図３２上に描画された雲マーク３３とがＡＲマーカとして使用される。
The
図２は、サーバ１０及びユーザ端末２０の構成例を示すブロック図である。サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、サーバ１０が行う種々の情報処理及び制御処理等を行う。
FIG. 2 is a block diagram showing a configuration example of the
記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。また記憶部１２は、後述する気象コンテンツＤＢ（データベース）１２ａを記憶する。気象コンテンツＤＢ１２ａは、サーバ１０に接続された他の記憶装置に記憶されてもよく、サーバ１０が通信可能な他の記憶装置に記憶されてもよい。
The
通信部１３は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して他の装置との間で情報の送受信を行う。入力部１４は、サーバ１０を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。
The
読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。
The
ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、入力部２４、表示部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。ユーザ端末２０の制御部２１、記憶部２２、通信部２３、入力部２４及び表示部２５のそれぞれは、サーバ１０の制御部１１、記憶部１２、通信部１３、入力部１４及び表示部１５と同様の構成であるので詳細な説明は省略する。なお、ユーザ端末２０の記憶部２２は、制御部２１が実行する制御プログラム２２Ｐに加え、アースボール３０を撮影した場合に、撮影画像中のアースボール３０にＡＲ画像を重畳させて表示するためのＡＲアプリケーションプログラム２２ＡＰ（以下ではＡＲアプリ２２ＡＰと呼ぶ）を記憶する。ＡＲアプリ２２ＡＰは、制御部２１が通信部２３を介して他の装置からダウンロードして記憶部２２に記憶（インストール）してもよい。また、ユーザ端末２０が可搬型記憶媒体に記憶された情報を読み取る読取部を備える場合、ＡＲアプリ２２ＡＰは、制御部２１が読取部を介して可搬型記憶媒体から読み取って記憶部２２に記憶（インストール）してもよい。
The
カメラ２６は、制御部２１からの指示に従って撮影を行う撮像装置であり、取得した撮影画像（画像データ）を記憶部２２へ送出して記憶させる。カメラ２６は、ユーザ端末２０に内蔵されていてもよく、ユーザ端末２０に外付けされていてもよい。外付けされる場合、ユーザ端末２０は、外部カメラの接続が可能な接続部、又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した画像データを接続部又は無線通信部を介して取得する。
The
ユーザ端末２０は、表示部２５にゴーグル型又は眼鏡型のヘッドマウントディスプレイを使用するＨＭＤ（Head Mounted Display）型の情報機器であってもよい。この場合、入力部２４に、音声入力を行うマイク、又はユーザの視線を検知する視線入力装置等を使用することが望ましい。ユーザ端末２０は、カメラ２６及び表示部２５を有する情報機器であれば、どのような機器でもよい。
The
図３は気象コンテンツＤＢ１２ａの構成例を示す模式図である。本実施形態の気象コンテンツＤＢ１２ａは、アースボール３０の撮影画像に重畳させて表示するための種々の気象コンテンツ（気象画像）を記憶している。本実施形態のＡＲシステムでは、アースボール３０の撮影画像に重畳させて表示する気象コンテンツとして、世界（地球上）の雲分布を示す雲分布画像、世界の雨量分布（降水量分布）を示す雨量分布画像、及び世界の気温分布を示す気温分布画像を用いる。よって、気象コンテンツＤＢ１２ａは、雲分布画像を記憶する雲分布画像ＤＢと、雨量分布画像を記憶する雨量分布画像ＤＢと、気温分布画像を記憶する気温分布画像ＤＢとを含む。なお、気象コンテンツは、雲分布画像、雨量分布画像及び気温分布画像に限定されず、その他の気象情報に関する画像コンテンツを含んでもよい。本実施形態では、雲分布画像ＤＢ、雨量分布画像ＤＢ、及び気温分布画像ＤＢは各別のＤＢで構成されている例を示すが、１つのＤＢに雲分布画像、雨量分布画像及び気温分布画像が記憶されていてもよい。
FIG. 3 is a schematic diagram showing a configuration example of the
図３Ａに示す雲分布画像ＤＢは、画像ＩＤ列、日時列、雲分布画像列等を含み、画像ＩＤに対応付けて、日時及び雲分布画像のデータを記憶する。画像ＩＤ列は、雲分布画像に割り当てられた識別情報（画像ＩＤ）を記憶する。日時列及び雲分布画像列はそれぞれ、日時と各日時における雲分布画像のデータとを記憶する。なお、雲分布画像のデータは、記憶部１２の所定領域又は他の記憶装置に記憶されており、雲分布画像列は、雲分布画像のデータを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。雲分布画像ＤＢに記憶される画像ＩＤは、制御部１１が気象サーバ４０から新たな雲分布画像のデータを取得した場合に、制御部１１によって発行されて記憶される。雲分布画像ＤＢに記憶される日時及び雲分布画像のデータは、制御部１１が気象サーバ４０から取得した場合に、制御部１１によって記憶される。なお、制御部１１は、気象サーバ４０から雲分布画像のデータと共に、各雲分布画像が収集された日時の情報も取得する。雲分布画像ＤＢの記憶内容は図３Ａに示す例に限定されず、雲分布及び雲分布画像に関する各種の情報を記憶することができる。
The cloud distribution image DB shown in FIG. 3A includes an image ID string, a date and time column, a cloud distribution image string, and the like, and stores date and time and cloud distribution image data in association with the image ID. The image ID column stores the identification information (image ID) assigned to the cloud distribution image. The date and time sequence and the cloud distribution image string store the date and time and the cloud distribution image data at each date and time, respectively. The data of the cloud distribution image is stored in a predetermined area of the
雨量分布画像ＤＢ及び気温分布画像ＤＢは、雲分布画像ＤＢと同様の構成を有する。具体的には、図３Ｂに示す雨量分布画像ＤＢは、画像ＩＤ列、日時列、雨量分布画像列等を含み、画像ＩＤに対応付けて、日時及び雨量分布画像のデータを記憶する。図３Ｃに示す気温分布画像ＤＢは、画像ＩＤ列、日時列、気温分布画像列等を含み、画像ＩＤに対応付けて、日時及び気温分布画像のデータを記憶する。雨量分布画像及び気温分布画像は、雲分布画像と同様に、それぞれの分布画像のデータと共に、分布画像が収集された日時の情報を制御部１１が気象サーバ４０から取得する。雨量分布画像ＤＢの記憶内容は図３Ｂに示す例に限定されず、気温分布画像ＤＢの記憶内容は図３Ｃに示す例に限定されない。
The rainfall distribution image DB and the temperature distribution image DB have the same configuration as the cloud distribution image DB. Specifically, the rainfall distribution image DB shown in FIG. 3B includes an image ID string, a date and time column, a rainfall distribution image string, and the like, and stores date and time and rainfall distribution image data in association with the image ID. The temperature distribution image DB shown in FIG. 3C includes an image ID string, a date and time column, a temperature distribution image string, and the like, and stores date and time and temperature distribution image data in association with the image ID. As for the rainfall distribution image and the temperature distribution image, the
以下に、本実施形態のＡＲシステムにおいて、サーバ１０が気象サーバ４０から気象コンテンツ（雲分布画像、雨量分布画像及び気温分布画像）を取得（ダウンロード）する処理について説明する。図４は気象コンテンツの取得処理手順の一例を示すフローチャート、図５は雲分布画像例を示す模式図である。図４では左側にサーバ１０が行う処理を、右側に気象サーバ４０が行う処理をそれぞれ示す。以下の処理は、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
Hereinafter, in the AR system of the present embodiment, a process in which the
本実施形態のＡＲシステムにおいて、気象サーバ４０は、提供対象の気象コンテンツ（雲分布画像、雨量分布画像及び気温分布画像）を定期的に（例えば１時間毎に）追加する。サーバ１０の制御部１１は、定期的に（例えば１時間毎に）気象サーバ４０から気象コンテンツ（雲分布画像、雨量分布画像及び気温分布画像）をダウンロードする。これにより、サーバ１０は、気象サーバ４０が提供する気象コンテンツを逐次ダウンロードして記憶部１２に蓄積することができる。なお、雲分布画像、雨量分布画像及び気温分布画像の各気象コンテンツは、それぞれ異なる気象サーバ４０からダウンロードされてもよく、同じ気象サーバ４０からダウンロードされてもよい。
In the AR system of the present embodiment, the
サーバ１０の制御部１１は、いずれかの気象コンテンツ（雲分布画像、雨量分布画像、又は気温分布画像）について、気象サーバ４０からダウンロードするタイミングであるか否かを判断する（Ｓ１１）。サーバ１０は、それぞれの気象コンテンツに対して、ダウンロードタイミングを予め記憶部１２に記憶しており、制御部１１は、それぞれの気象コンテンツについて、記憶部１２に記憶してあるダウンロードタイミングが到来したか否かを判断する。例えば１日に１回ダウンロードする場合、１日のうちの所定時刻がダウンロードタイミングとして設定され、１日に所定回ダウンロードする場合、１日のうちの所定個の時刻がダウンロードタイミングとして設定される。
The
ダウンロードタイミングが到来していないと判断した場合（Ｓ１１：ＮＯ）、制御部１１は、ダウンロードタイミングが到来するまで、他の処理を行いつつ待機する。ダウンロードタイミングが到来したと判断した場合（Ｓ１１：ＹＥＳ）、制御部１１は、ダウンロードすべき気象コンテンツの最新データを、この気象コンテンツを提供する気象サーバ４０に要求する（Ｓ１２）。なお、制御部１１は、既に気象コンテンツＤＢ１２ａに記憶してある各気象コンテンツと、気象サーバ４０が提供可能な気象コンテンツとを比較し、ダウンロードしていない気象コンテンツを気象サーバ４０に要求してもよい。
When it is determined that the download timing has not arrived (S11: NO), the
気象サーバ４０は、サーバ１０から要求された気象コンテンツを記憶部（図示せず）から読み出し（Ｓ１３）、ネットワークＮ経由でサーバ１０へ送信する（Ｓ１４）。具体的には、気象サーバ４０は、雲分布画像を要求された場合、雲分布画像の最新データをサーバ１０へ送信し、雨量分布画像を要求された場合、雨量分布画像の最新データをサーバ１０へ送信し、気温分布画像を要求された場合、気温分布画像の最新データをサーバ１０へ送信する。図５は雲分布画像例を示しており、雲分布画像は、例えば正距円筒図法で表した世界地図上に、雲分布を示す画像を重畳させた画像である。図５に示す例ではハッチングを付した箇所が雲を表している。同様に、雨量分布画像は、正距円筒図法で表した世界地図上に、雨量分布を示す画像を重畳させた画像であり、気温分布画像は、正距円筒図法で表した世界地図上に、気温分布を示す画像を重畳させた画像である。
The
気象サーバ４０から提供される気象コンテンツは、それぞれの気象情報を示す気象画像のデータに、このデータが取得された日時を対応付けたものである。従って、サーバ１０の制御部１１は、気象サーバ４０から気象コンテンツを取得することにより、日時の情報と、各日時に取得された気象画像のデータとを取得できる。よって、制御部１１は、気象サーバ４０から気象コンテンツを取得した場合、画像ＩＤを発行し、発行した画像ＩＤに対応付けて、気象コンテンツに含まれる日時及び気象画像のデータを気象コンテンツＤＢ１２ａに記憶する（Ｓ１５）。具体的には、制御部１１は、気象コンテンツとして雲分布画像を受信した場合、画像ＩＤに対応付けて日時及び雲分布画像のデータを雲分布画像ＤＢに記憶する。同様に、制御部１１は、雨量分布画像を受信した場合、画像ＩＤに対応付けて日時及び雨量分布画像のデータを雨量分布画像ＤＢに記憶し、気温分布画像を受信した場合、画像ＩＤに対応付けて日時及び気温分布画像のデータを気温分布画像ＤＢに記憶する。
The meteorological content provided from the
上述した処理により、サーバ１０は、気象サーバ４０で定期的に更新される気象コンテンツを、逐次取得して気象コンテンツＤＢ１２ａに蓄積することができる。具体的には、サーバ１０は、気象画像（雲分布画像、雨量分布画像及び気温分布画像）の時系列データをダウンロードして、各気象画像に日時情報を付与して気象コンテンツＤＢ１２ａに記憶することができる。このようにサーバ１０が気象サーバ４０から収集した気象コンテンツは、ユーザ端末２０を用いてアースボール３０が撮影された場合に、アースボール３０の撮影画像に重ねて表示されるＡＲ画像に用いられる。
By the above-mentioned processing, the
以下に、本実施形態のＡＲシステムにおいて、ユーザがユーザ端末２０を用いてアースボール３０を撮影した場合に、アースボール３０の撮影画像に、気象コンテンツを用いたＡＲ画像を重畳させて表示する処理について説明する。図６及び図７はＡＲ画像の表示処理手順の一例を示すフローチャート、図８及び図１０はＡＲ画像の表示例を示す模式図、図９はＡＲ画像を説明するための模式図である。図６及び図７では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラム２２Ｐ及びＡＲアプリ２２ＡＰに従って制御部２１によって実行され、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
Hereinafter, in the AR system of the present embodiment, when the user photographs the
本実施形態のＡＲシステムにおいて、ユーザは、例えば地球上の雲分布画像、雨量分布画像又は気温分布画像等の気象画像を見たい場合、ユーザ端末２０に対して所定操作を行うことにより、ＡＲアプリ２２ＡＰの起動指示を行う。ユーザ端末２０の制御部２１は、入力部２４を介してＡＲアプリ２２ＡＰの起動指示（起動命令）を受け付けた場合、ＡＲアプリ２２ＡＰを起動する（Ｓ２１）。制御部２１は、ＡＲアプリ２２ＡＰを起動した場合、カメラ２６による撮影を開始する（Ｓ２２）。カメラ２６は、撮影を開始した場合、所定のタイミング（例えば１／３０秒毎又は１／１５秒毎）で撮影画像を取得する。カメラ２６にて取得された撮影画像は、順次表示部２５へ送出され、表示部２５に表示される。図８左側にはアースボール３０の撮影画像の表示画面例を示す。このようにユーザは、カメラ２６でアースボール３０を撮影しながら、アースボール３０の撮影画像を表示部２５で確認することができる。なお、撮影画像は、記憶部２２に記憶された後に表示部２５へ送出されて表示されてもよい。
In the AR system of the present embodiment, when the user wants to see a meteorological image such as a cloud distribution image, a rainfall distribution image, or a temperature distribution image on the earth, the AR application is performed by performing a predetermined operation on the
また制御部２１は、ＡＲアプリ２２ＡＰを起動した場合、雲分布画像（第１気象情報を示す第１気象画像）をサーバ１０に要求する（Ｓ２３）。具体的には、制御部２１は、ＡＲアプリ２２ＡＰを起動したことを示す起動信号、又は雲分布画像のダウンロードを要求するダウンロード要求信号をサーバ１０に対して送信する。なお、制御部２１は、ステップＳ２３の処理後にステップＳ２２の処理を行ってもよい。サーバ１０の制御部１１は、ユーザ端末２０から起動信号又は雲分布画像のダウンロード要求信号を受信した場合、雲分布画像ＤＢに記憶してある日時を参照して、現在日時を起点として過去の２４時間分の雲分布画像のデータを雲分布画像ＤＢから読み出す（Ｓ２４）。具体的には、制御部１１は、雲分布画像ＤＢに記憶してある日時のうちから、現在日時から過去の２４時間に含まれる日時を抽出し、抽出した日時に対応する雲分布画像のデータを、各データの日時と共に読み出す。なお、制御部１１は、２４時間分の雲分布画像のデータとして、１時間毎に１枚の雲分布画像のデータを読み出してもよく、３０分毎又は２時間毎に１枚の雲分布画像のデータを読み出してもよく、これらに限定されない。このとき、制御部１１は、雨量分布画像及び気温分布画像のデータを雨量分布画像ＤＢ又は気温分布画像ＤＢから読み出さずに、雲分布画像のデータのみを雲分布画像ＤＢから読み出す。
Further, when the AR application 22AP is activated, the
制御部１１は、雲分布画像ＤＢから読み出した２４時間分の雲分布画像のデータをネットワークＮ経由でユーザ端末２０へ送信する（Ｓ２５）。このとき制御部１１は、雲分布画像ＤＢから読み出した雲分布画像のデータのそれぞれに、各データの日時を含むファイル名を付与する。例えば制御部１１は、日時が2020年8月1日0：00の雲分布画像に対して、「cloud_2020-08-01-00.jpg」のファイル名を付与する。これにより、サーバ１０は、ファイル名の順に（具体的には、ファイル名に含まれる日時の順に）、２４時間分の雲分布画像のデータを連続して組み合わせることにより、雲分布画像の時系列データ（動画像）を生成することができる。よって、ユーザ端末２０の制御部２１は、図５に示すように正距円筒図法で表された雲分布画像（第１気象画像）の時系列データをサーバ１０から取得（ダウンロード）することができる。ユーザ端末２０の制御部２１は、サーバ１０から取得した雲分布画像の時系列データ（２４時間分の雲分布画像のデータ）を記憶部２２に記憶する（Ｓ２６）。このように、本実施形態のユーザ端末２０は、ＡＲアプリ２２ＡＰを起動した直後は、雨量分布画像（第２気象画像）のデータ及び気温分布画像（第３気象画像）のデータをダウンロードせずに、雲分布画像（第１気象画像）のデータのみをサーバ１０からダウンロードする。また、このときユーザ端末２０は、２４時間分の雲分布画像のデータをサーバ１０から取得する構成とするが、このような構成に限定されない。例えば、ユーザ端末２０は、ＡＲアプリ２２ＡＰを起動した直後に、２４時間以外の所定期間分の雲分布画像のデータをサーバ１０から取得してもよく、雲分布画像以外の気象画像のデータを所定期間分サーバ１０から取得してもよい。またユーザ端末２０は、２４時間分の雲分布画像のデータ（気象情報の時系列データ）をまとめて取得しておくが、このような構成に限定されない。
The
制御部２１は、カメラ２６により撮影したアースボール３０の撮影画像を取得する（Ｓ２７）。そして制御部２１は、取得したアースボール３０の撮影画像中のＡＲマーカを認識し、認識したＡＲマーカに基づいて、アースボール３０における撮影範囲（撮影領域）を特定する（Ｓ２８）。アースボール３０の表面に印刷されている各ＡＲマーカには、それぞれ地球上の位置情報（経度及び緯度の情報）が対応付けられており、各ＡＲマーカ及び位置情報の対応情報は、ＡＲアプリ２２ＡＰ内に設定されている。よって、制御部２１は、アースボール３０の撮影画像中に認識したＡＲマーカに対応付けられている位置情報（経度及び緯度の情報）を特定し、特定結果に基づいて、アースボール３０の撮影範囲を特定することができる。例えば制御部２１は、アースボール３０の撮影画像の画像中心（中心位置）に対応する位置情報（経度及び緯度の情報）と、撮影画像の上方向に対応する方角とを特定することにより、アースボール３０の撮影範囲を特定する。図８左側に示すアースボール３０の撮影画面では、制御部２１は、例えば画像中心Ｐの位置情報と、撮影画像の上方向に対応する方角が北であることを特定する。
The
アースボール３０の撮影画像の画像中心に対応する位置情報の特定処理では、例えば制御部２１は、円形のアースボール３０の撮影画像の中心位置（中心位置の画素）を特定し、特定した中心位置にあるＡＲマーカを特定する。そして制御部２１は、特定したＡＲマーカに対応付けられている位置情報を読み出すことにより、画像中心に対応する位置情報を特定できる。なお、特定した中心位置にＡＲマーカが無い場合、制御部２１は、中心位置の近傍にある所定数（例えば２つ）のＡＲマーカを特定する。この場合、制御部２１は、特定した所定数のＡＲマーカ及び中心位置における画像中の位置関係と、各ＡＲマーカの位置情報（経度及び緯度の情報）とに基づいて、画像中心に対応する位置情報を算出する。例えば２つのＡＲマーカを用いる場合、制御部２１は、２つのＡＲマーカの画像中の位置と、２つのＡＲマーカに対応付けられている経度及び緯度とに基づいて、画像中の左右方向及び上下方向の１画素分に対応する経度及び緯度の変化量を算出する。そして制御部２１は、一方のＡＲマーカの画像中の位置並びに経度及び緯度と、アースボール３０の中心位置とに基づいて、中心位置（画像中心）に対応する位置情報（経度及び緯度）を算出する。なお、アースボール３０の撮影画像の画像中心に対応する位置情報の算出方法は、２つのＡＲマーカを用いる方法に限定されない。例えば撮影画像の上方向に対応する方角が特定されていれば、１つのＡＲマーカを用いて、アースボール３０の撮影画像の画像中心に対応する位置情報を特定することができる。また、３つ以上のＡＲマーカを用いて、アースボール３０の撮影画像の画像中心に対応する位置情報を算出してもよい。また、アースボール３０の撮影画像の上方向に対応する方角の特定処理では、例えば制御部２１は、任意の２つのＡＲマーカを特定し、特定したＡＲマーカの位置情報（経度及び緯度）に基づいて、撮影画像の上方向に対応する方角を特定できる。
In the process of specifying the position information corresponding to the image center of the captured image of the
制御部２１は、サーバ１０から取得した雲分布画像のデータと、ステップＳ２８で特定したアースボール３０の撮影範囲とに基づいて、アースボール３０の撮影画像に重ねて表示させるＡＲ画像を生成する（Ｓ２９）。まず制御部２１は、雲分布画像のデータから、特定したアースボール３０の撮影範囲に対応する領域を抽出する。具体的には、制御部２１は、特定した画像中心Ｐの位置情報（経度及び緯度）を中央位置とする半球領域を特定し、特定した半球領域に含まれる画像を雲分布画像から抽出する。そして制御部２１は、抽出した半球領域の雲分布画像を、アースボール３０の撮影画像の円形に表示するために、円形画像に変形する。これにより、制御部２１は、図９に示すように、正距円筒図法で表された矩形の雲分布画像から、撮影画像中のアースボール３０に描かられている画像（地図）に合致するように雲分布画像の一部を抽出して円形の雲分布画像を生成（補正）することができる。制御部２１は、サーバ１０から取得した２４時間分の雲分布画像のデータのそれぞれについて、円形の雲分布画像を生成することにより、円形の雲分布画像の時系列データ（動画データ）を生成する。なお、制御部２１は、例えば地球上において雲分布画像のデータがない地域がある場合、このような地域にダミーの雲画像を追加して雲分布画像を生成してもよい。
The
そして、制御部２１は、表示部２５に表示中のアースボール３０の撮影画像に、生成したＡＲ画像を重ねて表示する（Ｓ３０）。これにより、図８右側に示すように、アースボール３０の撮影画像に対して、円形に処理された雲分布画像のＡＲ画像を重ねて表示することができる。なお、制御部２１は、例えばコンピュータグラフィックスによるレンダリング機能（テクスチャマッピング）を利用して、雲分布画像から、アースボール３０の撮影画像に重ねて表示するＡＲ画像を生成してもよい。この場合、制御部２１は、雲分布画像のデータからの抽出領域として、ステップＳ２８で特定したアースボール３０の撮影範囲をレンダリングエンジンに指定する。これにより、レンダリングエンジンが、アースボール３０の撮影画像の各画素に雲分布画像の各画素をマッピングし、その結果、アースボール３０の撮影画像に雲分布画像によるＡＲ画像が重ねて表示される。このような処理を行う場合、制御部２１は、ステップＳ２９～Ｓ３０の処理をまとめて実行する。
Then, the
なお、制御部２１は、生成した円形の雲分布画像の時系列データのうちの１つの雲分布画像（例えば最初の雲分布画像）を重ねて表示してもよく、それぞれの雲分布画像を順次切り替えて２４時間分の雲分布画像をコマ送り方式で連続して表示してもよい。制御部２１が最新の雲分布画像をアースボール３０の撮影画像に重ねて表示する場合、ユーザはリアルタイムで地球上の雲分布を見ることができる。また制御部２１は、図８右側の画面に示すように、アースボール３０の撮影画像に重ねて表示した雲分布画像に対応する日時を、ＡＲ画像に対応付けて表示してもよい。上述した処理により、制御部２１は、正距円筒図法の各雲分布画像を、撮影画像中のアースボール３０の全体を覆い、かつ、アースボール３０の撮影画像（即ち、アースボール３０の撮影範囲内の地図等）に合致するように補正しながら、時系列で連続する補正後の雲分布画像を連続して再生することができる。
The
制御部２１は、カメラ２６にて順次撮影するアースボール３０の撮影画像に基づいて、アースボール３０の撮影範囲が変更されたか否かを判断する（Ｓ３１）。例えば制御部２１は、カメラ２６を介して順次取得するアースボール３０の撮影画像について、前後の撮影画像における差異を算出し、算出した差異に基づいて、アースボール３０の撮影範囲が変更されたか否かを判断する。アースボール３０の撮影範囲が変更されたと判断した場合（Ｓ３１：ＹＥＳ）、制御部２１は、ステップＳ２７の処理に戻り、変更後の撮影範囲に対して、カメラ２６にてアースボール３０の撮影画像を取得する（Ｓ２７）。そして制御部２１は、取得した撮影画像に基づいて、ステップＳ２８～Ｓ３０の処理を行うことにより、変更後のアースボール３０の撮影範囲に対応する雲分布画像のＡＲ画像を生成して、アースボール３０の撮影画像に重ねて表示することができる。制御部２１は、アースボール３０に対する撮影範囲が変更される都度、ステップＳ２７～Ｓ３０の処理を繰り返す。これにより、適宜変更されるアースボール３０の撮影範囲に応じて、アースボール３０の撮影画像の中心位置をリアルタイムで特定し、特定した中心位置（アースボール３０の撮影範囲）に基づいて、雲分布画像からＡＲ画像を生成できる。よって、適宜変更される撮影範囲に含まれる場所（位置情報）における雲分布画像のＡＲ画像を、アースボール３０の撮影画像に重ねて表示することができる。よって、ユーザがアースボール３０を手に持って回す、又はカメラ２６によるアースボール３０の撮影方向を変更した場合、アースボール３０の撮影範囲が変更され、変更された撮影範囲に応じて、アースボール３０の撮影画像に重畳されるＡＲ画像（気象コンテンツ）がリアルタイムで更新される。
The
図８右側に示す画面では、アースボール３０の撮影画像に重ねて表示するＡＲ画像として雲分布画像、雨量分布画像又は気温分布画像のいずれかを選択するための画像切替ボタンＢ１が表示されている。画像切替ボタンＢ１は、雲分布画像（第１気象画像）を選択するための雲画像アイコンと、雨量分布画像（第２気象画像）を選択するための雨量画像アイコンと、気温分布画像（第３気象画像）を選択するための気温画像アイコンとを有する。画像切替ボタンＢ１は、図１０左側の画面に示すように雲画像アイコンが前面に表示されている状態でユーザによるタッチ操作が行われた場合、図１０の右上の画面に示すように雨量画像アイコンが前面に表示された状態となる。また、画像切替ボタンＢ１は、図１０右上の画面に示すように雨量画像アイコンが前面に表示されている状態でユーザによるタッチ操作が行われた場合、図１０右下の画面に示すように気温画像アイコンが前面に表示された状態となる。このように画像切替ボタンＢ１は、ユーザによるタッチ操作が行われる都度、雲分布画像、雨量分布画像、気温分布画像の順に、表示対象の画像を切り替える切替指示を行うことができる。
On the screen shown on the right side of FIG. 8, an image switching button B1 for selecting either a cloud distribution image, a rainfall distribution image, or a temperature distribution image as an AR image to be displayed superimposed on the captured image of the
よって、制御部２１は、撮影範囲が変更されていないと判断した場合（Ｓ３１：ＮＯ）、例えば画像切替ボタンＢ１が操作されたか否かを判断する（Ｓ３２）。画像切替ボタンＢ１が操作されたと判断した場合（Ｓ３２：ＹＥＳ）、制御部２１は、操作回数に応じて、雨量分布画像（第２気象画像）又は気温分布画像（第３気象画像）をサーバ１０に要求する（Ｓ３３）。なお、制御部２１は、雲画像アイコンが前面に表示されている状態の画像切替ボタンＢ１が１回操作された場合、雨量分布画像を要求し、２回操作された場合、気温分布画像を要求する。画像切替ボタンＢ１が操作されていないと判断した場合（Ｓ３２：ＮＯ）、制御部２１はステップＳ４２の処理に移行する。
Therefore, when it is determined that the shooting range has not been changed (S31: NO), the
サーバ１０の制御部１１は、ユーザ端末２０から雨量分布画像又は気温分布画像を要求された場合、直近の２４時間分の雨量分布画像又は気温分布画像のデータを雨量分布画像ＤＢ又は気温分布画像ＤＢから読み出す（Ｓ３４）。具体的には、制御部１１は、雨量分布画像ＤＢ又は気温分布画像ＤＢに記憶してある日時を参照して、現在日時から過去の２４時間に含まれる日時に対応する雨量分布画像又は気温分布画像のデータを読み出す。制御部１１は、読み出した２４時間分の雨量分布画像又は気温分布画像のデータをユーザ端末２０へ送信する（Ｓ３５）。このときも、制御部１１は、読み出した雨量分布画像のデータのそれぞれに、各データの日時を含むファイル名を付与し、気温分布画像のデータのそれぞれに、各データの日時を含むファイル名を付与する。これにより、サーバ１０は、２４時間分の雨量分布画像又は気温分布画像のデータを連続して組み合わせることにより、雨量分布画像又は気温分布画像の時系列データ（動画像）を生成することができる。なお、雨量分布画像及び気温分布画像は、図５に示す雲分布画像と同様に正距円筒図法で表される。
When the
ユーザ端末２０の制御部２１は、サーバ１０が送信した２４時間分の雨量分布画像又は気温分布画像のデータ（雨量分布画像又は気温分布画像の時系列データ）を取得し、記憶部２２に記憶する（Ｓ３６）。そして、制御部２１は、ステップＳ２７～Ｓ２８と同様の処理を行い、カメラ２６によってアースボール３０の撮影画像を取得し（Ｓ３７）、アースボール３０の撮影画像中のＡＲマーカに基づいて、アースボール３０における撮影範囲を特定する（Ｓ３８）。
The
次に制御部２１は、サーバ１０から取得した雨量分布画像又は気温分布画像のデータと、ステップＳ３８で特定したアースボール３０の撮影範囲とに基づいて、アースボール３０の撮影画像に重ねて表示させるＡＲ画像を生成する（Ｓ３９）。ここでの処理は、処理対象が雲分布画像のデータから雨量分布画像又は気温分布画像のデータに変更されるだけで、ステップＳ２９と同様である。これにより、雨量分布画像又は気温分布画像のデータについても、図９に示すように、正距円筒図法で表された矩形の分布画像から、分布画像の一部が抽出された円形の分布画像が生成される。
Next, the
そして制御部２１は、表示部２５に表示中のアースボール３０の撮影画像に、生成したＡＲ画像を重ねて表示する（Ｓ４０）。これにより、図１０左側の画面のように雲分布画像（ＡＲ画像）が表示されている状態で画像切替ボタンＢ１が１回操作された場合、アースボール３０の撮影画像に重ねて表示されるＡＲ画像が、図１０右上の画面のように雨量分布画像に切り替えられる。また、図１０左側の画面のように雲分布画像（ＡＲ画像）が表示されている状態で画像切替ボタンＢ１が２回操作された場合、又は、図１０右上の画面のように雨量分布画像（ＡＲ画像）が表示されている状態で画像切替ボタンＢ１が１回操作された場合、ＡＲ画像が、図１０右下の画面のように気温分布画像に切り替えられる。なお、図１０右下の画面では、各気温をそれぞれ異なるハッチングで示した気温分布を表示しているが、気温分布は、各気温をそれぞれ異なる色で示したヒートマップを用いてもよい。
Then, the
アースボール３０の撮影画像に雨量分布画像又は気温分布画像のＡＲ画像を重ねて表示している場合でも、制御部２１は、カメラ２６にて順次撮影するアースボール３０の撮影画像に基づいて、アースボール３０の撮影範囲が変更されたか否かを判断する（Ｓ４１）。そして、アースボール３０の撮影範囲が変更されたと判断した場合（Ｓ４１：ＹＥＳ）、制御部２１は、ステップＳ３７の処理に戻り、変更後の撮影範囲に対して、ステップＳ３７～Ｓ４０の処理を行う。これにより、制御部２１は、変更後のアースボール３０の撮影範囲に対応する雨量分布画像又は気温分布画像のＡＲ画像を生成して、アースボール３０の撮影画像に重ねて表示することができる。よって、雨量分布画像又は気温分布画像についても、適宜変更されるアースボール３０の撮影範囲に応じて、撮影範囲に含まれる場所（位置情報）に対応するＡＲ画像がアースボール３０の撮影画像に重ねて表示される。この場合にも、ユーザがアースボール３０を手に持って回す、又はカメラ２６によるアースボール３０の撮影方向を変更することによってアースボール３０の撮影範囲が変更された場合に、変更された撮影範囲に応じて、アースボール３０の撮影画像に重畳されるＡＲ画像（気象コンテンツ）がリアルタイムで更新される。
Even when the AR image of the rain amount distribution image or the temperature distribution image is superimposed and displayed on the photographed image of the
制御部２１は、撮影範囲が変更されていないと判断した場合（Ｓ４１：ＮＯ）、例えば入力部２４を介して処理の終了が指示されたか否かを判断する（Ｓ４２）。処理の終了が指示されていないと判断した場合（Ｓ４２：ＮＯ）、制御部２１は、ステップＳ３２に戻り、上述した処理を繰り返す。処理の終了が指示されたと判断した場合（Ｓ４２：ＹＥＳ）、制御部２１は処理を終了する。上述した処理により、時々刻々と変化する地球上の気象に関する気象コンテンツを、アースボール３０の撮影画像に重ねて表示されるＡＲ画像にて確認することができる。またユーザは、気象コンテンツを見たい場所を、アースボール３０上の場所を撮影することで指定することができるので、ユーザが所望する気象コンテンツを容易に表示させることができる。また、撮影中のアースボール３０をユーザが手に持って回す等することによって、アースボール３０の撮影範囲を変更することができるので、ＡＲ画像を表示中であっても、ユーザが所望する場所の気象コンテンツをリアルタイムで更新することができる。
When the
次に、上述したＡＲ画像の表示処理の実行中に、アースボール３０の撮影画像に、気象コンテンツを用いたＡＲ画像に加えて、国境線及び国名を表示するための国境線画像を用いたＡＲ画像を重畳させて表示する処理について説明する。本実施形態のユーザ端末２０は、入力部２４を介したユーザの操作に応じて、国境線画像のＡＲ画像を、アースボール３０の撮影画像及び気象コンテンツのＡＲ画像に重ねて表示するか、表示しないかを切り替えることができるように構成されている。図１１は国境線画像によるＡＲ画像の表示処理手順の一例を示すフローチャート、図１２はＡＲ画像の表示例を示す模式図である。なお、図示は省略するが、国境線画像は、図９の上側に示す雲分布画像のように、正距円筒図法で表された矩形の地図に、地図中の国境線及び各国の国名が記載された地図画像である。国境線画像は、ＡＲアプリ２２ＡＰに予め登録されている。また国境線画像は、国境線及び国名に加えて、地図中の大陸及び海洋の名称、各都市の都市名等を含んでいてもよい。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラム２２Ｐ及びＡＲアプリ２２ＡＰに従って制御部２１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
Next, during the execution of the AR image display process described above, in addition to the AR image using the meteorological content, the AR image using the border line image for displaying the border line and the country name is used for the captured image of the
ユーザ端末２０の制御部２１は、例えば図６及び図７中のステップＳ３０又はＳ４０において、雲分布画像、雨量分布画像又は気温分布画像等の気象コンテンツを用いたＡＲ画像を、アースボール３０の撮影画像に重ねて表示している場合（Ｓ５１）、以下の処理を行う。図１２左側には、図８右側の画面と同様に、アースボール３０の撮影画像に雲分布画像（ＡＲ画像）が重ねて表示された画面を示す。図１２等に示すようにＡＲ画像の表示画面では、アースボール３０の撮影画像に、国境線画像のＡＲ画像を重ねて表示するか、表示しないかを選択するための国境線切替ボタンＢ２が表示されている。図１２左側の画面では、国境線切替ボタンＢ２は、国境線画像を表示しない状態（ＯＦＦ状態）であることを示しており、この状態でユーザによるタッチ操作が行われた場合、図１２右側の画面のように国境線画像を重ねて表示する状態（ＯＮ状態）に切り替えられる。また国境線切替ボタンＢ２は、図１２右側の画面に示すようにＯＮ状態が選択されている状態でユーザによるタッチ操作が行われた場合、図１２左側の画面に示すようにＯＦＦ状態が選択された状態となる。従って、国境線切替ボタンＢ２は、ユーザによるタッチ操作が行われる都度、国境線画像の表示及び非表示を順に切り替える切替命令を受け付けることができる。
The
よって、制御部２１は、アースボール３０の撮影画像に気象コンテンツのＡＲ画像を重ねて表示している場合に、国境線切替ボタンＢ２が操作されたか否かを判断する（Ｓ５２）。制御部２１は、国境線切替ボタンＢ２が操作されていないと判断した場合（Ｓ５２：ＮＯ）、操作されたと判断するまで、図６及び図７の処理を含む他の処理を行いつつ待機する。国境線切替ボタンＢ２が操作されたと判断した場合（Ｓ５２：ＹＥＳ）、制御部２１は、国境線画像を表示するＯＮ状態に切り替える指示を受け付けたか否かを判断する（Ｓ５３）。具体的には、制御部２１は、ＯＦＦ状態が選択されているときに国境線切替ボタンＢ２が操作された場合、ＯＮ状態への切替指示を受け付け、ＯＮ状態が選択されているときに国境線切替ボタンＢ２が操作された場合、ＯＦＦ状態への切替指示を受け付ける。
Therefore, the
ＯＮ状態への切替指示を受け付けたと判断した場合（Ｓ５３：ＹＥＳ）、即ち、図１２左側に示すように国境線画像を表示しないＯＦＦ状態が選択されている状態で国境線切替ボタンＢ２が操作された場合、制御部２１は、国境線画像を読み出す（Ｓ５４）。そして制御部２１は、図６及び図７中のステップＳ２８又はＳ３８で特定したアースボール３０の撮影範囲に基づいて、アースボール３０の撮影画像に重ねて表示させる国境線画像のＡＲ画像を生成する（Ｓ５５）。ここでは、制御部２１は、国境線画像のデータから、アースボール３０の撮影範囲に対応する半球領域の画像を抽出し、抽出した半球領域の国境線画像を、アースボール３０の撮影画像の円形に表示するために円形画像に変形する。これにより、制御部２１は、正距円筒図法で表された矩形の国境線画像から、この国境線画像の一部が抽出された円形の国境線画像を生成する。
When it is determined that the instruction to switch to the ON state has been accepted (S53: YES), that is, the border line switching button B2 is operated while the OFF state in which the border line image is not displayed is selected as shown on the left side of FIG. If so, the
そして、制御部２１は、表示部２５に表示中のアースボール３０の撮影画像に、生成した国境線画像のＡＲ画像を重ねて表示する（Ｓ５６）。ここでは、制御部２１は、図６及び図７中のステップＳ３０又はＳ４０で気象コンテンツのＡＲ画像を重ねて表示したアースボール３０の撮影画像に、更に重ねて国境線画像のＡＲ画像を表示する。なお、国境線画像のＡＲ画像は、気象コンテンツのＡＲ画像の上に重ねて表示してもよく、気象コンテンツのＡＲ画像の下でアースボール３０の撮影画像の上に重ねて表示してもよい。これにより、図１２右側に示すように、アースボール３０の撮影画像に対して、円形に処理された気象コンテンツのＡＲ画像と、国境線画像のＡＲ画像とを重ねて表示することができる。
Then, the
制御部２１は、カメラ２６にて順次撮影するアースボール３０の撮影画像に基づいて、アースボール３０の撮影範囲が変更されたか否かを判断する（Ｓ５７）。アースボール３０の撮影範囲が変更されたと判断した場合（Ｓ５７：ＹＥＳ）、制御部２１は、図６及び図７中のステップＳ２７～Ｓ２９又はＳ３７～Ｓ３９と同様に、変更後の撮影範囲に対して、カメラ２６にてアースボール３０の撮影画像を取得し（Ｓ５８）、撮影画像に基づいてアースボール３０の撮影範囲を特定し（Ｓ５９）、変更後のアースボール３０の撮影範囲に対応する気象コンテンツのＡＲ画像を生成する（Ｓ６０）。そして制御部２１は、ステップＳ５５の処理に戻り、変更後のアースボール３０の撮影範囲に対応する国境線画像のＡＲ画像を生成し（Ｓ５５）、表示中のアースボール３０の撮影画像に、生成した気象コンテンツのＡＲ画像及び国境線画像のＡＲ画像を重ねて表示する（Ｓ５６）。
The
アースボール３０の撮影範囲が変更されていないと判断した場合（Ｓ５７：ＮＯ）、制御部２１は、例えば入力部２４を介して処理の終了が指示されたか否かを判断する（Ｓ６１）。処理の終了が指示されていないと判断した場合（Ｓ６１：ＮＯ）、制御部２１は、ステップＳ５７に戻り、上述した処理を繰り返す。処理の終了が指示されたと判断した場合（Ｓ６１：ＹＥＳ）、制御部２１は処理を終了する。上述した処理により、ユーザ端末２０のカメラ２６で撮影したアースボール３０の撮影範囲が変更される都度、アースボール３０の撮影範囲に応じたＡＲ画像を重ねて表示することができる。また、気象コンテンツのＡＲ画像に加えて、国境線画像のＡＲ画像をアースボール３０の撮影画像に重ねて表示することができる。
When it is determined that the photographing range of the
一方、ＯＦＦ状態への切替指示を受け付けたと判断した場合（Ｓ５３：ＮＯ）、即ち、図１２右側に示すように国境線画像を表示するＯＮ状態が選択されている状態で国境線切替ボタンＢ２が操作された場合、制御部２１は、国境線画像のＡＲ画像の表示を終了する（Ｓ６２）。即ち、制御部２１は、アースボール３０の撮影画像に気象コンテンツのＡＲ画像のみを重ねて表示する。
On the other hand, when it is determined that the instruction to switch to the OFF state has been accepted (S53: NO), that is, the border line switching button B2 is selected while the ON state for displaying the border line image is selected as shown on the right side of FIG. When operated, the
そして制御部２１は、カメラ２６にて順次撮影するアースボール３０の撮影画像に基づいて、アースボール３０の撮影範囲が変更されたか否かを判断する（Ｓ６３）。アースボール３０の撮影範囲が変更されたと判断した場合（Ｓ６３：ＹＥＳ）、制御部２１は、ステップＳ５８～Ｓ６０と同様に、変更後の撮影範囲に対して、カメラ２６にてアースボール３０の撮影画像を取得し（Ｓ６４）、撮影画像に基づいてアースボール３０の撮影範囲を特定し（Ｓ６５）、変更後のアースボール３０の撮影範囲に対応する気象コンテンツのＡＲ画像を生成する（Ｓ６６）。そして制御部２１は、表示中のアースボール３０の撮影画像に、生成した気象コンテンツのＡＲ画像を重ねて表示し（Ｓ６７）、ステップＳ６３の処理に戻る。
Then, the
アースボール３０の撮影範囲が変更されていないと判断した場合（Ｓ６３：ＮＯ）、制御部２１は、例えば入力部２４を介して処理の終了が指示されたか否かを判断する（Ｓ６８）。処理の終了が指示されていないと判断した場合（Ｓ６８：ＮＯ）、制御部２１は、ステップＳ６３に戻り、上述した処理を繰り返す。処理の終了が指示されたと判断した場合（Ｓ６８：ＹＥＳ）、制御部２１は処理を終了する。上述した処理により、アースボール３０の撮影画像に気象コンテンツのＡＲ画像を重ねて表示している場合に、入力部２４を介したユーザの操作に応じて、国境線画像のＡＲ画像を追加で表示するか否かを切り替えることができる。よって、国境線画像のＡＲ画像も表示した場合には、地球上の気象コンテンツを、国境線及び国名等と共に確認することができ、見易い気象コンテンツの提供が可能となる。なお、国境線画像のＡＲ画像が表示されている場合でも、アースボール３０の撮影範囲が変更される都度、アースボール３０の撮影範囲に応じた気象コンテンツのＡＲ画像及び国境線画像のＡＲ画像がリアルタイムで切り替えられて表示される。よって、ユーザは、アースボール３０の撮影範囲を変更することによって、気象コンテンツを見たい場所を容易に指定することができる。
When it is determined that the photographing range of the
次に、上述したＡＲ画像の表示処理の実行中に、アースボール３０の撮影画像に重ねて表示される気象コンテンツとして、２４時間分の気象コンテンツと１週間分の気象コンテンツとを切り替える処理について説明する。本実施形態のユーザ端末２０は、入力部２４を介したユーザの操作に応じて、アースボール３０の撮影画像に重ねて表示する気象コンテンツを、２４時間分の気象コンテンツ又は１週間分の気象コンテンツのいずれかに切り替えることができるように構成されている。以下では、アースボール３０の撮影画像に重ねて表示する気象コンテンツとして、２４時間分の気象コンテンツ及び１週間分の気象コンテンツを用いるが、他の所定期間の気象コンテンツを用いてもよい。
Next, a process of switching between 24-hour weather content and one-week weather content as the weather content displayed superimposed on the captured image of the
図１３はＡＲ画像の切替処理手順の一例を示すフローチャート、図１４はＡＲ画像の表示例を示す模式図である。図１３では左側にユーザ端末２０が行う処理を、右側にサーバ１０が行う処理をそれぞれ示す。以下の処理は、ユーザ端末２０の記憶部２２に記憶してある制御プログラム２２Ｐ及びＡＲアプリ２２ＡＰに従って制御部２１によって実行され、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。
FIG. 13 is a flowchart showing an example of the AR image switching processing procedure, and FIG. 14 is a schematic diagram showing a display example of the AR image. In FIG. 13, the processing performed by the
ユーザ端末２０の制御部２１は、例えば図６及び図７中のステップＳ３０又はＳ４０において、雲分布画像、雨量分布画像又は気温分布画像等の気象コンテンツを用いたＡＲ画像を、アースボール３０の撮影画像に重ねて表示している場合（Ｓ７１）、以下の処理を行う。図１４左側には、図１２右側の画面と同様に、アースボール３０の撮影画像に雲分布画像のＡＲ画像及び国境線画像のＡＲ画像が重ねて表示された画面を示す。図１４等に示すようにＡＲ画像の表示画面では、アースボール３０の撮影画像に重ねて表示されるＡＲ画像として、２４時間分の気象コンテンツ（気象画像）を表示するか、１週間分の気象コンテンツ（気象画像）を表示するかを選択するための再生切替ボタンＢ３が表示されている。図１４左側の画面では、再生切替ボタンＢ３は、２４時間分の気象画像が表示された状態であることを示しており、この状態でユーザによるタッチ操作が行われた場合、図１４右側の画面のように１週間分の気象画像の再生処理を指示するための再生操作ボタンＢ４に切り替えられる。なお、再生操作ボタンＢ４は、所定の操作が行われた場合に、図１４左側の画面のように２４時間分の気象画像の再生処理を指示するための再生切替ボタンＢ３に切り替えられるように構成されている。
The
よって、制御部２１は、アースボール３０の撮影画像に２４時間分の気象画像（気象コンテンツ）のＡＲ画像を重ねて表示している場合に、再生切替ボタンＢ３が操作されたか否かを判断する（Ｓ７２）。制御部２１は、再生切替ボタンＢ３が操作されていないと判断した場合（Ｓ７２：ＮＯ）、操作されたと判断するまで、図６及び図７の処理を含む他の処理を行いつつ待機する。再生切替ボタンＢ３が操作されたと判断した場合（Ｓ７２：ＹＥＳ）、制御部２１は、表示中の気象情報について１週間分の気象画像をサーバ１０に要求する（Ｓ７３）。例えば、表示中のＡＲ画像が雲分布画像（第１気象画像）である場合、制御部２１は、１週間分の雲分布画像（第１気象画像）のみをサーバ１０に要求する。また、表示中のＡＲ画像が雨量分布画像（第２気象画像）又は気温分布画像（第３気象画像）である場合、制御部２１は、１週間分の雨量分布画像（第２気象画像）又は気温分布画像（第３気象画像）のみをサーバ１０に要求する。
Therefore, the
サーバ１０の制御部１１は、ユーザ端末２０から１週間分の気象画像を要求された場合、気象コンテンツＤＢ１２ａに記憶してある日時を参照して、現在日時を起点として過去の１週間分の気象画像のデータを気象コンテンツＤＢ１２ａから読み出す（Ｓ７４）。例えば制御部１１は、気象コンテンツＤＢに記憶してある日時のうちから、現在日時から過去の１週間に含まれる日時を抽出し、抽出した日時に対応する気象画像のデータを、各データの日時と共に読み出す。なお、制御部１１は、１週間分の気象画像のデータとして、１２時間毎に１枚の気象画像のデータを読み出してもよく、６時間毎に１枚の気象画像のデータを読み出してもよく、これらに限定されない。
When the
制御部１１は、気象コンテンツＤＢ１２ａから読み出した１週間分の気象画像のデータをネットワークＮ経由でユーザ端末２０へ送信する（Ｓ７５）。このとき制御部１１は、気象コンテンツＤＢ１２ａから読み出した気象画像のデータのそれぞれに、各データの日時を含むファイル名を付与し、ファイル名の順に１週間分の気象画像のデータを組み合わせることにより、気象画像の時系列データ（動画像）を生成する。よって、ユーザ端末２０は、正距円筒図法で表された気象画像の時系列データをサーバ１０から取得（ダウンロード）することができる。ユーザ端末２０の制御部２１は、サーバ１０から取得した気象画像の時系列データ（１週間分の気象画像のデータ）を記憶部２２に記憶する（Ｓ７６）。
The
そして、制御部２１は、図６及び図７中のステップＳ２７～Ｓ２９又はＳ３７～Ｓ３９と同様の処理を行い、カメラ２６によってアースボール３０の撮影画像を取得し（Ｓ７７）、撮影画像に基づいてアースボール３０の撮影範囲を特定し（Ｓ７８）、特定した撮影範囲に基づいて、サーバ１０から取得した１週間分の気象画像のデータから、アースボール３０の撮影画像に重ねて表示させるＡＲ画像を生成する（Ｓ７９）。ここでは制御部２１は、正距円筒図法で表された１週間分の気象画像のデータのそれぞれに基づいて円形の気象画像を生成することにより、１週間分の円形の気象画像の時系列データ（動画データ）を生成する。そして制御部２１は、生成したＡＲ画像（１週間分の気象画像のデータ）を再生するための再生画面を生成して表示部２５に表示する（Ｓ８０）。再生画面は、図１４右側に示すように、アースボール３０の撮影画像に、生成したＡＲ画像を重ねて表示し、ＡＲ画像（１週間分の気象画像）の再生処理を指示する再生操作ボタンＢ４を表示する。なお、再生画面において、制御部２１は、生成したＡＲ画像（１週間分の気象画像の時系列データ）のうちの１つのＡＲ画像（例えば最初のＡＲ画像）を重ねて表示する。
Then, the
図１４右側の画面中の再生操作ボタンＢ４は、左から順に、ＡＲ画像の再生開始を指示するための再生ボタン、１コマ前のＡＲ画像（１つ前のＡＲ画面）に戻す指示を行うためのコマ戻しボタン、１コマ後のＡＲ画像（次のＡＲ画像）の表示を指示するためのコマ送りボタンを有し、これらのボタンの上側に、１週間分の気象画像のうちの任意の時間（時刻）を指定するためのシークバーを有する。制御部２１は、再生操作ボタンＢ４が操作されたか否かを判断しており（Ｓ８１）、再生操作ボタンＢ４のいずれかのボタンが操作されたと判断した場合（Ｓ８１：ＹＥＳ）、操作されたボタンに対応する再生処理を行う（Ｓ８２）。例えば再生ボタンが操作された場合、制御部２１は、アースボール３０の撮影画像に重ねて表示中のＡＲ画像から順に、１週間分の気象画像を順次表示する。なお、制御部２１は、１週間分の気象画像において、過去の日時から未来の日時の順に、それぞれの気象画像（ＡＲ画像）を表示する。またコマ戻しボタン又はコマ送りボタンが操作された場合、制御部２１は、アースボール３０の撮影画像に重ねて表示されるＡＲ画像を、表示中のＡＲ画像の１つ前の気象画像（ＡＲ画像）又は１つ後の気象画像（ＡＲ画像）に変更する。またシークバーが操作された場合、制御部２１は、１週間のうちで、シークバーで指定された日時を特定し、特定した日時に対応する気象画像（ＡＲ画像）を、表示画面中のアースボール３０の撮影画像に重ねて表示する。これにより、制御部２１は、アースボール３０の撮影画像に重ねて表示するＡＲ画像に対して、再生操作ボタンＢ４を介して指示された再生処理を実行することができる。
The playback operation button B4 in the screen on the right side of FIG. 14 is a playback button for instructing the start of playback of the AR image in order from the left, and is for instructing to return to the AR image one frame before (the previous AR screen). It has a frame back button and a frame advance button for instructing the display of the AR image (next AR image) after one frame, and above these buttons, any time of the weather image for one week. It has a seek bar for specifying (time). The
再生操作ボタンＢ４が操作されていないと判断した場合（Ｓ８１：ＮＯ）、制御部２１はステップＳ８２をスキップし、例えば入力部２４を介して処理の終了が指示されたか否かを判断する（Ｓ８３）。処理の終了が指示されていないと判断した場合（Ｓ８３：ＮＯ）、制御部２１は、ステップＳ８１に戻り、再生操作ボタンＢ４に対して行われた操作に応じた再生処理を繰り返す。処理の終了が指示されたと判断した場合（Ｓ８３：ＹＥＳ）、制御部２１は処理を終了する。上述した処理により、雲分布画像、雨量分布画像又は気温分布画像の各気象画像について、入力部２４を介したユーザの操作に応じて、２４時間分の気象画像を表示させるか、１週間分の気象画像を表示させるかを切り替えることができる。よって、ユーザが２４時間分の気象画像を見たいか、１週間分の気象画像を見たいかに応じて、それぞれの気象画像をユーザに提供することができる。なお、上述したように２４時間分の気象画像又は１週間分の気象画像が表示されている場合でも、アースボール３０の撮影範囲が変更される都度、アースボール３０の撮影範囲に応じた気象コンテンツのＡＲ画像がリアルタイムで切り替えられて表示される。よって、ユーザがアースボール３０を手に持って回す、又はカメラ２６によるアースボール３０の撮影方向を変更することによってアースボール３０の撮影範囲を変更することにより、変更された撮影範囲に応じて、アースボール３０の撮影画像に重畳されるＡＲ画像（気象コンテンツ）がリアルタイムで更新される。
When it is determined that the playback operation button B4 is not operated (S81: NO), the
本実施形態では、過去の気象に関する気象画像をＡＲ画像に利用する構成であるが、これに限定されない。例えば天気予報に基づく将来の雲分布画像、雨量分布画像又は気温分布画像を用いて、将来の気象に関するＡＲ画像を生成するように構成されていてもよい。また、ＡＲ画像に用いるコンテンツは、気象画像に限定されず、時々刻々と変化する地球の状態を示すコンテンツを用いてもよい。例えば、衛星から地球を撮影した衛星写真を用いてＡＲ画像を生成するように構成されていてもよい。この場合、サーバ１０は、衛星写真を公開しているウェブサーバから定期的に衛星写真をダウンロードしておき、ユーザ端末２０からの要求に応じて衛星写真をユーザ端末２０に提供する。これにより、ユーザ端末２０は、サーバ１０から取得した衛星写真を用いて、アースボール３０の撮影画像に重ねて表示するＡＲ画像を生成することができ、衛星写真を用いたＡＲ画像の表示が可能となる。
In the present embodiment, a meteorological image related to past weather is used as an AR image, but the present embodiment is not limited to this. For example, a future cloud distribution image, a rainfall distribution image, or a temperature distribution image based on a weather forecast may be used to generate an AR image relating to the future weather. Further, the content used for the AR image is not limited to the meteorological image, and the content showing the state of the earth changing from moment to moment may be used. For example, it may be configured to generate an AR image using a satellite image taken of the earth from a satellite. In this case, the
（実施形態２）
異なる種類のアースボールを被写体として撮影するＡＲシステムについて説明する。異なる種類のアースボールとは、球体の表面に印刷されたＡＲマーカが異なるアースボールである。なお、異なる種類のアースボールは、球体のサイズ等が異なっていてもよい。本実施形態のユーザ端末２０は、異なる種類のアースボールに対して、異なるマーカ認識システムを用いてマーカを認識する。従って、本実施形態のＡＲアプリ２２ＡＰは、それぞれの種類のアースボールについてそれぞれのＡＲマーカを認識するマーカ認識処理を実現する。本実施形態のＡＲシステムは、実施形態１のＡＲシステムと同様の装置にて実現できるので、構成についての詳細な説明は省略する。
(Embodiment 2)
An AR system that shoots different types of earth balls as subjects will be described. Different types of earth balls are earth balls with different AR markers printed on the surface of the sphere. The different types of earth balls may have different sphere sizes and the like. The
図１５はアースボールの他の構成例を示す模式図である。図１５に示すアースボール５０（地球儀）は、例えば空気を充填することにより球体となるＰＶＣ（ポリ塩化ビニル）製のボールであるが、これに限らない。アースボール５０の表面には、地球上の地図が印刷されており、地図中の適宜位置にＡＲマーカが付されている。図１５に示す例では、地図中の海及び大陸のそれぞれに名称が付されており、各国及び都市のそれぞれに国名及び都市名が付されている。これらの文字はＡＲマーカとして使用される。また、図１５では省略しているが、地図中に各国の国境線が含まれており、国境線もＡＲマーカとして使用される。また、地図中の河川、平野、山脈等は地形毎に所定の色で色分けされており、各色もＡＲマーカとして使用される。更に、地図中の海にはそれぞれの海、海域等を識別するために所定のマークＭ１～Ｍ４（例えば船のマークＭ１、Ｍ２、亀又はカモメ等の動物のマークＭ３、Ｍ４）が付されている。また、地図中の大陸にはそれぞれの大陸、地域等を識別するために所定のマークＭ５～Ｍ７が付されている。これらのマークＭ１～Ｍ７もＡＲマーカとして使用される。
FIG. 15 is a schematic view showing another configuration example of the earth ball. The earth ball 50 (the Decorative Globe) shown in FIG. 15 is, for example, a ball made of PVC (polyvinyl chloride) that becomes a sphere by being filled with air, but is not limited to this. A map on the earth is printed on the surface of the
アースボール５０についても、アースボール５０の表面に印刷されている各ＡＲマーカには、それぞれ地球上の位置情報（経度及び緯度の情報）が対応付けられており、各ＡＲマーカ及び位置情報の対応情報は、ＡＲアプリ２２ＡＰ内に設定されている。よって、ユーザ端末２０の制御部２１は、アースボール５０を撮影した場合に、撮影画像中に認識したＡＲマーカに対応付けられている位置情報（経度及び緯度の情報）を特定することにより、アースボール５０の撮影範囲を特定することができる。
As for the
図１６は、実施形態２のＡＲ画像の表示処理手順の一例を示すフローチャートである。図１６に示す処理は、図６及び図７に示す処理において、ステップＳ２２，Ｓ２３の間にステップＳ９１を追加し、ステップＳ２８の代わりにステップＳ９２～Ｓ９４を追加したものである。図６及び図７と同じステップについては説明を省略し、図１６では図６及び図７中のステップＳ３１～Ｓ４２の図示を省略している。 FIG. 16 is a flowchart showing an example of the AR image display processing procedure of the second embodiment. In the process shown in FIG. 16, in the processes shown in FIGS. 6 and 7, step S91 is added between steps S22 and S23, and steps S92 to S94 are added instead of step S28. The description of the same steps as those in FIGS. 6 and 7 is omitted, and the illustrations of steps S31 to S42 in FIGS. 6 and 7 are omitted in FIG.
本実施形態のＡＲシステムにおいて、ユーザ端末２０の制御部２１は、図６中のステップＳ２１～Ｓ２２の処理を行う。そして制御部２１は、カメラ２６による撮影によって順次取得するアースボールの撮影画像に基づいて、撮影対象のアースボールの種類を特定する（Ｓ９１）。ここでは、制御部２１は、撮影対象のアースボールが、国境線及び国名等が印刷されていないアースボール３０であるか、国境線及び国名、並びに各種マークＭ１～Ｍ７等が印刷されているアースボール５０であるかを特定する。具体的には、制御部２１は、撮影画像中のアースボールにおいて、国境線の有無、文字の有無、所定のマークＭ１～Ｍ７の有無等を判定し、いずれかが有ると判断した場合、アースボール５０であると特定し、いずれも無いと判断した場合、アースボール３０であると特定する。
In the AR system of the present embodiment, the
その後、ユーザ端末２０の制御部２１及びサーバ１０の制御部１１は、図６中のステップＳ２３～Ｓ２７の処理を行う。これにより、ユーザ端末２０は、サーバ１０から２４時間分の雲分布画像のデータをダウンロードして記憶部２２に記憶し（Ｓ２６）、カメラ２６により撮影したアースボールの撮影画像を取得する（Ｓ２７）。次に制御部２１は、ステップＳ９１で特定したアースボールが、国境線及び国名を含む各種のマーク（図１５ではマークＭ１～Ｍ７等）が印刷されていないマーク無しのアースボール３０であったか否かを判断する（Ｓ９２）。即ち、制御部２１は、特定したアースボールが、図１に示すようなアースボール３０であったか否かを判断する。
After that, the
マーク無しのアースボール３０であったと判断した場合（Ｓ９２：ＹＥＳ）、制御部２１は、図６中のステップＳ２８と同様の処理を行う。具体的には、制御部２１は、ステップＳ２７で取得したアースボール３０の撮影画像中の地図（大陸図３１及び海洋図３２）及び雲マーク３３をＡＲマーカとして認識し、認識したＡＲマーカに基づいて、アースボール３０における撮影範囲を特定する（Ｓ９３）。一方、国境線及び国名を含む各種のマークが印刷されたマーク有りのアースボール５０であったと判断した場合（Ｓ９２：ＮＯ）、制御部２１は、ステップＳ９４の処理に移行する。そして制御部２１は、ステップＳ２７で取得したアースボール５０の撮影画像中の地図、地図中の海、大陸、国、都市等の名称、国境線、地形毎の色、各種のマークＭ１～Ｍ７をＡＲマーカとして認識し、認識したＡＲマーカに基づいて、アースボール５０における撮影範囲を特定する（Ｓ９４）。
When it is determined that the
その後、制御部２１は、サーバ１０から取得した雲分布画像のデータと、ステップＳ９３又はＳ９４で特定したアースボール３０，５０の撮影範囲とに基づいて、アースボール３０，５０の撮影画像に重ねて表示させるＡＲ画像を生成する（Ｓ２９）。そして制御部２１は、ステップＳ３０以降の処理を行う。これにより、本実施形態においても、アースボール３０，５０の撮影画像に対して、円形に処理された雲分布画像、雨量分布画像又は気温分布画像等の気象画像のＡＲ画像を重ねて表示することができる。なお、アースボール３０，５０は、それぞれの撮影範囲を特定する際に使用するＡＲマーカが異なるだけであり、制御部２１は、アースボール３０，５０の撮影範囲を特定した後は、同様の処理によってＡＲ画像を生成してアースボール３０，５０の撮影画像に重ねて表示することができる。また、本実施形態においても、ユーザがアースボール３０，５０を手に持って回す、又はカメラ２６によるアースボール３０，５０の撮影方向を変更することによってアースボール３０，５０の撮影範囲が変更された場合に、変更された撮影範囲に応じて、アースボール３０，５０の撮影画像に重ねて表示するＡＲ画像（気象コンテンツ）をリアルタイムで更新できる。
After that, the
本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、異なるＡＲマーカが印刷された異なる種類のアースボール３０，５０に対してＡＲシステムを利用することができる。よって、異なる種類のアースボール３０，５０のいずれであっても、アースボール３０，５０を撮影することにより、アースボール３０，５０の撮影画像に地球上の気象に関する気象コンテンツを重ねて表示することができる。またユーザは、アースボール３０，５０上の任意の場所を撮影することによって、気象コンテンツを見たい地球上の場所を指定できるので操作性がよい。本実施形態においても、上述した実施形態１で適宜説明した変形例の適用が可能である。
In this embodiment, the same effect as that of the first embodiment described above can be obtained. Further, in the present embodiment, the AR system can be used for different types of
上述した各実施形態では、ユーザ端末２０はＡＲアプリ２２ＡＰを起動した場合に、雨量分布画像及び気温分布画像の気象コンテンツをサーバ１０からダウンロードせずに、雲分布画像の気象コンテンツをサーバ１０からダウンロードし、雲分布画像をＡＲ画像として使用する構成であったが、この構成に限定されない。例えば、ユーザ端末２０がＡＲアプリ２２ＡＰを起動した場合に、雨量分布画像又は気温分布画像の気象コンテンツをサーバ１０からダウンロードして雨量分布画像又は気温分布画像をＡＲ画像として使用するように構成されていてもよい。
In each of the above-described embodiments, when the
以上の各実施形態に関し、さらに以下の付記を開示する。 The following additional notes will be further disclosed with respect to each of the above embodiments.
（付記１）
世界の第１気象情報を正距円筒図法で示す第１気象画像の時系列データをダウンロードし、
世界の第２気象情報を正距円筒図法で示す第２気象画像の時系列データをダウンロードし、
世界の第３気象情報を正距円筒図法で示す第３気象画像の時系列データをダウンロードし、
第１気象画像、第２気象画像、又は第３気象画像のいずれかひとつを選択するための第１画像アイコン、第２画像アイコン、又は第３画像アイコンを選択可能に表示し、
カメラから地球儀の撮影画像を取得し、
前記第１画像アイコンが選択された場合に、正距円筒図法の各第１気象画像を、取得した前記撮影画像中の地球儀全体を覆い、かつ、前記地球儀上に描かれた画像に合致するように補正しながら、時系列で連続する補正後の第１気象画像を連続再生する
処理をコンピュータに実行させるプログラム。
(Appendix 1)
Download the time-series data of the first meteorological image showing the world's first meteorological information in equirectangular projection.
Download the time-series data of the second meteorological image showing the second meteorological information of the world in equirectangular projection.
Download the time series data of the 3rd meteorological image showing the 3rd meteorological information of the world in equirectangular projection.
A first image icon, a second image icon, or a third image icon for selecting any one of the first meteorological image, the second meteorological image, or the third meteorological image is displayed in a selectable manner.
Get the captured image of the globe from the camera and
When the first image icon is selected, each first meteorological image in equirectangular projection covers the entire globe in the acquired captured image and matches the image drawn on the globe. A program that causes a computer to continuously play back the corrected first meteorological image in chronological order while making corrections to.
（付記２）
世界の雲分布を正距円筒図法で示す雲分布画像の時系列データをダウンロードし、
世界の雨量分布を正距円筒図法で示す雨量分布画像の時系列データをダウンロードし、
世界の気温分布を正距円筒図法で示す気温分布画像の時系列データをダウンロードし、
雲分布画像、雨量分布画像、又は気温分布画像のいずれかひとつを選択するための雲画像アイコン、雨量画像アイコン、又は気温画像アイコンを選択可能に表示し、
カメラから、国境線及び国名の記載がなく、大陸図及び海洋図、並びに前記海洋図上にダミーの雲画像が描画された地球儀、或いは、国境線及び国名の記載があり、大陸図及び海洋図が描画された地球儀の撮影画像を取得し、
取得した前記撮影画像に基づいて、撮影対象の地球儀が、国境線及び国名の記載がない地球儀、或いは、国境線及び国名の記載がある地球儀のいずれであるかを判定し、
前記国境線及び国名の記載がない地球儀である場合、前記大陸図又はダミーの雲画像に基づいて、前記撮影画像中の地球儀の撮影領域を特定し、前記国境線及び国名の記載がある地球儀である場合、前記大陸図、国境線又は国名に基づいて、前記撮影画像中の地球儀の撮影領域を特定し、
特定した前記地球儀の撮影領域に基づいて、正距円筒図法の各雲分布画像、各雨量分布画像、又は各気温分布画像のいずれかを、前記撮影画像中の地球儀全体を覆い、かつ、前記地球儀上に描かれた画像に合致するように補正しながら、時系列で連続する補正後の雲分布画像、各雨量分布画像、又は各気温分布画像のいずれかを連続再生する
処理をコンピュータに実行させるプログラム。
(Appendix 2)
Download the time series data of the cloud distribution image showing the cloud distribution in the world by equirectangular projection.
Download the time-series data of the rainfall distribution image showing the world rainfall distribution in equirectangular projection.
Download the time-series data of the temperature distribution image showing the world temperature distribution in equirectangular projection,
A cloud image icon, a rain amount image icon, or a temperature image icon for selecting any one of a cloud distribution image, a rainfall distribution image, or a temperature distribution image is displayed in a selectable manner.
From the camera, there is no description of the border line and country name, but there is a continental map and ocean map, and a globe with a dummy cloud image drawn on the ocean map, or there is a description of the border line and country name, and the continental map and ocean map. Get the captured image of the globe drawn by
Based on the acquired image, it is determined whether the globe to be photographed is a globe without a border line and a country name, or a globe with a border line and a country name.
In the case of a globe without the border line and country name, the shooting area of the globe in the captured image is specified based on the continental map or the dummy cloud image, and the globe with the border line and country name is described. If so, identify the area of the globe in the image based on the continental map, borders, or country names.
Based on the identified imaging area of the globe, either the cloud distribution image, the rainfall distribution image, or the temperature distribution image of equirectangular projection covers the entire globe in the captured image, and the globe is covered. Have the computer execute the process of continuously playing back any of the corrected cloud distribution image, each rainfall distribution image, or each temperature distribution image in chronological order while correcting to match the image drawn above. program.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time should be considered to be exemplary in all respects and not restrictive. The scope of the present invention is indicated by the scope of claims, not the above-mentioned meaning, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
１０ サーバ
１１ 制御部
１２ 記憶部
１３ 通信部
２０ ユーザ端末
２１ 制御部
２２ 記憶部
２３ 通信部
２５ 表示部
２６ カメラ
３０ アースボール
３１ 大陸図
３２ 海洋図
３３ 雲マーク
４０ 気象サーバ
５０ アースボール
１２ａ 気象コンテンツＤＢ
10
Claims (8)
世界の雨量分布を正距円筒図法で示す雨量分布画像の時系列データをダウンロードし、
世界の気温分布を正距円筒図法で示す気温分布画像の時系列データをダウンロードし、
雲分布画像、雨量分布画像、又は気温分布画像のいずれかひとつを選択するための雲画像アイコン、雨量画像アイコン、又は気温画像アイコンを選択可能に表示し、
カメラから地球儀の撮影画像を取得し、
前記雲画像アイコンが選択された場合に、正距円筒図法の各雲分布画像を、取得した前記撮影画像中の地球儀全体を覆い、かつ、前記地球儀上に描かれた画像に合致するように補正しながら、時系列で連続する補正後の雲分布画像を連続再生する
処理をコンピュータに実行させるプログラム。 Download the time series data of the cloud distribution image showing the cloud distribution in the world by equirectangular projection.
Download the time-series data of the rainfall distribution image showing the world rainfall distribution in equirectangular projection.
Download the time-series data of the temperature distribution image showing the world temperature distribution in equirectangular projection,
A cloud image icon, a rain amount image icon, or a temperature image icon for selecting any one of a cloud distribution image, a rainfall distribution image, or a temperature distribution image is displayed in a selectable manner.
Get the captured image of the globe from the camera and
When the cloud image icon is selected, each cloud distribution image in equirectangular projection is corrected so as to cover the entire globe in the acquired captured image and match the image drawn on the globe. A program that causes a computer to continuously play back corrected cloud distribution images in chronological order.
起動命令を受け付けた場合に、前記雨量分布画像の時系列データ及び気温分布画像の時系列データをダウンロードせずに、前記雲分布画像の時系列データのダウンロード要求をサーバコンピュータに対して実行し、
ダウンロードした前記雲分布画像を補正した補正後の雲分布画像を連続再生しているときに、前記雨量画像アイコンが選択された場合、前記雨量分布画像の時系列データのダウンロード要求をサーバコンピュータに対して実行する
処理を前記コンピュータに実行させる請求項１に記載のプログラム。 Accept the start command,
When the start command is received, the server computer is executed with a download request for the time-series data of the cloud distribution image without downloading the time-series data of the rainfall distribution image and the time-series data of the temperature distribution image.
If the rain amount image icon is selected while the corrected cloud distribution image corrected by the downloaded cloud distribution image is continuously played, a request to download the time-series data of the rain amount distribution image is sent to the server computer. The program according to claim 1, wherein the computer executes the processing to be executed.
前記雲分布画像、雨量分布画像、又は気温分布画像のいずれかを連続再生しているときに、前記撮影画像中の地球儀上に国境線及び国名を重ねて表示するか否かの切替命令を受け付け、
国境線及び国名を重ねて表示する切替命令を受け付けた場合、前記撮影画像中の地球儀上に、国境線及び国名と、補正後の雲分布画像、雨量分布画像、又は気温分布画像とを重ねて表示する
処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。 The above-mentioned globe is a globe without a border line and a country name.
When one of the cloud distribution image, the rainfall distribution image, and the temperature distribution image is continuously reproduced, a switching command for whether or not to display the border line and the country name on the globe in the captured image is accepted. ,
When a switching command to display the border line and country name in an overlapping manner is received, the border line and country name are superimposed on the globe in the captured image, and the corrected cloud distribution image, rainfall distribution image, or temperature distribution image is superimposed. The program according to claim 1 or 2, which causes the computer to execute the process to be displayed.
前記大陸図又はダミーの雲画像に基づいて、取得した前記撮影画像中の地球儀の中心位置を特定し、
特定した中心位置を中心とし、前記撮影画像中の地球儀上に描かれた画像に合致するように、正距円筒図法の前記雲分布画像、雨量分布画像、又は気温分布画像を補正する
処理を前記コンピュータに実行させる請求項１から３までのいずれかひとつに記載のプログラム。 The globe is a continental map, an ocean map, and a globe on which a dummy cloud image is drawn on the ocean map.
Based on the continental map or the dummy cloud image, the center position of the globe in the acquired captured image is specified.
The process of correcting the cloud distribution image, the rainfall distribution image, or the temperature distribution image of the equirectangular projection so as to match the image drawn on the globe in the captured image with the specified center position as the center is described above. The program according to any one of claims 1 to 3 to be executed by a computer.
特定した中心位置に基づいて、前記正距円筒図法の前記雲分布画像、雨量分布画像、又は気温分布画像を補正する
処理を前記コンピュータに実行させる請求項１から４までのいずれかひとつに記載のプログラム。 If the image on the globe in the acquired image is changed while any one of the cloud distribution image, the rainfall distribution image, or the temperature distribution image is continuously reproduced, the image in the photographed image after the change is changed. Identify the center position of the globe in real time and
The invention according to any one of claims 1 to 4, wherein the computer is made to perform a process of correcting the cloud distribution image, the rainfall distribution image, or the temperature distribution image of the equirectangular projection based on the specified center position. program.
前記プロセッサが、
世界の雲分布を正距円筒図法で示す雲分布画像の時系列データをダウンロードし、
世界の雨量分布を正距円筒図法で示す雨量分布画像の時系列データをダウンロードし、
世界の気温分布を正距円筒図法で示す気温分布画像の時系列データをダウンロードし、
雲分布画像、雨量分布画像、又は気温分布画像のいずれかひとつを選択するための雲画像アイコン、雨量画像アイコン、又は気温画像アイコンを選択可能に前記表示部に表示し、
カメラから地球儀の撮影画像を取得し、
前記雲画像アイコンが選択された場合に、正距円筒図法の各雲分布画像を、取得した前記撮影画像中の地球儀全体を覆い、かつ、前記地球儀上に描かれた画像に合致するように補正しながら、時系列で連続する補正後の雲分布画像を連続再生する
情報処理装置。 In an information processing device including a processor and a display unit
The processor
Download the time series data of the cloud distribution image showing the cloud distribution in the world by equirectangular projection.
Download the time-series data of the rainfall distribution image showing the world rainfall distribution in equirectangular projection.
Download the time-series data of the temperature distribution image showing the world temperature distribution in equirectangular projection,
A cloud image icon, a rain amount image icon, or a temperature image icon for selecting any one of a cloud distribution image, a rainfall distribution image, or a temperature distribution image can be selected and displayed on the display unit.
Get the captured image of the globe from the camera and
When the cloud image icon is selected, each cloud distribution image in equirectangular projection is corrected so as to cover the entire globe in the acquired captured image and match the image drawn on the globe. An information processing device that continuously reproduces corrected cloud distribution images in chronological order.
世界の雨量分布を正距円筒図法で示す雨量分布画像の時系列データをダウンロードし、
世界の気温分布を正距円筒図法で示す気温分布画像の時系列データをダウンロードし、
雲分布画像、雨量分布画像、又は気温分布画像のいずれかひとつを選択するための雲画像アイコン、雨量画像アイコン、又は気温画像アイコンを選択可能に表示し、
カメラから地球儀の撮影画像を取得し、
前記雲画像アイコンが選択された場合に、正距円筒図法の各雲分布画像を、取得した前記撮影画像中の地球儀全体を覆い、かつ、前記地球儀上に描かれた画像に合致するように補正しながら、時系列で連続する補正後の雲分布画像を連続再生する
処理をコンピュータが実行する情報処理方法。 Download the time series data of the cloud distribution image showing the cloud distribution in the world by equirectangular projection.
Download the time-series data of the rainfall distribution image showing the world rainfall distribution in equirectangular projection.
Download the time-series data of the temperature distribution image showing the world temperature distribution in equirectangular projection,
A cloud image icon, a rain amount image icon, or a temperature image icon for selecting any one of a cloud distribution image, a rainfall distribution image, or a temperature distribution image is displayed in a selectable manner.
Get the captured image of the globe from the camera and
When the cloud image icon is selected, each cloud distribution image in equirectangular projection is corrected so as to cover the entire globe in the acquired captured image and match the image drawn on the globe. An information processing method in which a computer executes a process of continuously reproducing a corrected cloud distribution image that is continuous in time series.
世界の雲分布を正距円筒図法で示す雲分布画像の時系列データをダウンロードし、前記雲分布画像に日時情報を付与して記憶部に記憶し、
世界の雨量分布を正距円筒図法で示す雨量分布画像の時系列データをダウンロードし、前記雨量分布画像に日時情報を付与して記憶部に記憶し、
世界の気温分布を正距円筒図法で示す気温分布画像の時系列データをダウンロードし、前記気温分布画像に日時情報を付与して記憶部に記憶し、
前記ユーザがアプリケーションをインストールした端末装置から起動信号を受信した場合、前記雨量分布画像の時系列データ及び気温分布画像の時系列データを読み出さずに、前記記憶部に記憶した日時情報を参照して、現在日時を起点として所定期間分の前記雲分布画像の時系列データを読み出し、
読み出した前記雲分布画像の時系列データを前記端末装置へ送信する
処理をコンピュータが実行する情報処理方法。 It provides users with a globe with no borders or country names drawn on it.
The time-series data of the cloud distribution image showing the cloud distribution in the world by equirectangular projection is downloaded, the date and time information is added to the cloud distribution image, and the data is stored in the storage unit.
The time-series data of the rainfall distribution image showing the world rainfall distribution by equirectangular projection is downloaded, the date and time information is added to the rainfall distribution image, and the data is stored in the storage unit.
The time series data of the temperature distribution image showing the temperature distribution in the world by equirectangular projection is downloaded, the date and time information is added to the temperature distribution image, and the data is stored in the storage unit.
When the user receives the start signal from the terminal device in which the application is installed, the time-series data of the rainfall distribution image and the time-series data of the temperature distribution image are not read out, but the date and time information stored in the storage unit is referred to. , Read the time-series data of the cloud distribution image for a predetermined period starting from the current date and time,
An information processing method in which a computer executes a process of transmitting the time-series data of the read cloud distribution image to the terminal device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020147585A JP2022042249A (en) | 2020-09-02 | 2020-09-02 | Program, information processing device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020147585A JP2022042249A (en) | 2020-09-02 | 2020-09-02 | Program, information processing device and information processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022042249A true JP2022042249A (en) | 2022-03-14 |
Family
ID=80629338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020147585A Pending JP2022042249A (en) | 2020-09-02 | 2020-09-02 | Program, information processing device and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022042249A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7449436B1 (en) | 2023-09-01 | 2024-03-13 | 株式会社ほぼ日 | Program, information processing method, and information processing device |
-
2020
- 2020-09-02 JP JP2020147585A patent/JP2022042249A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7449436B1 (en) | 2023-09-01 | 2024-03-13 | 株式会社ほぼ日 | Program, information processing method, and information processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11381758B2 (en) | System and method for acquiring virtual and augmented reality scenes by a user | |
| US11854149B2 (en) | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes | |
| CN103155538B (en) | Image display device and method for displaying image | |
| JP5250598B2 (en) | Image display device and image display method | |
| CN102483859B (en) | Panoramic image display device and panoramic image display method | |
| WO2015010165A1 (en) | Geo-located activity visualisation, editing and sharing | |
| US10818055B2 (en) | Computer readable media, information processing apparatus and information processing method | |
| JP2022042249A (en) | Program, information processing device and information processing method | |
| JP2001215941A (en) | Image display method and device | |
| WO2024022070A1 (en) | Picture display method and apparatus, and device and medium | |
| CN111246096B (en) | System and method for generating three-dimensional panoramic roaming model | |
| US11726740B2 (en) | Immersive audio tours | |
| CN115767291A (en) | Virtual photographing method, device, equipment and storage medium | |
| TW202322057A (en) | 3d road scene generation system for simulating a real environment and method thereof | |
| CN116152423A (en) | Virtual reality live broadcasting room illumination processing method, device, equipment and storage medium | |
| JP2020135416A (en) | Information processing device and program | |
| JP2014082764A (en) | Image display device, image display method, server apparatus and image data structure | |
| JP2019091456A (en) | Program, information processor, and method for processing information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200925 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230802 |