JP2018124925A - Terminal device and program - Google Patents

Terminal device and program Download PDF

Info

Publication number
JP2018124925A
JP2018124925A JP2017018886A JP2017018886A JP2018124925A JP 2018124925 A JP2018124925 A JP 2018124925A JP 2017018886 A JP2017018886 A JP 2017018886A JP 2017018886 A JP2017018886 A JP 2017018886A JP 2018124925 A JP2018124925 A JP 2018124925A
Authority
JP
Japan
Prior art keywords
guide
information
guide image
terminal device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017018886A
Other languages
Japanese (ja)
Other versions
JP6523353B2 (en
Inventor
健治 横田
Kenji Yokota
健治 横田
修 水田
Osamu Mizuta
修 水田
義浩 伊藤
Yoshihiro Ito
義浩 伊藤
祥一 大川
Shoichi Okawa
祥一 大川
和彦 増崎
Kazuhiko Masuzaki
和彦 増崎
あかり 山崎
Akari Yamazaki
あかり 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017018886A priority Critical patent/JP6523353B2/en
Publication of JP2018124925A publication Critical patent/JP2018124925A/en
Application granted granted Critical
Publication of JP6523353B2 publication Critical patent/JP6523353B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a terminal device which easily identifies a location or the like where guidance is provided in a predetermined area.SOLUTION: A terminal device includes: a display; imaging means; holding means which holds three-dimensional map information of a predetermined area, and guidance information including information representing a location where a guidance image is displayed and guidance image information indicating the guidance image; and processing means for displaying on the display, when a determination is made that the guidance image display location is included in a captured image captured by the imaging means and displayed on the display, on the basis of the three-dimensional map information, the guidance image superimposed in the guidance image display location on the captured image.SELECTED DRAWING: Figure 5

Description

本発明は、携帯型の端末装置を使用した所定エリアの案内技術に関する。   The present invention relates to a predetermined area guidance technique using a portable terminal device.

特許文献１は、音声ガイド装置を開示している。これら、音声ガイド装置は、例えば、美術館といった所定エリアにおける展示物を音声で説明するために利用者に貸し出されたりしている。   Patent Document 1 discloses an audio guide device. These voice guide devices are rented out to users in order to explain the exhibits in a predetermined area such as an art museum by voice.

特開平８−２６３００６号公報JP-A-8-263006

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞Tango, [online], [January 10, 2017 search], Internet, <URL: https: // get. Google. com / tango />

しかしながら、総ての展示物に対して音声ガイドが用意されている訳ではなく、ガイド装置を使用している来訪者は展示物の近傍に表示されている番号等を見て初めて音声ガイドが用意されている展示物を認識できる。   However, voice guides are not provided for all exhibits, and visitors using guide devices are prepared for the first time by looking at the numbers displayed near the exhibits. You can recognize the displayed exhibits.

本発明は、所定エリア内においてガイドが用意されている場所等を容易に認識できる端末装置を提供するものである。   The present invention provides a terminal device capable of easily recognizing a place where a guide is prepared in a predetermined area.

本発明の一態様によると、端末装置は、ディスプレイと、撮像手段と、所定エリアの３次元地図情報と、案内画像表示場所を示す情報及び案内画像を示す案内画像情報を含む案内情報と、を保持する保持手段と、前記３次元地図情報に基づき、前記撮像手段が撮像して前記ディスプレイに表示されている撮像画像に案内画像表示場所が含まれていると判定すると、当該撮像画像の当該案内画像表示場所に前記案内画像を重畳させて前記ディスプレイに表示する処理を行う処理手段と、を備えていることを特徴とする。   According to an aspect of the present invention, a terminal device includes a display, an imaging unit, three-dimensional map information of a predetermined area, information indicating a guide image display location, and guide information including guide image information indicating a guide image. When it is determined that the guidance image display location is included in the captured image captured by the imaging unit and displayed on the display based on the holding unit that holds and the three-dimensional map information, the guidance of the captured image Processing means for performing processing for superimposing the guide image on an image display location and displaying the image on the display.

本発明によると、所定エリア内においてガイドが用意されている場所等を容易に認識することができる。   According to the present invention, a place where a guide is prepared in a predetermined area can be easily recognized.

一実施形態による端末装置の構成図。The block diagram of the terminal device by one Embodiment. 一実施形態による制御部の機能ブロック図。The functional block diagram of the control part by one Embodiment. 案内画像表示場所の説明図。Explanatory drawing of a guidance image display place. 撮像画像の例を示す図。The figure which shows the example of a captured image. 図４の撮像画像に案内画像を重畳させて表示した例を示す図。The figure which shows the example which displayed the guidance image on the captured image of FIG. 図５の画像にさらにナビ画像を重畳させて表示した例を示す図。The figure which shows the example which displayed the navigation image further superimposed on the image of FIG.

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。   Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. In addition, the following embodiment is an illustration and does not limit this invention to the content of embodiment. In the following drawings, components that are not necessary for the description of the embodiments are omitted from the drawings.

図１は、本実施形態による端末装置の概略的な構成図である。端末装置は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度を検出して角速度情報を制御部１００に出力する。   FIG. 1 is a schematic configuration diagram of a terminal device according to the present embodiment. The terminal device is, for example, a portable communication device such as a smartphone. The speaker 101 converts an audio signal output from the control unit 100 into audio. The microphone 102 converts the sound into a sound signal and outputs the sound signal to the control unit 100. The imaging unit 103 has a lens and a CCD sensor, acquires image information, and outputs it to the control unit 100. The GPS processing unit 104 receives a signal from a GPS satellite, and outputs position information including latitude, longitude, and altitude to the control unit 100 based on the received signal. In addition, the structure which outputs a positional information based on the signal from the satellite of other positioning systems like a quasi-zenith satellite instead of a GPS satellite may be sufficient. In this embodiment, the display 105 is a touch-sensitive display, and functions as an input unit for user operation in addition to presenting information to the user. When the display is not a touch-sensitive display, an input unit is provided separately. The depth sensor 106 measures the distance (depth) to the object and outputs the measurement result to the control unit 100 as depth information. The communication unit 107 performs communication processing via a mobile communication network, a wireless LAN, or the like. The geomagnetic sensor 108 detects geomagnetism and outputs azimuth information indicating the current azimuth of the reference direction of the terminal to the control unit 100. The acceleration sensor 109 detects acceleration and outputs acceleration information to the control unit 100. The gyro sensor 110 detects angular velocity and outputs angular velocity information to the control unit 100.

制御部１００は、端末装置全体の制御部であり、１つ以上のプロセッサとメモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと、電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。   The control unit 100 is a control unit for the entire terminal device, and includes one or more processors and a memory unit. The memory unit includes a RAM used by the processor for temporarily storing data, a flash memory in which an operating system and applications executed by the processor, and data to be retained even when the power is turned off are stored. .

図２は、本実施形態を説明するための制御部１００の機能ブロック図である。場所記述情報生成部１００１は、例えば、非特許文献１に記載された技術に基づき場所記述情報を生成する。場所記述情報とは、撮像部１０３が撮像している画像から端末装置の３次元空間位置と撮像部１０３の撮像方向を判定するための情報である。まず、非特許文献１に記載された場所記述情報の生成について説明する。端末装置のユーザは、場所記述情報の取得を開始すると、撮像部１０３により画像を撮像しながら、その位置や、撮像方向を変化させる。場所記述情報生成部１００１は、場所記述情報の取得の間、その開始時の位置を原点とし、加速度情報及び角速度情報に基づき端末装置の位置や撮像方向の向きを判定し続ける。また、場所記述情報生成部１００１は、撮像部１０３が撮像している画像内の特徴点を求める。このとき、場所記述情報生成部１００１は、３次元空間における端末装置の位置や撮像方向と、画像内の同じ特徴点の位置、つまり、特徴点のスクリーン座標を判定する。これにより、場所記述情報生成部１００１は、３次元空間内の各位置及び各撮像方向において、撮像部１０３が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置は、既に生成した場所記述情報と、撮像部１０３が撮像している画像の特徴点とを比較することで、そのときの端末装置の３次元空間位置と撮像部１０３の撮像方向を判定することができる。なお、３次元空間位置の原点は、場所記述情報を開始したときの位置であるものとする。また、場所記述情報生成部１００１は、既に保存している場所記述情報と、撮像部１０３が撮像している画像の特徴点との比較により端末装置の３次元空間位置と撮像部１０３の撮像方向を判定すると同時に、撮像部１０３が撮像している画像の特徴点に基づき当該既に保存している場所記述情報の更新も行う。   FIG. 2 is a functional block diagram of the control unit 100 for explaining the present embodiment. The location description information generation unit 1001 generates location description information based on the technique described in Non-Patent Document 1, for example. The location description information is information for determining the three-dimensional space position of the terminal device and the imaging direction of the imaging unit 103 from the image captured by the imaging unit 103. First, generation of location description information described in Non-Patent Document 1 will be described. When starting the acquisition of the location description information, the user of the terminal device changes its position and imaging direction while capturing an image with the imaging unit 103. The location description information generation unit 1001 continues to determine the position of the terminal device and the direction of the imaging direction based on the acceleration information and the angular velocity information using the starting position as the origin while acquiring the location description information. Further, the location description information generation unit 1001 obtains feature points in the image captured by the imaging unit 103. At this time, the location description information generation unit 1001 determines the position and imaging direction of the terminal device in the three-dimensional space and the position of the same feature point in the image, that is, the screen coordinates of the feature point. As a result, the location description information generation unit 1001 displays location description information indicating where each feature point can be seen in the image captured by the imaging unit 103 at each position and each imaging direction in the three-dimensional space. Generate. Therefore, the terminal device compares the already generated place description information with the feature points of the image captured by the image capturing unit 103, so that the three-dimensional spatial position of the terminal device and the image capturing direction of the image capturing unit 103 at that time are compared. Can be determined. Note that the origin of the three-dimensional space position is the position when the location description information is started. Also, the location description information generation unit 1001 compares the location description information already stored with the feature points of the image captured by the imaging unit 103, and the 3D spatial position of the terminal device and the imaging direction of the imaging unit 103. At the same time, the already-stored location description information is updated based on the feature points of the image captured by the imaging unit 103.

上述した様に、場所記述情報は、端末装置の位置及び撮像方向と、撮像部１０３が撮像した画像内にある各オブジェクトの各特徴点のスクリーン座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の３次元空間位置の座標を示す３次元空間情報を生成することができる。即ち、場所記述情報のうちの異なる位置及び撮像方向の組み合わせに対応する情報につき、同一の特徴点のスクリーン座標での移動を考慮することで奥行き方向の情報を得、該特徴点の３次元空間位置を導出することができる。   As described above, the location description information is information indicating the relationship between the position and imaging direction of the terminal device and the position of each feature point of each object in the image captured by the imaging unit 103 in the screen coordinates. Based on the location description information, three-dimensional space information indicating the coordinates of the three-dimensional space position of each feature point can be generated. That is, with respect to information corresponding to combinations of different positions and imaging directions in the location description information, information in the depth direction is obtained by considering the movement of the same feature points on the screen coordinates, and the three-dimensional space of the feature points is obtained. The position can be derived.

一方、地図情報取得部１００３は、通信部１０７を介して、図示しないサーバ装置から所定エリアについての３次元地図情報と案内情報とを取得し保存する。３次元地図情報は、当該所定エリアについて、場所記述情報生成部１００１が生成するのと同様の場所記述情報を有する。ここで、所定エリアとは、博物館、美術館等、本発明の端末装置によりガイドを行うエリアであり、３次元地図情報は、この所定エリアの管理者側において、場所記述情報生成部１００１での処理と同様の処理により予め作成してサーバ装置に保存したものである。なお、３次元地図情報に含まれる場所記述情報の原点は任意の位置であって良い。案内情報は、案内画像表示場所を示す情報と、その順路を示す順路情報と、を含んでいる。案内画像表示場所は、場所記述情報で特定できる３次元空間における座標により示される。図３は、ある所定エリアの平面図であり、図中の点線の円の位置が、案内画像表示場所を示している。なお、ここでは、案内画像表示場所を、ある面積を持った領域としているが、案内画像表示場所は、特定の位置を示すものであっても良い。この案内画像表示場所内又はその近傍には、ガイドの対象物が設置されている。なお、図３の点線の円内の番号は、順路情報が示す順路であり、所定エリアの管理者は、点線の円内の番号順に利用者を誘導したいものとする。なお、総ての展示物の近傍に案内画像表示場所を設ける必要はない。つまり、例えば、図３の番号１の案内画像表示場所におけるガイド対象の展示物と、番号２の案内画像表示場所におけるガイド対象の展示物との間には、端末装置によるガイド対象ではない他の展示物が有っても良い。本実施形態において、案内情報は、さらに、案内画像表示場所に対応付けられたガイド情報と案内画像を示す案内画像情報とを含んでいる。なお、案内画像は、案内画像表示場所に拘らず１つとしても、案内画像表示場所に対応付けて、案内画像表示場所に応じて異ならせるものとしても良い。   On the other hand, the map information acquisition unit 1003 acquires and stores 3D map information and guidance information for a predetermined area from a server device (not shown) via the communication unit 107. The three-dimensional map information has the same place description information that the place description information generation unit 1001 generates for the predetermined area. Here, the predetermined area is an area that is guided by the terminal device of the present invention, such as a museum or a museum, and the 3D map information is processed by the place description information generation unit 1001 on the administrator side of the predetermined area. Are created in advance by the same processing as described above and stored in the server device. Note that the origin of the location description information included in the three-dimensional map information may be an arbitrary position. The guide information includes information indicating a guide image display location and route information indicating the route. The guide image display location is indicated by coordinates in a three-dimensional space that can be specified by the location description information. FIG. 3 is a plan view of a predetermined area, and the position of a dotted circle in the drawing indicates a guide image display location. Here, the guide image display location is an area having a certain area, but the guide image display location may indicate a specific position. A guide object is installed in or near the guide image display location. The numbers in the dotted circles in FIG. 3 are the normal routes indicated by the route information, and the manager of the predetermined area wants to guide the user in the order of the numbers in the dotted circles. It is not necessary to provide a guide image display place in the vicinity of all exhibits. In other words, for example, between the exhibit to be guided at the guide image display location No. 1 in FIG. 3 and the exhibit to be guided at the guide image display location No. 2 is another guide that is not the guide target by the terminal device. There may be exhibits. In the present embodiment, the guide information further includes guide information associated with the guide image display location and guide image information indicating the guide image. It should be noted that the number of guide images may be one regardless of the guide image display location, or may be different according to the guide image display location in association with the guide image display location.

表示処理部１００２は、まず、地図情報取得部１００３が取得した３次元地図情報に含まれる場所記述情報と、撮像部１０３が撮像してディスプレイ１０５に表示している画像（以下、撮像画像と呼ぶ。）の特徴点に基づき、３次元空間における端末装置の位置及び方向を判定することができる。なお、ここでは、撮像部１０３の撮像方向を、端末装置の方向とする。また、場所記述情報生成部１００１は、地図情報取得部１００３が取得した３次元地図情報の場所記述情報を撮像画像に基づき更新する。以下では、地図情報取得部１００３が取得した３次元地図情報に含まれる場所記述情報と、当該場所記述情報の場所記述情報生成部１００１による更新後の場所記述情報を、単に、場所記述情報と表記する。   The display processing unit 1002 firstly includes location description information included in the 3D map information acquired by the map information acquisition unit 1003 and an image captured by the imaging unit 103 and displayed on the display 105 (hereinafter referred to as a captured image). .)), The position and direction of the terminal device in the three-dimensional space can be determined. Here, the imaging direction of the imaging unit 103 is the direction of the terminal device. Further, the location description information generation unit 1001 updates the location description information of the 3D map information acquired by the map information acquisition unit 1003 based on the captured image. Hereinafter, the location description information included in the 3D map information acquired by the map information acquisition unit 1003 and the location description information updated by the location description information generation unit 1001 of the location description information are simply expressed as location description information. To do.

例えば、ユーザが図３の位置５０から２番目及び３番目の案内画像表示場所の方向を撮像部１０３により撮像しているものとする。この場合、例えば、撮像部１０３が撮像し、ディスプレイ１０５に表示されている撮像画像は図４に示す様になる。なお、図４において、参照符号５１及び５２は、それぞれ、２番目及び３番目の案内画像表示場所を示しているが、参照符号５１及び５２が示す点線の丸は、説明のためのものであり、当然に、ディスプレイ１０５には表示されていない。この場合、表示処理部１００２は、図４の画像内の床、壁、天井、展示物等の特徴点の位置と、場所記述情報に基づき、端末装置が位置５０にいて、図３の上側に向けた画像を、現在、撮像部１０３が撮像していることを認識できる。   For example, it is assumed that the user has captured the directions of the second and third guide image display locations from the position 50 in FIG. In this case, for example, the captured image captured by the imaging unit 103 and displayed on the display 105 is as shown in FIG. In FIG. 4, reference numerals 51 and 52 indicate the second and third guide image display locations, respectively, but the dotted circles indicated by the reference numerals 51 and 52 are for explanation. Of course, it is not displayed on the display 105. In this case, the display processing unit 1002 has the terminal device at the position 50 based on the position of the feature points such as the floor, wall, ceiling, and exhibition in the image of FIG. It can be recognized that the image capturing unit 103 is currently capturing the directed image.

表示処理部１００２は、案内情報に含まれる案内画像表示場所を示す情報と順路情報に基づき、２番目及び３番目の案内画像表示場所が撮像画像に含まれていることを判定することができる。これは、場所記述情報に基づき判定した端末装置の位置及び方向と、撮像部１０３のレンズの光学特性とに基づき、案内画像表示場所の３次元空間位置をスクリーン座標の位置に変換し、案内画像表示場所のスクリーン座標がディスプレイ１０５の中にあるか否かにより判定できる。図４に示す状態の場合、表示処理部１００２は、撮像画像内の２つの案内画像表示場所の内、順路番号の小さい２番目の案内画像表示場所に案内画像を重畳させてディスプレイ１０５に表示する。なお、案内画像表示場所に拘らず１つの案内画像を使用する場合には、当該１つの案内画像をディスプレイ１０５に表示し、案内画像表示場所に対応付けられた案内画像を使用する場合には、２番目の案内画像表示場所に対応付けられた案内画像をディスプレイ１０５に表示する。図５は、図４に示す撮像画像に、人のイラストである案内画像５３を重畳させてディスプレイ１０５に表示した状態を示している。なお、本実施形態において、案内画像表示場所は、一点ではなく円状であり、表示処理部１００２は、案内画像表示場所内の任意の位置に案内画像を立たせて表示することができる。また、表示処理部１００２は、案内画像表示場所内に展示物がある場合、案内画像表示場所内の展示物がある位置とは異なる位置に案内画像を表示制御することができる。これは、例えば、深さセンサ１０６により、撮像画像内にある展示物等のオブジェクトまでの距離を判定することにより行える。また、深さセンサ１０６により床面の位置を判定することで、キャラクタ画像である案内画像５３を床面に立たせて表示することができる。   The display processing unit 1002 can determine that the captured image includes the second and third guide image display locations based on the information indicating the guide image display location included in the guide information and the route information. This is based on the position and direction of the terminal device determined based on the location description information and the optical characteristics of the lens of the imaging unit 103, and converts the three-dimensional spatial position of the guide image display location to the position of the screen coordinate, thereby obtaining the guide image. The determination can be made based on whether the screen coordinates of the display location are in the display 105. In the state shown in FIG. 4, the display processing unit 1002 superimposes the guide image on the second guide image display location with the smaller route number and displays it on the display 105 among the two guide image display locations in the captured image. . When one guide image is used regardless of the guide image display location, the one guide image is displayed on the display 105, and when the guide image associated with the guide image display location is used, A guide image associated with the second guide image display location is displayed on the display 105. FIG. 5 shows a state in which a guide image 53 that is an illustration of a person is superimposed on the captured image shown in FIG. In this embodiment, the guide image display location is not a single point but a circle, and the display processing unit 1002 can display the guide image in an arbitrary position within the guide image display location. Further, when there is an exhibit in the guide image display location, the display processing unit 1002 can display and control the guide image at a position different from the position in the guide image display location. This can be done, for example, by determining the distance to an object such as an exhibit in the captured image by the depth sensor 106. Further, by determining the position of the floor surface by the depth sensor 106, the guide image 53, which is a character image, can be displayed standing on the floor surface.

なお、図５の案内画像５３は、人のイラストであるが、案内画像には任意の画像を用いることができる。例えば、案内画像として、人間や動物といった動物体や、それらをモデル化した、所謂、キャラクタ画像を使用することができる。キャラクタ画像を使用する場合、例えば、案内画像５３を示す画像データは、３次元モデルデータと、展示物のガイドを行っている様にキャラクタを動かすモーションデータと、を含むものとすることができる。そして、表示処理部１００２は、案内画像表示場所までの距離と３次元モデルデータとに基づき、端末装置の現在の位置及び方向からキャラクタ画像がディスプレイ１０５においてどの様に写るかを判定してキャラクタ画像を表示する。さらに、表示処理部１００２は、モーションデータに従い、重畳して表示している案内画像に所定の動作をさせる。   Note that the guide image 53 in FIG. 5 is an illustration of a person, but any image can be used as the guide image. For example, a moving object such as a human or an animal or a so-called character image obtained by modeling them can be used as the guide image. When a character image is used, for example, the image data indicating the guide image 53 can include three-dimensional model data and motion data that moves the character as if guiding an exhibit. Then, the display processing unit 1002 determines how the character image appears on the display 105 from the current position and direction of the terminal device based on the distance to the guide image display location and the three-dimensional model data. Is displayed. Furthermore, the display processing unit 1002 causes the guide image displayed in a superimposed manner to perform a predetermined operation according to the motion data.

また、表示処理部１００２は、案内画像５３を重畳させて表示すると、案内画像５３を表示させた案内画像表示場所に対応付けられたガイド情報に従い、当該案内画像表示場所の展示物についての情報をユーザに提示する。例えば、ガイド情報は、テキスト情報であり、ディスプレイ１０５に、案内画像がしゃべっている様な吹き出しを追加して、吹き出し内に展示物についての情報を表示することができる。また、例えば、ガイド情報は、音声情報であり、表示処理部１００２は、スピーカ１０１により展示物についての情報を音声で出力する構成とすることができる。さらに、マナーモードの様に端末装置側で音声出力を停止している場合にはテキスト情報による提示を行い、音声出力が可能な場合に音声情報による提示を行うという様に、端末装置の音声出力設定に基づきユーザへの展示物の情報の提示にテキスト情報と音声情報のどちらを使用するかを端末装置が判定する構成とすることもできる。なお、ガイド情報に基づく展示物についての情報のユーザへの提示は、案内画像５３をディスプレイ１０５に表示すると直ちに行う必要はない。例えば、ユーザが移動して、案内画像を表示している案内画像表示場所との距離が所定距離以内になったときに行う構成とすることができる。   In addition, when the guide image 53 is superimposed and displayed, the display processing unit 1002 displays information about the exhibit at the guide image display location according to the guide information associated with the guide image display location where the guide image 53 is displayed. Present to the user. For example, the guide information is text information, and a speech balloon in which the guide image is spoken can be added to the display 105, and information about the exhibit can be displayed in the speech balloon. In addition, for example, the guide information is audio information, and the display processing unit 1002 may be configured to output information about the exhibit with the speaker 101 by audio. Furthermore, when voice output is stopped on the terminal device side as in the manner mode, presentation by text information is performed, and when voice output is possible, presentation by voice information is performed. The terminal device can also be configured to determine whether to use text information or audio information for presenting exhibit information to the user based on the setting. It is not necessary to present the information about the exhibit based on the guide information to the user as soon as the guide image 53 is displayed on the display 105. For example, it may be configured to perform when the user moves and the distance from the guide image display location displaying the guide image is within a predetermined distance.

また、表示処理部１００２は、案内画像５３を表示すると、次の案内画像表示場所の方向を示すナビ画像を撮像画像に重畳してディスプレイ１０５に表示することができる。図６は、ナビ画像５４を更に表示した状態を示している。なお、ナビ画像５４を示す情報も、案内情報に含まれている。ナビ画像５４は、次の案内画像表示場所の方向を示すものであれば良く、その形状や、画像の種類は任意である。このナビ画像５４は、案内画像を表示した後、或いは、ガイド情報のユーザへの提示を行った後、所定期間が経過すると表示する構成とすることができる。例えば、ユーザが各展示物を鑑賞等するための時間、つまり、案内画像表示場所の近傍に滞在する滞在時間を予め端末装置に入力しておく。そして、表示処理部１００２は、ナビ画像５４を表示するタイミング、つまり、上記所定期間を、この滞在時間に基づき決定することができる。また、当該所定エリアの総ての展示物を回り終える時刻をユーザが予め端末装置に入力しておく。そして、表示処理部１００２は、ナビ画像５４を表示するタイミングを、総ての展示物を回り終える時刻までの残り時間に基づき決定することができる。この場合、表示処理部１００２は、総ての展示物を回り終える時刻までの残り時間が短くなる程、案内画像を表示、或いは、ガイド情報のユーザへの提示を行ってからナビ画像５４を表示するまでの時間を短くする。   Further, when displaying the guide image 53, the display processing unit 1002 can display a navigation image indicating the direction of the next guide image display location on the display 105 in a superimposed manner on the captured image. FIG. 6 shows a state in which the navigation image 54 is further displayed. Information indicating the navigation image 54 is also included in the guidance information. The navigation image 54 only needs to indicate the direction of the next guide image display location, and the shape and type of the image are arbitrary. The navigation image 54 may be configured to be displayed after a predetermined period has elapsed after the guide image is displayed or after the guide information is presented to the user. For example, a time for the user to appreciate each exhibition, that is, a staying time for staying in the vicinity of the guidance image display place is input to the terminal device in advance. Then, the display processing unit 1002 can determine the timing for displaying the navigation image 54, that is, the predetermined period based on the stay time. In addition, the user inputs in advance to the terminal device the time at which all exhibits in the predetermined area are finished. Then, the display processing unit 1002 can determine the timing for displaying the navigation image 54 based on the remaining time until the time when all the exhibits are finished. In this case, the display processing unit 1002 displays the guidance image or displays the navigation image 54 after the guide information is presented to the user as the remaining time until the time when the exhibition is finished is shortened. Reduce the time until

また、ナビ画像５４を案内画像５３とは異なるものとするのではなく、案内画像５３を使用する構成とすることもできる。この場合、ナビ画像５４の表示タイミングにナビ画像５４を表示するのではなく、音声又は吹き出しによりユーザに移動を促すメッセージの表示又は音声出力を行う共に、案内画像５３が次の案内画像表示場所を示す様にディスプレイ１０５に表示させる。また、ユーザが現在の案内画像表示場所の近傍に滞在できる残り時間を判定し、当該判定した残り時間をディスプレイ１０５に表示する構成とすることもできる。なお、ユーザが現在の案内画像表示場所の近傍に滞在できる残り時間は、ユーザが設定した滞在時間や、総ての展示物を回り終える時刻までの残り時間に基づき判定する。   In addition, the navigation image 54 is not different from the guide image 53, and the guide image 53 can be used. In this case, the navigation image 54 is not displayed at the display timing of the navigation image 54, but a message for prompting the user to move or voice output is displayed by voice or a balloon, and the guidance image 53 indicates the next guidance image display location. As shown, it is displayed on the display 105. Moreover, it can also be set as the structure which determines the remaining time which a user can stay in the vicinity of the present guidance image display location, and displays the determined remaining time on the display 105. Note that the remaining time that the user can stay in the vicinity of the current guide image display location is determined based on the stay time set by the user and the remaining time until the time when all the exhibits are finished.

なお、表示処理部１００２は、既にガイド情報のユーザへの提示を行った案内画像表示場所が撮像画像に含まれていても、当該案内画像表示場所には案内画像を表示しない様にすることができる。つまり、表示処理部１００２は、順路情報に従いその若番順で案内画像表示場所に案内画像の表示とガイド情報の提示を行い、ガイド情報の提示済みではない案内画像表示場所の内、最も若い番号の案内画像表示場所が撮像画像に含まれるときのみ、当該案内画像表示場所に案内画像を表示する構成とすることができる。このため、端末装置は、各ガイド情報のユーザへの提示履歴を保存する。また、総てのガイド情報のユーザへの提示を行うと、それ以降は、案内画像表示場所への案内画像の表示や、ガイド情報のユーザへの提示を行わない構成とすることができる。   Note that the display processing unit 1002 may prevent the guide image from being displayed at the guide image display location even if the guide image display location where the guide information has already been presented to the user is included in the captured image. it can. That is, the display processing unit 1002 displays guide images and guide information at the guide image display locations in order of increasing number according to the route information, and the smallest number among the guide image display locations where guide information has not been presented. Only when the guide image display location is included in the captured image, the guide image can be displayed at the guide image display location. For this reason, a terminal device preserve | saves the presentation log | history to the user of each guide information. Further, when all guide information is presented to the user, the guide image is not displayed at the guide image display location and the guide information is not presented to the user thereafter.

また、表示処理部１００２は、ガイド情報の提示済みではない複数の案内画像表示場所が撮像画像に含まれていると、その内の順路番号の最も若い案内画像表示場所のみに案内画像を表示するのではなく、撮像画像に含まれているガイド情報の未提示の総ての案内画像表示場所に案内画像を表示する構成であっても良い。例えば、この場合、表示する案内画像に順路番号も合わせて表示する構成とすることができる。また、この場合、ガイド情報の未提示の案内画像表示場所の内、最も若い案内画像表示場所に案内画像を表示すると共に、それ以外の案内画像表示場所には案内画像を透過性のある状態で表示する構成、つまり、次に訪れるべき案内画像表示場所と、それ以外の案内画像表示場所では、案内画像の表示態様を異ならせる構成とすることができる。さらに、ガイド情報の提示・未提示に拘らず、撮像画像に含まれている総ての案内画像表示場所に案内画像を表示する構成であっても良い。さらに、撮像画像に含まれている案内画像表示場所と端末装置との距離が所定値以内である場合にのみ、当該案内画像表示場所に案内画像を表示する構成であっても良い。なお、端末装置との距離が上記所定値以内である案内画像表示場所が撮像画像に含まれていても、当該案内画像表示場所に対応するガイド情報のユーザへの提示を既に行っていると、当該案内画像表示場所に案内画像を表示しない構成であっても良い。また、既に対応するガイド情報を提示したか否かに拘らず、端末装置との距離が上記所定値以内である案内画像表示場所の総てに案内画像を表示する構成であっても良い。   In addition, when a plurality of guide image display locations for which guide information has not been presented are included in the captured image, the display processing unit 1002 displays the guide image only in the guide image display location with the youngest route number. Instead of this, the guide image may be displayed at all guide image display locations where guide information included in the captured image is not presented. For example, in this case, it is possible to adopt a configuration in which the route number is displayed together with the guide image to be displayed. In this case, the guide image is displayed at the youngest guide image display location among the guide image display locations where the guide information is not presented, and the guide image is transparent at other guide image display locations. The display configuration, that is, the guide image display location to be visited next, and the guide image display location other than that may be different from each other. Further, the guide image may be displayed at all guide image display locations included in the captured image regardless of whether the guide information is presented or not. Further, the guide image may be displayed at the guide image display location only when the distance between the guide image display location included in the captured image and the terminal device is within a predetermined value. In addition, even if the captured image includes a guide image display location whose distance from the terminal device is within the predetermined value, the guide information corresponding to the guide image display location has already been presented to the user. The guide image may be configured not to be displayed at the guide image display location. Further, the guide image may be displayed at all guide image display locations whose distance from the terminal device is within the predetermined value regardless of whether the corresponding guide information has already been presented.

また、本実施形態において、表示処理部１００２は、撮像画像に含まれる特徴点に基づき場所記述情報を使用して、３次元空間における端末装置の位置及び方向を判定していた。しかしながら、例えば、所定エリア内の複数の位置に、それぞれの位置を示す信号を送信する送信機を設置する構成とすることができる。送信機は、例えば、人の可聴範囲外の音を出力するスピーカとすることができる。この場合、端末装置のマイク１０２は、スピーカの音を音声信号に変換し、表示処理部１００２は、この音声信号により、３次元空間におけるどの付近にいるかを判定する。これにより、表示処理部１００２が撮像画像の特徴点に基づき端末装置の位置及び方向を判定する際に、参酌すべき場所記述情報の範囲を絞り込むことができ、端末装置の位置及び方向の判定に要する時間を短縮することができる。また、表示処理部１００２は、一旦、端末装置の位置及び方向を判定すると、加速度情報及び角速度情報により端末装置の位置及び方向が変化しても、変化後の端末装置の位置及び方向を判定し続けることができる。これにより、例えば、端末装置の位置及び方向を判定した後、ユーザが端末装置をポケットやカバン等に入れたりして撮像画像が得られない状態が続いても、ユーザが撮像部１０３による撮像画像の取得を開始し場所記述情報に基づき端末装置の位置及び方向を判定する際に、加速度情報及び角速度情報により判定していた端末装置の位置及び方向に基づき、参酌すべき場所記述情報の範囲を絞り込むことができる。なお、３次元地図情報に含まれる場所記述情報での位置を示す信号は、可聴範囲外の音に限定されず、無線タグ等の近距離無線通信を使用することもできる。また、当該送信機の設置位置は、所定エリア内の複数の位置に分散して配置しても良いが、例えば、所定エリアの入り口付近に１つだけ設ける構成であっても良い。また、加速度情報及び角速度情報や、送信機からの信号に基づき端末装置の位置を追跡することで、端末装置をポケットやカバン等に入れた状態においもて、案外画像表示場所の近傍にいることを判定でき、例えば、イヤホン等を介した音声によるガイド情報による展示物についての情報提示を行うこともできる。   In the present embodiment, the display processing unit 1002 determines the position and direction of the terminal device in the three-dimensional space using the location description information based on the feature points included in the captured image. However, for example, a transmitter that transmits a signal indicating each position can be installed at a plurality of positions in a predetermined area. The transmitter can be, for example, a speaker that outputs sound outside the human audible range. In this case, the microphone 102 of the terminal device converts the sound of the speaker into an audio signal, and the display processing unit 1002 determines the vicinity in the three-dimensional space based on the audio signal. Accordingly, when the display processing unit 1002 determines the position and direction of the terminal device based on the feature points of the captured image, the range of the location description information to be taken into consideration can be narrowed down, and the position and direction of the terminal device can be determined. The time required can be shortened. Also, once the display processing unit 1002 determines the position and direction of the terminal device, the display processing unit 1002 determines the position and direction of the terminal device after the change even if the position and direction of the terminal device change according to the acceleration information and the angular velocity information. You can continue. Thereby, for example, after determining the position and direction of the terminal device, even if the user cannot place a captured image by placing the terminal device in a pocket, a bag, or the like, the user can capture the captured image by the imaging unit 103. When determining the position and direction of the terminal device based on the location description information, the range of the location description information to be considered is determined based on the position and direction of the terminal device determined based on the acceleration information and the angular velocity information. You can narrow down. The signal indicating the position in the location description information included in the three-dimensional map information is not limited to sound outside the audible range, and short-range wireless communication such as a wireless tag can also be used. In addition, the installation positions of the transmitters may be distributed and arranged at a plurality of positions in the predetermined area. For example, only one transmitter may be provided near the entrance of the predetermined area. Also, by tracking the position of the terminal device based on the acceleration information and angular velocity information and the signal from the transmitter, the terminal device should be in the vicinity of the unexpected image display place even when it is in a pocket or a bag. For example, it is also possible to present information about exhibits based on guide information by voice through earphones or the like.

なお、端末装置は、所定の条件が満たされると、図示しないサーバ装置から取得した３次元地図情報及び案内情報を削除する構成とすることができる。所定の条件は、例えば、端末装置が所定エリアから所定以上の距離だけ離れた場合、端末装置が所定エリアの所定位置、例えば、出口を通過した場合、端末装置が所定時間に渡り撮像画像の取得を行わない場合、所定時間に渡り案内情報の表示やガイド情報の提示が端末装置において行われなかった場合、総てのガイド情報をユーザに提示した場合等に満たされる構成とすることができる。なお、本実施形態では、地図情報取得部１００３が図示しないサーバ装置から３次元地図情報を取得し、表示処理部１００２が、撮像画像と取得した３次元地図情報とに基づき端末装置の位置及び方向を判定していた。しかしながら、端末装置が撮像画像や、撮像画像内の各特徴点のスクリーン座標をサーバ装置に繰り返し送信し、サーバ装置において端末装置の位置及び方向を判定し、サーバ装置が判定した位置及び方向を端末装置に繰り返し通知する構成であっても良い。   The terminal device can be configured to delete the 3D map information and the guidance information acquired from a server device (not shown) when a predetermined condition is satisfied. The predetermined condition is, for example, when the terminal device is separated from the predetermined area by a predetermined distance or more, or when the terminal device passes a predetermined position in the predetermined area, for example, an exit, the terminal device acquires a captured image over a predetermined time. In the case where the guide information is not displayed or the guide information is not presented in the terminal device for a predetermined time, the case where all the guide information is presented to the user can be satisfied. In this embodiment, the map information acquisition unit 1003 acquires 3D map information from a server device (not shown), and the display processing unit 1002 determines the position and direction of the terminal device based on the captured image and the acquired 3D map information. Was judged. However, the terminal device repeatedly transmits the captured image and the screen coordinates of each feature point in the captured image to the server device, determines the position and direction of the terminal device in the server device, and determines the position and direction determined by the server device to the terminal It may be configured to repeatedly notify the apparatus.

また、図３に示す平面図を示す２次元地図情報も合わせて端末装置に送信し、端末装置は、平面図に端末装置の現在位置及び／又は方向を重ねてディスプレイ１０５に表示しても良い。なお、ディスプレイ１０５には、所定エリア全体の平面図を表示する構成であっても、端末装置の現在地付近の一部分を表示する構成であっても良い。また、平面図を表示する際、ユーザのこれまでの移動ルートを合わせて平面図に表示することもできる。なお、ディスプレイ１０５への撮像画像／平面図の表示は、ユーザ操作により切り替える構成とることができる。或いは、ディスプレイ１０５のある小領域に平面図を表示し、残りの部分に撮像画像を表示する構成であっても良い。   Further, the two-dimensional map information indicating the plan view shown in FIG. 3 is also transmitted to the terminal device, and the terminal device may display the current position and / or direction of the terminal device on the display 105 on the plan view. . The display 105 may be configured to display a plan view of the entire predetermined area, or may be configured to display a portion near the current location of the terminal device. Further, when displaying a plan view, the user's previous travel route can also be displayed on the plan view. The display of the captured image / plan view on the display 105 can be switched by a user operation. Alternatively, a configuration may be used in which a plan view is displayed in a small area of the display 105 and a captured image is displayed in the remaining portion.

なお、本発明による端末装置は、コンピュータを上記端末装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。   The terminal device according to the present invention can be realized by a program that causes a computer to operate as the terminal device. These computer programs can be stored in a computer-readable storage medium or distributed via a network.

１０５：ディスプレイ、１０３：撮像部、１００２：表示処理部   105: Display, 103: Imaging unit, 1002: Display processing unit

Claims (14)

ディスプレイと、
撮像手段と、
所定エリアの３次元地図情報と、案内画像表示場所を示す情報及び案内画像を示す案内画像情報を含む案内情報と、を保持する保持手段と、
前記３次元地図情報に基づき、前記撮像手段が撮像して前記ディスプレイに表示されている撮像画像に案内画像表示場所が含まれていると判定すると、当該撮像画像の当該案内画像表示場所に前記案内画像を重畳させて前記ディスプレイに表示する処理を行う処理手段と、
を備えていることを特徴とする端末装置。 Display,
Imaging means;
Holding means for holding three-dimensional map information of a predetermined area, guide information including information indicating a guide image display location and guide image information indicating a guide image;
When it is determined that a guide image display location is included in the captured image captured by the imaging unit and displayed on the display based on the three-dimensional map information, the guidance is displayed at the guide image display location of the captured image. Processing means for performing processing of superimposing an image and displaying it on the display;
A terminal device comprising: 前記案内画像は前記案内画像表示場所に対応付けられており、
前記処理手段は、前記撮像画像に案内画像表示場所が含まれていると判定すると、前記撮像画像の当該案内画像表示場所に、当該案内画像表示場所に対応付けられた案内画像を重畳させて前記ディスプレイに表示する処理を行うことを特徴とする請求項１に記載の端末装置。 The guide image is associated with the guide image display location,
When the processing means determines that a guide image display location is included in the captured image, the processing means superimposes a guide image associated with the guide image display location on the guide image display location of the captured image. The terminal device according to claim 1, wherein a process of displaying on a display is performed. 前記処理手段は、前記撮像画像に含まれる案内画像表示場所との距離が第１距離より短い場合に、前記撮像画像の当該案内画像表示場所に前記案内画像を重畳させて前記ディスプレイに表示する処理を行うことを特徴とする請求項１又は２に記載の端末装置。   The processing means is a process of superimposing the guide image on the guide image display location of the captured image and displaying the guide image on the display when a distance from the guide image display location included in the captured image is shorter than a first distance. The terminal device according to claim 1, wherein: 前記案内情報は、前記案内画像表示場所に対応付けられたガイド情報を含み、
前記処理手段は、前記撮像画像に含まれる案内画像表示場所に案内画像を表示すると、或いは、前記撮像画像に含まれる案内画像表示場所に案内画像を表示した後、当該案内画像表示場所に対応するガイド情報をユーザに提示する処理を行うことを特徴とする請求項１から３のいずれか１項に記載の端末装置。 The guide information includes guide information associated with the guide image display location,
The processing means corresponds to the guide image display location when the guide image is displayed at the guide image display location included in the captured image, or after the guide image is displayed at the guide image display location included in the captured image. The terminal device according to any one of claims 1 to 3, wherein a process of presenting guide information to a user is performed. 前記ガイド情報は、テキスト情報又は音声情報を含み、
前記処理手段は、前記テキスト情報を前記ディスプレイに表示する、或いは、前記音声情報に基づく音声を出力することで前記ガイド情報の前記ユーザへの提示を行うことを特徴とする請求項４に記載の端末装置。 The guide information includes text information or audio information,
The said processing means displays the said guide information to the said user by displaying the said text information on the said display, or outputting the audio | voice based on the said audio | voice information, The said information is given to the said user. Terminal device. 前記処理手段は、前記案内画像を表示している案内画像表示場所と前記端末装置との距離が第２距離より短くなると、当該案内画像表示場所に対応するガイド情報の前記ユーザへの提示を行うことを特徴とする請求項４又は５に記載の端末装置。   The processing means presents the guide information corresponding to the guide image display location to the user when the distance between the guide image display location displaying the guide image and the terminal device is shorter than a second distance. The terminal device according to claim 4 or 5, wherein 前記処理手段は、前記撮像画像に案内画像表示場所が含まれていても、当該案内画像表示場所に対応するガイド情報の前記ユーザへの提示を既に行っていると、前記撮像画像の当該案内画像表示場所に前記案内画像を表示しないことを特徴とする請求項４から６のいずれか１項に記載の端末装置。   Even if the captured image includes a guide image display location, the processing means has already presented the guide information corresponding to the guide image display location to the user, and the guide image of the captured image is displayed. The terminal device according to claim 4, wherein the guide image is not displayed at a display location. 前記案内情報は複数の案内画像表示場所を示す情報と、前記複数の案内画像表示場所の順路情報を含み、
前記処理手段は、前記撮像画像に複数の案内画像表示場所が含まれていると、前記順路情報に基づき、前記案内画像を重畳させる案内画像表示場所を決定することを特徴とする請求項１から７のいずれか１項に記載の端末装置。 The guidance information includes information indicating a plurality of guidance image display locations, and route information of the plurality of guidance image display locations,
The processing means determines a guide image display location on which the guide image is to be superimposed based on the route information when a plurality of guide image display locations are included in the captured image. The terminal device according to any one of 7. 前記案内情報は、ナビ画像を含み、
前記処理手段は、案内画像表示場所に案内画像を重畳させて前記ディスプレイに表示すると、或いは、前記ディスプレイに表示した後、前記順路情報において当該案内画像表示場所の次の案内画像表示場所の方向を示す様に前記ナビ画像を前記撮像画像に重畳させて前記ディスプレイに表示する処理を行うことを特徴とする請求項８に記載の端末装置。 The guidance information includes a navigation image,
The processing means superimposes the guide image on the guide image display location and displays it on the display, or after displaying the guide image on the display, displays the direction of the guide image display location next to the guide image display location in the route information. The terminal device according to claim 8, wherein the terminal device performs processing for superimposing the navigation image on the captured image and displaying the image on the display. 前記処理手段は、前記ナビ画像を前記ディスプレイに表示するタイミングを、前記端末装置のユーザが指定した滞在時間に基づき決定することを特徴とする請求項９に記載の端末装置。   The terminal device according to claim 9, wherein the processing unit determines a timing for displaying the navigation image on the display based on a staying time designated by a user of the terminal device. 前記処理手段は、前記ナビ画像を前記ディスプレイに表示するタイミングを、前記端末装置のユーザが指定した時刻までの時間に基づき決定することを特徴とする請求項９に記載の端末装置。   The terminal device according to claim 9, wherein the processing unit determines a timing for displaying the navigation image on the display based on a time until a time designated by a user of the terminal device. 前記３次元地図情報は、前記所定エリアの各位置において各方向で撮像した画像内の各特徴点の位置を求めることができる場所記述情報を含み、
前記処理手段は、前記撮像画像の各特徴点の位置に基づき、前記場所記述情報を参照することで前記端末装置の位置と前記撮像手段の撮像方向を判定し、判定した前記端末装置の位置と前記撮像手段の撮像方向に基づき、前記撮像画像に案内画像表示場所が含まれているか否かを判定することを特徴とする請求項１から１１のいずれか１項に記載の端末装置。 The three-dimensional map information includes location description information that can determine the position of each feature point in an image captured in each direction at each position in the predetermined area;
The processing means determines the position of the terminal device and the imaging direction of the imaging means by referring to the location description information based on the position of each feature point of the captured image, and the determined position of the terminal device 12. The terminal device according to claim 1, wherein it is determined whether or not a guide image display location is included in the captured image based on an imaging direction of the imaging unit. 他の通信装置と通信して前記３次元地図情報及び前記案内情報を取得する取得手段をさらに備えていることを特徴とする請求項１から１２のいずれか１項に記載の端末装置。   The terminal device according to claim 1, further comprising an acquisition unit configured to acquire the three-dimensional map information and the guidance information by communicating with another communication device. 請求項１から１３のいずれか１項に記載の端末装置としてコンピュータを機能させることを特徴とするプログラム。   A program that causes a computer to function as the terminal device according to any one of claims 1 to 13.
JP2017018886A 2017-02-03 2017-02-03 Terminal device and program Active JP6523353B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017018886A JP6523353B2 (en) 2017-02-03 2017-02-03 Terminal device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017018886A JP6523353B2 (en) 2017-02-03 2017-02-03 Terminal device and program

Publications (2)

Publication Number Publication Date
JP2018124925A true JP2018124925A (en) 2018-08-09
JP6523353B2 JP6523353B2 (en) 2019-05-29

Family

ID=63109612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017018886A Active JP6523353B2 (en) 2017-02-03 2017-02-03 Terminal device and program

Country Status (1)

Country Link
JP (1) JP6523353B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065886A1 (en) 2017-09-29 2019-04-04 日東電工株式会社 Adhesive article

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017254A1 (en) * 2014-08-01 2016-02-04 ソニー株式会社 Information processing device, information processing method, and program
JP2016170060A (en) * 2015-03-13 2016-09-23 三菱電機株式会社 Facility information display system, mobile terminal, server and facility information display method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017254A1 (en) * 2014-08-01 2016-02-04 ソニー株式会社 Information processing device, information processing method, and program
JP2016170060A (en) * 2015-03-13 2016-09-23 三菱電機株式会社 Facility information display system, mobile terminal, server and facility information display method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065886A1 (en) 2017-09-29 2019-04-04 日東電工株式会社 Adhesive article

Also Published As

Publication number Publication date
JP6523353B2 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
US9807601B2 (en) Geo-fencing based functions
US8634852B2 (en) Camera enabled headset for navigation
JP6025433B2 (en) Portable navigation device
EP2672232A2 (en) Method for Providing Navigation Information, Machine-Readable Storage Medium, Mobile Terminal, and Server
US10712167B2 (en) Methods, systems, and devices for displaying maps
TW200811422A (en) Route planning systems and trigger methods thereof
US10546432B2 (en) Presenting location based icons on a device display
KR101413605B1 (en) System and method for Navigation
Kuriakose et al. Smartphone navigation support for blind and visually impaired people-a comprehensive analysis of potentials and opportunities
JPWO2018034053A1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING METHOD
JP6527182B2 (en) Terminal device, control method of terminal device, computer program
JP6145563B2 (en) Information display device
JP6523353B2 (en) Terminal device and program
JP2023075236A (en) Locus display device
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
JP6698600B2 (en) Terminal device, program and system
JP6792666B2 (en) Terminal device, terminal device control method, computer program
JP2008111693A (en) Mobile apparatus and target information retrieval method
JP6976186B2 (en) Terminal devices and programs
JP6719435B2 (en) Terminal device and program
WO2021090219A1 (en) 3d video generation for showing shortest path to destination
JP6523362B2 (en) Server device, terminal device and program
US20230059119A1 (en) Information processing device, control method, and non-transitory computer-readable medium
JP2022042667A (en) Mobile terminal device, information processing method, and program
KR20150124055A (en) Method for sharing contents using terminal for vehicle and apparatus thereof

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190425

R150 Certificate of patent or registration of utility model

Ref document number: 6523353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150