WO2019021446A1 - ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム - Google Patents

ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム Download PDF

Info

Publication number
WO2019021446A1
WO2019021446A1 PCT/JP2017/027350 JP2017027350W WO2019021446A1 WO 2019021446 A1 WO2019021446 A1 WO 2019021446A1 JP 2017027350 W JP2017027350 W JP 2017027350W WO 2019021446 A1 WO2019021446 A1 WO 2019021446A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable terminal
tourist
display
information
sightseeing
Prior art date
Application number
PCT/JP2017/027350
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2017/027350 priority Critical patent/WO2019021446A1/ja
Publication of WO2019021446A1 publication Critical patent/WO2019021446A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Definitions

  • the present invention relates to a wearable terminal display system, a wearable terminal display method, and a program for displaying, as an augmented reality, the tourist information collected for a tourist object seen through the display plate on a display plate of the wearable terminal.
  • Patent Document 1 a guidance system capable of transmitting the guidance information according to the usage condition by acquiring the usage condition of the tourist spot or the route between the tourist spots by each user.
  • Patent Document 1 has a problem that tourist information can not be provided only by looking at the object of sightseeing.
  • the present invention identifies a tourist object from an image of a field of view of the wearable terminal, and displays the tourist information collected according to the tourist object on a display plate of the wearable terminal as an augmented reality, wearable terminal It aims at providing a terminal display method and program.
  • the present invention provides the following solutions.
  • the invention according to the first aspect is a wearable terminal display system for displaying sightseeing information of a sightseeing object on a display plate of the wearable terminal, and an image acquiring unit for acquiring an image of the sightseeing object within the view of the wearable terminal
  • the specific means for image analysis of the image to specify the tourist object, the collecting means for collecting the tourist information of the tourist object, and the tourist board viewed through the display board on the display board of the wearable terminal There is provided a wearable terminal display system comprising: tourist information display means for displaying the tourist information as augmented reality for an object.
  • the invention according to the first aspect is a wearable terminal display method for displaying sightseeing information of a sightseeing object on a display board of the wearable terminal, and an image acquisition step of acquiring an image of the sightseeing object within the view of the wearable terminal
  • the image analysis of the image to identify the tourist object, the collecting step for collecting the tourist information of the tourist object, and the tourist object seen through the display plate on the display plate of the wearable terminal Providing a wearable terminal display method comprising: a tourist information display step of displaying the tourist information as an augmented reality for an object;
  • the invention according to the first aspect includes a computer, an image acquisition step of acquiring an image of a tourist object in view of a wearable terminal, an image analysis of the image, and a identification step of specifying the tourist object, A collection step of collecting tourist information of a tourist object, and a tourist information display step of displaying the tourist information as an augmented reality for the tourist object seen through the display plate on the display plate of the wearable terminal; Provide a program to make
  • FIG. 1 is a schematic view of a wearable terminal display system.
  • FIG. 2 is an example which collected and displayed sightseeing information on the display board of a wearable terminal.
  • the wearable terminal display system is a system for displaying, on a display board of the wearable terminal, the tourist information collected as an augmented reality for a tourist object seen through the display board.
  • a wearable terminal is a terminal with a view such as a smart glass or a head mounted display.
  • FIG. 1 is a schematic view of a wearable terminal display system according to a preferred embodiment of the present invention.
  • the wearable terminal display system includes an image acquisition unit, an identification unit, a collection unit, and a tourist information display unit, which are realized by the control unit reading a predetermined program.
  • determination means, change means, detection means, action result display means, position direction acquisition means, estimation means, guideline display means, selection acceptance means may be provided. These may be application based, cloud based or otherwise.
  • Each means described above may be realized by a single computer or may be realized by two or more computers (for example, in the case of a server and a terminal).
  • An image acquisition means acquires the image of the sightseeing object which entered into the view of a wearable terminal.
  • An image captured by the camera of the wearable terminal may be acquired. Or even if it is except a wearable terminal, if such an image can be acquired, it does not matter.
  • the image may be a moving image or a still image. In order to display tourist information in real time, real-time images are preferable.
  • the identification means analyzes the image to identify the tourist object. For example, it is specified whether the sightseeing target is Senso-ji, Tokyo Sky Tree, Ueno Zoo, or Tokyo Metropolitan Art Museum.
  • the tourist object can be specified from color, shape, size, features, etc.
  • sightseeing targets are not limited to these.
  • if it takes time to specify all of the reflected sightseeing targets only the sightseeing targets in the center of the view of the wearable terminal may be specified. By identifying only the tourist objects in the center of the view, the time required for identification can be significantly reduced.
  • Machine learning may improve the accuracy of image analysis. For example, machine learning is performed using a past image to be sightseeing as teacher data.
  • the collecting means collects sightseeing information according to the sightseeing target.
  • tourist information includes history, principals, chronology, precincts, events, visiting times, visiting methods, news, and the like.
  • tourist information is not limited to these.
  • You may collect the sightseeing information according to the object of sightseeing with reference to the database by which the sightseeing information was registered previously.
  • tourist information may be collected from Web content searched by searching the tourist object on the Internet. For example, since there is a case where tourist information is posted on a homepage etc., it can collect from Internet search.
  • tourist information can be collected from SNS (social networking service) or word-of-mouth sites.
  • the tourist information display means displays the tourist information as an augmented reality for the tourist object seen through the display board on the display board of the wearable terminal. For example, as shown in FIG. 2, on the display board of the wearable terminal, the tourist information drawn with a broken line is displayed as an augmented reality for the tourist object drawn with a solid line seen through the display board.
  • solid lines are real and broken lines are augmented reality.
  • the tourist information to be displayed as augmented reality may be displayed so as to overlap with the tourist object seen through the display board, but since it becomes difficult to see the tourist object, it is possible to switch on / off the display of the tourist information. Good.
  • the determination means determines whether or not the displayed tourist information has been browsed. By acquiring the image being browsed and analyzing the image, it may be determined whether the tourist information has been browsed. In addition, it may be determined from the sensor information of the wearable terminal, the sensor information worn by the viewer, etc. whether the sightseeing information is browsed. For example, a sensor that detects a sight line, a motion sensor, an acceleration sensor, and the like.
  • the change means changes the tourist information to already-browsed if it is determined that it has been browsed, and changes the degree of attention so that the tourist information is browsed if it is determined that it has not been browsed. By doing this, it is possible to visually grasp which tourist information has been browsed and has not been browsed. For example, it may be regarded as already viewed by putting a check in the check box of the tourist information. For example, a stamp may be stamped on the tourist information to make it read. Moreover, the change of attention degree may change the color and size of tourist information, or may stamp a stamp so that tourist information may stand out.
  • the detection means detects an action on the displayed tourist information.
  • the action is, for example, a gesture, hand movement, gaze movement, or the like.
  • the action on the tourist information may be detected from the sensor information of the wearable terminal, the sensor information attached to the viewer, or the like.
  • a sensor that detects a sight line, a motion sensor, an acceleration sensor, and the like may be detected from the sensor information of the wearable terminal, the sensor information attached to the viewer, or the like.
  • a sensor that detects a sight line a motion sensor, an acceleration sensor, and the like.
  • the action result display means displays the result according to the action as the augmented reality on the display object of the wearable terminal for the sightseeing object seen through the display plate. For example, when an action for erasing the tourist information is detected, the display of the tourist information may be turned off. For example, the link may be opened upon detecting an action to open the link attached to the tourist information. For example, if an action to turn a page of sightseeing information is detected, the page may be turned. Of course, other actions may be used.
  • the position / direction unit acquires the terminal position and the imaging direction of the wearable terminal.
  • the terminal position can be acquired from the GPS (Global Positioning System) of the wearable terminal.
  • the imaging direction can be acquired from the geomagnetic sensor or the acceleration sensor of the wearable terminal when imaging is performed by the wearable terminal. You may acquire from other than these.
  • the estimation means estimates the target position of the sightseeing target based on the terminal position and the imaging direction. If the terminal position and the imaging direction are known, the target position of the imaged tourist object can be estimated.
  • the specifying means may specify the sightseeing target from the target position and the image analysis. Specific accuracy can be improved by utilizing position information. For example, if it is possible to improve the accuracy of identification as Senso-ji Temple by using position information, the reliability of the tourist information to be displayed correspondingly is also improved.
  • the guideline display means displays a guideline for imaging a tourist object as an augmented reality on the display board of the wearable terminal.
  • guidelines such as a frame or a cross may be displayed. It will be easier to analyze the image by having the image taken according to the guidelines.
  • the acquisition unit may acquire an image captured along a guideline.
  • the acquisition unit may acquire an image captured along a guideline.
  • the selection receiving unit receives the selection of the selection target for the sightseeing target viewed through the display plate of the wearable terminal.
  • the selection of the selection target may be accepted by viewing the sightseeing target seen through the display plate of the wearable terminal for a certain period of time.
  • the user may touch a tourist object seen through the display plate of the wearable terminal to receive a selection of the selection object.
  • the selection of the selection target may be received by placing the cursor on a sightseeing target that is seen through the display plate of the wearable terminal.
  • a sensor that detects a sight line For example, a sensor that detects a sight line, a motion sensor, an acceleration sensor, and the like.
  • the tourist information display means may display the tourist information as an augmented reality on the display board of the wearable terminal in accordance with only the selection target that can be seen through the display board. Since the tourist information is displayed as the augmented reality according to only the selected selection object, the tourist information can be grasped by pinpointing. The display of the display board may be troublesome when the tourist information is displayed for all the specified sightseeing targets.
  • the wearable terminal display method of the present invention is a method of displaying the collected tourist information as an augmented reality on a tourist object that is seen through the display plate on a display plate of the wearable terminal.
  • the wearable terminal display method includes an image acquisition step, a identification step, a collection step, and a tourist information display step. Although not shown in the drawings, similarly, a determination step, a change step, a detection step, an action result display step, a position direction acquisition step, an estimation step, a guideline display step, and a selection acceptance step may be provided.
  • An image acquisition step acquires the image of the sightseeing object which entered into the view of a wearable terminal.
  • An image captured by the camera of the wearable terminal may be acquired. Or even if it is except a wearable terminal, if such an image can be acquired, it does not matter.
  • the image may be a moving image or a still image. In order to display tourist information in real time, real-time images are preferable.
  • the image is analyzed to identify a tourist object.
  • the sightseeing target is Senso-ji, Tokyo Sky Tree, Ueno Zoo, or Tokyo Metropolitan Art Museum.
  • the tourist object can be specified from color, shape, size, features, etc.
  • sightseeing targets are not limited to these.
  • only the sightseeing targets in the center of the view of the wearable terminal may be specified. By identifying only the tourist objects in the center of the view, the time required for identification can be significantly reduced.
  • Machine learning may improve the accuracy of image analysis. For example, machine learning is performed using a past image to be sightseeing as teacher data.
  • the collecting step collects tourist information according to the tourist object.
  • tourist information includes history, principals, chronology, precincts, events, visiting times, visiting methods, news, and the like.
  • tourist information is not limited to these.
  • You may collect the sightseeing information according to the object of sightseeing with reference to the database by which the sightseeing information was registered previously.
  • tourist information may be collected from Web content searched by searching the tourist object on the Internet. For example, since there is a case where tourist information is posted on a homepage etc., it can collect from Internet search.
  • tourist information can be collected from SNS (social networking service) or word-of-mouth sites.
  • the tourist information is displayed as an augmented reality for the tourist object that is seen through the display plate on the display plate of the wearable terminal.
  • the tourist information drawn with a broken line is displayed as an augmented reality for the tourist object drawn with a solid line seen through the display board.
  • solid lines are real and broken lines are augmented reality.
  • the determination step determines whether or not the displayed tourist information is browsed. By acquiring the image being browsed and analyzing the image, it may be determined whether the tourist information has been browsed. In addition, it may be determined from the sensor information of the wearable terminal, the sensor information worn by the viewer, etc. whether the sightseeing information is browsed. For example, a sensor that detects a sight line, a motion sensor, an acceleration sensor, and the like.
  • the change step changes the tourist information to already-browsed if it is determined that it has been browsed, and changes the degree of attention so that the tourist information is browsed if it is determined that it has not been browsed. By doing this, it is possible to visually grasp which tourist information has been browsed and has not been browsed. For example, it may be regarded as already viewed by putting a check in the check box of the tourist information. For example, a stamp may be stamped on the tourist information to make it read. Moreover, the change of attention degree may change the color and size of tourist information, or may stamp a stamp so that tourist information may stand out.
  • the detection step detects an action on the displayed tourist information.
  • the action is, for example, a gesture, hand movement, gaze movement, or the like.
  • the action on the tourist information may be detected from the sensor information of the wearable terminal, the sensor information attached to the viewer, or the like.
  • a sensor that detects a sight line, a motion sensor, an acceleration sensor, and the like may be detected from the sensor information of the wearable terminal, the sensor information attached to the viewer, or the like.
  • a sensor that detects a sight line a motion sensor, an acceleration sensor, and the like.
  • the action result display step displays, on the display board of the wearable terminal, the result according to the action as an augmented reality for the sightseeing object seen through the display board.
  • the display of the tourist information may be turned off.
  • the link may be opened upon detecting an action to open the link attached to the tourist information.
  • the page may be turned.
  • other actions may be used.
  • the position direction step acquires the terminal position and the imaging direction of the wearable terminal.
  • the terminal position can be acquired from the GPS (Global Positioning System) of the wearable terminal.
  • the imaging direction can be acquired from the geomagnetic sensor or the acceleration sensor of the wearable terminal when imaging is performed by the wearable terminal. You may acquire from other than these.
  • the inferring step infers the target position of the sightseeing target based on the terminal position and the imaging direction. If the terminal position and the imaging direction are known, the target position of the imaged tourist object can be estimated.
  • the identifying step may identify the sightseeing target from the target position and the image analysis. Specific accuracy can be improved by utilizing position information. For example, if it is possible to improve the accuracy of identification as Senso-ji Temple by using position information, the reliability of the tourist information to be displayed correspondingly is also improved.
  • the guideline display step displays a guideline for imaging a tourist object as an augmented reality on a display board of the wearable terminal.
  • guidelines such as a frame or a cross may be displayed. It will be easier to analyze the image by having the image taken according to the guidelines.
  • the acquisition step may acquire an image captured along a guideline.
  • the selection receiving step receives the selection of the selection target for the sightseeing target viewed through the display plate of the wearable terminal.
  • the selection of the selection target may be accepted by viewing the sightseeing target seen through the display plate of the wearable terminal for a certain period of time.
  • the user may touch a tourist object seen through the display plate of the wearable terminal to receive a selection of the selection object.
  • the selection of the selection target may be received by placing the cursor on a sightseeing target that is seen through the display plate of the wearable terminal.
  • a sensor that detects a sight line For example, a sensor that detects a sight line, a motion sensor, an acceleration sensor, and the like.
  • the tourist information may be displayed as augmented reality on the display board of the wearable terminal in accordance with only the selection target that is seen through the display board. Since the tourist information is displayed as the augmented reality according to only the selected selection object, the tourist information can be grasped by pinpointing.
  • the display of the display board may be troublesome when the tourist information is displayed for all the specified sightseeing targets.
  • the above-described means and functions are realized by a computer (including a CPU, an information processing device, and various terminals) reading and executing a predetermined program.
  • the program may be, for example, an application installed on a computer, or a SaaS (software as a service) provided from a computer via a network, for example, a flexible disk, a CD It may be provided in the form of being recorded in a computer readable recording medium such as a CD-ROM or the like, a DVD (DVD-ROM, DVD-RAM or the like).
  • the computer reads the program from the recording medium, transfers the program to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as, for example, a magnetic disk, an optical disk, or a magneto-optical disk, and may be provided from the storage device to the computer via a communication line.
  • nearest neighbor method naive Bayes method
  • decision tree naive Bayes method
  • support vector machine e.g., support vector machine
  • reinforcement learning e.g., reinforcement learning, etc.
  • deep learning may be used in which feature quantities for learning are generated by using a neural network.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】ウェアラブル端末の視界の画像から観光対象を特定して、観光対象に応じて収集した観光情報をウェアラブル端末の表示板に拡張現実として表示する。 【解決手段】ウェアラブル端末の表示板に、観光対象の観光情報を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った観光対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記観光対象を特定する特定手段と、前記観光対象の観光情報を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記観光情報を拡張現実として表示する観光情報表示手段と、を備えるウェアラブル端末表示システムを提供する。

Description

ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
　本発明は、ウェアラブル端末の表示板に、表示板を透過して見える観光対象に対して、収集された観光情報を拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムに関する。
　近年、観光情報のＩＴ化が進んでいる。例えば、各利用者による観光スポットや観光スポット間の経路の利用状況を取得して、当該利用状況に応じたガイダンス情報を送信可能なガイダンスシステムが提供されている（特許文献１）。
特開２０１７－１１１５４１号公報
　しかしながら、特許文献１のシステムは、観光対象を見るだけでは観光情報を提供できない問題がある。
　本発明は、上記課題に鑑み、ウェアラブル端末の視界の画像から観光対象を特定して、観光対象に応じて収集した観光情報をウェアラブル端末の表示板に拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、ウェアラブル端末の表示板に、観光対象の観光情報を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った観光対象の画像を取得する画像取得手段と、前記画像を画像解析して、前記観光対象を特定する特定手段と、前記観光対象の観光情報を収集する収集手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記観光情報を拡張現実として表示する観光情報表示手段と、を備えるウェアラブル端末表示システムを提供する。
　第１の特徴に係る発明は、ウェアラブル端末の表示板に、観光対象の観光情報を表示するウェアラブル端末表示方法であって、ウェアラブル端末の視界に入った観光対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記観光対象を特定する特定ステップと、前記観光対象の観光情報を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記観光情報を拡張現実として表示する観光情報表示ステップと、を備えるウェアラブル端末表示方法を提供する。
　第１の特徴に係る発明は、コンピュータに、ウェアラブル端末の視界に入った観光対象の画像を取得する画像取得ステップと、前記画像を画像解析して、前記観光対象を特定する特定ステップと、前記観光対象の観光情報を収集する収集ステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記観光情報を拡張現実として表示する観光情報表示ステップと、をさせるためのプログラムを提供する。
　観光対象をウェアラブル端末の視界に入れるだけで、ウェアラブル端末の表示板に観光対象に応じた観光情報を表示できる。
図１は、ウェアラブル端末表示システムの概要図である。 図２は、ウェアラブル端末の表示板に観光情報を収集して表示した一例である。
　以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　本発明のウェアラブル端末表示システムは、ウェアラブル端末の表示板に、表示板を透過して見える観光対象に対して、収集された観光情報を拡張現実として表示するシステムである。ウェアラブル端末とはスマートグラスやヘッドマウントディスプレイなどの視界がある端末のことをいう。
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるウェアラブル端末表示システムの概要図である。
　図１にあるように、ウェアラブル端末表示システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、特定手段、収集手段、観光情報表示手段、を備える。また図示しないが、同様に、判定手段、変更手段、検出手段、アクション結果表示手段、位置方向取得手段、推測手段、ガイドライン表示手段、選択受付手段、を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
　画像取得手段は、ウェアラブル端末の視界に入った観光対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに観光情報を表示するためには、リアルタイムな画像の方が好ましい。
　特定手段は、画像を画像解析して観光対象を特定する。例えば、観光対象が、浅草寺であるのか、東京スカイツリーであるのか、上野動物園であるのか、東京都美術館であるのか、などを特定する。色、形、大きさ、特徴、などから観光対象を特定できる。もちろん観光対象はこれらに限らない。また、映った観光対象の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある観光対象だけを特定してもよい。視界の中央にある観光対象だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、観光対象の過去画像を教師データとして機械学習を行う。
収集手段は、観光対象に応じた観光情報を収集する。観光情報とは、例えば浅草寺であれば、歴史・ご本尊・年表・境内・行事・参拝時間・参拝方法・ニュース、などである。もちろん、観光情報はこれらに限らない。予め観光情報が登録されたデータベースを参照して観光対象に応じた観光情報を収集してもよい。また、観光対象に予め紐付けられたＷｅｂコンテンツにアクセスして観光情報を収集してもよい。例えば、観光対象と観光情報とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収集できる。また、観光対象をインターネット検索して検索されたＷｅｂコンテンツから観光情報を収集してもよい。例えば、ホームページなどに観光情報が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ　ｎｅｔｗｏｒｋｉｎｇ　ｓｅｒｖｉｃｅ）や口コミサイトなどから、観光情報を収集できることもある。
　観光情報表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える観光対象に対して観光情報を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた観光対象に対して、破線で描かれた観光情報を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた観光対象に対して観光情報を拡張現実で表示することで、観光対象にどのような観光情報があるのかを視覚的に把握することが出来る。拡張現実として表示する観光情報は、表示板を透過して見える観光対象に重なるように表示しても良いが、観光対象が見づらくなるので、観光情報の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
判定手段は、表示された観光情報が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、観光情報が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、観光情報が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
変更手段は、閲覧されたと判定された場合は観光情報を閲覧済みに変更し、閲覧されていないと判定された場合は観光情報が閲覧されるように注目度を変更する。このようにすることで、どの観光情報が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、観光情報のチェックボックスにチェックを入れることで閲覧済としてもよい。例えば、観光情報にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、観光情報の色・サイズを変更したり、観光情報が目立つようにスタンプを押したりしてもよい。
検出手段は、表示された観光情報に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、観光情報に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、観光情報に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
アクション結果表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える観光対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、観光情報を消すアクションを検出したら観光情報の表示を消してよい。例えば、観光情報に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。例えば、観光情報のページをめくるアクションを検出したらページをめくってもよい。もちろん他のアクションでもよい。
位置方向手段は、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
　推測手段は、端末位置と撮像方向とに基づいて、観光対象の対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された観光対象の対象位置を推測することができる。
また、特定手段は、対象位置と画像解析とから、観光対象を特定してもよい。位置情報を利用することで特定の精度を向上することができる。例えば、位置情報によって、浅草寺だと特定する精度が向上できれば、それに対応して表示する観光情報の信頼度も向上する。
　ガイドライン表示手段は、ウェアラブル端末の表示板に、観光対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
　また、取得手段は、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く観光対象を特定できる。
選択受付手段は、ウェアラブル端末の表示板を透過して見える観光対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える観光対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える観光対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える観光対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
また、観光情報表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、観光情報を拡張現実として表示してもよい。選択された選択対象にだけ合わせて観光情報を拡張現実として表示するので、ピンポイントに観光情報を把握することができる。特定された全ての観光対象に観光情報を表示すると表示板の画面が煩わしくなることがある。
[動作の説明]
次に、ウェアラブル端末表示方法について説明する。本発明のウェアラブル端末表示方法は、ウェアラブル端末の表示板に、表示板を透過して見える観光対象に対して、収集された観光情報を拡張現実として表示する方法である。
ウェアラブル端末表示方法は、画像取得ステップ、特定ステップ、収集ステップ、観光情報表示ステップ、を備える。また図示しないが、同様に、判定ステップ、変更ステップ、検出ステップ、アクション結果表示ステップ、位置方向取得ステップ、推測ステップ、ガイドライン表示ステップ、選択受付ステップ、を備えてもよい。
　画像取得ステップは、ウェアラブル端末の視界に入った観光対象の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに観光情報を表示するためには、リアルタイムな画像の方が好ましい。
　特定ステップは、画像を画像解析して観光対象を特定する。例えば、観光対象が、浅草寺であるのか、東京スカイツリーであるのか、、上野動物園であるのか、東京都美術館であるのか、などを特定する。色、形、大きさ、特徴、などから観光対象を特定できる。もちろん観光対象はこれらに限らない。また、映った観光対象の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある観光対象だけを特定してもよい。視界の中央にある観光対象だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、観光対象の過去画像を教師データとして機械学習を行う。
収集ステップは、観光対象に応じた観光情報を収集する。観光情報とは、例えば浅草寺であれば、歴史・ご本尊・年表・境内・行事・参拝時間・参拝方法・ニュース、などである。もちろん、観光情報はこれらに限らない。予め観光情報が登録されたデータベースを参照して観光対象に応じた観光情報を収集してもよい。また、観光対象に予め紐付けられたＷｅｂコンテンツにアクセスして観光情報を収集してもよい。例えば、観光対象と観光情報とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収集できる。また、観光対象をインターネット検索して検索されたＷｅｂコンテンツから観光情報を収集してもよい。例えば、ホームページなどに観光情報が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ　ｎｅｔｗｏｒｋｉｎｇ　ｓｅｒｖｉｃｅ）や口コミサイトなどから、観光情報を収集できることもある。
　観光情報表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える観光対象に対して観光情報を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた観光対象に対して、破線で描かれた観光情報を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた観光対象に対して観光情報を拡張現実で表示することで、観光対象にどのような観光情報があるのかを視覚的に把握することが出来る。拡張現実として表示する観光情報は、表示板を透過して見える観光対象に重なるように表示しても良いが、観光対象が見づらくなるので、観光情報の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
判定ステップは、表示された観光情報が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、観光情報が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、観光情報が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
変更ステップは、閲覧されたと判定された場合は観光情報を閲覧済みに変更し、閲覧されていないと判定された場合は観光情報が閲覧されるように注目度を変更する。このようにすることで、どの観光情報が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、観光情報のチェックボックスにチェックを入れることで閲覧済としてもよい。例えば、観光情報にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、観光情報の色・サイズを変更したり、観光情報が目立つようにスタンプを押したりしてもよい。
検出ステップは、表示された観光情報に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、観光情報に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、観光情報に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
アクション結果表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える観光対象に対して、アクションに応じた結果を拡張現実として表示する。例えば、観光情報を消すアクションを検出したら観光情報の表示を消してよい。例えば、観光情報に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。例えば、観光情報のページをめくるアクションを検出したらページをめくってもよい。もちろん他のアクションでもよい。
位置方向ステップは、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
　推測ステップは、端末位置と撮像方向とに基づいて、観光対象の対象位置を推測する。端末位置と撮像方向が分かっていれば、撮像された観光対象の対象位置を推測することができる。
また、特定ステップは、対象位置と画像解析とから、観光対象を特定してもよい。位置情報を利用することで特定の精度を向上することができる。例えば、位置情報によって、浅草寺だと特定する精度が向上できれば、それに対応して表示する観光情報の信頼度も向上する。
　ガイドライン表示ステップは、ウェアラブル端末の表示板に、観光対象を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
　また、取得ステップは、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く観光対象を特定できる。
選択受付ステップは、ウェアラブル端末の表示板を透過して見える観光対象に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える観光対象を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える観光対象にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える観光対象にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
また、観光情報表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、観光情報を拡張現実として表示してもよい。選択された選択対象にだけ合わせて観光情報を拡張現実として表示するので、ピンポイントに観光情報を把握することができる。特定された全ての観光対象に観光情報を表示すると表示板の画面が煩わしくなることがある。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

 

Claims (13)

  1. 　ウェアラブル端末の表示板に、観光対象の観光情報を表示するウェアラブル端末表示システムであって、
    　ウェアラブル端末の視界に入った観光対象の画像を取得する画像取得手段と、
    　前記画像を画像解析して、前記観光対象を特定する特定手段と、
    　前記観光対象の観光情報を収集する収集手段と、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記観光情報を拡張現実として表示する観光情報表示手段と、
    を備えるウェアラブル端末表示システム。
  2. 　前記特定手段は、前記ウェアラブル端末の視界の中央にある観光対象だけを特定する
    請求項１に記載のウェアラブル端末表示システム。
  3. 　前記収集手段は、予め観光情報が登録されたデータベースを参照して、前記観光対象の観光情報を収集する
    請求項１に記載のウェアラブル端末表示システム。
  4. 　前記収集手段は、前記観光対象に予め紐付けられたＷｅｂコンテンツにアクセスして、前記観光情報を収集する
    請求項１に記載のウェアラブル端末表示システム。
  5. 　前記収集手段は、前記観光対象をインターネット検索して、検索されたＷｅｂコンテンツから前記観光情報を収集する
    請求項１に記載のウェアラブル端末表示システム。
  6. 　前記表示された観光情報が閲覧されたかどうかを判定する判定手段と、
    　前記閲覧されたと判定された場合、観光情報を閲覧済みに変更する変更手段と、
    を備える請求項１に記載のウェアラブル端末表示システム。
  7. 　前記表示された観光情報が閲覧されたかどうかを判定する判定手段と、
    　前記閲覧されていないと判定された場合、観光情報が閲覧されるように注目度を変更する変更手段と、
    を備える請求項１に記載のウェアラブル端末表示システム。
  8. 　前記表示された観光情報に対するアクションを検出する検出手段と、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、
    を備える請求項１に記載のウェアラブル端末表示システム。
  9. 　前記ウェアラブル端末の、端末位置と撮像方向と、を取得する位置方向取得手段と、
    　前記端末位置と前記撮像方向とに基づいて、前記観光対象の対象位置を推測する推測手段と、
    を備え、
    　前記特定手段は、前記対象位置と前記画像解析とから、前記観光対象を特定する
    請求項１に記載のウェアラブル端末表示システム。
  10. 　前記ウェアラブル端末の表示板に、前記観光対象を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
    　前記取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する
    請求項１に記載のウェアラブル端末表示システム。　
  11. 　前記ウェアラブル端末の表示板を透過して見える前記観光対象に対して、選択対象の選択を受け付ける選択受付手段を備え、
    　前記観光情報表示手段は、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記観光情報を拡張現実として表示する
    請求項１に記載のウェアラブル端末表示システム。
  12. 　ウェアラブル端末の表示板に、観光対象の観光情報を表示するウェアラブル端末表示方法であって、
    　ウェアラブル端末の視界に入った観光対象の画像を取得する画像取得ステップと、
    　前記画像を画像解析して、前記観光対象を特定する特定ステップと、
    　前記観光対象の観光情報を収集する収集ステップと、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記観光情報を拡張現実として表示する観光情報表示ステップと、
    を備えるウェアラブル端末表示方法。
  13. 　コンピュータに、
    　ウェアラブル端末の視界に入った観光対象の画像を取得する画像取得ステップと、
    　前記画像を画像解析して、前記観光対象を特定する特定ステップと、
    　前記観光対象の観光情報を収集する収集ステップと、
    　前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記観光対象に対して、前記観光情報を拡張現実として表示する観光情報表示ステップと、
    をさせるためのプログラム。
     
PCT/JP2017/027350 2017-07-28 2017-07-28 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム WO2019021446A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027350 WO2019021446A1 (ja) 2017-07-28 2017-07-28 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027350 WO2019021446A1 (ja) 2017-07-28 2017-07-28 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2019021446A1 true WO2019021446A1 (ja) 2019-01-31

Family

ID=65040085

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027350 WO2019021446A1 (ja) 2017-07-28 2017-07-28 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2019021446A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113314057A (zh) * 2021-06-02 2021-08-27 烟台南山学院 一种旅游广告宣传装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149478A (ja) * 2000-08-29 2002-05-24 Fujitsu Ltd 更新情報の自動表示方法、装置、媒体およびプログラム
JP2007018456A (ja) * 2005-07-11 2007-01-25 Nikon Corp 情報表示装置及び情報表示方法
WO2011126134A1 (ja) * 2010-04-09 2011-10-13 サイバーアイ・エンタテインメント株式会社 リアルタイム動画像収集・認識・分類・処理・配信サーバシステム
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149478A (ja) * 2000-08-29 2002-05-24 Fujitsu Ltd 更新情報の自動表示方法、装置、媒体およびプログラム
JP2007018456A (ja) * 2005-07-11 2007-01-25 Nikon Corp 情報表示装置及び情報表示方法
WO2011126134A1 (ja) * 2010-04-09 2011-10-13 サイバーアイ・エンタテインメント株式会社 リアルタイム動画像収集・認識・分類・処理・配信サーバシステム
JP2014531662A (ja) * 2011-09-19 2014-11-27 アイサイト モバイル テクノロジーズ リミテッド 拡張現実システムのためのタッチフリーインターフェース

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113314057A (zh) * 2021-06-02 2021-08-27 烟台南山学院 一种旅游广告宣传装置
CN113314057B (zh) * 2021-06-02 2022-11-01 烟台南山学院 一种旅游广告宣传装置

Similar Documents

Publication Publication Date Title
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
US20200193487A1 (en) System and method to measure effectiveness and consumption of editorial content
TWI418763B (zh) 作為導航器之行動成像裝置
US8891907B2 (en) System and method of identifying visual objects
US9874454B2 (en) Community-based data for mapping systems
US7853558B2 (en) Intelligent augmentation of media content
JP6267841B1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US20170201709A1 (en) Information processing apparatus, information processing method, and program
Anagnostopoulos et al. Gaze-Informed location-based services
US20150170367A1 (en) Identification of relative distance of objects in images
CN105814532A (zh) 用于三维对象显示的方法
KR20130053535A (ko) 무선 통신 디바이스를 이용한 건물 내부의 증강현실 투어 플랫폼 서비스 제공 방법 및 장치
JP2017123120A (ja) 広告評価装置、広告評価システム、広告評価方法、および、広告評価プログラム
EP2613495A1 (en) Method for determining digital content preferences of the user
CN105210009A (zh) 显示控制装置、显示控制方法和记录介质
JP6887198B2 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
KR102115286B1 (ko) 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법
WO2019021446A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2018198320A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN109887124B (zh) 车辆运动数据的处理方法、装置、计算机设备、存储介质
WO2018216220A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019021447A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019003359A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US9911237B1 (en) Image processing techniques for self-captured images
WO2018216221A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17919385

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17919385

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP