JP2018116165A - Information providing system and information providing method - Google Patents
Information providing system and information providing method Download PDFInfo
- Publication number
- JP2018116165A JP2018116165A JP2017007219A JP2017007219A JP2018116165A JP 2018116165 A JP2018116165 A JP 2018116165A JP 2017007219 A JP2017007219 A JP 2017007219A JP 2017007219 A JP2017007219 A JP 2017007219A JP 2018116165 A JP2018116165 A JP 2018116165A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- designated
- viewpoint position
- plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、ユーザーが透明な板状部材上で位置を指定すると、ユーザーから板状部材上の指定位置を通して見える対象物の情報を、ユーザーに提供する情報提供システムおよび情報提供方法に関する。 The present invention relates to an information providing system and an information providing method for providing, to a user, information on an object that can be seen through the designated position on the plate-like member when the user designates a position on a transparent plate-like member.
ユーザーが、窓ガラスなどの透明な板状部材を通して見えるランドマークなどの対象物に興味を持った際に、ユーザーから見て対象物に重なる板状部材上の位置を触るなどして指定すると、その対象物に関する情報を検索してユーザーに提供する技術の開発が進められている。
こうした技術では、ユーザーの眼の位置（以下、視点位置）と、ユーザーが板状部材上で触った指定位置とを結んだ線分の延長線上にある対象物の情報を検索するようになっており、視点位置の違いによって指定位置の先にある対象物が異なるので、検索の前に視点位置を正確に検出する必要がある。
When a user is interested in an object such as a landmark that can be seen through a transparent plate-like member such as a window glass, if the user specifies it by touching the position on the plate-like member that overlaps the object as seen by the user, Development of technology for searching for information related to the object and providing it to the user is in progress.
In such a technique, information on an object on an extension line of a line connecting a user's eye position (hereinafter referred to as a viewpoint position) and a specified position touched on a plate-like member by a user is searched. Since the object ahead of the designated position differs depending on the difference in viewpoint position, it is necessary to accurately detect the viewpoint position before the search.
ユーザーの視点位置を検出する技術としては、ユーザーの顔を撮影する複数のカメラを搭載しておき、カメラで撮影された映像を解析することで視点位置を検出する技術が提案されている（例えば、特許文献１）。 As a technique for detecting the user's viewpoint position, a technique has been proposed in which a plurality of cameras that capture the user's face are installed and the viewpoint position is detected by analyzing video captured by the camera (for example, Patent Document 1).
しかし、上記の提案されている技術では、ユーザーの視点位置を検出するために複数のカメラや、カメラの映像を解析する複雑な機能が必要であるという問題があった。 However, the proposed technique has a problem in that a plurality of cameras and a complicated function for analyzing video images of the cameras are required to detect the viewpoint position of the user.
この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、ユーザーの視点位置を簡単に且つ精度良く検出することが可能であり、その視点位置から板状部材上の指定位置を通して見える対象物の情報をユーザーに提供する技術の提供を目的とする。 The present invention has been made in view of the above-described problems of the prior art, and it is possible to easily and accurately detect the viewpoint position of the user, and through the designated position on the plate member from the viewpoint position. The purpose is to provide technology that provides users with information on visible objects.
上述した課題を解決するために本発明の情報提供システムおよび情報提供方法は、ユーザーの視点位置を検出すると共に、ユーザーが透明な板状部材上で位置を指定すると、指定位置を検出する。また、視点位置と指定位置とを結ぶ線分の延長線上にある対象物に関する対象物情報を検索して、ユーザーに対象物情報を通知する。そして、ユーザーの視点位置の検出は、板状部材から所定の離隔距離以上離して設定された複数の基準位置と、ユーザーから見て複数の基準位置の各々に重なる板状部材上の位置をユーザーが指定した際に検出された複数の指定位置との位置関係に基づいて行う。 In order to solve the above-described problems, the information providing system and the information providing method of the present invention detect a user's viewpoint position, and detect a designated position when the user designates a position on a transparent plate-like member. Further, the object information relating to the object on the extension line of the line connecting the viewpoint position and the designated position is searched, and the object information is notified to the user. The user's viewpoint position is detected based on a plurality of reference positions set apart from the plate-like member by a predetermined separation distance and a position on the plate-like member that overlaps each of the plurality of reference positions as viewed from the user. Is performed based on the positional relationship with a plurality of designated positions detected when designated.
このようにすれば、ユーザーが興味を持った対象物に重なる位置として板状部材上で指定した指定位置を検出するために備わっている機能を、ユーザーの視点位置の検出に流用することができ、ユーザーの視点位置を検出するために複数のカメラや、カメラの映像を解析する複雑な機能を追加する必要はないので、ユーザーの視点位置を簡単に検出することが可能となる。
そして、複数の基準位置を板状部材から所定の離隔距離以上離して設定しておくことにより、基準位置と指定位置との距離を確保することができるので、基準位置と指定位置とを結ぶ線分の傾きの誤差を抑制して、この線分に基づくユーザーの視点位置の検出精度を高めることが可能となる。
In this way, the function provided for detecting the designated position designated on the plate-like member as the position that overlaps with the object that the user is interested in can be used for detecting the viewpoint position of the user. In addition, since it is not necessary to add a plurality of cameras or a complicated function for analyzing the video of the camera in order to detect the user's viewpoint position, the user's viewpoint position can be easily detected.
And, by setting a plurality of reference positions apart from the plate-like member by a predetermined distance or more, the distance between the reference position and the specified position can be secured, so a line connecting the reference position and the specified position It is possible to suppress the error in the inclination of the minute and increase the detection accuracy of the user's viewpoint position based on this line segment.
以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．適用シチュエーション ：
図１には、本実施例の情報提供システム１０が適用されるシチュエーションが例示されている。本実施例の情報提供システム１０は、図示しない車両に搭載されており、図１に斜視図で示されるように、車内のユーザーから車両の窓ガラス１を通して見える車外のランドマークなどの対象物に関する情報（以下、対象物情報）をユーザーに提供するシステムである。
尚、以下では、窓ガラス１と直交する方向をＸ方向と称する。また、窓ガラス１の左右方向をＹ方向と称し、窓ガラス１の上下方向をＺ方向と称するものとする。
また、本実施例の窓ガラス１は、本発明の「透明な板状部材」に相当している。
Hereinafter, examples will be described in order to clarify the contents of the present invention described above.
A. Applicable situation:
FIG. 1 illustrates a situation to which the
In the following, the direction orthogonal to the
Moreover, the
図２には、ユーザーから窓ガラス１を通して見える車外の景色が例示されている。図２の例では、ユーザーから窓ガラス１を通して建物Ａ、建物Ｂ、建物Ｃが見えている。このうち、建物Ｂに興味を持ったユーザーが、窓ガラス１上で建物Ｂと重なる位置を指で触るなどして指定すると、本実施例の情報提供システム１０では、建物Ｂに関する対象物情報として、例えば建物Ｂの名称「○○タワービル」などが景色に重ねて表示されるようになっている。
FIG. 2 illustrates the scenery outside the vehicle as seen through the
Ｂ．システム構成 ：
図３には、本実施例の情報提供システム１０の構成が示されている。図示されるように本実施例の情報提供システム１０は、指定位置検出部１１と、視点位置検出部１２と、情報検索部１３と、情報通知部１４とを備えている。
尚、これら４つの「部」１１〜１４は、情報提供システム１０を機能に着目して概念的に分類したものであり、それぞれが必ずしも物理的に独立して存在している必要はない。これらは、各種の機器や、電子部品、集積回路、コンピュータ、コンピュータプログラム、あるいはそれらの組合せなどによって構成することができる。
B. System configuration :
FIG. 3 shows the configuration of the
These four “parts” 11 to 14 are conceptually classified by focusing on the functions of the
指定位置検出部１１は、窓ガラス１上でユーザーが指で触るなどして指定した位置（以下、指定位置）を検出する。
本実施例の情報提供システム１０では、指定位置検出部１１として抵抗膜方式のタッチパネルが窓ガラス１に設置されており、ユーザーが触った指定位置を検出することが可能である。
尚、タッチパネルは、抵抗膜方式に限られず、静電容量方式や、超音波表面弾性波方式や、赤外線方式や、電磁誘導方式などの他の方式であってもよい。また、ユーザーが指で直接的に触るのではなく、タッチペンなどの専用デバイスを用いて触るようにしてもよい。
The designated
In the
The touch panel is not limited to the resistive film method, and may be another method such as a capacitance method, an ultrasonic surface acoustic wave method, an infrared method, or an electromagnetic induction method. In addition, the user may touch using a dedicated device such as a touch pen instead of directly touching with a finger.
視点位置検出部１２は、対象物を見るユーザーの眼の位置（以下、視点位置）を検出する。
本実施例の視点位置検出部１２は、上述の指定位置検出部１１や、窓ガラス１から所定の離隔距離（例えば、５０ｃｍ）以上離して設定された２つの基準位置を表す基準位置ＬＥＤ１５ａ，１５ｂと接続されている。詳しくは後述するが、これら２つの基準位置ＬＥＤ１５ａ，１５ｂの点灯時に、ユーザーから見て基準位置ＬＥＤ１５ａ，１５ｂに重なる窓ガラス１上の位置をユーザーが触るようになっており、その際に指定位置検出部１１で検出された２つの指定位置と、２つの基準位置との位置関係に基づいて、視点位置検出部１２がユーザーの視点位置を検出する。
The viewpoint
The viewpoint
情報検索部１３は、指定位置検出部１１や視点位置検出部１２と接続されていると共に、車両を目的地まで誘導するナビゲーションシステム２０と接続されており、車両の位置情報や、車両の向き情報や、車両周辺の地図情報を取得可能になっている。そして、情報検索部１３は、車両の位置情報や向き情報を参照しながら、視点位置検出部１２で検出された視点位置と、基準位置ＬＥＤ１５ａ，１５ｂの非点灯時にユーザーが窓ガラス１に触って指定位置検出部１１で検出された指定位置とを結ぶ線分の延長線上にある対象物に関する対象物情報を、車両周辺の地図情報などから検索する。
The
情報通知部１４は、情報検索部１３と接続されており、情報検索部１３で検索された対象物情報をユーザーに通知する。
本実施例の情報提供システム１０では、情報通知部１４として透過型ディスプレイが窓ガラス１に設置されており、ユーザーから窓ガラス１を通して見える景色に重ねて対象物情報を表示することが可能である。
尚、本実施例の透過型ディスプレイは、本発明の「透過型の表示装置」に対応している。
The
In the
Note that the transmissive display of this example corresponds to the “transmissive display device” of the present invention.
Ｃ．情報提供制御処理 ：
図４には、本実施例の情報提供システム１０で実行される情報提供制御処理のフローチャートが示されている。
この情報提供制御処理（Ｓ１００）は、図示しない起動／停止ボタンをユーザーが操作して情報提供システム１０を起動することで開始される。尚、車両のエンジン始動と同期して開始されるようにしてもよい。情報提供制御処理（Ｓ１００）では、まず、ユーザーの視点位置を検出済みであるか否かを判断する（Ｓ１０１）。未だユーザーの視点位置を検出していない場合は（Ｓ１０１：ｎｏ）、視点位置を検出するための後述する視点位置検出処理（Ｓ１０２）を実行する。
C. Information provision control processing:
FIG. 4 shows a flowchart of the information provision control process executed by the
This information provision control process (S100) is started when the user operates a start / stop button (not shown) to activate the
一方、既にユーザーの視点位置を検出している場合は（Ｓ１０１：ｙｅｓ）、視点位置検出処理（Ｓ１０２）を省略して、指定位置検出部１１としてのタッチパネルにユーザーが触ったか否かを判断する（Ｓ１０３）。
前述したように本実施例の情報提供システム１０では、ユーザーが窓ガラス１を通して見える景色の中の対象物に興味を持った際に、タッチパネルが設置された窓ガラス１上で対象物に重なる位置をユーザーが触るようになっており、未だユーザーがタッチパネルに触っていない場合は（Ｓ１０３：ｎｏ）、ユーザーがタッチパネルに触るまで待機状態となる。
そして、ユーザーがタッチパネルに触った場合は（Ｓ１０３：ｙｅｓ）、ユーザーが触った位置（すなわち、タッチパネル上でのＹ方向およびＺ方向の座標）を指定位置として検出する（Ｓ１０４）。
On the other hand, if the viewpoint position of the user has already been detected (S101: yes), the viewpoint position detection process (S102) is omitted, and it is determined whether or not the user has touched the touch panel as the designated
As described above, in the
When the user touches the touch panel (S103: yes), the position touched by the user (that is, the coordinates in the Y direction and the Z direction on the touch panel) is detected as the designated position (S104).
指定位置を検出すると、ユーザーの視点位置と、検出した指定位置とを結ぶ線分の延長線上から対象物を抽出する（Ｓ１０５）。
図５には、対象物を抽出する例が示されており、図５では、ユーザーおよび窓ガラス１を上方から見た状態を表している。本実施例の情報提供システム１０では、窓ガラス１の車内側の面に指定位置検出部１１としてのタッチパネルが設置されると共に、窓ガラス１の車外側の面に情報通知部１４としての透過型ディスプレイが設置されている。
前述したようにユーザーがタッチパネル１１上で触った位置が指定位置として検出される。また、ユーザーの両眼の中間が視点位置として検出されている。
When the designated position is detected, the object is extracted from the extended line segment connecting the user's viewpoint position and the detected designated position (S105).
FIG. 5 shows an example of extracting an object, and FIG. 5 shows a state where the user and the
As described above, the position touched on the
本実施例の情報提供システム１０は車両に搭載されており、車両と共に移動するものの、ナビゲーションシステム２０から取得した車両の位置情報および向き情報を参照することによって、視点位置と指定位置とを結ぶ線分の延長線の方向（すなわち、ユーザーの視線）を特定することができる。
図５に示した例では、車内から窓ガラス１を通して見える車外の景色に建物Ａ，建物Ｂ，建物Ｃが含まれており、ナビゲーションシステム２０から取得した車両周辺の地図情報を参照して、車内のユーザーの視線上に存在する建物Ｂを対象物として抽出する。
Although the
In the example shown in FIG. 5, buildings A, B, and C are included in the scenery outside the vehicle that can be seen through the
尚、図５では、窓ガラス１を上方から見たＸ−Ｙ平面上でのユーザーの視線を表し、Ｙ方向（すなわち、窓ガラス１の左右方向）に位置が異なる複数の建物の中から対象物を抽出する例を説明したが、窓ガラス１を横から見たＸ−Ｚ平面（図示省略）上においても同様に、視点位置と指定位置とを結ぶ線分を延長してユーザーの視線が特定されるので、Ｚ方向に位置が異なる（すなわち、高さが異なる）複数の建物の中からユーザーの視線上に存在する建物を対象物として抽出することができる。
また、ユーザーの視線上に複数の建物（すなわち、対象物の候補）が存在する場合は、窓ガラス１から最も近い位置にある建物を対象物として抽出する。
もちろん、対象物は建物に限られず、山や湖などの自然物であってもよい。
In FIG. 5, the user's line of sight on the XY plane when the
When there are a plurality of buildings (that is, candidates for objects) on the user's line of sight, the building closest to the
Of course, the object is not limited to a building, and may be a natural object such as a mountain or a lake.
図４の情報提供制御処理では、対象物の抽出（Ｓ１０５）に続いて、その対象物に関する対象物情報を検索する（Ｓ１０６）。例えば、ナビゲーションシステム２０から取得した地図情報を参照し、対象物として抽出した建物に対応付けて登録されている建物の名称などの情報を対象物情報として検索する。
尚、対象物情報を検索する情報源は、ナビゲーションシステム２０の地図情報に限られず、情報提供システム１０をインターネットと接続可能にして、インターネットを用いて対象物の位置に基づき対象物情報を検索してもよい。
また、対象物情報は、対象物に関する情報であれば特に限定されず、建物の高さや、建物に入居するテナント名などであってもよい。
In the information provision control process of FIG. 4, following the extraction of the object (S105), the object information regarding the object is searched (S106). For example, the map information acquired from the
The information source for retrieving the object information is not limited to the map information of the
The object information is not particularly limited as long as it is information related to the object, and may be the height of a building, the name of a tenant who moves into the building, or the like.
こうして対象物情報を検索すると、検索した対象物情報を情報通知部１４としての透過型ディスプレイを用いて表示する（Ｓ１０７）。
前述したように窓ガラス１に設置された本実施例の透過型ディスプレイ１４（図５参照）は、ユーザーの視点位置から窓ガラス１を通して見える車外の景色に重ねて表示が可能であり、景色の中の対象物に対応付けて対象物情報を表示する（図２参照）。
When the object information is retrieved in this way, the retrieved object information is displayed using a transmission type display as the information notification unit 14 (S107).
As described above, the transmissive display 14 (see FIG. 5) installed in the
対象物情報を表示したら、次に、情報提供システム１０を停止するか否かを判断する（Ｓ１０８）。本実施例の情報提供システム１０は、ユーザーによって起動／停止ボタンが操作されると停止する。また、車両のエンジン停止と連動して情報提供システム１０も停止する。
そして、情報提供システム１０を停止する場合は（Ｓ１０８：ｙｅｓ）、図４の情報提供制御処理を終了する。
一方、情報提供システム１０を停止しない場合は（Ｓ１０８：ｎｏ）、情報提供制御処理（Ｓ１００）の先頭に戻り、ユーザーの視点位置を検出済みであるか否かを判断する（Ｓ１０１）。
Once the object information is displayed, it is next determined whether or not to stop the information providing system 10 (S108). The
And when stopping the information provision system 10 (S108: yes), the information provision control process of FIG. 4 is complete | finished.
On the other hand, when the
Ｓ１０１の処理では、情報提供システム１０が起動した直後や、ユーザーが視点位置を変更したのに伴い図示しない再検出ボタンを操作して視点位置の再検出を要求した場合などに、視点位置を未検出であると判断し（Ｓ１０１：ｎｏ）、以下の視点位置検出処理（Ｓ１０２）を実行する。
前述したように本実施例の情報提供システム１０では、ユーザーの視点位置と、ユーザーが窓ガラス１上で触った指定位置とを結んだ線分の延長線上にある対象物を抽出するようになっており、視点位置の違いによって指定位置の先にある対象物が異なることから、視点位置を正確に検出する必要がある。
In the processing of S101, the viewpoint position is not set immediately after the
As described above, in the
図６には、視点位置検出処理のフローチャートが示されている。図示されるように視点位置検出処理（Ｓ１０２）では、まず、ユーザーに対して基準位置ＬＥＤ１５ａ，１５ｂが点灯したら窓ガラス１上で基準位置ＬＥＤ１５ａ，１５ｂと重なる位置に触ることを要請する案内を、情報通知部１４としての透過型ディスプレイに表示する（Ｓ１１１）。
前述したように本実施例の情報提供システム１０では、窓ガラス１から所定の離隔距離以上離して設定された２つの基準位置の各々に基準位置ＬＥＤ１５ａ，１５ｂが設けられている。このうち、まず第１基準位置を表す第１基準位置ＬＥＤ１５ａを点灯する（Ｓ１１２）。
FIG. 6 shows a flowchart of the viewpoint position detection process. As shown in the drawing, in the viewpoint position detection process (S102), first, when the
As described above, in the
続いて、窓ガラス１に指定位置検出部１１として設置されたタッチパネルにユーザーが触ったか否かを判断する（Ｓ１１３）。未だユーザーがタッチパネルに触っていない場合は（Ｓ１１３：ｎｏ）、ユーザーがタッチパネルに触るまで待機状態となる。
そして、ユーザーがタッチパネルに触った場合は（Ｓ１１３：ｙｅｓ）、ユーザーが触った位置を第１指定位置として検出する（Ｓ１１４）。
Subsequently, it is determined whether or not the user has touched the touch panel installed as the designated
When the user touches the touch panel (S113: yes), the position touched by the user is detected as the first designated position (S114).
第１指定位置を検出すると、第１基準位置ＬＥＤ１５ａを消灯して（Ｓ１１５）、次に、第２基準位置を表す第２基準位置ＬＥＤ１５ｂを点灯する（Ｓ１１６）。続いて、再びユーザーがタッチパネルに触ったか否かを判断し（Ｓ１１７）、未だユーザーがタッチパネルに触っていない場合は（Ｓ１１７：ｎｏ）、ユーザーがタッチパネルに触るまで待機状態となる。
そして、ユーザーがタッチパネルに触った場合は（Ｓ１１７：ｙｅｓ）、ユーザーが触った位置を第２指定位置として検出した後（Ｓ１１８）、第２基準位置ＬＥＤ１５ｂを消灯する（Ｓ１１９）。
When the first designated position is detected, the first
When the user touches the touch panel (S117: yes), the position touched by the user is detected as the second designated position (S118), and then the second
こうして検出した第１指定位置および第２指定位置と、窓ガラス１から離して予め設定された基準位置との位置関係に基づいてユーザーの視点位置を検出する（Ｓ１２０）。そして、視点位置を検出したら、図６の視点位置検出処理を終了して、図４の情報提供制御処理に復帰する。 The viewpoint position of the user is detected based on the positional relationship between the first designated position and the second designated position thus detected and a preset reference position apart from the window glass 1 (S120). If the viewpoint position is detected, the viewpoint position detection process in FIG. 6 is terminated, and the process returns to the information provision control process in FIG.
図７には、本実施例の情報提供システム１０でユーザーの視点位置を検出する例が示されている。図７では、車両の前側の窓ガラス１（いわゆるフロントガラス）を上方から見た状態を表している。
図示した例では、窓ガラス１から所定の離隔距離Ｌ（例えば、５０ｃｍ）以上離して、車両のボンネット上に２つの基準位置が予め設定されており、２つの基準位置の各々に基準位置ＬＥＤ１５ａ，１５ｂが設けられている。
FIG. 7 shows an example in which the
In the illustrated example, two reference positions are set in advance on the hood of the vehicle at a predetermined separation distance L (for example, 50 cm) or more from the
前述したように、第１基準位置を表す第１基準位置ＬＥＤ１５ａの点灯時に、タッチパネル１１が設置された窓ガラス１上で第１基準位置ＬＥＤ１５ａと重なる位置をユーザーが触ると、触った位置が第１指定位置として検出される。
この第１指定位置と第１基準位置とを結ぶ線分はユーザーの視線を表すことから、線分の延長線上にユーザーの視点位置がある。
As described above, when the first
Since the line segment connecting the first designated position and the first reference position represents the user's line of sight, the user's viewpoint position is on the extended line.
また同様に、第２基準位置を表す第２基準位置ＬＥＤ１５ｂの点灯時に、ユーザーが窓ガラス１上で第２基準位置ＬＥＤ１５ｂと重なる位置を触ると、触った位置が第２指定位置として検出される。
この第２指定位置と第２基準位置とを結ぶ線分もユーザーの視線を表しており、線分の延長線上にユーザーの視点位置がある。
Similarly, when the second
The line segment connecting the second designated position and the second reference position also represents the user's line of sight, and the user's viewpoint position is on the extended line.
このように、窓ガラス１から離して設定された第１基準位置および第２基準位置と、ユーザーが窓ガラス１上で触った第１指定位置および第２指定位置との位置関係に基づいて、ユーザーの視線を表す２本の線分を特定すれば、ユーザーの視点位置は、これら２本の線分を延長した交点にあることから、交点を視点位置として検出することができる。
尚、図７では、窓ガラス１を上方から見たＸ−Ｙ平面上でユーザーの視点位置を検出する例を示したが、窓ガラス１を横から見たＸ−Ｚ平面（図示省略）上においても同様に、第１基準位置および第２基準位置と、第１指定位置および第２指定位置との位置関係に基づいて、ユーザーの視線を表す２本の線分が特定されるので、２本の線分を延長した交点をユーザーの視点位置として検出することができる。
Thus, based on the positional relationship between the first reference position and the second reference position set apart from the
In addition, in FIG. 7, although the example which detects a user's viewpoint position on the XY plane which looked at the
以上に説明したように本実施例の情報提供システム１０では、予め設定された２つの基準位置と、ユーザーが窓ガラス１上で２つの基準位置の各々に重なる位置として触った２つの指定位置との位置関係に基づいて、ユーザーの視点位置を検出するようになっている。こうすれば、ユーザーが景色の中で興味を持った対象物に重なる位置として窓ガラス１上で触った指定位置を検出するために備わっている機能（すなわち、指定位置検出部１１としてのタッチパネルの機能）をユーザーの視点位置の検出に流用することができ、ユーザーの視点位置を検出するために複数のカメラや、カメラの映像を解析する複雑な機能を追加する必要はないので、ユーザーの視点位置を簡単に検出することが可能となる。
As described above, in the
そして、２つの基準位置を窓ガラス１から所定の離隔距離以上離して設定しておくことにより、基準位置と指定位置との距離を確保することができるので、基準位置と指定位置とを結ぶ線分の傾きの誤差を抑制して線分の延長線上にある視点位置の検出精度を高めることが可能となる。
その結果、検出された視点位置と、ユーザーが窓ガラス１上で触った指定位置とを結ぶ線分の延長線上から、ユーザーが検索したい対象物を正しく抽出することができ、ユーザーが求める対象物情報を提供することが可能となる。
Since the distance between the reference position and the specified position can be secured by setting the two reference positions apart from the
As a result, the object that the user wants to search can be correctly extracted from the extension line of the line connecting the detected viewpoint position and the specified position that the user touched on the
尚、本実施例の情報提供システム１０では、対象物情報をユーザーに通知する情報通知部１４として透過型ディスプレイを窓ガラス１に設置していたが、情報通知部１４は透過型ディスプレイに限定されず、窓ガラス１とは別の位置に設けられたディスプレイに対象物情報を表示してもよい。ただし、本実施例のように情報通知部１４として透過型ディスプレイを用いて、ユーザーの視点位置から窓ガラス１を通して見える景色に重ねて対象物情報を表示すれば、ユーザーは見ている対象物から視線を大きく変えることなく対象物情報を視認できるので、窓ガラス１とは別の位置で対象物情報を表示する場合に比べて、対象物情報の把握が容易となる。
また、情報通知部１４は、ユーザーに対する対象物情報の通知を表示によって行うものに限られず、音声によって対象物情報を通知するものであってもよい。
In the
Moreover, the
Ｄ．変形例 ：
図８には、変形例の情報提供システム１０でユーザーの視点位置を検出する例が示されている。図８では、窓ガラス１を上方から見た状態を表している。
前述した実施例では、２つの基準位置が窓ガラス１よりも車外側に設定されていたのに対して、変形例の情報提供システム１０では、窓ガラス１よりも車内側に２つの基準位置が設定されており、２つの基準位置の各々に基準位置ＬＥＤ１５ａ，１５ｂが設けられている。
尚、変形例の２つの基準位置についても、前述した実施例と同様に、窓ガラス１から所定の離隔距離以上離して設定されている。
D. Modified example:
FIG. 8 shows an example in which the viewpoint position of the user is detected by the
In the embodiment described above, the two reference positions are set on the vehicle outer side than the
Note that the two reference positions of the modification are also set apart from the
変形例の情報提供システム１０では、第１基準位置を表す第１基準位置ＬＥＤ１５ａの点灯時に、タッチパネル１１が設置された窓ガラス１上で第１基準位置ＬＥＤ１５ａが反射して見える位置をユーザーが触るようになっており、触った位置が第１指定位置として検出される。
この第１指定位置と第１基準位置とを結ぶ線分を窓ガラス１に対して反射させた反射線はユーザーの視線を表すことから、反射線上にユーザーの視点位置がある。
In the
Since the reflection line obtained by reflecting the line segment connecting the first designated position and the first reference position to the
また同様に、第２基準位置を表す第２基準位置ＬＥＤ１５ｂの点灯時に、窓ガラス１上で第２基準位置ＬＥＤ１５ｂが反射して見える位置をユーザーが触ると、触った位置が第２指定位置として検出される。
この第２指定位置と第２基準位置とを結ぶ線分を窓ガラス１に対して反射させた反射線もユーザーの視線を表しており、反射線上にユーザーの視点位置がある。
Similarly, when the second
The reflection line obtained by reflecting the line segment connecting the second designated position and the second reference position to the
こうしてユーザーの視線を表す２本の反射線を特定すれば、ユーザーの視点位置は、これら２本の反射線の交点にあることから、交点を視点位置として検出することができる。
尚、図８では、窓ガラス１を上方から見たＸ−Ｙ平面上でユーザーの視点位置を検出する例を示したが、窓ガラス１を横から見たＸ−Ｚ平面（図示省略）上においても同様に、第１基準位置および第２基準位置と、第１指定位置および第２指定位置との位置関係に基づいて、ユーザーの視線を表す２本の反射線が特定されるので、２本の反射線の交点をユーザーの視点位置として検出することができる。
If the two reflection lines representing the user's line of sight are specified in this way, the user's viewpoint position is at the intersection of these two reflection lines, so that the intersection can be detected as the viewpoint position.
In addition, in FIG. 8, although the example which detects a user's viewpoint position on the XY plane which looked at the
このように変形例の情報提供システム１０では、基準位置を窓ガラス１よりも車内側（すなわち、ユーザー側）に設定しておき、窓ガラス１での反射を利用することにより、車両の側方の窓ガラス１（いわゆるドアガラス）のように窓ガラス１よりも車外側に距離をとって基準位置を設定しておくことが困難な場合でも、基準位置と指定位置との距離を確保することができる。その結果、基準位置と指定位置とを結ぶ線分の傾きの誤差を抑制して、線分の窓ガラス１に対する反射線上にある視点位置の検出精度を高めることが可能となる。
As described above, in the
尚、窓ガラス１に透明状態と鏡状態とを切り換えることが可能な調光ミラーを設置することとして、ユーザーの視点位置を検出する際には、調光ミラーを鏡状態にしてもよい。このようにすれば、ユーザーが窓ガラス１（すなわち、調光ミラー）上で反射する基準位置ＬＥＤ１５ａ，１５ｂを視認し易くなるので、窓ガラス１上で基準位置ＬＥＤ１５ａ，１５ｂが反射して見える位置としてユーザーが触る指定位置の誤差を抑制して、基準位置と指定位置とを結ぶ線分の反射線上にある視点位置の検出精度を一層高めることが可能となる。
In addition, when the light control mirror which can switch a transparent state and a mirror state is installed in the
以上、実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。 As mentioned above, although the Example and the modification were demonstrated, this invention is not restricted to said Example and the modification, In the range which does not deviate from the summary, it can implement in a various aspect.
例えば、前述した実施例では、ユーザーの視点位置の検出に用いる基準位置を２つ設定していたが、基準位置の数は、複数であれば２つに限定されず、３つ以上の基準位置を設定しておいてもよい。
基準位置の数を増やせば、各基準位置に対してユーザーの視線を表す線分が特定されるので、複数の視線の交点として検出される視点位置の精度を高めることができる。
For example, in the above-described embodiment, two reference positions used for detecting the user's viewpoint position are set. However, the number of reference positions is not limited to two as long as it is plural, and three or more reference positions are used. May be set.
If the number of reference positions is increased, a line segment representing the user's line of sight is specified for each reference position, so that the accuracy of the viewpoint position detected as an intersection of a plurality of lines of sight can be increased.
また、前述した実施例では、情報提供システム１０を車両に搭載した例を説明したが、情報提供システム１０の適用は、ユーザーが窓ガラスなどの透明な板状部材を通して景色を見ることができるシチュエーションであれば、車両に限られず、室内展望台などにも情報提供システム１０を好適に適用することが可能である。
情報提供システム１０を室内展望台に適用する場合には、車両のように移動することはないので、窓ガラス１の位置や向きは固定である。そのため、ユーザーから窓ガラス１を通して見える景色の中にあり、且つ正確な位置を特定可能である看板などの固定物を、基準位置として設定しておいてもよい。
さらに、大きな窓ガラス１を通して見える景色の中に多数の基準位置を設定しておけば、窓ガラス１を向いて所定の間隔を空けて立つ複数人のユーザーの各々の視点位置を検出することができ、各ユーザーの視点位置に合わせて、各ユーザーが窓ガラス１上で触った指定位置の先にある対象物に関する対象物情報の提供が可能となる。
Moreover, although the example which mounted the
When the
Furthermore, if a large number of reference positions are set in the scenery that can be seen through the
１…窓ガラス、 １０…情報提供システム、 １１…指定位置検出部、
１２…視点位置検出部、 １３…情報検索部、 １４…情報通知部、
１５ａ…第１基準位置ＬＥＤ、 １５ｂ…第２基準位置ＬＥＤ、
２０…ナビゲーションシステム。
DESCRIPTION OF
12 ... viewpoint position detection unit, 13 ... information search unit, 14 ... information notification unit,
15a ... 1st reference position LED, 15b ... 2nd reference position LED,
20 ... Navigation system.
Claims (4)
前記ユーザーの視点位置を検出する視点位置検出部（１２）と、
前記ユーザーが前記板状部材上で指定した指定位置を検出する指定位置検出部（１１）と、
前記視点位置と前記指定位置とを結ぶ線分の延長線上にある前記対象物に関する対象物情報を検索する情報検索部（１３）と、
前記対象物情報を前記ユーザーに通知する情報通知部（１４）と
を備え、
前記視点位置検出部は、前記板状部材から所定の離隔距離以上離して設定された複数の基準位置と、前記ユーザーから見て前記複数の基準位置の各々に重なる前記板状部材上の位置を該ユーザーが指定した際に前記指定位置検出部によって検出された複数の前記指定位置との位置関係に基づいて前記視点位置を検出する
情報提供システム。 An information providing system for providing, to a user, information on an object that is visible from the user through a specified position on the plate-like member when the user designates a position on the transparent plate-like member (1),
A viewpoint position detector (12) for detecting the viewpoint position of the user;
A designated position detector (11) for detecting a designated position designated on the plate-like member by the user;
An information search unit (13) for searching for object information relating to the object on an extension of a line segment connecting the viewpoint position and the designated position;
An information notification unit (14) for notifying the user of the object information;
The viewpoint position detection unit includes a plurality of reference positions that are set apart from the plate-like member by a predetermined separation distance and a position on the plate-like member that overlaps each of the plurality of reference positions when viewed from the user. An information providing system that detects the viewpoint position based on a positional relationship with a plurality of the designated positions detected by the designated position detection unit when the user designates the information providing system.
前記複数の基準位置は、前記板状部材よりも前記ユーザー側に設定されており、
前記視点位置検出部は、前記複数の基準位置と、前記ユーザーから前記板状部材上で前記複数の基準位置が反射して見える各々の位置を該ユーザーが指定した際に前記指定位置検出部によって検出された複数の前記指定位置との位置関係に基づいて前記視点位置を検出する
情報提供システム。 The information providing system according to claim 1,
The plurality of reference positions are set on the user side with respect to the plate-like member,
When the user designates the plurality of reference positions and the positions at which the plurality of reference positions appear to be reflected on the plate-like member from the user, the viewpoint position detection unit is configured by the designated position detection unit. An information providing system that detects the viewpoint position based on a positional relationship with a plurality of detected designated positions.
前記情報通知部は、前記視点位置から前記板状部材を通して見える景色に重ねて前記対象物情報を表示可能な透過型の表示装置である
情報提供システム。 The information providing system according to claim 1 or 2, wherein
The information notification unit is a transmissive display device capable of displaying the object information superimposed on a scene that can be seen through the plate-like member from the viewpoint position.
前記ユーザーの視点位置を検出する視点位置検出工程（Ｓ１０２）と、
前記ユーザーが前記板状部材上で指定した指定位置を検出する指定位置検出工程（Ｓ１０４，Ｓ１１４，Ｓ１１８）と、
前記視点位置と前記指定位置とを結ぶ線分の延長線上にある前記対象物に関する対象物情報を検索する情報検索工程（Ｓ１０５，Ｓ１０６）と、
前記対象物情報を前記ユーザーに通知する情報通知工程（Ｓ１０７）と
を備え、
前記視点位置検出工程では、前記板状部材から所定の離隔距離以上離して設定された複数の基準位置と、前記ユーザーから見て前記複数の基準位置の各々に重なる前記板状部材上の位置を該ユーザーが指定したことに伴って前記指定位置検出工程で検出された複数の前記指定位置との位置関係に基づいて前記視点位置を検出する
情報提供方法。 An information providing method for providing, to a user, information on an object that is visible through the designated position on the plate-like member from the user when the user designates a position on the transparent plate-like member,
A viewpoint position detecting step (S102) for detecting the viewpoint position of the user;
A designated position detecting step (S104, S114, S118) for detecting a designated position designated on the plate member by the user;
An information search step (S105, S106) for searching for object information relating to the object on an extension of a line segment connecting the viewpoint position and the designated position;
An information notification step (S107) for notifying the user of the object information,
In the viewpoint position detection step, a plurality of reference positions set apart from the plate-like member by a predetermined separation distance and a position on the plate-like member that overlaps each of the plurality of reference positions as seen from the user An information providing method for detecting the viewpoint position based on a positional relationship with a plurality of the designated positions detected in the designated position detecting step in accordance with designation by the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017007219A JP2018116165A (en) | 2017-01-19 | 2017-01-19 | Information providing system and information providing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017007219A JP2018116165A (en) | 2017-01-19 | 2017-01-19 | Information providing system and information providing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018116165A true JP2018116165A (en) | 2018-07-26 |
Family
ID=62984136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017007219A Pending JP2018116165A (en) | 2017-01-19 | 2017-01-19 | Information providing system and information providing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018116165A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021131023A1 (en) * | 2019-12-27 | 2021-07-01 | ||
| JP2022538057A (en) * | 2019-06-27 | 2022-08-31 | ケーイー．コム （ベイジン） テクノロジー カンパニー リミテッド | Method and apparatus for displaying item information in current space and media |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08190640A (en) * | 1995-01-12 | 1996-07-23 | Hitachi Ltd | Information display method and information provision system |
| JPH10176928A (en) * | 1996-12-18 | 1998-06-30 | Hitachi Ltd | Viewpoint position measuring method and device, head-up display, and mirror adjustment device |
| JP2012040902A (en) * | 2010-08-16 | 2012-03-01 | Toyota Motor Corp | Viewpoint location computation device |
| JP2012068481A (en) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | Augmented reality expression system and method |
| US20160147299A1 (en) * | 2014-11-24 | 2016-05-26 | Hyundai Motor Company | Apparatus and method for displaying image of head up display |
-
2017
- 2017-01-19 JP JP2017007219A patent/JP2018116165A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08190640A (en) * | 1995-01-12 | 1996-07-23 | Hitachi Ltd | Information display method and information provision system |
| JPH10176928A (en) * | 1996-12-18 | 1998-06-30 | Hitachi Ltd | Viewpoint position measuring method and device, head-up display, and mirror adjustment device |
| JP2012040902A (en) * | 2010-08-16 | 2012-03-01 | Toyota Motor Corp | Viewpoint location computation device |
| JP2012068481A (en) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | Augmented reality expression system and method |
| US20160147299A1 (en) * | 2014-11-24 | 2016-05-26 | Hyundai Motor Company | Apparatus and method for displaying image of head up display |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022538057A (en) * | 2019-06-27 | 2022-08-31 | ケーイー．コム （ベイジン） テクノロジー カンパニー リミテッド | Method and apparatus for displaying item information in current space and media |
| JP7287509B2 (en) | 2019-06-27 | 2023-06-06 | ケーイー．コム （ベイジン） テクノロジー カンパニー リミテッド | Method and apparatus for displaying item information in current space and media |
| JPWO2021131023A1 (en) * | 2019-12-27 | 2021-07-01 | ||
| WO2021131023A1 (en) * | 2019-12-27 | 2021-07-01 | マクセル株式会社 | Head-mounted information output device |
| JP7376616B2 (en) | 2019-12-27 | 2023-11-08 | マクセル株式会社 | Head-mounted information output device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11093045B2 (en) | Systems and methods to augment user interaction with the environment outside of a vehicle | |
| CN108227914B (en) | Transparent display device, control method using the same, and controller thereof | |
| US10217288B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| JP6390277B2 (en) | Information processing apparatus, control method, and program | |
| EP2444918B1 (en) | Apparatus and method for providing augmented reality user interface | |
| US9857589B2 (en) | Gesture registration device, gesture registration program, and gesture registration method | |
| WO2013051180A1 (en) | Image processing apparatus, image processing method, and program | |
| JP5714855B2 (en) | Image generation system, program, and information storage medium | |
| EP3046002A1 (en) | Virtual input device and method for receiving user input using the same | |
| WO2012117508A1 (en) | Information processing device, method and program | |
| CN109388233B (en) | Transparent display device and control method thereof | |
| US9639167B2 (en) | Control method of electronic apparatus having non-contact gesture sensitive region | |
| US20140223374A1 (en) | Method of displaying menu based on depth information and space gesture of user | |
| US20120019460A1 (en) | Input method and input apparatus | |
| TWI659334B (en) | Transparent display device, control method using therefore and controller for thereof | |
| EP3201724A1 (en) | Gesture based manipulation of three-dimensional images | |
| JP2010117917A (en) | Motion detection apparatus and operation system | |
| JP2018116165A (en) | Information providing system and information providing method | |
| CN106462251B (en) | Display control apparatus, display control method, and program | |
| US9898183B1 (en) | Motions for object rendering and selection | |
| JP2018132828A (en) | Information provision system, information provision method | |
| CN111477054A (en) | Traffic police commands gesture training system based on Kinect | |
| TWI448960B (en) | Interactive navigation system | |
| JP2018197900A (en) | Information processing apparatus, information processing method, computer program, and storage medium | |
| JP2018073147A (en) | Display control system and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200630 |