JP2012068481A - Augmented reality expression system and method - Google Patents
Augmented reality expression system and method Download PDFInfo
- Publication number
- JP2012068481A JP2012068481A JP2010213921A JP2010213921A JP2012068481A JP 2012068481 A JP2012068481 A JP 2012068481A JP 2010213921 A JP2010213921 A JP 2010213921A JP 2010213921 A JP2010213921 A JP 2010213921A JP 2012068481 A JP2012068481 A JP 2012068481A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- coordinates
- moving body
- transmissive display
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、現実環境の景色を透過型ディスプレイを通して眺望したときに、眺望している景色に存在する地物の地理的位置情報に基づいて、その地物に関連するテキスト、アイコン、映像などの情報を、景色に重畳するように透過型ディスプレイ上に表示する拡張現実表現システムおよび方法に関する。 The present invention, when viewing a scenery of a real environment through a transmissive display, based on the geographical position information of the feature existing in the scenery being viewed, such as text, icons, images, etc. related to the feature. The present invention relates to an augmented reality expression system and method for displaying information on a transmissive display so as to be superimposed on a landscape.
拡張現実（拡張現実感ともいう）とは、現実環境にコンピュータを用いて情報を付加提示する技術、および情報を付加提示された環境そのものをいう。 Augmented reality (also referred to as augmented reality) refers to a technology for additionally presenting information to a real environment using a computer, and an environment in which information is additionally presented.
インターネットや携帯電話などのデジタルネットワークの発達、衛星測位やこれを補完する位置の把握に必要な電波等の送信と受信機の普及により、拡張現実技術にモバイルデバイスにおける位置情報技術を組み合わせたサービスが浮揚している。 With the development of digital networks such as the Internet and mobile phones, satellite positioning and the transmission of radio waves, etc. necessary for grasping the location that complements this, and the spread of receivers, services that combine location information technology in mobile devices with augmented reality technology Levitating.
そのひとつとして、モバイル端末に付属するカメラを通して現実環境を撮影し、モバイル端末のディスプレイに表示させる際に、モバイル端末に付属する全地球測位システム（ＧＰＳ）機能や電子コンパスで測位した撮影地点の位置情報をトリガーに、その場所に関するインターネット上の投稿情報などを付加表示する拡張現実感体験サービスがある。 For example, when shooting the real environment through the camera attached to the mobile terminal and displaying it on the display of the mobile terminal, the position of the shooting point measured by the global positioning system (GPS) function attached to the mobile terminal or an electronic compass There is an augmented reality experience service that uses information as a trigger to additionally display posted information about the location on the Internet.
このようなサービスに使われるメディアは、多くがスマートフォンや携帯電話で、それらのアプリケーションが多く開発されてきている。 Many of the media used for such services are smartphones and mobile phones, and many of these applications have been developed.
また、屋外・店頭・公共空間・交通機関などに、ネットワークに接続した平面ディスプレイやプロジェクタなどの電子的な表示機器を設置し、表示機器周辺の人の存在や視線を感知して、表示機器の前を移動していく往来者に対して、広告などの映像や情報を表示する電子看板（デジタルサイネージ）がある。 In addition, electronic display devices such as flat displays and projectors connected to the network are installed outdoors, in stores, public spaces, and transportation facilities to detect the presence and line of sight of people around the display devices. There is an electronic signage (digital signage) that displays images and information such as advertisements for visitors who move in front.
拡張現実感体験サービスやデジタルサイネージなどの拡張現実技術は、デジタル情報を扱うため、情報の選別や切り替えが可能になり、情報の多言語化や、ユーザの属性（性別や年齢層、嗜好など）により分類して、個々のグループあるいは個々人に関連が強い情報を選択的に提供するパーソナルセグメンテーションなどの検索技術と組み合わせ、広告やアミューズメント分野だけでなく、実用的な分野でも利用されてきている。 Augmented reality technologies such as augmented reality experience services and digital signage handle digital information, so it is possible to select and switch information, multilingual information, and user attributes (gender, age group, preferences, etc.) In combination with search technology such as personal segmentation that selectively provides information that is strongly related to individual groups or individuals, it has been used not only in advertising and amusement fields but also in practical fields.
例えば、特許文献１に開示されているように、ナビゲーション情報と実写映像または実視景観との対応関係をドライバーが直観的に認識できるように、移動体の姿勢を推定し、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中（または実景中）の適切な位置に合成して表示する移動休ナビゲート情報表示装置が開発されている。 For example, as disclosed in Patent Document 1, the posture of the moving body is estimated so that the driver can intuitively recognize the correspondence between the navigation information and the live-action video or the real-view scene. In addition, a mobile holiday navigation information display device has been developed that synthesizes and displays it at an appropriate position in a live-action image (or in a real scene) of a road ahead taken by a camera mounted on a moving body.
多くの拡張現実感体験サービスに用いられるモバイル端末は、手でかざす、角度を変える、視点を動かすなど、絶えず意識していろいろな動作をする必要があり、歩きながら街の雰囲気を感じ取っていくといった自然な情報の発見ができない。また、高齢者やこどもなど、画面や操作ボタンが小さい端末や、高機能ゆえに複雑になった端末操作を苦手とする人たちにとって、恩恵を受ける機会の損失になっている。 Mobile terminals used in many augmented reality experience services need to be constantly aware of various actions, such as holding them by hand, changing the angle, moving the viewpoint, and so on. Natural information cannot be found. In addition, it is a loss of opportunity to benefit from terminals such as elderly people and children who have small screens and operation buttons, and those who are not good at operating terminals that have become complicated due to high functionality.
拡張現実感体験サービスやデジタルサイネージでは、あらかじめ記憶媒体に記憶させておいた映像や、カメラで撮影している現在の映像を表示しているディスプレイ上に、情報を合成して表示する。したがって、あらかじめ記録している映像ではディスプレイに表示されている物体のディスプレイ上の位置は、どこから見ても決まっているため、情報を表示する位置も容易に決定できる。また、手持ちのカメラで現在の映像を表示している場合は、撮影対象とカメラとの２つの位置関係で決まる。 In the augmented reality experience service and digital signage, information is synthesized and displayed on a display that displays a video stored in advance in a storage medium or a current video captured by a camera. Therefore, since the position on the display of the object displayed on the display in the pre-recorded video is determined from anywhere, the position for displaying the information can be easily determined. In addition, when the current video is displayed by a hand-held camera, it is determined by the two positional relationships between the shooting target and the camera.
しかし、人が目で見ている景色では、その人の立っている位置や視点の位置によって、視野の中のどの位置にどの物体が見えているかは異なってくる。そのため、人の周辺あるいは少し離れた場所に透明ディスプレイを設置して情報を表示しようとしたとき、現在開発されている拡張現実技術では、人が見ている景色に対して、適切な位置に情報を表示することはできない。 However, in the scenery that a person sees with eyes, which object is visible at which position in the field of view differs depending on the position of the person standing or the position of the viewpoint. Therefore, when an attempt is made to display information by installing a transparent display around or slightly away from a person, the currently developed augmented reality technology provides information at an appropriate position relative to the scenery that the person is looking at. Cannot be displayed.
たとえば、特許文献１に開示された技術では、ナビゲーション情報の画像を、移動体に搭載したカメラで撮影した前方の道路の実写映像中の適切な位置に合成して、ダッシュボード上に設置された液晶表示パネルのような表示装置に表示する。 For example, in the technique disclosed in Patent Document 1, an image of navigation information is synthesized on an appropriate position in a live-action video of a road ahead taken by a camera mounted on a moving body and installed on a dashboard. The image is displayed on a display device such as a liquid crystal display panel.
これは、上述したように、表示装置であるディスプレイに表示された実写映像に対して、ナビゲーション情報を表示するのに適切な位置に決定しているため、ドライバーがどの角度から見ていても構わない。 As described above, this is determined at an appropriate position for displaying the navigation information with respect to the live-action image displayed on the display as a display device, so the driver may be viewing from any angle. Absent.
一方、特許文献１には、実視景観と重なるように、ナビゲーション情報を運転席前面の透明窓の内側表面に投影することも可能であると記載されている。しかし、ドライバーの座高や姿勢、運転席の背もたれをどれぐらい傾けて運転するかによって、ドライバーの視点が異なってしまう。そのため、厳密には、ドライバーからは、実視景観の正しい位置にナビゲーション情報が見えない場合も生じる。 On the other hand, Patent Document 1 describes that navigation information can be projected onto the inner surface of a transparent window on the front surface of the driver's seat so as to overlap with the actual scenery. However, the driver's point of view differs depending on the driver's seat height and posture, and how much the driver's seat back is tilted. Therefore, strictly speaking, the driver may not be able to see the navigation information at the correct position in the actual view.
以上にように、従来の拡張現実技術では、ディスプレイに表示される映像に対しては、ディスプレイと対象物の位置が分かれば適切な位置に情報を表示することができても、人とディスプレイと対象物のそれぞれが動くことを前提とした人が実際に見ている景色に対しては、適切な位置に情報を表示することはできないという課題があった。 As described above, in the conventional augmented reality technology, for the video displayed on the display, if the display and the position of the object are known, information can be displayed at an appropriate position, There is a problem that information cannot be displayed at an appropriate position for a scene that is actually viewed by a person on the assumption that each of the objects moves.
本発明の拡張現実表現システムは、記憶手段を備えたコンピュータと、当該コンピュータとデータ通信回線で接続された、眺望者の乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の地理座標系の位置と傾きを計測し送信するＧＰＳアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、記憶手段は、透過型ディスプレイの４隅の位置と視点位置計測センサの位置をＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第２の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベースとを含み、コンピュータは、地理位置計測センサに接続され、移動体座標系の原点として地理位置計測センサによって計測されるＧＰＳアンテナの設置位置の地理座標と、地理位置計測センサによって計測されるＧＰＳアンテナの設置場所の傾きから算出した第１の回転行列を出力する位置・姿勢算出部と、位置・姿勢算出部とキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから透過型ディスプレイの４隅の移動体座標を読み出し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第１の回転行列を用いて、透過型ディスプレイの４隅の地理座標を算出するディスプレイ位置算出部と、視点位置計測センサと、位置・姿勢算出部およびキャリブレーション情報データベースに接続され、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第２の回転行列を読み出し、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、位置・姿勢算出部から受信する移動体座標系の原点の地理座標および第１の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、透過型ディスプレイと、地物情報データベースと、視点位置算出部と、位置・姿勢算出部に接続され、視点地理座標と透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をＣＧ合成し、透過型ディスプレイ上に表示するＣＧ描画部とを含むことを要旨とする。 The augmented reality expression system of the present invention includes a computer provided with a storage means, and a transmissive display connected to the computer via a data communication line and installed in a window seen by the viewer on the moving body on which the viewer is riding. , A geolocation sensor that includes a GPS antenna that measures and transmits the position and tilt of a mobile object's geographic coordinate system, and a sensor coordinate system that measures the viewpoint position of the viewer and uses the position of the viewpoint position measurement sensor as the origin. And the storage means represents the position of the four corners of the transmissive display and the position of the viewpoint position measuring sensor in a moving body coordinate system with the position of the GPS antenna as the origin. A calibration information database storing in advance the moving body coordinates and the second rotation matrix calculated from the tilt of the viewpoint position measurement sensor; A feature information database for preliminarily storing feature information including geographic coordinates of the feature, feature attributes that are related information, a drawing shape, and drawing attributes in order to draw the relevant information of the feature on the spray; Is connected to the geolocation sensor and is measured by the geolocation sensor as the origin of the moving body coordinate system, and the inclination of the GPS antenna is measured by the geolocation sensor. A position / attitude calculation unit that outputs the first rotation matrix calculated from the above, connected to the position / attitude calculation unit and the calibration information database, and reads out the moving body coordinates at the four corners of the transmissive display from the calibration information database; Using the geographical coordinates of the origin of the moving object coordinate system and the first rotation matrix received from the position / orientation calculation unit The display position calculation unit for calculating the geographical coordinates of the four corners of the transmissive display, the viewpoint position measurement sensor, the position / posture calculation unit, and the calibration information database are connected, and the viewpoint position measurement sensor is moved from the calibration information database. The body coordinates and the second rotation matrix are read out, the viewpoint sensor coordinates received from the viewpoint position measurement sensor are converted into the viewpoint moving body coordinates represented in the moving body coordinate system, and the moving body coordinate system received from the position / posture calculation unit A viewpoint position calculation unit that converts viewpoint moving body coordinates into viewpoint geographic coordinates represented in a geographic coordinate system using the geographic coordinates of the origin and the first rotation matrix, a transmissive display, a feature information database, and a viewpoint position Connected to the calculation unit and the position / orientation calculation unit, formed by lines connecting the viewpoint geographic coordinates and the geographic coordinates of the four corners of the transmissive display The feature information set with the geographic coordinates included in the viewing volume is read from the feature information database and projected to the position of the feature viewed by the viewer on the transmissive display based on the drawing shape and drawing attributes. And a CG rendering unit that CG-combines feature attributes and displays them on a transmissive display.
また、本発明の拡張現実表現方法は、眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、移動体の位置と傾きを計測し送信するＧＰＳアンテナを含む地理位置計測センサと、眺望者の視点位置を計測し視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサのそれぞれとデータ通信回線で接続された記憶手段を備えたコンピュータによる拡張現実表現方法であって、コンピュータは、記憶手段に、透過型ディスプレイの４隅の位置と視点位置計測センサの位置をＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、視点位置計測センサの傾きから算出した第２の回転行列とからなるキャリブレーション情報データベースと、透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、移動体座標系の原点として地理位置計測センサによって計測されるＧＰＳアンテナの設置位置の地理座標を受信し、地理位置計測センサによって計測されるＧＰＳアンテナの設置場所の傾きから第１の回転行列を算出し、キャリブレーション情報データベースから透過型ディスプレイの４隅の移動体座標を読み出し、移動体座標系の原点の地理座標および第１の回転行列を用いて、透過型ディスプレイの４隅の地理座標を算出し、キャリブレーション情報データベースから視点位置計測センサの移動体座標および第２の回転行列を読み出し、視点位置計測センサの移動体座標および第２の回転行列を用いて、視点位置計測センサから受信する視点センサ座標を移動体座標系で表した視点移動体座標に変換し、移動体座標系の原点の地理座標および第１の回転行列を用いて、視点移動体座標を地理座標系で表した視点地理座標に変換し、視点地理座標と透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された地物情報を地物情報データベースより読み出し、描画形状と描画属性に基づいて、透過型ディスプレイ上における眺望者が見ている地物の位置に投影されるように地物属性をＣＧ合成し、透過型ディスプレイ上に表示することを要旨とする。 Also, the augmented reality expression method of the present invention is a geographic display including a transmissive display installed in a window viewed by a viewer of a moving body on which a viewer is riding, and a GPS antenna that measures and transmits the position and inclination of the moving body. Connected to the position measurement sensor and each of the viewpoint position measurement sensors that measure the viewpoint position of the viewer and transmit the viewpoint sensor coordinates represented in the sensor coordinate system with the position of the viewpoint position measurement sensor as the origin. An augmented reality expression method using a computer having a storage means, wherein the computer includes a mobile object coordinate system in which the positions of the four corners of the transmissive display and the position of the viewpoint position measurement sensor are set to the origin of the GPS antenna. A calibration information database consisting of the moving body coordinates expressed by the above and a second rotation matrix calculated from the tilt of the viewpoint position measurement sensor; In order to draw the relevant information of the feature on the spray, it stores the feature information database consisting of the feature information including the geographic coordinates of the feature, the feature attribute that is the relevant information, the drawing shape, and the drawing attribute, and the moving body coordinates The system receives the geographical coordinates of the GPS antenna installation position measured by the geolocation sensor as the system origin, calculates the first rotation matrix from the inclination of the GPS antenna installation location measured by the geolocation sensor, and performs calibration The mobile object coordinates at the four corners of the transmissive display are read out from the motion information database, and the geographic coordinates at the four corners of the transmissive display are calculated and calibrated using the geographical coordinates of the origin of the mobile object coordinate system and the first rotation matrix. The moving body coordinates of the viewpoint position measurement sensor and the second rotation matrix from the movement information database, and the movement of the viewpoint position measurement sensor Using the coordinates and the second rotation matrix, the viewpoint sensor coordinates received from the viewpoint position measurement sensor are converted into viewpoint moving body coordinates represented in the moving body coordinate system, and the geographical coordinates of the origin of the moving body coordinate system and the first Using the rotation matrix, the viewpoint moving body coordinates are converted into the viewpoint geographic coordinates represented in the geographic coordinate system, and the geography included in the view volume formed by the line connecting the viewpoint geographic coordinates and the geographic coordinates of the four corners of the transmissive display. The feature information with coordinates set is read from the feature information database, and based on the drawing shape and drawing attribute, the feature attribute is projected onto the position of the feature viewed by the viewer on the transmissive display. The gist is to perform CG synthesis and display on a transmissive display.
本発明によれば、人が実際に見ている景色に対して、人の視点から適切な位置に情報を表示することができる。 According to the present invention, it is possible to display information at an appropriate position from the viewpoint of the person with respect to the scenery that the person actually sees.
また、本発明によれば、デバイスを位置や操作を意識することなく拡張現実体験ができ、移動しながらでも、自然な体勢で関連情報を見ることができる。 Further, according to the present invention, an augmented reality experience can be performed without being aware of the position and operation of the device, and related information can be viewed with a natural posture even while moving.
さらに、本発明によれば、景色を見ている人の現在地点に限定されず、見ている景色に含まれる近傍の場所に関する情報を、見ている人の個別情報としてＩＣチップ等にあらかじめ設定された属性に従って選択的に提供することができる。 Furthermore, according to the present invention, information related to a nearby location included in the scenery being viewed is not limited to the current location of the person viewing the scenery, but is set in advance on the IC chip or the like as individual information of the person being viewed. Can be selectively provided according to the attribute set.
本発明の拡張現実表現システムは、図１の模式図に示したように、眺望者Ｈの前方に設置された透過型ディスプレイ１０上に、ＧＰＳアンテナ１１ａを含む地理位置計測センサ１１と視点位置計測センサ１２によって計測した位置情報に基づいて、透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置や眺望者Ｈの視点の地理的位置情報を算出し、透過型ディスプレイ１０を通して眺望者Ｈが見ている景色内に存在する地物の情報を、景色の適切な位置に重畳して見えるように、透過型ディスプレイ１０上に表示するシステムである。 As shown in the schematic diagram of FIG. 1, the augmented reality expression system of the present invention includes a geographic position measurement sensor 11 including a GPS antenna 11 a and a viewpoint position measurement on a transmissive display 10 installed in front of a viewer H. Based on the position information measured by the sensor 12, the positions of the four corners w 1, w 2, w 3, and w 4 of the transmissive display 10 and the geographical position information of the viewpoint of the viewer H are calculated. This is a system that displays on the transmissive display 10 information on features existing in the scenery that H is looking at so as to be superimposed on an appropriate position in the scenery.
（語句の定義）
本発明の拡張現実表現システムの説明にあたり、使用する語句の意味について定義する。
(Definition of words / phrases)
In describing the augmented reality expression system of the present invention, the meanings of the words used are defined.
眺望者Ｈ：透過型ディスプレイ１０を通して、透過型ディスプレイ１０の向こう側にある現実空間の景色を見ている人をいう。 Viewer H: A person who is looking through the transmissive display 10 and seeing a view of the real space beyond the transmissive display 10.
地理座標系Ｐｇ：地球上の任意の位置ｎを表す３次元座標系であり、緯度・経度・標高と変換可能であるとする。平面直角座標系、ＵＴＭ座標系、地心座標系等がある。本発明の説明では、位置ｎの地理座標（Ｘｇｎ，Ｙｇｎ，Ｚｇｎ）をＰｇ（ｎ）と表記する。 Geographic coordinate system Pg: a three-dimensional coordinate system representing an arbitrary position n on the earth, and can be converted into latitude, longitude, and altitude. There are a plane rectangular coordinate system, a UTM coordinate system, a geocentric coordinate system, and the like. In the description of the present invention, the geographical coordinates (Xgn, Ygn, Zgn) of the position n are expressed as Pg (n).
移動体座標系Ｐｖ：透過型ディスプレイ１０の据えられた移動体に設置されたＧＰＳアンテナ１１ａの位置ｖ０を座標系の原点とし、移動体の高さ方向をＺ軸、移動体の前方向をＸ軸とする右手座標系であり、移動体に設置されたものの位置ｎの移動体座標（Ｘｖｎ，Ｙｖｎ，Ｚｖｎ）をＰｖ（ｎ）と表記する。 Moving body coordinate system Pv: The position v0 of the GPS antenna 11a installed on the moving body on which the transmissive display 10 is set is the origin of the coordinate system, the height direction of the moving body is the Z axis, and the forward direction of the moving body is X It is a right-handed coordinate system with an axis, and the moving body coordinates (Xvn, Yvn, Zvn) at the position n of what is installed on the moving body are denoted as Pv (n).
具体的には、ＧＰＳアンテナ１１ａの位置ｖ０は、地理座標Ｐｇ（ｖ０）＝（Ｘｇｖ０，Ｙｇｖ０，Ｚｇｖ０）であり、移動体座標Ｐｖ（ｖ０）＝（０，０，０）となる。 Specifically, the position v0 of the GPS antenna 11a is geographical coordinates Pg (v0) = (Xgv0, Ygv0, Zgv0), and the moving body coordinates Pv (v0) = (0, 0, 0).
センサ座標系Ｐｓ：移動体に設置された視点位置計測センサ１２の位置ｓ０を座標系の原点とし、視点位置計測センサ１２に対する眺望者Ｈの視点（瞳）の位置を表す座標系であり、計測された位置ｎのセンサ座標（Ｘｓｎ，Ｙｓｎ，Ｚｓｎ）をＰｓ（ｎ）と表記する。
具体的には、視点位置計測センサ１２の位置ｓ０は、移動体座標Ｐｖ（ｓ０）＝（Ｘｖｓ０，Ｙｖｓ０，Ｚｖｓ０）であり、センサ座標Ｐｓ（ｓ０）＝（０，０，０）となる。
Sensor coordinate system Ps: A coordinate system that represents the position of the viewpoint (pupil) of the viewer H relative to the viewpoint position measurement sensor 12 with the position s0 of the viewpoint position measurement sensor 12 installed on the moving body as the origin of the coordinate system. The sensor coordinates (Xsn, Ysn, Zsn) at the position n are denoted as Ps (n).
Specifically, the position s0 of the viewpoint position measurement sensor 12 is the moving body coordinate Pv (s0) = (Xvs0, Yvs0, Zvs0), and the sensor coordinate Ps (s0) = (0, 0, 0).
第１の回転行列Ｒｖ：移動体座標系Ｐｖで表されたものの位置ｎを地理座標系Ｐｇで表すために、移動体座標Ｐｖ（ｎ）の値を地理座標Ｐｇ（ｎ）の値に変換する下記の式１で用いられる回転行列をいう。 First rotation matrix Rv: The value of the moving body coordinate Pv (n) is converted into the value of the geographical coordinate Pg (n) in order to represent the position n of the thing represented by the moving body coordinate system Pv by the geographical coordinate system Pg. This refers to the rotation matrix used in Equation 1 below.
Ｐｇ（ｎ） ＝ Ｒｖ ・ Ｐｖ（ｎ） ＋ Ｐｇ（ｖ０） ・・・・・（式１）
第２の回転行列Ｒｓ：センサ座標系Ｐｓで表された眺望者Ｈの視点の位置ｎを移動体座標Ｐｖで表すために、センサ座標Ｐｓ（ｎ）の値を移動体座標Ｐｖ（ｎ）の値に変換する下記の式２で用いられる回転行列をいう。
Pg (n) = Rv.Pv (n) + Pg (v0) (Equation 1)
Second rotation matrix Rs: In order to represent the position n of the viewpoint of the viewer H represented in the sensor coordinate system Ps by the moving body coordinates Pv, the value of the sensor coordinates Ps (n) is set to the moving body coordinates Pv (n). This is the rotation matrix used in Equation 2 below to convert to a value.
Ｐｖ（ｎ） ＝ Ｒｓ ・ Ｐｓ（ｎ） ＋ Ｐｖ（ｓ０） ・・・・・（式２）
（システム構成の説明）
本発明の拡張現実表現システムは、図２に示すように、記憶手段１８を備えたコンピュータ１９と、当該コンピュータ１９とデータ通信回線で接続された眺望者Ｈの前方に設置された透過型ディスプレイ１０と、透過型ディスプレイ１０の設置されている場所の地理座標（Ｘｇ，Ｙｇ，Ｚｇ）を計測する地理位置計測センサ１１および眺望者Ｈの視点位置ｅｙｅを計測する視点位置計測センサ１２とからなる。
Pv (n) = Rs · Ps (n) + Pv (s0) (Equation 2)
(Description of system configuration)
As shown in FIG. 2, the augmented reality expression system of the present invention includes a computer 19 having a storage means 18 and a transmissive display 10 installed in front of a viewer H connected to the computer 19 through a data communication line. And a geographic position measurement sensor 11 that measures the geographic coordinates (Xg, Yg, Zg) of the place where the transmissive display 10 is installed, and a viewpoint position measurement sensor 12 that measures the viewpoint position eye of the viewer H.
コンピュータ１９は、位置・姿勢算出部１３と、ディスプレイ位置算出部１４と、視点位置算出部１５と、描画方法指定部１７と、ＣＧ描画部１６とを含み、記憶手段１８には、キャリブレーション情報データベース１８ａと地物情報データベース１８ｂが記憶される。 The computer 19 includes a position / attitude calculation unit 13, a display position calculation unit 14, a viewpoint position calculation unit 15, a drawing method designating unit 17, and a CG drawing unit 16. A database 18a and a feature information database 18b are stored.
透過型ディスプレイ１０とは、ディスプレイの向こう側が透けて見えるように情報の表示面を透明にした、文字や、画像や、動画などの情報を表示するための平面ディスプレイであり、有機ＥＬパネル、リアプロジェクション等を用いる。 The transmissive display 10 is a flat display for displaying information such as characters, images, and moving images with a transparent information display surface so that the other side of the display can be seen through. Use projection or the like.
透過型ディスプレイ１０は、人が指で触れることで操作できるタッチパネル式であることが望ましく、移動体に据える場合は、移動体に設けられた窓２０の透明ガラス平面に隣接または密着させて据える。 The transmissive display 10 is desirably a touch panel type that can be operated by a person touching with a finger. When the transmissive display 10 is installed on a moving body, the transmissive display 10 is installed adjacent to or in close contact with the transparent glass plane of the window 20 provided on the moving body.
地理位置計測センサ１１とは、ＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）を計測するＧＰＳと、ＧＰＳアンテナ１１ａを設置した場所（例えば、移動体）の傾き（姿勢）を計測する慣性計測装置（ＩＭＵ）１１ｂからなる。 The geographic position measurement sensor 11 is a GPS that measures the geographic coordinates Pg (v0) of the installation position v0 of the GPS antenna 11a, and an inertia that measures the inclination (posture) of the place (for example, a moving body) where the GPS antenna 11a is installed. It consists of a measuring device (IMU) 11b.
視点位置計測センサ１２とは、リアルタイム画像処理等の手法により、眺望者Ｈの視点位置ｅｙｅを計測する部位であり、眺望者Ｈの視点位置ｅｙｅをセンサ座標系Ｐｓにて表された視点センサ座標Ｐｓ（ｅｙｅ）として出力する。近年利用されている瞳位置抽出センサやステレオ画像センサが利用でき、透過型ディスプレイ１０の前に存在する眺望者Ｈの顔をモニタできる位置に設置する。 The viewpoint position measurement sensor 12 is a part that measures the viewpoint position eye of the viewer H by a technique such as real-time image processing, and the viewpoint sensor coordinates that represent the viewpoint position eye of the viewer H in the sensor coordinate system Ps. Output as Ps (eye). A pupil position extraction sensor or a stereo image sensor that has been used in recent years can be used, and is installed at a position where the face of the viewer H existing in front of the transmissive display 10 can be monitored.
キャリブレーション情報データベース１８ａには、図３（ａ）に示すように、透過型ディスプレイ１０と、ＧＰＳアンテナ１１ａと、視点位置計測センサ１２とを設置する際に、ＧＰＳアンテナ１１ａを基準点（原点）とした透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置と、視点位置計測センサ１２の位置ｓ０および傾きを測量した結果を、移動体座標系Ｐｖにて表された移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）、センサ座標系の原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓとしてあらかじめ格納しておく。 As shown in FIG. 3A, the calibration information database 18a includes the GPS antenna 11a as a reference point (origin) when the transmissive display 10, the GPS antenna 11a, and the viewpoint position measurement sensor 12 are installed. The moving body coordinates represented by the moving body coordinate system Pv are obtained by measuring the positions of the four corners w1, w2, w3, and w4 of the transmissive display 10 and the position s0 and the tilt of the viewpoint position measuring sensor 12. Pv (w1), Pv (w2), Pv (w3), and Pv (w4), the moving body coordinate Pv (s0) of the origin of the sensor coordinate system, and the second rotation matrix Rs are stored in advance.
地物情報データベース１８ｂには、透過型ディスプレイ１０に情報を描画するための地物情報を格納する。地物情報は、図３（ｂ）に示すように、基本的に、（１）地物の位置を代表する地点の地理座標、（２）地物を示すための１点の地理座標、もしくは線や面を示す複数地点の地理座標の列によりなる描画形状、（３）道路や家屋等の地物の種別、（４）地物名称や表示したい情報等の地物属性、および（５）描画色・描画線太さ・塗りつぶしパターン・塗りつぶし色・テクスチャ画像等の描画属性から構成される。 The feature information database 18 b stores feature information for drawing information on the transmissive display 10. As shown in FIG. 3B, the feature information is basically (1) geographic coordinates of a point representing the position of the feature, (2) one point of geographic coordinates for indicating the feature, or A drawing shape composed of a sequence of geographical coordinates of a plurality of points indicating lines and surfaces, (3) a type of a feature such as a road or a house, (4) a feature attribute such as a feature name or information to be displayed, and (5) It consists of drawing attributes such as drawing color, drawing line thickness, fill pattern, fill color, and texture image.
位置・姿勢算出部１３は、地理位置計測センサ１１に接続され、ＧＰＳによって計測されたＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）を移動体座標系Ｐｖの原点とし出力するとともに、ＩＭＵ１１ｂによって計測されたＧＰＳアンテナ１１ａの設置場所における移動体座標系の地理座標系に対する傾きを示すロール・ピッチ・ヨー等の角度から、式１に適用するための第１の回転行列Ｒｖを算出して出力する。 The position / attitude calculation unit 13 is connected to the geolocation sensor 11 and outputs the geographic coordinates Pg (v0) of the installation position v0 of the GPS antenna 11a measured by the GPS as the origin of the moving body coordinate system Pv, and also the IMU 11b. The first rotation matrix Rv to be applied to Equation 1 is calculated from the angles of roll, pitch, yaw, etc., indicating the inclination of the mobile object coordinate system with respect to the geographic coordinate system at the installation location of the GPS antenna 11a measured by Output.
ディスプレイ位置算出部１４は、位置・姿勢算出部１３とキャリブレーション情報データベース１８ａに接続され、キャリブレーション情報データベース１８ａから透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）を読み出し、位置・姿勢算出部１３から受信する移動体座標系Ｐｖの原点の地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖを用いて、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を式１により算出する。 The display position calculation unit 14 is connected to the position / orientation calculation unit 13 and the calibration information database 18a. From the calibration information database 18a, the moving body coordinates Pv (w1), Pv (w2), and the four corners of the transmissive display 10 are displayed. Pv (w3) and Pv (w4) are read out, and the transmissive display is performed using the geographic coordinates Pg (v0) of the origin of the moving object coordinate system Pv and the first rotation matrix Rv received from the position / attitude calculation unit 13. The geographical coordinates Pg (w1), Pg (w2), Pg (w3), and Pg (w4) at the four four corners are calculated by Equation 1.
視点位置算出部１５は、視点位置計測センサ１２と、位置・姿勢算出部１３およびキャリブレーション情報データベース１８ａに接続され、キャリブレーション情報データベース１８ａからセンサ座標系Ｐｓの原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓを読み出し、視点位置計測センサ１２から受信する視点センサ座標Ｐｓ（ｅｙｅ）を式２を用いて視点移動体座標Ｐｖ（ｅｙｅ）に変換する。 The viewpoint position calculation unit 15 is connected to the viewpoint position measurement sensor 12, the position / posture calculation unit 13, and the calibration information database 18a, and the moving body coordinates Pv (s0) of the origin of the sensor coordinate system Ps from the calibration information database 18a. Then, the second rotation matrix Rs is read, and the viewpoint sensor coordinates Ps (eye) received from the viewpoint position measurement sensor 12 are converted into viewpoint moving body coordinates Pv (eye) using Expression 2.
次に、視点位置算出部１５は、位置・姿勢算出部１３から受信する移動体座標系Ｐｖの原点の地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖを用いて、式１により視点移動体座標Ｐｖ（ｅｙｅ）を視点地理座標Ｐｇ（ｅｙｅ）に変換する。 Next, the viewpoint position calculation unit 15 uses the geographical coordinates Pg (v0) of the origin of the moving object coordinate system Pv received from the position / orientation calculation unit 13 and the first rotation matrix Rv to calculate the viewpoint moving object according to Equation 1. The coordinate Pv (eye) is converted into the viewpoint geographic coordinate Pg (eye).
描画方法指定部１７は、透過型ディスプレイ１０に接続され、透過型ディスプレイ１０上に描画方法を指定するメニューＧＵＩを表示し、眺望者ＨがメニューＧＵＩから指定した描画の有無や地物の種別などの項目をＣＧ描画部１６に送信する。 The drawing method designating unit 17 is connected to the transmissive display 10 and displays a menu GUI for designating a drawing method on the transmissive display 10. The drawing method specified by the viewer H from the menu GUI, the type of feature, and the like. Are sent to the CG drawing unit 16.
ＣＧ描画部１６は、透過型ディスプレイ１０と、地物情報データベース１８ｂと、視点位置算出部１５と、位置・姿勢算出部１３および描画方法指定部１７に接続され、描画方法指定部１７から指定された地物の種別と、視点地理座標Ｐｇ（ｅｙｅ）と透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を結ぶ線で形成される図４に示した四角錐（視体積３０という）に重なる、もしくは含まれる地理座標Ｐｇ（ｎ）とが設定された地物情報を地物情報データベース１８ｂより読み出す。 The CG drawing unit 16 is connected to the transmissive display 10, the feature information database 18 b, the viewpoint position calculation unit 15, the position / posture calculation unit 13, and the drawing method designation unit 17, and is designated by the drawing method designation unit 17. The feature type is formed by a line connecting the viewpoint geographic coordinates Pg (eye) and the geographic coordinates Pg (w1), Pg (w2), Pg (w3), and Pg (w4) at the four corners of the transmissive display 10. Then, the feature information set with the geographic coordinates Pg (n) overlapping or included in the quadrangular pyramid (viewing volume 30) shown in FIG. 4 is read from the feature information database 18b.
続いて、ＣＧ描画部１６は、地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を結ぶ平面上における眺望者Ｈが見ている地物の位置に投影されるようにＣＧ合成し、透過型ディスプレイ１０上に表示する。 Subsequently, the CG drawing unit 16 displays the feature name set as the feature attribute and the information to be displayed on the four corners of the transmissive display 10 based on the drawing shape and the drawing attribute set in the feature information. CG is synthesized so as to be projected on the position of the feature that the viewer H is looking on the plane connecting the geographical coordinates Pg (w1), Pg (w2), Pg (w3), and Pg (w4), and is a transmission type Display on the display 10.
（システムの処理フローの説明）
次に、本システムの運用に関する各工程の処理について、図５から図８に示した処理フローに従って説明する。
(Explanation of system processing flow)
Next, the process of each process regarding the operation of the system will be described according to the process flow shown in FIGS.
準備工程：
Ｓ１００：本システムの透過型ディスプレイ１０と、ＧＰＳアンテナ１１ａと、視点位置計測センサ１２とを設置する際に、ＧＰＳアンテナ１１ａを基準点（原点）とした透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置と、視点位置計測センサ１２の位置ｓ０および傾きを測量する。この際、座標軸は移動体前方をX,移動体の側面左方向をY,移動体上方をZとする。
Preparation process:
S100: When installing the transmissive display 10 of the present system, the GPS antenna 11a, and the viewpoint position measurement sensor 12, the four corners w1, w2, and the transmissive display 10 with the GPS antenna 11a as a reference point (origin) The positions w3 and w4, the position s0 of the viewpoint position measurement sensor 12, and the inclination are measured. At this time, the coordinate axes are X in front of the moving body, Y in the left side of the moving body, and Z in the upper direction of the moving body.
Ｓ１０１：透過型ディスプレイ１０の４隅ｗ１、ｗ２、ｗ３、およびｗ４の位置の測量結果を、移動体座標系Ｐｖにて表された移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）として、キャリブレーション情報データベース１８ａに格納する。 S101: The measurement results of the positions of the four corners w1, w2, w3, and w4 of the transmissive display 10 are represented by the moving body coordinates Pv (w1), Pv (w2), and Pv (w3) expressed in the moving body coordinate system Pv. ) And Pv (w4) are stored in the calibration information database 18a.
Ｓ１０２：さらに、視点位置計測センサ１２の位置ｓ０および傾きの測量結果から、センサ座標系Ｐｓの原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓを算出して、キャリブレーション情報データベース１８ａに格納する。 S102: Further, from the position s0 of the viewpoint position measurement sensor 12 and the measurement result of the inclination, the moving body coordinate Pv (s0) of the origin of the sensor coordinate system Ps and the second rotation matrix Rs are calculated, and the calibration information database 18a. To store.
Ｓ１０３：また、本システムにより透過型ディスプレイ１０に情報を描画するための地物情報を、地物情報データベース１８ｂに格納する。 S103: Also, the feature information for drawing information on the transmissive display 10 by this system is stored in the feature information database 18b.
位置決定工程：
Ｓ２００：地理位置計測センサ１１は、一定間隔で、ＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）とＧＰＳアンテナ１１ａを設置した場所の傾きの計測を繰り返し、計測結果を位置・姿勢算出部１３に送信する。
Positioning process:
S200: The geographic position measurement sensor 11 repeats measurement of the geographic coordinates Pg (v0) of the installation position v0 of the GPS antenna 11a and the inclination of the place where the GPS antenna 11a is installed at regular intervals, and the measurement result is a position / posture calculation unit. 13 to send.
Ｓ２０１：計測結果を受信した位置・姿勢算出部１３は、ＧＰＳアンテナ１１ａの設置位置ｖ０の地理座標Ｐｇ（ｖ０）と、計測された傾きから算出した第１の回転行列Ｒｖを、ディスプレイ位置算出部１４と視点位置算出部１５に出力する。 S201: The position / posture calculation unit 13 that has received the measurement result uses the geographical coordinates Pg (v0) of the installation position v0 of the GPS antenna 11a and the first rotation matrix Rv calculated from the measured inclination as the display position calculation unit. 14 and the viewpoint position calculation unit 15.
ここで、位置・姿勢算出部１３からディスプレイ位置算出部１４と視点位置算出部１５に、地理座標Ｐｇ（ｖ０）と第１の回転行列Ｒｖを出力するタイミングは、地理位置計測センサ１１から計測結果を受信する毎であってもよいし、前回の計測結果と異なる計測結果を受信した場合、つまり位置に変化が生じた場合のみであってもよい。 Here, the timing at which the geographic coordinates Pg (v0) and the first rotation matrix Rv are output from the position / orientation calculation unit 13 to the display position calculation unit 14 and the viewpoint position calculation unit 15 is the measurement result from the geographic position measurement sensor 11. May be received each time, or may be only when a measurement result different from the previous measurement result is received, that is, when the position has changed.
Ｓ２０２：位置・姿勢算出部１３から地理座標Ｐｇ（ｖ０）と第１の回転行列Ｒｖを受信したディスプレイ位置算出部１４は、キャリブレーション情報データベース１８ａから透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）を読み出す。 S202: The display position calculation unit 14 that has received the geographical coordinates Pg (v0) and the first rotation matrix Rv from the position / posture calculation unit 13 receives the moving body coordinates Pv at the four corners of the transmissive display 10 from the calibration information database 18a. (W1), Pv (w2), Pv (w3), and Pv (w4) are read.
Ｓ２０３：次に、ディスプレイ位置算出部１４は、位置・姿勢算出部１３から受信した地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖと、透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）を式１に代入して、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を算出する。 S203: Next, the display position calculation unit 14 receives the geographic coordinates Pg (v0) and the first rotation matrix Rv received from the position / posture calculation unit 13, and the moving body coordinates Pv (w1) of the four corners of the transmissive display 10. ), Pv (w2), Pv (w3), and Pv (w4) are substituted into Equation 1, and the geographical coordinates Pg (w1), Pg (w2), Pg (w3), And Pg (w4) is calculated.
Ｓ２０４：ディスプレイ位置算出部１４は、算出した透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）をＣＧ描画部１６に出力する。 S204: The display position calculation unit 14 outputs the calculated geographical coordinates Pg (w1), Pg (w2), Pg (w3), and Pg (w4) of the four corners of the transmissive display 10 to the CG drawing unit 16.
Ｓ３００：一方、視点位置計測センサ１２は、透過型ディスプレイ１０の前に現れた眺望者Ｈの視点位置ｅｙｅを計測し、視点位置が変化する毎に、センサ座標系Ｐｓにて表された視点センサ座標Ｐｓ（ｅｙｅ）として視点位置算出部１５に出力する。 S300: On the other hand, the viewpoint position measurement sensor 12 measures the viewpoint position eye of the viewer H that appears in front of the transmissive display 10, and each time the viewpoint position changes, the viewpoint sensor represented by the sensor coordinate system Ps. The coordinates Ps (eye) are output to the viewpoint position calculation unit 15.
Ｓ３０１：視点位置算出部１５は、視点位置計測センサ１２から視点センサ座標Ｐｓ（ｅｙｅ）を受信する毎に、キャリブレーション情報データベース１８ａからセンサ座標系Ｐｓの原点の移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓを読み出す。 S301: Every time the viewpoint position calculation unit 15 receives the viewpoint sensor coordinates Ps (eye) from the viewpoint position measurement sensor 12, the moving body coordinates Pv (s0) of the origin of the sensor coordinate system Ps and the first position are obtained from the calibration information database 18a. 2 rotation matrix Rs is read.
Ｓ３０２：次に、視点位置算出部１５は、読み出した移動体座標Ｐｖ（ｓ０）および第２の回転行列Ｒｓと、視点位置計測センサ１２から受信した視点センサ座標Ｐｓ（ｅｙｅ）を式２に代入して、視点移動体座標Ｐｖ（ｅｙｅ）を算出する。 S302: Next, the viewpoint position calculation unit 15 substitutes the read moving body coordinates Pv (s0) and the second rotation matrix Rs and the viewpoint sensor coordinates Ps (eye) received from the viewpoint position measurement sensor 12 into Expression 2. Then, the viewpoint moving body coordinates Pv (eye) are calculated.
Ｓ３０３：続いて、視点位置算出部１５は、算出した視点移動体座標Ｐｖ（ｅｙｅ）と、位置・姿勢算出部１３から受信した地理座標Ｐｇ（ｖ０）および第１の回転行列Ｒｖを式１に代入して、視点地理座標Ｐｇ（ｅｙｅ）を算出する。 S303: Subsequently, the viewpoint position calculation unit 15 uses the calculated viewpoint moving body coordinates Pv (eye), the geographic coordinates Pg (v0) received from the position / orientation calculation unit 13, and the first rotation matrix Rv in Expression 1. By substituting, viewpoint geographic coordinates Pg (eye) are calculated.
Ｓ３０４：視点位置算出部１５は、算出した視点地理座標Ｐｇ（ｅｙｅ）をＣＧ描画部１６に出力する。 S304: The viewpoint position calculation unit 15 outputs the calculated viewpoint geographic coordinates Pg (eye) to the CG drawing unit 16.
地物情報表示工程：
Ｓ４００：描画方法指定部１７は、透過型ディスプレイ１０上に表示した描画方法を指定するメニューＧＵＩから、眺望者Ｈが指定した描画の有無や地物の種別などの項目をＣＧ描画部１６に送信する。
Feature information display process:
S400: The drawing method designating unit 17 sends items such as the presence / absence of drawing designated by the viewer H and the type of feature to the CG drawing unit 16 from the menu GUI designating the drawing method displayed on the transmissive display 10. To do.
Ｓ４０１：ＣＧ描画部１６は、ディスプレイ位置算出部１４から受信した透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）と、視点位置算出部１５から受信した視点地理座標Ｐｇ（ｅｙｅ）を結ぶ線で形成される図４に示したような視体積３０の３次元空間を想定する。 S401: The CG drawing unit 16 receives the geographical coordinates Pg (w1), Pg (w2), Pg (w3), and Pg (w4) at the four corners of the transmissive display 10 received from the display position calculation unit 14, and the viewpoint position. Assume a three-dimensional space of the visual volume 30 as shown in FIG. 4 formed by lines connecting the viewpoint geographic coordinates Pg (eye) received from the calculation unit 15.
Ｓ４０２：ＣＧ描画部１６は、視体積３０の３次元空間に含まれる地理座標Ｐｇ（ｎ）が設定された地物情報を地物情報データベース１８ｂから読み出す。 S402: The CG drawing unit 16 reads the feature information in which the geographic coordinates Pg (n) included in the three-dimensional space of the viewing volume 30 is set from the feature information database 18b.
Ｓ４０３：さらに、ＣＧ描画部１６は、読み出した地物情報のうちで、描画方法指定部１７から指定された地物の種別などの項目を含むものを抽出する。 S403: Further, the CG drawing unit 16 extracts from the read feature information including items such as the type of the feature specified by the drawing method specifying unit 17.
Ｓ４０４：続いて、ＣＧ描画部１６は、抽出した地物情報に設定された描画形状と描画属性に基づいて、地物属性として設定されている地物名称や表示したい情報を、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）を結ぶ平面上における眺望者Ｈが見ている地物の位置に投影されるようにＣＧ合成（レンダリングともいう）し、透過型ディスプレイ１０上に表示する。 S404: Subsequently, the CG drawing unit 16 displays the feature name set as the feature attribute and information to be displayed on the transmissive display 10 based on the drawing shape and drawing attribute set in the extracted feature information. CG composition so that the viewer H is projected onto the position of the feature on the plane connecting the geographical coordinates Pg (w1), Pg (w2), Pg (w3), and Pg (w4) (Also referred to as rendering) and displayed on the transmissive display 10.
Ｓ４０４の地物情報のＣＧ合成について、図９に示した模式図を参照しながら説明する。 The CG composition of the feature information in S404 will be described with reference to the schematic diagram shown in FIG.
例えば、同じ地物（富士山）を眺望者Ｈが見ていたとしても、第１の視点位置Ｐｇ（ｅｙｅ１）にいる場合は、景色Ａのように見えている。ここで、眺望者Ｈまたは移動体が動くことによって、眺望者Ｈの視点が第２の視点位置Ｐｇ（ｅｙｅ２）に移動すると、景色Ｂのように地物（富士山）の見える位置が変化する。 For example, even if the viewer H looks at the same feature (Mt. Fuji), it looks like the scenery A when it is at the first viewpoint position Pg (eye1). Here, when the viewpoint H or the moving body moves and the viewpoint of the viewer H moves to the second viewpoint position Pg (eye2), the position where the feature (Mt. Fuji) can be seen changes like the scenery B.
このため、眺望者Ｈがどの位置に移動しても、地物（富士山）の見える位置に地物情報を表示するため、視体積３０の仮想空間上で地物情報を表示させるラベル位置Ｐｇ（Ｌ）を決め、景色Ａでは、第１の視点位置Ｐｇ（ｅｙｅ１）とラベル位置Ｐｇ（Ｌ）を結んだ直線と透過型ディスプレイ１０との交点にあたる第１の表示位置Ｐｇ（ａ）を求め、透過型ディスプレイ１０の第１の表示位置Ｐｇ（ａ）に地物情報を表示する。 For this reason, in order to display the feature information at a position where the feature (Mt. Fuji) can be seen no matter where the viewer H moves, the label position Pg (where feature information is displayed in the virtual space of the visual volume 30) L), and in the scenery A, a first display position Pg (a) corresponding to the intersection of the straight line connecting the first viewpoint position Pg (eye1) and the label position Pg (L) and the transmissive display 10 is obtained. The feature information is displayed at the first display position Pg (a) of the transmissive display 10.
また、同様に、景色Ｂでは、第２の視点位置Ｐｇ（ｅｙｅ２）とラベル位置Ｐｇ（Ｌ）を結んだ直線と透過型ディスプレイ１０との交点にあたる第２の表示位置Ｐｇ（ｂ）を求め、透過型ディスプレイ１０の第２の表示位置Ｐｇ（ｂ）に地物情報を表示する。 Similarly, in the scene B, the second display position Pg (b) corresponding to the intersection of the straight line connecting the second viewpoint position Pg (eye2) and the label position Pg (L) and the transmissive display 10 is obtained. The feature information is displayed at the second display position Pg (b) of the transmissive display 10.
こうすることで、図９の景色Ａと景色Ｂに示したように、眺望者Ｈが見ている富士山の位置に、「富士山」という文字情報が正しく表示される。 As a result, as shown in the scenery A and the scenery B in FIG. 9, the character information “Mt. Fuji” is correctly displayed at the position of Mt.
ラベル位置Ｐｇ（Ｌ）は、地物情報データベース１８ｂに格納した地物情報に含まれる地物の代表地理座標を利用してもよい。 As the label position Pg (L), the representative geographical coordinates of the feature included in the feature information stored in the feature information database 18b may be used.
また、図２には図示していないが、描画方法指定部１７に代えて、または描画方法指定部１７の他に、ＣＧ描画部１６に接続されたＩＣカード読取り部を備えるようにしてもよい。 Although not shown in FIG. 2, an IC card reading unit connected to the CG drawing unit 16 may be provided instead of the drawing method specifying unit 17 or in addition to the drawing method specifying unit 17. .
ＩＣカード読取り部は、眺望者Ｈが所持するＩＣカードから眺望者Ｈの個別情報を読み取り、ＣＧ描画部１６に出力する。 The IC card reading unit reads the individual information of the viewer H from the IC card possessed by the viewer H and outputs it to the CG drawing unit 16.
ＣＧ描画部１６は、地物情報データベース１８ｂから読み出した地物情報のうちで、受信した個別情報に関連するものを選択的に抽出し、透過型ディスプレイ１０に表示する。 The CG drawing unit 16 selectively extracts information related to the received individual information from the feature information read from the feature information database 18 b and displays the information on the transmissive display 10.
（実施例１）
本発明の実施例１は、図１０に示したように、移動体であるバスの窓２０ａに透過型ディスプレイ１０を設置したシステムである。
Example 1
The first embodiment of the present invention is a system in which a transmissive display 10 is installed in a window 20a of a bus as a moving body, as shown in FIG.
バスの天井等に地理位置計測センサ１１を設置し、座席上部や窓２０枠の上部に眺望者Ｈである乗客の顔をモニタできるように視点位置計測センサ１２を設置する。 The geographical position measurement sensor 11 is installed on the ceiling of the bus, and the viewpoint position measurement sensor 12 is installed on the upper part of the seat and the upper frame of the window 20 so that the face of the passenger who is the viewer H can be monitored.
透過型ディスプレイ１０には、図１０に示したように、バスの通過している場所の町名の文字情報や地図の画像、道路の名称、店舗の広告等の文字情報が表示される。 As shown in FIG. 10, the transmissive display 10 displays character information such as the name of the town where the bus passes, the image of the map, the name of the road, and the advertisement of the store.
また、描画方法指定部１７によって透過型ディスプレイ１０に表示される描画方法指定メニューＧＵＩを例示していて、言語の選択や、表示の有無（ＯＮ／ＯＦＦ）の選択ができるようにしている。乗客はこのメニューをタッチして所望の条件を設定できる。 Further, a drawing method designation menu GUI displayed on the transmissive display 10 by the drawing method designation unit 17 is illustrated, and a language can be selected and whether or not to display (ON / OFF) can be selected. The passenger can set desired conditions by touching this menu.
同様に、図１１に示したように、移動体である電車の窓２０ｂに透過型ディスプレイ１０を設置することもできる。 Similarly, as shown in FIG. 11, the transmissive display 10 can be installed in a train window 20b which is a moving body.
乗客が見ている地物をタッチした時に、当該地物に関連した情報を透過型ディスプレイ１０に表示するようにすることもできる。 When a feature touched by a passenger is touched, information related to the feature can be displayed on the transmissive display 10.
（実施例２）
本発明の実施例２は、図１２に示したように、移動体である窓付エレベータの窓２０ｃに透過型ディスプレイ１０を設置したシステムである。
(Example 2)
Example 2 of the present invention is a system in which a transmissive display 10 is installed in a window 20c of a windowed elevator as a moving body, as shown in FIG.
エレベータの設備に地理位置計測センサ１１を設置し、エレベータの籠の上部に眺望者Ｈの顔をモニタできるように視点位置計測センサ１２を設置する。 A geo-position measuring sensor 11 is installed in the elevator equipment, and a viewpoint position measuring sensor 12 is installed at the upper part of the elevator so that the face of the viewer H can be monitored.
ただし、エレベータ制御のために地理位置計測センサ１１以外の制御設備によって位置情報を計測する場合もあり、地理位置計測センサ１１を設置せずに、エレベータ制御のための位置情報を利用しても構わない。 However, the position information may be measured by control equipment other than the geo-position measurement sensor 11 for elevator control, and the position information for elevator control may be used without installing the geo-position measurement sensor 11. Absent.
さらに、窓付エレベータの窓２０ｃは視野の範囲が狭く、眺望者Ｈが視点を移動させても、地物の見える位置にはほとんど変化が生じないため、視点位置計測センサ１２の設置を省略しても構わない。 Further, the window 20c of the elevator with window has a narrow field of view, and even if the viewer H moves the viewpoint, there is almost no change in the position where the feature can be seen. It doesn't matter.
図１２には、文字情報や地物名称の他に、高さを比較できるものとしてタワーのＣＧ画像を表示している例を示している。 FIG. 12 shows an example in which a tower CG image is displayed in addition to the character information and the feature name so that the heights can be compared.
（実施例３）
本発明の実施例３は、図１３に示したように、展望台の窓２０ｄに透過型ディスプレイ１０を設置したシステムである。
(Example 3)
The third embodiment of the present invention is a system in which the transmissive display 10 is installed in the observation platform window 20d as shown in FIG.
展望台は移動しないので地理位置計測センサ１１は不要であり、移動体座標系Ｐｖによる位置表現も、移動体座標系Ｐｖを地理座標系Ｐｇに変換する計算も不要となる。 Since the observation platform does not move, the geographical position measurement sensor 11 is unnecessary, and the position representation by the moving body coordinate system Pv and the calculation for converting the moving body coordinate system Pv to the geographic coordinate system Pg are not required.
透過型ディスプレイ１０と視点位置計測センサ１２の位置は不動となるので、センサ座標系の原点の移動体座標キャリブレーション情報データベース１８ａには、透過型ディスプレイ１０の４隅の移動体座標Ｐｖ（ｗ１）、Ｐｖ（ｗ２）、Ｐｖ（ｗ３）、およびＰｖ（ｗ４）と、センサ座標系の原点の移動体座標Ｐｖ（ｓ０）に代わって、透過型ディスプレイ１０の４隅の地理座標Ｐｇ（ｗ１）、Ｐｇ（ｗ２）、Ｐｇ（ｗ３）、およびＰｇ（ｗ４）と、視点位置計測センサ１２の地理座標Ｐｇ（ｓ０）をあらかじめ設定する。 Since the positions of the transmissive display 10 and the viewpoint position measurement sensor 12 do not move, the moving body coordinate Pv (w1) at the four corners of the transmissive display 10 is stored in the moving body coordinate calibration information database 18a at the origin of the sensor coordinate system. , Pv (w2), Pv (w3), and Pv (w4), and the geographical coordinates Pg (w1) at the four corners of the transmissive display 10 instead of the moving body coordinates Pv (s0) at the origin of the sensor coordinate system, Pg (w2), Pg (w3), and Pg (w4) and the geographic coordinates Pg (s0) of the viewpoint position measurement sensor 12 are set in advance.
つまり、実施例３では、位置・姿勢算出部１３とディスプレイ位置算出部１４が不要である。 That is, in the third embodiment, the position / posture calculation unit 13 and the display position calculation unit 14 are unnecessary.
図１３には、文字情報や地物名称の他に、地物形状やアイコンを表示している例を示している。 FIG. 13 shows an example in which a feature shape and an icon are displayed in addition to the character information and the feature name.
以上、図１０から図１３に例示した透過型ディスプレイ１０上に表示される情報は、それぞれの実施例に限定するものではなく、どの実施例においても表示できる。 As described above, the information displayed on the transmissive display 10 illustrated in FIGS. 10 to 13 is not limited to each embodiment, and can be displayed in any embodiment.
１０ 透過型ディスプレイ
１１ 地理位置計測センサ
１１ａ ＧＰＳアンテナ
１１ｂ 慣性計測装置
１２ 視点位置計測センサ
１３ 位置・姿勢算出部
１４ ディスプレイ位置算出部
１５ 視点位置算出部
１６ ＣＧ描画部
１７ 描画方法指定部
１８ 記憶手段
１８ａ キャリブレーション情報データベース
１８ｂ 地物情報データベース
１９ コンピュータ
２０ 窓
２０ａ バスの窓
２０ｂ 電車の窓
２０ｃ 窓付エレベータの窓
２０ｄ 展望台の窓
３０ 視体積
Ｈ 眺望者
DESCRIPTION OF SYMBOLS 10 Transmission type display 11 Geographic position measurement sensor 11a GPS antenna 11b Inertial measurement apparatus 12 Viewpoint position measurement sensor 13 Position / attitude calculation part 14 Display position calculation part 15 Viewpoint position calculation part 16 CG drawing part 17 Drawing method designation part 18 Storage means 18a Calibration information database 18b Feature information database 19 Computer 20 Window 20a Bus window 20b Train window 20c Elevator window 20d Observatory window 30 Visual volume H Viewer
Claims (6)
眺望者が乗った移動体の前記眺望者が見る窓に設置された透過型ディスプレイと、
前記移動体の位置と傾きを計測し送信するＧＰＳアンテナを含む地理位置計測センサと、
前記眺望者の視点位置を計測し、視点位置計測センサの位置を原点としたセンサ座標系で表した視点センサ座標を送信する当該視点位置計測センサとからなり、
前記記憶手段は、
前記透過型ディスプレイの４隅の位置と前記視点位置計測センサの位置を前記ＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第２の回転行列とをあらかじめ格納したキャリブレーション情報データベースと、
前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報をあらかじめ格納した地物情報データベース
とを含み、
前記コンピュータは、
前記地理位置計測センサに接続され、前記移動体座標系の原点として前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置位置の地理座標と、前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置場所の傾きから算出した第１の回転行列を出力する位置・姿勢算出部と、
前記位置・姿勢算出部と前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記透過型ディスプレイの４隅の移動体座標を読み出し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記透過型ディスプレイの４隅の地理座標を算出するディスプレイ位置算出部と、
前記視点位置計測センサと、前記位置・姿勢算出部および前記キャリブレーション情報データベースに接続され、前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第２の回転行列を読み出し、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、前記位置・姿勢算出部から受信する前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換する視点位置算出部と、
前記透過型ディスプレイと、前記地物情報データベースと、前記視点位置算出部と、前記位置・姿勢算出部に接続され、前記視点地理座標と前記透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をＣＧ合成し、前記透過型ディスプレイ上に表示するＣＧ描画部
とを含むことを特徴とする拡張現実表現システム。 A computer having storage means, and connected to the computer by a data communication line;
A transmissive display installed in a window seen by the viewer of the moving body on which the viewer rides;
A geolocation sensor that includes a GPS antenna that measures and transmits the position and tilt of the mobile;
The viewpoint position measurement sensor that measures the viewpoint position of the viewer and transmits the viewpoint sensor coordinates represented in the sensor coordinate system with the position of the viewpoint position measurement sensor as the origin,
The storage means
The position of the four corners of the transmissive display and the position of the viewpoint position measuring sensor are calculated from the moving body coordinates represented by the moving body coordinate system with the position of the GPS antenna as the origin, and the inclination of the viewpoint position measuring sensor. A calibration information database in which two rotation matrices are stored in advance;
A feature information database for storing feature information including the geographic coordinates of the feature, the feature attribute that is the related information, the drawing shape, and the drawing attribute in order to draw the related information of the feature on the transmissive display; Including
The computer
The geographic coordinates of the GPS antenna installation position connected to the geolocation sensor and measured by the geolocation sensor as the origin of the mobile coordinate system, and the GPS antenna measured by the geolocation sensor A position / attitude calculation unit for outputting a first rotation matrix calculated from the inclination of the installation location;
The moving body coordinate system connected to the position / attitude calculation unit and the calibration information database, for reading out the moving body coordinates at the four corners of the transmissive display from the calibration information database and receiving from the position / attitude calculation unit Display position calculation unit that calculates the geographical coordinates of the four corners of the transmissive display using the geographic coordinates of the origin of the first and the first rotation matrix;
The viewpoint position measurement sensor, the position / attitude calculation unit, and the calibration information database are connected, and the moving body coordinates of the viewpoint position measurement sensor and the second rotation matrix are read from the calibration information database, and the viewpoint The viewpoint sensor coordinates received from the position measurement sensor are converted into viewpoint moving body coordinates represented in the moving body coordinate system, and the geographical coordinates of the origin of the moving body coordinate system received from the position / attitude calculation unit and the first A viewpoint position calculation unit that converts the viewpoint moving body coordinates into viewpoint geographic coordinates represented in a geographic coordinate system using the rotation matrix of
Connected to the transmissive display, the feature information database, the viewpoint position calculation unit, and the position / posture calculation unit, and formed by lines connecting the viewpoint geographic coordinates and the geographic coordinates of the four corners of the transmissive display The feature information in which geographic coordinates included in the viewing volume are set is read from the feature information database, and the viewer on the transmissive display is viewing based on the drawing shape and the drawing attribute. An augmented reality expression system comprising: a CG rendering unit configured to CG-synthesize the feature attributes so as to be projected onto the position of the feature and to display the resultant on the transmissive display.
前記ＣＧ描画部は、前記地物情報データベースから読み出した前記地物情報から、前記描画方法指定部から指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項１に記載の拡張現実表現システム。 The computer is connected to the transmissive display and the CG drawing unit, displays a menu GUI for designating a drawing method on the transmissive display, and displays items designated by the viewer from the menu GUI in the CG drawing unit. Further includes a drawing method designating part to be transmitted to
The CG drawing unit extracts feature information corresponding to an item designated by the drawing method designation unit from the feature information read from the feature information database, and displays the feature information on the transmissive display. Item 4. The augmented reality expression system according to item 1.
前記ＣＧ描画部は、前記地物情報データベースから読み出した前記地物情報のうちで、前記ＩＣカード読取り部から受信した前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項１または２に記載の拡張現実表現システム。 The computer further includes an IC card reading unit that is connected to the transmissive display and the CG drawing unit, reads individual information of the viewer from an IC card possessed by the viewer, and outputs the information to the CG drawing unit. The CG drawing unit selectively extracts, among the feature information read from the feature information database, information related to the individual information received from the IC card reading unit, and displays the information on the transmissive display. The augmented reality expression system according to claim 1 or 2.
前記コンピュータは、
前記記憶手段に、前記透過型ディスプレイの４隅の位置と前記視点位置計測センサの位置を前記ＧＰＳアンテナの位置を原点とした移動体座標系で表した移動体座標と、前記視点位置計測センサの傾きから算出した第２の回転行列とからなるキャリブレーション情報データベースと、前記透過型ディスプレイに地物の関連情報を描画するため、当該地物の地理座標、前記関連情報である地物属性、描画形状、描画属性を含む地物情報からなる地物情報データベースを格納し、
前記移動体座標系の原点として前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置位置の地理座標を受信し、
前記地理位置計測センサによって計測される前記ＧＰＳアンテナの設置場所の傾きから第１の回転行列を算出し、
前記キャリブレーション情報データベースから前記透過型ディスプレイの４隅の移動体座標を読み出し、
前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記透過型ディスプレイの４隅の地理座標を算出し、
前記キャリブレーション情報データベースから前記視点位置計測センサの移動体座標および前記第２の回転行列を読み出し、
前記視点位置計測センサの移動体座標および前記第２の回転行列を用いて、前記視点位置計測センサから受信する前記視点センサ座標を前記移動体座標系で表した視点移動体座標に変換し、
前記移動体座標系の原点の地理座標および前記第１の回転行列を用いて、前記視点移動体座標を地理座標系で表した視点地理座標に変換し、
前記視点地理座標と前記透過型ディスプレイの４隅の地理座標を結ぶ線で形成される視体積に含まれる地理座標が設定された前記地物情報を前記地物情報データベースより読み出し、
前記描画形状と前記描画属性に基づいて、前記透過型ディスプレイ上における前記眺望者が見ている地物の位置に投影されるように前記地物属性をＣＧ合成し、前記透過型ディスプレイ上に表示する
ことを特徴とする拡張現実表現方法。 A transmissive display installed in a window seen by the viewer of the moving body on which the viewer is on, a geolocation sensor including a GPS antenna that measures and transmits the position and inclination of the geographic coordinate system of the moving body, and Storage means connected to each of the viewpoint position measuring sensors for measuring the viewpoint position of the viewer and transmitting the viewpoint sensor coordinates expressed in the sensor coordinate system with the position of the viewpoint position measuring sensor as the origin is connected by a data communication line. An augmented reality expression method using a computer,
The computer
In the storage means, the moving body coordinates representing the positions of the four corners of the transmissive display and the position of the viewpoint position measuring sensor in a moving body coordinate system with the position of the GPS antenna as the origin, and the position of the viewpoint position measuring sensor In order to draw the relevant information of the feature on the calibration information database composed of the second rotation matrix calculated from the inclination and the transmissive display, the geographical coordinates of the feature, the feature attribute which is the relevant information, the drawing Stores a feature information database consisting of feature information including shape and drawing attributes,
Receiving the geographical coordinates of the installation position of the GPS antenna measured by the geographical position measurement sensor as the origin of the moving body coordinate system;
Calculating a first rotation matrix from an inclination of an installation location of the GPS antenna measured by the geolocation sensor;
Read the moving body coordinates of the four corners of the transmissive display from the calibration information database,
Using the geographical coordinates of the origin of the moving object coordinate system and the first rotation matrix, the geographical coordinates of the four corners of the transmissive display are calculated,
Reading the moving body coordinates of the viewpoint position measurement sensor and the second rotation matrix from the calibration information database,
Using the moving body coordinates of the viewpoint position measuring sensor and the second rotation matrix, the viewpoint sensor coordinates received from the viewpoint position measuring sensor are converted into viewpoint moving body coordinates represented in the moving body coordinate system,
Using the geographic coordinates of the origin of the moving body coordinate system and the first rotation matrix, the viewpoint moving body coordinates are converted into viewpoint geographic coordinates represented in a geographic coordinate system,
Read the feature information in which the geographic coordinates included in the viewing volume formed by the line connecting the viewpoint geographic coordinates and the geographic coordinates of the four corners of the transmissive display are set from the feature information database;
Based on the drawing shape and the drawing attribute, the feature attributes are CG-combined so as to be projected on the position of the feature viewed by the viewer on the transmissive display, and displayed on the transmissive display. Augmented reality expression method characterized by:
前記透過型ディスプレイ上に描画方法を指定するメニューＧＵＩを表示し、
前記眺望者が前記メニューＧＵＩから指定した項目を受信し、
前記地物情報データベースから読み出した前記地物情報から、前記指定された項目に該当する地物情報を抽出して、前記透過型ディスプレイ上に表示する請求項４に記載の拡張現実表現方法。 The computer
A menu GUI for specifying a drawing method is displayed on the transparent display.
Receiving an item designated by the viewer from the menu GUI;
5. The augmented reality expression method according to claim 4, wherein feature information corresponding to the designated item is extracted from the feature information read from the feature information database and displayed on the transmissive display.
前記眺望者が所持するＩＣカードから前記眺望者の個別情報を読み取り、
前記地物情報データベースから読み出した前記地物情報のうちで、前記個別情報に関連するものを選択的に抽出し、前記透過型ディスプレイに表示する請求項４または５に記載の拡張現実表現方法。 The computer
Read the individual information of the viewer from the IC card possessed by the viewer,
The augmented reality expression method according to claim 4 or 5, wherein among the feature information read from the feature information database, information related to the individual information is selectively extracted and displayed on the transmissive display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010213921A JP2012068481A (en) | 2010-09-24 | 2010-09-24 | Augmented reality expression system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010213921A JP2012068481A (en) | 2010-09-24 | 2010-09-24 | Augmented reality expression system and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012068481A true JP2012068481A (en) | 2012-04-05 |
Family
ID=46165833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010213921A Pending JP2012068481A (en) | 2010-09-24 | 2010-09-24 | Augmented reality expression system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012068481A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8914236B2 (en) | 2012-08-08 | 2014-12-16 | Sony Corporation | Mobile object, system, and storage medium |
| JP2015077876A (en) * | 2013-10-16 | 2015-04-23 | 株式会社デンソー | Head-up display device |
| JP2017182814A (en) * | 2012-06-29 | 2017-10-05 | ノキア テクノロジーズ オサケユイチア | Method and apparatus for modification of presentation of information based on visual complexity of environment information |
| JP2017191378A (en) * | 2016-04-11 | 2017-10-19 | 富士通テン株式会社 | Augmented reality information display device and augmented reality information display method |
| JP2018116165A (en) * | 2017-01-19 | 2018-07-26 | 株式会社デンソー | Information providing system and information providing method |
| JP2018127192A (en) * | 2017-02-09 | 2018-08-16 | 株式会社ＶｅＲｐａｔｈｓ | Video output device, vehicle comprising the same, and video output method |
| WO2018207285A1 (en) * | 2017-05-10 | 2018-11-15 | 三菱電機株式会社 | Design presentation device and design presentation program for elevator |
| JP2018535477A (en) * | 2015-09-30 | 2018-11-29 | シェンチェン ドゥロドゥロ テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｄｌｏｄｌｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | Method and apparatus for adjusting virtual reality images |
| WO2019163599A1 (en) * | 2018-02-22 | 2019-08-29 | ソニー株式会社 | Information processing device, moving body, method, and program |
| JP2020103782A (en) * | 2018-12-28 | 2020-07-09 | トヨタ紡織株式会社 | Space provision system |
| WO2020213170A1 (en) * | 2019-04-19 | 2020-10-22 | マクセル株式会社 | Information display device and activity plan display system |
| WO2021131023A1 (en) * | 2019-12-27 | 2021-07-01 | マクセル株式会社 | Head-mounted information output device |
| JP2022036116A (en) * | 2014-08-18 | 2022-03-04 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | Systems and methods for generating augmented reality and virtual reality images |
| WO2022190970A1 (en) * | 2021-03-08 | 2022-09-15 | ソニーグループ株式会社 | Information processing device, information processing method, program, and information processing system |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01312411A (en) * | 1988-06-10 | 1989-12-18 | Hitachi Ltd | Estimation of position of object using image and sensor status estimation |
| JPH07257228A (en) * | 1994-03-18 | 1995-10-09 | Nissan Motor Co Ltd | Display device for vehicle |
| JPH10176928A (en) * | 1996-12-18 | 1998-06-30 | Hitachi Ltd | Viewpoint position measuring method and device, head-up display, and mirror adjustment device |
| JPH1165431A (en) * | 1997-08-25 | 1999-03-05 | Nippon Telegr & Teleph Corp <Ntt> | Device and system for car navigation with scenery label |
| JPH1186034A (en) * | 1997-09-05 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Human navigati0n device with scenery label and system therefor |
| JP2001252463A (en) * | 2000-03-10 | 2001-09-18 | Konami Co Ltd | Game device, judging method for specified position, storage medium, and program |
| JP2004227332A (en) * | 2003-01-23 | 2004-08-12 | Hitachi Ltd | Information display method |
| JP2004265412A (en) * | 2003-03-01 | 2004-09-24 | Boeing Co:The | System and method for providing vision imaging |
| JP2005030886A (en) * | 2003-07-11 | 2005-02-03 | Mazda Motor Corp | Advertisement information processor and advertisement information processing method |
| WO2006035755A1 (en) * | 2004-09-28 | 2006-04-06 | National University Corporation Kumamoto University | Method for displaying movable-body navigation information and device for displaying movable-body navigation information |
| JP2006248384A (en) * | 2005-03-10 | 2006-09-21 | Clarion Co Ltd | Vehicle periphery monitoring device |
| JP2008309529A (en) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | Navigation system, navigation method and program for navigation |
| JP2009146053A (en) * | 2007-12-12 | 2009-07-02 | Nec Corp | Information provision system and information provision method |
| JP2009204847A (en) * | 2008-02-27 | 2009-09-10 | Sato Knowledge & Intellectual Property Institute | Advertisement display system and advertisement display method |
| JP2009250827A (en) * | 2008-04-08 | 2009-10-29 | Panasonic Corp | Navigation device, method, and program |
| JP2010055365A (en) * | 2008-08-28 | 2010-03-11 | Railway Technical Res Inst | Railroad marketing tool to be used for advertising in railroad car |
| JP2010158056A (en) * | 2010-03-11 | 2010-07-15 | Sony Corp | Link information display device, display method thereof, and link information processing system |
| JP2010238096A (en) * | 2009-03-31 | 2010-10-21 | Ntt Docomo Inc | Terminal device, augmented reality system and terminal screen display method |
| JP2010287059A (en) * | 2009-06-11 | 2010-12-24 | Sony Corp | Mobile terminal, server device, community generation system, display control method and program |
-
2010
- 2010-09-24 JP JP2010213921A patent/JP2012068481A/en active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01312411A (en) * | 1988-06-10 | 1989-12-18 | Hitachi Ltd | Estimation of position of object using image and sensor status estimation |
| JPH07257228A (en) * | 1994-03-18 | 1995-10-09 | Nissan Motor Co Ltd | Display device for vehicle |
| JPH10176928A (en) * | 1996-12-18 | 1998-06-30 | Hitachi Ltd | Viewpoint position measuring method and device, head-up display, and mirror adjustment device |
| JPH1165431A (en) * | 1997-08-25 | 1999-03-05 | Nippon Telegr & Teleph Corp <Ntt> | Device and system for car navigation with scenery label |
| JPH1186034A (en) * | 1997-09-05 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Human navigati0n device with scenery label and system therefor |
| JP2001252463A (en) * | 2000-03-10 | 2001-09-18 | Konami Co Ltd | Game device, judging method for specified position, storage medium, and program |
| JP2004227332A (en) * | 2003-01-23 | 2004-08-12 | Hitachi Ltd | Information display method |
| JP2004265412A (en) * | 2003-03-01 | 2004-09-24 | Boeing Co:The | System and method for providing vision imaging |
| JP2005030886A (en) * | 2003-07-11 | 2005-02-03 | Mazda Motor Corp | Advertisement information processor and advertisement information processing method |
| WO2006035755A1 (en) * | 2004-09-28 | 2006-04-06 | National University Corporation Kumamoto University | Method for displaying movable-body navigation information and device for displaying movable-body navigation information |
| JP2006248384A (en) * | 2005-03-10 | 2006-09-21 | Clarion Co Ltd | Vehicle periphery monitoring device |
| JP2008309529A (en) * | 2007-06-12 | 2008-12-25 | Panasonic Corp | Navigation system, navigation method and program for navigation |
| JP2009146053A (en) * | 2007-12-12 | 2009-07-02 | Nec Corp | Information provision system and information provision method |
| JP2009204847A (en) * | 2008-02-27 | 2009-09-10 | Sato Knowledge & Intellectual Property Institute | Advertisement display system and advertisement display method |
| JP2009250827A (en) * | 2008-04-08 | 2009-10-29 | Panasonic Corp | Navigation device, method, and program |
| JP2010055365A (en) * | 2008-08-28 | 2010-03-11 | Railway Technical Res Inst | Railroad marketing tool to be used for advertising in railroad car |
| JP2010238096A (en) * | 2009-03-31 | 2010-10-21 | Ntt Docomo Inc | Terminal device, augmented reality system and terminal screen display method |
| JP2010287059A (en) * | 2009-06-11 | 2010-12-24 | Sony Corp | Mobile terminal, server device, community generation system, display control method and program |
| JP2010158056A (en) * | 2010-03-11 | 2010-07-15 | Sony Corp | Link information display device, display method thereof, and link information processing system |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017182814A (en) * | 2012-06-29 | 2017-10-05 | ノキア テクノロジーズ オサケユイチア | Method and apparatus for modification of presentation of information based on visual complexity of environment information |
| US8914236B2 (en) | 2012-08-08 | 2014-12-16 | Sony Corporation | Mobile object, system, and storage medium |
| JP2015077876A (en) * | 2013-10-16 | 2015-04-23 | 株式会社デンソー | Head-up display device |
| JP2022036116A (en) * | 2014-08-18 | 2022-03-04 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | Systems and methods for generating augmented reality and virtual reality images |
| JP7454544B2 (en) | 2014-08-18 | 2024-03-22 | ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー | Systems and methods for generating augmented reality and virtual reality images |
| JP2018535477A (en) * | 2015-09-30 | 2018-11-29 | シェンチェン ドゥロドゥロ テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｄｌｏｄｌｏ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． | Method and apparatus for adjusting virtual reality images |
| US11151790B2 (en) | 2015-09-30 | 2021-10-19 | Shenzhen Dlodlo Technologies Co., Ltd. | Method and device for adjusting virtual reality image |
| US10083546B2 (en) | 2016-04-11 | 2018-09-25 | Fujitsu Ten Limited | Augmented reality information displaying device and augmented reality information displaying method |
| JP2017191378A (en) * | 2016-04-11 | 2017-10-19 | 富士通テン株式会社 | Augmented reality information display device and augmented reality information display method |
| JP2018116165A (en) * | 2017-01-19 | 2018-07-26 | 株式会社デンソー | Information providing system and information providing method |
| JP2018127192A (en) * | 2017-02-09 | 2018-08-16 | 株式会社ＶｅＲｐａｔｈｓ | Video output device, vehicle comprising the same, and video output method |
| WO2018207285A1 (en) * | 2017-05-10 | 2018-11-15 | 三菱電機株式会社 | Design presentation device and design presentation program for elevator |
| JPWO2018207285A1 (en) * | 2017-05-10 | 2019-11-07 | 三菱電機株式会社 | Elevator design presentation device and design presentation program |
| US11482190B2 (en) | 2018-02-22 | 2022-10-25 | Sony Corporation | Information processing apparatus, transportation apparatus, method, and program |
| WO2019163599A1 (en) * | 2018-02-22 | 2019-08-29 | ソニー株式会社 | Information processing device, moving body, method, and program |
| JPWO2019163599A1 (en) * | 2018-02-22 | 2021-03-11 | ソニー株式会社 | Information processing equipment, mobile devices, and methods, and programs |
| JP7310793B2 (en) | 2018-02-22 | 2023-07-19 | ソニーグループ株式会社 | Information processing device, mobile device, method, and program |
| JP2020103782A (en) * | 2018-12-28 | 2020-07-09 | トヨタ紡織株式会社 | Space provision system |
| WO2020213170A1 (en) * | 2019-04-19 | 2020-10-22 | マクセル株式会社 | Information display device and activity plan display system |
| JP7258127B2 (en) | 2019-04-19 | 2023-04-14 | マクセル株式会社 | Information display device and action schedule display system |
| JPWO2020213170A1 (en) * | 2019-04-19 | 2020-10-22 | ||
| WO2021131023A1 (en) * | 2019-12-27 | 2021-07-01 | マクセル株式会社 | Head-mounted information output device |
| JP7376616B2 (en) | 2019-12-27 | 2023-11-08 | マクセル株式会社 | Head-mounted information output device |
| WO2022190970A1 (en) * | 2021-03-08 | 2022-09-15 | ソニーグループ株式会社 | Information processing device, information processing method, program, and information processing system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012068481A (en) | Augmented reality expression system and method | |
| KR101817452B1 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| CN108474666B (en) | System and method for locating a user in a map display | |
| US10204454B2 (en) | Method and system for image georegistration | |
| Höllerer et al. | Mobile augmented reality | |
| US20190086214A1 (en) | Image processing device, image processing method, and program | |
| US20090319178A1 (en) | Overlay of information associated with points of interest of direction based data services | |
| US20110148922A1 (en) | Apparatus and method for mixed reality content operation based on indoor and outdoor context awareness | |
| US9583074B2 (en) | Optimization of label placements in street level images | |
| CN102473324A (en) | Method for representing virtual information in real environment | |
| JP2006105640A (en) | Navigation system | |
| JP5674441B2 (en) | Information processing system, control method thereof, and program | |
| US9690533B2 (en) | Displaying system, display controller, storage medium and method | |
| TWI453462B (en) | Telescopic observation for virtual reality system and method thereof using intelligent electronic device | |
| JP2012128779A (en) | Virtual object display device | |
| US10984242B1 (en) | Virtual proximity compass for navigating artificial reality environments | |
| CN110609883A (en) | AR map dynamic navigation system | |
| KR20070087317A (en) | Digital apparatus capable of displaying imaginary object on real image and method thereof | |
| JP2016122277A (en) | Content providing server, content display terminal, content providing system, content providing method, and content display program | |
| KR20150077607A (en) | Dinosaur Heritage Experience Service System Using Augmented Reality and Method therefor | |
| KR20120014976A (en) | Augmented reality apparatus using position information | |
| KR101404976B1 (en) | System for generating a walking route POI based on image using 3Ｄmatching | |
| KR101715871B1 (en) | method for displaying disaster safety information and portable device for displaying disaster safety information | |
| US10614308B2 (en) | Augmentations based on positioning accuracy or confidence | |
| Au et al. | Mirrormap: augmenting 2d mobile maps with virtual mirrors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130822 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140617 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150310 |