JP4791064B2 - Navigation device with environmental sound reproduction - Google Patents
Navigation device with environmental sound reproduction Download PDFInfo
- Publication number
- JP4791064B2 JP4791064B2 JP2005086021A JP2005086021A JP4791064B2 JP 4791064 B2 JP4791064 B2 JP 4791064B2 JP 2005086021 A JP2005086021 A JP 2005086021A JP 2005086021 A JP2005086021 A JP 2005086021A JP 4791064 B2 JP4791064 B2 JP 4791064B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- environmental sound
- storage unit
- map
- environmental
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
- Navigation (AREA)
Description
本発明はカーナビ、歩行ナビ等のナビゲーション方法に関し、特に環境音再生を伴うナビゲーション装置に関する。 The present invention relates to navigation methods such as car navigation and walking navigation, and more particularly to a navigation device with environmental sound reproduction.
自動車の現在の自己位置を検出してその位置を中心とする地図情報を表示するカーナビゲーションが実用化されている。例えば、本発明者により提案された特開平1−263688号では、精細データと粗データをROM、ハードディスクその他の記録メディアに記憶し、宇宙衛星、ジャイロスコープ等を利用した現在の自己位置検出器及び方位検出器から得られる現在の自己位置・方位情報に従って、各種の透視図法の一つに従ってディスプレイ上に現在の自己位置の前方の周辺を精細に拡大表示し、遠方を小さく圧縮して表示する。
同種の方法は特開平11−86027号にも記載され、地理上の各地点に関連した1種以上の仮想の画像情報を蓄積したデータ記憶部、及び通信手段により受信する仮想情報の蓄積部を用意し、カーナビ搭載車や歩行ナビ携帯者の現在の自己位置からの対象物までの距離と方位を距離計及び方位計により検出し、前記データ記憶部及び蓄積部から対象物の1種以上の仮想情報を読み取り表示し、同時に前記対象物例えば施設の内外の画像や商店の商品情報をディスプレイ上に表示する。またその際に撮像手段により対象物の実像画像を撮像し、実像画像を同時に表示して仮想画像と対比することもできる。さらに対象物又はその内部の情報を音声で解説することもできると記載されている。
Car navigation that detects the current position of a car and displays map information centered on that position has been put into practical use. For example, in Japanese Patent Laid-Open No. 1-263688 proposed by the present inventor, fine data and coarse data are stored in a ROM, a hard disk and other recording media, and a current self-position detector using a space satellite, a gyroscope, etc. According to the current self-position / azimuth information obtained from the direction detector, the area around the front of the current self-position is finely enlarged and displayed on the display according to one of various perspective projection methods, and the distant portion is compressed and displayed.
A similar method is also described in Japanese Patent Application Laid-Open No. 11-86027, and includes a data storage unit that stores one or more types of virtual image information related to geographical points, and a storage unit for virtual information received by communication means. Prepared by detecting the distance and azimuth from the current self-position of the vehicle equipped with the car navigation system or the walking navigation to the target object by a distance meter and a direction meter, and from the data storage unit and the storage unit, one or more types of the target object The virtual information is read and displayed, and at the same time, the object, for example, images inside and outside the facility and merchandise information of the store are displayed on the display. At that time, a real image of the object can be picked up by the image pickup means, and the real image can be simultaneously displayed and compared with the virtual image. Furthermore, it is described that the object or information inside the object can be explained by voice.
これらの従来技術によるナビゲーション法では、ディスプレイ上に透視図法により地図画像の表示を行う際に、特定対象物に関する情報を音声で再生することができるが、自動車やヒトの進行につれて周辺の状況を鐘、水流、街の音、飛行場の発着、等、音源の特性に応じて、かつ自動車等の進行につれて自動的に又は希望する時に環境音を再生する方法は提案されていない。周囲からの音は街の騒音に紛れており、或いは自動車の風防ガラスにより阻止されており、通常では殆ど聞こえない。また若干遠くの音源からの音は通常は聞こえない。
通常は聞こえない範囲に或る音源でも有名な寺院等からの音はその方向と共に聞こえることは、カーナビや歩行ナビの使用者にとって周囲状況や雰囲気が地図情報と共に把握できるので好ましく、また乗用車のような閉じた室内では環境音をステレオや多チャンネルで楽しめることになれば一種の環境空間劇場が実現でき、楽しさが増す。
本発明はかかる課題を解決することを目的とする。
In these conventional navigation methods, when a map image is displayed on a display by a perspective method, information on a specific object can be reproduced by voice. No method has been proposed for reproducing environmental sounds according to the characteristics of the sound source, such as water currents, city sounds, airfield arrivals and departures, and automatically or as desired as the automobile progresses. Sound from the surroundings is confused with the noise of the city, or is blocked by the windshield of the car and is usually hardly audible. Also, you can't usually hear sound from a slightly distant source.
It is preferable for a user of a car navigation system or walking navigation system to be able to grasp the surrounding situation and atmosphere together with map information, and it is preferable that the sound from a famous temple, etc., can be heard with a certain sound source in a range that cannot be heard normally. If you can enjoy environmental sounds in stereo or multi-channels in a closed room, you can realize a kind of environmental space theater, and enjoyment will increase.
The present invention aims to solve such problems.
本発明は鳥瞰図等の透視図形態の地図をナビゲーション装置のディスプレイに表示する従来のナビゲーション装置において、ナビゲーション装置を搭載した車又は携帯したヒトが進行する経路に沿って、周囲環境の音源からの音声又は模擬音を現在の自己位置からの音源までの距離及び方位の両者が把握できる状態で再生する装置を提供する。
(1)すなわち、本発明は、地図座標に関連づけられた地図画像データを記憶した地図データ記憶部と、多数の前記地図座標に関連づけられた音色と音強度と音源の方位とを含む各環境音データを記憶している環境音データ記憶部と、前記地図データ記憶部から地図画像データを読み取り該地図画像を現在の自己位置近傍からの鳥瞰図として装置の進行方向を前方にしてディスプレイ画面上に再生する地図画像再生部と、前記環境音データ記憶部から現在の自己位置又はその近傍に対応する一つ以上の環境音データを読み出して複数のスピーカで環境音として前記音色で再生する環境音再生部とを備え、前記環境音再生部は、前記環境音データ記憶部から読み出された前記環境音データのうち音強度に前記前進方向と音源の方位とに依存した減衰特性と位相差を導入した複数の信号を生成しこれらの信号を前記複数のスピーカに加える作用を有する、ナビゲーション装置である。
The present invention relates to a conventional navigation device that displays a map in a perspective view such as a bird's eye view on a display of a navigation device, and a sound from a sound source in the surrounding environment along a route traveled by a car or a person carrying the navigation device. Alternatively, an apparatus for reproducing a simulated sound in a state in which both the distance from the current self position to the sound source and the azimuth can be grasped is provided.
(1) That is, according to the present invention, each environmental sound includes a map data storage unit that stores map image data associated with map coordinates, and a timbre, sound intensity, and sound source direction associated with a number of the map coordinates. and environmental sound data storage unit that stores data, the map from the data storage unit a map image data read該地view image progression direction of the current device as bird's eye view from the self-position vicinity on a display screen in the front A map image reproduction unit to be reproduced, and an environmental sound reproduction in which one or more environmental sound data corresponding to or near the current self-position is read from the environmental sound data storage unit and reproduced with the tone as an environmental sound by a plurality of speakers and a section, the environmental sound reproducing unit, depending on the orientation of the forward direction and sound source among sound intensity of the environmental sound data read out from said environment sound data storage unit Generating a plurality of signals obtained by introducing a衰特resistance and phase difference has the effect of adding these signals to the plurality of speakers, a navigation device.
(2)より具体的には、本発明は、地図座標に関連づけられた地図画像データを記憶した地図データ記憶部と、多数の前記地図座標に関連づけられた音色と音強度と音源の方位とを含む各環境音データを記憶している環境音データ記憶部と、前記地図データ記憶部から地図画像データを読み取り該地図画像を現在の自己位置近傍の鳥瞰図として装置の進行方向を前方にしてディスプレイ画面上に再生する地図画像再生部と、前記環境音データ記憶部から現在の自己位置に対応する環境音データを読み出して複数のスピーカで環境音として前記音色で再生する環境音再生部とを備え、前記環境音再生部は、前記環境音データ記憶部から読み出された前記環境音データのうち音強度に前記前進方向と音源の方位との間の偏角に依存した減衰特性と位相差を導入した複数の信号を生成しこれらの信号を前記複数のスピーカに加える作用を有する、ナビゲーション装置を提供する。 (2) More specifically, the present invention relates to a map data storage unit that stores map image data associated with map coordinates, a timbre, sound intensity, and sound source direction associated with a number of map coordinates. each environmental sound and environmental sound data storage unit in which data is stored and the said map data reading該地view image map image data from the storage unit the progression direction of the current device as the bird's eye view of the self-position near to the front display comprising A map image playback unit that plays back on the screen; and an environmental sound playback unit that reads out the environmental sound data corresponding to the current position from the environmental sound data storage unit and plays back the sound as the environmental sound using a plurality of speakers. the environmental sound reproduction unit includes a damping characteristics which depends on the angle of deviation between the orientation of the forward direction and sound source among sound intensity of the environmental sound data read out from said environment sound data storage unit Generating a plurality of signals obtained by introducing a phase difference has the effect of adding these signals to the plurality of speakers, to provide a navigation device.
(3)本発明はまた、地図座標に関連づけられた地図画像データを記憶した地図データ記憶部と、多数の前記地図座標に関連づけられた音色と音強度と音源の方位とを含む各環境音データを記憶している環境音データ記憶部と、前記地図データ記憶部から地図画像データを読み取り該地図画像を現在の自己位置近傍からの鳥瞰図として装置の進行方向を前方にしてディスプレイ画面上に再生する地図画像再生部と、前記環境音データ記憶部から現在の自己位置の近傍の複数の地図座標に対応する環境音データを読み出して複数のスピーカで環境音として前記音色で再生する環境音再生部とを備え、前記環境音再生部は、前記環境音データ記憶部から読み出された前記複数の環境音データのうちそれぞれの音強度に前記前進方向と音源の方位との間の偏角に依存した位相差を導入しこれらの信号を前記複数のスピーカに加える作用を有する、ナビゲーション装置を提供する。 (3) The present invention is also the environmental sound data including the map data storage unit that stores map image data associated with the map coordinates and the orientation of the sound and sound intensity and sound associated with a number of the map coordinates and environmental sound data storage unit for storing, reproducing the map data read該地view image map image data from the storage unit the progression direction of the current device as bird's eye view from the self-position near to the front display screen And an environmental sound reproducing unit that reads environmental sound data corresponding to a plurality of map coordinates in the vicinity of the current self position from the environmental sound data storage unit and reproduces the sound as the environmental sound with a plurality of speakers. with the door, the environmental sound reproducing unit, and the direction of the forward direction and the sound source to each of the sound intensity of the plurality of environmental sound data read from said environment sound data storage unit Introducing a phase difference depending on the polarization angle between has the effect of adding these signals to the plurality of speakers, to provide a navigation device.
更に、好ましくは、本発明は上記のナビゲーション装置において、選択された地図座標に関するポップアップ映像を記憶する映像データ記憶部、自動的に又は手動で指示されたときに前記選択されたポップアップ映像を前記地図画像と共に前記ディスプレイ上に表示する手段を含み、前記環境音再生装置は使用者が前記ポップアップ映像をタッチしたときに前記ポップアップ映像に関連した環境音を再生するようにすることが望ましい。 Further preferably, in the navigation device described above, the present invention provides a video data storage unit that stores a pop-up video relating to a selected map coordinate, and the selected pop-up video is automatically or manually displayed when the map is selected. It is preferable that the environmental sound reproduction device reproduces the environmental sound related to the pop-up video when the user touches the pop-up video.
好ましくは、前記環境音再生部は、前記環境音データ記憶部から現在の自己位置に対応する環境音データの読み出しと再生を修正させる手段を有する。 Preferably, the environmental sound reproduction unit includes means for correcting reading and reproduction of environmental sound data corresponding to the current self position from the environmental sound data storage unit.
本発明によれば、環境音記憶部に、環境音の分布の座標位置における強度と座標位置から見た音源の方位が環境音データとして記憶されているので、それに応じた強度で、或いはさらに音源の方向が把握できる状態で再生することができる。
ナビゲーション装置のディスプレイ上に透視図法により地図画像の表示を行う際に、自動車やヒトの前進につれて周辺の状況を鐘、水流、海の浪音、街の音、パレードや祭りで出る音、飛行場の発着など、音源の特性に応じて、かつ自動車等の前進につれて自動的に又は希望する時に環境音再生装置から再生される。このようにして、通常は聞こえない範囲に或る音源例えば有名な寺院や教会からの音がその方向と共に聞こえるので、カーナビや歩行ナビの使用者にとって周囲状況や雰囲気が地図情報と共に把握できる効果が得られる。また乗用車のような閉じた室内では環境音をステレオや多チャンネルで楽しめることになれば一種の環境空間劇場が実現でき、楽しさが倍増する。
According to the present invention, the environmental sound storage unit stores the intensity at the coordinate position of the distribution of the environmental sound and the direction of the sound source viewed from the coordinate position as the environmental sound data. Can be played in a state where the direction of the can be grasped.
When a map image is displayed on the display of a navigation device using perspective projection, the situation of the surroundings as a car or a person moves forward, the surroundings of the bells, water currents, sea storms, city sounds, parade or festival sounds, airfield The sound is reproduced from the environmental sound reproducing device according to the characteristics of the sound source such as arrival and departure and automatically or as desired as the automobile advances. In this way, sound from a certain sound source such as a famous temple or church can be heard along with its direction in a range that is not normally audible, so that the user of a car navigation system or walking navigation system can grasp the surrounding situation and atmosphere together with map information. can get. In a closed room such as a passenger car, if you can enjoy environmental sounds in stereo or multi-channel, you can create a kind of environmental space theater and double your enjoyment.
環境音源の選択は任意に定めれば良く、音源を有する著名な場所や施設、交差点、イベント会場、河川、鉄道、飛行機等に限定して地図座標に関連づけて環境音データ記憶部に記憶されていれば良い。ここでの環境音はあくまで空間を圧縮した人工的なものであり、ナビゲーション装置を搭載した自動車等の現在の自己位置と実際の施設の距離が遠くても実際と同一の方向から強調されて聞こえるように強度分布を定めることができる。例えば1kmの距離にある音源を100mの距離になるかのような強度分布を定める。 The environmental sound source can be selected arbitrarily and is stored in the environmental sound data storage unit in association with map coordinates only for famous places and facilities with sound sources, intersections, event venues, rivers, railways, airplanes, etc. Just do it. The environmental sound here is only an artificial sound that compresses the space, and it can be heard from the same direction as the actual sound even if the distance between the current location of the car equipped with the navigation device and the actual facility is long. The intensity distribution can be determined as follows. For example, an intensity distribution is determined as if a sound source at a distance of 1 km is a distance of 100 m.
環境音データは例えば音声ミキサーを利用することにより、任意の音源を模擬することができる。そして例えば音源を分類してコード化して環境音データの一部として記憶しておく。そのコードに従った音色を選択し、地図座標に関連付けて記憶されている環境音強度で再生するか、又はこの強度に強度分布の勾配に対応して左右強度に差を付けて2つのスピーカや多チャンネルスピーカで再生する。 The environmental sound data can simulate an arbitrary sound source by using an audio mixer, for example. For example, sound sources are classified and coded, and stored as a part of the environmental sound data. Select a timbre according to the code and play it with the ambient sound intensity stored in association with the map coordinates, or add two speakers to this intensity with a difference in left and right intensity corresponding to the gradient of the intensity distribution. Play with multi-channel speakers.
環境音データは、地図座標に関連づけられており、音源からその地図座標までの距離に応じた強度分布(距離の2乗に反比例するのが普通であるが、線形減衰、障害物がある場所での非対称分布など適宜でよい)で減衰する強度を表すデータと、上記の音色を表すデータとを含む。従って環境音データはベクトル(地図上の座標、その座標点での音の強度、音色コード)とか、ベクトル(地図上の座標、その座標点でのその音源からの音の強度、その座標点での音源の方位、音色コード)等から構成できる。座標はナビ装置の自己位置から環境音データ記憶部へアクセスするためのアドレスの役目をする。なお音源データの一つとして方位の代わりに音源の座標を使用しても良く、この場合には現在位置又はその周辺の特定の地図座標と音源位置の地図座標から方位が分かり左右又は前後左右の再生音に位相差や強度差を付けることができる。方位は音の迂回も考慮できるので音源の座標を使用する場合よりもより真実らしく環境音を再現できる。 The environmental sound data is associated with the map coordinates, and the intensity distribution according to the distance from the sound source to the map coordinates (usually inversely proportional to the square of the distance, but in places where there is linear attenuation and obstacles Data representing the intensity to be attenuated by an asymmetric distribution of the above and the like, and data representing the timbre described above. Therefore, environmental sound data is a vector (coordinate on the map, sound intensity at that coordinate point, tone color code) or vector (coordinate on the map, sound intensity from the sound source at that coordinate point, at that coordinate point) Sound source direction, timbre code), and the like. The coordinates serve as an address for accessing the environmental sound data storage unit from the navigation device's own position. Note that the sound source coordinates may be used instead of the direction as one of the sound source data. In this case, the direction can be determined from the specific map coordinates of the current position or its surroundings and the map coordinates of the sound source position. A phase difference or intensity difference can be added to the reproduced sound. The direction can take into account the circumvention of the sound, so that the environmental sound can be reproduced more truly than when using the coordinates of the sound source.
音源の方向の知覚は、左右の耳が受ける音の強度差及び位相差(音が到達する時間差)を聞き分けることにより行われるといわれている。音の強度は音が頭部を迂回することにより減衰する。遠方の音源から来る音の強度は左右の耳の位置で実質的に差がないが頭部を迂回する際に大きく減衰して到達するので人の脳が方向を判断する材料となる。音の位相は音が頭部を迂回することにより遅延する時間差に相当するので人の脳が方向を判断する材料となる。このように音の方向の認識にはその他の要素(例えば前後方向の音の判断は視覚が関係している)も関係があるとされているが、主として左右の耳に到達する音の強度差と位相差が関係している。(日本音響学会編「音のなんでも小辞典」講談社1996年12月20日発行第227−230頁)。 It is said that the direction of the sound source is perceived by distinguishing the difference in intensity and phase difference between the left and right ears (the time difference that the sound reaches). The intensity of the sound is attenuated as the sound bypasses the head. The intensity of the sound coming from a distant sound source is not substantially different between the positions of the left and right ears, but greatly attenuates when reaching the head, so that the human brain can determine the direction. Since the phase of the sound corresponds to a time difference that is delayed by the sound bypassing the head, it is a material for the human brain to determine the direction. As described above, other factors (for example, the judgment of sound in the front-rear direction is related to vision) are also related to the recognition of the sound direction, but the difference in the intensity of the sound that mainly reaches the left and right ears. And the phase difference. (Edited by the Acoustical Society of Japan, Kodansha, December 20, 1996, pages 227-230).
本発明はこの原理を利用する。
先ず、音源が比較的遠い場合には、ナビゲーション装置の現在位置に到達する音は左右の耳の位置で差がないが、上記の人の頭部周りの音の伝達特性を考慮して単一の環境音データから複数のスピーカに加えるべき複数の音の強度と位相を決定する。これが上記の(2)のナビゲーション装置である。
次に、音源が比較的近い場合には、ナビゲーション装置の現在位置に到達する音は左右の耳の位置で差があるので、上記の人の頭部周りの音の伝達特性を考慮して現在位置の近傍における複数の環境音データからそれに対応した複数のスピーカに加えるべき複数の音の強度と位相を決定する。これが上記の(3)のナビゲーション装置である。
上記(3)のナビゲーション装置の原理は、音源が比較的遠い場合でも有効である。ただしこの場合には、ナビゲーション装置の現在位置に到達する音は左右の耳の位置で差がないが、自己位置から相当に離れた(例えば10mのような)複数点の地図座標(例えば自己位置を中心とし進行方向を軸線とした長方形の4隅の座標)に相当する複数の環境音データから上記の人の頭部における伝達特性を考慮して複数のスピーカに加えるべき複数の音の強度と位相をそれぞれ決定する。音の強度に応じて上記(3)の座標点を選択することが可能である。
なお、人の頭部による伝達特性は複雑であるが、適宜に単純化することができる。例えばナビ装置の進行方向から音源方向への角度をθとすれば、I0―Asinθのような単純化した強度差を有する左右の音を生成すればよい。ただしI0は基本の強度、Aは適宜に選択した減衰係数とする。位相についても同様な微調整が可能である。
The present invention utilizes this principle.
First, when the sound source is relatively far away, the sound that reaches the current position of the navigation device has no difference between the positions of the left and right ears. The intensity and phase of a plurality of sounds to be added to a plurality of speakers are determined from the environmental sound data. This is the navigation device (2) described above.
Next, when the sound source is relatively close, the sound reaching the current position of the navigation device has a difference between the positions of the left and right ears. The intensity and phase of a plurality of sounds to be added to a plurality of speakers corresponding thereto are determined from a plurality of environmental sound data in the vicinity of the position. This is the navigation device (3) described above.
The principle of the navigation device (3) is effective even when the sound source is relatively far away. However, in this case, the sound reaching the current position of the navigation device has no difference between the positions of the left and right ears, but a plurality of map coordinates (for example, the self position) that are considerably separated from the self position (for example, 10 m). A plurality of ambient sound data corresponding to the coordinates of the four corners of the rectangle centering on the direction of travel) and the intensity of the plurality of sounds to be applied to the plurality of speakers in consideration of the transfer characteristics in the human head. Each phase is determined. The coordinate point (3) can be selected in accordance with the sound intensity.
In addition, although the transmission characteristic by a human head is complicated, it can be simplified suitably. For example, if the angle from the traveling direction of the navigation device to the sound source direction is θ, a left and right sound having a simplified intensity difference such as I 0 -Asin θ may be generated. However, I 0 is a basic intensity, and A is an appropriately selected attenuation coefficient. The same fine adjustment is possible for the phase.
環境音データはベクトル(地図上の座標、その座標点での音の強度、その座標点での音源の方位、及び音色コード)で表される。上記(2)のように、音源から遠い場合には左右又は左右前後の座標点の強度を使用しなくても自己位置の座標点での環境音データ中の強度と音源の方位に自己の進行方向を関連づけて左右強度と位相を容易に生成することができる。また上記(3)のように音源に近い場合や遠い場合でも適宜に選択した複数の座標点を使用し、音源の方位に自己の進行方向から、左右又は左右前後のスピーカに加えるべき左右又は左右前後の強度と位相を容易に生成することができる。 The environmental sound data is represented by a vector (coordinates on the map, sound intensity at the coordinate point, direction of the sound source at the coordinate point, and tone color code). As described in (2) above, when the user is far from the sound source, the self progresses to the strength and the direction of the sound source in the environmental sound data at the coordinate point of the self position without using the strength of the left and right or left and right coordinate points. The left and right intensity and phase can be easily generated by associating directions. In addition, as described in (3) above, a plurality of appropriately selected coordinate points are used even when the sound source is close or far from the sound source, and the left / right or left / right to be applied to the left / right or left / right front / rear speakers in the direction of the sound source. The intensity and phase before and after can be easily generated.
一方、地図画像データは、地図座標に関連づけられている。地図画像データに基づいて地図画像をディスプレイ上に表示する技術は先に記載した特許文献1に記載されているので詳細は省く。また表示した地図画像と共に自己位置から目標地点までの所望の経路例えば最短経路や所望経路を表示する方法、所望経路に沿った建物等を地図画像と共にディスプレイ上に表示する方法、地図画像データをインターネット経由で、又は無線経由で地図画像データ記憶部(ハードディスク等)に記憶させることも公知であるので詳細は省く。これらは上記特許文献2等を参照されたい。
On the other hand, map image data is associated with map coordinates. Since the technique for displaying a map image on the display based on the map image data is described in
以下本発明を図面に関連して詳細に説明する。
図1は地図画像と、関連した建物、施設、場所等(5で代表して示す)と共にディスプレイ上に表示した鳥瞰図であり、これらをまとめて地図画像1と称する。現在の自己位置(カーナビ又は歩行ナビ等のナビゲーション装置の位置)から目標地点へのルート3は従来のナビゲーション装置の原理に従って設定される。所望により、設定されたルートの両側に存在する目立った建物や名所等、例えば温泉7、ビル内部9、駅ターミナル11、イベント12等が地図画面からの指示線と共に地図画面の欄外にポップアップ映像として表示される。
Hereinafter, the present invention will be described in detail with reference to the drawings.
FIG. 1 is a bird's-eye view displayed on a display together with a map image and related buildings, facilities, places, and the like (represented by 5). These are collectively referred to as a
ところで、上記の7〜12の場所等には特有の環境音が存在し、例えば温泉では湯もみの音、野鳥の声、ビル内のレストランでは厨房の音、駅ターミナルでは雑踏のざわめきやアナウンス、イベント会場では音楽等が聞こえる。これらの環境音は建物の壁による透過率を調整し、又音源からの距離に応じて減衰(正規には自乗に比例して減衰)した強度でルート3に聞こえてくるので、音の強度分布を適宜に人工的に設定し、それを地図座標に対応させ、音源の音色コードと共に環境音データ記憶部に記憶させる。
By the way, peculiar environmental sounds exist in places 7 to 12 above, for example, hot spring sounds, wild bird voices in hot springs, kitchen sounds in restaurants in buildings, crowded noises and announcements at station terminals, You can hear music at the event venue. These ambient sounds can be heard through
この様子を図2に示す。図2では音源はルート3の周りの音源13−1、13−2、13−3等で表され、その強度分布は音源を中心とした円錐状の等高線で表される。従って、今ルート3をナビゲーション装置15を搭載した自動車等が通過すると、自動車は進行方向に応じた音のポテンシャルの中を通過することになり、それに人の頭部周りの伝達特性に依存して左右の耳には強度と位相の異なった音として聞こえ、これにより音源の方向が判別できる。
This is shown in FIG. In FIG. 2, the sound source is represented by sound sources 13-1, 13-2, 13-3, etc. around the
本発明ではこれと同じことを座標に関連づけた音強度分布の環境音データとして記憶部に記憶させ、自動車等が画面上のルート3に相当する地点を通過するときに、前記(2)のように、現在位置の座標点での車の進行方向と音源の方位と頭部の伝達特性に依存した位相差と強度差を導入して左右の人工音を生成し、車内の左右前後のスピーカで再生する。
In the present invention, the same as this is stored in the storage unit as environmental sound data of a sound intensity distribution associated with the coordinates, and when an automobile or the like passes through a point corresponding to the
前記(3)のナビゲーション装置では、記憶部からその地点に相当する記憶部の環境音データを記憶部の地図座標点FL(前方左一定距離にある座標点)、FR(前方右一定距離にある座標点)、RF(後方左一定距離にある座標点)、及びRR(後方右一定距離にある座標点)から読み出し、それらの座標における音源の方位と進行方向から座標点間の位相差が計算できるから、それらの座標点からの音強度と計算された位相差とを用いて車内の左右前後のスピーカで再生する。好ましくは車の進行方向と音源の方位と頭部の伝達特性に対応して各座標点での位相差と強度の減衰を更に導入して、より現実感に近い再生音を作出することができる。 In the navigation device of (3), the environmental sound data of the storage unit corresponding to the point is stored from the storage unit to the map coordinate point FL (coordinate point at a certain distance on the front left) and FR (constant distance to the front right). Read out from the coordinate point), RF (coordinate point at a certain distance to the left rear), and RR (coordinate point at a certain distance to the back right), and calculate the phase difference between the coordinate points from the direction and direction of travel of the sound source at those coordinates Since the sound intensity from these coordinate points and the calculated phase difference can be used, the sound is reproduced by the left and right speakers in the vehicle. Preferably, a phase difference and attenuation of intensity at each coordinate point can be further introduced corresponding to the traveling direction of the car, the direction of the sound source, and the transmission characteristics of the head, so that a reproduced sound that is more realistic can be created. .
こうして、自動車の進行につれて、自動車の向きが変われば同じ音源でも左右の強度バランスと位相差が異なってくるので、音源の方向が相対的に変化し自身が変位したかのような感覚を得ることができる。
音源は各地図座標にせいぜい数個入れておけば充分に環境音を感じることができる。
In this way, if the direction of the car changes as the car progresses, the intensity balance and phase difference on the left and right will differ even with the same sound source, so that the direction of the sound source changes relatively and you get a feeling as if you were displaced Can do.
If you put at least several sound sources in each map coordinate, you can feel the environmental sound enough.
図3は自動車に搭載したカーナビ15と複数のスピーカ17−1、17−2等を配置した様子を示す。
図4は歩行ナビの2つのスピーカを2つのヘッドホン19−1、19−2とした場合であり、歩行者が向きを変えると歩行ナビも向きを変えるが、ジャイロなどによりその動きを検出し補正することにより音源の方向が逆回転し視覚等の感覚と合わせ自身の変位を認識できる。
FIG. 3 shows a state in which a
FIG. 4 shows a case where the two speakers of the walking navigation are two headphones 19-1 and 19-2. When the pedestrian changes the direction, the walking navigation also changes the direction, but the movement is detected and corrected by a gyroscope or the like. By doing so, the direction of the sound source rotates in the reverse direction so that the displacement of the sound source can be recognized together with the sense of vision.
以上が本発明の基本原理であるが、これを実現する具体的な手段と方法を説明する。
図5は本発明のナビゲーション装置(以下「ナビ装置」と省略する)の構成を示す実施例である。
地図画像のデータ(情報)はナビ装置内の地図データ記憶部21に、環境音のデータは環境音データ記憶部22にそれぞれ予め記憶されているが、適宜にハードディスクの交換やインターネット31、無線32を通じて適宜更新でき或いは補充できる。
地図データ記憶部21は地図画像再生部25に接続され、環境音データ記憶部22は環境音再生部26に接続されている。再生部25は、通信衛星やその他の誘導電波をアンテナ24から入信する信号から自己位置を検出する自己位置検出器23、及びジャイロスコープ等の自己向き検出器27により再生を制御される。すなわち、地図画像再生部25は自己位置の近傍の地図画像をナビ装置のディスプレイ28に自己位置から進行方向に見た鳥瞰図として再生する。再生部26は、同様に検出器23、27により再生を制御される。即ち、環境音再生部26では複数個のスピーカ又はヘッドホン(本例では2個)を進行方向に見て正しい向きで再生する。地図画像の再生は以前から実用化されているため詳細を省くので、特許文献1、2等を参照されたい。
ここに自己位置とはナビ装置の位置のことを指し、自己向き(方向)とはナビ装置の進行方向すなわち前方の向きを指す。
The above is the basic principle of the present invention, and specific means and methods for realizing it will be described.
FIG. 5 is an embodiment showing the configuration of the navigation device (hereinafter abbreviated as “navigation device”) of the present invention.
Map image data (information) is stored in advance in the map data storage unit 21 in the navigation device, and environmental sound data is stored in the environmental sound data storage unit 22 in advance. Can be updated or replenished as appropriate.
The map data storage unit 21 is connected to the map image reproduction unit 25, and the environmental sound data storage unit 22 is connected to the environmental sound reproduction unit 26. The reproduction unit 25 is controlled to reproduce by a self-
Here, the self position refers to the position of the navigation device, and the self direction (direction) refers to the traveling direction of the navigation device, that is, the forward direction.
図6は環境音再生装置26の一例を示す。環境音データは前記のようにベクトル(位置座標、その座標での音強度、その座標からの音源の方位、音色コード)で構成されており、ナビ装置は通信衛星やジャイロスコープにより自己位置と向きを常時把握しているので、環境音読出し器40は環境音データ記憶部22(図5)から自己位置と進行方向に直角な方向に近接した位置の、または自己位置近傍の進行方向に直角な方向に近接した2つの(好ましくは左右前後4つの)位置の環境音強度信号と音色コードを読み取る。音色合成器41は複数周波数の発振器42から発振信号を音色コードに基づいて合成して当該音色コードに相当する所定の音色信号を生成し、左右の位相・強度調整及び電力増幅器44、45に送り、そこで音色信号は左右の環境音強度信号と位相差信号に基づいてレベル及び位相調整され、左右のスピーカ29、30に送られる。
この工程は自動車の走行又は歩行者の移動や方向転換に対応できるように刻々修正される。
FIG. 6 shows an example of the environmental sound reproducing device 26. As described above, environmental sound data is composed of vectors (position coordinates, sound intensity at those coordinates, direction of sound source from the coordinates, tone code), and the navigation device uses its own communication satellite or gyroscope to determine its position and orientation. Therefore, the environmental sound reader 40 is perpendicular to the traveling direction in the vicinity of the self position and in the vicinity of the self position from the environmental sound data storage unit 22 (FIG. 5). The environmental sound intensity signals and timbre codes at two positions (preferably four on the left and right sides) close to the direction are read. The timbre synthesizer 41 generates a predetermined timbre signal corresponding to the timbre code by synthesizing the oscillation signals from the oscillators 42 of a plurality of frequencies based on the timbre code, and sends it to the left and right phase / intensity adjustment and
This process is corrected every moment so that it can correspond to the driving | running | working of a motor vehicle or a pedestrian's movement and direction change.
図7は本発明のナビ装置の動作の一例を示す。図で左半分地図画像の表示方法であり、スタート1(スイッチオン)でナビ装置を始動し、衛星等を利用して自己位置を決定し(S1)、またジャイロ等により自己の走行方向又は歩行方向を決定し(S2)、地図画像データ部から自己位置周辺の地図画像データを読み出して地図画像をディスプレイ上に鳥瞰形式で表示する(S3)。S1からS3の動作は絶え間なく繰返され画像は修正される。なお使用者はこの地図画像を見ながらルート探索等の操作、選択、設定等を行う等の操作を行いうるがいずれも公知である。場合により点線で示したように使用者の選択により又は自動的に代表的な施設等をポップアップ表示できる(S4)ことは図1に関連して述べたとおりである。もしも環境音を得たければ段階S5で使用者がポップアップ映像に手で触れ(タッチ)、環境音の再生を始動することができる。 FIG. 7 shows an example of the operation of the navigation device of the present invention. This is the left half map image display method. Start the navigation device at start 1 (switch-on), determine the self position using satellites (S1), and also use the gyro etc. The direction is determined (S2), the map image data around the self-position is read from the map image data section, and the map image is displayed on the display in a bird's eye view (S3). The operations from S1 to S3 are repeated continuously to correct the image. The user can perform operations such as route search, selection, setting, and the like while viewing the map image. As described with reference to FIG. 1, a representative facility or the like can be pop-up displayed by the user's selection or automatically as indicated by the dotted line in some cases (S4). If it is desired to obtain the environmental sound, the user can touch the pop-up image with a hand (touch) in step S5 to start the reproduction of the environmental sound.
図の右半分を参照するに、上記ポップアップ映像へのタッチで、又はスタート2(スイッチオン)で環境音データ記憶部からの読み取りを開始する。すなわち先ず自己位置を決定し(S6)また自己の向きを決定する(S7)。この部分は左半分の対応部分と同じ動作であるので(S6=S1、S7=S2)別に行う必要はない。
自己位置と向きが決定されるとそれを記憶装置のアドレスとして利用して環境音データ記憶部22から音色コード、環境音強度及び方位が信号として読み出される(S8)。環境音強度信号は自己位置と向きに基づいて進行方向に直角な自己位置の左右方向2個所の環境音データからの環境音信号である。次いで環境音コードに基づいて発振器からの複数発振周波数が合成されて特定の音色信号が合成される(S9)。この音色信号は例えば寺院の鐘の音である。合成された音色信号は左右の環境音信号によりレベル及び位相調整され(S10)、スピーカに送られる。S6からS10の動作は絶え間なく繰返され表示される内容が絶え間なく更新される。なお段階S9において頭部周りの伝達特性を考慮して更に強度と位相の調整をしても良い。
なお、上に述べたようにポップアップ映像の画面上をタッチすることにより環境音再生ループを始動しても良い。
Referring to the right half of the figure, reading from the environmental sound data storage unit is started by touching the pop-up video or at start 2 (switch-on). That is, the self position is first determined (S6) and the direction of the self is determined (S7). Since this part is the same operation as the corresponding part of the left half (S6 = S1, S7 = S2), there is no need to perform it separately.
When the self-position and direction are determined, the timbre code, the environmental sound intensity, and the direction are read out as signals from the environmental sound data storage unit 22 using them as addresses of the storage device (S8). The environmental sound intensity signal is an environmental sound signal from two environmental sound data in the left-right direction at the self-position perpendicular to the traveling direction based on the self-position and direction. Next, a plurality of oscillation frequencies from the oscillator are synthesized based on the environmental sound code to synthesize a specific tone color signal (S9). This tone signal is, for example, the sound of a temple bell. The synthesized tone color signal is adjusted in level and phase by the left and right environmental sound signals (S10) and sent to the speaker. The operations from S6 to S10 are continuously repeated, and the displayed contents are continuously updated. In step S9, the strength and phase may be further adjusted in consideration of the transfer characteristics around the head.
As described above, the environmental sound reproduction loop may be started by touching the screen of the pop-up video.
本発明は、カーナビゲーションや歩行者ナビゲーションに広く応用できる。
例えば次のような利用形態が可能である。
利用形態
カーナビに適用する例を図8を参照して説明するに以下のA、B、Cの順次動作が可能である。また図9はその詳しいフローシートを示す。
A(走行開始前)
これから向かおうとする目標(目的地)の観光地や地方から都会に向かう場合には街の音と影像をディスプレイ画面上の鳥瞰図で認識できる。目的地の説明も合わせて聴くことができる。そして目的地に至る経路も経路シュミレーションにより確認できる。
B(走行中)
通過中の経路に比較的近い名所、イベント、設備などの選別された場所からの音を聞くことができる。走行中の時間を利用して目的地に関する或いは走行経路に沿った説明(特開2004−212131に記載の歩行または走行ナビ)と合わせて聴くことができる。
C(目的地到着時)
目的地の付近に到着したら、その地区全体又は周辺の任意の地区にスクロールしてディスプレイ上の鳥瞰図と合わせて環境音を再生することで、一種の現実空間圧縮劇場として空間の広がり全体が利用者に認識できる。
D(歩行ナビ)
次いで歩行ナビ(特開2004−212131)に本願の環境音再生を併用して目的地での散策探訪に移行できる。目的地の知識はBの段階で或る程度得られているので、主に感性的なレベルでナビ空間を楽しむことができる。
The present invention can be widely applied to car navigation and pedestrian navigation.
For example, the following usage forms are possible.
An example of application to the usage form car navigation will be described with reference to FIG. FIG. 9 shows the detailed flow sheet.
A (Before driving)
If you are heading for a destination (destination) destination or city, you can recognize the sound and image of the city from the bird's-eye view on the display screen. You can also listen to the explanation of the destination. And the route to the destination can also be confirmed by route simulation.
B (running)
You can hear sounds from selected places such as sights, events, and equipment that are relatively close to the route you are passing. It is possible to listen together with the explanation about the destination or along the traveling route (walking or traveling navigation described in JP-A-2004-212131) using the traveling time.
C (Destination arrival)
When you arrive near the destination, you can scroll to the entire area or any nearby area and reproduce the environmental sound along with the bird's-eye view on the display. Can be recognized.
D (walking navigation)
Next, the walking navigation (Japanese Patent Laid-Open No. 2004-212131) can be used in combination with the environmental sound reproduction of the present application to go on a walk at the destination. Since the knowledge of the destination is obtained to some extent at the stage B, the navigation space can be enjoyed mainly at a sensitive level.
1 地図画像
3 ルート
7、9、11、12 ポップアップ映像
13−1、13−2、13−3 音源
15 ナビゲーション装置
17−1、17−2 スピーカ
19−1、19−2 ヘッドホン
21 地図データ記憶部
22 環境音データ記憶部
23 自己位置検出器
25 地図画像再生部
26 環境音再生部
27 自己向き検出器
28 ディスプレイ
29、30 スピーカ
40 環境音読出し器
41 音色合成器
42 発振器
44、45 左右音強度位相調整電力増幅器
DESCRIPTION OF
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005086021A JP4791064B2 (en) | 2005-03-24 | 2005-03-24 | Navigation device with environmental sound reproduction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005086021A JP4791064B2 (en) | 2005-03-24 | 2005-03-24 | Navigation device with environmental sound reproduction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006266902A JP2006266902A (en) | 2006-10-05 |
JP4791064B2 true JP4791064B2 (en) | 2011-10-12 |
Family
ID=37203036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005086021A Active JP4791064B2 (en) | 2005-03-24 | 2005-03-24 | Navigation device with environmental sound reproduction |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4791064B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8170222B2 (en) * | 2008-04-18 | 2012-05-01 | Sony Mobile Communications Ab | Augmented reality enhanced audio |
JP2010197882A (en) * | 2009-02-26 | 2010-09-09 | Pioneer Electronic Corp | Voice information selection device, voice information selection method, voice information selection program and recording medium |
JP2011164242A (en) * | 2010-02-08 | 2011-08-25 | Pioneer Electronic Corp | Simulated environment creation device and simulated environment creation method |
KR101089141B1 (en) | 2010-09-14 | 2011-12-02 | (주)에이치아이디씨엠 | Insect crying supposition gathering apparatus for learning |
US20150070129A1 (en) * | 2013-09-12 | 2015-03-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods and systems for providing navigation assistance to a user |
JP7389442B2 (en) * | 2018-06-19 | 2023-11-30 | 国立大学法人 奈良先端科学技術大学院大学 | Environmental sound reproduction device |
CN110641391A (en) * | 2018-06-26 | 2020-01-03 | 上海博泰悦臻网络技术服务有限公司 | Vehicle, vehicle equipment and vehicle-mounted office environment control method thereof |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0644686A (en) * | 1992-07-27 | 1994-02-18 | Matsushita Electric Ind Co Ltd | Optical disk and reproducing device for acoustic field |
JP3232543B2 (en) * | 1993-06-30 | 2001-11-26 | 株式会社エクォス・リサーチ | Voice guidance device |
JPH07159190A (en) * | 1993-12-09 | 1995-06-23 | Zanabui Informatics:Kk | Sound device totallizing system on vehicle |
JPH09170929A (en) * | 1995-12-21 | 1997-06-30 | Sony Corp | Guiding device |
JP2001033267A (en) * | 1999-07-26 | 2001-02-09 | Fujitsu Ten Ltd | Navigation apparatus |
JP3908419B2 (en) * | 1999-09-14 | 2007-04-25 | アルパイン株式会社 | Navigation device |
JP2003240582A (en) * | 2002-02-15 | 2003-08-27 | Mitsubishi Electric Corp | Vehicle location displaying device and method of acquiring speech information |
JP2003254761A (en) * | 2002-02-28 | 2003-09-10 | Fujitsu Ten Ltd | Navigation device |
JP2004289511A (en) * | 2003-03-24 | 2004-10-14 | Yamaha Corp | Scene sound generating device |
JP4196402B2 (en) * | 2003-07-11 | 2008-12-17 | マツダ株式会社 | Advertisement information processing apparatus and advertisement information processing method |
JP3686949B2 (en) * | 2003-07-31 | 2005-08-24 | コナミ株式会社 | GAME DEVICE, COMPUTER CONTROL METHOD, AND PROGRAM |
-
2005
- 2005-03-24 JP JP2005086021A patent/JP4791064B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006266902A (en) | 2006-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4791064B2 (en) | Navigation device with environmental sound reproduction | |
US11039264B2 (en) | Method of providing to user 3D sound in virtual environment | |
CN101573589B (en) | Guider and the method for map denotation for strengthening | |
JP3876462B2 (en) | Map information providing apparatus and method | |
CN101939620A (en) | A navigation device and method for displaying map information | |
JP2011524975A (en) | Navigation apparatus and method for changing map information related to audible information | |
US20140270182A1 (en) | Sound For Map Display | |
JP2003521202A (en) | A spatial audio system used in a geographic environment. | |
JP2008257092A (en) | Map display controller and program for map display controller | |
WO2006075606A1 (en) | Audio guide device, audio guide method, and audio guide program | |
WO2011099076A1 (en) | Map display device | |
JP2009527774A (en) | Navigation device and method for receiving and playing sound samples | |
WO2006025422A1 (en) | Processing control device, method thereof, program thereof, and recording medium containing the program | |
JP2002233001A (en) | Pseudo engine-sound control device | |
JPH07286854A (en) | Electronic map device | |
WO2006095688A1 (en) | Information reproduction device, information reproduction method, information reproduction program, and computer-readable recording medium | |
WO2006103955A1 (en) | Advertisement display device, advertisement display method, and advertisement display program | |
US11849302B2 (en) | Output control device, output control system, and control method | |
JP2006115364A (en) | Voice output controlling device | |
JP4122947B2 (en) | Music information distribution device | |
JP2003156352A (en) | Navigator | |
JP2000276609A (en) | Navigation system | |
JP4042622B2 (en) | Route search device | |
JPH08219798A (en) | Navigation system | |
JP4004920B2 (en) | Information output device, information output method, information output program, and information recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080218 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110721 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4791064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |