JP3363921B2 - Sound image localization device - Google Patents
Sound image localization deviceInfo
- Publication number
- JP3363921B2 JP3363921B2 JP23363292A JP23363292A JP3363921B2 JP 3363921 B2 JP3363921 B2 JP 3363921B2 JP 23363292 A JP23363292 A JP 23363292A JP 23363292 A JP23363292 A JP 23363292A JP 3363921 B2 JP3363921 B2 JP 3363921B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- listener
- image
- localization
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Stereophonic System (AREA)
Description
【0001】[0001]
【産業上の利用分野】近年、マンマシン・インタフェー
ス、ヒューマン・インタフェースというような人間と計
算機との対話方法に対する要求があり、人工現実感(A
R)や仮想現実(VR)といった技術により人間の5感
を利用した直感的な対話方法が開発されるようになって
きた。しかし、これまでに開発された対話方法は視覚に
よるものが大多数をしめ、聴覚によるものは少ない。[Industrial application] In recent years, there has been a demand for human-computer interaction methods such as a man-machine interface and a human interface.
Technologies such as R) and virtual reality (VR) have led to the development of intuitive dialogue methods that utilize the human senses. However, most of the dialog methods that have been developed so far are visual and less auditory.
【0002】人間の現実感の認識を考えると視覚からの
情報が最も重要であると思われるが、視覚のみで効果的
な現実感は得られない。なぜなら、人間は現実感の認識
を5感全ての情報によって認識しているからである。こ
れからの対話装置を考えると、音像の定位が行える音響
装置が必要である。この音響定位装置を用いることによ
って音の方向や周りの環境をリアルに人間に与えること
ができ、現実感が向上するであろう。例えば、視覚装置
にヘッド・マウント・ディスプレイ(HMD)と呼ばれ
る頭部搭載型立体視装置を用い、音響再生装置に音像の
定位が行える音響装置を用いることで、実時間で変化す
る仮想世界(景観シミュレーション、CAD/CAMな
ど)をコンピュータ・グラフィクス(CG)やコンピュ
ータ・サウンド(CS)で体験し直感的な操作をするこ
とができる。本発明は、上記した音響定位装置に関し、
特に本発明は聴者に任意の音像の定位を知覚させること
ができる音響定位装置に関するものである。From the viewpoint of human perception of reality, it is considered that information from the visual sense is the most important, but effective sense of reality cannot be obtained only by the visual sense. This is because human beings recognize the perception of reality by all five senses of information. Considering an interactive device in the future, an audio device capable of localizing a sound image is required. By using this acoustic localization device, the direction of sound and the surrounding environment can be realistically given to humans, and the sense of reality will be improved. For example, by using a head-mounted stereoscopic device called a head mounted display (HMD) as a visual device and an acoustic device capable of localizing a sound image as a sound reproducing device, a virtual world that changes in real time (landscape) You can experience simulation, CAD / CAM, etc.) with computer graphics (CG) and computer sound (CS), and perform intuitive operations. The present invention relates to the acoustic localization device described above,
In particular, the present invention relates to an acoustic localization device that allows a listener to perceive an arbitrary localization of a sound image.
【0003】[0003]
【従来の技術】仮想世界に立体音を取り入れ現実感を表
現する人工現実感の聴覚装置として、現在、開発されて
いるものには、例えば、ヘッドホンを用いて立体音を
生成するシステム、あるいは、スピーカを用いて立体
音を生成するシステムが知られている。
(1)ヘッドホンを用いて立体音を生成するシステム。
図9(a)は上記システムの構成を示す図である。同図
において、91は音源となるCD等のドライ・ソース、
92はディスク、93はサンプラ、94はRS232C
シリアル・ポート、95はホスト・コンピュータ、96
は立体音生成用の専用計算機、97はヘッドホン、98
は位置検出装置、99は聴者である。同図において、ま
ず、出力したいソース(ドライ・ソース)をサンプラ9
3に録音する。ホスト・コンピュータ95はRS−23
2Cのシリアル・ポートを介してMIDI(ミュージカ
ル・インストルメント・デジタル・インタフェース、デ
ジタル音楽信号の伝送規約であり、以下MIDIとい
う)に変換し、ドライ・ソースの選択、4本の出力ライ
ンの選択および出力タイミングの制御を行う。2. Description of the Related Art Artificial-reality hearing devices that incorporate three-dimensional sound into a virtual world to express reality include, for example, a system for generating three-dimensional sound using headphones, or A system that generates a stereoscopic sound using a speaker is known. (1) A system that generates stereoscopic sound using headphones. FIG. 9A is a diagram showing the configuration of the above system. In the figure, 91 is a dry source such as a CD as a sound source,
92 is a disk, 93 is a sampler, and 94 is RS232C.
Serial port, 95 is host computer, 96
Is a dedicated computer for three-dimensional sound generation, 97 is headphones, 98
Is a position detecting device, and 99 is a listener. In the figure, the source (dry source) to be output is sampler 9 first.
Record to 3. The host computer 95 is RS-23
Converted to MIDI (Musical Instrument Digital Interface, a digital music signal transmission protocol, hereinafter referred to as MIDI) via the 2C serial port, and selects dry source, selects four output lines, and Controls output timing.
【0004】聴者99の位置、方向(位置、方向あわせ
て6自由度)は位置検出装置98により検出され、ホス
ト・コンピュータ95より立体音生成用の専用計算機9
6に伝えられる。立体音生成用の専用計算機96は聴者
99の位置、方向情報からドライ・ソースを立体音に変
換して、左右の音として聴者99のヘッドホン98に出
力する。本システムの特徴は次の通りである。 ヘッ
ドホンを使用する個人用の立体音生成装置である。
ヘッドホンを使用するため聴者の骨格や髪形によって聴
覚に個人差が生じ、その補正が困難である。 サンプ
ラによりドライ・ソースを表現する。 聴者には6自
由度(位置、方向)が与えられる。 聴者前面の音の
定位が困難である。 映像装置はヘッド・マウント・
ディスプレイ(HMD)を用いたシステムである。The position and direction of the listener 99 (six degrees of freedom in position and direction) are detected by a position detection device 98, and a dedicated computer 9 for generating a stereophonic sound from a host computer 95.
6. The three-dimensional sound generation dedicated computer 96 converts the dry source into three-dimensional sound based on the position and direction information of the listener 99, and outputs it to the headphones 98 of the listener 99 as left and right sounds. The features of this system are as follows. This is a personal stereophonic sound generation device that uses headphones.
Since headphones are used, there are individual differences in hearing due to the skeleton and hairstyle of the listener, and it is difficult to correct them. Express the dry sauce with a sampler. The listener is given 6 degrees of freedom (position, direction). It is difficult to localize the sound in front of the listener. The video equipment is head mount
It is a system using a display (HMD).
【0005】(2)スピーカを用いて立体音を生成する
システム
図9(b)は上記システムの構成を示す図であり、同図
において、101は音を生成することができるコンピュ
ータ、102はデジタル・サラウンド・デコーダ、10
3aないし103eはスピーカ、104は聴者である。
同図において、まず録音したいドライ・ソースをコンピ
ュータ101のメモリに記憶させる。コンピュータ10
1は聴者105の位置と音源(最大4種類のドライ・ソ
ースを同時出力可能)位置からデジタル・サラウンド・
デコーダ102の特性を考慮して左右の音を生成する。
デジタル・サラウンド・デコーダ102は生成された左
右の音に方向性強調処理を行い4方向のスピーカ103
aないし103eから立体音を出力する。本システムの
特徴は次の通りである。 複数人が聴くことができる
スピーカ・タイプの立体音生成装置である。 スピー
カの配置範囲内に音場を提供する。 市販のデジタル
・サラウンド・デコーダによって立体音を表現するため
方向性強調処理依存となる可能性がある。 聴者には
位置のみの3自由度が与えられる。 映像装置は単一
平面画面である。(2) System for Generating Stereoscopic Sound Using Speaker FIG. 9 (b) is a diagram showing the configuration of the above system. In FIG. 9, 101 is a computer capable of generating sound, and 102 is a digital system.・ Surround decoder, 10
3a to 103e are speakers, and 104 is a listener.
In the figure, first, the dry source to be recorded is stored in the memory of the computer 101. Computer 10
1 is digital surround sound from the position of the listener 105 and the sound source (up to 4 types of dry sources can be output simultaneously).
The left and right sounds are generated in consideration of the characteristics of the decoder 102.
The digital surround decoder 102 performs directionality enhancement processing on the generated left and right sounds and a four-direction speaker 103.
Stereo sound is output from a to 103e. The features of this system are as follows. It is a speaker-type three-dimensional sound generation device that can be heard by a plurality of people. Providing a sound field within the speaker placement range. Since stereoscopic sound is expressed by a commercially available digital surround decoder, there is a possibility that it will depend on the directional enhancement processing. The listener is given three degrees of freedom only in position. The video device is a single plane screen.
【0006】[0006]
【発明が解決しようとする課題】ところで、上記した
(1)のシステムは体験者の位置と方向により立体音を
生成するが、一般的にヘッドホンを用いるため、空間へ
の音の定位が弱く、音像の移動も左右の移動を表現でき
る程度である。特に、ヘッドホンの特性上、前方の音は
頭の中に、後方の音は上位に定位する傾向があるため、
あらゆる方向の定位が困難である。また、ヘッドホンを
用いたシステムにおいては、頭部伝達関数(骨格、耳の
形、頭髪など)の個人差によって音の認識に差が生じ、
現実感の表現をしにくい。By the way, the system of (1) described above generates stereoscopic sound depending on the position and direction of the experiencer, but since headphones are generally used, localization of sound into space is weak, The movement of the sound image is also such that left and right movement can be expressed. In particular, due to the characteristics of headphones, the sound in the front tends to be localized in the head and the sound in the rear tends to be localized in the higher level,
Localization in all directions is difficult. In addition, in a system using headphones, there are differences in sound recognition due to individual differences in head related transfer functions (skeleton, ear shape, hair, etc.),
It is difficult to express reality.
【0007】(2)のシステムは前面を向いた聴者に立
体音を提供するシステムであり、音像の移動については
空間内の移動がある程度表現できるが、空間への音の定
位が弱い。また、人工現実感の認識という点からみて、
聴者の自由度や方向性強調処理への依存特性などに問題
がある。本発明は上記した従来技術の問題点に鑑みなさ
れたものであって、聴者(体験者)の頭部の動きに追従
させて、任意の音の音像を定位して聞かせることによ
り、聴者に音像を現実感をもって認識させることができ
る音像定位装置を提供することを目的とする。The system (2) is a system for providing a stereophonic sound to a listener facing the front. The movement of the sound image can be expressed to some extent in the space, but the localization of the sound to the space is weak. Also, in terms of recognition of artificial reality,
There are problems with the degree of freedom of the listener and the dependence on the directionality enhancement processing. The present invention has been made in view of the above-mentioned problems of the prior art, and makes the listener follow the movement of the head of the listener (experiencer) and localize and hear a sound image of an arbitrary sound. It is an object of the present invention to provide a sound image localization device capable of recognizing a sound image with a sense of reality.
【0008】[0008]
【課題を解決するための手段】図1は本発明の基本構成
図である。上記課題を解決するため、本発明の請求項1
の発明は、任意の音を発生する音発生装置1と、聴者5
の位置、角度等の聴点を検出する位置検出装置3と、音
像を生成する音制御装置2と、音像を再生する音再生装
置4a,4b,4c,4dと、仮想的な音の世界を提供
する管理計算機6と、音再生装置が設けられた場所とは
異なる場所で発生する任意の音を集音し 、音の発生位置
とともに音制御装置に送る集音装置1’を備え、管理計
算機6が位置検出装置3の出力に基づき任意の音の動き
あるいは変化を時間的に管理し、音制御装置2が管理計
算機6の出力に基づき位置検出装置3からの聴者5の位
置に関する情報、音再生装置4a,4b,4c,4dの
配置、および、任意に設定する発生音もしくは収集音の
定位位置との関係により発生音もしくは収集音に効果を
与えて再生するように構成したものである。FIG. 1 is a basic configuration diagram of the present invention. In order to solve the above problems, claim 1 of the present invention
Of the invention, a sound generator 1 for generating an arbitrary sound, and a listener 5
A position detecting device 3 for detecting a listening point such as a position and an angle, a sound control device 2 for generating a sound image, sound reproducing devices 4a, 4b, 4c, 4d for reproducing a sound image, and a virtual sound world. The management computer 6 provided and the place where the sound reproduction device is installed
Collecting arbitrary sounds that occur in different places , the sound generation position
A sound collection device 1 ′ for sending to the sound control device is provided together, the management computer 6 temporally manages the movement or change of any sound based on the output of the position detection device 3, and the sound control device 2 outputs the output of the management computer 6. Based on the information on the position of the listener 5 from the position detection device 3, the arrangement of the sound reproduction devices 4a, 4b, 4c, 4d, and the relation between the sound reproduction device 4a, 4b, 4c, and 4d and the localization position of the generated sound or the collected sound, the generated sound or the collected sound is collected. It is configured to give an effect to the sound and reproduce it.
【0009】本発明の請求項2の発明は、請求項1の発
明において、音再生装置4a,4b,4c,4dを移動
させる可動筐体を備え、可動筐体が、音像定位の認識低
下を防ぐように聴者5の移動にあわせて音再生装置4
a,4b,4c,4dを移動させるように構成したもの
である。本発明の請求項3の発明は、請求項1または請
求項2の発明において、音に同期した映像を生成する映
像生成装置7を備え、映像生成装置7が音再生装置4
a,4b,4c,4dが出力する音像と聴者5の動きに
同期した映像8を聴者5に提供するように構成したもの
である。According to a second aspect of the present invention, in the first aspect of the invention, a movable casing for moving the sound reproducing devices 4a, 4b, 4c, 4d is provided, and the movable casing reduces the recognition of the sound image localization. The sound reproduction device 4 is adapted to the movement of the listener 5 so as to prevent it.
It is configured to move a, 4b, 4c and 4d. The invention of claim 3 of the present invention is the invention of claim 1 or contract.
In the invention of claim 2 , the image generation device 7 for generating an image synchronized with a sound is provided, and the image generation device 7 is the sound reproduction device 4.
The sound image output by a, 4b, 4c, and 4d and the image 8 synchronized with the movement of the listener 5 are provided to the listener 5.
【0010】[0010]
【作用】本発明の請求項1の発明において、聴者5の頭
部の位置は位置検出装置3により検出され、音制御装置
2に与えられる。管理計算機6が位置検出装置3の出力
に基づき任意の音の動きあるいは変化を時間的に管理す
る。 集音装置1’は音再生装置が設けられた場所とは異
なる場所で発生する任意の音を集音し、音の発生位置と
ともに音制御装置に送り、音制御装置2は位置検出装置
3により検出された聴者5の頭部の位置、方向から聴者
の聴点と音再生装置4aないし4dの位置関係を求め、
これと、任意の音の発生位置を設定して、これら3者の
位置関係に基づき、音発生装置1が発生する音情報に、
その音圧比の制御、音情報の遅延、周波数変換等の効果
を与え、音再生装置4a,4b,4c,4dに出力す
る。聴者の頭部の位置、方向に追従させて音像を定位さ
せているので、聴者に現実感をもって音像定位を認識さ
せることができる。また、集音装置1’が遠隔地で発生
する音を取り込み、音制御装置2が収集された音に効果
を与えて音再生装置4a,4b,4c,4dに出力して
いるので、遠隔地の音を現実感をもって聴者に体験させ
ることができる。In the first aspect of the present invention, the position of the head of the listener 5 is detected by the position detecting device 3 and given to the sound control device 2. The management computer 6 temporally manages the movement or change of an arbitrary sound based on the output of the position detection device 3 .
It The sound collector 1'is different from the place where the sound reproduction device is installed.
Collect any sound that is generated in
Both are sent to the sound control device , and the sound control device 2 obtains the positional relationship between the listener's listening point and the sound reproduction devices 4a to 4d from the position and direction of the head of the listener 5 detected by the position detection device 3,
By setting this and an arbitrary sound generation position, the sound information generated by the sound generation device 1 is added to the sound information based on the positional relationship between the three parties.
The effects such as control of the sound pressure ratio, delay of sound information, frequency conversion, etc. are given and output to the sound reproduction devices 4a, 4b, 4c, 4d. Since the sound image is localized by following the position and direction of the listener's head, the listener can recognize the sound image localization with a sense of reality. Further, since the sound collecting device 1 ′ captures the sound generated at the remote place and the sound control device 2 gives an effect to the collected sound and outputs the sound to the sound reproducing devices 4a, 4b, 4c, 4d, the remote place. The sound of can be experienced by the listener.
【0011】本発明の請求項2の発明においては、音像
定位の認識低下を防ぐように聴者5の移動にあわせて音
再生装置4a,4b,4c,4dを移動させるように構
成したので、音再生装置の再生性能の不足や聴者の移動
による音像定位の認識の低下を防ぐことができる。本発
明の請求項3の発明においては、音に同期した映像を生
成する映像生成装置7を備え、映像生成装置7が音再生
装置4a,4b,4c,4dが出力する音像と聴者5の
動きに同期した映像8を聴者5に提供するように構成し
たので、任意の音に映像を付加することができ、一層現
実感を高めることができる。According to the second aspect of the present invention, the sound reproducing devices 4a, 4b, 4c and 4d are moved in accordance with the movement of the listener 5 so as to prevent the sound image localization from being deteriorated. It is possible to prevent a reduction in the reproduction performance of the reproduction device and a reduction in the recognition of the sound image localization due to the movement of the listener. According to the third aspect of the present invention, there is provided the image generation device 7 for generating the image synchronized with the sound, and the image generation device 7 outputs the sound images output by the sound reproduction devices 4a, 4b, 4c, 4d and the movement of the listener 5. Since the image 8 synchronized with the above is provided to the listener 5, the image can be added to an arbitrary sound and the sense of reality can be further enhanced.
【0012】[0012]
【実施例】図2は本発明の第1の実施例を示す図であ
り、同図において、21は音情報を(ドライ・ソース)
を発生する音発生装置、22は音発生装置21が発生す
る音情報に効果を与える音制御装置、23は聴者の頭部
の位置(位置、方向の6自由度)を検出する位置検出装
置、24aないし24dは例えばスピーカ等からなる音
再生装置、25は聴者である。図2において、音再生装
置24aないし24dは聴者25を取り囲むように配置
されており、聴者25の頭部の位置は位置検出装置23
により検出され、音制御装置22に与えられる。音制御
装置22は位置検出装置23により検出された聴者25
の頭部の位置、方向から聴者の聴点と音再生装置24a
ないし24dの位置関係を求め、これと、任意の音の発
生位置を設定して、これら3者の位置関係に基づき、音
発生装置21が発生する音情報に効果を与える。FIG. 2 is a diagram showing a first embodiment of the present invention, in which 21 is sound information (dry source).
, 22 is a sound control device that exerts an effect on the sound information generated by the sound generation device 21, 23 is a position detection device that detects the position of the listener's head (6 degrees of freedom in position and direction), Reference numerals 24a to 24d are sound reproducing devices including, for example, speakers, and 25 is a listener. In FIG. 2, the sound reproduction devices 24a to 24d are arranged so as to surround the listener 25, and the position of the head of the listener 25 is determined by the position detection device 23.
Is detected by the sound control device 22 and given to the sound control device 22. The sound control device 22 controls the listener 25 detected by the position detection device 23.
From the position and direction of the head of the listener, the listening point of the listener and the sound reproducing device 24a
To 24d, the position of generation of an arbitrary sound is set, and based on the positional relationship of these three, the sound information generated by the sound generator 21 is effective.
【0013】音情報に与える効果としては、例えば、音
発生装置21から発生する音情報を音再生装置24aな
いし24dに割り振るとき、音圧比を変えたり、音情報
に遅延を与えたり、あるいは、周波数を変換したりす
る。また、反射音や残響音などの計算を行って、音像の
定位を行うとともに、部屋の大きさなどを聴者に認識さ
せる。本実施例においては、上記のように、聴者の頭部
の位置、方向に追従させて音像を定位させているので、
聴者に現実感をもって音像を認識させることができる。As an effect to be given to the sound information, for example, when the sound information generated from the sound generating device 21 is allocated to the sound reproducing devices 24a to 24d, the sound pressure ratio is changed, the sound information is delayed, or the frequency is changed. Or convert. In addition, the reflected sound and reverberant sound are calculated to localize the sound image, and the listener recognizes the size of the room. In the present embodiment, as described above, since the sound image is localized by following the position and direction of the listener's head,
The listener can recognize the sound image with a sense of reality.
【0014】図3は本発明の第2の実施例を示す図であ
り、図2に示したものと同一のものには同一の符号が付
されており、本実施例においては、図2に示した音発生
装置21に換え、遠隔地に設けた音収集装置21’を設
けたものであり、その他の構成は第1の実施例と同一で
ある。図3において、音収集装置21’は聴者25とは
離れた空間の音を収集し、音制御装置22に送る。その
際、必要に応じて、音収集装置21’は収集する音の発
生位置に関する情報を送る。音制御装置22は音収集装
置21’より送られた音情報に、第1の実施例で説明し
たのと同様に効果を与え、音再生装置24aないし24
dに与え、音像を定位させる。本実施例においては、上
記のように、遠隔地の音を現実感をもって聴者に体験さ
せることができる。FIG. 3 is a diagram showing a second embodiment of the present invention, in which the same components as those shown in FIG. 2 are designated by the same reference numerals, and in this embodiment, FIG. Instead of the sound generating device 21 shown, a sound collecting device 21 'provided at a remote place is provided, and the other configurations are the same as those of the first embodiment. In FIG. 3, the sound collecting device 21 ′ collects the sound in the space apart from the listener 25 and sends it to the sound control device 22. At that time, if necessary, the sound collecting device 21 'sends information on the generation position of the sound to be collected. The sound control device 22 applies the same effect to the sound information sent from the sound collecting device 21 ′ as described in the first embodiment, and the sound reproducing devices 24 a through 24 a.
The sound image is localized at d. In the present embodiment, as described above, the listener can experience the sound of a remote place with a sense of reality.
【0015】図4は本発明の第3の実施例を示す図であ
り、図2に示したものと同一のものには同一の符号が付
されており、本実施例は、音再生装置24aないし24
dを可動筐体29aないし29dに取り付け、絶えず聴
者25の方向に向けることができるようにしたものであ
る。同図において、音制御装置22は、第1の実施例と
同様、音発生装置21が発生する音に効果を与え各音再
生装置24aないし24dに与えるとともに、位置検出
装置23により検出された聴者25の位置情報に基づき
音再生装置24aないし24dを絶えず聴者25の方向
に向かせるための可動筐体移動情報を与える。本実施例
においては、上記のように、可動筐体29aないし29
dにより音再生装置24aないし24dを聴者25の方
向を向けるので、音再生装置の再生性能の不足や聴者の
移動による音像定位の認識の低下を防ぐことができる。FIG. 4 is a diagram showing a third embodiment of the present invention, in which the same components as those shown in FIG. 2 are designated by the same reference numerals, and in this embodiment, a sound reproducing device 24a is used. Through 24
d is attached to the movable housings 29a to 29d so that it can be constantly directed toward the listener 25. In the figure, as in the first embodiment, the sound control device 22 gives an effect to the sound generated by the sound generation device 21 and gives it to each of the sound reproduction devices 24a to 24d, and the listener detected by the position detection device 23. Based on the position information of 25, the movable housing movement information for constantly orienting the sound reproducing devices 24a to 24d toward the listener 25 is given. In the present embodiment, as described above, the movable casings 29a to 29a are used.
Since the sound reproduction devices 24a to 24d are directed to the listener 25 by d, it is possible to prevent the reproduction performance of the sound reproduction device from being insufficient and the reduction in the recognition of the sound image localization due to the movement of the listener.
【0016】図5は本発明の第4の実施例を示す図であ
り、図2に示したものと同一のものには同一の符号が付
されており、本実施例は、図2のものに任意の音を管理
するための管理計算機26を設けたものであり、その他
の構成は第1の実施例と同一である。図5において、管
理計算機26は任意の音の移動や音の変化を管理する
(時間成分を含む場合もある)計算機である。例えば、
蜜蜂が聴者25の周りを飛び回る音を聴者25に認識さ
せる場合には、蜂が飛んでいる間は管理計算機26が音
発生装置21に蜂の飛んでいる音を出させて音制御装置
22には蜂の位置情報を伝達する。音制御装置22は、
第1の実施例と同様、管理制御装置26から与えられる
位置情報に基づき音発生装置21が発生する音を各再生
装置24aないし24dに割り振り、聴者25に蜂が飛
んでいる音を認識させる。本実施例においては、上記の
ように、管理計算機26を設けて任意の音の移動や音の
変化を管理するので、一層現実感を高めて聴者25に音
を認識させることができる。FIG. 5 is a diagram showing a fourth embodiment of the present invention. The same parts as those shown in FIG. 2 are designated by the same reference numerals, and this embodiment is the same as that of FIG. A management computer 26 for managing arbitrary sounds is provided in the second embodiment, and other configurations are the same as those in the first embodiment. In FIG. 5, the management computer 26 is a computer that manages the movement of any sound and the change of sound (may include a time component). For example,
When making the listener 25 recognize the sound of the bees flying around the listener 25, the management computer 26 causes the sound generation device 21 to emit the sound of the bees flying and causes the sound control device 22 to operate while the bees are flying. Conveys bee location information. The sound control device 22 is
Similar to the first embodiment, the sound generated by the sound generation device 21 is assigned to each of the reproduction devices 24a to 24d based on the position information provided from the management control device 26, and the listener 25 is made to recognize the sound of a bee flying. In the present embodiment, as described above, since the management computer 26 is provided to manage the movement and change of any sound, it is possible to make the listener 25 recognize the sound more realistically.
【0017】図6は本発明の第5の実施例を示す図であ
り、図2に示したものと同一のものには同一の符号が付
されており、本実施例は、図2のものに映像再生装置2
7および映像を表示するための画面28aないし28d
を設けたものであり、その他の構成は第1の実施例と同
一である。図6において、映像再生装置27は音を発生
する物体の位置情報などから体験者(聴者)が現実感を
得られるような映像を生成して体験者(聴者)に体験さ
せる。以上のように、本実施例においては、映像再生装
置27および映像を表示するための画面28aないし2
8dを設けたので、任意の音に映像を付加することがで
き、現実感を高めることができる。FIG. 6 is a diagram showing a fifth embodiment of the present invention. The same parts as those shown in FIG. 2 are designated by the same reference numerals, and this embodiment is the same as that of FIG. Video playback device 2
7 and screens 28a to 28d for displaying images
Is provided, and the other structure is the same as that of the first embodiment. In FIG. 6, the image reproducing device 27 generates an image that gives the experience person (listener) a sense of reality based on the position information of the object generating the sound and causes the experience person (listener) to experience. As described above, in the present embodiment, the video playback device 27 and the screens 28a to 2 for displaying the video are used.
Since 8d is provided, it is possible to add an image to an arbitrary sound and enhance the sense of reality.
【0018】図8は本発明の具体的実施例を示す図であ
り、本実施例は図5に示した第4の実施例と図6に示し
た実施例のものに、ヘッド・マウント・ディスプレイ
(HMD)による立体画面表示装置と実時間画像生成装
置を設けた実施例を示したものであ。なお、ヘッド・マ
ウント・ディスプレイ(HMD)は眼前の2枚の液晶表
示装置を光学系により左右の目に個々に見せることによ
り、立体視を可能とする装置である。図7は図8に示す
実施例におけるスピーカの配置を示す図であり、50
L,50Rはそれぞれ体験者(聴者)25の前面に設け
られた左と右のスピーカ、51L,51Rは体験者(聴
者)25の側面に設けられた左と右のスピーカ、52
L,52Rは体験者(聴者)25の背面に設けられた左
と右のスピーカである。FIG. 8 is a diagram showing a specific embodiment of the present invention. This embodiment is the same as the fourth embodiment shown in FIG. 5 and the embodiment shown in FIG. It shows an embodiment in which a stereoscopic screen display device by (HMD) and a real-time image generation device are provided. A head-mounted display (HMD) is a device that enables stereoscopic viewing by allowing two liquid crystal display devices in front of the eye to be individually viewed by the left and right eyes by an optical system. FIG. 7 is a diagram showing the arrangement of speakers in the embodiment shown in FIG.
L and 50R are left and right speakers provided on the front surface of the experience person (listener) 25, 51L and 51R are left and right speakers provided on the side surface of the experience person (listener) 25, 52
L and 52R are left and right speakers provided on the back surface of the experience (listener) 25.
【0019】図8において、図5、図6の実施例に示し
たものと同一のものには同一の符号が付されており、同
図において、23は体験者(聴者)の頭部の位置(位
置、方向の6自由度)を検出する位置検出装置、25は
体験者(聴者)、27は立体画像を実時間で生成する映
像生成装置、28’は映像生成装置27により生成され
る立体画面、29は音に効果を与えるための制御信号を
発生する音制御装置であり、以下に述べるデジタル・サ
ンプラ、プログラマブル・ライン・セレクタ等を制御す
る信号を出力する。また、31はプログラムされている
音をMIDIのタイミングで発生させるデジタル・サン
プラ、32はデジタル・サンプラ31が発生する音をデ
ジタル・サウンド・プロセッサに割り振るプログラマブ
ル・ライン・セレクタ、33aないし33cはプログラ
マブル・ライン・セレクタ32からの入力音源に対して
音圧、遅延、周波数の変換を行うデジタル・サウンド・
プロセッサである。In FIG. 8, the same components as those shown in the embodiment of FIGS. 5 and 6 are designated by the same reference numerals, and in FIG. 8, 23 is the position of the head of the experience person (listener). A position detection device that detects (6 degrees of freedom in position and direction), 25 is an experience person (listener), 27 is a video generation device that generates a stereoscopic image in real time, and 28 'is a stereoscopic image generated by the video generation device 27. A screen, 29 is a sound control device for generating a control signal for giving an effect to a sound, and outputs a signal for controlling a digital sampler, a programmable line selector, etc. described below. Further, 31 is a digital sampler for generating a programmed sound at a MIDI timing, 32 is a programmable line selector for allocating the sound generated by the digital sampler 31 to a digital sound processor, and 33a to 33c are programmable line selectors. Digital sound that performs sound pressure, delay, and frequency conversion on the input sound source from the line selector 32.
It is a processor.
【0020】34aないし34fはデジタル・サウンド
・プロセッサ33aないし33cの出力を増幅する増幅
器、35aないし35cは増幅器34aないし34fの
出力とDAT38の出力の音圧制御を行うデジタル・ミ
キシング・プロセッサ、36aないし36fはデジタル
・ミキシング・プロセッサ35aないし35cの出力を
増幅して図7の体験者(聴者)25の前面、側面、背面
の左右の各スピーカ50L,50R,51L,51R,
52L,52Rに出力する増幅器、38は音が録音され
たDAT(デジタル・オーディオ・テープ)である。4
0,41,42はRS−232C/MIDIシリアル・
ポートであり、音制御装置とデジタル・サンプラ31、
プログラマブル・ライン・セレクタ32、デジタル・サ
ウンド・プロセッサ33a〜33cおよびデジタル・ミ
キシング・プロセッサ35a〜35cとの間の制御信号
の伝送を行う。また、43,44,45はRS232C
のシリアル信号をMIDIに変換するMIDIエキスパ
ンダである。34a to 34f are amplifiers for amplifying the outputs of the digital sound processors 33a to 33c, 35a to 35c are digital mixing processors for controlling the sound pressure of the outputs of the amplifiers 34a to 34f and the output of the DAT 38, and 36a to 36c. 36f amplifies the outputs of the digital mixing processors 35a to 35c to amplify the outputs of the experience (listener) 25 shown in FIG. 7 to the left, right, left and right speakers 50L, 50R, 51L, 51R, respectively.
An amplifier for outputting to 52L and 52R, and 38 is a DAT (digital audio tape) on which sound is recorded. Four
0, 41, 42 are RS-232C / MIDI serial
Port, sound controller and digital sampler 31,
Control signals are transmitted between the programmable line selector 32, the digital sound processors 33a to 33c, and the digital mixing processors 35a to 35c. In addition, 43, 44 and 45 are RS232C
Is a MIDI expander for converting a serial signal of the above into MIDI.
【0021】図8において、体験者(聴者)25の頭部
の位置、方向が位置検出装置23で検出され、管理計算
機26に与えられる。管理計算機26は体験者(聴者)
25の頭部の位置、方向信号に基づき、図5の第4の実
施例と同様、発生する音の種類、音の位置情報を音制御
装置29に与えるとともに、映像生成装置27に表示す
る映像と体験者(聴者)25の位置情報を与える。映像
生成装置27は管理計算機26の出力に基づき、体験者
(聴者)25の動きにあわせて仮想世界の物体の位置を
リアル・タイムでヘッド・マウント・ディスプレイ(H
MD)の左右に表示し、体験者(聴者)25にコンピュ
ータ・グラフィクスの立体映像を提供する。音制御装置
29は管理計算機26が出力する音の位置情報に基づき
RS−232C/MIDIシリアル・ポートを介してデ
ジタル・サンプラ31、プログラマブル・ライン・セレ
クタ32、デジタル・サウンド・プロセッサ33a〜3
3cおよびデジタル・ミキシング・プロセッサ35a〜
35cを制御して立体音を生成させる。In FIG. 8, the position and direction of the head of the experiencer (listener) 25 are detected by the position detection device 23 and given to the management computer 26. Management computer 26 is an experienced person (listener)
Based on the position and direction signals of the head of No. 25, the kind of sound to be generated and sound position information are given to the sound control device 29 and displayed on the video generation device 27 as in the fourth embodiment of FIG. And the position information of the experience person (listener) 25 is given. Based on the output of the management computer 26, the video generation device 27 displays the position of the object in the virtual world in real time according to the motion of the experiencer (listener) 25 in a head mounted display (H).
It is displayed on the left and right of the MD) and provides the experience (listener) 25 with a stereoscopic image of computer graphics. The sound control device 29 uses the position information of the sound output by the management computer 26 to transmit a digital sampler 31, a programmable line selector 32, and digital sound processors 33a-3a through an RS-232C / MIDI serial port.
3c and digital mixing processor 35a-
35c is controlled to generate a three-dimensional sound.
【0022】デジタル・サンプラ31はプログラムされ
ている音を音制御装置29が出力するMIDIのタイミ
ングに合わせて出力し、プログラマブル・ライン・セレ
クタ32に与える。プログラマブル・ライン・セレクタ
32はデジタル・サンプラ31が発生する音を音制御装
置29の制御信号に基づきデジタル・サウンド・プロセ
ッサ33a〜33cに割り振る。デジタル・サウンド・
プロセッサ33a〜33cは割り振られた入力音源に対
して体験者(聴者)25の前面、側面、背面の左右の音
の音圧、遅延、周波数の変換を行う。デジタル・サウン
ド・プロセッサ33a〜33cの出力は増幅器34a〜
34fにより増幅され、デジタル・ミキシング・プロセ
ッサ35a〜35cに与えられる。デジタル・ミキシン
グ・プロセッサ35a〜35cは増幅器34a〜34f
の出力とDAT37の出力を音制御装置29の制御信号
に基づきミキシングして増幅器36a〜36fを介して
図7に示す各スピーカ50L,50R,51L,51
R,52L,52Rに出力し、体験者(聴者)25に立
体音を提供する。The digital sampler 31 outputs the programmed sound at the timing of the MIDI output from the sound control device 29 and gives it to the programmable line selector 32. The programmable line selector 32 allocates the sound generated by the digital sampler 31 to the digital sound processors 33a to 33c based on the control signal of the sound control device 29. Digital sound
The processors 33a to 33c perform sound pressure, delay, and frequency conversion of sounds on the front, side, and back of the experience (listener) 25 with respect to the allocated input sound source. The outputs of the digital sound processors 33a to 33c are amplifiers 34a to
It is amplified by 34f and given to the digital mixing processors 35a to 35c. The digital mixing processors 35a to 35c are amplifiers 34a to 34f.
Of the speaker 50L, 50R, 51L, 51 shown in FIG. 7 via the amplifiers 36a to 36f by mixing the output of the DAT and the output of the DAT 37 based on the control signal of the sound control device 29.
It outputs to R, 52L, 52R, and provides a stereoscopic sound to the experience person (listener) 25.
【0023】以上のように、本実施例においては、体験
者(聴者)の頭部の動きを検出して仮想世界の中の体験
者(聴者)と物体の位置関係により、体験者(聴者)の
動きに合わせた仮想世界の立体画像と立体音を提供する
ので、体験者(聴者)は仮想世界を現実としてとらえる
ことができ、仮想世界の操作性を向上させることができ
る。As described above, in this embodiment, the experience (listener) is detected based on the positional relationship between the experience (listener) and the object in the virtual world by detecting the head movement of the experience (listener). Since the stereoscopic image and the stereoscopic sound of the virtual world that match the movement of the virtual world are provided, the experience person (listener) can perceive the virtual world as reality and improve the operability of the virtual world.
【0024】[0024]
【発明の効果】以上説明したことから明らかなように、
本発明においては、体験者(聴者)の頭部の位置、方向
等を検出して、聴者の位置に関する情報、音再生装置の
配置、および、任意に設定する発生音の定位位置との関
係により発生音に効果を与えて再生しているので、人間
と計算機のインタラクションで音像の定位を行うことが
でき、現実感を高めて体験者(聴者)に音を認識させる
ことができる。特に、映像生成装置と組み合わせること
により、CAD/CAM、テレ・プレゼンス、テレ・イ
グジスタンス、教育、建築エンターテーメントなどの多
様な分野に応用することができ、その効果は極めて大き
い。As is apparent from the above description,
In the present invention, the position, direction, etc. of the head of the experiencer (listener) is detected, and the relationship between the position of the listener, the position of the sound reproduction device, and the localization position of the generated sound is arbitrarily set. Since the generated sound is reproduced by giving an effect, it is possible to localize the sound image by the interaction between the human and the computer, and it is possible to enhance the sense of reality and make the experience person (listener) recognize the sound. In particular, by combining with an image generation device, it can be applied to various fields such as CAD / CAM, tele presence, tele presence, education, and architectural entertainment, and the effect is extremely large.
【図1】本発明の基本構成図である。FIG. 1 is a basic configuration diagram of the present invention.
【図2】本発明の第1の実施例を示す図である。FIG. 2 is a diagram showing a first embodiment of the present invention.
【図3】本発明の第2の実施例を示す図である。FIG. 3 is a diagram showing a second embodiment of the present invention.
【図4】本発明の第3の実施例を示す図である。FIG. 4 is a diagram showing a third embodiment of the present invention.
【図5】本発明の第4の実施例を示す図である。FIG. 5 is a diagram showing a fourth embodiment of the present invention.
【図6】本発明の第5の実施例を示す図である。FIG. 6 is a diagram showing a fifth embodiment of the present invention.
【図7】本発明の具体的実施例の再生装置の配置を示す
図である。FIG. 7 is a diagram showing an arrangement of a reproducing apparatus according to a specific embodiment of the present invention.
【図8】本発明の具体的実施例を示す図である。FIG. 8 is a diagram showing a specific example of the present invention.
【図9】従来例を示す図である。FIG. 9 is a diagram showing a conventional example.
1,21 音発生装置
1’,21’ 集音装置
2,22 音制御装置
3,23 位置検出装置
4a,4b,4c,4d,24a,24b,24c,2
4d,50L,50R,51L,51R,52L,52
R 音再生装置
5,25 聴者
6,26 管理計算機
7,27 映像生成装置
29a,29b,29c,29d 可動筺体
31 デジタル・サンプラ
32 プログラマブル・ライン・セレクタ
33a,33b,33c デジタル・サウンド・プロセ
ッサ
34a,34b,34c,34d,34e,34f,3
6a,36b,36d,36e,36f 増幅器
35a,35b,35c デジタル・ミキシング・プロ
セッサ
38 デジタル・オーディオ・テー
プ(DAT)1, 21 Sound generating device 1 ', 21' Sound collecting device 2, 22 Sound control device 3, 23 Position detecting device 4a, 4b, 4c, 4d, 24a, 24b, 24c, 2
4d, 50L, 50R, 51L, 51R, 52L, 52
R sound reproduction device 5,25 listener 6,26 management computer 7,27 video generation device 29a, 29b, 29c, 29d movable housing 31 digital sampler 32 programmable line selector 33a, 33b, 33c digital sound processor 34a, 34b, 34c, 34d, 34e, 34f, 3
6a, 36b, 36d, 36e, 36f Amplifiers 35a, 35b, 35c Digital mixing processor 38 Digital audio tape (DAT)
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平1−279700(JP,A) 特開 平1−239674(JP,A) 特開 昭52−30402(JP,A) 特開 平4−192066(JP,A) 実開 平3−105099(JP,U) (58)調査した分野(Int.Cl.7,DB名) H04S 7/00 H04S 1/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-1-279700 (JP, A) JP-A-1-239674 (JP, A) JP-A-52-30402 (JP, A) JP-A-4- 192066 (JP, A) Actual Kaihei 3-105099 (JP, U) (58) Fields investigated (Int.Cl. 7 , DB name) H04S 7/00 H04S 1/00
Claims (3)
任意の音を集音し、音の発生位置とともに音制御装置に
送る集音装置を備え、 管理計算機が位置検出装置の出力に基づき任意の音の動
きあるいは変化を時間的に管理し、 音制御装置が管理計算機の出力に基づき位置検出装置か
らの聴者の位置に関する情報、音再生装置の配置、およ
び、任意に設定する発生音もしくは収集音の定位位置と
の関係により発生音もしくは収集音に効果を与えて再生
することを特徴とする音像定位装置。1. A sound generation device for generating an arbitrary sound, a position detection device for detecting a listening point such as a position and an angle of a listener, a sound control device for generating a sound image, and a sound reproduction device for reproducing the sound image. , Occurs in a place different from the place where the management computer that provides the virtual sound world and the sound playback device are installed
Collect any sound, and send it to the sound control device together with the position of the sound.
A sound collecting device is provided, the management computer temporally manages the movement or change of any sound based on the output of the position detection device, and the sound control device relates to the position of the listener from the position detection device based on the output of the management computer. A sound image localization device characterized in that an effect is exerted on a generated sound or a collected sound depending on the relationship between the information, the arrangement of the sound reproduction device, and the localization position of the generated sound or the collected sound which is arbitrarily set.
え、可動筐体が、音像定位の認識低下を防ぐように聴者
の移動にあわせて音再生装置を移動させることを特徴と
する請求項1の音像定位装置。2. The sound reproducing device is provided with a movable casing, and the movable casing moves the sound reproducing device in accordance with the movement of the listener so as to prevent deterioration of recognition of sound image localization. 1. Sound image localization device.
置を備え、映像生成装置が音再生装置が出力する音像と
聴者の動きに同期した映像を聴者に提供することを特徴
とする請求項1または請求項2の音像定位装置。3. An image generating apparatus for generating an image synchronized with sound, wherein the image generating apparatus provides the listener with an image synchronized with the sound image output by the sound reproducing apparatus and the movement of the listener. The sound image localization apparatus according to claim 1 or 2 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23363292A JP3363921B2 (en) | 1992-09-01 | 1992-09-01 | Sound image localization device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23363292A JP3363921B2 (en) | 1992-09-01 | 1992-09-01 | Sound image localization device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0686400A JPH0686400A (en) | 1994-03-25 |
JP3363921B2 true JP3363921B2 (en) | 2003-01-08 |
Family
ID=16958089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23363292A Expired - Fee Related JP3363921B2 (en) | 1992-09-01 | 1992-09-01 | Sound image localization device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3363921B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2116929B1 (en) * | 1996-10-03 | 1999-01-16 | Sole Gimenez Jose | SOCIAL SPACE VARIATION SYSTEM. |
JP4926916B2 (en) * | 2007-11-07 | 2012-05-09 | キヤノン株式会社 | Information processing apparatus, information processing method, and computer program |
JP5949311B2 (en) | 2012-08-15 | 2016-07-06 | 富士通株式会社 | Estimation program, estimation apparatus, and estimation method |
JP6550756B2 (en) * | 2015-01-20 | 2019-07-31 | ヤマハ株式会社 | Audio signal processor |
JP6646967B2 (en) * | 2015-07-31 | 2020-02-14 | キヤノン株式会社 | Control device, reproduction system, correction method, and computer program |
JP6461850B2 (en) * | 2016-03-31 | 2019-01-30 | 株式会社バンダイナムコエンターテインメント | Simulation system and program |
-
1992
- 1992-09-01 JP JP23363292A patent/JP3363921B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0686400A (en) | 1994-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7275227B2 (en) | Recording virtual and real objects in mixed reality devices | |
US10952010B2 (en) | Spatial audio for interactive audio environments | |
US11540081B2 (en) | Spatial audio downmixing | |
US6038330A (en) | Virtual sound headset and method for simulating spatial sound | |
US5517570A (en) | Sound reproducing array processor system | |
US9967693B1 (en) | Advanced binaural sound imaging | |
JP7271695B2 (en) | Hybrid speaker and converter | |
US5590207A (en) | Sound reproducing array processor system | |
JP3363921B2 (en) | Sound image localization device | |
WO2022004421A1 (en) | Information processing device, output control method, and program | |
JPH05336599A (en) | Sound image localization headphone device and virtual reality audio-visual equipment using it | |
KR102284914B1 (en) | A sound tracking system with preset images | |
Cohen et al. | Cyberspatial audio technology | |
Assenmacher et al. | Integrating Real-time Binaural Acoustics into VR Applications. | |
Storms | NPSNET-3D sound server: an effective use of the auditory channel | |
KR100284457B1 (en) | Sound processing method that can record in three dimensions | |
KR102610825B1 (en) | Tangible sound object system that can track object position through sound parallel output | |
Rumsey | Spatial audio: eighty years after Blumlein | |
Hughes | Defining an Audio Production Pipeline for Mixed Reality | |
EP0885545A1 (en) | Sound reproducing array processor system | |
JP4046891B2 (en) | Sound field space information transmission / reception method, sound field space information transmission device, and sound field reproduction device | |
Doornbusch | Sound and reality | |
Okubo et al. | Directional Sound Source Representation Using Paired Microphone Array with Different Characteristics Suitable for Volumetric Video Capture | |
O'Dwyer et al. | A 16-Speaker 3D Audio-Visual Display Interface and Control System. | |
CN112203211A (en) | Audio equipment system for reconstructing surround sound effect |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021015 |
|
LAPS | Cancellation because of no payment of annual fees |