JP6587047B2 - 臨場感伝達システムおよび臨場感再現装置 - Google Patents
臨場感伝達システムおよび臨場感再現装置 Download PDFInfo
- Publication number
- JP6587047B2 JP6587047B2 JP2014234480A JP2014234480A JP6587047B2 JP 6587047 B2 JP6587047 B2 JP 6587047B2 JP 2014234480 A JP2014234480 A JP 2014234480A JP 2014234480 A JP2014234480 A JP 2014234480A JP 6587047 B2 JP6587047 B2 JP 6587047B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- sound source
- subject
- location
- face posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Headphones And Earphones (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Stereophonic System (AREA)
Description
サラウンドチャンネルスピーカーは空間的な音場の再現のために開発されており、DirAC(Directional Audio Coding)を用いた音場再現の研究は少なくない。
音源定位手段は、複数のマイクロフォンアレイの各々に基づく音の到来方向と位置検出手段で検出された音源の位置が、交差することに応じて、音源の位置を特定し、音空間再構成手段は、音源分離手段からの分離音をそれぞれ受信して、マイクロフォンアレイから音源までの距離による違いを補正するために、各分離音の音量をそれぞれ正規化するための音量制御処理手段を含む。
(3次元音源定位)
音源定位に関しては、まず、3次元空間DOA評価部3202.1〜3202.Mが、各マイクロフォンアレイ10.1〜10.Mのそれぞれに対してDOA推定を行う。空間情報統合部3206は、複数のアレイによるDOA情報と人位置検出追跡部310からの人位置情報を統合することで、音源の3次元空間内の位置を推定する。
実環境での音のDOA推定は広く研究されてきており、MUSIC法は、複数のソースを高い分解能で定位できる最も有効な手法の一つであり、たとえば、上述した特許文献1,2にも開示されている。音源数を固定した数値に仮定し、しきい値を超えたMUSICスペクトルのピークを音源として認識する。ここでは、たとえば、MUSIC法の実装にあたり、100msごとに1度の分解能を有するように構成したとしても、動作クロック周波数2GHzのシングルコアCPUで、リアルタイムに音源の方向を探索することができる。
さらに、コミュニケーションロボットの遠隔操作システムにとって、最も重要な音源は人の音声である。そこで、音源定位装置300では、人の声を漏れ無く抽出するために、複数の2次元LRFで構成したヒューマントラッキングシステムを使用する。空間情報統合部3206は、複数のマイクロフォンアレイからのDOA推定出力とLRFのトラッキング結果が同じ位置で交差すれば、そこに音源がある可能性が高いと判断する。
(音源分離)
音源分離部330では、選択された複数の人物(人数:n人)をパラレルに分離している。
ここで、遅延和ビームフォーマについては、たとえば、以下の文献に開示がある。
ビームフォーミングの基本原理を、2マイクロホンの場合を例に簡単に説明する。
図3は、受信側の音声合成装置500を説明するための機能ブロック図である。
音空間再構成部540において、空間再構成部550は、送信側から受信した方向・位置情報と推定されたオペレーター2の顔の向きに応じて、座標系(x´,y´,z´)における音源の位置を再構成し、推定された顔の向きから、左右のチャンネルに対応した正確な頭部伝達関数(HTRF:Head Relative Transfer Function)をデータベース530から選択する。
音空間再構成部540において、HTRF処理部5502.1〜5502.nは、分離され音量が制御された音声に、選択された頭部伝達関数との畳み込み演算を行い、左耳音声合成部5504.1および右耳音声合成部5504.2は、ステレオヘッドフォン610の左右のスピーカでオペレーター2に再生する左耳用音声および右耳用音声をそれぞれ合成する。
(システム評価実験)
以下では、臨場感伝達システム1000を評価するために行った被験者実験について説明する。
比較対象として、図5(a)に示すロボットの耳に位置するステレオマイクロフォンを用いた。この実験ではミニマルデザインされているヒューマノイドロボットTelenoid-R3を使用した。このロボットは両耳位置にマイクの装着が可能で、且つ、首には3自由度があるため、図5(c)の被験者の頭部動作を線形的にマッピングすることができる。
以下に、比較対象の条件を述べる。この条件では、ロボットの耳にある二つのマイクロフォンから採った音を、そのままオペレーターのステレオヘッドフォンの左右チャンネルで再生する。トラッキングしたオペレーターの首の動きは、線形的にロボットにマッピングされる。
ロボット側の3次元音源位置推定は、図5(b)中に白矢印で示す3つのマイクロフォンアレイによって行われた。天井には直径15cmで8チャンネルのマイクが円形に配置されたマイクロフォンアレイが2つ設置してあり、卓上には直径30cmで16チャンネルのマイクが半球面上に配置されたマイクロフォンアレイが設置してある。
総計20名の被験者がこの実験に参加した。全て大学生で、ロボットや音響研究に関わりがない者である。被験者にはオペレーター役として、別室のロボット側にいる話者1名(研究補助者)とロボットを介して会話し、その相手のいる方向を判定するように指示した。実験補助者はランダムに方向を選び、その方向から会話を進める。被験者は方向の判定ができたら協力者に知らせ、協力者は次の方向に移動する。この手順を4回繰り返した。方向の判定は8方向に制限しており、被験者はそのうちのどの方向かを回答するという形式である。
実験の最後に、二つの条件について、臨場感と聞き取り易さに関する主観評価のアンケートを採った。1から7までの七段階評価で、1は「臨場感が低い/聞き取り難い」で、7は「臨場感が高い/聞き取り易い」を示す。
図6は、実験結果を示す図である。
図6(b)(c)に示すように、主観評価アンケートでは、臨場感と聞き取り易さの評価で類似した結果が得られた。臨場感と聞き取り易さの両方において、臨場感伝達システム1000での条件での評価は、比較条件よりも有意に高い(t = 6.68、 p < 0.001とt = 4.86、 p < 0.001)。
臨場感の評価での両条件の有意差の可能な理由としては、ロボットの首と人間の首の可動範囲が違うことも考えられる。
(バーチャル音場における音源ボリュームの調整)
臨場感伝達システム1000では、選択されたすべての音源に対して、位置情報を反映したステレオ音声を合成し、足し合わせて、バーチャル音場を表現する出力が再生される。しかし、これでは選択された各音源のボリュームが予測できない。もし、オペレーター側で各音源のボリュームを各々独立して操作することができれば、自分にとって最も快適な音環境を作ることができる。このことに注目して、オペレーターがバーチャル空間上にある音源や自分の位置を変えることができるように、インタフェースも設けてもよい。
以下では、バーチャル音場をコントロールするための2つの異なる操作パターンのユーザインタフェースについて説明する。
図7(a)に示す1つ目のインタフェースでは、オペレーターがスクリーン上の白円(これはバーチャル空間(座標系(x´,y´,z´))上でのオペレーターの位置を表す)を任意の場所にマウスでドラッグ&ドロップすることによって、各音源のボリュームを調整する。黒丸が実験補助者の位置を示す。
図7(b)に示す2つ目のインタフェースでは、オペレーターの顔の向きによって各音源のボリュームが調整される。オペレーターの顔方向を利用して音源の音量を操作するため、両手が解放される。オペレーターの顔の前方にある音源は強調され、後方にある音源は減衰される。ボリュームを調節するファクタは角度と比例する。このインタフェースを“face dir”と表記する。顔の向きや視線方向は現時点における人の注意を示すだけでなく、次のターゲットやそのゴールをも示す。“face dir”はこの観点に注目したバーチャル音場コントロール法である。
図7(b)中では、被験者(オペレータ)の顔の向きは、白丸に付随する矢印で示されている。
(提案ユーザインタフェースの評価)
図7のユーザインタフェースを評価するための被験者実験を行った。比較対象として、従来のモノラルマイクロフォンを使ったインタフェースを用いた。
図5で述べた実験被験者が、この実験にも参加した(大学生16名。前セクションの220名中最初の4は従来法との比較を行っていないため除外)。
図8は、ユーザインタフェースの実験結果を示す図である。
図8(a)に示す「使い易さ」と図8(b)の「臨場感」では、主観評価の平均値に有意差が見られた(F(2、13)=16.03、 p<0.001 and F(2、13)=6.74、 p=0.009)。
dir” vs. “conventional”: p=0.001)、臨場感が高い(“drag-and-drop” vs. “conventional”: p=0.006; “face dir” vs. “conventional”: p=0.04)と評価された。
以上の結果は、提案したインタフェースの有効性を示している。
Claims (11)
- 第1の場所の音環境を第2の場所に伝送して再現するための臨場感伝達システムであって、
前記第1の場所に設置される音源定位装置を備え、前記音源定位装置は、
前記第1の場所における対象物の位置を検出する位置検出手段と、
マイクロフォンアレイ部からの出力に応じて、音の到来方向を推定し、前記位置検出手段の検出結果と統合して、音源の位置を特定して出力する音源定位手段と、
特定された音源の位置からの音を分離して出力するための音源分離手段とを含み、
前記第2の場所に設置される音声合成装置をさらに備え、前記音声合成装置は、
前記第2の場所内の被験者の顔姿勢をリアルタイムで連続的に検出するための顔姿勢検出手段と、
前記被験者に装着され、前記被験者の両耳に対して前記音環境に対応する音を再現するための音再現手段と、
記音源定位手段から、前記音源の位置の位置を受信し、検出された顔姿勢に応じて、前記第1の場所の第1の座標系における前記音源の位置を前記第2の場所の第2の座標系における位置に変換して、前記第2の場所において、定位された前記音源からの音声が特定の方向から聞こえるように、前記第1の場所の前記音源の位置の位置に相当する位置から前記被験者の各耳への前記特定の方向に対応する頭部伝達関数を用いて、前記音源分離手段からの分離音の信号から前記音再現手段により各耳へ再現するための音信号を合成する音空間再構成手段とを含む、臨場感伝達システム。 - 前記音再現手段は、ヘッドフォンであり、
前記顔姿勢検出手段は、前記ヘッドフォンに装着されたジャイロおよびコンパスを含む、請求項1記載の臨場感伝達システム。 - 前記音再現手段は、ヘッドフォンであり、
前記顔姿勢検出手段は、撮像された前記被験者の画像から前記被験者の顔姿勢を推定する、請求項1記載の臨場感伝達システム。 - 前記マイクロフォンアレイ部は、複数のマイクロフォンアレイを含み、
前記音源定位手段は、複数のマイクロフォンアレイの各々に基づく音の到来方向と前記位置検出手段で検出された音源の位置が、交差することに応じて、前記音源の位置を特定し、
前記音空間再構成手段は、前記音源分離手段からの分離音をそれぞれ受信して、前記マイクロフォンアレイから前記音源までの距離による違いを補正するために、各分離音の音量をそれぞれ正規化するための音量制御処理手段を含む、請求項1〜3のいずれか1項に記載の臨場感伝達システム。 - 音源から被験者の各耳までの方向に応じた複数の頭部伝達関数の係数を保存するデータベースをさらに備え、
前記音空間再構成手段は、
前記第2の場所において、前記第1の場所の前記音源の位置の位置に相当する位置から前記被験者の各耳への頭部伝達関数を前記データベースから選択して、各前記耳へ再現するための音信号を合成する、請求項1〜4のいずれか1項に記載の臨場感伝達システム。 - 前記音声合成装置は、
前記被験者が前記第2の場所における自身の位置または顔姿勢を指定する指示手段と、
前記指示手段からの指示に応じて、前記音源分離手段からの分離音の信号の音量を個別に制御するための音量制御手段とをさらに備える、請求項1〜5のいずれか1項に記載の臨場感伝達システム。 - 第1の場所の音環境に関する情報を送信する送信装置からの情報に基づき、前記第1の場所の音環境を第2の場所で再現するための臨場感再現装置であって、前記送信装置からは、前記第1の場所における音源の位置を示す位置情報と、前記位置情報で特定された音源の位置からの音を分離した分離音の信号とが送信され、
前記第2の場所内の被験者の顔姿勢をリアルタイムで連続的に検出するための顔姿勢検出手段と、
前記被験者に装着され、前記被験者の両耳に対して前記音環境に対応する音を再現するための音再現手段と、
記音源定位手段から、前記音源の位置の位置を受信し、検出された顔姿勢に応じて、前記第1の場所の第1の座標系における前記音源の位置を前記第2の場所の第2の座標系における位置に変換して、前記第2の場所において、定位された前記音源からの音声が特定の方向から聞こえるように、前記第1の場所の前記音源の位置の位置に相当する位置から前記被験者の各耳への前記特定の方向に対応する頭部伝達関数を用いて、前記分離音の信号から前記音再現手段により各耳へ再現するための音信号を合成する音空間再構成手段とを備える、臨場感再現装置。 - 前記音再現手段は、ヘッドフォンであり、
前記顔姿勢検出手段は、前記ヘッドフォンに装着されたジャイロおよびコンパスを含む、請求項7記載の臨場感再現装置。 - 前記音再現手段は、ヘッドフォンであり、
前記顔姿勢検出手段は、撮像された前記被験者の画像から前記被験者の顔姿勢を推定する、請求項7記載の臨場感再現装置。 - 音源から被験者の各耳までの方向に応じた複数の頭部伝達関数の係数を保存するデータベースをさらに備え、
前記音空間再構成手段は、
前記第2の場所において、前記第1の場所の前記音源の位置の位置に相当する位置から前記被験者の各耳への頭部伝達関数を前記データベースから選択して、各前記耳へ再現するための音信号を合成する、請求項7〜9のいずれか1項に記載の臨場感再現装置。 - 前記被験者が前記第2の場所における自身の位置または顔姿勢を指定する指示手段と、
前記指示手段からの指示に応じて、前記音源分離手段からの分離音の信号の音量を個別に制御するための音量制御手段とをさらに備える、請求項7〜10のいずれか1項に記載の臨場感再現装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014234480A JP6587047B2 (ja) | 2014-11-19 | 2014-11-19 | 臨場感伝達システムおよび臨場感再現装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014234480A JP6587047B2 (ja) | 2014-11-19 | 2014-11-19 | 臨場感伝達システムおよび臨場感再現装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016100677A JP2016100677A (ja) | 2016-05-30 |
JP6587047B2 true JP6587047B2 (ja) | 2019-10-09 |
Family
ID=56078134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014234480A Active JP6587047B2 (ja) | 2014-11-19 | 2014-11-19 | 臨場感伝達システムおよび臨場感再現装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6587047B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3588988B1 (en) * | 2018-06-26 | 2021-02-17 | Nokia Technologies Oy | Selective presentation of ambient audio content for spatial audio presentation |
CN111768479B (zh) * | 2020-07-29 | 2021-05-28 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备以及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003122374A (ja) * | 2001-10-17 | 2003-04-25 | Nippon Hoso Kyokai <Nhk> | サラウンド音響生成方法、その装置およびそのプログラム |
JP5380945B2 (ja) * | 2008-08-05 | 2014-01-08 | ヤマハ株式会社 | 音響再生装置およびプログラム |
JP5724125B2 (ja) * | 2011-03-30 | 2015-05-27 | 株式会社国際電気通信基礎技術研究所 | 音源定位装置 |
JP6056625B2 (ja) * | 2013-04-12 | 2017-01-11 | 富士通株式会社 | 情報処理装置、音声処理方法、及び音声処理プログラム |
-
2014
- 2014-11-19 JP JP2014234480A patent/JP6587047B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016100677A (ja) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6665379B2 (ja) | 聴覚支援システムおよび聴覚支援装置 | |
US10397722B2 (en) | Distributed audio capture and mixing | |
US10251012B2 (en) | System and method for realistic rotation of stereo or binaural audio | |
JP4916547B2 (ja) | バイノーラル情報をユーザに伝える方法及びバイノーラル音響システム | |
EP3253078B1 (en) | Wearable electronic device and virtual reality system | |
US10257637B2 (en) | Shoulder-mounted robotic speakers | |
EP3363017A1 (en) | Distributed audio capture and mixing | |
US10880669B2 (en) | Binaural sound source localization | |
WO2020117283A1 (en) | Audio augmentation using environmental data | |
US11641561B2 (en) | Sharing locations where binaural sound externally localizes | |
Gamper | Enabling technologies for audio augmented reality systems | |
US11032660B2 (en) | System and method for realistic rotation of stereo or binaural audio | |
US20240171929A1 (en) | System and Method for improved processing of stereo or binaural audio | |
JP6587047B2 (ja) | 臨場感伝達システムおよび臨場感再現装置 | |
Geronazzo et al. | Superhuman hearing-virtual prototyping of artificial hearing: a case study on interactions and acoustic beamforming | |
Niwa et al. | Efficient Audio Rendering Using Angular Region-Wise Source Enhancement for 360$^{\circ} $ Video | |
Moldoveanu et al. | TRAINING SYSTEM FOR IMPROVING SPATIAL SOUND LOCALIZATION. | |
Waters et al. | Using bat-modelled sonar as a navigational tool in virtual environments | |
KR20160136716A (ko) | 오디오 신호 처리 방법 및 장치 | |
Liu et al. | Auditory scene reproduction for tele-operated robot systems | |
Basu et al. | Vision-steered audio for interactive environments | |
El-Mohandes et al. | DeepBSL: 3-D Personalized Deep Binaural Sound Localization on Earable Devices | |
Ishi et al. | A sound-selective hearing support system using environment sensor network | |
WO2023173285A1 (zh) | 音频处理方法、装置、电子设备及计算机可读存储介质 | |
Gamper | Audio augmented reality in telecommunication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180710 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190827 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6587047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |