JP2021081533A - 音信号変換プログラム、音信号変換方法、及び、音信号変換装置 - Google Patents

音信号変換プログラム、音信号変換方法、及び、音信号変換装置 Download PDF

Info

Publication number
JP2021081533A
JP2021081533A JP2019207622A JP2019207622A JP2021081533A JP 2021081533 A JP2021081533 A JP 2021081533A JP 2019207622 A JP2019207622 A JP 2019207622A JP 2019207622 A JP2019207622 A JP 2019207622A JP 2021081533 A JP2021081533 A JP 2021081533A
Authority
JP
Japan
Prior art keywords
channel
sound signal
signal
phase
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019207622A
Other languages
English (en)
Inventor
洋平 岸
Yohei Kishi
洋平 岸
鈴木　政直
Masanao Suzuki
政直 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019207622A priority Critical patent/JP2021081533A/ja
Priority to US17/062,122 priority patent/US11463806B2/en
Publication of JP2021081533A publication Critical patent/JP2021081533A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
    • H04R1/38—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means in which sound waves act upon both sides of a diaphragm and incorporating acoustic phase-shifting means, e.g. pressure-gradient microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】ＭＳ方式マイクロフォンによって収音した音の音源方向の判定精度を向上させることを可能とすることを目的とする。【解決手段】ＭＳ方式マイクのＭチャネルの音信号の位相、または、ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相とＳチャネルの負チャネルの音信号の位相とに基づいて、Ｍチャネル及び正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及びＭチャネル及び負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成する。第１シフト信号または第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する。【選択図】図６

Description

本発明は、音信号変換プログラム、音信号変換方法、及び、音信号変換装置に関する。
医療現場で音声翻訳システムを利用する場合、医療者の両手が塞がっている状態である場合が多く、例えば、手を使用するボタン操作などを行うことは困難であるため、音声で操作を行う機能が求められている。音声で操作を行う機能では、音声に基づいて、医療者と患者との何れが発話しているのか判別し、発話部分の検出、切り出し、及び音声翻訳が自動で行われることが所望される。
音声の入力にチャネルを複数もつマイクロフォンを使用することで、どの話者が発話しているのか判別することが可能となる。チャネルを複数もつマイクロフォンには、例えば、ＭＳ方式マイクロフォンが存在する。
しかしながら、ＭＳ方式マイクロフォンを使用する場合、ＭＳ方式マイクロフォンと音源との間の仰角によって音源方向の判定が適切に行えない場合がある。
本発明は、１つの側面として、ＭＳ方式マイクロフォンによって収音した音の音源方向の判定精度を向上させることを可能とすることを目的とする。
１つの実施形態では、ＭＳ方式マイクのＭチャネルの音信号の位相、または、ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相とＳチャネルの負チャネルの音信号の位相とに基づいて、第１シフト信号及び第２シフト信号を生成する。第１シフト信号は、Ｍチャネル及び正チャネルへの音の到達距離の差による位相差を解消し、第２シフト信号は、Ｍチャネル及び負チャネルへの音の到達距離の差による位相差を解消する。第１シフト信号または第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する。
本発明は、１つの側面として、ＭＳ方式マイクロフォンによって収音した音の音源方向の判定精度を向上させることを可能とする。
本実施形態の音声認識システムのハードウェア構成図の一例である。 ＭＳ方式マイクロフォンの機能を説明するための概念図の一例である。 ＸＹ方式マイクロフォンの機能を説明するための概念図の一例である。 ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差を説明するための概念図の一例である。 ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差を説明するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角を例示するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角と音の判定方向との関係を例示する概念図の一例である。 ＭＳ方式マイクロフォンに対する音源の位置と、ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差との関係を説明するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角及び水平角と、ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差との関係を説明するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの水平角と、ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差との関係を説明するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの水平角と、ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差との関係を説明するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角と、ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差との関係を説明するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角と、ＭチャネルマイクロフォンとＳチャネルマイクロフォンとの音信号の位相差との関係を説明するための概念図の一例である。 Ｍチャネルマイクロフォンの音信号とＳチャネル及び−Ｓチャネルの音信号との類似について説明するための概念図の一例である。 本実施形態の音信号変換装置の補正部のハードウェア構成図の一例である。 Ｍチャネルマイクロフォンの音信号の位相の補正を説明するための概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角及び水平角によるＭチャネルマイクロフォンの音信号の位相の遅延を説明するための概念図の一例である。 Ｍチャネル及びＳチャネルの音信号を使用して近似変換されたＬチャネル及びＲチャネルの音信号を表す概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角及び水平角によるＭチャネルマイクロフォンの音信号の位相の遅延の補正を説明するための概念図の一例である。 Ｍチャネル及びＳチャネルの音信号を使用して近似変換されたＬチャネル及びＲチャネルの音信号を表す概念図の一例である。 ＭＳ方式マイクロフォンに対する音源からの仰角と音の判定方向との関係を例示する概念図の一例である。 本実施形態の音信号変換装置のハードウェア構成図の一例である。 第１実施形態の音信号変換処理の流れを示すフローチャートの一例である。 Ｍチャネルマイクロフォンの音信号の位相の補正を説明するための概念図の一例である。 Ｍチャネルマイクロフォンの音信号の位相の補正を説明するための概念図の一例である。 Ｍチャネルマイクロフォンの音信号の位相の補正を説明するための概念図の一例である。 Ｍチャネルマイクロフォンの音信号の位相の補正を説明するための概念図の一例である。 第２実施形態の音信号変換処理の流れを示すフローチャートの一例である。 Ｍチャネルマイクロフォンの音信号とＳチャネルマイクロフォンの音信号との位相差と仰角との関係を説明するための概念図の一例である。 Ｍチャネルマイクロフォンの音信号とＳチャネルマイクロフォンの音信号との位相差と仰角との関係を説明するための概念図の一例である。 第２実施形態の音信号変換処理の流れを示すフローチャートの一例である。
［第１実施形態］
以下、図面を参照して第１実施形態の一例を詳細に説明する。
図１に例示する音声認識システム１は、ＭチャネルとＳチャネルとを含むＭＳ方式マイクロフォン（Mid-Side Microphone、以下、ＭＳマイクという。また、マイクロフォンをマイクという。）１０、音信号変換装置２０、音声処理装置３０、及び音声認識装置４０を含む。
ＭＳマイクは、図２に例示するように、正面方向ＭＯの指向性を有する単一指向性マイクであるＭチャネルマイクと、左右方向ＳＰＯ及びＳＮＯの指向性を有する双指向性マイクであるＳチャネルマイクと、を含み、正面方向の音と左右方向の音とを収音する。双指向性マイクは、左右２つの方向から収音するマイクであり、一方の方向からの音信号は正相、他方の方向からの音信号は逆相である。ここでは、正相の音信号を収音する方を正チャネルと呼び、逆相の音信号を収音する方を負チャネルと呼ぶ。
音信号変換装置２０は、生成部及び選択部の一例である補正部２１及び変換部２２を含む。補正部２１は、Ｍチャネル及びＳチャネルで収音した音の音信号の何れか一方の位相を他方の位相に合わせるように補正する。変換部２２は、補正部２１で補正された音信号を使用して、Ｍチャネル及びＳチャネルで収音された音の音信号をＬチャネル及びＲチャネルで収音された音の音信号に近似変換する。Ｌチャネルとは、ＸＹ方式マイクの正面左側の音を収音するチャネルであり、Ｒチャネルとは、ＸＹ方式マイクの正面右側の音を収音するチャネルである。
音声処理装置３０は、バッファ３１、音圧差算出部３２、方向判定部３３、発話検出部３４Ｌ及び３４Ｒ、及び音声処理部３５を含む。バッファ３１は、音信号変換装置２０から受信したＬチャネル及びＲチャネルの音信号を一時的に記憶し、音圧差算出部３２、発話検出部３４Ｌ及び３４Ｒに送信する。
音圧差算出部３２は、Ｌチャネルの音信号とＲチャネルの音信号との音圧差を算出し、方向判定部３３は、音圧差算出部３２から受信した音圧差に基づいて音源が存在する方向を判定する。発話検出部３４Ｌは、Ｌチャネルの音信号における発話区間を検出し、発話検出部３４Ｒは、Ｒチャネルの音信号における発話区間を検出する。音声処理部３５は、方向判定部３３により判定された音源、即ち、話者が存在する方向と、発話検出部３４Ｌまたは３４Ｒで検出された発話区間を使用して、認識する音声の切り出しを行う。例えば、話者が存在する方向がＭＳマイク１０の正面右側である場合、Ｒチャネルの音信号だけを音声認識装置４０に送信する。
音声認識装置４０は、音声処理装置３０から受信した音声及び情報を使用して、音声認識を行う。例えば、話者が存在する方向がＭＳマイク１０の正面右側であれば、音声を第１言語として認識し、話者が存在する方向がＭＳマイク１０の正面左側であれば、音声を第２言語として認識する。第１言語は、例えば、英語であってよく、第２言語は、例えば、日本語であってよい。
次に、音信号変換装置２０の動作を説明する。ＸＹ方式マイク（以下、ＸＹマイクという。）は、図３に例示するように、左方向ＬＯの指向性を有する単一指向性マイクであるＬチャネルマイクと、右方向ＲＯの指向性を有する単一指向性マイクであるＲチャネルマイクと、を含む。ＸＹマイクは、左方向の音と右方向の音とを収音する。
（１）式を使用して、ＭＳマイクのＭチャネルで収音された音の音信号ＶＭ、及び、Ｓチャネルで収音された音の音信号ＶＳを、Ｌチャネルで収音された音の音信号ＶＬ、及びＲチャネルで収音された音の音信号ＶＲに近似的に変換することができる。変換の際に、Ｓチャネルで収音された音の音信号ＶＳの係数ｋを調整することで音の広がり感を調整する。係数ｋが大きいほど、広がり感が生じる。
ＶＬ＝（ＶＭ＋ｋＶＳ）／２
ＶＲ＝（ＶＭ−ｋＶＳ）／２ …（１）
Ｍチャネルの音信号のスペクトルＦＭ及びＳチャネルの音信号のスペクトルＦＳは、（２）式を使用して表すことができる。
ＦＭ＝ＶＭｒｅ＋ｉＶＭｉｍ
ＦＳ＝ＶＳｒｅ＋ｉＶＳｉｍ …（２）
ＶＭｒｅは音信号ＶＭの実数部を表す実数であり、ＶＭｉｍは音信号ＶＭの虚数部を表す実数であり、ＶＳｒｅは音信号ＶＳの実数部を表す実数であり、ＶＳｉｍは音信号ＶＳの虚数部を表す実数である。
Ｌチャネルの音圧｜ＶＬ｜及びＲチャネルの音圧｜ＶＲ｜は、（３）式を使用して算出することができる。
｜ＶＬ｜＝１０ｌｏｇ１０｛（ＶＭｒｅ＋ｋＶＳｒｅ）２＋（ＶＭｉｍ＋ｋＶＳｉｍ）２｝
＝１０ｌｏｇ１０｛（ＶＭｒｅ ２＋ＶＭｉｍ ２）＋ｋ２（ＶＳｒｅ ２＋ＶＳｉｍ ２）
＋２ｋ（ＶＭｒｅＶＳｒｅ＋ＶＭｉｍＶＳｉｍ）｝
｜ＶＲ｜＝１０ｌｏｇ１０｛（ＶＭｒｅ−ｋＶＳｒｅ）２＋（ＶＭｉｍ−ｋＶＳｉｍ）２｝
＝１０ｌｏｇ１０｛（ＶＭｒｅ ２＋ＶＭｉｍ ２）＋ｋ２（ＶＳｒｅ ２＋ＶＳｉｍ ２）
＋２ｋ（ＶＭｒｅ・（−ＶＳｒｅ）＋ＶＭｉｍ・（−ＶＳｉｍ））｝ …（３）
即ち、Ｌチャネルの音圧は、Ｍチャネルの音圧ＶＭｒｅ ２＋ＶＭｉｍ ２、Ｓチャネルの音圧ＶＳｒｅ ２＋ＶＳｉｍ ２、及び、Ｍチャネルの音とＳの正チャネルの音の内積ＶＭｒｅＶＳｒｅ＋ＶＭｉｍＶＳｉｍの合計で近似される。一方、Ｒチャネルの音圧は、Ｍチャネルの音圧ＶＭｒｅ ２＋ＶＭｉｍ ２、Ｓチャネルの音圧ＶＳｒｅ ２＋ＶＳｉｍ ２、及び、Ｍチャネルの音とＳの負チャネルの音の内積ＶＭｒｅ・（−ＶＳｒｅ）＋ＶＭｉｍ・（−ＶＳｉｍ）の合計で近似される。
したがって、Ｍチャネルの音信号とＳの正チャネルの音信号の内積ＶＭｒｅＶＳｒｅ＋ＶＭｉｍＶＳｉｍが大きいほど、即ち、Ｍチャネルの音信号とＳの正チャネルの音信号とが類似していると、Ｌチャネルの音圧が大きくなる。一方、Ｍチャネルの音信号とＳの負チャネルの音信号の内積ＶＭｒｅ・（−ＶＳｒｅ）＋ＶＭｉｍ・（−ＶＳｉｍ）が大きいほど、即ち、Ｍチャネルの音信号とＳの負チャネルの音信号とが類似していると、Ｒチャネルの音圧が大きくなる。
図４に例示するように、ＭＳマイクの正面右側に音源ＳＳが存在する場合、ＭチャネルとＳの負チャネル（以下、−Ｓチャネルともいう。）とで類似した音が収音される。しかしながら、音源ＳＳとＭＳマイクまでの距離がＭチャネルではＤＭ１であり、−ＳチャネルではＤＳ１であるため、Ｍチャネルの音信号と−Ｓチャネルの音信号とは位相が異なる。即ち、Ｍチャネルの音信号は、距離｜ＤＭ１−ＤＳ１｜の分だけ位相が遅延する。
但し、距離｜ＤＭ１−ＤＳ１｜は短い。したがって、図５に例示するように、遅延量Ｄ１も小さいため、Ｍチャネルの音信号と−Ｓチャネルの音信号との類似度は、Ｍチャネルの音信号と−Ｓチャネルの音信号を反転した音信号であるＳチャネルの音信号との類似度よりも大きい。したがって、Ｍチャネルの音信号及び−Ｓチャネルの音信号から算出されるＲチャネルの音圧は大きく、Ｍチャネルの音信号及びＳチャネルの音信号から算出されるＬチャネルの音圧は小さいため、音源ＳＳがＭＳマイクの正面右側に存在する、と判定される。なお、図５では、動作の理解を容易にするため、音信号を正弦波で表している。
ＭＳマイクを使用する場合に、図６に例示する仰角ＥＡが大きくなると、音圧差の算出精度が低下し、音源が存在する方向の判定が困難となる。仰角とは、ＭＳマイクを含む水平面とＭＳマイクと音源とをつなぐ直線とがなす角度であり、音源がユーザである場合、ユーザの背の高さ、及び、ユーザとＭＳマイクとの距離によって変動する。
図７に、音源の位置をＭＳマイクの正面左側９０°、４５°、正面即ち０°、正面右側４５°、９０°に設定し、各々で、音源の位置を仰角が０°（ＥＡ０）及び９０°（ＥＡ９０）とし、音源から同じ音を発生させて音圧差を測定した結果を示す。音源がＭＳマイクの正面左側９０°、正面、及び、正面右側９０°の位置に存在する場合は、仰角が０°（ＥＡ０）であっても、９０°（ＥＡ９０）であっても、音源の位置が適切に判定されている。
また、音源がＭＳマイクの正面左側４５°及び正面右側４５°に存在する場合、仰角が０°（ＥＡ０）であれば、音源の位置は適切に判定されている。しかしながら、音源がＭＳマイクの正面左側４５°及び正面右側４５°に存在する場合、仰角が９０°（ＥＡ９０）であると、音源の方向が適切に判定されていない。
図８に例示するように、ＭチャネルマイクがＳチャネルマイクの上に配置されている場合に、仰角の角度が大きいと、仰角によっても距離｜ＤＭ２−ＤＳ２｜の分だけ音信号の位相差が発生する。ＭチャネルマイクとＳチャネルマイクとを左右に配置する場合、水平角によって同様の問題が発生する。
図９に例示するように、水平角による位相の遅延Ｄ１と、仰角による位相の遅延Ｄ２の合計が音源からの音信号の半波長に近付くと、Ｍチャネルの音信号と、−Ｓチャネルの反転信号であるＳチャネルの音信号との類似度が大きくなる。これにより、Ｌチャネルの音圧が大きくなり、ＭＳマイクの左側に音源が存在すると誤判定される。一方、−Ｓチャネルの音信号とＭチャネルの音信号との類似度は、Ｍチャネルの音信号の遅延により低くなり、Ｒチャネルの音圧は小さくなる。
なお、図１０及び図１１に例示するように、上方向から見た場合、ＭチャネルマイクとＳチャネルマイクとは中心位置が近い。したがって、左右のずれ、即ち、水平角θＨの大きさに拘わらず、音源ＳＳとＭチャネルマイクとの距離ＤＭと、音源ＳＳとＳチャネルマイクとの距離ＤＳと、の差｜ＤＭ−ＤＳ｜は小さい。
一方、図１２及び図１３に例示するように、横方向から見た場合、上方向から見た場合と比較して、Ｍチャネルマイクの中心位置とＳチャネルマイクの中心位置とは遠い。したがって、音源ＳＳとＭチャネルマイクとの距離ＤＭと、音源ＳＳとＳチャネルマイクとの距離ＤＳと、の差｜ＤＭ−ＤＳ｜は大きい。差｜ＤＭ−ＤＳ｜は、仰角θＥが大きくなるほど大きくなるため、通常、大きい仰角でのＭＳマイクの使用は推奨されない。
例えば、図１４の例では、ＭＳマイクの正面右側に音源があり、Ｍチャネルの音信号と−Ｓチャネルの音信号とが類似している。例えば、Ｍチャネルの極値ＰＭと−Ｓチャネルの極値ＰＳ２とが対応し、Ｓチャネルの極値ＰＳ１は、極値ＰＳ２を反転した値をもつ。しかしながら、Ｍチャネルの音信号は遅延しているため、Ｍチャネルの音信号と−Ｓチャネルの音信号から近似されるＲチャネルの音圧は小さくなる。一方、破線ＢＬで示すように、極大値だけを比較すると、Ｍチャネルの音信号とＳチャネルの音信号とは見かけ上類似し、Ｍチャネルの音信号とＳチャネルの音信号から近似されるＬチャネルの音圧が大きくなる。
図１５に例示するように、補正部２１は、反転部５１、位相シフト部５３、類似度算出部５４、及び信号選択部５５を含む。本実施例では、適切なチャネルの音圧が大きくなるように、Ｓチャネルの音信号及び−Ｓチャネルの音信号の位相を基準としてＭチャネルの音信号の位相を補正する。反転部５１は、Ｓチャネルの音信号を反転して−Ｓチャネルの音信号を生成する。
位相シフト部５３は、Ｍチャネルの音信号の位相を第１所定量ずつシフトする。類似度算出部５４は、シフトしたＭチャネルの音信号と、Ｓチャネル及び−Ｓチャネルの音信号との類似度を算出する。信号選択部５５は、類似度が最大となる補正シフト量を選択し、Ｓチャネル及び−Ｓチャネルのうち、類似度が最大となるチャネルを選択する。図１６に、Ｍチャネルの音信号の位相を進み方向にシフトしたシフト信号ＶＭ＋及び遅れ方向にシフトしたシフト信号ＶＭ−を例示する。
（４）式は、音信号ＶＭの位相、ここでは、デジタル信号である音信号ＶＭにおけるサンプルをシフトした信号であるシフト信号ＶＭＨを示す。ＶＭＨ（ｔ，ｐ）はサンプルｔの信号ＶＭの位相をｐサンプル分シフトした信号であり、ｔは何番目のサンプルであるかを表し、ｐはシフトするサンプル数を表す。シフトするサンプル数の範囲は、例えば、−ｎｎ≦ｐ≦ｎｎであってよく、ｎｎは、例えば、７であってよい。
ＶＭＨ（ｔ，ｐ）＝ＶＭ（ｔ＋ｐ） …（４）
対話音声を認識する場合、音声の取得にタブレットなどの小型端末を使用することが多い。タブレットで使用されるＭＳマイクは小型であるため、ＭチャネルマイクとＳチャネルマイクとの間の距離は、一般に５ｃｍよりも短い。マイク間の音の到達時間差は、例えば、（５）式で算出される。
マイク間の音の到達時間差＝最大マイク間距離／音速 …（５）
マイク間の距離を５ｃｍであると仮定すると、音信号の位相差は、例えば、（６）式で算出されるように、７．２５サンプルとなる。
マイク間の到達時間差＝５［ｃｍ］／３３１［ｍ／ｓ］
＝０．０５［ｍ］／３３１［ｍ／ｓ］
＝１．５１×１０−４［ｓ］ …（６）
サンプリング周波数が４８［ｋＨｚ］である場合、位相差サンプル数は、例えば、（７）式で算出される。
位相差［サンプル］＝４８０００×１．５１×１０−４≒７．２５［サンプル］
…（７）
類似度算出部５４は、類似度として、例えば、音信号ＶＭＨとＶＳとの２信号間の相互相関係数及び音信号ＶＭＨとＶ−Ｓとの２信号間の相互相関係数を算出する。音信号ＶＭＨとＶＳとの２信号間の相互相関係数は、例えば、（８）式を使用して算出することができ、相互相関係数は、２信号が類似している程度を表す。相互相関係数が１に近いほど２信号は類似しており、０に近いほど２信号は類似していない。
Figure 2021081533
Ｃ＋は音信号ＶＭＨとＶＳとの相互相関係数であり、Ｃ＋（ｐ，ｔ）はシフトするサンプル数がｐであり、サンプル時点がｔである場合の相互相関係数であり、ＶＭＨは位相シフトした音信号ＶＭである。Ｎは相互相関の計算範囲長さであり、ＶＭＨバーは、信号ＶＭＨ（ｔ−ｎ，ｐ）のｎ＝０〜Ｎ−１における平均値であり、ＶＳバーは、信号ＶＳ（ｔ−ｎ）のｎ＝０〜Ｎ−１における平均値である。ｓｄ（ＶＭＨ）は、信号ＶＭＨ（ｔ−ｎ，ｐ）のｎ＝０〜Ｎ−１における標準偏差であり、ｓｄ（ＶＳ）は、信号ＶＳ（ｔ−ｎ）のｎ＝０〜Ｎ−１における標準偏差である。
Ｎは、例えば、０．１秒に相当するサンプル数であってよい。Ｃ−（ｐ，ｔ）＝−Ｃ＋（ｐ，ｔ）であり、Ｃ−（ｐ，ｔ）は、シフトするサンプル数がｐであるサンプル時点ｔにおける音信号ＶＭＨとＶ−Ｓとの相互相関係数である。
信号選択部５５は、算出した相互相関係数Ｃ＋（ｐ，ｔ）及びＣ−（ｐ，ｔ）のうち、最大の値を選択し、最大の値の相互相関係数に応じて、Ｓチャネルまたは−Ｓチャネルの何れかを選択信号として選択し、Ｍチャネルの音信号をシフトするサンプル数を選択する。（９）式に例示するように、ｐｐサンプル分シフトしたＭチャネルの音信号ＶＭＨと、選択されたＳチャネルまたは−Ｓチャネルの音信号とを、近似的にＬチャネルの音信号とＲチャネルの音信号とに変換する。
ＶＬ＝（ＶＭＨ＋ｋＶＳ）／２
ＶＲ＝（ＶＭＨ−ｋＶＳ）／２ …（９）
ここでは、音の広がり感を調整しなくてよいため、左右の違いが最も顕著となるようにｋ＝１．０であってよい。
図１７では、音信号の波形が正弦波であると仮定する。この場合、Ｍチャネルの音信号がＤ１＋Ｄ２分遅延した状態でＬチャネルの音信号とＲチャネルの音信号とに近似変換すると、図１８に例示するように、Ｌチャネル及びＲチャネル共に音圧が小さくなる。一方、図１９に例示するように、Ｍチャネルの音信号の位相を類似度が大きい方のチャネルと合うように補正した後、即ち、−Ｓチャネルとの位相差が０となるように補正した後、Ｌチャネルの音信号とＲチャネルの音信号とに近似変換する。この場合、図２０に例示するように、Ｒチャネルの音圧が大きくなり、一方、Ｌチャネルの音圧は小さくなる。Ｍチャネルの音信号と−Ｓチャネルの音信号とが同相となり、Ｍチャネルの音信号とＳチャネルの音信号とが逆相となるためである。
Ｍチャネルの音信号ＶＭとＳチャネルの音信号ＶＳとが、違いが位相差のみである正弦波であると仮定すると、Ｍチャネルの音信号ＶＭとＳチャネルの音信号ＶＳは、（１０）式で表される。音信号ＶＭの振幅をＡＭ、音信号ＶＳの振幅をＡＳとし、ωは角周波数を表し、ｔは時間を表し、ｄは位相の遅延量を表す。
ＶＭ＝ＡＭｃｏｓωｔ
ＶＳ＝ＡＳｃｏｓω（ｔ−ｄ） …（１０）
ｋ＝１とした場合、音信号ＶＬ及びＶＲは（１１）式で算出される。（１１）式において、ψ１及びψ２は、（１２）式を満たす角度である。
Figure 2021081533
（１１）式で表されるように、音信号ＶＬ及びＶＲの角周波数は元の音信号ＶＭ及びＶＳと同様であり、位相及び振幅が変化する。音信号ＶＳの位相がＶＭの位相に合うように補正し、振幅の差が最大となるＶＬ及びＶＲは、（１３）式で算出される（ｄ＝０）。
ＶＬ＝（ＡＭ＋ＡＳ）／２ｃｏｓ（ωｔ）
ＶＲ＝（ＡＭ−ＡＳ）／２ｃｏｓ（ωｔ） …（１３）
音信号Ｖ−Ｓの位相がＶＭの位相に合うように補正し、振幅の差が最大となるＶＬ及びＶＲは、（１４）式で算出される（ｄ＝π／ω）。
ＶＬ＝（ＡＭ−ＡＳ）／２ｃｏｓ（ωｔ）
ＶＲ＝（ＡＭ＋ＡＳ）／２ｃｏｓ（ωｔ） …（１４）
（１３）式及び（１４）式で表されるように、位相差を補正することで、Ｌチャネルの音信号とＲチャネルの音信号との音圧差が適切に現れるようになる。図２１に例示するように、音源がＭＳマイクの正面右側４５°、仰角が９０°であって、位相差を補正しない場合、音源が右側に存在することを適切に判定していない（ＥＡ９０ＲＡ）。しかしながら、位相差を補正すると、音源が右側に存在することを、仰角が０°である場合（ＥＡ０）と同程度に適切に判定する（ＥＡ９０（ＴＡ））。
なお、類似度は、相互相関係数でなくてもよい。例えば、Ｍチャネルの音信号、Ｓチャネル、及び−Ｓチャネルの音信号を各々周波数領域信号に変換する。Ｍチャネルの周波数領域信号とＳチャネルの周波数領域信号とから算出される位相差、及び、Ｍチャネルの周波数領域信号と−Ｓチャネル信号の周波数領域信号とから算出される位相差、を類似度として使用してもよい。
音信号変換装置１０は、一例として、図２２に示すように、ＣＰＵ（Central Processing Unit）６１、一次記憶部６２、二次記憶部６３、及び、外部インターフェイス６４を含む。ＣＰＵ６１は、ハードウェアであるプロセッサの一例である。ＣＰＵ６１、一次記憶部６２、二次記憶部６３、及び、外部インターフェイス６４は、バス６９を介して相互に接続されている。
一次記憶部６２は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部６３は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの不揮発性のメモリである。
二次記憶部６３は、プログラム格納領域６３Ａ及びデータ格納領域６３Ｂを含む。プログラム格納領域６３Ａは、一例として、音信号変換プログラムなどのプログラムを記憶している。データ格納領域６３Ｂは、一例として、ＭＳマイク１０で収音される音に対応する音信号及び音信号変換プログラムを実行している間に生成される中間データなどを記憶する。
ＣＰＵ６１は、プログラム格納領域６３Ａから音信号変換プログラムを読み出して一次記憶部６２に展開する。ＣＰＵ６１は、音信号変換プログラムをロードして実行することで、図１の補正部２１及び変換部２２として動作する。詳細には、ＣＰＵ６１は、図１５の反転部５１、位相シフト部５３、類似度算出部５４及び信号選択部５５として動作する。
なお、音信号変換プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部６２に展開されてもよい。また、音信号変換プログラムなどのプログラムは、ＤＶＤ（Digital Versatile Disc）などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部６２に展開されてもよい。
外部インターフェイス６４には外部装置が接続され、外部インターフェイス６４は、外部装置とＣＰＵ６１との間の各種情報の送受信を司る。図２２では、外部インターフェイス６４に、ＭＳマイク１０及び音声処理装置３０が接続され、音声処理装置３０に音声認識装置４０が接続されている例を示している。
しかしながら、ＭＳマイク１０、音声処理装置３０及び音声認識装置４０は、音信号変換装置２０に内蔵されていてもよい。また、ＭＳマイク１０、音声処理装置３０及び音声認識装置４０の１つまたは２つが、音信号変換装置２０に内蔵されていてもよい。
また、音信号変換装置２０は、例えば、専用装置であってもよいし、ワークステーション、パーソナルコンピュータ、またはタブレットであってもよい。ＭＳマイク１０、音信号変換装置２０、音声処理装置３０及び音声認識装置４０は、無線または有線で接続されていてもよい。また、音信号変換装置２０は、クラウド上に存在していてもよい。
次に、音信号変換処理の作用の概要を説明する。図２３は、音信号変換処理の流れを例示する。ＣＰＵ６１は、ステップ１０１で、ＭＳマイク１０で収音された音に対応する音信号を取得し、ステップ１０２で、Ｓチャネルで取得された音に対応する音信号を反転して−Ｓチャネルの音信号を生成する。
ＣＰＵ６１は、ステップ１０３で、変数ｐに−ｎｎを設定する。ｎｎは、例えば、７であってよい。ＣＰＵ６１は、ステップ１０４で、Ｍチャネルの音信号ＶＭの位相を変数ｐの値のサンプル分シフトする。ＣＰＵ６１は、ステップ１０５で、シフトしたＭチャネルの音信号ＶＭとＳチャネルの音信号ＶＳとの類似度及び音信号ＶＭと−Ｓチャネルの音信号Ｖ−Ｓとの類似度を算出する。
ＣＰＵ６１は、ステップ１０６で、変数ｐに１を加算し、ステップ１０７で、変数ｐの値がｎｎを超えたか否か判定する。変数ｐに加算される値は、第１所定量の一例であるサンプル数であり、１に限定されず、例えば、２であってもよい。ステップ１０７の判定が否定された場合、ＣＰＵ６１はステップ１０４に戻る。
ステップ１０７の判定が肯定されると、ＣＰＵ６１は、ステップ１０８で、Ｓチャネル及び−Ｓチャネルのうち、算出した類似度のうち最大の類似度に対応するチャネルを、音変換に使用する音信号として選択する。また、ＣＰＵ６１は、最大の類似度に対応するサンプル分位相をシフトした音信号ＶＭを、音変換に使用する音信号として選択する。ＣＰＵ６１は、ステップ１０９で、選択した音信号を使用して、Ｌチャネル及びＲチャネルの音信号への近似変換を行う。
本実施形態では、ＭＳ方式マイクロフォンのＭチャネル及び正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及びＭチャネル及び負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成する。第１シフト信号及び第２シフト信号の生成は、Ｍチャネルの音信号の位相、または、ＭＳマイクのＳチャネルの正チャネルの音信号の位相とＳチャネルの負チャネルの音信号の位相とに基づいて行われる。
第１シフト信号及び第２シフト信号の各々が正チャネル及び負チャネルの音信号の位相に基づいて生成される場合、第１シフト信号との類似度及び第２シフト信号との類似度のうち、類似度が大きい方のチャネルの音信号を第１選択信号として選択する。かつ、第１シフト信号及び第２シフト信号がＭチャネルの位相に基づいて生成される場合、第１シフト信号及び第２シフト信号のうち、Ｍチャネルの音信号との類似度が大きい方のシフト信号を第２選択信号として選択する。
第１及び第２シフト信号の各々が正チャネル及び負チャネルの音信号の位相に基づいて生成され、第１選択信号が正チャネルの音信号である場合、第１シフト信号と第１選択信号とを、ＸＹ方式マイクロフォンのＬチャネル及びＲチャネルの音信号に近似変換する。ＸＹ方式マイクロフォンは、以下、ＸＹマイクという。第１選択信号が負チャネルの音信号である場合、第２シフト信号と第１選択信号とを、ＸＹマイクのＬチャネル及びＲチャネルの音信号に近似変換する。第１シフト信号及び第２シフト信号がＭチャネルの音信号の位相に基づいて生成される場合、Ｍチャネルの音信号と第２選択信号とを、ＸＹマイクのＬチャネル及びＲチャネル信号に近似変換する。
本実施形態では、Ｍチャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎に正チャネルの音信号との類似度を算出し、類似度が最大となる位相の位相量だけ正チャネルの音信号をシフトさせて、第１シフト信号を生成する。または、Ｍチャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎に負チャネルの音信号との類似度を算出し、類似度が最大となる位相量だけ負チャネルの音信号をシフトさせて、第２シフト信号を生成する。また、正チャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎にＭチャネルの音信号との類似度を算出する。類似度が最大となる位相量だけＭチャネルの音信号をシフトさせて、第１シフト信号を生成する。負チャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎にＭチャネルの音信号との類似度を算出し、類似度が最大となる位相量だけＭチャネルの音信号をシフトさせて、第２シフト信号を生成する。
本実施形態によれば、ＭＳ方式マイクロフォンに対する音源の仰角が大きい場合であっても、ＭＳ方式マイクロフォンによって収音した音の音源方向の判定精度を向上させることを可能とする。
本実施形態によれば、ＭＳ方式マイクロフォンによって取得した音の音源方向の判定精度を向上させることを可能とする。
［第２実施形態］
以下、図面を参照して第２実施形態の一例を詳細に説明する。第１実施形態と同様の構成及び作用については、説明を省略する。
第２実施形態では、まず、Ｍチャネルの音信号ＶＭの位相を微小シフトさせて、Ｓチャネルの正チャネルの音信号ＶＳ及び負チャネルの音信号Ｖ−Ｓとの類似度を算出する。これにより、類似度に基づいて音信号ＶＭの適切なシフト方向を判定し、適切な方向に音信号ＶＭの位相をシフトさせることで計算量を削減する。
図２４に例示するように、第２実施形態では、まず、例えば、（１５）式を使用して、音信号ＶＭの位相を微小量ｄｄシフトした信号ＶＭ＋’、ＶＭ−’を生成する。微小量ｄｄは、第２所定量の一例であり、例えば、１サンプルであってよい。
ＶＭ＋’（ｔ）＝ＶＭ（ｔ−ｄｄ）
ＶＭ−’（ｔ）＝ＶＭ（ｔ＋ｄｄ） …（１５）
図２５に例示するように、ＶＭの微小量シフト信号であるＶＭ＋’とＳチャネルの音信号ＶＳとの類似度Ｃ１（ｔ）、及び、ＶＭ＋’と−Ｓチャネルの音信号Ｖ−Ｓとの類似度Ｃ２（ｔ）を算出する。また、ＶＭの微小量シフト信号であるＶＭ−’と音信号ＶＳとの類似度Ｃ３（ｔ）、及びＶＭ−’と音信号Ｖ−Ｓとの類似度Ｃ４（ｔ）を算出する。類似度は、上記相互相関係数であってよい。
Ｃ１（ｔ）〜Ｃ４（ｔ）の中で最大である類似度に対応する音信号ＶＭのシフト方向を判定し、当該類似度がＳチャネルに対応するか−Ｓチャネルに対応するかを判定する。類似度Ｃ１（ｔ）またはＣ２（ｔ）が最大である場合、位相を進み方向にシフトし、類似度Ｃ３（ｔ）またはＣ４（ｔ）が最大である場合、位相を遅れ方向にシフトさせる。また、類似度Ｃ１（ｔ）またはＣ３（ｔ）が最大である場合、Ｓチャネルを選択し、類似度Ｃ２（ｔ）またはＣ４（ｔ）が最大である場合、−Ｓチャネルを選択する。
図２６に例示するように、選択した方向、ここでは、遅れ方向へ音信号ＶＭの位相を所定サンプル数ずつシフトする。所定サンプル数は１であってよい。図２７に例示するようにシフト信号と−Ｓチャネルの音信号との類似度が値ＭＶの極大点ＥＰをとる際にシフトしたサンプル数を補正シフト量ＳＨとし、音信号ＶＭの位相を当該補正シフト量ＳＨシフトしたシフト信号を生成する。図２５の例では、シフト信号ＶＭ−’と−Ｓチャネルの音信号の類似度であるＣ４が最も大きいため、音信号ＶＭの位相を遅らせる方向に少しずつシフトする。生成したシフト信号及び−Ｓチャネルの音信号を使用して、Ｌチャネル及びＲチャネルの音信号に変換する。
次に、音信号変換処理の作用の概要を説明する。図２８は、音信号変換処理の流れを例示する。ステップ１０１及びステップ１０２は、図２３のステップ１０１及び１０２と同様であるため、説明を省略する。
ＣＰＵ６１は、ステップ１４１で、Ｍチャネルの音信号ＶＭの位相を進める方向と位相を遅らせる方向とに微小量シフトし、ステップ１４２で、シフトした音信号ＶＭ＋’及びＶＭ−’とＳチャネル及び−Ｓチャネルの音信号との類似度Ｃ１〜Ｃ４を算出する。ＣＰＵ６１は、ステップ１４３で、類似度Ｃ１〜Ｃ４のうち最大の類似度に対応するように、音信号ＶＭの位相をシフトするシフト方向を決定し、Ｓチャネルの音信号を使用するか、−Ｓチャネルの音信号を使用するかを決定する。
ＣＰＵ６１は、ステップ１４４で、変数ｐｐに１を設定する。ＣＰＵ６１は、ステップ１４５で、Ｍチャネルの音信号ＶＭの位相を変数ｐｐの値のサンプル分、シフト方向にシフトする。ＣＰＵ６１は、ステップ１４６で、シフトしたＭチャネルの音信号ＶＭＨとＳチャネルの音信号ＶＳとの類似度、または、音信号ＶＭＨと−Ｓチャネルの音信号Ｖ−Ｓとの類似度を算出する。何れの類似度を算出するかは、ステップ１４３の決定に従う。
本実施形態では、ステップ１４７で、類似度が極大値であると判定した場合、即ち、１つ前の位相のシフトから類似度が低下した場合、ステップ１４９に進み、変数ｐｐから１を減算し、ステップ１５０に進む。１つ前の補正シフト量が、類似度が極大値を示す補正シフト量であるためである。ＣＰＵ６１は、ステップ１５０で、Ｓチャネル及び−Ｓチャネルのうち、ステップ１４３で決定されたチャネルを、音変換に使用する選択信号として選択する。ＣＰＵ６１は、変数ｐｐの値に対応するサンプル分位相を、ステップ１４３で決定された方向にシフトした音信号ＶＭＨを、音変換に使用する選択信号として選択する。
ステップ１４５の判定が否定された場合、ＣＰＵ６１は、ステップ１４５に戻る。ステップ１０９は、図２３のステップ１０９と同様であるため、説明を省略する。なお、本実施形態では、類似度の極大値を検出した時点で、ステップ１４９に進むようにしているが、変数ｐｐの値が所定値を超えても極大値が検出できない場合、エラーとして処理を中止するようにしてもよい。また、変数ｐｐの値が所定値を超えたときに、類似度のうち、最大値を極大値としてもよい。
本実施形態では、Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした正チャネルの音信号との類似度、及び、Ｍチャネルの音信号と位相を遅れ方向に第２所定量シフトした正チャネルの音信号との類似度を算出する。類似度が大きい方向に正チャネルの音信号を第１所定量ずつシフトさせる。また、Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした負チャネルの音信号との類似度、及び、Ｍチャネルの音信号と位相を遅れ方向に第２所定量シフトした負チャネルの音信号との類似度を算出する。類似度が大きい方向に負チャネルの音信号を第１所定量ずつシフトさせる。もしくは、正チャネルの音信号と位相を進み方向に第２所定量シフトしたＭチャネルの音信号との類似度、及び、正チャネルの音信号と位相を遅れ方向に第２所定量シフトしたＭチャネルの音信号との類似度を算出する。類似度が大きい方向にＭチャネルの音信号を第１所定量ずつシフトさせる。また、負チャネルの音信号と位相を進み方向に第２所定量シフトしたＭチャネルの音信号との類似度、及び、負チャネルの音信号と位相を遅れ方向に第２所定量シフトしたＭチャネルの音信号との類似度を算出する。類似度が大きい方向にＭチャネルの音信号を第１所定量ずつシフトさせる。
第２実施形態では、位相のシフト方向を決定することで、計算回数を低減し、処理の負荷を低減することが可能となる。
［第３実施形態］
以下、図面を参照して第３実施形態の一例を詳細に説明する。第１実施形態及び第２実施形態と同様の構成及び作用については、説明を省略する。
第３実施形態では、音信号の位相の補正シフト量から音源のＭＳマイクに対する仰角を推定し、仰角が所定角度以内である場合のみ、音信号の位相の補正を行う。
図２９に例示するように、Ｍチャネルマイクの位置をＰＭ、Ｓチャネルマイクの位置をＰＳ、音源の位置をＰＡ、ＭＳマイクの中心位置をＰＯとする。ＰＳから直線ＰＡＰＯに降ろした垂線との交点をＰＳ’、ＰＭから直線ＰＡＰＯの延長線上に降ろした垂線との交点をＰＭ’とする。
仰角θＥは、例えば、（１６）式で算出される。
θＥ＝ａｒｃｓｉｎ[ｐＤ×ｖｓ／｛ＦＳ×（Δｓ＋Δｍ）｝］ …（１６）
ここで、ｐＤは、音信号ＶＭとＶＳまたは音信号ＶＭとＶ−Ｓの位相を一致させるために、シフトした位相のサンプル数である補正シフト量であり、ＦＳはサンプリング周波数「Ｈｚ］である。Δｓは予め測定した距離｜ＰＳＰＯ｜であり、Δｍは予め測定した距離｜ＰＭＰＯ｜でありｖｓは音速［ｍ／ｓｅｃ］である。
通常、ＭチャネルマイクとＳチャネルマイクとの間の距離｜ＰＳＰＭ｜よりもＭＳマイクと音源ＳＳとの間の距離｜ＰＡＰＯ｜の方が長いため、θＳ及びθＭは微小となる。θＳ及びθＭは微小なため、ｃｏｓθＳ≒１、ｃｏｓθＭ≒１であり、（１７）式で示すように近似することができる。
｜ＰＡＰＳ’｜＝｜ＰＡＰＳ｜ｃｏｓθＳ≒｜ＰＡＰＳ｜
｜ＰＡＰＭ’｜＝｜ＰＡＰＭ｜ｃｏｓθＭ≒｜ＰＡＰＭ｜ …（１７）
Ｍチャネルマイクと音源ＳＳとの距離と、Ｓチャネルマイクと音源ＳＳとの距離と、の差は、（１８）式で算出される。
｜ＰＡＰＭ｜−｜ＰＡＰＳ｜≒｜ＰＡＰＭ’｜−｜ＰＡＰＳ’｜
＝｜ＰＭ’ＰＯ｜＋｜ＰＳ’ＰＯ｜
＝ΔｍｓｉｎθＥ＋ΔｓｓｉｎθＥ
＝（Δｍ＋Δｓ）ｓｉｎθＥ …（１８）
Ｍチャネルマイクと音源ＳＳとの距離と、Ｓチャネルマイクと音源ＳＳとの距離と、の差と、補正シフト量ｐＤとの関係は、（１９）式で表される。
ｐＤ＝（｜ＰＡＰＭ｜−｜ＰＡＰＳ｜）×ＦＳ／ｖｓ
＝（Δｍ＋Δｓ）ｓｉｎθＥ×ＦＳ／ｖｓ …（１９）
本実施形態では、ＭチャネルマイクとＳチャネルマイクとが上下に配置されている場合に、仰角が予め定めた範囲内であるか否かを判定する。仰角が予め定めた範囲内である場合に、音信号変換に、Ｓチャネルまたは−Ｓチャネルの音信号の位相と合うように、位相をシフトして補正したＭチャネルの音信号ＶＭＨを使用する。即ち、ＭチャネルマイクとＳチャネルマイクとが上下に配置され、かつ、仰角が所定範囲内である場合、音信号ＶＭＨ及びＳチャネルのうち選択された正チャネルまたは負チャネルの音信号を使用して、Ｌチャネル及びＲチャネルの音信号への近似変換を行う。一方、仰角が所定範囲外である場合、補正していない元の音信号ＶＭ及び、ＶＳ及びＶ−Ｓを使用して、Ｌチャネル及びＲチャネルの音信号への近似変換を行う。
音声以外の雑音が大きい場合などに、Ｍチャネルの音信号の補正シフト量を適切に決定できない場合があり得る。ＭＳマイクの使用方法で仰角が取り得る範囲を予め知ることができるので、取り得る範囲から仰角が外れている場合は、補正シフト量が誤っていると判断し、補正していない信号を使用する。
例えば、図３０に例示するハンズフリー音声翻訳の場合、ＭＳマイク１０の高さＨＴ１が１００ｃｍ、ＭＳマイク１０から話者までの距離ＤＰが３０ｃｍ〜１００ｃｍ、話者の口までの高さＨＴ２が１００ｃｍ〜２００ｃｍであるとする。この場合、仰角が取り得る範囲は、０°〜７３°である。０°は話者の口までの高さＨＴ２が１００ｃｍである場合、７３°は、ＭＳマイク１０から話者までの距離ＤＰが３０ｃｍであり、かつ、話者の口までの高さＨＴ２が２００ｃｍである場合である。
図３０に示す例では、仰角が０°〜７３°の範囲内である場合、音信号ＶＭＨ及びＳチャネルのうち選択された正チャネルまたは負チャネルの音信号を使用して、Ｌチャネル及びＲチャネルの音信号への近似変換を行う。一方、仰角が０°〜７３°の範囲内ではない場合、補正していないＭチャネル及びＳチャネルの音信号ＶＭ、ＶＳ及びＶ−Ｓを使用して、Ｌチャネル及びＲチャネルの音信号に変換する。
次に、音信号変換処理の作用の概要を説明する。図３１は、音信号変換処理の流れを例示する。ステップ１０１〜ステップ１０９は、図２３のステップ１０１〜１０９と同様であるため、説明を省略する。ＣＰＵ６１は、ステップ１２１で、補正シフト量を使用して仰角を推定する。
ＣＰＵ６１は、ステップ１２２で、推定された仰角が所定範囲内であるか否か判定する。ステップ１２２の判定が肯定された場合、即ち、仰角が所定範囲内である場合、補正シフト量は適切であると判定し、Ｌチャネル及びＲチャネルの音信号に近似変換するために位相が補正された音信号を使用する。ステップ１２２の判定が否定された場合、即ち、仰角が所定範囲内でない場合、補正シフト量は適切でないと判定し、Ｌチャネル及びＲチャネルの音信号に近似変換するために補正されていない元の音信号を使用する。
第３実施形態では、推定された仰角が所定範囲内でない場合、音信号の位相の補正シフト量の決定が適切に行われなかったと判定し、音信号の位相の補正を行わない。これにより、誤った位相の補正が行われた音信号で、不適切な音源方向の判定が行われることを防ぐことができる。
なお、第１〜第３実施形態では、Ｓチャネル及び−Ｓチャネルの音信号の位相に対してＭチャネルの音信号の位相をシフトする例について説明したが、Ｍチャネルの音信号の位相に対してＳチャネル及び−Ｓチャネルの音信号の位相をシフトするようにしてもよい。
本実施形態では、第１実施形態に適用する例について説明したが、本実施形態は、第２実施形態に適用されてもよい。図２３、２８及び３１のフローチャートは、例示であり、処理の順序は適宜入れ替えることができる。
以上の各実施形態に関し、更に以下の付記を開示する。
（付記１）
ＭＳ方式マイクのＭチャネルの音信号の位相、または、前記ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相と前記Ｓチャネルの負チャネルの音信号の位相とに基づいて、前記Ｍチャネル及び前記正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及び前記Ｍチャネル及び前記負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成し、
前記第１シフト信号または前記第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する、
音信号変換処理をコンピュータに実行させるプログラム。
（付記２）
前記第１シフト信号及び前記第２シフト信号の各々が前記正チャネルの音信号の位相及び前記負チャネルの音信号の位相に基づいて生成される場合、前記第１シフト信号との類似度及び前記第２シフト信号との類似度のうち、類似度が大きい方のチャネルの音信号を第１選択信号として選択し、
前記第１選択信号が前記正チャネルの音信号である場合、前記第１シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、
前記第１選択信号が前記負チャネルの音信号である場合、前記第２シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、
前記第１シフト信号及び前記第２シフト信号が前記Ｍチャネルの位相に基づいて生成される場合、前記第１シフト信号及び前記第２シフト信号のうち、前記Ｍチャネルの音信号との類似度が大きい方のシフト信号を第２選択信号として選択し、
前記Ｍチャネルの音信号と前記第２選択信号とを、前記ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する、
付記１のプログラム。
（付記３）
前記Ｍチャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎に前記正チャネルの音信号との類似度を算出し、前記類似度が最大となる位相の位相量だけ前記正チャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記Ｍチャネルの音信号と、前記位相を前記所定範囲内で前記第１所定量ずつシフトした位相毎に前記負チャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記負チャネルの音信号をシフトさせて、前記第２シフト信号を生成するか、
前記正チャネルの音信号と、位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記負チャネルの音信号と、前記位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第２シフト信号を生成する、
付記２のプログラム。
（付記４）
前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記正チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記正チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記正チャネルの音信号を前記第１所定量ずつシフトさせ、前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記負チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記負チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記負チャネルの音信号を前記第１所定量ずつシフトさせるか、
前記正チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記正チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせ、前記負チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記負チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせる、
付記３のプログラム。
（付記５）
前記類似度は、相互相関係数である、付記２〜付記４の何れかのプログラム。
（付記６）
前記第１シフト信号及び第２シフト信号を生成する際の位相のシフト量から推定される、前記ＭＳ方式マイクに対する音源の仰角が所定範囲内である場合に前記近似変換を行う、
付記２〜付記５の何れかのプログラム。
（付記７）
コンピュータが、
ＭＳ方式マイクのＭチャネルの音信号の位相、または、前記ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相と前記Ｓチャネルの負チャネルの音信号の位相とに基づいて、前記Ｍチャネル及び前記正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及び前記Ｍチャネル及び前記負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成し、
前記第１シフト信号または前記第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する、
音信号変換方法。
（付記８）
前記第１シフト信号及び前記第２シフト信号の各々が前記正チャネルの音信号の位相及び前記負チャネルの音信号の位相に基づいて生成される場合、前記第１シフト信号との類似度及び前記第２シフト信号との類似度のうち、類似度が大きい方のチャネルの音信号を第１選択信号として選択し、
前記第１選択信号が前記正チャネルの音信号である場合、前記第１シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、
前記第１選択信号が前記負チャネルの音信号である場合、前記第２シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、
前記第１シフト信号及び前記第２シフト信号が前記Ｍチャネルの位相に基づいて生成される場合、前記第１シフト信号及び前記第２シフト信号のうち、前記Ｍチャネルの音信号との類似度が大きい方のシフト信号を第２選択信号として選択し、
前記Ｍチャネルの音信号と前記第２選択信号とを、前記ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する、
付記７の音声信号変換方法。
（付記９）
前記Ｍチャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎に前記正チャネルの音信号との類似度を算出し、前記類似度が最大となる位相の位相量だけ前記正チャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記Ｍチャネルの音信号と、前記位相を前記所定範囲内で前記第１所定量ずつシフトした位相毎に前記負チャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記負チャネルの音信号をシフトさせて、前記第２シフト信号を生成するか、
前記正チャネルの音信号と、位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記負チャネルの音信号と、前記位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第２シフト信号を生成する、
付記８の音信号変換方法。
（付記１０）
前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記正チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記正チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記正チャネルの音信号を前記第１所定量ずつシフトさせ、前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記負チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記負チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記負チャネルの音信号を前記第１所定量ずつシフトさせるか、
前記正チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記正チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせ、前記負チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記負チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせる、
付記９の音信号変換方法。
（付記１１）
前記類似度は、相互相関係数である、付記８〜付記１０の何れかの音信号変換方法。
（付記１２）
前記第１シフト信号及び第２シフト信号を生成する際の位相のシフト量から推定される、前記ＭＳ方式マイクに対する音源の仰角が所定範囲内である場合に前記近似変換を行う、
付記８〜付記１１の何れかの音信号変換方法。
（付記１３）
ＭＳ方式マイクのＭチャネルの音信号の位相、または、前記ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相と前記Ｓチャネルの負チャネルの音信号の位相とに基づいて、前記Ｍチャネル及び前記正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及び前記Ｍチャネル及び前記負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成する生成部と、
前記第１シフト信号または前記第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する変換部と、
を含む音信号変換装置。
（付記１４）
選択部をさらに含み、
前記選択部は、前記第１シフト信号及び前記第２シフト信号の各々が前記正チャネルの音信号の位相及び前記負チャネルの音信号の位相に基づいて生成される場合、前記第１シフト信号との類似度及び前記第２シフト信号との類似度のうち、類似度が大きい方のチャネルの音信号を第１選択信号として選択し、
前記変換部は、前記第１選択信号が前記正チャネルの音信号である場合、前記第１シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、前記第１選択信号が前記負チャネルの音信号である場合、前記第２シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、
前記選択部は、前記第１シフト信号及び前記第２シフト信号が前記Ｍチャネルの位相に基づいて生成される場合、前記第１シフト信号及び前記第２シフト信号のうち、前記Ｍチャネルの音信号との類似度が大きい方のシフト信号を第２選択信号として選択し、
前記変換部は、前記Ｍチャネルの音信号と前記第２選択信号とを、前記ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する、
付記１３の音声信号変換装置。
（付記１５）
前記生成部は、
前記Ｍチャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎に前記正チャネルの音信号との類似度を算出し、前記類似度が最大となる位相の位相量だけ前記正チャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記Ｍチャネルの音信号と、前記位相を前記所定範囲内で前記第１所定量ずつシフトした位相毎に前記負チャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記負チャネルの音信号をシフトさせて、前記第２シフト信号を生成するか、
前記正チャネルの音信号と、位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記負チャネルの音信号と、前記位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第２シフト信号を生成する、
付記１４の音信号変換装置。
（付記１６）
前記生成部は、
前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記正チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記正チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記正チャネルの音信号を前記第１所定量ずつシフトさせ、前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記負チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記負チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記負チャネルの音信号を前記第１所定量ずつシフトさせるか、
前記正チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記正チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせ、前記負チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記負チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせる、
付記１５に記載の音信号変換装置。
（付記１７）
前記類似度は、相互相関係数である、付記１４〜付記１６の何れかの音信号変換装置。
（付記１８）
前記変換部は、
前記第１シフト信号及び第２シフト信号を生成する際の位相のシフト量から推定される、前記ＭＳ方式マイクに対する音源の仰角が所定範囲内である場合に前記近似変換を行う、
付記１４〜付記１７の何れかの音信号変換装置。
１０ ＭＳ方式マイクロフォン
２０ 音信号変換装置
２１ 補正部
２２ 変換部
５３ 位相シフト部
５４ 類似度算出部
５５ 信号選択部
６１ ＣＰＵ
６２ 一次記憶部
６３ 二次記憶部

Claims (8)

  1. ＭＳ方式マイクのＭチャネルの音信号の位相、または、前記ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相と前記Ｓチャネルの負チャネルの音信号の位相とに基づいて、前記Ｍチャネル及び前記正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及び前記Ｍチャネル及び前記負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成し、
    前記第１シフト信号または前記第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する、
    音信号変換処理をコンピュータに実行させるプログラム。
  2. 前記第１シフト信号及び前記第２シフト信号の各々が前記正チャネルの音信号の位相及び前記負チャネルの音信号の位相に基づいて生成される場合、前記第１シフト信号との類似度及び前記第２シフト信号との類似度のうち、類似度が大きい方のチャネルの音信号を第１選択信号として選択し、
    前記第１選択信号が前記正チャネルの音信号である場合、前記第１シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、
    前記第１選択信号が前記負チャネルの音信号である場合、前記第２シフト信号と前記第１選択信号とを、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換し、
    前記第１シフト信号及び前記第２シフト信号が前記Ｍチャネルの位相に基づいて生成される場合、前記第１シフト信号及び前記第２シフト信号のうち、前記Ｍチャネルの音信号との類似度が大きい方のシフト信号を第２選択信号として選択し、
    前記Ｍチャネルの音信号と前記第２選択信号とを、前記ＸＹ方式マイクのＬチャネル及びＲチャネル信号に近似変換する、
    請求項１に記載のプログラム。
  3. 前記Ｍチャネルの音信号と、位相を所定範囲内で第１所定量ずつシフトした位相毎に前記正チャネルの音信号との類似度を算出し、前記類似度が最大となる位相の位相量だけ前記正チャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記Ｍチャネルの音信号と、前記位相を前記所定範囲内で前記第１所定量ずつシフトした位相毎に前記負チャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記負チャネルの音信号をシフトさせて、前記第２シフト信号を生成するか、
    前記正チャネルの音信号と、位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第１シフト信号を生成し、前記負チャネルの音信号と、前記位相を前記所定範囲内で第１所定量ずつシフトした位相毎に前記Ｍチャネルの音信号との類似度を算出し、前記類似度が最大となる位相量だけ前記Ｍチャネルの音信号をシフトさせて、前記第２シフト信号を生成する、
    請求項２に記載のプログラム。
  4. 前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記正チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記正チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記正チャネルの音信号を前記第１所定量ずつシフトさせ、前記Ｍチャネルの音信号と位相を進み方向に第２所定量シフトした前記負チャネルの音信号との類似度、及び、前記Ｍチャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記負チャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記負チャネルの音信号を前記第１所定量ずつシフトさせるか、
    前記正チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記正チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせ、前記負チャネルの音信号と位相を進み方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度、及び、前記負チャネルの音信号と位相を遅れ方向に前記第２所定量シフトした前記Ｍチャネルの音信号との類似度を算出し、前記類似度が大きい方向に前記Ｍチャネルの音信号を前記第１所定量ずつシフトさせる、
    請求項３に記載のプログラム。
  5. 前記類似度は、相互相関係数である、請求項２〜請求項４の何れか１項に記載のプログラム。
  6. 前記第１シフト信号及び第２シフト信号を生成する際の位相のシフト量から推定される、前記ＭＳ方式マイクに対する音源の仰角が所定範囲内である場合に前記近似変換を行う、
    請求項２〜請求項５の何れか１項に記載のプログラム。
  7. コンピュータが、
    ＭＳ方式マイクのＭチャネルの音信号の位相、または、前記ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相と前記Ｓチャネルの負チャネルの音信号の位相とに基づいて、前記Ｍチャネル及び前記正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及び前記Ｍチャネル及び前記負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成し、
    前記第１シフト信号または第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換する、
    音信号変換方法。
  8. ＭＳ方式マイクのＭチャネルの音信号の位相、または、前記ＭＳ方式マイクのＳチャネルの正チャネルの音信号の位相と前記Ｓチャネルの負チャネルの音信号の位相とに基づいて、前記Ｍチャネル及び前記正チャネルへの音の到達距離の差による位相差を解消する第１シフト信号、及び前記Ｍチャネル及び前記負チャネルへの音の到達距離の差による位相差を解消する第２シフト信号を生成する生成部と、
    前記第１シフト信号または第２シフト信号を、ＸＹ方式マイクのＬチャネル及びＲチャネルの音信号に近似変換する変換部と、
    を含む音信号変換装置。
JP2019207622A 2019-11-18 2019-11-18 音信号変換プログラム、音信号変換方法、及び、音信号変換装置 Pending JP2021081533A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019207622A JP2021081533A (ja) 2019-11-18 2019-11-18 音信号変換プログラム、音信号変換方法、及び、音信号変換装置
US17/062,122 US11463806B2 (en) 2019-11-18 2020-10-02 Non-transitory computer-readable storage medium for storing sound signal conversion program, method of converting sound signal, and sound signal conversion device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019207622A JP2021081533A (ja) 2019-11-18 2019-11-18 音信号変換プログラム、音信号変換方法、及び、音信号変換装置

Publications (1)

Publication Number Publication Date
JP2021081533A true JP2021081533A (ja) 2021-05-27

Family

ID=75909806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019207622A Pending JP2021081533A (ja) 2019-11-18 2019-11-18 音信号変換プログラム、音信号変換方法、及び、音信号変換装置

Country Status (2)

Country Link
US (1) US11463806B2 (ja)
JP (1) JP2021081533A (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171590A (ja) * 2000-11-30 2002-06-14 Aiwa Co Ltd Ｍｓ方式のステレオマイクロホン

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5434225A (en) * 1977-08-22 1979-03-13 Sony Corp Microphone device
ATE230917T1 (de) * 1999-10-07 2003-01-15 Zlatan Ribic Verfahren und anordnung zur aufnahme von schallsignalen
JP3598932B2 (ja) 2000-02-23 2004-12-08 日本電気株式会社 話者方向検出回路及びそれに用いる話者方向検出方法
FI20055260A0 (fi) * 2005-05-27 2005-05-27 Midas Studios Avoin Yhtioe Laite, järjestelmä ja menetelmä akustisten signaalien vastaanottamista tai toistamista varten
JP2007214913A (ja) * 2006-02-09 2007-08-23 Yamaha Corp 収音装置
JP4332753B2 (ja) * 2007-06-13 2009-09-16 ソニー株式会社 音声レコーダ
JP5092864B2 (ja) 2008-04-17 2012-12-05 ヤマハ株式会社 音処理装置およびプログラム
JP5646146B2 (ja) * 2009-03-18 2014-12-24 株式会社東芝 音声入力装置、音声認識システム及び音声認識方法
US20100331048A1 (en) * 2009-06-25 2010-12-30 Qualcomm Incorporated M-s stereo reproduction at a device
CN102403022A (zh) * 2010-09-13 2012-04-04 三洋电机株式会社 录音装置、录音条件设定方法以及录音条件设定程序
US9456289B2 (en) * 2010-11-19 2016-09-27 Nokia Technologies Oy Converting multi-microphone captured signals to shifted signals useful for binaural signal processing and use thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171590A (ja) * 2000-11-30 2002-06-14 Aiwa Co Ltd Ｍｓ方式のステレオマイクロホン

Also Published As

Publication number Publication date
US11463806B2 (en) 2022-10-04
US20210152927A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP4912036B2 (ja) 指向性集音装置、指向性集音方法、及びコンピュータプログラム
US6525993B2 (en) Speaker direction detection circuit and speaker direction detection method used in this circuit
JP5817366B2 (ja) 音声信号処理装置、方法及びプログラム
US9269367B2 (en) Processing audio signals during a communication event
US11659349B2 (en) Audio distance estimation for spatial audio processing
EP1887831A2 (en) Method, apparatus and program for estimating the direction of a sound source
US20140270231A1 (en) System and method of mixing accelerometer and microphone signals to improve voice quality in a mobile device
JP5493611B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8693287B2 (en) Sound direction estimation apparatus and sound direction estimation method
US20090232318A1 (en) Output correcting device and method, and loudspeaker output correcting device and method
JP2010124370A (ja) 信号処理装置、信号処理方法、および信号処理プログラム
US20080120100A1 (en) Method For Detecting Target Sound, Method For Detecting Delay Time In Signal Input, And Sound Signal Processor
JP5459220B2 (ja) 発話音声検出装置
JP6436180B2 (ja) 収音装置、プログラム及び方法
Archer-Boyd et al. Biomimetic direction of arrival estimation for resolving front-back confusions in hearing aids
JP2021081533A (ja) 音信号変換プログラム、音信号変換方法、及び、音信号変換装置
US10951978B2 (en) Output control of sounds from sources respectively positioned in priority and nonpriority directions
JP2018032931A (ja) 音響信号処理装置、プログラム及び方法
US10360922B2 (en) Noise reduction device and method for reducing noise
US11276388B2 (en) Beamforming system based on delay distribution model using high frequency phase difference
JP2019197179A (ja) 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置
US11915681B2 (en) Information processing device and control method
JP2020201370A (ja) 話者方向判定プログラム、話者方向判定方法、及び話者方向判定装置
JPH02178699A (ja) 音声認識装置
JP6128547B2 (ja) 音源分離方法、装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20230206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231128