JP6217930B2 - 音速補正システム - Google Patents

音速補正システム Download PDF

Info

Publication number
JP6217930B2
JP6217930B2 JP2014145367A JP2014145367A JP6217930B2 JP 6217930 B2 JP6217930 B2 JP 6217930B2 JP 2014145367 A JP2014145367 A JP 2014145367A JP 2014145367 A JP2014145367 A JP 2014145367A JP 6217930 B2 JP6217930 B2 JP 6217930B2
Authority
JP
Japan
Prior art keywords
sound
data
unit
sound speed
environmental parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014145367A
Other languages
English (en)
Other versions
JP2016020873A (ja
Inventor
宏之 松本
宏之 松本
渡辺 周一
周一 渡辺
寿嗣 辻
寿嗣 辻
昭年 泉
昭年 泉
裕隆 澤
裕隆 澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014145367A priority Critical patent/JP6217930B2/ja
Priority to EP15175324.1A priority patent/EP2975860A1/en
Priority to US14/798,781 priority patent/US9622004B2/en
Priority to CN201510415654.5A priority patent/CN105307063B/zh
Publication of JP2016020873A publication Critical patent/JP2016020873A/ja
Application granted granted Critical
Publication of JP6217930B2 publication Critical patent/JP6217930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Description

本発明は、マイクアレイ装置から音源に向かう方向に、音声の指向性を形成する際に用いる音速を補正する音速補正システムに関する。
従来、工場、店舗(例えば小売店、銀行)或いは公共の場(例えば図書館)の所定位置(例えば天井)に設置される監視システムでは、ネットワークを介して複数のカメラ装置(例えばパンチルトカメラ装置又は全方位カメラ装置)を接続することで、監視対象の所定範囲の映像データ(静止画像及び動画像を含む。以下同様)の広画角化が図られている。
映像だけの監視では得られる情報量がどうしても限界があるため、カメラ装置だけでなくマイクアレイ装置も配置することで、カメラ装置が特定の被写体を撮像している方向の音声データを得る監視システムの要請が高い。
また従来、複数のマイク素子を有するマイクアレイ装置により収音された音声の音声データに対して特定の方向に指向性を形成するためのビームフォーミング処理(指向性形成処理)では、指向性形成処理に必要な遅延時間の算出に用いる音速は一定値として扱われた。このため、例えば気温の変化等によって音速が変化した場合には、指向性形成処理において形成される指向性の精度が劣化する。
ここで、音源からの音波の伝搬経路の温度値を用いて、音源から音波が各マイクロホンに到達する時間差を零にするための調整値を算出する先行技術として、例えば特許文献1に示す画像表示装置が知られている。
特許文献1に示す画像表示装置は、音源が発する音波を検出する複数のマイクロホンを有するマイクロホン群と、音波が各マイクロホン群に到達する時間差を基にして音源位置を算出する音源位置算出手段とを備え、各マイクロホンから等距離だけ離れた位置に配置され、且つ、音波として異なる複数の周波数の音波を含むホワイトノイズを発する試験音波発生手段と、音源位置算出手段によって算出した試験音波発生手段の位置を基にして異なる複数の周波数の音波がマイクロホン群に到達する時間差を各周波数毎に算出し、時間差を零にするようにマイクロホン群によって検出した音波の信号の位相を一致させる各周波数毎の調整値を一括して算出する調整値算出手段と、を有する。なお、特許文献1では、音源から発せられた音波の伝搬速度を補正するために使用される周囲温度値は、ユーザによりキーボードから入力された値である。
特開2013−90289号公報
しかし特許文献1では、音源からの音波の伝搬速度(以下、「音速」という)の算出に用いられる温度値はユーザによってキーボードを介して入力された値であるため、例えば温度が変化した場合でも、ユーザからキーボードを介して入力されない限り、入力された温度値は一定のままである。このため、正確な音速の算出が困難となり、指向性形成処理において正確な指向性が形成されないという課題がある。
また、特許文献1では、湿度と気圧の変化に基づく音速の変化については記載されていないため、例えば周囲の湿度や気圧が変化した場合には、音速が正確な値(適正値)からずれてしまい、指向性形成処理において正確な指向性が形成されないという課題がある。
本発明は、上述した従来の課題を解決するために、マイクアレイ装置から見て特定の方向の音源から発した音声の収音時における周囲の温度、湿度、気圧を少なくとも取得し、正確な音速を算出することで指向性の形成精度の劣化を抑制する音速補正システムを提供することを目的とする。
本発明は、マイクロホンを有し、音源から発せられた音声を前記マイクロホンにより収音する収音部と、前記収音部の周囲の環境パラメータの測定値を取得するステップ、取得された前記環境パラメータの測定値を用いて、前記収音部から前記音源に向かう指向方向への指向性の形成に用いる前記音声の音速を補正するステップと、をコンピュータである指向性制御装置に実行させるプログラムを格納した記憶媒体と、を備え、前記収音部は、前記収音部を収容する筐体内に、前記マイクロホンを支持するマイク基板と、前記マイク基板の端部に配置され、前記環境パラメータを測定する環境パラメータ測定部と、を更に有する、音速補正システムである。
本発明によれば、マイクアレイ装置から見て特定の方向の音源から発した音声の収音時における周囲の温度、湿度、気圧を少なくとも取得し、正確な音速を算出することで指向性の形成精度の劣化を抑制することができる。
第1の実施形態の指向性制御システムのシステム構成を示すブロック図 (A)〜(E)全方位マイクアレイ装置の外観図 全方位マイクアレイ装置により収音された音声に対して方向θに指向性を形成する原理の一例の説明図 全方位マイクアレイ装置の内部構成の第1例を示すブロック図 (A)全方位マイクアレイ装置の円盤状マイク筐体にカメラ装置が嵌め込まれた様子を鉛直方向の下側から見た平面図、(B)(A)のa−a断面の第1例を示す断面図 (A)全方位マイクアレイ装置から送信されるパケットの構造の第1例を示す図、(B)全方位マイクアレイ装置の動作手順の第1例を説明するフローチャート (A)レコーダ装置のレコーダ記憶領域に格納されるデータの第1例を示す図、(B)指向性制御装置の動作手順の第1例を説明するフローチャート (A)全方位マイクアレイ装置の内部構成の第2例を示すブロック図、(B)図5(A)のa−a断面の第2例を示す断面図 (A)全方位マイクアレイ装置から送信されるパケットの構造の第2例を示す図、(B)全方位マイクアレイ装置の動作手順の第2例を説明するフローチャート (A)指向性制御装置に環境パラメータのデータを設定する初期設定の動作手順の一例を説明するフローチャート、(B)指向性制御装置の動作手順の第2例を説明するフローチャート、(C)レコーダ装置のレコーダ記憶領域に格納されるデータの第2例を示す図 (A)全方位マイクアレイ装置の内部構成の第3例を示すブロック図、(B)全方位マイクアレイ装置から送信されるパケットの構造の第3例を示す図、(C)全方位マイクアレイ装置の動作手順の第3例を説明するフローチャート (A)x方向風速計及びy方向風速計が取り付けられた全方位マイクアレイ装置の円盤状マイク筐体にカメラ装置が嵌め込まれた様子を鉛直方向の下側から見た平面図、(B)全方位マイクアレイ装置の内部構成の第4例を示すブロック図 (A)全方位マイクアレイ装置から見て(θ,φ)の方向に目的音が発せられ、風がx−y平面の+x方向から吹いている場合の音速の変化に関する説明図、(B)指向性制御装置の動作手順の第4例を説明するフローチャート (A)全方位マイクアレイ装置の動作手順の第5例を説明するフローチャート、(B)指向性制御装置の動作手順の第5例を説明するフローチャート 全方位マイクアレイ装置の動作手順の第6例を説明するフローチャート (A)第2の実施形態の指向性制御システムのシステム構成を示すブロック図、(B)例えば屋外に設置される環境パラメータ測定装置の一例を示す図 (A)指向性制御装置の動作手順の第7例を説明するフローチャート、(B)(A)に示すレコーダ装置のレコーダ記憶領域に格納されるデータの一例を示す図、(C)(A)に示す指向性制御装置の記憶領域に格納されるデータの一例を示す図 指向性制御装置に環境パラメータのデータを設定する初期設定の動作手順の他の一例を説明するフローチャート 指向性制御装置の動作手順の第9例を説明するフローチャート 第3の実施形態の指向性制御システムのシステム構成を示すブロック図 (A)指向性制御装置動作手順の第10例を説明するフローチャート、(B)図20に示すレコーダ装置のレコーダ記憶領域に格納されるデータの一例を示す図、(C)図20に示す指向性制御装置の記憶領域に格納されるデータの一例を示す図
以下、本発明に係る音速補正装置を含む指向性制御システムの各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、公共施設(例えば図書館、イベント会場)、又は店舗(例えば小売店、銀行)に設置される監視システム(有人監視システム及び無人監視システムを含む)として用いられるが、特に限定されない。以下の各実施形態では、各実施形態の指向性制御システムは、例えば店舗に設置されるとして説明する。また、以下の各実施形態において、本発明に係る音速補正装置は、全方位マイクアレイ装置又は指向性制御装置に相当する。
なお、本発明は、指向性制御システムを構成する各装置(例えば後述する指向性制御装置、全方位マイクアレイ装置)、又は指向性制御システムを構成する各装置(例えば後述する指向性制御装置、全方位マイクアレイ装置)が行う各動作(ステップ)を含む方法として表現することも可能である。
(第1の実施形態)
図1は、第1の実施形態の指向性制御システム10のシステム構成を示すブロック図である。図1に示す指向性制御システム10は、全方位マイクアレイ装置2と、カメラ装置C11,…,C1nと、指向性制御装置3と、レコーダ装置4とを含む構成である。全方位マイクアレイ装置2は、指向性制御システム10が設置される収音領域における音声を収音し、例えば収音領域に存在する音源の一例としての人物(例えば図13(A)中の人物HM参照)の発する音声(例えば人物HMの会話音声)を収音する。
全方位マイクアレイ装置2は、例えば後述する収音部収容筐体の一例として、中心に中央凹部135が形成された同心円状の皿型の皿状マイク筐体125(図5参照)を有し、全方位マイクアレイ装置2の設置位置を中心として360°の方向(全方位)からの音声を収音する。本実施形態の全方位マイクアレイ装置2の筐体形状は、皿型の形状を例示して説明するが、皿状の形状に限定されず、例えばドーナツ型形状又はリング型形状(図2参照)でも良い。
全方位マイクアレイ装置2では、中央凹部135の周囲であって、更に皿状マイク筐体125の円周方向に沿って、複数のマイクロホンユニット22が同心円状に配置される。収音部の一例としてのマイクロホンユニット22は、例えば無指向性の高音質小型エレクトレットコンデンサーマイクロホン(ECM: Electret Condenser Microphone)117aが用いられ、以下の各実施形態においても同様である。
図1に示す指向性制御システム10において、全方位マイクアレイ装置2と、指向性制御装置3と、レコーダ装置4とは、ネットワークNWを介して相互に接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット)でも良いし、無線ネットワーク(例えば無線LAN(Local Area Network))でも良く、以下の各実施形態においても同様である。
撮像部の一例としてのカメラ装置C11,…,C1nは、例えばイベント会場の天井面に固定して設置される。カメラ装置C11,…,C1nは、例えば監視システムにおける監視カメラとしての機能を有し、ネットワークNWに接続された監視制御室(不図示)からの遠隔操作によって、ズーム機能(例えばズームイン処理、ズームアウト処理)や光軸移動機能(パン、チルト)を用いて、所定の映像を撮像する。それぞれのカメラ装置の設置位置・方向は指向性制御装置3に登録されており、パン・チルト・ズーム情報は、指向性制御装置3に随時送信されて、画像位置と指向方向の位置関係は常に関連付けが行われている。また、例えばカメラ装置C11が全方位カメラの場合は、収音領域の全方位の映像を示す画像データ(即ち、全方位画像データ)、又は全方位画像データに所定の歪み補正処理を施してパノラマ変換して生成した平面画像データを、ネットワークNWを介して指向性制御装置3又はレコーダ装置4に送信する。以下、カメラ装置C11が全方位カメラである場合を例示して説明する。
カメラ装置C11は、ディスプレイ装置36に表示された画像の中で、ユーザによって任意の位置が指定されると、画像中の指定位置の座標データを指向性制御装置3から受信し、カメラ装置C11から、指定位置に対応する実空間上の音声位置(以下、単に「音声位置」と略記する)までの距離、方向(水平角及び垂直角を含む。以下同様。)のデータを算出して指向性制御装置3に送信する。なお、カメラ装置C11における距離、方向のデータ算出処理は公知技術であるため、説明は省略する。
全方位マイクアレイ装置2は、ネットワークNWに接続され、等間隔毎に配置されたマイク素子221,222,…,22nと、各マイク素子により収音された音声の音声データに対して所定の信号処理を施す制御部281(図4参照)とを少なくとも含む構成である。全方位マイクアレイ装置2の詳細な構成については、例えば図4を参照して後述する。
全方位マイクアレイ装置2は、各々のマイクロホンユニット22,23が収音した音声の音声データを、ネットワークNWを介して、指向性制御装置3又はレコーダ装置4に送信する。また、全方位マイクアレイ装置2は、音声の収音時における周囲の環境パラメータ(例えば温度、湿度、気圧、風向及び風速のうち少なくとも温度)を検出(測定)し、各環境パラメータの測定値を音声データと同一のパケットPKT(図6(A)参照)に含めて指向性制御装置3又はレコーダ装置4に送信する。
指向性制御装置3は、全方位マイクアレイ装置2から送信された音声データと環境パラメータの測定値とを用いて、ユーザの操作によって操作部32から指定された位置(指定位置)に対応する指向方向(後述参照)に指向性を形成する際に用いる音速Vs(図3参照)を算出(補正)し、算出(補正)後の音速Vsを用いて、指向方向(θMAh,θMAv)に、音声データの指向性を形成する。これにより、指向性制御装置3は、指向性が形成された指向方向(θMAh,θMAv)から収音した音声の音量レベルを他の方向から収音した音声の音量レベルよりも相対的に増大できる。なお、指向方向(θMAh,θMAv)の算出方法は公知技術であるため、本実施形態では詳細な説明は省略する。
図2(A)〜(E)は、全方位マイクアレイ装置2A,2B,2C,2D,2Eの外観図である。図2(A)〜(E)に示す全方位マイクアレイ装置2A,2B,2C.2D,2Eは、外観及び複数のマイクロホンユニットの配置位置が異なるが、全方位マイクアレイ装置自身の機能は同等である。
図2(A)に示す全方位マイクアレイ装置2Aは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22,23が同心円状に配置されている。具体的には、複数のマイクロホンユニット22が、筐体21と同一の中心を有する大きな円形状に沿って同心円状に配置され、複数のマイクロホンユニット23が、筐体21と同一の中心を有する小さい円形状に沿って同心円状に配置されている。複数のマイクロホンユニット22は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、複数のマイクロホンユニット23は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。
図2(B)に示す全方位マイクアレイ装置2Bは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22が、水平方向の縦方向と横方向との中心が筐体21の中心において交わるように一様な間隔毎に直線上に配置されている。全方位マイクアレイ装置2Bは、複数のマイクロホンユニット22が縦横の直線状に配置されているので、音声データの指向性の形成処理の演算量を低減できる。なお、縦方向又は横方向の1列だけに、複数のマイクロホンユニット22が配置されても良い。
図2(C)に示す全方位マイクアレイ装置2Cは、図2(A)に示す全方位マイクアレイ装置2Aに比べ、直径の小さい円盤状の筐体21Cを有する。筐体21Cには、複数のマイクロホンユニット22が、円周方向に沿って一様に配置されている。図2(C)に示す全方位マイクアレイ装置2Cは、各々のマイクロホンユニット22の間隔が短いので、高い音域に適した特性を有する。
図2(D)に示す全方位マイクアレイ装置2Dは、筐体中心に所定の直径を有する開口部21aが形成されたドーナツ型形状又はリング型の形状の筐体21Dを有する。筐体21Dでは、複数のマイクロホンユニット22が、筐体21Dの円周方向において、一様な間隔毎に同心円状に配置されている。
図2(E)に示す全方位マイクアレイ装置2Eは、矩形状の筐体21Eを有する。筐体21Eには、複数のマイクロホンユニット22が、筐体21Eの外周方向に沿って一様な間隔毎に配置されている。図2(E)に示す全方位マイクアレイ装置2Eでは、筐体21Eが矩形に形成されているので、例えばコーナー等の場所であっても全方位マイクアレイ装置2Eの設置を簡易化できる。
指向性制御装置3は、ネットワークNWに接続され、例えば監視システム制御室(不図示)に設置される据置型のPC(Personal Computer)でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。
指向性制御装置3は、通信部31と、操作部32と、信号処理部33と、ディスプレイ装置36と、スピーカ装置37と、メモリ38とを少なくとも含む構成である。信号処理部33は、指向方向算出部34aと、音速補正部34bと、出力制御部34cとを少なくとも含む構成である。
通信部31は、ネットワークNWを介して、全方位マイクアレイ装置2から送信されたパケットPKT(例えば図6(A)参照)を受信して信号処理部33に出力する。
操作部32は、ユーザの操作の内容を信号処理部33に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部32は、例えばディスプレイ装置36の画面に対応して配置され、ユーザの指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。
操作部32は、ディスプレイ装置36に表示された画像(即ち、カメラ装置C11,…,C1nのうち選択された1つのカメラ装置により撮像された画像。以下同様。)に対し、ユーザの操作によって指定された位置(即ち、スピーカ装置37から出力される音声の音量レベルの増大又は低減を所望する位置)を示す座標データを取得して信号処理部33に出力する。
信号処理部33は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、指向性制御装置3の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。
指向方向算出部34aは、ディスプレイ装置36に表示された画像からユーザの位置の指定操作に応じて、全方位マイクアレイ装置2から指定位置に対応する音声位置(例えば図13(A)に示す人物HMの位置。以下「音声位置」と定義する。)に向かう指向方向を示す座標(θMAh,θMAv)を算出する。指向方向算出部34aの具体的な算出方法は、上述したように公知技術であるため、詳細な説明を省略する。
指向方向算出部34aは、カメラ装置C11の設置位置から、音声位置までの距離、方向のデータを用いて、全方位マイクアレイ装置2の設置位置から音声位置に向かう指向方向座標(θMAh,θMAv)を算出する。例えばカメラ装置C11の筐体を囲むように全方位マイクアレイ装置2の筐体とカメラ装置C11とが一体的に取り付けられている場合には、カメラ装置C11から音声位置までの方向(水平角,垂直角)を、全方位マイクアレイ装置2から音声位置までの指向方向座標(θMAh,θMAv)として用いることができる。なお、カメラ装置C11の筐体と全方位マイクアレイ装置2の筐体とが離れて取り付けられている場合には、指向方向算出部34aは、事前に算出されたキャリブレーションパラメータのデータと、カメラ装置C11から音声位置までの方向(水平角,垂直角)のデータとを用いて、全方位マイクアレイ装置2から音声位置までの指向方向座標(θMAh,θMAv)を算出する。なお、キャリブレーションとは、指向性制御装置3の指向方向算出部34aが指向方向を示す座標(θMAh,θMAv)を算出するために必要となる所定のキャリブレーションパラメータを算出又は取得する動作であり、公知技術により予め行われているとする。
指向方向を示す座標(θMAh,θMAv)のうち、θMAhは全方位マイクアレイ装置2から音声位置に向かう指向方向の水平角を表し、θMAvは全方位マイクアレイ装置2から音声位置に向かう指向方向の垂直角を表す。なお、音声位置は、操作部32がディスプレイ装置36に表示された画像においてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の監視対象又は収音対象となる現場の位置である(図13(A)参照)。
音速補正部34bは、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる環境パラメータデータPDTを用いて、全方位マイクアレイ装置2が音声を収音する時の音声の伝搬速度である音速Vsを算出又は補正する。音速補正部34bにおける音速Vsの算出方法及び補正方法の詳細については後述する。
出力制御部34cは、ディスプレイ装置36及びスピーカ装置37の動作を制御し、例えばユーザの操作に応じて、カメラ装置C11から送信された画像データをディスプレイ装置36に表示させ、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データをスピーカ装置37から出力させる。また、指向性形成部の一例としての出力制御部34cは、指向方向算出部34aにより算出された座標(θMAh,θMAv)が示す指向方向に、全方位マイクアレイ装置2により収音された音声データの指向性を形成するが、全方位マイクアレイ装置2に指向性を形成させても良い。
表示部としてのディスプレイ装置36は、例えばユーザの操作に応じて、出力制御部34cの制御の下で、例えばカメラ装置C11から送信された画像データを画面に表示する。
音声出力部としてのスピーカ装置37は、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データ、又は指向方向算出部34aが算出した指向方向(θMAh,θMAv)に指向性が形成された音声データを出力する。なお、ディスプレイ装置36及びスピーカ装置37は、指向性制御装置3とは別々の構成としても良い。
記憶部としてのメモリ38は、例えばRAM(Random Access Memory)を用いて構成され、指向性制御装置3の各部の動作時のワークメモリとして機能し、更に、指向性制御装置3の各部の動作時に必要なデータを記憶する。
レコーダ装置4は、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データ及び環境パラメータデータPDTと、例えばカメラ装置C11から送信された画像データとを対応付けて記憶する。なお、図1に示す指向性制御システム10には複数のカメラ装置が含まれるため、レコーダ装置4は、各カメラ装置から送信された画像データと、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データ及び環境パラメータデータPDTとを対応付けて記憶しても良い。レコーダ装置4に記憶されるデータの種別については、例えば図7(A)を参照して後述する。
図3は、全方位マイクアレイ装置2により収音された音声に対して方向θに指向性を形成する原理の一例の説明図である。図3では、例えば遅延和方式を用いた指向性形成処理の原理について簡単に説明する。音源80から発した音波は、全方位マイクアレイ装置2のマイクロホンユニット22,23に内蔵される各マイク素子221,222,223,…,22(n−1),22nに対し、ある一定の角度(入射角=(90−θ)[度])で入射する。図3に示す入射角θは、全方位マイクアレイ装置2から音声位置に向かう収音方向の水平角θMAhでも垂直角θMAvでも良い。
音源80は、例えば全方位マイクアレイ装置2が収音する方向に存在するカメラ装置の被写体(例えば図13(A)に示す人物HM)であり、全方位マイクアレイ装置2の筐体21の面上に対し、所定角度θの方向に存在する。また、各マイク素子221,222,223,…,22(n−1),22n間の間隔dは一定とする。
音源80から発した音波は、最初にマイク素子221に到達して収音され、次にマイク素子222に到達して収音され、同様に次々に収音され、最後にマイク素子22nに到達して収音される。
なお、全方位マイクアレイ装置2の各マイク素子221,222,223,…,22(n−1),22nの位置から音源80に向かう方向は、例えば音源80が人物HMの会話時の音声である場合に、全方位マイクアレイ装置2の各マイク素子から、ユーザがディスプレイ装置36の画面上に指定した指定位置に対応する音声位置に向かう方向と同じである。
ここで、音波がマイク素子221,222,223,…,22(n−1)に到達した時刻から最後に収音されたマイク素子22nに到達した時刻までには、到達時間差τ1,τ2,τ3,…,τn−1が生じる。このため、各々のマイク素子221,222,223,…,22(n−1),22nが収音した音声データがそのまま加算された場合には、位相がずれたまま加算されるため、音波の音量レベルが全体的に弱め合う。
なお、τ1は音波がマイク素子221に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間であり、τ2は音波がマイク素子222に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間であり、同様に、τn−1は音波がマイク素子22(n−1)に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間である。
本実施形態の指向性形成処理では、マイク素子221,222,223,…,22(n−1),22n毎に対応して設けられるA/D変換器241,242,243,…,24(n−1),24nにおいて、アナログの音声信号がデジタルの音声信号に変換される。更に、デジタルの音声信号は、マイク素子221,222,223,…,22(n−1),22n毎に対応して設けられる遅延器251,252,253,…,25(n−1),25nにおいて所定の遅延時間が加算される。各遅延器251,252,253,…,25(n−1),25nの出力は加算器26において加算される。
なお、全方位マイクアレイ装置2において指向性形成処理が行われる場合には、遅延器251,252,253,…,25(n−1),25nは全方位マイクアレイ装置2に設けられ、指向性制御装置3において指向性形成処理が行われる場合には、遅延器251,252,253,…,25(n−1),25nは指向性制御装置3に設けられる。
更に、図3に示す指向性形成処理では、遅延器251,252,253,…,25(n−1),25nは、各々のマイク素子221,222,222,…,22(n−1),22nにおける到達時間差に対応する遅延時間を付与して全ての音波の位相を揃えた後、加算器26において遅延処理後の音声データが加算される。これにより、全方位マイクアレイ装置2又は指向性制御装置3は、各マイク素子221,222,223,…,22(n−1),22nにより収音された音声に対し、角度θの方向に指向性を形成することができる。
例えば図3では、遅延器251,252,253,…,25(n−1),25nにおいて付与される各遅延時間D1,D2,D3,…,D(n−1),Dnは、それぞれ到達時間差τ1,τ2,τ3,…,τ(n−1)に相当し、数式(1)により示される。
Figure 0006217930
L1は、マイク素子221とマイク素子22nとにおける音波到達距離の差である。L2は、マイク素子222とマイク素子22nとにおける音波到達距離の差である。L3は、マイク素子223とマイク素子22nとにおける音波到達距離の差であり、同様に、L(n−1)は、マイク素子22(n−1)とマイク素子22nとにおける音波到達距離の差である。Vsは音波の音速である。この音速Vsは全方位マイクアレイ装置2により算出されても良いし、指向性制御装置3により算出されても良い(後述参照)。L1,L2,L3,…,L(n−1)は既知の値である。図3では、遅延器25nに設定される遅延時間Dnは0(ゼロ)である。
指向性形成処理では、各マイク素子により収音された音声の音声データに付与される遅延時間Di(i=1〜nの整数、nは2以上の整数)は、数式(1)に示すように、音速Vsに反比例する。また、後述するように、音速Vsは温度、湿度(水蒸気圧)、気圧、又は必要に応じて風速によって変化するので、高精度な指向性を形成するためには、各マイク素子が音声を収音する時の環境パラメータ(例えば温度、水蒸気圧(湿度)、気圧、風速)を用いて正確な音速Vsに変換(補正)する必要がある。
このように、全方位マイクアレイ装置2又は指向性制御装置3は、遅延器251,252,253,…,25(n−1),25nにおいて付与される遅延時間D1,D2,D3,…,Dn−1,Dnを変更することで、マイクロホンユニット22又はマイクロホンユニット23に内蔵された各々のマイク素子221,222,223,…,22(n−1),22nにより収音された音声の音声データの指向性を簡易かつ任意に形成することができる。
図4は、全方位マイクアレイ装置2の内部構成の第1例を示すブロック図である。図4に示す全方位マイクアレイ装置2は、複数のマイク素子221,222,…,22nと、各マイク素子221,222,…,22nに対応して設けられたA/D変換器241,242,…,24nと、制御部281と、送信部291と、温度検出部TSと、湿度検出部HSと、気圧検出部ASとを含む構成である。
マイク素子221,222,…,22nは、収音領域における音声を収音する。マイク素子221,222,…,22nにより収音された音声のアナログの音声信号はA/D変換器241,242,…,24nにおいてデジタルの音声信号に変換されて制御部281に入力される。
制御部281は、全方位マイクアレイ装置2の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。例えば、制御部281は、入力されたデジタルの音声信号と、温度検出部TS,湿度検出部HS,気圧検出部ASにより検出(測定)された環境パラメータとしての温度、湿度(水蒸気圧)、気圧の測定値を含むデータとを符号化処理して送信部291に出力する。送信部291は、符号化されたデータからパケットPKTの生成処理、及び指向性制御装置3、レコーダ装置4への送信処理を行う。
送信部291は、制御部281からの指示に応じて、制御部281により符号化されたデータをパケットPKTを生成し、指向性制御装置3、レコーダ装置4に送信する。図6(A)は、全方位マイクアレイ装置2から送信されるパケットPKTの構造の第1例を示す図である。送信部291は、例えばヘッダHDの格納領域に符号化された環境パラメータデータPDTを格納し、ペイロードの格納領域に符号化された音声データVDを格納したパケットPKTを生成する。なお、ヘッダHDの格納領域には、温度検出部TS、湿度検出部HS、気圧検出部ASにより測定された測定日時や測定時刻の情報を示すタイムスタンプが含まれても良く、マイク素子固有の認識情報が含まれても良い。以下の各実施形態においても同様である。
環境パラメータ測定部の一例としての温度検出部TSは、例えば公知の温度センサを用いて構成され、全方位マイクアレイ装置2の収音時における周囲の温度を周期的に検出(測定)し、温度の測定値を制御部281に出力する。
環境パラメータ測定部の一例としての湿度検出部HSは、例えば公知の湿度センサを用いて構成され、全方位マイクアレイ装置2の収音時における周囲の湿度(例えば水蒸気圧)を周期的に検出(測定)し、湿度の測定値を制御部281に出力する。
環境パラメータ測定部の一例としての気圧検出部ASは、例えば公知の気圧センサを用いて構成され、全方位マイクアレイ装置2の収音時における周囲の気圧を周期的に検出(測定)し、気圧の測定値を制御部281に出力する。
図5(A)は、全方位マイクアレイ装置2の皿状マイク筐体125にカメラ装置C11が嵌め込まれた様子を鉛直方向の下側から見た平面図である。図5(B)は、図5(A)のa−a断面の第1例を示す断面図である。カメラ装置C11は、例えば円盤状に形成された円盤状筐体を有する。カメラ装置C11は、全方位の入射光を撮像素子に集光するための魚眼レンズ121が、円盤状筐体の中央部の窪んだ位置から突出するように設けられている。
本実施形態の指向性制御システム10では、全方位マイクアレイ装置2は、カメラ装置C11の円盤状筐体を中央凹部35に嵌め入れる同心円状の皿状マイク筐体125を有する。皿状マイク筐体125の内部には、複数(例えば16個)のマイクロホンユニット22が同心円状に配置される。マイクロホンユニット22は、例えば高音質小型エレクトレットコンデンサーマイクロホン(ECM:Electret Condenser Microphone)117aが用いられ、以下の各実施形態においても同様である。マイクロホンユニット22は、ゴムブッシュ143が挟み入れられて高音質小型エレクトレットコンデンサーマイクロホン(ECM)117aが固定される。
全方位マイクアレイ装置2の皿状マイク筐体125の上面(例えばマイクロホンユニット22が取り付けられた面)と、カメラ装置C11の円盤状筐体の上面(例えば魚眼レンズ121が有る面)とは、段差が無い位置関係(例えば水平面、又は水平面に近い連続的な曲面)になっていて、音の反射など音響特性の劣化になる要因が生じないようになっており、以下の各実施形態においても同様である。
皿状マイク筐体125では、カメラ装置C11の上部に形成される筐体内スペース145に、カメラ装置C11の直径以上の長さの直径を有する円形状又は四角形状のマイク基板133が配置可能となる。皿状マイク筐体125では、コネクタ151の近傍に、AD変換器を配置されても良いし、マイク基板133の中央部に配置されても良い。皿状マイク筐体125は、マイク基板133の面積を大きく確保可能になるので、マイクロホンユニット22に近接配置が可能となり、マイクケーブル155を短くでき、耐ノイズ障害特性(EMS)を向上できる。
また、皿状マイク筐体125の側面部には、通気孔129が設けられ、上述した温度検出部TS、湿度検出部HS及び気圧検出部ASを含む温湿度・気圧測定素子161は通気孔129の付近であって、且つ、皿状マイク筐体125の側面部に配置される。言い換えると、温湿度・気圧測定素子161は、通気孔129の付近であって、マイク基板133の端部(即ち、皿状マイク筐体125の側面部側)に配置される。一方、皿状マイク筐体125の上面(具体的には、高音質小型エレクトレットコンデンサーマイクロホン(ECM)117aの取付面側)に通気孔が設けられると、通気孔に一部の音波が入射することになり、収音される音波の音響特性が劣化することになる。従って、通気孔129は、皿状マイク筐体125の側面部に設けられることが好ましい。
これにより、皿状マイク筐体125の内部(筐体内スペース145と外部(例えば外気)とで温度、湿度、気圧の測定値が相違しないため、全方位マイクアレイ装置2は、皿状マイク筐体125内に配置される電子部品(例えばCPUやA/D変換器)の発熱による影響を抑制することができ、適切な温度、湿度、気圧の測定値を取得することができ、後述するように、全方位マイクアレイ装置2又は指向性制御装置3は、適切な温度、湿度、気圧の測定値を用いて、正確な音速を算出することができる。
図6(B)は、全方位マイクアレイ装置2の動作手順の第1例を説明するフローチャートである。図6(B)において、制御部281は、各マイク素子221,222,…,22nにより収音された音声の音声データが各A/D変換器241,242,…,24nにおいて変換されたデジタルの音声データを取得する(S1)。制御部281は、温度検出部TSにより検出された全方位マイクアレイ装置2の周囲の温度の測定値を取得する(S2)。制御部281は、ステップS2において取得した温度の測定値を示す温度データを送信部291に出力して温度データをパケットPKTに付加するように指示する(S3)。
制御部281は、湿度検出部HSにより検出された全方位マイクアレイ装置2の周囲の湿度の測定値を取得する(S4)。制御部281は、ステップS4において取得した湿度の測定値を示す湿度データを送信部291に出力して湿度データをパケットPKTに付加するように指示する(S5)。
制御部281は、気圧検出部ASにより検出された全方位マイクアレイ装置2の周囲の気圧の測定値を取得する(S6)。制御部281は、ステップS6において取得した気圧の測定値を示す気圧データを送信部291に出力して気圧データをパケットPKTに付加するように指示する(S7)。送信部291は、制御部281から取得した各種データ(具体的には、音声データ、温度データ、湿度データ、気圧データ)を用いて、図6(A)に示すパケットPKTを生成して指向性制御装置3、レコーダ装置4に送信する(S8)。
図7(A)は、レコーダ装置4のレコーダ記憶領域に格納されるデータの第1例を示す図である。図7(A)に示すように、レコーダ装置4のレコーダ記憶領域では、1つのレコード毎に、温度データ、湿度データ、気圧データ、音声データ、及びタイムスタンプが対応付けて格納される。タイムスタンプは、温度検出部TS、湿度検出部HS、気圧検出部ASにおいてそれぞれ検出(測定)されたタイミングを示す情報である。
(音速Vsの算出の第1例)
図7(B)は、指向性制御装置3の動作手順の第1例を説明するフローチャートである。図7(B)では、指向性制御装置3が指向性制御装置3又はレコーダ装置4に記憶された温度データ、湿度データ、気圧データを用いて音速Vsを算出する処理と、算出された音速Vsを用いて遅延時間(図3参照)を付与して指向性を形成する処理とを説明する。
図7(B)において、通信部31は、全方位マイクアレイ装置2から送信されたパケットPKT(即ち、音声データ、温度データ、湿度データ、気圧データ)を受信して信号処理部33に出力する(S11)。音速補正部34bは、ステップS11において通信部31が受信したパケットPKTから温度データ、湿度データ、気圧データをそれぞれ取り出す(S12,S13,S14)。音速補正部34bは、温度データ、湿度データ、気圧データを用いて、音声データの指向性の形成に必要となる音速Vsを算出する(S15)。
ここで、音速補正部34bにおける温度データ、湿度データ、気圧データを用いた音速Vsの算出について具体的に説明する。乾燥空気中の音速V[m/s]は、温度T[℃]から数式(2)により示される。なお、数式(2)の近似式は数式(3)により示されることが知られている。
Figure 0006217930
Figure 0006217930
乾燥空気中の音速Vと、水蒸気圧P[Pa]となる水蒸気を含む空気中の音速Vsとの関係は数式(4)により示される。数式(4)において、γは、水蒸気の定圧比熱と定積比熱との比率で約1.33であり、γは、乾燥空気の定圧比熱と定積比熱との比率で約1.40であり、Hは気圧[Pa]である。
Figure 0006217930
一般的な湿度センサにより測定される湿度は相対湿度RH(即ち、測定時の温度における飽和水蒸気圧Pに対する水蒸気圧Pの比率(分圧))であり、相対湿度RHと水蒸気圧Pとの関係は数式(5)により示される。数式(5)において水蒸気圧Pを算出するためには、飽和水蒸気圧Pを知る必要があり、飽和水蒸気圧Pは温度Tに応じて変化し、数式(6)により示される。数式(6)はTetensの式と呼ばれており、飽和水蒸気圧Pを求める数式として、例えばWagnerの式を用いても良い。
Figure 0006217930
Figure 0006217930
従って、空気中の音速は少なくとも温度によって変化し、更に、空気中の水蒸気圧によっても変化する。水蒸気圧による音速変化の影響は、数式(4)で示すように、気圧によっても変化の影響度合いが変わる。また、後述するように、風によっても音速は変化するため、例えば全方位マイクアレイ装置2が屋外に設置される場合には、より正確な指向性の形成が必要となるため、風の風向及び風速を考慮した上で音速Vsを算出することが好ましい(後述参照)。なお、音速Vsの変化に影響を与える要因は、温度、水蒸気圧(言い換えると湿度)、気圧の順である。気圧(大気圧)は水蒸気圧が0でない場合に限り、音速Vsに影響を与える。
以上から、音速補正部34bは、温度データ、湿度データ、気圧データのうち温度データだけを用いる場合には数式(2)に従って音速Vを音速Vsとして算出し、温度データ、湿度データ、気圧データを用いる場合には数式(4)に従って音速Vsを算出する。
なお、ステップS15の後、図7(B)では示されていないが、指向方向算出部34aは、ユーザの操作によって指定された指定位置に対応する音声位置に向かう指向方向を示す座標(θMAh,θMAv)を算出して出力制御部34cに出力する。出力制御部34cは、ステップS15において算出された音速Vsと指向方向算出部34aから出力された指向方向を示す座標(θMAh,θMAv)とを用いて、ステップS11において受信された音声データに対して指向方向に指向性を形成する(S16)。
以上により、本実施形態の指向性制御システム10では、本発明に係る音速補正装置の一例としての指向性制御装置3は、全方位マイクアレイ装置2から見て特定の指向方向の音源(例えば図13(A)に示す人物HM)から発した音声の収音時における周囲の環境パラメータ(例えば温度、湿度、気圧)を取得するので、収音時における周囲の環境パラメータの測定値を用いて正確な音速Vsを算出することができ、更に、全方位マイクアレイ装置2から音源に向かう指向方向への指向性の形成精度の劣化を抑制することができる。
(音速Vsの算出の第2例)
また、本実施形態では、全方位マイクアレイ装置2は少なくとも温度を検出して指向性制御装置3に送信しても良い(図8(A)参照)。更に、全方位マイクアレイ装置2の皿状マイク筐体125には通気孔129が設けられていたが、通気孔129が設けられなくても良い(図8(B)参照)。
図8(A)は、全方位マイクアレイ装置2kの内部構成の第2例を示すブロック図である。図8(B)は、図5(A)のa−a断面の第2例を示す断面図である。図8(A)の説明では、図4に示す全方位マイクアレイ装置2の各部と同一の構成については同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。図8(A)では、湿度検出部HS及び気圧検出部ASが省略されている。言い換えると、図8(A)では、音速Vsの変化に最も影響を与える要因である温度検出部Tsだけ全方位マイクアレイ装置2に設けられている。
図8(B)では、図5(B)と比べて、温度検出部TSに相当する温度測定素子161aが皿状マイク筐体125の側面部側であって、マイク基板133上の端部に配置されている。温度が平衡状態になった場合、皿状マイク筐体125の内部温度と外部温度との差分がほぼ一定の温度差になるという性質が知られている。そこで、制御部281は、この性質を利用して、温度検出部TSにより検出された温度の測定値に所定量(例えば+2[℃])を加算又は減算するように補正してから符号化処理を行う。図5(B)でも図8(B)でも同様であるが、温湿度・気圧測定素子161や温度測定素子161aは発熱部品(例えばCPUやA/D変換器)が配置(実装)された位置から離れた位置(例えばマイク基板133の端部側)に配置されることが好ましい。
一方、温度に比べて音速Vsの変化要因として影響度合いが小さい湿度及び気圧の値は、初期設定値を用いれば良い。例えば指向性制御システム10の初期設定時に、平均的な湿度及び気圧の値を予め測定しておき、ユーザの操作によって操作部32から入力された湿度及び気圧の値はメモリ38に記憶される。音速補正部34bは、音速Vsの算出時に、メモリ38から湿度及び気圧の初期設定値を用いる。なお、湿度及び気圧の値は初期設定時に限らず、適宜、ユーザの操作によって操作部32から入力された値に変更されてメモリ38に記憶されても良い。
図9(A)は、全方位マイクアレイ装置2kから送信されるパケットPKTの構造の第2例を示す図である。送信部291は、例えばヘッダHDの格納領域に符号化された温度データPDTaを格納し、ペイロードの格納領域に符号化された音声データVDを格納したパケットPKTaを生成する。
図9(B)は、全方位マイクアレイ装置2kの動作手順の第2例を説明するフローチャートである。図9(B)の説明では、図6(B)の各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。図9(B)では、図6(B)に示すステップS4からステップS7の処理が省略されており、具体的には、送信部291は、ステップS3の後、制御部281から取得した各種データ(具体的には、音声データ、温度データ)を用いて、図9(A)に示すパケットPKTaを生成して指向性制御装置3、レコーダ装置4に送信する(S8a)。
図10(A)は、指向性制御装置3に環境パラメータのデータを設定する初期設定の動作手順の一例を説明するフローチャートである。図10(B)は、指向性制御装置3の動作手順の第2例を説明するフローチャートである。図10(C)は、レコーダ装置4のレコーダ記憶領域に格納されるデータの第2例を示す図である。
図10(A)において、ユーザの操作によって、操作部32から湿度データ(例えば予め測定された湿度の初期設定値)が入力された場合(S21)、信号処理部33は、ステップS21において入力された湿度データをメモリ38に記憶(保存)する(S22)。また、ユーザの操作によって、操作部32から気圧データ(例えば予め測定された気圧の初期設定値)が入力された場合(S23)、信号処理部33は、ステップS23において入力された気圧データをメモリ38に記憶(保存)する(S24)。
図10(B)の説明では、図7(B)の各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。図10(B)において、音速補正部34bは、ステップS12の後、メモリ38から湿度データ及び気圧データ(例えば図10(A)に示すステップS22,S24において保存されたデータ)を読み出し(S17)、上述した数式(4)に従って、音声データの指向性の形成に必要となる音速Vsを算出する(S15)。ステップS15以降の動作は図7(B)のステップS16と同一であるため、説明を省略する。
図10(C)に示すように、レコーダ装置4のレコーダ記憶領域では、全方位マイクアレイ装置2から送信される環境パラメータの測定値は温度データ及びタイムスタンプであるため、1つのレコード毎に、温度データ、音声データ、及びタイムスタンプが対応付けて格納される。なお、湿度データ及び気圧データは、図10(A)に示す初期設定の動作手順において入力されずに、音速補正部34bのプログラムコードに予め定数として書き込まれた値が用いられても良い。
以上により、音速Vsの算出の第2例では、皿状マイク筐体125の側面部に温度検出部TSに対応する温度測定素子161aだけが配置され、本発明に係る音速補正装置の一例としての指向性制御装置3は、皿状マイク筐体125内に配置される電子部品(例えばCPUやA/D変換器)の発熱による影響を抑制することができ、また、皿状マイク筐体125の内部の温度が平衡状態になった場合では皿状マイク筐体125の内部温度と外部温度との差分値がほぼ一定となる性質を利用して、測定された温度データを上述した差分値に応じた所定量(例えば+2[℃])を補正することで、正確な音速を算出することができる。
(音速Vsの算出の第3例)
また、本実施形態では、全方位マイクアレイ装置2が音速Vsを算出しても良い(図11(A)参照)。全方位マイクアレイ装置2は、全方位マイクアレイ装置2自身が算出した音速Vs、又は算出により得られた音速Vsと所定基準値(例えば340[m/s])との差分値を指向性制御装置3、レコーダ装置4に送信する(図11(B)及び(C)参照)。
図11(A)は、全方位マイクアレイ装置2kaの内部構成の第3例を示すブロック図である。図11(B)は、全方位マイクアレイ装置2kaから送信されるパケットPKTbの構造の第3例を示す図である。図11(C)は、全方位マイクアレイ装置2kaの動作手順の第3例を説明するフローチャートである。図11(A)の説明では、図4に示す全方位マイクアレイ装置2の各部と同一の構成については同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。図11(A)では、図4に示す全方位マイクアレイ装置2に対し、更に音速変換部301が追加されている。
音速変換部301は、温度検出部TS、湿度検出部HS、気圧検出部ASの出力(即ち、温度データ、湿度データ、気圧データ)を用いて、上述した数式(4)〜(6)に従って、音声データの指向性の形成に必要となる音速Vsを算出して制御部281に出力する。制御部281は、入力されたデジタルの音声信号と、音速変換部301から出力された音速Vsのデータとを符号化処理して送信部291に出力する。
送信部291は、例えばヘッダHDの格納領域に符号化された音速データVsDTを格納し、ペイロードの格納領域に符号化された音声データVDを格納したパケットPKTbを生成する(図11(B)参照)。
また、図11(C)の説明では、図6(B)の各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。図11(C)において、音速変換部301は、ステップS1の後、温度検出部TSにより検出された全方位マイクアレイ装置2の周囲の温度の測定値、湿度検出部HSにより検出された全方位マイクアレイ装置2の周囲の湿度の測定値、気圧検出部ASにより検出された全方位マイクアレイ装置2の周囲の気圧の測定値を取得する(S2a,S4a,S6a)。
音速変換部301は、ステップS2a,S4a,S6aにおいて取得された温度データ、湿度データ、気圧データを用いて、上述した数式(4)〜(6)に従って、音声データの指向性の形成に必要となる音速Vsを算出して制御部281に出力する(S15a)。制御部281は、音速変換部301により算出された音速Vsのデータを送信部291に出力して音速データをパケットPKTに付加するように指示する(S18)。送信部291は、制御部281から取得した各種データ(具体的には、音声データ、音速データ)を用いて、図11(B)に示すパケットPKTbを生成して指向性制御装置3、レコーダ装置4に送信する(S8a)。
なお、全方位マイクアレイ装置2kaは、音速Vsの算出値をパケットPKTbに含めて指向性制御装置3、レコーダ装置4に送信しても良いし、音速Vsの算出値と所定基準値との差分値をパケットPKTbに含めて指向性制御装置3、レコーダ装置4に送信しても良い。この場合、指向性制御装置3は、所定基準値と差分値とを用いて音速Vsを算出する。
以上により、音速Vsの算出の第3例では、本発明に係る音速補正装置の一例としての全方位マイクアレイ装置2kaは、環境パラメータ(例えば温度、湿度、気圧)の測定値を用いて音速Vsを算出することができ、音速Vsの算出値又は音速Vsの算出値と音速の所定基準値(例えば340[m/s])との差分値を指向性制御装置3、レコーダ装置4に送信するので、指向性制御装置3は、環境パラメータの測定値を用いて算出される音速Vsの所定基準値との差分値を用いて音速Vsを補正するので、環境パラメータの測定値を用いて算出される音速値と所定基準値との差分値を取得することで音速の補正を簡易に行うことができる。また、全方位マイクアレイ装置2kaは、音速Vsの算出値と音速の所定基準値(例えば340[m/s])との差分値を送信する場合には、送信対象のデータ量を軽減することができるので、指向性制御装置3における音速の補正に必要なデータの取得に要する時間を軽減することができる。
(音速Vsの算出の第4例)
また、本実施形態では、上述したように、環境パラメータとしての温度、湿度、気圧以外に、風の風向及び風速を考慮した上で、音速Vsを算出しても良い(図12(A)及び(B)参照)。図12(A)は、x方向風速計321aa,321ab及びy方向風速計321ba,321bbが取り付けられた全方位マイクアレイ装置2kbの皿状マイク筐体125にカメラ装置C11が嵌め込まれた様子を鉛直方向の下側から見た平面図である。図12(B)は、全方位マイクアレイ装置2kbの内部構成の第4例を示すブロック図である。
図12(A)の説明では、図5(A)の説明と異なる内容について説明し、同一の内容については説明を省略する。更に、図12(B)の説明では、図4の説明と同一の構成には同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。具体的には、全方位マイクアレイ装置2kbには、図4に示す全方位マイクアレイ装置2に対し、直交する2軸(x方向、y方向)における風の風向及び風速を検出可能な一対のx方向風速計321aa,321abと一対のy方向風速計321ba,321bbとが更に設けられている。
一方のx方向風速計321aa(又は321ab)は、x方向に対して平行に配置された他方のx方向風速計321ab(又は321aa)に対して超音波を送波する。他方のx方向風速計321ab(又は321aa)は、一方のx方向風速計321aa(又は321ab)から送波された超音波を受波する。
一方のy方向風速計321ba(又は321bb)は、y方向に対して平行に配置された他方のy方向風速計321bb(又は321ba)に対して超音波を送波する。他方のy方向風速計321bb(又は321ba)は、一方のy方向風速計321ba(又は321bb)から送波された超音波を受波する。
風向風速検出部311は、x方向風速計321aa,321abの出力とy方向風速計321ba,321bbの出力とを基にして、全方位マイクアレイ装置2kbの周囲の風の風向及び風速を検出し、風の風向及び風速の測定値を制御部281に出力する。なお、風向風速検出部311、x方向風速計321aa,321ab及びy方向風速計321ba,321bbにおける風の風向及び風速の測定方法は公知技術であるため、詳細な説明は省略する。
制御部281は、温度検出部TS、湿度検出部HS、気圧検出部AS、風向風速検出部311の各測定値を取得して送信部291に出力し、各測定値をパケットPKT(図6(A)参照)に付加するように指示する。送信部291は、制御部281から取得した各種データ(具体的には、音声データ、温度データ、湿度データ、気圧データ、風向及び風速のデータ)を用いて、図6(A)に示すパケットPKTを生成して指向性制御装置3、レコーダ装置4に送信する。
ここで、風の風向及び風速を用いた音速Vsの補正について、図13(A)を参照して説明する。図13(A)は、全方位マイクアレイ装置2kbから見て(θ,φ)の方向に目的音が発せられ、風がx−y平面の+x方向から吹いている場合の音速の変化に関する説明図である。
全方位マイクアレイ装置2kbから見て目的音(例えば人物HMの発する音声「♪♪」)が(θ,φ)の方向(収音方向)に存在し、風がx−y平面の+x方向から吹いている場合には、風速Vwの収音方向ベクトル成分だけ音速Vsが変化する。このため、数式(7)に示すように、温度データ、湿度データ、気圧データを用いて算出される音速Vs(数式(4)参照)に、風向及び風速Vwに応じた速度が加算又は減算されることになる。数式(7)の右辺の第1項は数式(4)に従って算出される風速Vsである。
Figure 0006217930
図13(B)は、指向性制御装置3の動作手順の第4例を説明するフローチャートである。図13(B)では、全方位マイクアレイ装置2kbから送信されたパケットPKTに含まれる環境パラメータの測定値である温度データ、湿度データ、気圧データ、風向及び風速のデータを用いて風速Vsを補正して風速Vs’を算出する処理を説明する。
図13(B)では、図7(B)に示す各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。指向性制御装置3では、音速補正部34bは、ステップS14の後、温度データ、湿度データ、気圧データを用いて、音声データの指向性の形成に必要となる音速Vsを算出する(S15b)。更に、音速補正部34bは、全方位マイクアレイ装置2kbから送信されたパケットPKTから風向及び風速のデータを取り出す(S19)。ステップS19の後、ユーザの操作により、操作部32から指向方向(即ち、図13(A)に示す収音方向(θ,φ))が入力された後(S25)、音速補正部34bは、ステップS19において取り出した風向及び風速のデータと、ステップS25において入力された指向方向(θ,φ)とを用いて、数式(7)に従って、風速Vs’を算出する(S26)。ステップS26以降の動作は図7(B)のステップS16と同一であるため、説明を省略する。
以上により、音速Vsの算出の第4例では、本発明に係る音速補正装置の一例としての指向性制御装置3は、環境パラメータである温度、湿度、気圧の各測定値のデータと全方位マイクアレイ装置2kbの周囲の風の風向及び風速の測定値のデータとを用いて音速Vsを音速Vs’に補正するので、全方位マイクアレイ装置2kbが風の影響を受け易い場所(例えば屋外、エアコンや換気口付近)に設置された場合でも、環境パラメータの測定値(温度データ、湿度データ、気圧データ)だけでなく、風向及び風速の測定値を考慮した上で、正確に音速を算出することができる。
(音速Vsの算出の第5例)
また、本実施形態では、全方位マイクアレイ装置2は、環境パラメータである温度、湿度、気圧の各測定値のうちそれぞれについて所定量以上の変化が見られた場合に限って、所定量以上の変化が見られた環境パラメータの測定値を指向性制御装置3、レコーダ装置4に送信しても良い(図14(A)参照)。図14(A)は、全方位マイクアレイ装置2の動作手順の第5例を説明するフローチャートである。図14(A)の説明では、図6(B)の各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。
図14(B)において、全方位マイクアレイ装置2では、制御部281は、ステップS2において取得した温度データが温度データに応じた所定量(例えば1[℃])以上の変化があったか否かを判定し(S31)、所定量以上の変化があった場合には(S31、YES)、ステップS2において取得した温度の測定値を示す温度データを送信部291に出力して温度データをパケットPKTに付加するように指示する(S3)。一方、所定量以上の変化がなかった場合には(S31、NO)、制御部281の処理はステップS4に進む。
また、制御部281は、ステップS4において取得した湿度データが湿度データに応じた所定量(例えば10[%])以上の変化があったか否かを判定し(S32)、所定量以上の変化があった場合には(S32、YES)、ステップS4において取得した湿度の測定値を示す湿度データを送信部291に出力して湿度データをパケットPKTに付加するように指示する(S5)。一方、所定量以上の変化がなかった場合には(S32、NO)、制御部281の処理はステップS6に進む。
同様に、制御部281は、ステップS6において取得した気圧データが気圧データに応じた所定量(例えば0.1[気圧])以上の変化があったか否かを判定し(S33)、所定量以上の変化があった場合には(S33、YES)、ステップS6において取得した気圧の測定値を示す気圧データを送信部291に出力して気圧データをパケットPKTに付加するように指示する(S7)。一方、所定量以上の変化がなかった場合には(S33、NO)、制御部281の処理はステップS8に進む。ステップS8の処理の説明は図6(B)と同一であるため、説明を省略する。
図14(B)は、指向性制御装置3の動作手順の第5例を説明するフローチャートである。図14(B)の説明では、図7(B)の各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。
図14(B)において、ステップS11の後、音速補正部34bは、ステップS11において通信部31が受信したパケットPKTに温度データが含まれているか否かを判定し(S41)、温度データが含まれていると判定した場合には(S41、YES)、温度データを取り出してメモリ38に保存する(S12,S27)。一方、温度データが含まれていない場合には(S41、NO)、音速補正部34bは、メモリ38に保存されていた温度データ(即ち、所定量以上の変化がなかった前回測定時の温度データ)を取得する(S42)。
また、音速補正部34bは、ステップS11において通信部31が受信したパケットPKTに湿度データが含まれているか否かを判定し(S43)、湿度データが含まれていると判定した場合には(S43、YES)、湿度データを取り出してメモリ38に保存する(S13,S22)。一方、湿度データが含まれていない場合には(S43、NO)、音速補正部34bは、メモリ38に保存されていた湿度データ(即ち、所定量以上の変化がなかった前回測定時の湿度データ)を取得する(S44)。
同様に、音速補正部34bは、ステップS11において通信部31が受信したパケットPKTに気圧データが含まれているか否かを判定し(S45)、気圧データが含まれていると判定した場合には(S45、YES)、気圧データを取り出してメモリ38に保存する(S14,S24)。一方、気圧データが含まれていない場合には(S45、NO)、音速補正部34bは、メモリ38に保存されていた気圧データ(即ち、所定量以上の変化がなかった前回測定時の気圧データ)を取得する(S46)。ステップ24又はステップS46以降の動作は図7(B)に示すステップS15以降の動作と同一であるため、説明を省略する。
以上により、音速Vsの算出の第5例では、本発明に係る音速補正装置の一例としての指向性制御装置3は、周期的に測定される環境パラメータである温度、湿度、気圧の各測定値がそれぞれに応じた所定量以上の変化した場合に限り、変更後の環境パラメータの測定値を用いて音速を補正するので、周囲の環境パラメータが頻繁に変化しないような環境下では音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
(音速Vsの算出の第6例)
また、本実施形態では、全方位マイクアレイ装置2は、環境パラメータである温度、湿度、気圧を測定してから一定時間が経過した場合に限って、環境パラメータの測定値である温度データ、湿度データ、気圧データを指向性制御装置3、レコーダ装置4に送信しても良い(図15参照)。図15は、全方位マイクアレイ装置2の動作手順の第6例を説明するフローチャートである。図15の説明では、図6(B)の各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。
図15において、制御部281は、ステップS1において音声データを取得した後、温度検出部TS、湿度検出部HS、気圧検出部ASがそれぞれ温度、湿度、気圧を測定してから一定時間が経過したか否かを判定する(S50)。一定時間が経過した場合に限り(S50、YES)、全方位マイクアレイ装置2の動作において、ステップS2からステップS7までの処理(図6(B)参照)が行われる。一方、一定時間が経過していない場合には(S50、NO)、ステップS2からステップS7までの処理は省略され、ステップS8の処理が行われる。なお、指向性制御装置3の動作は上述した図14(B)に示すフローチャートの各動作と同一であるため、説明を省略する。
以上により、音速Vsの算出の第6例では、本発明に係る音速補正装置の一例としての指向性制御装置3は、環境パラメータである温度、湿度、気圧の測定が行われてから一定時間が経過するまでは次の測定が行われないので、周囲の環境パラメータが頻繁に変化しないような環境下では環境パラメータである温度、湿度、気圧の測定回数を少なくしても音速が変化することは少ないので、音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
なお、動作開始時に環境パラメータ情報が無い場合は、指向性制御装置3は、メモリ38に予め設定してある、基準音速から指向方向を算出すればよい。
(第2の実施形態)
図16(A)は、第2の実施形態の指向性制御システム10Aのシステム構成を示すブロック図である。図16(A)に示す指向性制御システム10Aは、図1に示す指向性制御システム1に、環境パラメータ測定装置EPMが更に追加された構成であり、環境パラメータ測定装置EPM以外の構成は図1に示す各部の構成と同一であるため、説明を省略する。
図16(B)は、例えば屋外に設置される環境パラメータ測定装置EPMの一例を示す図である。環境パラメータ測定装置EPMは、筐体BDに通気孔WHが設けられている。また、筐体BDには、風の風向及び風速を測定可能な風向風速計WDVが接続されている。筐体BD内には、例えば図4に示す温度検出部TS、湿度検出部HS、気圧検出部ASを含む温湿度・気圧測定素子161が配置されている(不図示)。従って、本実施形態では、第1の実施形態のように全方位マイクアレイ装置2において温度データ、湿度データ、気圧データを測定する代わりに、別体の環境パラメータ測定装置EPMによって温度データ、湿度データ、気圧データ、風の風向及び風速のデータを測定する。
(音速Vsの算出の第7例)
図17(A)は、指向性制御装置3の動作手順の第7例を説明するフローチャートである。図17(B)は、図17(A)に示すレコーダ装置4のレコーダ記憶領域に格納されるデータの一例を示す図である。図17(C)は、図17(A)に示す指向性制御装置の記憶領域に格納されるデータの一例を示す図である。図17(A)の説明では、図7(B)に示す各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。
図17(A)において、通信部31は、全方位マイクアレイ装置2から送信されたパケットPKTに含まれる音声データを受信して信号処理部33に出力し(S11)、更に、同パケットPKTに含まれる温度データ、湿度データ、気圧データ、風の風向及び風速のデータを受信して信号処理部33に出力する(S51)。
音速補正部34bは、ステップS12において取り出した温度データ、ステップS13において取り出した湿度データ、ステップS14において取り出した気圧データを用いて、数式(4)に従って、音速Vsを算出し(S15)、算出した音速Vsのデータをメモリ38に保存する(S52)。更に、音速補正部34bは、ステップS51において通信部31から取得した風の風向及び風速データを取り出してメモリ38に保存する(S53,S54)。
ステップS11の後、ユーザの操作により、操作部32から指向方向(即ち、図13(A)に示す収音方向(θ,φ))が入力された後(S25)、音速補正部34bは、ステップS52においてメモリ38に保存した音速Vsのデータと、ステップS54においてメモリ38に保存した風向及び風速のデータとを用いて、数式(7)に従って、音速Vsを音速Vs’に補正する(S55)。ステップS55以降の処理は、図7(B)に示すステップS16と同一であるため、説明を省略する。
図17(B)に示すように、本実施形態のレコーダ装置4のレコーダ記憶領域では、全方位マイクアレイ装置2から送信されるデータはタイムスタンプ及び音声データであるため、1つのレコード毎に、音声データ及びタイムスタンプが対応付けて格納される。
図17(C)に示すように、本実施形態の指向性制御装置3のメモリ38の記憶領域では、全方位マイクアレイ装置2から送信されるデータは環境パラメータの測定値である温度データ、湿度データ、気圧データ、風の風向及び風速のデータ、タイムスタンプである。このため、1つのレコード毎に、温度データ、湿度データ、気圧データ、風の風向及び風速のデータ、及びタイムスタンプが対応付けて格納される。なお、レコーダ装置4と指向性制御装置3に格納されるデータはタイムスタンプにより対応付けられるので、指向性制御装置3がレコーダ装置4に記憶された音声データを取得してスピーカ装置37から出力する際には、同一のタイムスタンプを有する音声データをレコーダ装置4から取得する。
以上により、本実施形態の指向性制御システム10Aでは、本発明に係る音速補正装置の一例としての指向性制御装置3は、環境パラメータ測定装置EPMにより測定された環境パラメータである温度、湿度、気圧、風の風向及び風速の各測定値のデータを用いて音速Vsを音速Vs’に補正するので、全方位マイクアレイ装置2kbが風の影響を受け易い場所(例えば屋外、エアコンや換気口付近)に設置された場合でも、環境パラメータの測定値(温度データ、湿度データ、気圧データ)だけでなく、風向及び風速の測定値を考慮した上で、正確に音速を算出することができる。
また、全方位マイクアレイ装置2を屋外に設置した場合には、風による影響を受けてしまい、音速が変化するだけではなく、音波の伝搬路が曲がることで音源方向の誤差が生じる、言い換えると、全方位マイクアレイ装置2の各マイク素子に入射する音波の入射角が変化することが考えられる。
そこで、例えばカメラ装置C11は、カメラ装置C11の撮像により得られた画像を基にして、カメラ装置C11から音源までの距離を推定し、カメラ装置C11から音源までの距離の推定値と補正後の音速Vs’とを用いて音波の伝達時間を算出して全方位マイクアレイ装置2に送信する。全方位マイクアレイ装置2は、カメラ装置C11から送信された伝達時間を用いて、各マイク素子に入射する入射角を補正しても良い。
(音速Vsの算出の第8例)
なお、第1の実施形態において、例えば全方位マイクアレイ装置2が屋内に設置されたために大きな環境変化が無い、言い換えると、環境パラメータである温度データ、湿度データ、気圧データが変化しづらい環境である場合には、環境パラメータである温度データ、湿度データ、気圧データの平均値を初期設定時に入力しておき、この入力値を用いて音速を補正しても良い(図18参照)。
図18は、指向性制御装置3に環境パラメータのデータを設定する初期設定の動作手順の他の一例を説明するフローチャートである。図18の説明では、図10(A)に示す各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。
図18において、ユーザの操作によって、操作部32から温度データ(例えば予め測定された温度の初期設定値)が入力された場合(S60)、信号処理部33は、ステップS60において入力された温度データをメモリ38に記憶(保存)する(S27)。音速補正部34bは、ステップS24の後、ステップS27,S22,S24においてメモリ38に保存した温度データ、湿度データ、気圧データを用いて、数式(4)に従って、音声データの指向性の形成に必要となる音速Vsを算出する(S15)。
以上により、音速Vsの算出の第8例では、本発明に係る音速補正装置の一例としての指向性制御装置3は、周期的に測定される環境パラメータの測定値が環境パラメータの所定の設定値(例えば初期設定値)からの差分が所定値未満である場合には、環境パラメータの測定値ではなく所定の設定値を用いて音速を補正するので、周囲の環境パラメータが頻繁に変化しない環境下(例えば屋内)では音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
(音速Vsの算出の第9例)
また、環境パラメータである温度データ、湿度データ、気圧データの初期設定値を初期設定時に予め入力しておき、全方位マイクアレイ装置2の収音時における環境が初期設定時と大きく異なる場合には、音速補正部34bは、ユーザの操作によって、操作部32から入力された環境パラメータである温度データ、湿度データ、気圧データを用いて音速Vsを算出(補正)しても良い(図19参照)。図19(A)は、指向性制御装置3の動作手順の第9例を説明するフローチャートである。図19(A)の説明では、図7(B)に示す各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。
図19(A)において、通信部31は、全方位マイクアレイ装置2から送信されたパケットPKT(即ち、音声データ、温度データ、湿度データ、気圧データ及びタイムスタンプ)を受信して信号処理部33に出力する(S61)。なお、ステップS61において通信部31が受信したパケットPKTには温度データ、湿度データ、気圧データが省略されても良い。
音速補正部34bは、ステップ61の後、ユーザの操作によって操作部32から環境パラメータである温度データ、湿度データ、気圧データの入力があった場合(S62、YES)、温度データ、湿度データ、気圧データの入力値を取得し(S63)、数式(4)〜(6)に従って、音速Vsを算出する(S64)。
一方、音速補正部34bは、ユーザの操作によって操作部32から環境パラメータである温度データ、湿度データ、気圧データの入力が無かった場合(S62、NO)、メモリ38において予め記憶されている温度データ、湿度データ、気圧データの所定の設定値(例えば初期設定値)を取得し(S65)、数式(4)〜(6)に従って、音速Vsを算出する(S66)。ステップS64又はステップS66以降の処理は図7(B)に示すステップS16と同一であるため、説明を省略する。
以上により、音速Vsの算出の第9例では、本発明に係る音速補正装置の一例としての指向性制御装置3は、環境パラメータの測定値である温度データ、湿度データ、気圧データが操作部32から入力された場合に限り、温度データ、湿度データ、気圧データの入力値を用いて音速Vsを補正するので、例えば周囲の環境パラメータが頻繁に変化しないような環境下では環境パラメータの測定値がユーザの判断の下で入力されないことがあるので、環境パラメータの周期的な測定値を用いて音速を補正する場合に比べて音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
(第3の実施形態)
図20は、第3の実施形態の指向性制御システム10Bのシステム構成を示すブロック図である。図20に示す指向性制御システム10Bは、図1に示す指向性制御システム1に、データベース部の一例としての外部データベースEXDBが更に追加された構成であり、外部データベースEXDB以外の構成は図1に示す各部の構成と同一であるため、説明を省略する。外部データベースEXDBは、環境パラメータである温度データ、湿度データ、気圧データ、風向及び風速のデータを地域毎及びタイムスタンプ(即ち、測定日時や測定時刻)に対応付けて管理及び保存するデータベースである。
(音速Vsの算出の第10例)
図21(A)は、指向性制御装置3の動作手順の第10例を説明するフローチャートである。図21(B)は、図20に示すレコーダ装置4のレコーダ記憶領域に格納されるデータの一例を示す図である。図21(C)は、図20に示す指向性制御装置3の記憶領域に格納されるデータの一例を示す図である。図21(A)の説明では、図7(B)に示す各動作と同一の動作には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。
図21(A)において、通信部31は、全方位マイクアレイ装置2又はレコーダ装置4から送信されたパケットPKT(即ち、音声データ及びタイムスタンプ)を受信して信号処理部33に出力する(S61)。
音速補正部34bは、ステップS61において通信部31から取得したタイムスタンプを取り出し(S71)、このタイムスタンプに対応する温度データ、湿度データ、気圧データ、風向及び風速のデータを外部データベースEXDBから取得して読み出す(S72)。音速補正部34bは、ステップS72において読み出した温度データ、湿度データ、気圧データを用いて、数式(4)〜(6)に従って、音速Vsを算出する(S15)。音速補正部34bは、ステップS15において算出した音速Vsをメモリ38に保存する(S52)。
更に、音速補正部34bは、ステップS72において読み出した風向及び風速のデータを取り出して(S73)、風向及び風速のデータをメモリ38に保存する(S54)。音速補正部34bは、数式(7)に従って、ステップS52においてメモリ38に保存した音速Vsを音速Vs’に補正する(S74)。ステップS74以降の処理は図7(B)に示すステップS16と同一であるため、説明を省略する。
図21(B)に示すように、本実施形態のレコーダ装置4のレコーダ記憶領域では、全方位マイクアレイ装置2から送信されるデータはタイムスタンプ及び音声データであるため、1つのレコード毎に、音声データ及びタイムスタンプが対応付けて格納される。
図21(C)に示すように、本実施形態の指向性制御装置3のメモリ38の記憶領域では、外部データベースEXDBから取得されたデータを用いてステップS15において算出された音速Vsと、外部データベースEXDBから取得された風向及び風速のデータ、タイムスタンプである。このため、1つのレコード毎に、音速Vsのデータ、の風向及び風速のデータ、及びタイムスタンプが対応付けて格納される。なお、レコーダ装置4と指向性制御装置3に格納されるデータはタイムスタンプにより対応付けられるので、指向性制御装置3がレコーダ装置4に記憶された音声データを取得してスピーカ装置37から出力する際には、同一のタイムスタンプを有する音声データをレコーダ装置4から取得する。
以上により、音速Vsの算出の第9例では、本発明に係る音速補正装置の一例としての指向性制御装置3は、環境パラメータである温度データ、湿度データ、気圧データ、風向及び風速のデータの地域毎の測定値を測定日時や測定時刻と対応付けて記憶する外部データベースEXDBから全方位マイクアレイ装置2の設置位置に対応する環境パラメータの測定値を取得するので、全方位マイクアレイ装置2の収音時における周囲の環境パラメータの測定値を用いて正確な音速を算出することができる。
最後に、本発明に係る音速補正装置の構成、作用、効果について説明する。
本発明の一実施形態は、音源から発せられた音声を収音する収音部の周囲の環境パラメータの測定値を取得する環境パラメータ取得部と、前記環境パラメータ取得部により取得された前記収音部の周囲の環境パラメータの測定値を用いて、前記収音部から前記音源に向かう指向方向への指向性の形成に用いる前記音声の音速を補正する音速補正部と、を備える、音速補正装置である。
この構成によれば、音速補正装置は、収音部(例えば全方位マイクアレイ装置)から見て特定の方向の音源から発した音声の収音時における周囲の環境パラメータ(例えば温度、湿度、気圧のうち少なくとも温度)を取得するので、収音時における周囲の環境パラメータの測定値を用いて正確な音速を算出することができ、更に、収音部から音源に向かう指向方向への指向性の形成精度の劣化を抑制することができる。
また、本発明の一実施形態は、前記環境パラメータを測定する環境パラメータ測定部、を更に備え、前記収音部を収容する収音部収容筐体の側面部には、通気孔が設けられ、前記環境パラメータ測定部は、前記収音部収容筐体の前記通気孔付近の側面部に配置される、音速補正装置である。
この構成によれば、収音部収容筐体の側面部に通気孔が設けられ、通気孔付近の側面部に環境パラメータ測定部が配置されるので、収音部収容筐体の内部と外部(外気)とで環境パラメータの測定値が相違せず、音速補正装置は、収音部収容筐体内に配置される電子部品(例えばCPUやA/D変換器)の発熱による影響を抑制することができ、適切な環境パラメータの測定値を用いて、正確な音速に補正することができる。
また、本発明の一実施形態は、前記環境パラメータを測定する環境パラメータ測定部、を更に備え、前記環境パラメータ測定部は、前記収音部を収容する収音部収容筐体の側面部に配置され、前記音速補正部は、前記環境パラメータ測定部により測定された前記環境パラメータの測定値を所定量補正する、音速補正装置である。
この構成によれば、収音部収容筐体の側面部に環境パラメータ測定部が配置されるので、音速補正装置は、収音部収容筐体内に配置される電子部品(例えばCPUやA/D変換器)の発熱による影響を抑制することができ、また、収音部収容筐体の内部の温度が平衡状態になった状態では収音部収容筐体の内部温度と外部温度との差分値がほぼ一定となる性質を利用して、測定された環境パラメータ(例えば温度)を上述した差分値に応じた所定量を補正することで、正確な音速に補正することができる。
また、本発明の一実施形態は、前記環境パラメータを測定する環境パラメータ測定部、を更に備え、前記音速補正部は、前記環境パラメータ測定部により測定された前記環境パラメータの測定値を用いて算出される前記音速の所定基準値を用いて、前記音速を補正する、音速補正装置である。
この構成によれば、音速補正装置は、環境パラメータの測定値を用いて算出される音速の所定基準値を用いて音速を補正するので、環境パラメータの測定値を用いて算出される音速値と所定基準値との差分値を取得することで音速の補正を簡易に行うことができる。
また、本発明の一実施形態は、前記環境パラメータを周期的に測定する環境パラメータ測定部、を更に備え、前記音速補正部は、前記環境パラメータ測定部により測定された前記環境パラメータの測定値が所定量以上変化した場合に、変更後の前記環境パラメータの測定値を用いて、前記音速を補正する、音速補正装置である。
この構成によれば、音速補正装置は、周期的に測定される環境パラメータの測定値が所定量変化した場合に限り、変更後の環境パラメータの測定値を用いて音速を補正するので、周囲の環境パラメータが頻繁に変化しないような環境下では音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
また、本発明の一実施形態は、前記環境パラメータを周期的に測定する環境パラメータ測定部、を更に備え、前記音速補正部は、前記環境パラメータ測定部が前記環境パラメータを測定してから所定時間が経過した場合に、前記環境パラメータ測定部により測定された前記環境パラメータの測定値を用いて、前記音速を補正する、音速補正装置である。
この構成によれば、音速補正装置は、環境パラメータの測定が行われてから所定時間が経過するまでは次の測定が行われないので、周囲の環境パラメータが頻繁に変化しない環境下では環境パラメータである温度、湿度、気圧の測定回数を少なくしても音速が変化することは少ないので、音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
また、本発明の一実施形態は、前記環境パラメータを周期的に測定する環境パラメータ測定部、を更に備え、前記音速補正部は、前記環境パラメータ測定部が前記環境パラメータの測定値が前記環境パラメータの所定の設定値からの差分が所定値未満である場合に、前記環境パラメータの設定値を用いて、前記音速を補正する、音速補正装置である。
この構成によれば、音速補正装置は、周期的に測定される環境パラメータの測定値が環境パラメータの所定の設定値からの差分が所定値未満である場合には、環境パラメータの測定値ではなく所定の設定値を用いて音速を補正するので、周囲の環境パラメータが頻繁に変化しない環境下では音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
また、本発明の一実施形態は、前記環境パラメータの測定値の入力を受け付ける操作部、を更に備え、前記音速補正部は、前記環境パラメータ測定部が前記操作部から入力された場合に、前記環境パラメータの入力値を用いて、前記音速を補正する、音速補正装置である。
この構成によれば、音速補正装置は、環境パラメータの測定値が操作部から入力された場合に限り、環境パラメータの入力値を用いて音速を補正するので、例えば周囲の環境パラメータが頻繁に変化しないような環境下では環境パラメータの測定値がユーザの判断の下で入力されないことがあるので、環境パラメータの周期的な測定値を用いて音速を補正する場合に比べて音速の補正回数を軽減することができ、音速の補正に要する処理負荷を軽減することができる。
また、本発明の一実施形態は、前記環境パラメータ取得部は、前記環境パラメータの測定値を地域毎に記憶するデータベース部から、前記収音部の設置位置に対応する前記環境パラメータの測定値を取得し、前記音速補正部は、前記データベース部から取得された前記環境パラメータの測定値を用いて、前記音速を補正する、音速補正装置である。
この構成によれば、音速補正装置は、環境パラメータの地域毎の測定値を記憶するデータベース部から収音部の設置位置に対応する環境パラメータの測定値を取得するので、収音時における周囲の環境パラメータの測定値を用いて正確な音速を算出することができる。
また、本発明の一実施形態は、前記環境パラメータは、温度、湿度、気圧のうち少なくとも温度を含む、音速補正装置である。
この構成によれば、音速補正装置は、環境パラメータとして温度、湿度、気圧のうち少なくとも温度を用いて音速を算出するので、収音時における周囲の環境パラメータ(即ち、温度、湿度、気圧のうち少なくとも温度)の測定値を用いて正確な音速を算出することができる。特に温度、湿度、気圧のうち音速が最も変化の影響を受ける環境パラメータは温度であることが知られているので、音速補正装置は、少なくとも温度の変化分を考慮した上で、正確な音速を算出することができる。
また、本発明の一実施形態は、前記環境パラメータを測定する環境パラメータ測定部と、前記収音部の周囲の風の風向及び風速を測定する風向風速測定部と、を更に備え、前記音速補正部は、前記環境パラメータ測定部により測定された前記環境パラメータの測定値と前記風向風速測定部により測定された前記風向及び風速の測定値とを用いて、前記音声を補正する、音速補正装置である。
この構成によれば、音速補正装置は、環境パラメータの測定値と収音部の周囲の風の風向及び風速の測定値とを用いて音速を補正するので、収音部が風の影響を受け易い場所(例えば屋外、エアコンや換気口付近)に設置された場合でも、環境パラメータの測定値だけでなく風向及び風速の測定値を考慮した上で、正確に音速を算出することができる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明は、マイクアレイ装置から見て特定の方向の音源から発した音声の収音時における周囲の温度、湿度、気圧を少なくとも取得し、正確な音速を算出することで指向性の形成精度の劣化を抑制する音速補正装置として有用である。
2、2k、2ka、2kb 全方位マイクアレイ装置
3 指向性制御装置
4 レコーダ装置
10、10A、10B 指向性制御システム
31 通信部
32 操作部
33 信号処理部
34a 指向方向算出部
34b 音速補正部
34c 出力制御部
36 ディスプレイ装置
37 スピーカ装置
38 メモリ
129 通気孔
161 温湿度・気圧測定素子
161a 温度測定素子
221、222、22n マイク素子
241、242、24n A/D変換器
281 制御部
291 送信部
301 音速変換部
311 風向風速検出部
321aa、321ab x方向風速計
321ba、321bb y方向風速計
AS 気圧検出部
C11、C1n カメラ装置
EPM 環境パラメータ測定装置
HS 湿度検出部
PDTa 環境パラメータデータ
TS 温度検出部
VsDT 音速データ

Claims (11)

  1. マイクロホンを有し、音源から発せられた音声を前記マイクロホンにより収音する収音部と、
    前記収音部の周囲の環境パラメータの測定値を取得するステップ、取得された前記環境パラメータの測定値を用いて、前記収音部から前記音源に向かう指向方向への指向性の形成に用いる前記音声の音速を補正するステップと、をコンピュータである指向性制御装置に実行させるプログラムを格納した記憶媒体と、を備え
    前記収音部は、前記収音部を収容する筐体内に、
    前記マイクロホンを支持するマイク基板と、
    前記マイク基板の端部に配置され、前記環境パラメータを測定する環境パラメータ測定部と、を更に有する、
    音速補正システム
  2. 請求項1に記載の音速補正システムであって
    前記筐体の側面部には、通気孔が設けられ、
    前記環境パラメータ測定部は、前記通気孔付近の側面部に配置される、
    音速補正システム
  3. 請求項1に記載の音速補正システムであって、
    前記音速を補正するステップでは、記環境パラメータ測定部により測定された前記環境パラメータの測定値が、所定量補正される、
    音速補正システム
  4. 請求項1に記載の音速補正システムであって、
    前記音速を補正するステップでは、前記環境パラメータ測定部により測定された前記環境パラメータの測定値を用いて算出される音速値と前記音速の所定基準値を用いて、前記音速補正される、
    音速補正システム
  5. 請求項1に記載の音速補正システムであって、
    前記環境パラメータ測定部は、前記環境パラメータを周期的に測定
    前記音速補正するステップでは、前記環境パラメータ測定部により測定された前記環境パラメータの測定値が所定量以上変化した場合に、変更後の前記環境パラメータの測定値を用いて、前記音速補正される、
    音速補正システム
  6. 請求項1に記載の音速補正システムであって、
    前記環境パラメータ測定部は、前記環境パラメータを周期的に測定
    前記音速補正するステップでは、前記環境パラメータ測定部が前記環境パラメータを測定してから所定時間が経過した場合に、前記環境パラメータ測定部により測定された前記環境パラメータの測定値を用いて、前記音速補正される、
    音速補正システム
  7. 請求項1に記載の音速補正システムであって、
    前記環境パラメータ測定部は、前記環境パラメータを周期的に測定
    前記音速補正するステップでは、前記環境パラメータ測定部が前記環境パラメータの測定値が前記環境パラメータの所定の設定値からの差分が所定値未満である場合に、前記環境パラメータの初期設定値を用いて、前記音速補正される、
    音速補正システム
  8. 請求項1に記載の音速補正システムであって
    記音速補正するステップでは、前記環境パラメータの測定値が入力された場合に、前記環境パラメータの入力値を用いて、前記音速補正される、
    音速補正システム
  9. 請求項1に記載の音速補正システムであって、
    前記測定値を取得するステップでは、前記環境パラメータの測定値を地域毎に記憶するデータベース部から、前記収音部の設置位置に対応する前記環境パラメータの測定値取得され
    前記音速補正するステップでは、前記データベース部から取得された前記環境パラメータの測定値を用いて、前記音速補正される、
    音速補正システム
  10. 請求項1から9のうちいずれか一項に記載の音速補正システムであって、
    前記環境パラメータは、温度、湿度、気圧のうち少なくとも温度を含む、
    音速補正システム
  11. 請求項1に記載の音速補正システムであって
    記収音部の周囲の風の風向及び風速を測定する風向風速測定部と、を更に備え、
    前記音速補正するステップでは、前記環境パラメータ測定部により測定された前記環境パラメータの測定値と前記風向風速測定部により測定された前記風向及び風速の測定値とを用いて、前記音速が補正される、
    音速補正システム
JP2014145367A 2014-07-15 2014-07-15 音速補正システム Active JP6217930B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014145367A JP6217930B2 (ja) 2014-07-15 2014-07-15 音速補正システム
EP15175324.1A EP2975860A1 (en) 2014-07-15 2015-07-03 Sound velocity correction device
US14/798,781 US9622004B2 (en) 2014-07-15 2015-07-14 Sound velocity correction device
CN201510415654.5A CN105307063B (zh) 2014-07-15 2015-07-15 声速校正***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014145367A JP6217930B2 (ja) 2014-07-15 2014-07-15 音速補正システム

Publications (2)

Publication Number Publication Date
JP2016020873A JP2016020873A (ja) 2016-02-04
JP6217930B2 true JP6217930B2 (ja) 2017-10-25

Family

ID=53540622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014145367A Active JP6217930B2 (ja) 2014-07-15 2014-07-15 音速補正システム

Country Status (4)

Country Link
US (1) US9622004B2 (ja)
EP (1) EP2975860A1 (ja)
JP (1) JP6217930B2 (ja)
CN (1) CN105307063B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6253031B2 (ja) * 2013-02-15 2017-12-27 パナソニックIpマネジメント株式会社 キャリブレーション方法
GB201615538D0 (en) * 2016-09-13 2016-10-26 Nokia Technologies Oy A method , apparatus and computer program for processing audio signals
US20190154791A1 (en) * 2017-11-22 2019-05-23 Kelly Jowett Three-dimensional acoustic detection and imaging via hexidrant isolation and delay-mixing
CN108333590A (zh) * 2017-12-05 2018-07-27 欣旺达电子股份有限公司 超声波变频测距的方法、装置、设备及存储介质
CN107948822A (zh) * 2017-12-23 2018-04-20 广州市尊浪电器有限公司 一种智能感应音响
GB201802850D0 (en) * 2018-02-22 2018-04-11 Sintef Tto As Positioning sound sources
JPWO2021010082A1 (ja) * 2019-07-16 2021-01-21
CN113655983B (zh) * 2021-07-27 2023-09-08 深圳市冠旭电子股份有限公司 音频播放方法、装置、音频播放设备及可读存储介质
CN116148769A (zh) * 2021-11-22 2023-05-23 华为技术有限公司 一种声速矫正方法以及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63157600A (ja) * 1986-12-22 1988-06-30 Matsushita Electric Ind Co Ltd 音場補正システム
JPH07131885A (ja) * 1993-11-04 1995-05-19 Nippon Steel Corp 音響検出方法
US8189825B2 (en) * 1994-05-09 2012-05-29 Breed David S Sound management techniques for vehicles
US5624188A (en) * 1994-10-20 1997-04-29 West; David A. Acoustic thermometer
JP3714706B2 (ja) * 1995-02-17 2005-11-09 株式会社竹中工務店 音抽出装置
JP3242006B2 (ja) * 1996-08-27 2001-12-25 株式会社ハドソン スポット集音装置
US6688169B2 (en) * 2001-06-15 2004-02-10 Textron Systems Corporation Systems and methods for sensing an acoustic signal using microelectromechanical systems technology
JP4206024B2 (ja) * 2003-10-16 2009-01-07 大成建設株式会社 大気物質指標分布解析装置
JP4247195B2 (ja) * 2005-03-23 2009-04-02 株式会社東芝 音響信号処理装置、音響信号処理方法、音響信号処理プログラム、及び音響信号処理プログラムを記録した記録媒体
JP2007082081A (ja) * 2005-09-16 2007-03-29 Chugoku Electric Power Co Inc:The 動画像撮影装置連動式スポット集音装置
JP2008170155A (ja) * 2007-01-05 2008-07-24 Nippon Paint Co Ltd 塗膜構造体の日射反射率計算方法、装置、プログラム、及び、熱量予測計算方法、装置、プログラム、並びに、遮熱効果の定量評価方法、カラーデザイン方法
US7995770B1 (en) * 2007-02-02 2011-08-09 Jeffrey Franklin Simon Apparatus and method for aligning and controlling reception of sound transmissions at locations distant from the sound source
TWI327230B (en) * 2007-04-03 2010-07-11 Ind Tech Res Inst Sound source localization system and sound soure localization method
JP2009188617A (ja) * 2008-02-05 2009-08-20 Yamaha Corp 収音装置
EP2350683B1 (en) * 2008-10-06 2017-01-04 Raytheon BBN Technologies Corp. Wearable shooter localization system
US8582344B2 (en) 2008-12-30 2013-11-12 Hewlett-Packard Development Company, L.P. Multiplexer/de-multiplexer memristive device
US8363512B2 (en) * 2009-02-27 2013-01-29 Honda Motors Method and apparatus for estimating sound source
FR2944374A1 (fr) * 2009-04-09 2010-10-15 Ct Scient Tech Batiment Cstb Dispositif electroacoustique destine notamment a une salle de concert
JP5859272B2 (ja) 2011-10-21 2016-02-10 中部電力株式会社 画像表示装置及び画像表示装置におけるマイクロフォンの調整方法
CN104662929A (zh) * 2012-07-23 2015-05-27 雅马哈株式会社 用于原声信号转换器的温度测量装置和保护装置

Also Published As

Publication number Publication date
CN105307063A (zh) 2016-02-03
CN105307063B (zh) 2019-04-05
US9622004B2 (en) 2017-04-11
JP2016020873A (ja) 2016-02-04
EP2975860A1 (en) 2016-01-20
US20160021474A1 (en) 2016-01-21

Similar Documents

Publication Publication Date Title
JP6217930B2 (ja) 音速補正システム
US9578413B2 (en) Audio processing system and audio processing method
US9549244B2 (en) Directivity control system, directivity control method, sound collection system and sound collection control method
JP5958833B2 (ja) 指向性制御システム
US9516412B2 (en) Directivity control apparatus, directivity control method, storage medium and directivity control system
JP6210458B2 (ja) 故障検知システム及び故障検知方法
CN106679651B (zh) 声源定位方法、装置和电子设备
KR101813443B1 (ko) 초음파 룸 맵핑을 이용한 초음파 스피커 어셈블리
CN112929788A (zh) 确定扬声器位置变化的方法
US9794518B2 (en) Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates
JP6145736B2 (ja) 指向性制御方法、記憶媒体及び指向性制御システム
US20150124167A1 (en) Flexible spatial audio capture apparatus
US11462235B2 (en) Surveillance camera system for extracting sound of specific area from visualized object and operating method thereof
JP6832507B2 (ja) マイクアレイ装置、マイクアレイシステム及びマイクアレイ装置の製造方法
JP6471955B2 (ja) 監視システム及び監視システムにおける指向性制御方法
CN112839165B (zh) 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质
US10939030B2 (en) Video audio processing system and method of controlling the video audio processing system
CN114594892A (zh) 远程交互方法、远程交互设备以及计算机存储介质
JP6256774B2 (ja) 指向性制御システム、音声出力制御方法及び記録媒体
JP2012181178A (ja) 画像表示装置
JP6664120B2 (ja) マイクアレイシステム及びマイクアレイシステムの製造方法
JP6815461B2 (ja) 音響波の到来方向を計算し、ビームフォーミング機能を促進するように構成された装置
JP2020043420A (ja) 映像音声処理システムおよび映像音声処理システムの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170912

R151 Written notification of patent or utility model registration

Ref document number: 6217930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151