JP2012238964A - 音分離装置、及び、それを備えたカメラユニット - Google Patents

音分離装置、及び、それを備えたカメラユニット Download PDF

Info

Publication number
JP2012238964A
JP2012238964A JP2011105404A JP2011105404A JP2012238964A JP 2012238964 A JP2012238964 A JP 2012238964A JP 2011105404 A JP2011105404 A JP 2011105404A JP 2011105404 A JP2011105404 A JP 2011105404A JP 2012238964 A JP2012238964 A JP 2012238964A
Authority
JP
Japan
Prior art keywords
sound
microphone
unit
signal
sound signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011105404A
Other languages
English (en)
Inventor
Nobuyuki Umeda
修志 梅田
Ryusuke Horibe
隆介 堀邊
Hiroshi Okuno
博 奥乃
Toru Takahashi
徹 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2011105404A priority Critical patent/JP2012238964A/ja
Priority to US13/468,174 priority patent/US20120287303A1/en
Publication of JP2012238964A publication Critical patent/JP2012238964A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/34—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
    • H04R1/38—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means in which sound waves act upon both sides of a diaphragm and incorporating acoustic phase-shifting means, e.g. pressure-gradient microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42—Wire connectors; Manufacturing methods related thereto
    • H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
    • H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
    • H01L2224/4805—Shape
    • H01L2224/4809—Loop shape
    • H01L2224/48091—Arched
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/42—Wire connectors; Manufacturing methods related thereto
    • H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
    • H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
    • H01L2224/481—Disposition
    • H01L2224/48135—Connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip
    • H01L2224/48137—Connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip the bodies being arranged next to each other, e.g. on a common substrate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/161—Cap
    • H01L2924/1615—Shape
    • H01L2924/16151—Cap comprising an aperture, e.g. for pressure control, encapsulation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/15—Details of package parts other than the semiconductor or other solid state devices to be connected
    • H01L2924/161—Cap
    • H01L2924/1615—Shape
    • H01L2924/16152—Cap comprising a cavity for hosting the device, e.g. U-shaped cap
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003—Mems transducers or their use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/01—Noise reduction using microphones having different directional characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

【課題】近接音源からの音と遠方音源からの音とを適切に分離できる音分離装置を提供する。
【解決手段】音分離装置１５は、入力音を第１の音信号に変換する第１のマイクロホンＦＦＭと、入力音を第２の音信号に変換し、前記第１のマイクロホンと比べて距離減衰率が大きい特性を持つ第２のマイクロホンＮＦＭと、入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部１３と、を備える
【選択図】図１

Description

本発明は、近接音と遠方音とが混ざった混合音から近接音又は遠方音のみを分離抽出する音分離装置に関する。また、本発明は、そのような音分離装置を備えるカメラユニットに関する。
従来、独立成分分析（ＩＣＡ；Independent Component Analysis）の技術を利用して、検出対象となる音源からの音（目的音）と、雑音源からの音とが混じり合った混合音から、目的音を分離抽出することが行われている。検出対象となる音源としては、例えば話者音声の音源が挙げられる。
例えば、特許文献１には、無指向性マイクロホンに混合音が入力され、単一指向性マイクロホンに検出対象音源からの音又は雑音源からの音のいずれか一方が主に入力されるように構成され、ブラインド音源分離（ＢＢＳ；Blind Source Separation）をリアルタイムで行うことを可能にする音信号処理装置が開示されている。ブラインド音源分離とは、混合音から目的音を分離するための分離行列をＩＣＡの技術を用いて最適化し、最適化された分離行列を用いて混合音の中から目的音を分離抽出する方法のことを指している。
特開２００５−２２７５１２号公報
ところで、近年においては、動画撮影が可能な電子機器（例えば、携帯型のビデオカメラ装置、携帯電話機、携帯型のゲーム機等）が盛んに使用されている。これらの電子機器は、一般に、動画撮影と同時に音声録音処理を行うカメラユニットを備える。このカメラユニットには、通常、被写体に焦点を合わせるためのオートフォーカス機能や、被写体の拡大率を可変させるズーム機能が備えられる。
オートフォーカス機能やズーム機能においては、ＤＣモータ、ステッピングモータ等を用いて、レンズ系の移動が行われる。このとき、レンズ系の移動に伴って、モータ音が発生したり、その他メカ系の動作音が発生したりする。また、カメラユニットで動画撮影が行われる場合には、常にフォーカス、ズーム処理が動作するため、モータ音や動作音が録音されてしまうことがある。また、これらの音の他にも、カメラ操作者の操作音等、不要な音が録音されてしまう場合があり、このような不要な音（ノイズ音）が極力録音されないことが望まれる。
この点、ノイズ音が取り除かれた目的音のみが録音されるように、例えば特許文献１に示される音信号処理装置の技術をカメラユニットに適用することが考えられる。しかしながら、上記目的で特許文献１の技術がカメラユニットに適用される場合には、次のような問題が生じる。
図１１は、従来技術の問題点を説明するための図で、カメラユニットに無指向性マイクロホンと単一指向性マイクロホンが搭載された場合における、各マイクロホンの指向特性を示す図である。図１１においては、カメラユニットは中心Ｏに位置する。図１１において、実線で囲まれた領域（円形の領域）ＲＲ１は無指向性マイクロホンの指向特性を示しており、全方向の音を感度良く均等に集音することを表している。また、破線で囲まれた領域（ハート型の領域）ＲＲ２は単一指向性マイクロホンの指向特性を示しており、中心Ｏに対して特定の方向（Ｃの方向）の音を感度良く集音することを表している。
動画撮影時においては、一般に、被写体の声等、カメラユニットから離れた位置で発生する音が目的音（検出対象の音）であり、カメラユニット近傍で発生する音（上述のモータ音、レンズ系の移動に伴う動作音、操作音等）は不要な音（ノイズ音）であることが多い。
単一指向性マイクロホンは、特定の方向からの音をとらえる特性を持ち、その指向性の方位に存在する音源からの音について、カメラユニットの近傍だけでなく、カメラユニットから離れた位置で発生する音も集音する。従来技術にならって、例えば単一指向性マイクロホンの指向特性の感度が得られる方向にカメラユニットのモータなどが存在するようにして雑音源からの音が主に集音されるようにした場合、同方向において遠方に存在する音についても単一指向性マイクロホンに集音される。このため、この構成では、音源分離を行ったときに、遠方音の一部がノイズ音として残留する、あるいは分離行列が収束せず分離できないといった問題があった。
以上の点を鑑みて、本発明の目的は、近接音源からの音と遠方音源からの音とを適切に分離できる音分離装置を提供することである。また、本発明の他の目的は、そのような音分離装置を備え、カメラユニット近傍で発生するノイズ音を除去して目的音を適切に録音できるカメラユニットを提供することである。
上記目的を達成するために本発明の音分離装置は、入力音を第１の音信号に変換する第１のマイクロホンと、入力音を第２の音信号に変換し前記第１のマイクロホンと比べて距離減衰率の大きい特性を持つ第２のマイクロホンと、入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部と、を備えることを特徴としている。
本構成によれば、近接音源からの音と遠方音源からの音とを適切に分離可能である。このために、本発明は、例えば、動画撮影と同時に音声録音処理を行うカメラユニット等に好適な技術である。
上記構成の音分離装置において、前記第２のマイクロホンは差動マイクロホンであるのが好ましく、例えば１次傾度の特性を有する差動マイクロホンが使用可能である。本構成によれば、近接音源あるいは遠方音源からの音のみを高精度で分離抽出できる音分離装置を実現できる。
上記構成の音分離装置において、前記第１のマイクロホンが差動マイクロホンである場合には、該差動マイクロホンは、音圧によって振動する振動板を１つのみ有する構成とするのが好ましい。本構成によれば、第１のマイクロホンの小型化を図れ、音分離装置を電子機器に実装し易くなる。
上記構成の音分離装置において、前記第１のマイクロホンは、無指向性のマイクロホンであることとしてもよい。本構成は、遠方音源が存在する領域として広い範囲が想定される場合に好適である。
上記構成の音分離装置において、前記第１のマイクロホンと前記第２のマイクロホンとが１つのパッケージで形成されているのが好ましい。本構成によれば、２つのマイクロホン間の距離を非常に近いものとできるので、目的音の分離抽出をより適切に行うことが可能になる。
また、上記目的を達成するために本発明のカメラユニットは、上記構成の音分離装置を備えることを特徴としている。具体的には、上記構成のカメラユニットは、被写体を撮像して撮像情報を映像信号に変換する撮像部と、前記映像信号と前記第４の音信号とを蓄積する蓄積部と、を更に備えるのが好ましい。
本構成では、カメラユニットによって動画撮影を行う場合に、カメラユニットの本体とその近傍とから発生するノイズ音を除去し、目的音であるカメラユニットから離れた周囲音を適切に録音することが可能である。
上記構成のカメラユニットにおいて、前記撮像部には、前記被写体方向からの入射光を結像するレンズ部と、前記レンズ部に含まれる可動レンズを駆動するレンズ駆動部と、が含まれ、前記音信号処理部は、前記レンズ駆動部が動作している期間に前記分離行列の最適化処理を行い、前記レンズ駆動部が動作していない期間には前記分離行列の最適化は行わない、こととしてもよい。
本構成によれば、カメラユニットの近傍で発生する音のうち、特にレンズ駆動部で発生する音をノイズ音として効果的に分離除去して、目的音を得ることが可能になる。
本発明の音分離装置によれば、近接音源からの音と遠方音源からの音とを適切に分離できる。また、本発明の音分離装置を備えるカメラユニットにおいては、カメラユニット近傍で発生するメカニカルノイズ等のノイズ音を除去して、目的音（カメラユニットから離れた周囲音）を適切に録音することが可能である。
本実施形態のカメラユニットの構成を示すブロック図 本実施形態のカメラユニットの構成を示す概略斜視図 本実施形態のカメラユニットが備えるニアフィールドマイクロホンの構成を示す概略図 本実施形態のカメラユニットが備えるファーフィールドマイクロホンの構成を示す概略図 音圧Ｐと音源からの距離Ｒとの関係を示すグラフ ニアフィールドマイクロホンとファーフィールドマイクロホンの指向特性を示す図 ニアフィールドマイクロホンとファーフィールドマイクロホンの距離減衰特性を説明するためのグラフ 本実施形態のカメラユニットが備える各マイクロホンの指向特性を示す図 本実施形態の変形例を説明するための図で、ニアフィールドマイクロホンとファーフィールドマイクロホンとが１パッケージで形成された構成を示す概略断面図 本実施形態の変形例を説明するための図で、レンズ駆動部の駆動の有無で分離行列の最適化を行うか否かを切り替えられる構成を備えた音分離装置のブロック図 従来技術の問題点を説明するための図で、カメラユニットに無指向性マイクロホンと単一指向性マイクロホンが搭載された場合における、各マイクロホンの指向特性を示す図
以下、本発明の音分離装置と、それを備えたカメラユニットの実施形態について、図面を参照しながら詳細に説明する。
図１は、本実施形態のカメラユニットの構成を示すブロック図である。図２は、本実施形態のカメラユニットの構成を示す概略斜視図である。図１に示すように、本実施形態のカメラユニット１は、動画撮影を可能とする撮像部１１と、動画撮影時の周囲音を集音可能とする集音部１２と、集音部１２で集音した音を処理する音信号処理部１３と、撮像部１１から出力される映像信号を録画処理するとともに、音信号処理部１３から出力される音信号を録音処理する蓄積部１４と、を備える。
なお、集音部１２と音信号処理部１３とからなる部分１５（図１において破線で囲まれる部分）は、本発明の音分離装置の実施形態である。
撮像部１１には、図２に示すようにカメラユニット１の本体１０に取り付けられ、被写体方向からの入射光を結像するレンズ部１１１が備えられる。このレンズ部１１１は、単レンズで構成されてもよいし、複数のレンズ群で構成されてもよい。また、レンズ部１１１には、オートフォーカス調整やズーム調整を可能とすべく、光軸方向に移動可能な可動レンズが含まれる。
撮像部１１には、レンズ部１１１に含まれる可動レンズを駆動するレンズ駆動部１１２が備えられる。図２においては、レンズ駆動部１１２の一部が示されている。レンズ駆動部１１２は、例えばＤＣモータ、ステッピングモータ、超音波モータ、圧電素子等の駆動源を有する。そして、レンズ駆動部１１２は、フォーカス調整やズーム調整が行われる際に、この駆動源を駆動させ、例えば可動レンズを保持するホルダをガイドに沿って移動させる。このレンズ駆動部１１２は、図示しない制御部によって、その動作を制御される。なお、レンズ駆動部１１２の駆動時には、モータ音やホルダ移動に伴う動作音等が発生する。
撮像部１１には、被写体方向からの入射光がレンズ部１１１によって結像される位置に撮像面が配置され、入射光を光電変換して映像信号を出力する撮像処理部１１３が備えられる。この撮像処理部１１３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等とできる。撮像処理部１１３から出力される映像信号は、蓄積部１４の録画処理部１４１に送られて録画処理される。
集音部１２は、近接音源（カメラユニット１の近傍にある音源）からの音を主に集音して電気信号に変換するニアフィールドマイクロホンＮＦＭと、近接音源からの音と遠方音源（本実施形態では近接音源以外の音源が該当する）からの音との混合音を電気信号に変換するファーフィールドマイクロホンＦＦＭと、を備える。
ファーフィールドマイクロホンＦＦＭとしては、被写体の音を集音可能なマイクロホンを使用する。例えば、無指向性のマイクロホンを選択する。また、ニアフィールドマイクロホンＮＦＭとしては、距離減衰特性の良いマイクロホンを使用する。ニアフィールドマイクロホンＮＦＭとしては、例えば、１次傾度以上の傾度特性を持つ差動マイクロホンを使用することでき、遠方音を抑制して近接音を主に集音するものを選択することが好ましい。なお、ファーフィールドマイクロホンＦＦＭは本発明の第１のマイクロホンの一例であり、ニアフィールドマイクロホンＮＦＭは本発明の第２のマイクロホンの一例である。
ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとは、カメラユニット１の本体１０内に、実装基板（図示せず）に実装された状態で隣接配置されている。図２においては、これら２つのマイクロホンが本体１０内部にあるために破線表示としている。カメラユニット１の本体１０には、マイクロホンＮＦＭ、ＦＦＭに音を導入するための開口が設けられている。これらのマイクロホンをいずれの位置に配置するかは、適宜決定すればよいが、本実施形態では本体１０の前面に配置している。ここで、ニアフィールドマイクロホンＮＦＭとして使用される差動マイクロホンが、レンズ駆動部の動作音を効率的に集音できるよう、指向特性の最も感度の高い方向（主軸方向）が、レンズ駆動部の方向を向くように設置することが望ましい。
図３は、本実施形態のカメラユニットが備えるニアフィールドマイクロホンの一例の構成を示す概略図で、図３（ａ）は概略斜視図、図３（ｂ）は図３（ａ）のＡ−Ａ位置における断面図である。ニアフィールドマイクロホンＮＦＭは、ＭＥＭＳ（Micro Electro Mechanical System）チップ２２１及びＡＳＩＣ（Application Specific Integrated Circuit）２２２が搭載されるマイク基板２０１に、蓋体２１１が被せられた構造となっている。
ＭＥＭＳチップ２２１は、シリコン（Ｓｉ）を半導体プロセス技術により加工して製造されるコンデンサ型のマイクロホンチップであり、入力音圧によって変位する振動板２２１ａ及びこれに対向して配置される固定電極２２１ｂとを有する。入力音圧の変化は、振動板２２１ａと固定電極２２１ｂ間の距離を変化させ、ひいてはコンデンサ容量を変化させる。ＭＥＭＳチップ２２１は、振動板２２１ａの両面（上面と下面）に対して音圧が伝達されるように構成されており、固定電極２２１ｂは音圧によって振動しないように表面から裏面まで貫通する複数の通気孔が設けられている。また、ＡＳＩＣ２２２は、ＭＥＭＳチップ２２１のコンデンサ容量変化を電気信号（音信号）に変換する回路、及び振動板２２１ａ又は固定電極２２１ｂにバイアス電圧を印加するための電源回路等を含む集積回路である。
なお、本実施形態では、ＡＳＩＣ２２２がＭＥＭＳチップ２２１と別に設けられる構成としているが、ＡＳＩＣ２２２に搭載される集積回路はＭＥＭＳチップ２２１を形成するシリコン基板上にモノリシックで形成してもよい。
マイク基板２０１のＭＥＭＳチップ２２１及びＡＳＩＣ２２２が搭載される基板上面２０１ａには、第１の開口２０２と第２の開口２０３とが設けられている。第１の開口２０２と第２の開口２０３とは、基板内部空間２０４を介して連通している。なお、このようなマイク基板２０１は、複数枚の基板を貼り合わせて得てもよい。
ＭＥＭＳチップ２２１は、振動板２２１ａがマイク基板２０１と略平行になるように配置されると共に、第１の開口２０２を基板上面２０１ａ側から塞ぐように配置されている。また、マイク基板２０１の下面２０１ｂには、外部接続用の接続端子２０５が形成されている。
蓋体２１１の上面２１１ａには、その長手方向の一端部側に第１音孔２１２が形成され、他端部側に第２音孔２１３が形成されている。なお、本実施形態では、２つの音孔２１２、２１３を長孔形状としているが、この形状に限られる趣旨ではなく、その形状は適宜変更してよい。
また、蓋体２１１には、第１音孔２１２と繋がる第１空間部２１４と、第１空間部２１４とは隔離されて第２音孔２１３と繋がる第２空間部２１５と、が形成されている。この蓋体２１１は、第１空間部２１４がＭＥＭＳチップ２２１によって基板内部空間２０４と仕切られるように、マイク基板２０１に搭載されている。また、蓋体２１１は、第２空間部２１５が第２の開口２０３を介して基板内部空間２０４と連通するようにマイク基板２０１に搭載されている。
以上のように構成されるニアフィールドマイクロホンＮＦＭは、外部音を、第１音孔２１２から第１空間部２１４を通して振動板２２１ａの上面へと導く第１の音道Ｐ１と、外部音を、第２音孔２１３から第２空間部２１５、第２の開口２０３、基板内部空間２０４、第１の開口２０２の順に通過させて振動板２２１ａの下面へと導く第２の音道Ｐ２と、を有する構成となっている。
そして、ニアフィールドマイクロホンＮＦＭは、振動板２２１ａの上面に加わる音圧ｐｆと、振動板２２１ａの下面に加わる音圧ｐｂとの差によって振動板２２１ａを振動させて、入力音を電気信号（音信号）に変換するようになっている。すなわち、ニアフィールドマイクロホンＮＦＭは１次傾度の差動マイクロホンとして構成されている。なお、これに限定される趣旨ではないが、本実施形態では、音道Ｐ１と音道Ｐ２の長さをほぼ同一とし、両音道の位相差が発生しないようにしている。
図４は、本実施形態のカメラユニットが備えるファーフィールドマイクロホンの構成を示す概略図で、図４（ａ）は概略斜視図、図４（ｂ）は図４（ａ）のＢ−Ｂ位置における断面図である。
ファーフィールドマイクロホンＦＦＭは、その上面３０１ａにＭＥＭＳチップ３２１及びＡＳＩＣ３２２が搭載されるマイク基板３０１に、ＭＥＭＳチップ３２１及びＡＳＩＣ３２２を覆うように蓋体３１１が被せられた構造となっている。マイク基板３０１の下面３０１ｂには、外部接続用の接続端子３０２が形成されている。
蓋体３１１には、その上面３１１ａに音孔３１２が形成されるとともに、音孔３１２と繋がる空間部３１３が形成されている。このように構成されるファーフィールドマイクロホンＦＦＭは、外部音を、音孔３１２から空間部３１３を通して振動板３２１ａの上面へと導く音道Ｐを有する構成となっている。また、振動板３２１ａの下面側はマイク基板３０１ａで塞がれて、閉空間を形成している。
なお、ＭＥＭＳチップ３２１及びＡＳＩＣ３２２は、ニアフィールドマイクロホンＮＦＭと同様の構成のものであるので、説明は省略した。
ここで、ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとの特性について説明する。この説明に先立って、音波の性質について説明する。図５は、音圧Ｐと音源からの距離Ｒとの関係を示すグラフである。図５に示すように、音波は、空気等の媒質中を進行するにつれて減衰し、音圧（音波の強度・振幅）が低下する。音圧は、音源からの距離に反比例して減衰し、音圧Ｐと距離Ｒとの関係は、以下の式（１）のように表せる。なお、式（１）におけるｋは比例定数である。
Ｐ＝ｋ／Ｒ （１）
ファーフィールドマイクロホンＦＦＭの出力は式（１）に従い、音源からの距離に反比例した出力信号が得られる。一方、ニアフィールドマイクロホンＮＦＭにおいては、第１音孔２１２と第２音孔２１３から入力される音圧の差圧に比例する出力が得られる。図５及び図３を参照しながらニアフィールドマイクロホンＮＦＭの出力について、以下詳細に説明する。
ニアフィールドマイクロホンＮＦＭの第１音孔２１２と第２音孔２１３の間の距離をΔｄとする。マイクロホンを音源から近距離位置に配置した場合、例えば音源から第１音孔２１２までの距離がＲ１、音源から第２音孔２１３までの距離がＲ２となるように配置したとき、振動版３２１ａにおいて生じる差圧は（Ｐ１−Ｐ２）となる。また、マイクロホンを音源から遠距離位置に配置した場合、例えば音源から第１音孔２１２までの距離がＲ３、音源から第２音孔２１３までの距離がＲ４となるように配置したとき、振動版３２１ａにおいて生じる差圧は（Ｐ３−Ｐ４）となる。上記により、ニアフィールドマイクロホンＮＦＭの出力は、図５のグラフの傾きを求めるのと等価であり、距離Ｒで微分したのと等価な特性が得られることになる。
図７は、ニアフィールドマイクロホンとファーフィールドマイクロホンの距離減衰特性を説明するためのグラフで、横軸は音源からの距離Ｒを対数軸で表現したもの、縦軸はマイクロホンの振動板に加わる音圧レベル（ｄＢ）を示す。
ファーフィールドマイクロホンＦＦＭでは、振動板３２１ａは上面に加わる音圧によって振動するため、マイクロホンの出力レベルは１／Ｒで減衰する。一方、ニアフィールドマイクロホンＮＦＭでは、振動板２２１ａの上面及び下面に加わる音圧の差によって振動するため、マイクロホンの出力レベルはファーフィールドマイクロホンＦＦＭの特性を距離Ｒで微分した特性１／Ｒ２で減衰する。
図７に示すように、ニアフィールドマイクロホンＮＦＭの出力は、ファーフィールドマイクロホンＦＦＭの出力に比べて、音源からの距離に対する減衰率が大きくなる。すなわち、ファーフィールドマイクロホンＦＦＭは、ニアフィールドマイクロホンＮＦＭに比べて、マイクロホンの近傍で発生する音は効率よく集音するが、遠方の音は抑圧される。
ニアフィールドマイクロホンＮＦＭの近傍で発生する音の音圧は、第１音孔２１２と第２音孔２１３との間で大きく減衰し、振動板２２１ａの上面に伝達される音圧と、振動板２２１ａの下面に伝達される音圧とには、大きな差が生じる。一方、遠方に音源がある音は、第１音孔２１２と第２音孔２１３との間ではほとんど減衰せず、振動板２２１ａの上面に伝達される音圧と、振動板２２１ａの下面に伝達される音圧との音圧差は非常に小さくなる。なお、ここでは、音源から第１音孔２１２までの距離と、音源から第２音孔２１３までの距離とが異なる場合を前提としている。
振動板２２１ａにて受音される遠方音源からの音の音圧差は非常に小さいために、遠方音源からの音の音圧は振動板２２１ａにてほぼ打ち消される。これに対して、振動板２２１ａにて受音される近接音源の音の音圧差は大きいために、近接音源からの音の音圧は振動板２２１ａで打ち消されない。このため、振動板２２１ａの振動によって得られた信号は、近接音源からの音の信号であると見なせる。
図６は、ニアフィールドマイクロホンＮＦＭ及びファーフィールドマイクロホンＦＦＭの指向特性を示している。図６（ａ）はニアフィールドマイクロホンＮＦＭの指向特性を示し、図６（ｂ）はファーフィールドマイクロホンＦＦＭの指向特性を示している。図６において、図６（ａ）はニアフィールドマイクロホンＮＦＭの第１音孔２１２と第２音孔２１３を０°及び１８０°方向に配置した場合、図６（ａ）はファーフィールドマイクロホンのＦＦＭの音孔３１２を原点位置に配置した場合を表している。
まず、図６（ａ）に示すニアフィールドマイクロホンＮＦＭの指向特性について説明する。音源からニアフィールドマイクロホンＮＦＭまでの距離が一定であれば、音源が０°又は１８０°の方向にある時に振動板２２１ａに加わる音圧が最大となる。これは、音源から第１音孔２１２に至る距離と、音源から第２音孔２１３に距離との差が最大になるからである。
これに対し、音源が９０°又は２７０°の方向にある時に振動板２２１ａに加わる音圧が最小（ほぼ０）になる。これは、音源から第１音孔２１２に至る距離と、音源から第２音孔２１３に至る距離が等しくなるからである。
すなわち、ニアフィールドマイクロホンＮＦＭとして、１次傾度の差動マイクロホンを使用する場合、０°及び１８０°の方向から入射される音波に対して感度が高くなり、９０°及び２７０°の方向から入射される音波に対して感度が低くなる、いわゆる両指向性を示す。
次に、図６（ｂ）に示すファーフィールドマイクロホンＦＦＭの指向特性について説明する。音源から振動板３２１ａまでの距離が一定であれば、音源がどの方向にあっても振動板３２１ａに加わる音圧は一定となる。すなわち、ファーフィールドマイクロホンＦＦＭは、あらゆる方向から入射される音波を均等な感度で集音する無指向性を示す。
図１に戻って、カメラユニット１が備える音信号処理部１３について説明する。音信号処理部１３は、アナログ音声信号をデジタル音声信号に変換する第１のＡ／Ｄ変換部１３１と第２のＡ／Ｄ変換部１３２とを備える。第１のＡ／Ｄ変換部１３１は、ニアフィールドマイクロホンＮＦＭから出力される音信号（本発明の第２の音信号に該当）を所定時間間隔でサンプリングしてデジタル信号Ｙ１（ｔ）に変換する処理を行う。第２のＡ／Ｄ変換部１３２は、ファーフィールドマイクロホンＦＦＭから出力される音信号（本発明の第１の音信号に該当）を所定時間間隔でサンプリングしてデジタル信号Ｙ２（ｔ）に変換する処理を行う。
音信号処理部１３には、第１のＡ／Ｄ変換部１３１及び第２のＡ／Ｄ変換部１３２から時分割で出力されるデジタル信号を順次処理するＩＣＡ（独立成分分析）処理部１３３を備える。ＩＣＡの基本処理については、従来より一般的に用いられる技術を使用する。ＩＣＡ処理部１３３は、２つのＡ／Ｄ変換部１３１、１３２から入力されたデジタル音声信号をＦＦＴ（Fast Fourier Transform）処理した後、周波数領域において独立成分分析の技術を用いて分離行列を求める処理（最適化する処理）を行う。ここで、分離行列は、分離音された信号間の統計的独立性が最大化となるように逐次更新され、最適解に収束するように処理される。
或る時間ｔにおいて、２つの独立した音源から出力される音をＳ１（ｔ）、Ｓ２（ｔ）とする。また、これらの音源から出力される音（Ｓ１（ｔ）、Ｓ２（ｔ））を２つのマイクロホンで集音し、各マイクロホンで集音してＡ／Ｄ変換して得られた信号をそれぞれＹ１（ｔ）、Ｙ２（ｔ）とする。この場合、以下に示す式（２）が成り立つ。
Figure 2012238964
 なお、Ａは２×２の混合行列である。
ＷがＡの逆行列であるとすると、以下の式（３）が成り立つ。
Figure 2012238964
 式（３）におけるＷが分離行列であり、独立成分分析の技術を用いて、２つの音源から出力される音Ｓ１（ｔ）とＳ２（ｔ）の統計的独立性が最大化されるように分離行列Ｗの最適化が図られる。なお、本実施形態では、２つの独立した音源は、カメラユニット１の近傍にある近接音源と、カメラユニット１から離れた位置にある遠方音源（近接音源以外の音源）とが該当する。また、２つのマイクロホンは、一方がニアフィールドマイクロホンＮＦＭで、他方がファーフィールドマイクロホンＦＦＭに該当する。
ＩＣＡ処理部１３３は、最適化した分離行列Ｗにより、２つのマイクロホンＮＦＭ、ＦＦＭから入力された音信号（正確にはＡ／Ｄ変換等の処理が行われた後の信号）から分離信号Ｘ１（ｔ）、Ｘ２（ｔ）を分離抽出する。ここで、分離信号Ｘ１（ｔ）は、近接音源からの音（Ｓ１（ｔ））の信号として推定される信号であり、本発明の第３の音信号に該当する。また、分離信号Ｘ２（ｔ）は、遠方音源からの音（Ｓ２（ｔ））の信号として推定される信号であり、本発明の第４の音信号に該当する。
ＩＣＡ処理部１３３は、目的音と推定される分離信号Ｘ２（ｔ）を蓄積部１４の録音処理部１４２に出力し、ノイズ音と推定される分離信号Ｘ１（ｔ）は録音処理部１４２に出力しない。録音処理部１４２は、時分割でＩＣＡ処理部１３３から送られてくる分離信号Ｘ２（ｔ）を順次録音処理する。
次に、以上のように構成されるカメラユニット１のうち、音分離装置１５の作用について説明する。
図８は、本実施形態のカメラユニットが備える各マイクロホンの指向特性を示す図である。図８においては、カメラユニット１は中心Ｏに位置する。図８において、実線Ｒ１はファーフィールドマイクロホンＦＦＭの指向特性を示し、８の字形状の破線Ｒ２はニアフィールドマイクロホンＮＦＭの指向特性を示している。
上述のように、ニアフィールドマイクロホンＮＦＭはカメラユニット１の近傍（図８の中心Ｏの近傍）にある近接音源からの音を集音する機能に優れ、ファーフィールドマイクロホンＦＦＭはカメラユニット１から離れた位置にある遠方音源からの音を含めて広い範囲からの音を集音する機能に優れる。
ニアフィールドマイクロホンＮＦＭは、例えば、カメラユニット１の本体１０から発生する機械音（レンズ駆動部１１２によってレンズを駆動する際に発生する音等）、操作者がカメラユニット１を操作する際に発生する操作音、及び、操作者の音声といったカメラユニット１の近傍で発生する音（Ｓ１）を主として集音するように設置される。また、ファーフィールドマイクロホンＦＦＭは、先の３つの音に加えて、カメラユニット１から離れた周囲音（Ｓ２）も含んだ音を集音するように設置される。
このとき、ニアフィールドマイクロホンＮＦＭの出力は（ａ１・Ｓ１＋ａ２・Ｓ２）、ファーフィールドマイクロホンＦＦＭの出力は、（ａ３・Ｓ１＋ａ４・Ｓ２）と表せる。ここで、ａ１、ａ２、ａ３、ａ４は係数であり、ａ１＞＞ａ２が成り立つ。
ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとからの信号が入力されたＩＣＡ処理部１３３は、適宜最適化された分離行列Ｗを用いて、近接音源からの音Ｓ１と推定される音Ｘ１と、遠方音源からの音Ｓ２と推定される音Ｘ２とを分離抽出する。すなわち、本実施形態の音分離装置１５によれば、カメラユニット１の本体１０から発生する機械音、操作者の操作音、操作者の音声といった、従来、不要なノイズ音と考えられている近接音源からの音を適切に取り除いて、カメラから離れた周囲の音のみを得ることができる。
従来の音源分離技術は、主にマイクロホンに対して異なる方向に存在する２以上の音源を分離するために用いられており、同一方向で距離が異なって存在する音源を分離することが困難であった。これは、音源からの音が２つのマイクロホンに同位相で入ってくるめである。そのため、２以上の音源を分離するためには、集音に用いる２つのマイクロホン間距離を１０ｃｍ以上離して配置する等が必要であり、マイクロホンの配置に大きなスペースが必要であった。
一方、本実施形態の構成のように、距離減衰特性の異なる２つのマイクロホンを用いることにより、同一方向に距離が異なって存在する音源からの振幅差を大きく確保できるため、音源の分離が可能となる。従来、空間的な方位の違いを利用して音源を分離していたところが、距離減衰特性の異なる２つのマイクロホンを用いることで、音源をマイクロホンからの距離の違いを利用して分離することができるようになる。また、本発明の構成においては、２つのマイクロホンを同一位置に配置しても分離が可能であるため、マイクロホンサイズと同等のスペースがあれば配置できるという利点がある。
以上に示した実施形態は、本発明の例示にすぎない。すなわち、本発明は、以上に示した実施形態に限定されず、本発明の目的を逸脱しない範囲で、種々の変形が可能である。
例えば、以上に示した実施形態では、ニアフィールドマイクロホンＮＦＭとファーフィールドマイクロホンＦＦＭとが別々のパッケージからなる構成とした。しかし、ニアフィールドマイクロホンとファーフィールドマイクロホンとは、入力される音波の位相ずれが発生しないように、できる限り近接配置するのが好ましい。このため、２つのマイクロホンが１パッケージで形成されている構成を採用するのが好ましい。
図９は、本実施形態の変形例を説明するための図で、ニアフィールドマイクロホンとファーフィールドマイクロホンとが１パッケージで形成された構成を示す概略断面図である。なお、この変形例のマイクロホンの構成はあくまでも例示であり、種々の変更が可能であるのは言うまでもない。要は、１パッケージでニアフィールドマイクロホンの機能とファーフィールドマイクロホンの機能とが発揮できる構成であればよい。
図９で示す変形例のマイクロホン４００の構成は、図３に示すニアフィールドマイクロホンＮＦＭの構成とほぼ同様である。図３に示すマイクロホンの構成に、新たにＭＥＭＳチップ４０１（ＭＥＭＳチップ２２１と同じ構成を有するもの）を追加した点が異なる。なお、図９においては、図３に示すマイクロホンと重複する部分には同一の符号を付している。
マイクロホン４００の外部で音が生じると、第１音孔２１２から入力された音波が第１の音道Ｐ１によって第２のＭＥＭＳチップ４０１の振動板４０１ａの上面に到達し、振動板４０１ａが振動する。第２のＭＥＭＳチップ４０１の振動板４０１ａは、この上面に加わる音波によってのみ振動し、この第２のＭＥＭＳチップ４０１から出力される信号を使用すれば、本実施形態のファーフィールドマイクロホンＦＦＭと同様の機能が得られる。
また、マイクロホン４００の外部で音が生じると、第１音孔２１２から入力された音波が第１の音道Ｐ１によって第１のＭＥＭＳチップ２２１の振動板２２１ａの上面に到達すると共に、第２音孔２１３から入力された音波が第２の音道Ｐ２によって第１のＭＥＭＳチップ２２１の振動板２２１ａの下面に到達する。このために、第１のＭＥＭＳチップ２２１の振動板２２１ａは、上面に加わる音圧と下面に加わる音圧との音圧差によって振動する。このため、第１のＭＥＭＳチップ２２１から出力される信号を使用すれば、本実施形態のニアフィールドマイクロホンＮＦＭと同様の機能が得られる。
また、以上に示した実施形態では、レンズ駆動部１１２の駆動の有無にかかわらず、音分離装置１５の音信号処理部（ＩＣＡ処理部）１３は分離行列Ｗの最適化を行うように構成した。しかし、常時、分離行列Ｗの最適化を行った場合、主なノイズ源となるレンズ駆動部が動作していない状態においても分離行列Ｗの最適化の処理が行われるため、分離行列Ｗが異常な値に収束あるいは発散してしまう場合がある。これを防止するため、レンズ駆動部１１２が駆動している場合（機械音が発生している場合）に分離行列Ｗの最適化を行い、レンズ駆動部１１２が駆動していない場合（機械音が発生していない場合）には分離行列Ｗの最適化は行わないようにすることが好ましい
図１０は、本実施形態の変形例を説明するための図で、レンズ駆動部の駆動の有無で分離行列の最適化を行うか否かを切り替えられる構成を備えた音分離装置のブロック図である。図１０に示すように、変形例の音分離装置１７は、本実施形態の音分離装置１５のＩＣＡ処理部１３３内に、最適化オンオフ部１３４が追加された構成となっている。
最適化オンオフ部１３４は、カメラユニット１の制御部１８と電気的に接続されている。この制御部１８は、レンズ駆動部１１２の制御も行うものであり、レンズ駆動部１１２の駆動の有無について把握している。制御部１８からレンズ駆動部１１２を駆動させるという情報が最適化オンオフ部１３４に入力された場合には、本実施形態の場合と同様に、ＩＣＡ処理部１３３は分離行列Ｗの最適化を行いながら、音信号の分離抽出を行う。一方、制御部１８からレンズ駆動部１１２を駆動させないという情報が最適化オンオフ部１３４に入力された場合には、ＩＣＡ処理部１３３は分離行列Ｗの最適化を行わず、分離行列Ｗ値をホールドする。これにより、ＩＣＡ処理を安定に動作させることが可能である。
このような音分離装置１７では、近接音源からの音のうち、カメラユニット１から発生する機械音について効果的に分離抽出し、操作者の声等については分離せずに、遠方音源からの音とともに目的音として抽出されることになる。カメラユニット１で動画撮影する場合に、操作者の音は除去したくないという要望も考えられ、本変形例は、このような要望に対して好適な構成である。
また、以上に示した実施形態では、カメラユニット１が備えるマイクロホンＮＦＭ、ＦＦＭが、半導体製造技術を利用して形成されるＭＥＭＳマイクロホンである構成とした。しかし、本発明は、この構成に限定されるものではない。例えば、マイクロホンが、エレクトレック膜を使用したコンデンサマイクロホン（ＥＣＭ）等であっても構わない。また、カメラユニット１が備えるマイクロホンＮＦＭ、ＦＦＭは、いわゆるコンデンサ型マイクロホンに限らず、例えば、動電型（ダイナミック型）、電磁型（マグネティック型）、圧電型等のマイクロホン等でも構わない。
また、以上に示した実施形態では、ニアフィールドマイクロホンＮＭＦは、１つの振動板２２１ａのみを有する差動マイクロホンとして構成されている。しかし、本発明は、この構成に限られるものではない。すなわち、ニアフィールドマイクロホンは、例えば２つの振動板を有し、それぞれの振動板に基づいて出力される信号の差分を音信号として出力するタイプの差動マイクロホンであっても構わない。
また、以上に示した実施形態では、ニアフィールドマイクロホンＮＭＦは、１次傾度の差動マイクロホンとして構成されている。しかし、本発明は、この構成に限られるものではない。すなわち、ニアフィールドマイクロホンは、例えば２次傾度または３次傾度特性を持つ差動マイクロホンであっても構わない。
また、以上に示した実施形態では、ファーフィールドマイクロホンＦＦＭは無指向性マイクロホンとした。しかし、本発明は、この構成に限定されるものではない。ファーフィールドマイクロホンが、例えば単一指向性マイクロホン等の指向性マイクロホンであってもよい。例えば、カメラユニット１による動画撮影時に、集音したい音の方向が特定の方向に限られるような場合には、このような構成も有効である。
その他、以上においては、本発明の音分離装置がカメラユニットに適用される場合を例に説明した。しかしながら、本発明の音分離装置は、近接音源からの音と、遠方音源からの音を分離したい場合に広く適用できるものであり、その適用対象はカメラユニット以外の電子機器、たとえば携帯電話機における背景雑音の分離用途としても応用が可能である。携帯電話機に応用する場合は、ニアフィールドマイクロホンＮＭＦが話者の音声をとらえるように設置し、ファーフィールドマイクロホンＦＦＭは背景雑音を含んだ音声をとらえるように設置することにより、話者音声と背景雑音を分離することが可能である。
本発明は、動画撮影が可能なカメラユニットに好適である。
１ カメラユニット
１１ 撮像部
１４ 蓄積部
１３ 音信号処理部
１５ 音分離装置
１１１ レンズ部
１１２ レンズ駆動部
２２１ａ 振動板
ＮＦＭ ニアフィールドマイクロホン（第２のマイクロホン）
ＦＦＭ ファーフィールドマイクロホン（第１のマイクロホン）

Claims (9)

  1. 入力音を第１の音信号に変換する第１のマイクロホンと、
    入力音を第２の音信号に変換し、前記第１のマイクロホンと比べて距離減衰率が大きい特性を持つ第２のマイクロホンと、
    入力された前記第１の音信号及び前記第２の音信号から独立成分分析により分離行列を最適化し、最適化した前記分離行列を用いて近接音源からの音信号として第３の音信号を分離するとともに遠方音源からの音信号として第４の音信号を分離する音信号処理部と、
    を備える音分離装置。
  2. 前記第２のマイクロホンは差動マイクロホンである、請求項１に記載の音分離装置。
  3. 前記差動マイクロホンは１次傾度特性を持つ、請求項２に記載の音分離装置。
  4. 前記差動マイクロホンは、音圧によって振動する振動板を１つのみ有する、請求項２又は３に記載の音分離装置。
  5. 前記第１のマイクロホンは、無指向性のマイクロホンである、請求項１から４のいずれかに記載の音分離装置。
  6. 前記第１のマイクロホンと前記第２のマイクロホンとが１つのパッケージで形成されている、請求項１から５のいずれかに記載の音分離装置。
  7. 請求項１から６のいずれかに記載の音分離装置を備える、カメラユニット。
  8. 被写体を撮像して撮像情報を映像信号に変換する撮像部と、
    前記映像信号と前記第４の音信号とを蓄積する蓄積部と、を更に備える、請求項６に記載のカメラユニット。
  9. 前記撮像部には、前記被写体方向からの入射光を結像するレンズ部と、前記レンズ部に含まれる可動レンズを駆動するレンズ駆動部と、が含まれ、
    前記音信号処理部は、前記レンズ駆動部が動作している期間に前記分離行列の最適化を行い、前記レンズ駆動部が動作していない期間は前記分離行列の最適化は行わない、請求項７又は８に記載のカメラユニット。
JP2011105404A 2011-05-10 2011-05-10 音分離装置、及び、それを備えたカメラユニット Pending JP2012238964A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011105404A JP2012238964A (ja) 2011-05-10 2011-05-10 音分離装置、及び、それを備えたカメラユニット
US13/468,174 US20120287303A1 (en) 2011-05-10 2012-05-10 Sound separating device and camera unit including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011105404A JP2012238964A (ja) 2011-05-10 2011-05-10 音分離装置、及び、それを備えたカメラユニット

Publications (1)

Publication Number Publication Date
JP2012238964A true JP2012238964A (ja) 2012-12-06

Family

ID=47141644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011105404A Pending JP2012238964A (ja) 2011-05-10 2011-05-10 音分離装置、及び、それを備えたカメラユニット

Country Status (2)

Country Link
US (1) US20120287303A1 (ja)
JP (1) JP2012238964A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380398B2 (en) 2013-04-25 2016-06-28 Sony Corporation Sound processing apparatus, method, and program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014100464B4 (de) * 2014-01-16 2022-02-17 Tdk Corporation Multi-MEMS-Modul
JP6289121B2 (ja) * 2014-01-23 2018-03-07 キヤノン株式会社 音響信号処理装置、動画撮影装置およびそれらの制御方法
CN103856869A (zh) * 2014-03-12 2014-06-11 深圳市中兴移动通信有限公司 音效处理方法和摄像装置
US9883314B2 (en) 2014-07-03 2018-01-30 Dolby Laboratories Licensing Corporation Auxiliary augmentation of soundfields
TWI539831B (zh) * 2014-12-05 2016-06-21 財團法人工業技術研究院 微機電麥克風封裝
CN106205630A (zh) * 2015-05-04 2016-12-07 钰太芯微电子科技（上海）有限公司 视频摄录***中降低马达振动噪声的***
JP6987075B2 (ja) 2016-04-08 2021-12-22 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ源分離
EP3352473B1 (en) * 2017-01-24 2019-07-24 Panasonic Intellectual Property Management Co., Ltd. Sound pickup device and imaging device using same
JP6809936B2 (ja) * 2017-02-28 2021-01-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 雑音抽出装置およびマイクロホン装置
CN109036411A (zh) * 2018-09-05 2018-12-18 深圳市友杰智新科技有限公司 一种智能终端语音交互控制方法及装置
CN114822570B (zh) * 2021-01-22 2023-02-14 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置、设备及可读存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181499A (ja) * 1998-12-10 2000-06-30 Nippon Hoso Kyokai <Nhk> 音源信号分離回路およびそれを用いたマイクロホン装置
JP2000261881A (ja) * 1999-03-05 2000-09-22 Kansai Tlo Kk マイクロホン装置
JP2001084713A (ja) * 1999-09-10 2001-03-30 Nippon Hoso Kyokai <Nhk> ビデオカメラと一体型の音源分離収音マイクロホンシステム
JP2002135880A (ja) * 2000-10-20 2002-05-10 Primo Co Ltd 一次音圧傾度型マイクロホン及び携帯端末装置
JP2003098003A (ja) * 2001-09-20 2003-04-03 Nippon Hoso Kyokai <Nhk> 音源分離収音マイクロホン装置および方法
JP2004056431A (ja) * 2002-07-19 2004-02-19 Hosiden Corp 携帯型電子装置
JP2005227512A (ja) * 2004-02-12 2005-08-25 Yamaha Motor Co Ltd 音信号処理方法及びその装置、音声認識装置並びにプログラム
JP2007180896A (ja) * 2005-12-28 2007-07-12 Kenwood Corp 音声信号処理装置および音声信号処理方法
JP2008048374A (ja) * 2006-07-21 2008-02-28 Victor Co Of Japan Ltd ビデオカメラ装置
JP2008131183A (ja) * 2006-11-17 2008-06-05 Univ Waseda 音源分離装置、音源分離方法、音源分離プログラム及び記録媒体
US20090086998A1 (en) * 2007-10-01 2009-04-02 Samsung Electronics Co., Ltd. Method and apparatus for identifying sound sources from mixed sound signal
US20090214053A1 (en) * 2007-11-13 2009-08-27 Friedrich Reining Position determination of sound sources
US20100226507A1 (en) * 2009-03-03 2010-09-09 Funai Electric Co., Ltd. Microphone Unit
JP2010252375A (ja) * 2010-06-16 2010-11-04 Funai Electric Co Ltd 音声信号送受信装置
JP2011070046A (ja) * 2009-09-28 2011-04-07 Hitachi Consumer Electronics Co Ltd 情報記録再生装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH067660Y2 (ja) * 1984-03-09 1994-02-23 日本ビクター株式会社 ステレオマイクロホン
US20080267423A1 (en) * 2007-04-26 2008-10-30 Kabushiki Kaisha Kobe Seiko Sho Object sound extraction apparatus and object sound extraction method
KR101409169B1 (ko) * 2007-09-05 2014-06-19 삼성전자주식회사 억제 폭 조절을 통한 사운드 줌 방법 및 장치
JP5117280B2 (ja) * 2008-05-22 2013-01-16 富士フイルム株式会社 撮像装置、撮像方法、再生装置および再生方法
JP5195652B2 (ja) * 2008-06-11 2013-05-08 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
US9100734B2 (en) * 2010-10-22 2015-08-04 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for far-field multi-source tracking and separation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181499A (ja) * 1998-12-10 2000-06-30 Nippon Hoso Kyokai <Nhk> 音源信号分離回路およびそれを用いたマイクロホン装置
JP2000261881A (ja) * 1999-03-05 2000-09-22 Kansai Tlo Kk マイクロホン装置
JP2001084713A (ja) * 1999-09-10 2001-03-30 Nippon Hoso Kyokai <Nhk> ビデオカメラと一体型の音源分離収音マイクロホンシステム
JP2002135880A (ja) * 2000-10-20 2002-05-10 Primo Co Ltd 一次音圧傾度型マイクロホン及び携帯端末装置
JP2003098003A (ja) * 2001-09-20 2003-04-03 Nippon Hoso Kyokai <Nhk> 音源分離収音マイクロホン装置および方法
JP2004056431A (ja) * 2002-07-19 2004-02-19 Hosiden Corp 携帯型電子装置
JP2005227512A (ja) * 2004-02-12 2005-08-25 Yamaha Motor Co Ltd 音信号処理方法及びその装置、音声認識装置並びにプログラム
JP2007180896A (ja) * 2005-12-28 2007-07-12 Kenwood Corp 音声信号処理装置および音声信号処理方法
JP2008048374A (ja) * 2006-07-21 2008-02-28 Victor Co Of Japan Ltd ビデオカメラ装置
JP2008131183A (ja) * 2006-11-17 2008-06-05 Univ Waseda 音源分離装置、音源分離方法、音源分離プログラム及び記録媒体
US20090086998A1 (en) * 2007-10-01 2009-04-02 Samsung Electronics Co., Ltd. Method and apparatus for identifying sound sources from mixed sound signal
US20090214053A1 (en) * 2007-11-13 2009-08-27 Friedrich Reining Position determination of sound sources
US20100226507A1 (en) * 2009-03-03 2010-09-09 Funai Electric Co., Ltd. Microphone Unit
JP2010206541A (ja) * 2009-03-03 2010-09-16 Funai Electric Co Ltd マイクロホンユニット
JP2011070046A (ja) * 2009-09-28 2011-04-07 Hitachi Consumer Electronics Co Ltd 情報記録再生装置
JP2010252375A (ja) * 2010-06-16 2010-11-04 Funai Electric Co Ltd 音声信号送受信装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380398B2 (en) 2013-04-25 2016-06-28 Sony Corporation Sound processing apparatus, method, and program

Also Published As

Publication number Publication date
US20120287303A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
JP2012238964A (ja) 音分離装置、及び、それを備えたカメラユニット
US11835787B2 (en) Lens driving device, and camera module and optical device including same
US9363595B2 (en) Microphone unit, and sound input device provided with same
CN105228068B (zh) 具有不同高度的组合件的梯度微机电***麦克风
US8254769B2 (en) Anti-shake structure for auto-focus modular
JP5748422B2 (ja) 電子機器
CN112653964B (zh) 一种耳机***
KR101184913B1 (ko) Ｏｉｓ 액추에이터 및 ｏｉｓ 액추에이터가 구비된 카메라 모듈
CN105657628B (zh) 传声器设备及其控制方法
WO2013164999A1 (ja) 電子機器、制御方法及び制御プログラム
CN102934464A (zh) 麦克风单元以及设有该麦克风单元的声音输入装置
US11143934B2 (en) Method for eliminating noise and portable electronic device using same
KR20110106935A (ko) 고진폭 오디오 캡처를 위한 방법 및 장치
JP2010136133A (ja) マイクロホンユニット
JP2010136131A (ja) マイクロホンユニット
WO2008018007A3 (en) Combination device of speaker and camera optical system
JP2010114878A (ja) マイクロホン
GB2405550A (en) Loudspeaker mechanism
US20130070938A1 (en) Noise cancelling device
CN108777727B (zh) 一种电路控制方法及移动终端
JP2016025514A (ja) 集音装置
CN212623283U (zh) 一种镜头模组及应用其的电子设备
KR20100003515A (ko) 모바일 기기용 카메라모듈
US20170307870A1 (en) Mobile Terminal
CN111708142A (zh) 一种镜头模组及应用其的电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150310