CN111034221A - 拾音装置、拾音***、拾音方法、程序以及校准方法 - Google Patents

拾音装置、拾音***、拾音方法、程序以及校准方法 Download PDF

Info

Publication number
CN111034221A
CN111034221A CN201880055909.3A CN201880055909A CN111034221A CN 111034221 A CN111034221 A CN 111034221A CN 201880055909 A CN201880055909 A CN 201880055909A CN 111034221 A CN111034221 A CN 111034221A
Authority
CN
China
Prior art keywords
sound
camera
sound pickup
electronic device
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880055909.3A
Other languages
English (en)
Inventor
广濑良文
足立祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN111034221A publication Critical patent/CN111034221A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/026—Supports for loudspeaker casings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • H04R1/083—Special constructions of mouthpieces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/021—Aspects relating to docking-station type assemblies to obtain an acoustical effect, e.g. the type of connection to external loudspeakers or housings, frequency improvement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

拾音装置具备拾音部、装配部和通信部。拾音部具有包含多个麦克风的麦克风阵列，生成与由麦克风阵列拾取到的周围的音对应的音响信号。装配部能装配具备对周围进行拍摄并生成图像数据的摄像机的电子设备。通信部将音响信号发送到电子设备。

Description

拾音装置、拾音***、拾音方法、程序以及校准方法
技术领域
本公开涉及对目的音进行拾音的拾音装置、拾音***、拾音方法、程序以及校准方法。
背景技术
专利文献1公开了用于从记录有一人以上的参加者的谈话的数据中推定哪个参加者在什么时候说话的推定装置。该推定装置通过将从由麦克风输出的音响信号得到的信息、和从由摄像机输出的影像信号得到的信息进行综合，来算出谈话参加者说话的概率。由此，即使是谈话参加者在没有说话的状况下进行了移动的情况，也能追踪谈话参加者的位置。
现有技术文献
专利文献
专利文献1：JP特许第5215826号公报
发明内容
本公开提供能精度良好地对目的音进行拾音的拾音装置、拾音***、拾音方法、程序以及校准方法。
本公开的一个方案的拾音装置具备拾音部、装配部和通信部。拾音部具有包含多个麦克风的麦克风阵列，生成与由麦克风阵列拾取到的周围的音对应的音响信号。装配部能装配具备对周围进行拍摄并生成图像数据的摄像机的电子设备。通信部将音响信号发送到电子设备。
这些概括性且特定的方案可以通过***、方法以及计算机程序和它们的组合来实现。
根据本公开的拾音装置、拾音***、拾音方法、程序以及校准方法，通过将具备摄像机的电子设备安装在拾音装置，能精度良好地对目的音进行拾音。
附图说明
图1是表示第1实施方式的拾音装置和电子设备的图。
图2是表示在第1实施方式的拾音装置装配有电子设备的状态的拾音***的图。
图3A是示意地表示使装配部可动的可动部的一例的图。
图3B是用于说明装配部的可动方向的图。
图4A是示意地表示使光学***的位置可动的可动部的一例的分解立体图。
图4B是用于说明光学***的位置的可动方向的图。
图5是用于说明使得通过拾音装置的光学***能进行广角拍摄的图。
图6是表示图1的电子设备的结构的框图。
图7是表示图1的拾音装置的结构的框图。
图8是用于说明拾音的整体动作的流程图。
图9是用于说明第1实施方式中的摄像机和麦克风阵列的坐标的对应建立的流程图。
图10是用于说明目的音的拾音动作的流程图。
图11是示意地表示拾音***被垂直放置地使用时的状态的图。
图12是示意地表示拾音***被平面放置地使用时的状态的图。
图13是用于说明第2实施方式中的摄像机和麦克风阵列的坐标的对应建立的流程图。
图14是表示进行第2实施方式中的坐标的对应建立时的画面的显示例的图。
图15A是示意地表示第3实施方式中的广角镜头的图。
图15B是示意地表示第3实施方式中的锥形镜的图。
图15C是示意地表示第3实施方式中的遮蔽盖的图。
具体实施方式
(成为本公开的基础的见解)
专利文献1的推定装置是具备摄像机和多个麦克风这两方的专用的拾音机。本公开不使用专用的拾音机就能精度良好地拾取目的音。具体地，本公开通过在具备麦克风阵列的拾音装置安装具备摄像机的电子设备来拾取目的音。
(第1实施方式)
以下，参考附图来说明第1实施方式。在本实施方式中，说明将人物的声音作为目的音来拾取的示例。
1.拾音***的结构
图1表示本公开的第1实施方式的拾音装置和电子设备。图2表示本公开的第1实施方式的拾音***的结构。如图1以及图2所示那样，拾音***1包含电子设备10和能装配电子设备10的拾音装置20。拾音***1例如为了对会议中的人的声音进行拾取而使用。
电子设备10是智能手机或平板终端等移动终端。电子设备10具备摄像机110以及显示部120。摄像机110的光轴方向和显示部120的显示方向是相同方向。
摄像机110包含CCD图像传感器、CMOS图像传感器或NMOS图像传感器等。摄像机110对周围进行拍摄并生成影像信号、即图像数据。显示部120由液晶显示设备或有机EL显示设备构成。显示部120显示摄像机110拍摄的图像等。
拾音装置20具备麦克风阵列211、广角辅助部220、装配部230以及通信部240。拾音装置20是装配电子设备10并与电子设备10进行通信的***设备。
麦克风阵列211包含多个麦克风。麦克风阵列211对周围的音进行拾取，并生成与拾取到的音对应的音响信号。在图1中，以直线状配置多个麦克风，但并不一定需要以直线状配置多个麦克风。例如，也可以将多个麦克风配置成如半圆状、圆弧状那样二维地扩展的形状。广角辅助部220包含光学***221。光学***221包含具有大致全方位的视角的广角镜头。
装配部230是用于装配并固定电子设备10的构件。装配部230在一例中包含上板230a、背板230b以及下底块230c。装配部230夹着电子设备10的长边方向(图1以及图2的Z轴方向)的两端来将电子设备10固定。在本实施方式中，麦克风阵列211安装在下底块230c。
通信部240包含遵循给定的通信标准(例如LAN、WiFi、Bluetooth(注册商标)、USB、HDMI(注册商标))与外部设备进行通信的电路。通信部240在本实施方式中是USB端子(公端子)，与电子设备10的USB端子(母端子)连接。在本实施方式中，通信部240安装在下底块230c。如后述那样，下底块230c能为了固定电子设备10而进行移动。因此，能将USB端子即通信部240容易地与电子设备10的USB端子连接。
图3A是示意地表示使装配部230可动的可动部的一例的图。图3A表示从下方侧(图1的箭头A所示的方向)来看拾音装置20时的图。图3B是用于说明装配部230的可动方向的图。拾音装置20具备可动部261，该可动部261在下底块230c远离接近上板230a的方向(图3B的Z轴方向)上使下底块230c或背板230b可动。可动部261的结构是任意的。例如，可动部261由具有L字型的缺口261a和大致U字型的缺口261b的滑动机构构成。L字型的缺口261a对背板230b的两侧面232和背面231形成。另外，L字型的缺口261a设置于比背板230b的中央部更靠下底块230c的位置。大致U字型的缺口261b形成于下底块230c的背面侧233。背板230b的L字型的缺口261a和下底块230c的大致U字型的缺口261b相嵌合。由此，能使下底块230c或背板230b在Z轴方向上活动。电子设备10的尺寸根据电子设备10的种类而不同。使用者通过利用可动部261根据电子设备10的尺寸来使下底块230c或背板230b在Z轴方向上活动，从而能将电子设备10固定于上板230a与下底块230c之间。
图4A是示意地表示使光学***221的位置可动的可动部的一例的分解立体图。图4B是用于说明光学***221的位置的可动方向的图。拾音装置20具备可动部262，该可动部262使光学***221在拾音装置20的宽度方向(图4A以及图4B的X轴方向)以及长边方向(图4A以及图4B的Z轴方向)的位置可动。可动部262的结构是任意的。例如，可动部262由具有贯通孔262a、凹部262b以及凸部262c的滑动机构构成。凸部262c能穿过贯通孔262a在凹部262b内移动。如图4A所示那样，广角辅助部220包含光学***221和安装光学***221的安装构件222。在图4A所示的示例中，Z轴方向上延伸的贯通孔262a形成于安装构件222。X轴方向上延伸的凹部262b形成于上板230a。摄像机110的位置根据电子设备10的种类而不同。使用者能通过可动部262使广角辅助部220移动，以使得拾音装置20的光学***221的位置处于电子设备10的摄像机110的光轴上。
图5是用于说明使得通过拾音装置20的光学***221能进行广角拍摄的图。在电子设备10中，搭载于具备显示部120的面的摄像机110(所谓的内摄像机(in camera))大多为了拍摄电子设备10的所有者自身而利用。因此，摄像机110通常不具备广角镜头。摄像机110例如具备视角θ1(例如40°～50°)的标准镜头。另一方面，拾音装置20的光学***221包含通过与内置于摄像机110的镜头组合而成为视角θ2(例如170°～180°)的广角镜头。视角θ2并不限定于此，只要是比摄像机110内置的镜头更广角的镜头即可。因而，通过在摄像机110的光轴上配置光学***221，从而拍摄时的视角可从θ1(例如40°～50°)扩展到θ2(例如170°～180°)。由此，在将拾音***1平面放置时，即摄像机110的光轴方向与铅垂方向大致相同时，也能拍摄处于拾音***1的周围的人物。
图6表示电子设备10的电气结构。电子设备10除了具备摄像机110和显示部120以外，还具备通信部130、控制部140、存储部150、传感器160以及总线170。
通信部130包含遵循给定的通信标准(例如LAN、WiFi、Bluetooth、USB、HDMI)与外部设备进行通信的电路。通信部130在本实施方式中是USB端子(母端子)。通信部130接收从拾音装置20输出的音响信号。
控制部140控制电子设备10整体。控制部140能由半导体元件等实现。控制部140例如能由微型计算机、CPU、MPU、DSP、FPGA、ASIC构成。控制部140的功能可以仅由硬件构成，也可以通过将硬件和软件组合来实现。控制部140基于从摄像机110得到的图像数据和从拾音装置20得到的音响信号来决定拾音方向。控制部140基于所决定的拾音方向来从音响信号取出目的音。
存储部150存放从摄像机110得到的图像数据以及从拾音装置20得到的音响信号。存储部150例如能由硬盘(HDD)、SSD、RAM、DRAM、铁电体存储器、闪速存储器、磁盘或它们的组合来实现。
传感器160包含检测加速度的加速度传感器或检测角速度的陀螺仪传感器。能基于传感器160的输出来检测电子设备10是被垂直放置、被平面放置、还是处于垂直放置与平面放置的中间的状态。所谓“垂直放置”，是指摄像机110的光轴与水平面方向大致相同的放置方式。所谓“平面放置”，是指摄像机110的光轴与铅垂方向大致相同的放置方式。
总线170是将摄像机110、显示部120、通信部130、控制部140、存储部150以及传感器160电连接的信号线。
图7表示拾音装置20的电气结构。拾音装置20具备音响输入部(拾音部)210、通信部240、控制部250、移动检测部270以及音响输出部280。
音响输入部210具备麦克风阵列211、多个放大器212以及多个A/D变换器213。麦克风阵列211通过多个麦克风对周围的音(声波)进行拾取，将拾取到的音变换成电信号并输出模拟的音响信号。各放大器212将从各麦克风输出的模拟的音响信号分别放大。各A/D变换器213将从各放大器212输出的模拟的音响信号变换成数字的音响信号。
控制部250控制拾音装置20整体。控制部250将数字的音响信号经由通信部240发送到电子设备10。控制部250能由半导体元件等实现。控制部250例如能由微型计算机、CPU、MPU、DSP、FPGA、ASIC构成。控制部250的功能可以仅由硬件构成，也可以通过将硬件和软件组合来实现。
移动检测部270包含：用于检测可动部261造成的下底块230c或背板230b的移动量的检测元件；和用于检测可动部262造成的光学***221的移动量的检测元件。控制部250基于移动检测部270的输出来检测麦克风阵列211的位置以及光学***221的位置。并且，移动检测部270检测光学***221(以及摄像机110)与麦克风阵列211的相对位置。麦克风阵列211的位置是麦克风阵列211的中心位置，例如是处于麦克风阵列211的中央的麦克风的位置。移动量的检测方法并没有特别限定。例如，可以通过使用发光元件以及受光器件检测光量变化并输出位移量的光学式线性增量编码器、输出与机械性的位置成正比的电压的电阻式定位传感器来算出移动量。
音响输出部280具备D/A变换器283、放大器282以及扬声器281。D/A变换器283将从控制部250接受到的数字的音响信号变换成模拟的音响信号。放大器282将模拟的音响信号放大。扬声器281输出经过放大的模拟的音响信号。音响输出部280可以包含D/A变换器283、放大器282以及扬声器281各1个以上。另外，在本实施方式中，拾音装置20具有将由麦克风阵列211生成的音响信号发送到电子设备10的功能。因此，拾音装置20也可以不具备音响输出部280。在拾音装置20不具备音响输出部280的情况下，电子设备10的扬声器可以代替音响输出部280来输出音响信号。
2.拾音***的动作
2.1整体动作
图8表示电子设备10的控制部140的拾音的整体动作。在本实施方式中，电子设备10的控制部140基于从麦克风阵列211输出的音响信号和从摄像机110输出的图像数据来对目的音进行拾取。
电子设备10的控制部140判断电子设备10是否装配于拾音装置20(S1)。例如，若由使用者在电子设备10的通信部130的母端子连接了拾音装置20的通信部240的公端子，则拾音装置20就将与拾音装置20相关的信息发送到电子设备10。由此，电子没备10被探测到装配于拾音装置20。
电子设备10的长边方向的尺寸和摄像机110的位置根据电子设备10的种类而不同。因此，电子设备10的摄像机110与拾音装置20的麦克风阵列211的位置关系根据装配于拾音装置20的电子设备10而改变。因而，电子设备10的控制部140若探测到电子设备10装配于拾音装置20(S1“是”)，就将摄像机110的坐标和麦克风阵列211的坐标建立对应(S2)。在本说明书中，也将摄像机110和麦克风阵列211的坐标的对应建立称作“校准”。
控制部140在进行了摄像机110和麦克风阵列211的坐标的对应建立后，基于从摄像机110得到的图像数据和从麦克风阵列211得到的音响信号来对目的音进行拾取(S3)。
2.2摄像机和麦克风阵列的坐标的对应建立
图9表示摄像机110和麦克风阵列211的坐标的对应建立的一例(S2的详细情况)。电子设备10的控制部140取得摄像机110的绝对位置(S201)。在电子设备10的存储部150中存放表示摄像机110的绝对位置的设计信息。因而，控制部140通过从存储部150读出该设计信息来确定摄像机110的绝对位置。
控制部140从拾音装置20取得麦克风阵列211距光学***221的相对位置(S202)。具体地，拾音装置20的控制部250基于移动检测部270的输出来检测以光学***221的位置为基准的麦克风阵列211的相对位置，将其发送到电子设备10。
拾音装置20的光学***221由使用者配置在电子设备10的摄像机110的光轴上。因而，电子设备10的控制部140取得以光学***221的位置为基准的麦克风阵列211的相对位置，来作为以摄像机110的位置为基准的麦克风阵列211的相对位置。然后，控制部140基于摄像机110的绝对位置和麦克风阵列211的相对位置，来将摄像机110和麦克风阵列211的坐标建立对应(S203)。例如，作成能将摄像机110的坐标变换成麦克风阵列211的坐标的函数或表格。
2.3目的音的拾取
图10表示目的音的拾取动作的一例(S3的详细情况)。电子没备10的控制部140基于传感器160的输出来探测摄像机110的光轴方向(S301)。例如，控制部140基于传感器160的输出来检测电子设备10是被垂直放置还是被平面放置，由此将摄像机110的光轴方向探测为是水平方向或是垂直方向。
控制部140根据探测到的光轴方向来生成图像数据(S302)。具体地，例如，控制部140根据摄像机110的光轴方向来变更拍摄设定条件。拍摄设定条件例如是摄像机110的曝光。图11示意地表示拾音***1被垂直放置地使用时的状态。图12示意地表示拾音***1被平面放置地使用时的状态。在如图11所示那样垂直放置时，来自处于天花板的照明器具30的光不会通过光学***221而直接入射到摄像机110。另一方面，在如图12所示那样平面放置时，来自处于天花板的照明器具30的光会通过光学***221而直接入射到摄像机110。在该情况下，由摄像机110生成的动态图像1帧的量或静止图像1张的量的图像的中心部变亮，而拍到处于周边的人物的区域的图像变暗。若拍到人物的区域的图像暗，就不能从图像数据检测出人物的位置。其结果，不能精度良好地提取人物的声音。因而，在平面放置时，拾音***1不使用与动态图像1帧的量或静止图像1张的量相当的图像数据的中心部分地决定摄像机110的曝光。即，基于使用者所在的位置的图像区域的明亮度或颜色来决定曝光。由此，例如使得CCD图像传感器等图像传感器受光的时间不会变短，防止拍到使用者的区域的图像变暗。另一方面，在垂直放置时，拾音***1使用与图像数据的动态图像1帧的量或静止图像1张的量相当的图像整体来决定摄像机110的曝光。另外，在平面放置时，控制部140可以基于生成的图像数据的亮度来判断照明器具30是否包含在图像数据中，基于该判断结果来变更拍摄设定条件。
控制部140从拾音装置20取得由麦克风阵列211拾取到的音响信号(S303)。
控制部140从图像数据和音响信号推定音源的位置(S304)。具体地，控制部140从图像数据检测脸的位置。脸的位置的检测方法是任意的。作为一例，将与动态图像1帧的量或静止图像1张的量相当的图像数据分割成多个区域，判定各区域是否与脸的特征一致，由此进行脸的位置的检测(参考“Rapid Object Detection using a Boosted Cascade ofSimple Features”ACCEPTED CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION2001)。由此，例如，控制部140算出图像数据内以水平角θv以及垂直角
Figure BDA0002393861920000091
确定的位置的图像是脸的概率
Figure BDA0002393861920000092
图像数据中的水平角θv以及垂直角
Figure BDA0002393861920000093
即摄像机110的视角的水平角θv以及垂直角
Figure BDA0002393861920000094
能基于步骤S203中生成的表示麦克风阵列211和摄像机110的坐标的对应建立的函数或表格而变换成麦克风阵列211的坐标系的水平角θs以及垂直角
Figure BDA0002393861920000095
因而，控制部140将以摄像机110的坐标系表示的概率
Figure BDA0002393861920000096
变换成以麦克风阵列211的坐标系表示的概率
Figure BDA0002393861920000097
另外，控制部140从音响信号推定音源的位置、即正在发声的人物所在的位置。音源的位置的推定方法是任意的。例如，音源的位置的推定能使用CSP(Cross-Power Spectrum Phase Analysis)法或MUSIC(Multiple Signal Classification)法来进行。由此，例如，控制部140从音响信号算出在以水平角θs以及垂直角
Figure BDA0002393861920000098
确定的位置存在音源的概率
Figure BDA0002393861920000099
然后，基于是脸的概率
Figure BDA0002393861920000101
和存在音源的概率
Figure BDA0002393861920000102
例如将概率
Figure BDA0002393861920000103
最高的水平角θs以及垂直角
Figure BDA0002393861920000104
推定为音源的位置。另外，也可以取代概率
Figure BDA0002393861920000105
将
Figure BDA0002393861920000106
最高的水平角θs以及垂直角
Figure BDA0002393861920000107
推定为音源的位置。
控制部140基于推定出的音源的位置来对作为音响信号中所含的目的音的声音进行拾取(S305)。
3.效果以及补充
本实施方式的拾音***1具有拾音装置20和能装配于拾音装置20的电子设备10。拾音装置20具备：具有包含多个麦克风的麦克风阵列211并生成与由麦克风阵列211拾取到的周围的音对应的音响信号的音响输入部(拾音部)210；能装配电子设备10的装配部230；和将音响信号发送到电子设备10的通信部240。拾音装置20是装配电子设备10并与电子设备10进行通信的***设备。电子设备10具备：对周围进行拍摄并生成图像数据的摄像机110；和基于音响信号和图像数据来决定进行拾音的方向的控制部140。电子设备10是智能手机或平板终端等移动终端。
如此地，本实施方式的拾音***1不是专用的拾音机。拾音***1具有将电子设备10安装在拾音装置20的结构。因而，根据本实施方式的拾音***1，即使没有专用的拾音机，也能精度良好地对目的音进行拾取。具体地，通过在具备麦克风阵列211的拾音装置20安装具备摄像机110的电子设备10，能使用从麦克风阵列211输出的音响信号和由摄像机110生成的图像数据来决定进行拾音的方向。因而，能对减低了噪声的清晰的声音进行拾取。
拾音装置20还具备配置于摄像机110的光轴的光学***221，该光学***221使摄像机110的视角更广角。因而，装配于拾音装置20的电子设备10能拍摄更大的范围。例如，在平面放置时也能拍摄处于摄像机110的周围的人物。
拾音装置20还具备可动部261，该可动部261使装配部230根据电子设备10的尺寸而可动。具体地，可动部261在下底块230c远离接近上板230a的方向上使下底块230c或背板230b可动。由此，即使电子设备10的尺寸因电子设备10的种类的不同而不同，使用者也能根据电子设备10的尺寸来移动下底块230c或背板230b，从而将电子设备10固定于上板230a与下底块230c之间。
拾音装置20还具备可动部262，该可动部262使光学***221的位置根据摄像机110的位置而可动。由此，即使摄像机110的位置因电子设备10的种类的不同而不同，使用者也能使光学***221移动，以使得拾音装置20的光学***221的位置处于电子设备10的摄像机110的光轴上。
电子设备10的控制部140基于麦克风阵列211距光学***221的相对位置和摄像机110的绝对位置来将麦克风阵列211的坐标和摄像机110的坐标建立对应。由此，即使摄像机110与麦克风阵列211的位置关系因电子设备10的种类的不同而不同，也能精度良好地推定音源的位置。因而，能精度良好地对目的音进行拾取。
电子设备10还包含探测摄像机110的光轴方向的传感器160，控制部140根据传感器160探测到的摄像机110的光轴方向来变更摄像机110的拍摄设定条件。在此，传感器160例如可以通过检测电子设备10的朝向来探测摄像机110的光轴方向。例如，在平面放置时，不使用与动态图像1帧的量或静止图像1张的量相当的图像数据的中心部分地决定摄像机110的曝光。由此，例如，即使天花板存在照明器具30，也能防止拍到使用者的区域的图像变暗。
(第2实施方式)
第2实施方式中，摄像机110和麦克风阵列211的坐标的对应建立的方法与第1实施方式不同。
图13表示第2实施方式中的摄像机110和麦克风阵列211的坐标的对应建立(S2的详细情况)。图14表示进行坐标的对应建立时的显示部120的画面的显示例。在进行图13所示的处理的期间，摄像机110正在动作，将由摄像机110进行拍摄中的实时取景图像显示在显示部120。
电子设备10的控制部140将表示给定位置的标志121和促使使用者移动到与标志121重叠的位置后进行发声的消息122显示在显示部120(S211)。即，在显示部120的图像内的给定位置显示标志121。表示给定位置的标志121例如是表征人物的脸的图像。由此，使用者能在看着显示部120的同时进行移动，以使得自己的脸与标志121重叠。然后，使用者在移动后发声。
控制部140从拾音装置20取得由麦克风阵列211拾取到的音响信号(S212)。控制部140基于取得的音响信号来推定音源的位置、即正在发声的人物所在的位置(S213)。控制部140将标志121的位置和推定出的音源的位置建立对应(S214)。
控制部140判断是否进行了给定次数(例如至少3次)的标志121的位置和音源的位置的对应建立(S215)。若未进行给定次数(S215“否”)，就返回步骤S211，在显示部120内的不同的位置显示标志121，并进行标志121的位置和音源的位置的对应建立。为了在多个位置进行标志121的位置和音源的位置的对应建立，控制部140使得步骤S211中显示标志121的位置每次都不同。显示于显示部120的标志121的位置能与摄像机110的视角的水平角θ以及垂直角
Figure BDA0002393861920000121
建立对应。若进行了给定次数的标志121的位置和推定出的音源的位置的对应建立(S215“是”)，就通过基于内插以及外插的插值来进行未测量的其他位置上的对应建立，由此将摄像机110和麦克风阵列211的坐标建立对应(S216)。例如，控制部140作成能将摄像机110的坐标变换成麦克风阵列211的坐标的函数或表格。控制部140将作成的函数或表格存放到存储部150。
在提高对应建立的精度的情况下，使用者在摄像机110的能拍摄范围内尽可能细致地移动即可。由此，由于内插时的插值点变得接近，因此对应建立的精度提高。另外，为了防止精度易降低的外插，在摄像机110的能拍摄范围内的最外侧移动即可。
另外，在进行标志121的位置和音源的位置的对应建立(S214)前，控制部140可以基于图像数据来判断使用者的脸是否处于标志121的图像区域内。在标志121的图像区域中没有脸的情况下，可以不进行对应建立，而返回步骤S211。
另外，在步骤S211中，显示部120可以不在图像内的给定位置显示标志121。可以取而代之，由电子设备10的扬声器输出表示图像内的给定位置的声音。例如，在步骤S211中，可以是，电子设备10的扬声器发出“请移动到图像内的左下角”的声音，与此对应地，使用者移动到与图像内的左下角对应的位置。然后，使用者在移动后发声。通过这样的动作也能实现本公开的校准方法。
根据本实施方式，与第1实施方式同样，由于将摄像机110和麦克风阵列211的坐标建立对应，因此即使摄像机110与麦克风阵列211的位置关系因电子设备10的种类的不同而不同，也能精度良好地推定音源的位置。
(第3实施方式)
在本实施方式的拾音***1中，光学***221的结构与第1实施方式不同。具体地，本实施方式的光学***221在将拾音***1平面放置地使用的情况下防止摄像机110拍摄照明器具30。
图15A示意地表示广角镜头。图15B示意地表示圆锥镜。图15C示意地表示遮蔽盖。在图15A～图15C中，图面的上侧是天顶侧，图面的下侧是摄像机110侧。即，图15A～图15C表示拾音***1被平面放置的状态的光学***221。
图15A所示的光学***221例如由具有大致全方位的视角的广角镜头221a构成。另外，广角镜头221a只要能扩展装配于装配部230的电子设备10的摄像机110的视角，就也可以不具有大致全方位的视角。另外，所谓广角镜头221a扩展视角，是指使得装配于装配部的电子设备10能拍摄比摄像机110的视角更靠外侧的区域。
图15B所示的光学***221由内置有圆锥形的锥形镜221b的广角镜头221a构成。在该情况下，来自天顶侧的光、即来自安装于天花板的照明器具30的光被锥形镜221b反射。因而，来自照明器具30的光不会到达摄像机110。另外，图15B所示的光学***221可以不具备广角镜头221a。图15B所示的光学***221由于具备锥形镜221b，因此能抑制来自天顶侧的光入射到摄像机110，且能使来自水平方向(摄像机的光轴的垂直方向)的光入射到摄像机110。由此，图15B所示的光学***221能将摄像机110的视角扩展。所谓光学***221扩展视角，是指使得装配于装配部的电子设备10能拍摄比摄像机110的视角更靠外侧的区域。另外，锥形镜221b可以是四棱锥形等多棱锥形。在拍摄位于四边桌子的各边的4个人物的情况下，若锥形镜221b是四棱锥形，就能以没有失真的影像进行拍摄。
图15C所示的光学***221包含广角镜头221a和遮蔽盖221c。遮蔽盖221c安装在广角镜头221a的表面。在该情况下，来自天顶侧的光、即来自安装在天花板的照明器具30的光被遮蔽盖221c吸收。因而，来自照明器具30的光不会到达摄像机110。将具备锥形镜221b或遮蔽盖221c的光学***221配置于摄像机110的光轴上时的摄像机110的拍摄区域成为除摄像机110的光轴周边以外的区域。
本实施方式的拾音***1例如具备图15A所示的光学***221、和图15B或图15C所示的光学***221这两者。使用者能根据是将拾音***1垂直放置地使用还是平面放置地使用，来从这2个光学***221中选择配置于摄像机110的光轴上的光学***221。通过在平面放置时使用具备锥形镜221b或遮蔽盖221c的光学***221，能不拍摄照明器具30周边，而仅拍摄如以图12的角度θ3(例如水平面起45°的范围内)所示那样人物所在的方向。在该情况下，在图10的步骤S302中，不管拾音***1是平面放置还是垂直放置，控制部140都在相同拍摄设定条件下生成图像数据。例如，与垂直放置同样地，基于图像整体的明亮度和颜色来决定平面放置时的摄像机110的曝光。
另外，将来自照明器具30的光遮蔽的构件并不限于锥形镜221b以及遮蔽盖221c。只要是在平面放置时能防止摄像机110对照明器具30进行拍摄的结构，就可以是任意的结构。另外，遮蔽盖221c也可以由拆装式构成。
根据本实施方式，即使是将拾音***1平面放置时，也能防止摄像机110拍摄照明器具30。因此，能与第1实施方式同样地，从图像数据精度良好地检测处于拾音***1的周围的人物的脸。因而，能精度良好地对目的音进行拾取。
(其他实施方式)
如以上那样，作为本申请中公开的技术的例示，说明了第1～第3实施方式。但是，本公开中的技术并不限定于此，还能运用在适当进行了变更、置换、附加、省略等的实施方式中。另外，还能将上述第1～第3实施方式中说明的各构成要素组合来构成新的实施方式。因此，以下例示其他实施方式。
在上述实施方式中，电子设备10的控制部140基于从麦克风阵列211输出的音响信号和从摄像机110输出的图像数据来决定进行拾音的方向，对目的音进行拾取。但是，拾音装置20的控制部250也可以基于从麦克风阵列211输出的音响信号和从摄像机110输出的图像数据来决定进行拾音的方向，对目的音进行拾取。
另外，也可以基于从摄像机110输出的图像数据中所含的嘴唇的形状(例如是否张开)来决定拾音的开始以及结束。例如，电子设备10存放表示嘴唇张开的状态的特征量的信息，基于该信息来在图像数据中判定嘴唇是否张开。由此，电子设备10检测说话的开始时间点以及结束时间点。从说话的开始时间点到说话的结束时间点是说话区间。或者，电子设备10也可以将音响信号作为输入，基于音响特征来实施说话区间的检测。或者，电子设备10也可以基于图像数据以及音响信号双方的特征量来实施说话区间的检测。
在上述实施方式中，可动部261是使下底块230c或背板230b在拾音装置20的长边方向(图3B的Z轴方向)上可动的构件，但可动方向可以不只是长边方向。例如，可动部261也可以是使下底块230c或背板230b能在拾音装置20的厚度方向(图3A以及图3B的Y轴方向)上可动的结构。同样地，可动部262可以是使光学***221在拾音装置20的厚度方向(图4A以及图4B的Y轴方向)上可动的结构。
在上述实施方式中，说明了电子设备10以及拾音装置20具备USB端子的示例，但在进行无线通信的情况下，拾音装置20也可以不具备端子。即，电子设备10的通信部130可以与拾音装置20的通信部240以无线方式进行通信。
在上述实施方式中，拾音装置20具备比摄像机110的视角更广角的光学***221，但在摄像机110具备广角镜头的情况下，拾音装置20也可以不具备光学***221。
(实施方式的概要)
(1)本公开的拾音装置20具备音响输入部210(拾音部)、装配部230和通信部240。音响输入部210具有包含多个麦克风的麦克风阵列211，生成与由麦克风阵列拾取到的周围的音对应的音响信号。装配部230能装配具备对周围进行拍摄并生成图像数据的摄像机110的电子设备10。通信部240将音响信号发送到电子设备。
由此，即使没有专用的拾音机，也能精度良好地对目的音进行拾取。具体地，通过在具备麦克风阵列211的拾音装置20安装具备摄像机110的电子设备10，能使用从麦克风阵列211输出的音响信号和由摄像机110生成的图像数据。因此，能对减低了噪声的清晰的声音进行拾取。
(2)在(1)的拾音装置20中，也可以是，还具备：能拍摄比装配于装配部230的电子设备10的摄像机110的视角更靠外侧的区域的光学***221。
由此，装配于拾音装置20的电子设备10能拍摄更大的范围。例如，即使是平面放置时，也能拍摄处于摄像机110的周围的人物。
(3)在(2)的拾音装置20中，也可以是，还具备：使光学***221的位置可动的第1可动部262。
由此，即使摄像机110的位置按电子设备10的每个种类而不同，使用者也能使光学***221移动，以使得拾音装置20的光学***221的位置处于电子设备10的摄像机110的光轴上。即，使用者能根据摄像机110的位置使光学***221移动。
(4)在(2)的拾音装置20中，也可以是，光学***221包含：扩展摄像机110的视角的广角镜头221a；和反射或吸收沿着摄像机110的光轴的光的防止构件(遮蔽盖221c)。在此，遮蔽盖221c例如吸收90％以上的沿着摄像机110的光轴的光。
另外，在(2)的拾音装置20中，也可以是，光学***221包含能拍摄比装配于装配部230的电子设备10的摄像机110的视角更靠外侧的区域的锥形镜221b。在此，锥形镜221b例如反射90％以上的沿着摄像机110的光轴的光。
由此，例如，即使天花板存在照明器具30，也能防止对该照明器具30进行拍摄，因此能防止拍到使用者的周边区域的图像变暗。因而，能从图像数据精度良好地检测人物的脸。
(5)在(1)到(4)中任一者的拾音装置20中，也可以是，装配部230包含能为了固定电子设备10而进行移动的下底块230c或背板230b(固定构件的一例)。
由此，即使电子设备10的尺寸不同，使用者也能将电子设备10固定在装配部230。
(6)本公开的拾音***1具有：(1)到(5)中任一项记载的拾音装置20；和能装配于拾音装置20的电子设备10。
由此，即使没有专用的拾音机，也能精度良好地对目的音进行拾取。
(7)在(6)的拾音***1中，也可以是，电子设备10还具有：基于音响信号和图像数据来决定进行拾音的方向的控制部140。
由此，能对目的音精度良好地进行拾取。
(8)在(7)的拾音***1中，也可以是，控制部140基于从摄像机110到麦克风阵列211的相对位置，来将麦克风阵列211进行拾取的周围的音的位置坐标和摄像机110拍摄的周围的位置坐标建立对应。
由此，即使摄像机110与麦克风阵列211的位置关系因电子设备10的种类的不同而不同，也能精度良好地推定音源的位置。
(9)在(7)的拾音***1中，也可以是，拾音装置20具备：比摄像机110的视角更广角且配置于摄像机110的光轴的光学***221，控制部140基于麦克风阵列211距光学***221的相对位置和摄像机110的绝对位置来将麦克风阵列211的坐标和摄像机110的坐标建立对应。
由此，即使摄像机110与麦克风阵列211的位置关系因电子设备10的种类的不同而不同，也能精度良好地推定音源的位置。
(10)在(7)的拾音***1中，也可以是，电子设备10还包含：探测摄像机110的光轴方向的传感器160。并且，控制部140也可以根据传感器160探测到的摄像机110的光轴方向来变更摄像机110的拍摄设定条件。
由此，例如，即使天花板存在照明器具30，也能防止拍到使用者的区域的图像变暗。
(11)本公开的拾音方法是将电子设备装配于拾音装置来对目的音进行拾取的方法，包含如下步骤：基于从摄像机到麦克风阵列的相对位置，来将麦克风阵列进行拾音的周围的位置坐标和摄像机拍摄的周围的音的位置坐标建立对应；和基于音响信号和图像数据，来决定对所述目的音进行拾取的方向。在此，电子设备具备：对周围进行拍摄并生成图像数据的摄像机。另外，拾音装置具备：具有包含多个麦克风的麦克风阵列并生成与由麦克风阵列拾取到的周围的音对应的音响信号的拾音部；能装配电子设备的装配部；和将音响信号发送到电子设备的通信部。
由此，即使没有专用的拾音机，也能精度良好地对目的音进行拾取。具体地，通过在具备麦克风阵列211的拾音装置20安装具备摄像机110的电子设备10，能使用从麦克风阵列211输出的音响信号和由摄像机110生成的图像数据。因此，能对减低了噪声的清晰的声音进行拾取。
(12)本公开的程序使计算机执行(11)的拾音方法。
本公开的全部权利要求记载的拾音***、拾音装置、拾音方法、校准方法可通过硬件资源例如处理器、存储器与程序的协作等而实现。
产业上的可利用性
本公开的拾音装置例如作为装配电子设备来对会话中的人的声音进行拾取的拾音机是有用的。
附图标记的说明
1 拾音***
10 电子设备
20 拾音装置
110 摄像机
120 显示部
130、240 通信部
140、250 控制部
150 存储部
160 传感器
170 总线
210 音响输入部
211 麦克风阵列
212、282 放大器
213 A/D变换器
220 广角辅助部
221 光学***
221a 广角镜头
221b 锥形镜
221c 遮蔽盖
230 装配部
230b 背板(固定构件)
230c 下底块(固定构件)
261、262 可动部
270 移动检测部
280 音响输出部
281 扬声器
283 D/A变换器

Claims (16)

1.一种拾音装置，具备：
拾音部，具有包含多个麦克风的麦克风阵列，生成与由所述麦克风阵列拾取到的周围的音对应的音响信号；
装配部，能装配具备对周围进行拍摄并生成图像数据的摄像机的电子设备；和
通信部，将所述音响信号发送到所述电子设备。
2.根据权利要求1所述的拾音装置，其中，
所述拾音装置还具备：
光学***，能拍摄比装配于所述装配部的电子设备的摄像机的视角更靠外侧的区域。
3.根据权利要求2所述的拾音装置，其中，
所述拾音装置还具备：
第1可动部，使所述光学***的位置可动。
4.根据权利要求2所述的拾音装置，其中，
所述光学***包含：
镜头，扩展所述摄像机的视角；和
防止构件，反射或吸收沿着所述摄像机的光轴的光。
5.根据权利要求2所述的拾音装置，其中，
所述光学***包含：
锥形镜，能拍摄比装配于所述装配部的电子设备的摄像机的视角更靠外侧的区域。
6.根据权利要求1～5中任一项所述的拾音装置，其中，
所述装配部包含：
固定构件，能为了固定所述电子设备而进行移动。
7.根据权利要求6所述的拾音装置，其中，
所述麦克风阵列安装于所述固定构件。
8.根据权利要求6或7所述的拾音装置，其中，
所述通信部安装于所述固定构件。
9.一种拾音***，具有：
权利要求1～8中任一项所述的拾音装置；和
能装配于所述拾音装置的所述电子设备。
10.根据权利要求9所述的拾音***，其中，
所述电子设备还具有：
控制部，基于所述音响信号和所述图像数据来决定进行拾音的方向。
11.根据权利要求10所述的拾音***，其中，
所述控制部基于从所述摄像机到所述麦克风阵列的相对位置，来将所述麦克风阵列进行拾取的周围的音的位置坐标和所述摄像机拍摄的周围的位置坐标建立对应。
12.根据权利要求10所述的拾音***，其中，
所述电子设备还包含：
传感器，探测所述摄像机的光轴方向，
所述控制部根据所述传感器探测到的所述摄像机的光轴方向来变更所述摄像机的拍摄设定条件。
13.一种拾音方法，将电子设备装配于拾音装置来拾取目的音，
所述电子设备具备：
摄像机，对周围进行拍摄并生成图像数据，
所述拾音装置具备：
拾音部，具有包含多个麦克风的麦克风阵列，生成与由所述麦克风阵列拾取到的周围的音对应的音响信号；
装配部，能装配所述电子设备；和
通信部，将所述音响信号发送到所述电子设备，
所述拾音方法包含如下步骤：
基于从所述摄像机到所述麦克风阵列的相对位置，来将所述麦克风阵列进行拾取的周围的音的位置坐标和所述摄像机拍摄的周围的位置坐标建立对应；和
基于所述音响信号和所述图像数据来决定拾取所述目的音的方向。
14.一种程序，用于使计算机执行权利要求13所述的拾音方法。
15.一种校准方法，使用包含显示部和麦克风阵列的拾音***，所述校准方法包含如下步骤：
在所述显示部显示图像；
输出所述图像内的位置；
使用所述麦克风阵列对音进行拾取；
推定所述音的位置；和
将所述图像内的位置的坐标和所述音的位置的坐标建立对应。
16.根据权利要求15所述的校准方法，其中，
在输出所述图像内的位置的步骤中，在所述显示部的所述图像内的位置显示标志。
CN201880055909.3A 2017-09-08 2018-07-04 拾音装置、拾音***、拾音方法、程序以及校准方法 Pending CN111034221A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017173162 2017-09-08
JP2017-173162 2017-09-08
PCT/JP2018/025300 WO2019049494A1 (ja) 2017-09-08 2018-07-04 収音装置、収音システム、収音方法、プログラム、及びキャリブレーション方法

Publications (1)

Publication Number Publication Date
CN111034221A true CN111034221A (zh) 2020-04-17

Family

ID=65634118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055909.3A Pending CN111034221A (zh) 2017-09-08 2018-07-04 拾音装置、拾音***、拾音方法、程序以及校准方法

Country Status (5)

Country Link
US (1) US11234074B2 (zh)
EP (1) EP3681173A4 (zh)
JP (1) JP7133789B2 (zh)
CN (1) CN111034221A (zh)
WO (1) WO2019049494A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143643A (zh) * 2021-12-09 2022-03-04 武汉汇通阳光科技有限公司 一种基于双麦克风阵列的可调式拾音设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020250828A1 (zh) * 2019-06-11 2020-12-17
TWI780450B (zh) * 2020-06-30 2022-10-11 陳筱涵 拾音系統與拾音裝置
CN112466323A (zh) * 2020-11-24 2021-03-09 中核检修有限公司 一种光学图像与声学图像融合方法及***
JP2022119582A (ja) * 2021-02-04 2022-08-17 株式会社日立エルジーデータストレージ 音声取得装置および音声取得方法
CN113301490A (zh) * 2021-05-26 2021-08-24 四川长虹电器股份有限公司 一种检测pdm硅麦阵列的方法
CN113329316A (zh) * 2021-05-28 2021-08-31 四川长虹电器股份有限公司 阵列麦克风缺位检测电路及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369073A (ja) * 2001-06-04 2002-12-20 Toshiba Corp 移動無線端末
CN1457445A (zh) * 2001-02-19 2003-11-19 日本电产科宝株式会社 便携信息终端及照相机构
CN1460185A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 用于音频/图像的说话者检测和定位的方法和装置
JP2004080359A (ja) * 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd デジタルカメラ及び撮影システム
JP2007228070A (ja) * 2006-02-21 2007-09-06 Yamaha Corp テレビ会議装置
JP2010093671A (ja) * 2008-10-10 2010-04-22 Olympus Imaging Corp カメラ、再生装置、および再生方法
JP2016054455A (ja) * 2014-09-04 2016-04-14 パナソニックＩｐマネジメント株式会社 マイクアレイ調整装置及びマイクアレイ調整方法
CN105812969A (zh) * 2014-12-31 2016-07-27 展讯通信（上海）有限公司 一种拾取声音信号的方法、***及装置
US20160227340A1 (en) * 2015-02-03 2016-08-04 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
CN205450536U (zh) * 2016-04-08 2016-08-10 夏世林 多功能手机后置摄像头自拍器
US20160269622A1 (en) * 2012-01-06 2016-09-15 Blackberry Limited System and Method for Providing Orientation of a Camera
US20160286119A1 (en) * 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5215826B1 (zh) 1971-04-13 1977-05-04
JPH05215826A (ja) 1992-02-05 1993-08-27 Nec Corp 電池残量算出装置
JP2000261705A (ja) 1999-03-05 2000-09-22 Tamura Electric Works Ltd 撮影装置
JP2004254185A (ja) 2003-02-21 2004-09-09 Minolta Co Ltd デジタルカメラ
JP2005148265A (ja) 2003-11-13 2005-06-09 Sony Corp カメラ装置
JP2008158987A (ja) 2006-12-26 2008-07-10 Mitsubishi Fuso Truck & Bus Corp ドライブレコーダ
JP2009141501A (ja) 2007-12-04 2009-06-25 Fujitsu Ltd 携帯撮像装置及びコンピュータプログラム
EP2243290A4 (en) * 2008-01-29 2011-06-22 Enforcement Video Llc OMNIDIRECTIONAL CAMERA FOR USE AT THE POLICE AUTOPE EVENT RECORD
JP2010152183A (ja) 2008-12-25 2010-07-08 Nikon Corp 電子カメラ
JP2012008283A (ja) 2010-06-23 2012-01-12 Mouse Inc 写真撮影装置の補助レンズ具
JP2013207406A (ja) 2012-03-27 2013-10-07 Nikon Corp 電子機器
JP2013240000A (ja) 2012-05-17 2013-11-28 Kyocera Corp 電子機器、録音制御プログラムおよび録音制御方法
JP5970251B2 (ja) 2012-06-14 2016-08-17 日立マクセル株式会社 レンズモジュールおよび撮影方法
JP6051042B2 (ja) 2012-12-27 2016-12-21 元旦ビューティ工業株式会社 太陽電池パネルの敷設構造
JP2014132533A (ja) 2013-01-07 2014-07-17 Mitsubishi Heavy Ind Ltd 有機ｅｌパネルの製造装置および製造方法
EP2958339B1 (en) 2013-02-15 2019-09-18 Panasonic Intellectual Property Management Co., Ltd. Directionality control system and directionality control method
JP2014236347A (ja) 2013-05-31 2014-12-15 パナソニック株式会社 収音システム
JP2015151130A (ja) 2014-02-10 2015-08-24 ヘラマンタイトン株式会社 結束具
JP2016119621A (ja) * 2014-12-22 2016-06-30 パナソニックＩｐマネジメント株式会社 キャリブレーション方法
JP2016146547A (ja) 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 収音システム及び収音方法
US10284956B2 (en) 2015-06-27 2019-05-07 Intel Corporation Technologies for localized audio enhancement of a three-dimensional video
JP6464530B2 (ja) * 2016-02-03 2019-02-06 慶樹 外口 映像通信用装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457445A (zh) * 2001-02-19 2003-11-19 日本电产科宝株式会社 便携信息终端及照相机构
CN1460185A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 用于音频/图像的说话者检测和定位的方法和装置
JP2002369073A (ja) * 2001-06-04 2002-12-20 Toshiba Corp 移動無線端末
JP2004080359A (ja) * 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd デジタルカメラ及び撮影システム
JP2007228070A (ja) * 2006-02-21 2007-09-06 Yamaha Corp テレビ会議装置
JP2010093671A (ja) * 2008-10-10 2010-04-22 Olympus Imaging Corp カメラ、再生装置、および再生方法
US20160286119A1 (en) * 2011-04-18 2016-09-29 360fly, Inc. Mobile Device-Mountable Panoramic Camera System and Method of Displaying Images Captured Therefrom
US20160269622A1 (en) * 2012-01-06 2016-09-15 Blackberry Limited System and Method for Providing Orientation of a Camera
JP2016054455A (ja) * 2014-09-04 2016-04-14 パナソニックＩｐマネジメント株式会社 マイクアレイ調整装置及びマイクアレイ調整方法
CN105812969A (zh) * 2014-12-31 2016-07-27 展讯通信（上海）有限公司 一种拾取声音信号的方法、***及装置
US20160227340A1 (en) * 2015-02-03 2016-08-04 Qualcomm Incorporated Coding higher-order ambisonic audio data with motion stabilization
CN205450536U (zh) * 2016-04-08 2016-08-10 夏世林 多功能手机后置摄像头自拍器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
崔玮玮: "基于双麦克风的2维平面定位算法", 《信号处理》, 14 July 2008 (2008-07-14) *
巢玉强: "手机麦克风", 《设计》, 31 December 2013 (2013-12-31) *
朱云海;俞杰;徐洪明: "一种视频定位的远距离拾音装置", 《电子技术》, 25 January 2012 (2012-01-25) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143643A (zh) * 2021-12-09 2022-03-04 武汉汇通阳光科技有限公司 一种基于双麦克风阵列的可调式拾音设备
CN114143643B (zh) * 2021-12-09 2024-06-07 武汉汇通阳光科技有限公司 一种基于双麦克风阵列的可调式拾音设备

Also Published As

Publication number Publication date
US11234074B2 (en) 2022-01-25
JPWO2019049494A1 (ja) 2020-08-20
US20200137492A1 (en) 2020-04-30
EP3681173A4 (en) 2020-12-02
EP3681173A1 (en) 2020-07-15
JP7133789B2 (ja) 2022-09-09
WO2019049494A1 (ja) 2019-03-14

Similar Documents

Publication Publication Date Title
CN111034221A (zh) 拾音装置、拾音***、拾音方法、程序以及校准方法
JP4990056B2 (ja) 撮像装置とその制御方法
KR102371009B1 (ko) 복수의 이미지 센서가 배치된 기판을 지지하기 위한 보강 부재를 포함하는 카메라 모듈, 및 카메라 모듈을 포함하는 전자 장치
CN113454982A (zh) 用于使图像稳定化的电子装置及其操作方法
JP2008193196A (ja) 撮像装置および指定音声出力方法
CN113141448B (zh) 摄像装置
WO2014141522A1 (ja) 画像判定装置、撮像装置、３次元計測装置、画像判定方法、及びプログラム
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
KR20210098292A (ko) 카메라를 포함하는 전자 장치 및 그 동작 방법
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
WO2021080307A1 (en) Method for controlling camera and electronic device therefor
JP6446599B2 (ja) 合焦制御装置、レンズ装置、撮像装置、合焦制御方法、合焦制御プログラム
EP4022884A1 (en) Electronic device and method for correcting image in camera switching
JP2012151544A (ja) 撮像装置及びプログラム
JP6631166B2 (ja) 撮影装置、プログラム及び撮影方法
JP5712599B2 (ja) 撮像装置及びプログラム
US11445106B2 (en) Imaging apparatus
KR102677382B1 (ko) 전자 기기의 이미지 아티팩트 처리 방법 및 장치
EP3128404A1 (en) Image-processing device, image-processing method, and program
JP2015032853A (ja) 撮像装置
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.
JP2012119872A (ja) 撮像装置
JP2005148262A (ja) 携帯機器および測光制御方法
JP2022140417A (ja) 撮像装置、キャリブレーションシステム、及び撮像装置の制御方法並びにプログラム
JP2015056713A (ja) 撮像装置、及び制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination