CN111213365A - 拍摄控制方法及控制器 - Google Patents

拍摄控制方法及控制器 Download PDF

Info

Publication number
CN111213365A
CN111213365A CN201880067232.5A CN201880067232A CN111213365A CN 111213365 A CN111213365 A CN 111213365A CN 201880067232 A CN201880067232 A CN 201880067232A CN 111213365 A CN111213365 A CN 111213365A
Authority
CN
China
Prior art keywords
target
sound
mobile platform
sensor
pan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880067232.5A
Other languages
English (en)
Inventor
周长兴
曹泽洵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen DJ Innovation Industry Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111213365A publication Critical patent/CN111213365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Abstract

一种拍摄控制方法(200)，该方法包括：(202)使用承载传感器(104)的移动平台(100)的多个声音检测器(105)来检测来自目标的目标声音；(204)根据使用多个声音检测器(105)检测到的目标声音来确定目标的目标位置；以及(206)至少部分地基于目标位置来控制移动平台(100)。

Description

拍摄控制方法及控制器
技术领域
本公开涉及控制方法和设备，更具体地，涉及拍摄控制方法、控制器和包括该控制器的移动平台。
背景技术
配备有照相机的手持式云台或带有照相机的智能手机在捕捉图像期间可以是移动的，并且因此可以拍摄静止物体和运动物体。手持式云台可以使照相机移动或旋转，使得可以将照相机放置在特定角度或位置。
在常规技术中，手持式云台不能根据来自目标的声音来拍摄目标的图像。手持式云台的麦克风相对容易受到诸如风噪声之类的外部环境的影响。
发明内容
根据本公开，提供了一种拍摄控制方法。该拍摄控制方法包括：使用承载传感器的移动平台的多个声音检测器来检测来自目标的目标声音；根据使用多个声音检测器检测到的目标声音来确定目标的目标位置；以及至少部分地基于目标位置来控制移动平台。
根据本公开，还提供了一种控制器。该控制器包括处理器和存储指令的存储器。所述指令在由处理器执行时，使处理器：通过承载传感器的移动平台的多个声音检测器来检测来自目标的目标声音；根据通过多个声音检测器检测到的目标声音来确定目标的目标位置；以及至少部分地基于目标位置来控制移动平台。
根据本公开，还提供了一种移动平台。该移动平台包括：由移动平台的主体承载的传感器；由移动平台的主体承载的多个声音检测器；处理器；以及存储指令的存储器。所述指令在由处理器执行时，使处理器：通过多个声音检测器来检测来自目标的目标声音；根据通过多个声音检测器检测到的目标声音来确定目标的目标位置；以及至少部分地基于目标位置来控制移动平台。
附图说明
图1示出了显示根据本公开的各种所公开的实施例的图像处理的示例性应用场景的示意图。
图2示出了根据本公开的各种所公开的实施例的图1所示的移动平台的示意性电路图。
图3是根据本公开的各种所公开的实施例的示例性拍摄控制方法的流程图。
图4示出了根据本公开的各种所公开的实施例的使用四个声音检测器来检测目标位置的示意图。
图5是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。
图6示出了根据本公开的各种所公开的实施例的传感器的朝向和目标的方向的示例。
图7是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。
图8是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。
图9示出了根据本公开的各种所公开的实施例的示例性控制器的示例性硬件配置的框图。
具体实施方式
将参考附图描述本公开的技术方案。要了解的是，所描述的实施例是本公开的一些而不是全部实施例。由本领域技术人员在所描述的实施例的基础上无需创造性努力而设想的其他实施例应落入本公开的范围之内。
如本文中所使用的，当第一部件被称为“被固定到”第二部件时，是指第一部件可以被直接附接到第二部件或者可以经由另一部件被间接附接到第二部件。当第一部件被称为“连接”到第二部件时，是指第一部件可以被直接连接到第二部件，或者可以经由它们之间的第三部件被间接连接到第二部件。本文使用的术语“垂直”、“水平”、“左”、“右”和类似表达仅意在用于描述。
除非另外定义，否则本文使用的所有技术术语和科学术语具有与本领域普通技术人员通常所理解的含义相同或相似的含义。如本文所述，本公开的说明书中使用的术语旨在描述示例性实施例，而不是限制本公开。本文使用的术语“和/或”包括所列出的一个或多个有关项的任何合适的组合。
此外，在本公开中，所公开的实施例和所公开的实施例的特征可以在不矛盾的情况下组合。
图1示出了显示根据本公开的各种所公开的实施例的图像处理的示例性应用场景的示意图。图2示出了根据本公开的各种所公开的实施例的图1所示的移动平台的示意性电路图。如图1和图2所示，移动平台100包括控制器101、传感器104、多个声音检测器105和主体106。传感器104可以由移动平台100的主体106承载。声音检测器105可以由移动平台100的主体106承载。
移动平台100可以包括例如手持式平台或载具，例如，无人飞行器或基于地面的移动载具。在所示的实施例中，移动平台100可以是手持式平台。主体106可以包括平台主体102和云台103。传感器104由云台103承载。多个声音检测器105由平台主体102和/或云台103承载。云台103将传感器103联接到平台主体102。
控制器101可以包括拍摄控制器和/或云台控制器。控制器101可以包括处理器和存储指令的存储器。所述指令当由处理器执行时，使处理器执行与本公开一致的拍摄控制方法，例如，下文描述的示例方法中的一种。在一些实施例中，控制器可以被布置在平台主体中。在一些其他实施例中，控制器可以被布置在平台主体的外部。
传感器104可以包括例如照相机、包括照相机的智能电话或包括照相机的另一装置。
声音检测器105的数量可以是例如四个或更多个。在一些实施例中，声音检测器中的每两个声音检测器使这两个声音检测器之间的距离大于预设值。多个声音检测器105可以包括例如多个麦克风。
在一些实施例中，多个声音检测器105可以直接被布置在平台主体102处。在一些其他实施例中，多个声音检测器105可以通过云台103被联接到平台主体102。在一些实施例中，移动平台100可以包括具有多个支臂的多旋翼UAV，每个支臂支撑驱动UAV在空中飞行的UAV的旋翼中的一个旋翼。在这些实施例中，多个声音检测器105中的每个声音检测器可以被布置在支臂中的一个支臂处，例如，被布置在支臂中的一个支臂的远端处，该远端远离UAV的中心体。在一些实施例中，多个声音检测器105中的每个声音检测器可以被布置在对应的旋翼下方的支臂中的一个支臂处。
图3是根据本公开的各种所公开的实施例的示例性拍摄控制方法的流程图。下面参考图3来描述拍摄控制方法。
在202处，使用移动平台的多个声音检测器来检测来自目标的目标声音。
目标可以包括例如人脸或可以产生声音的物体。
在一些实施例中，可以通过声音检测器中的一个声音检测器来对感测声音进行检测，并且可以获得感测声音的强度。此外，可以确定强度是否大于强度阈值。响应于确定强度大于强度阈值，可以确定感测声音包括目标声音。
在一些实施例中，如果感测声音的强度不大于强度阈值，则可以对感测声音执行频率相关的强度分析，以获得信噪比。此外，可以确定信噪比是否大于信噪比阈值。如果信噪比大于信噪比阈值，则可以确定感测声音包括目标声音。另一方面，如果信噪比不大于信噪比阈值，则可以确定感测声音包括噪声。
在204处，根据目标声音来确定目标的目标位置。
例如，可以根据声音检测器的检测器位置和声音检测器分别检测到目标声音的检测时间点以及声速来确定目标位置。
在一些实施例中，可以选择四个声音检测器，并且可以根据四个声音检测器的检测器位置和四个声音检测器分别检测到目标声音的检测时间点来确定目标位置。
例如，使用四个声音检测器作为示例，可以根据距离-速度-时间方程式的集合来确定目标位置。例如，如图4所示，位置(x，y，z)处的人脸(作为目标的示例)产生声音。声音以声速v从目标传播，并到达由四个实心点表示的四个检测器。四个检测器，即第一检测器至第四检测器，分别位于(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)和(x4，y4，z4)处，并且，目标与四个检测器之间的距离分别为d1、d2、d3和d4。第一声音检测器检测到目标声音的第一检测时间点由t1表示，第二声音检测器检测到目标声音的第二检测时间点由t2表示，第三声音检测器检测到目标声音的第三检测时间点由t3表示，第四声音检测器检测到目标声音的第四检测时间点由t4表示。因为d1＝v·t1且
Figure BDA0002451805810000051
所以可以获得以下方程式：
Figure BDA0002451805810000052
类似地，对于其他三个声音检测器：
Figure BDA0002451805810000053
Figure BDA0002451805810000054
Figure BDA0002451805810000055
将方程式(1)和方程式(2)组合得到：
Figure BDA0002451805810000056
类似地，将方程式(1)和方程式(3)组合得到：
Figure BDA0002451805810000057
将方程式(1)和方程式(4)组合得到：
Figure BDA0002451805810000058
方程式(5)、方程式(6)和方程式(7)是距离-速度-时间方程式的示例。根据方程式(5)、方程式(6)和方程式(7)，可以确定目标位置(x，y，z)。
在206处，至少部分地基于目标位置来控制移动平台。
在一些实施例中，至少部分地基于目标位置来控制移动平台，以使传感器大致指向目标，和/或进一步相对于目标微调传感器。
在一些实施例中，可以控制移动平台以执行诸如使传感器大致指向目标或进一步相对于目标来微调传感器之类的操作。即，只要移动平台检测到来自目标的目标声音，移动平台就执行该操作。在一些其他实施例中，移动平台可以对目标声音中包括的声音指令做出响应。例如，移动平台可以仅在目标声音包括声音指令时执行操作，而在目标声音不包括声音指令时不执行操作。声音指令可以被预先编程在移动平台中或者可以被用户预先记录。声音指令可以包括例如“你好，这个方向”或“这边”。
在一些实施例中，可以执行过程206，以使传感器大致指向目标并且基于目标相对于移动平台的欧拉角来对传感器进行微调，如图5所示。图5是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。
如图5所示，至少部分地基于目标位置来控制移动平台(206)包括：至少部分地基于目标位置来获得目标相对于移动平台的欧拉角(2062)；以及至少部分地基于目标的欧拉角来旋转移动平台、传感器或云台中的至少一者，以使传感器大致指向目标(2064)。
在一些实施例中，可以使传感器以相对于目标的方向的公差大致指向目标。即，传感器不必精确地指向目标的方向。而是，传感器可以指向如下方向：该方向与目标的方向的角度小于公差。目标的方向是指从传感器指向目标的方向。传感器指向的方向也称为传感器的指向或传感器的朝向，其可以是传感器的中心测量轴的朝向。例如，传感器可以包括照相机，并且传感器的朝向可以是照相机镜头的光轴的朝向。
在一些实施例中，公差可以小于约20度、小于约15度、小于约10度或小于约5度。在一些实施例中，公差可以是约20度、约15度、约10度或约5度。
例如，如图6所示，传感器104位于位置O，目标位于位置T。带箭头的线OT表示从传感器到目标的方向，即目标的方向。可以使传感器例如沿方向OS大致指向目标。作为如根据与本公开一致的方法所控制的移动平台、传感器或云台中的至少一者的旋转的结果，可以将OS和OT之间的角度SOT控制在公差范围之内，例如，约3度、约6度或约9度之内。
在一些实施例中，传感器可以被联接到电机，并且可以控制被联接到传感器的电机以旋转传感器。在一些实施例中，传感器可以由被联接到另一电机的云台承载，并且可以控制被联接到云台的电机以旋转云台。此外，承载传感器的移动平台可以包括推进***，并且可以控制推进***以旋转移动平台，从而旋转传感器。
在一些实施例中，目标的欧拉角可以包括目标相对于移动平台的俯仰角、侧倾角或偏航角中的至少一者，并且可以旋转移动平台、传感器或云台中的至少一者，根据目标的俯仰角、目标的侧倾角或目标的偏航角中的至少一者来旋转移动平台、传感器或云台中的至少一者。
在一些实施例中，云台可以包括俯仰轴、偏航轴或侧倾轴中的至少一者，并且可以通过根据目标的俯仰角、侧倾角或偏航角中的至少一项旋转云台的俯仰轴、偏航轴或侧倾轴中的至少一者，来至少部分地基于目标的欧拉角旋转移动平台、传感器或云台中的至少一者。
在一些实施例中，传感器可包括照相机，并且可以根据目标的欧拉角来旋转移动平台、传感器或云台中的至少一者，以使照相机大致指向目标。与上述实施例类似，在一些实施例中，当移动平台接收到目标声音时，可以执行根据目标的欧拉角对移动平台、传感器或云台中的至少一者的旋转。而在其他一些实施例中，可以响应于目标声音中包括的声音指令，来执行根据目标的欧拉角对移动平台、传感器或云台中的至少一者的旋转。
在一些实施例中，如图5所示，至少部分地基于目标位置来控制移动平台(206)还包括：微调移动平台、传感器或云台中的至少一者，以减小传感器的朝向的欧拉角和目标的欧拉角之间的差。
可以通过传感器来获得关于目标的测量数据，可以根据测量数据和传感器的朝向来获得微调参数，并且可以根据微调参数来微调移动平台、传感器或云台中的至少一者。
在一些实施例中，传感器包括照相机，并且照相机可以被配置为捕捉包含目标的目标图像。目标图像可以包含与目标相关联的信息。可以根据目标图像和照相机的朝向来获得微调参数。微调参数可以包括一个或多个子参数，该子参数描述传感器的朝向的欧拉角和目标的欧拉角之间的差。
在一些实施例中，为了获得微调参数，可以根据目标在目标图像中的位置和照相机的朝向来获得朝向差。可以根据朝向差来获得一个或多个子参数。此外，可以根据微调参数来微调移动平台、传感器或云台中的至少一者。例如，可根据一个或多个子参数来旋转移动平台、照相机或云台中的至少一者，使得减小传感器的朝向的欧拉角和目标的欧拉角之间的差。
在一些实施例中，目标可以包括人脸，并且可以预先配准用于人脸的数据。用于人脸的预先配准的数据可以被用于在由照相机捕捉的图像中搜索人脸。因此，可以相对方便地确定人脸在图像中的相对位置。在一些其他实施例中，用于人脸的预先配准的数据可以不被用于在由照相机捕捉的图像中搜索人脸。可以根据各种应用场景来选择是否使用用于人脸的预先配准的数据。
在一些实施例中，目标可以移动，并且可以重复地微调移动平台、传感器或云台中的至少一者，以减小传感器的朝向的欧拉角和目标的欧拉角之间的差。因此，可以连续地跟踪目标，并且可以根据需要捕捉目标的图像。
图7是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。图7所示的方法类似于图5所示的方法，但是图7所示的方法还包括控制传感器以获得测量数据(208)。
在一些实施例中，可以至少部分地基于目标位置来控制传感器，以获得用于控制移动平台的测量数据。即，可以在控制移动平台的过程中使用测量数据。在一些实施例中，控制移动平台，并且还可以控制传感器以获得测量数据。例如，控制移动平台以使传感器大致指向目标，和/或以进一步相对于目标微调传感器。此外，可以控制传感器以获得测量数据。
在一些实施例中，可以使传感器例如以相对于目标的方向的约10度的公差大致指向目标。再次参考图6，传感器104具有例如约85度的测量范围。即，在传感器的中心测量轴OS的两侧的大致42.5度之内的对象位于测量范围内。在图6中，测量范围覆盖两条虚线107和108之间的区域。当目标位于传感器的测量范围内时，例如图6中所示，传感器可以得到关于目标的测量数据。在传感器包括照相机的实施例中，测量范围可以是照相机的视野，并且当目标位于照相机的视野之内时，照相机可以捕捉目标的图像，即，测量数据可以包括图像。
在一些实施例中，传感器可以包括照相机，并且目标可以包括人脸。响应于目标声音中包括的图像捕捉声音指令(例如，“拍照”或“拍照，OSMO”的声音指令)的响应，可以根据目标的欧拉角来旋转移动平台、传感器或云台中的至少一者，以使照相机大致指向目标，并且对移动平台、传感器或云台中的至少一者进行微调，以减小照相机的朝向的欧拉角和目标的欧拉角之间的差。此外，可以捕捉并保存目标的图像。
在一些实施例中，声音检测器也可以被移动，例如旋转，使得它们可以朝向目标，以提高目标声音的质量。在一些实施例中，移动平台可以在不使用云台的情况下承载和移动声音检测器。在一些其他实施例中，移动平台可以通过云台来承载和移动声音检测器中的一些或全部。
图8是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。如图8所示，至少部分地基于目标位置来控制移动平台(206)包括至少部分地基于目标的欧拉角来旋转以下中的至少一者：移动平台、至少一个声音检测器或云台，以使至少一个声音检测器大致指向目标。
通过使至少一个声音检测器大致指向目标，可以提高由声音检测器检测到的声音的声音质量。
在一些实施例中，如图8所示，至少部分地基于目标位置来控制移动平台(206)还包括微调以下中的至少一者：移动平台、至少一个声音检测器或云台，以减小所述至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差(2065)。
可以通过布置指向与至少一个声音检测器大致相同的方向的传感器来执行用于减小至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差的微调。即，传感器可以是定向传感器，并且传感器的感测方向可以与至少一个声音检测器的检测方向大致相同。该传感器的确定目标方向的准确度可以比至少一个声音检测器更好，因此可以实现微调。传感器可以包括例如上文结合图5描述的传感器或任何其他合适的传感器。因为传感器指向与至少一个声音检测器大致相同的方向，所以可以通过减小传感器的朝向的欧拉角和目标的欧拉角之间的差来减小至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差。因此，可以通过以与减小传感器的朝向的欧拉角和目标的欧拉角之间的差类似的方式微调以下中的至少一项来减小至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差：移动平台、至少一个声音检测器或云台，，此处不再重复其描述。
除了声音检测器的指向(即，朝向)(例如，声音检测器是否指向目标)之外，诸如噪声(例如，风噪声)之类的其他因素也可能影响由声音检测器检测到的目标声音的声音质量。不同因素的影响可能根据应用场景而变化，并且可以根据不同的应用场景来采用不同的方法。例如，在风噪声的影响比声音检测器的朝向的影响相对更大的情况下，相比于使声音检测器指向目标，通过减小风噪声的影响可能会更好地提高声音质量。
在一些实施例中，如图8所示，该方法还包括移动声音检测器中的一个或多个声音检测器，以增强由声音检测器中的一个或多个声音检测器检测到的目标声音的声音质量(210)。
可以通过移动(例如旋转)以下中的至少一者来移动(例如旋转)声音检测器中的一个或多个声音检测器：移动平台、声音检测器中的至少一个声音检测器或云台，以减小由声音检测器中的一个或多个声音检测器检测到的其他影响，例如，噪声(例如，风噪声)，使得由声音检测器中的一个或多个声音检测器检测到的目标声音的声音质量得以提高。
在一些实施例中，声音检测器中的一个或多个声音检测器可以与移动平台一起移动。在一些实施例中，声音检测器中的一个或多个声音检测器可以例如通过由移动平台承载并被连接到声音检测器中的一个或多个声音检测器的云台来相对于移动平台移动。也就是说，声音检测器中的一个或多个声音检测器可以相对于平台主体移动。
在一些实施例中，可以通过目标声音的更高的强度和/或更高的信噪比来指示目标声音的增强的声音质量。
在本公开中，可以确定与具有较高的声音质量的声音相对应的声音检测器。例如，可以确定声音检测器中的如下至少一个声音检测器：所述至少一个声音检测器检测到的目标声音具有比声音检测器中的其他的一个或多个声音检测器检测到的目标声音更高的声音质量。此外，可以选择声音检测器中的该至少一个声音检测器作为用于记录来自目标的附加声音的至少一个通道。
在一些实施例中，传感器可以包括照相机，并且可以将声音检测器中的两个声音检测器确定为如下声音检测器：该声音检测器检测到的目标声音具有比声音检测器中的其他一个或多个声音检测器检测到的目标声音更高的声音质量。可以选择声音检测器中的该两个声音检测器作为用于记录被整合到由照相机拍摄的视频中的附加声音的两个通道。因此，视频可以包括声音质量相对较高的声音。
图9示出了根据本公开的各种所公开的实施例的示例性控制器101的示例性硬件配置的框图。如图9中所示，控制器101包括处理器801和存储器802。存储器802存储指令，所述指令用于由处理器801执行，以执行与本公开一致的方法，例如，如上所述的示例性拍摄控制方法中的一种。
在一些实施例中，处理器801可以包括任何合适的硬件处理器，例如，微处理器、微控制器、中央处理单元(CPU)、图形处理单元(GPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或另一可编程逻辑器件、分立门逻辑器件或晶体管逻辑器件、分立硬件部件。在一些实施例中，存储器802可以包括非暂时性计算机可读存储介质，例如，随机存取存储器(RAM)、只读存储器、闪存、硬盘存储装置或光介质。
在一些实施例中，被存储在存储器中的指令当由处理器执行时，可以使处理器：使用移动平台的多个声音检测器来检测来自目标的目标声音。
目标可以包括例如人脸或可以产生声音的物体。
在一些实施例中，指令还可以使处理器：根据目标声音来确定目标的目标位置。
例如，可以根据声音检测器的检测器位置和声音检测器分别检测到目标声音的检测时间点以及声速来确定目标位置。
在一些实施例中，所述指令还可以使处理器：至少部分地基于目标位置来控制移动平台。
在一些实施例中，至少部分地基于目标位置来控制移动平台，以使传感器大致指向目标，或进一步相对于目标来微调传感器。
在一些实施例中，可以控制移动平台以执行诸如使传感器大致指向目标或进一步相对于目标来微调传感器之类的操作。即，只要移动平台检测到来自目标的目标声音，移动平台就执行该操作。在一些其他实施例中，移动平台可以对目标声音中包括的声音指令做出响应。例如，移动平台可以仅在目标声音包括声音指令时执行操作，而在目标声音不包括声音指令时不执行操作。声音指令可以被预先编程在移动平台中或者可以被用户预先记录。声音指令可以包括例如“你好，这个方向”或“这边”。
在一些实施例中，指令还可以使处理器：控制传感器以获得测量数据。
在一些实施例中，可以至少部分地基于目标位置来控制传感器，以获得用于控制移动平台的测量数据。即，可以在控制移动平台的过程中使用测量数据。在一些实施例中，控制移动平台，并且还可以控制传感器以获得测量数据。例如，控制移动平台以使传感器大致指向目标，和/或以进一步相对于目标来微调传感器。此外，可以控制传感器以获得测量数据。
指令可以使处理器执行与本公开一致的方法，例如，上述示例方法的中的一种。
关于上述装置的功能或装置的部件的功能的细节，可以参考上述方法实施例，在此处不再重复对其的描述。
本领域普通技术人员将了解，上述示例性元素和算法步骤可以以电子硬件来实现、或者以计算机软件和电子硬件的组合来实现。这些功能是以硬件还是以软件来实现取决于技术方案的具体应用和设计约束。本领域普通技术人员可以针对不同的应用场景使用不同的方法来实现所描述的功能，但这些实现不应被视为超出本公开的范围。
出于简化目的，对示例性***、装置和单元的操作的详细描述可以被省略，并且可以参考对示例性方法的描述。
所公开的***、设备和方法可以以这里未描述的其他方式来实现。例如，上文描述的装置仅是说明性的。例如，单元的划分可以仅是逻辑功能划分，并且可以存在划分单元的其他方式。例如，可以组合多个单元或部件，或者可以将多个单元或部件集成到另一个***中，或者可以忽略或不执行一些特征。另外，所示出或讨论的联接或直接联接或通信连接可以包括：可以是电气、机械或其他形式的直接连接或间接连接或通过一个或多个接口、装置或单元的通信连接。
被描述为分离部件的单元可以是或可以不是物理上分离的，并且被示为单元的部件可以是或可以不是物理单元。也就是说，这些单元可以位于一个地方，或者可以分布在多个网络元件上。可以根据实际需要选择部件中的一些或全部，以实现本公开的目的。
此外，本公开的各个实施例中的功能单元可以被集成到一个处理单元中，或者每个单元可以是物理上独立的单元，或两个或更多个单元可以被集成到一个单元中。
与本公开一致的方法可以以可以作为单独的产品出售或使用的非暂态计算机可读存储介质中存储的计算机程序的形式来实现。计算机程序可以包括指令，所述指令使计算设备(例如，处理器、个人计算机、服务器或网络设备)执行与本公开一致的方法(例如，上述示例性方法中的一种)的一部分或全部。存储介质可以是可以存储程序代码的任何介质，例如，USB盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁盘或光盘。
通过考虑本文公开的实施例的说明和实践，本公开的其他实施例对于本领域技术人员而言是显而易见的。说明书和示例旨在被认为仅仅是示例性的并且不旨在限制本公开的范围，本发明的真正的范围和精神由随附的权利要求指示。

Claims (69)

1.一种拍摄控制方法，包括：
使用承载传感器的移动平台的多个声音检测器来检测来自目标的目标声音；
根据使用所述多个声音检测器检测到的目标声音来确定所述目标的目标位置；以及
至少部分地基于所述目标位置来控制所述移动平台。
2.根据权利要求1所述的方法，其中，确定所述目标位置包括：
根据所述声音检测器的检测器位置和所述声音检测器分别检测到所述目标声音的检测时间点来确定所述目标位置。
3.根据权利要求2所述的方法，其中：
使用所述多个声音检测器来检测所述目标声音包括：使用四个声音检测器来检测所述目标声音，并且
根据所述检测器位置和所述检测时间点来确定所述目标位置包括：根据所述四个声音检测器的四个检测器位置和所述四个声音检测器分别检测到所述目标声音的四个检测时间点来确定所述目标位置。
4.根据权利要求1所述的方法，其中，使用所述多个声音检测器来检测所述目标声音包括：
使用多个麦克风来检测所述目标声音。
5.根据权利要求1所述的方法，其中，所述声音检测器中的每两个声音检测器使得在所述声音检测器中的该两个声音检测器之间的距离大于预设值。
6.根据权利要求1所述的方法，其中，检测所述目标声音包括：
获得通过所述声音检测器中的一个声音检测器检测到的感测声音的强度；
确定所述感测声音的强度是否大于强度阈值；以及
响应于确定所述感测声音的强度大于所述强度阈值，确定所述感测声音包括所述目标声音。
7.根据权利要求6所述的方法，其中，检测所述目标声音还包括：响应于确定所述感测声音的强度不大于所述强度阈值：
对所述感测声音执行频率相关的强度分析，以获得信噪比；
确定所述信噪比是否大于信噪比阈值；
响应于确定所述信噪比大于所述信噪比阈值，确定所述感测声音包括所述目标声音；以及
响应于确定所述信噪比不大于所述信噪比阈值，确定所述感测声音包括噪声。
8.根据权利要求2所述的方法，其中，确定所述目标位置包括：
根据所述检测器位置、所述检测时间点和声速来确定所述目标位置。
9.根据权利要求8所述的方法，其中，根据所述检测器位置、所述检测时间点和所述声速来确定所述目标位置包括：
根据距离-速度-时间方程式的集合来确定所述目标位置，每个距离-速度-时间方程式描述以下各项之间的关系：
以所述声音检测器中的第一声音检测器的检测器位置和所述目标位置来表达的所述声音检测器中的所述第一声音检测器和所述目标之间的第一距离，
以所述声音检测器中的第二声音检测器的检测器位置和所述目标位置来表达的所述声音检测器中的所述第二声音检测器和所述目标之间的第二距离，以及
所述声音检测器中的所述第一声音检测器的检测时间点和所述声音检测器中的所述第二声音检测器的检测时间点之间的时间差。
10.根据权利要求1所述的方法，还包括：
至少部分地基于所述目标位置来获得所述目标相对于所述移动平台的欧拉角。
11.根据权利要求10所述的方法，其中：
所述移动平台包括承载所述传感器的云台；并且
控制所述移动平台包括：至少部分地基于所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的至少一者，以使所述传感器大致指向所述目标。
12.根据权利要求11所述的方法，其中，控制所述移动平台还包括：
微调所述移动平台、所述传感器或所述云台中的所述至少一者，以减小所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差。
13.根据权利要求12所述的方法，其中，微调所述移动平台、所述传感器或所述云台中的所述至少一者包括：
通过所述传感器来获得关于所述目标的测量数据；
根据所述测量数据和所述传感器的朝向来获得微调参数；以及
根据所述微调参数来微调所述移动平台、所述传感器或所述云台中的所述至少一者。
14.根据权利要求12所述的方法，其中：
所述传感器包括照相机，并且
微调所述移动平台、所述传感器或所述云台中的所述至少一者包括：
通过所述照相机来捕捉所述目标的目标图像；
根据所述目标图像和所述照相机的朝向来获得微调参数；以及
根据所述微调参数来微调所述移动平台、所述传感器或所述云台中的所述至少一者。
15.根据权利要求14所述的方法，其中：
所述微调参数包括描述所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差的一个或多个子参数。
16.根据权利要求15所述的方法，其中，根据所述目标图像和所述照相机的朝向来获得所述微调参数包括：
根据所述目标在所述目标图像中的位置和所述照相机的朝向来获得朝向差；以及
根据所述朝向差来获得所述一个或多个子参数。
17.根据权利要求16所述的方法，其中，根据所述微调参数来微调所述移动平台、所述传感器或所述云台中的所述至少一者包括：
根据描述所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差的所述一个或多个子参数来旋转所述移动平台、所述照相机或所述云台中的所述至少一者，使得减小所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差。
18.根据权利要求11所述的方法，其中，旋转所述移动平台、所述传感器或所述云台中的所述至少一者包括执行以下中的至少一项：
控制所述移动平台的推进***，以旋转所述移动平台，
控制被联接到所述传感器的电机，以旋转所述传感器，或者
控制被联接到所述云台的电机，以旋转所述云台。
19.根据权利要求11所述的方法，其中：
所述目标的欧拉角包括所述目标相对于所述移动平台的俯仰角、侧倾角或偏航角中的至少一者，并且
至少部分地基于所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的至少一者包括执行以下中的至少一项：
根据所述目标的所述俯仰角来旋转所述移动平台、所述传感器或所述云台中的至少一者，
根据所述目标的所述侧倾旋转角来旋转所述移动平台、所述传感器或所述云台中的至少一者，或者
根据所述目标的所述偏航角来旋转所述移动平台、所述传感器或所述云台中的至少一者。
20.根据权利要求11所述的方法，其中：
所述目标的欧拉角包括所述目标相对于所述移动平台的俯仰角、侧倾角或偏航角中的至少一者；
所述云台包括俯仰轴、偏航轴或侧倾轴中的至少一者；并且
至少部分地基于所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者包括：根据所述目标相对于所述移动平台的俯仰角、侧倾角或偏航角中的所述至少一者来旋转所述云台的俯仰轴、偏航轴或侧倾轴中的所述至少一者。
21.根据权利要求11所述的方法，其中：
所述传感器包括照相机，并且
旋转所述移动平台、所述传感器或所述云台中的所述至少一者包括：
根据所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者，以使所述照相机大致指向所述目标。
22.根据权利要求11所述的方法，其中：
所述传感器包括照相机；并且
旋转所述移动平台、所述传感器或所述云台中的所述至少一者包括：
响应于所述目标声音中包括的声音指令，根据所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者，以使所述照相机大致指向所述目标。
23.根据权利要求22所述的方法，还包括：
控制所述照相机来拍摄图像。
24.根据权利要求10所述的方法，其中：
所述移动平台包括承载所述声音检测器中的至少一个声音检测器的云台；并且
至少部分地基于所述目标位置来控制所述移动平台包括至少部分地基于所述目标的欧拉角来旋转以下中的至少一者：所述移动平台、所述声音检测器中的至少一个声音检测器或所述云台，以使所述声音检测器中的所述至少一个声音检测器大致指向所述目标。
25.根据权利要求24所述的方法，其中，至少部分地基于所述目标位置来控制所述移动平台还包括：
微调以下中的至少一者：所述移动平台、所述声音检测器中的至少一个声音检测器或所述云台，以减小所述至少一个声音检测器的朝向的欧拉角和所述目标的欧拉角之间的差。
26.根据权利要求10所述的方法，还包括：
确定所述声音检测器中的如下至少一个声音检测器：所述至少一个声音检测器检测到的目标声音具有比所述声音检测器中的其他一个或多个声音检测器检测到的目标声音更高的强度；以及
选择所述声音检测器中的所述至少一个声音检测器作为用于记录来自所述目标的附加声音的至少一个通道。
27.根据权利要求10所述的方法，还包括：
确定所述声音检测器中的如下至少一个声音检测器：所述至少一个声音检测器检测到的感测声音具有比所述声音检测器中的其他一个或多个声音检测器检测到的感测声音更高的信噪比；以及
选择所述声音检测器中的所述至少一个声音检测器作为用于记录来自所述目标的附加声音的至少一个通道。
28.根据权利要求26或27所述的方法，其中
所述声音检测器中的所述至少一个声音检测器包括所述声音检测器中的两个声音检测器；
所述传感器包括照相机；并且
选择所述声音检测器中的所述至少一个声音检测器包括：选择所述声音检测器中的所述两个声音检测器作为用于记录被整合到由所述照相机拍摄的视频中的附加声音的两个通道。
29.根据权利要求26或27所述的方法，其中
所述移动平台包括承载所述声音检测器中的至少一个声音检测器的云台；并且
至少部分地基于所述目标位置来控制所述移动平台包括至少部分地基于所述目标的欧拉角来旋转以下中的至少一者：所述移动平台、所述声音检测器中的所述至少一个声音检测器或所述云台，以使所述声音检测器中的所述至少一个声音检测器大致指向所述目标。
30.根据权利要求1所述的方法，还包括：
相对于所述移动平台移动或旋转所述声音检测器中的一个或多个声音检测器，以增大通过所述声音检测器中的所述一个或多个声音检测器检测到的所述目标声音的强度。
31.根据权利要求30所述的方法，其中，相对于所述移动平台移动或旋转所述声音检测器中的所述一个或多个声音检测器减小由所述声音检测器中的所述一个或多个声音检测器检测到的风噪声，使得增大由所述声音检测器中的所述一个或多个声音检测器检测到的所述目标声音的强度。
32.根据权利要求1所述的方法，还包括：
相对于所述移动平台移动或旋转所述声音检测器中的一个或多个声音检测器，以增大由所述声音检测器中的所述一个或多个声音检测器检测到的感测声音的信噪比。
33.根据权利要求32所述的方法，其中，相对于所述移动平台移动或旋转所述声音检测器中的所述一个或多个声音检测器减小由所述声音检测器中的所述一个或多个声音检测器检测到的风噪声，使得增大由所述声音检测器中的所述一个或多个声音检测器检测到的感测声音的信噪比。
34.根据权利要求1所述的方法，其中，所述移动平台包括以下中的一项：包括云台的手持式平台、或包括云台的基于地面的移动交通工具。
35.一种控制器，包括：
处理器；以及
存储指令的存储器，所述指令在由所述处理器执行时，使所述处理器：
通过承载传感器的移动平台的多个声音检测器来检测来自目标的目标声音；
根据通过所述多个声音检测器检测到的所述目标声音来确定所述目标的目标位置；以及
至少部分地基于所述目标位置来控制所述移动平台。
36.根据权利要求35所述的控制器，其中，所述指令还使所述处理器：
根据所述声音检测器的检测器位置和所述声音检测器分别检测到所述目标声音的检测时间点来确定所述目标位置。
37.根据权利要求36所述的控制器，其中
所述多个声音检测器包括四个声音检测器，并且
所述指令还使所述处理器：
根据所述四个声音检测器的四个检测器位置和所述四个声音检测器分别检测到所述目标声音的四个检测时间点来确定所述目标位置。
38.根据权利要求35所述的控制器，其中，所述多个声音检测器包括多个麦克风。
39.根据权利要求35所述的控制器，其中，所述声音检测器中的每两个声音检测器使得在所述声音检测器中的该两个声音检测器之间的距离大于预设值。
40.根据权利要求35所述的控制器，其中，所述指令还使所述处理器：
获得通过所述声音检测器中的一个声音检测器检测到的感测声音的强度；
确定所述感测声音的强度是否大于强度阈值；以及
响应于确定所述感测声音的强度大于所述强度阈值，确定所述感测声音包括所述目标声音。
41.根据权利要求40所述的控制器，其中，所述指令还使所述处理器：响应于确定所述感测声音的强度不大于所述强度阈值：
对所述感测声音执行频率相关的强度分析，以获得信噪比；
确定所述信噪比是否大于信噪比阈值；
响应于确定所述信噪比大于所述信噪比阈值，确定所述感测声音包括所述目标声音；以及
响应于确定所述信噪比不大于所述信噪比阈值，确定所述感测声音包括噪声。
42.根据权利要求36所述的控制器，其中，所述指令还使所述处理器：
根据所述检测器位置、所述检测时间点和声速来确定所述目标位置。
43.根据权利要求42所述的控制器，其中，所述指令还使所述处理器：
根据距离-速度-时间方程式的集合来确定所述目标位置，每个距离-速度-时间方程式描述以下各项之间的关系：
以所述声音检测器中的第一声音检测器的检测器位置和所述目标位置来表达的所述声音检测器中的所述第一声音检测器和所述目标之间的第一距离，
以所述声音检测器中的第二声音检测器的检测器位置和所述目标位置来表达的所述声音检测器中的所述第二声音检测器和所述目标之间的第二距离，以及
所述声音检测器中的所述第一声音检测器的检测时间点和所述声音检测器中的所述第二声音检测器的检测时间点之间的时间差。
44.根据权利要求35所述的控制器，所述指令还使所述处理器：
至少部分地基于所述目标位置来获得所述目标相对于所述移动平台的欧拉角。
45.根据权利要求44所述的控制器，其中
所述移动平台包括承载所述传感器的云台；并且
所述指令还使所述处理器：
至少部分地基于所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的至少一者，以使所述传感器大致指向所述目标。
46.根据权利要求45所述的控制器，其中，所述指令还使所述处理器：
微调所述移动平台、所述传感器或所述云台中的所述至少一者，以减小所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差。
47.根据权利要求46所述的控制器，其中，所述指令还使所述处理器：
通过所述传感器来获得关于所述目标的测量数据；
根据所述测量数据和所述传感器的朝向来获得微调参数；以及
根据所述微调参数来微调所述移动平台、所述传感器或所述云台中的所述至少一者。
48.根据权利要求46所述的控制器，其中：
所述传感器包括照相机；并且
所述指令还使所述处理器：
通过所述照相机来捕捉所述目标的目标图像；
根据所述目标图像和所述照相机的朝向来获得微调参数；以及
根据所述微调参数来微调所述移动平台、所述传感器或所述云台中的所述至少一者。
49.根据权利要求48所述的控制器，其中
所述微调参数包括描述所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差的一个或多个子参数。
50.根据权利要求49所述的控制器，其中，所述指令还使所述处理器：
获得所述目标在所述目标图像中的位置和所述照相机的朝向之间的朝向差；以及
根据所述朝向差来获得所述一个或多个子参数。
51.根据权利要求50所述的控制器，其中，所述指令还使所述处理器：
根据描述所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差的所述一个或多个子参数来旋转所述移动平台、所述照相机或所述云台中的所述至少一者，使得减小所述传感器的朝向的欧拉角和所述目标的欧拉角之间的差。
52.根据权利要求45所述的控制器，其中，所述指令还使所述处理器执行以下中的至少一项：
控制所述移动平台的推进***，以旋转所述移动平台，
控制被联接到所述传感器的电机，以旋转所述传感器，或者
控制被联接到所述云台的电机，以旋转所述云台。
53.根据权利要求45所述的控制器，其中：
所述目标的欧拉角包括所述目标相对于所述移动平台的俯仰角、侧倾角或偏航角中的至少一者，并且
所述指令还使所述处理器执行以下中的至少一项：
根据所述目标的所述俯仰角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者，
根据所述目标的所述侧倾旋转角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者，或者
根据所述目标的所述偏航角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者。
54.根据权利要求45所述的控制器，其中：
所述目标的欧拉角包括所述目标相对于所述移动平台的俯仰角、侧倾角或偏航角中的至少一者；
所述云台包括俯仰轴、偏航轴或侧倾轴中的至少一者；并且
所述指令还使所述处理器：
根据所述目标相对于所述移动平台的俯仰角、侧倾角或偏航角中的所述至少一者来旋转所述云台的俯仰轴、偏航轴或侧倾轴中的所述至少一者。
55.根据权利要求45所述的控制器，其中
所述传感器包括照相机，并且
所述指令还使所述处理器：
根据所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者，以使所述照相机大致指向所述目标。
56.根据权利要求45所述的控制器，其中
所述传感器包括照相机；并且
所述指令还使所述处理器：
响应于所述目标声音中包括的声音指令，根据所述目标的欧拉角来旋转所述移动平台、所述传感器或所述云台中的所述至少一者，以使所述照相机大致指向所述目标。
57.根据权利要求56所述的控制器，其中，所述指令还使所述处理器：
控制所述照相机来捕捉图像。
58.根据权利要求44所述的控制器，其中
所述移动平台包括承载所述声音检测器中的至少一个声音检测器的云台；并且
所述指令还使所述处理器：
至少部分地基于所述目标的欧拉角来旋转以下中的至少一者：所述移动平台、所述声音检测器中的至少一个声音检测器或所述云台，以使所述声音检测器中的所述至少一个声音检测器大致指向所述目标。
59.根据权利要求58所述的控制器，其中，所述指令还使所述处理器：
微调以下中的至少一者：所述移动平台、所述声音检测器中的至少一个声音检测器或所述云台，以减小所述至少一个声音检测器的朝向的欧拉角和所述目标的欧拉角之间的差。
60.根据权利要求44所述的控制器，其中，所述指令还使所述处理器：
确定所述声音检测器中的如下至少一个声音检测器：所述至少一个声音检测器检测到的目标声音具有比所述声音检测器中的其他一个或多个声音检测器检测到的目标声音更高的强度；以及
选择所述声音检测器中的所述至少一个声音检测器作为用于记录来自所述目标的附加声音的至少一个通道。
61.根据权利要求44所述的控制器，其中，所述指令还使所述处理器：
确定所述声音检测器中的如下至少一个声音检测器：所述至少一个声音检测器检测到的感测声音具有比所述声音检测器中的其他一个或多个声音检测器检测到的感测声音更高的信噪比；以及
选择所述声音检测器中的所述至少一个声音检测器作为用于记录来自所述目标的附加声音的至少一个通道。
62.根据权利要求60或61所述的控制器，其中：
所述声音检测器中的所述至少一个声音检测器包括所述声音检测器中的两个声音检测器；
所述传感器包括照相机；并且
所述指令还使所述处理器：
选择所述声音检测器中的所述两个声音检测器作为用于记录被整合到由所述照相机拍摄的视频中的附加声音的两个通道。
63.根据权利要求60或61所述的控制器，其中：
所述移动平台包括承载所述声音检测器中的至少一个声音检测器的云台；并且
所述指令还使所述处理器：
至少部分地基于所述目标的欧拉角来旋转以下中的至少一者：所述移动平台、所述声音检测器中的至少一个声音检测器或所述云台，以使所述声音检测器中的所述至少一个声音检测器大致指向所述目标。
64.根据权利要求35所述的控制器，其中，所述指令还使所述处理器：
相对于所述移动平台移动或旋转所述声音检测器中的一个或多个声音检测器，以增大通过所述声音检测器中的所述一个或多个声音检测器检测到的所述目标声音的强度。
65.根据权利要求64所述的控制器，其中，所述指令还使所述处理器：
相对于所述移动平台移动或旋转所述声音检测器中的所述一个或多个声音检测器，以减小通过所述声音检测器中的所述一个或多个声音检测器检测到的风噪声，使得增大由所述声音检测器中的所述一个或多个声音检测器检测到的所述目标声音的强度。
66.根据权利要求35所述的控制器，其中，所述指令还使所述处理器：
相对于所述移动平台移动或旋转所述声音检测器中的一个或多个声音检测器，以增大由所述声音检测器中的所述一个或多个声音检测器检测到的感测声音的信噪比。
67.根据权利要求66所述的控制器，其中，所述指令还使所述处理器：
相对于所述移动平台移动或旋转所述声音检测器中的所述一个或多个声音检测器，以减小由所述声音检测器中的所述一个或多个声音检测器检测到的风噪声，使得增大由所述声音检测器中的所述一个或多个声音检测器检测到的感测声音的信噪比。
68.根据权利要求35所述的控制器，其中，所述移动平台包括以下中的一项：包括云台的手持式平台、或包括云台的基于地面的移动交通工具。
69.一种移动平台，包括：
由所述移动平台的主体承载的传感器；
由所述移动平台的所述主体承载的多个声音检测器；
处理器；以及
存储指令的存储器，所述指令在由所述处理器执行时，使所述处理器：
通过所述多个声音检测器来检测来自目标的目标声音；
根据通过所述多个声音检测器检测到的所述目标声音来确定所述目标的目标位置；以及
至少部分地基于所述目标位置来控制所述移动平台。
CN201880067232.5A 2018-08-17 2018-08-17 拍摄控制方法及控制器 Pending CN111213365A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/101129 WO2020034207A1 (en) 2018-08-17 2018-08-17 Photographing control method and controller

Publications (1)

Publication Number Publication Date
CN111213365A true CN111213365A (zh) 2020-05-29

Family

ID=69524989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880067232.5A Pending CN111213365A (zh) 2018-08-17 2018-08-17 拍摄控制方法及控制器

Country Status (4)

Country Link
US (1) US11388343B2 (zh)
EP (1) EP3711284A4 (zh)
CN (1) CN111213365A (zh)
WO (1) WO2020034207A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11927688B2 (en) 2019-05-18 2024-03-12 Battelle Memorial Institute Firearm discharge location systems and methods
US20210080570A1 (en) * 2019-09-03 2021-03-18 Battelle Memorial Institute Firearm Discharge Location Systems and Associated Methods
GB2590715A (en) * 2019-12-30 2021-07-07 Nokia Technologies Oy Display device
TWI795987B (zh) * 2021-11-08 2023-03-11 致伸科技股份有限公司 雲台裝置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US20050110874A1 (en) * 2003-11-25 2005-05-26 Lg Electronics Inc. Recording audio and video in a mobile communication terminal
JP2008158868A (ja) * 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法
CN102186051A (zh) * 2011-03-10 2011-09-14 弭强 基于声音定位的视频监控***
CN104469154A (zh) * 2014-12-05 2015-03-25 合肥国科声拓信息技术有限公司 一种基于麦克风阵列的摄像头引导装置及引导方法
WO2016190994A1 (en) * 2015-05-27 2016-12-01 Gopro, Inc. Camera system using stabilizing gimbal
US20170220036A1 (en) * 2016-01-28 2017-08-03 Qualcomm Incorporated Drone flight control
JP2017220900A (ja) * 2016-06-10 2017-12-14 キヤノン株式会社 制御装置、通信装置、制御方法及びプログラム
CN108476288A (zh) * 2017-05-24 2018-08-31 深圳市大疆创新科技有限公司 拍摄控制方法及装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7495998B1 (en) * 2005-04-29 2009-02-24 Trustees Of Boston University Biomimetic acoustic detection and localization system
US8041054B2 (en) * 2008-10-31 2011-10-18 Continental Automotive Systems, Inc. Systems and methods for selectively switching between multiple microphones
CN101511000B (zh) * 2009-02-27 2011-02-16 中山大学 一种利用声波定位的智能监控摄像头装置
TWI429938B (zh) * 2011-09-16 2014-03-11 Vatics Inc 聲源監視系統及其方法
US9218728B2 (en) * 2012-02-02 2015-12-22 Raytheon Company Methods and apparatus for acoustic event detection
CN103941223B (zh) * 2013-01-23 2017-11-28 Abb技术有限公司 声源定位***及其方法
US20160322066A1 (en) * 2013-02-12 2016-11-03 Google Inc. Audio Data Classification
US9892729B2 (en) * 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
CN104422922A (zh) * 2013-08-19 2015-03-18 中兴通讯股份有限公司 一种移动终端实现声源定位的方法及装置
KR101483669B1 (ko) * 2013-11-20 2015-01-16 주식회사 사운들리 저전력 음파 수신 방법 및 이를 이용한 모바일 기기
US20170097645A1 (en) 2013-12-05 2017-04-06 Jeffrey Clyne Garland Subject tracking system for autonomous vehicles
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
CN103929707B (zh) * 2014-04-08 2019-03-01 努比亚技术有限公司 一种检测麦克风音频通道状况的方法和移动终端
CN105899965B (zh) * 2014-08-29 2018-10-02 深圳市大疆创新科技有限公司 用于采集音频数据的无人飞行器
US20160084937A1 (en) * 2014-09-22 2016-03-24 Invensense Inc. Systems and methods for determining position information using acoustic sensing
WO2016098315A1 (ja) * 2014-12-15 2016-06-23 パナソニックＩｐマネジメント株式会社 マイクアレイ、監視システム及び収音設定方法
US10351148B2 (en) * 2015-08-05 2019-07-16 Ford Global Technologies, Llc System and method for sound direction detection in a vehicle
US9659570B2 (en) * 2015-10-08 2017-05-23 International Business Machines Corporation Audiovisual information processing in videoconferencing
US10134422B2 (en) * 2015-12-01 2018-11-20 Qualcomm Incorporated Determining audio event based on location information
US9693168B1 (en) * 2016-02-08 2017-06-27 Sony Corporation Ultrasonic speaker assembly for audio spatial effect
CN205619955U (zh) * 2016-02-24 2016-10-05 叶志刚 一种用于侦测蚊子的装置
US9826330B2 (en) * 2016-03-14 2017-11-21 Sony Corporation Gimbal-mounted linear ultrasonic speaker assembly
US9693169B1 (en) * 2016-03-16 2017-06-27 Sony Corporation Ultrasonic speaker assembly with ultrasonic room mapping
KR101827276B1 (ko) * 2016-05-13 2018-03-22 엘지전자 주식회사 전자 장치 및 그 제어 방법
US10636150B2 (en) * 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system
US10375498B2 (en) * 2016-11-16 2019-08-06 Dts, Inc. Graphical user interface for calibrating a surround sound system
CN113727023A (zh) * 2017-01-24 2021-11-30 深圳市大疆灵眸科技有限公司 云台的控制方法和***以及计算机可读存储介质
CN106679651B (zh) * 2017-02-08 2019-10-25 北京地平线信息技术有限公司 声源定位方法、装置和电子设备
CN106842128B (zh) * 2017-02-11 2019-04-23 陈昭男 运动目标的声学跟踪方法及装置
JP6788272B2 (ja) * 2017-02-21 2020-11-25 オンフューチャー株式会社 音源の検出方法及びその検出装置
CN110431434A (zh) * 2017-03-01 2019-11-08 索尔塔雷有限公司 用于检测目标声音的***和方法
CN106899806A (zh) * 2017-03-31 2017-06-27 山东超越数控电子有限公司 一种基于云基础架构平台的二维声源跟踪***及其工作方法与应用
WO2018189031A1 (en) * 2017-04-14 2018-10-18 Philips Lighting Holding B.V. A positioning system for determining a location of an object
JP6847237B2 (ja) * 2017-08-29 2021-03-24 ＡｌｐｈａＴｈｅｔａ株式会社 楽曲解析装置および楽曲解析プログラム
US11068233B2 (en) * 2017-10-13 2021-07-20 Sonova Ag Selecting a microphone based on estimated proximity to sound source
US10354655B1 (en) * 2018-01-10 2019-07-16 Abl Ip Holding Llc Occupancy counting by sound
US10638222B1 (en) * 2018-06-22 2020-04-28 Facebook Technologies, Llc Optimization of microphone array geometry for direction of arrival estimation
US11070912B2 (en) * 2018-06-22 2021-07-20 Facebook Technologies, Llc Audio system for dynamic determination of personalized acoustic transfer functions

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5778082A (en) * 1996-06-14 1998-07-07 Picturetel Corporation Method and apparatus for localization of an acoustic source
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US20050110874A1 (en) * 2003-11-25 2005-05-26 Lg Electronics Inc. Recording audio and video in a mobile communication terminal
JP2008158868A (ja) * 2006-12-25 2008-07-10 Toyota Motor Corp 移動体、及びその制御方法
CN102186051A (zh) * 2011-03-10 2011-09-14 弭强 基于声音定位的视频监控***
CN104469154A (zh) * 2014-12-05 2015-03-25 合肥国科声拓信息技术有限公司 一种基于麦克风阵列的摄像头引导装置及引导方法
WO2016190994A1 (en) * 2015-05-27 2016-12-01 Gopro, Inc. Camera system using stabilizing gimbal
US20170220036A1 (en) * 2016-01-28 2017-08-03 Qualcomm Incorporated Drone flight control
JP2017220900A (ja) * 2016-06-10 2017-12-14 キヤノン株式会社 制御装置、通信装置、制御方法及びプログラム
CN108476288A (zh) * 2017-05-24 2018-08-31 深圳市大疆创新科技有限公司 拍摄控制方法及装置

Also Published As

Publication number Publication date
US11388343B2 (en) 2022-07-12
EP3711284A1 (en) 2020-09-23
WO2020034207A1 (en) 2020-02-20
EP3711284A4 (en) 2020-12-16
US20210021763A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US11189037B2 (en) Repositioning method and apparatus in camera pose tracking process, device, and storage medium
US11388343B2 (en) Photographing control method and controller with target localization based on sound detectors
US20200264011A1 (en) Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle
JP5613041B2 (ja) カメラ装置、画像処理システムおよび画像処理方法
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
KR102155895B1 (ko) 객체를 추적하여 영상을 수신하는 방법 및 장치
WO2016019768A1 (zh) 用于视频监控的声源定向控制装置及方法
CN108780324B (zh) 无人机、无人机控制方法和装置
US10353403B2 (en) Autonomous flying device, control method of autonomous flying device, and non-transitory recording medium
CN110785993A (zh) 拍摄设备的控制方法、装置、设备及存储介质
US10649460B2 (en) Interactive robots positionable for optimal interactions
US20210152750A1 (en) Information processing apparatus and method for controlling the same
US20210097696A1 (en) Motion estimation methods and mobile devices
US20190258255A1 (en) Control device, imaging system, movable object, control method, and program
CN110337668B (zh) 图像增稳方法和装置
WO2022213833A1 (zh) 用于图像同步的方法、装置、电子设备和计算机存储介质
US9251559B2 (en) Image generation device, camera device, image display device, and image generation method
WO2022141271A1 (zh) 云台***的控制方法、控制设备、云台***和存储介质
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
CN111684784B (zh) 图像处理方法和装置
CN112313942A (zh) 一种进行图像处理和框架体控制的控制装置
JP6260803B2 (ja) 撮像システム、移動体、撮像方法、及びプログラム
JP6631193B2 (ja) 動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法
US20230266775A1 (en) Gimbal and gimbal control method
US11949984B2 (en) Electronic device that performs a driving operation of a second camera based on a determination that a tracked object is leaving the field of view of a moveable first camera having a lesser angle of view than the second camera, method for controlling the same, and recording medium of recording program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200529

WD01 Invention patent application deemed withdrawn after publication