CN110383815B - 控制装置、摄像装置、飞行体、控制方法以及存储介质 - Google Patents

控制装置、摄像装置、飞行体、控制方法以及存储介质 Download PDF

Info

Publication number
CN110383815B
CN110383815B CN201880014668.8A CN201880014668A CN110383815B CN 110383815 B CN110383815 B CN 110383815B CN 201880014668 A CN201880014668 A CN 201880014668A CN 110383815 B CN110383815 B CN 110383815B
Authority
CN
China
Prior art keywords
height
execution frequency
imaging device
weight
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880014668.8A
Other languages
English (en)
Other versions
CN110383815A (zh
Inventor
吉田崇彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110383815A publication Critical patent/CN110383815A/zh
Application granted granted Critical
Publication of CN110383815B publication Critical patent/CN110383815B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • F16M11/123—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

由于摄像装置的高度变化，会有不能适当进行摄像装置的白平衡的调整的情况。控制装置可以具备控制部，其基于摄像装置距参考位置的高度，来控制对用于调整由摄像装置拍摄的图像的白平衡的参数进行确定的处理的执行频率。控制部也可以基于摄像装置距参考位置的高度以及摄像装置的速度，来控制对用于调整白平衡的参数进行确定的处理的执行频率。

Description

控制装置、摄像装置、飞行体、控制方法以及存储介质
技术领域
本发明涉及一种控制装置、摄像装置、飞行体、控制方法以及程序。
背景技术
专利文献1记载了使用判断为刚好摄像装置正在移动的移动期间之前的自动白平衡功能的控制值，来控制刚好移动期间之后的自动白平衡功能。
专利文献1：日本特开2015-177420号公报。
发明内容
由于摄像装置的高度变化，会有不能适当地进行摄像装置的白平衡的调整的情况。
本发明的一个方面所涉及的控制装置，可以具备控制部，其基于摄像装置距参考位置的高度，来控制对用于调整由摄像装置拍摄的图像的白平衡的参数进行确定的处理的执行频率。
控制部可以基于摄像装置的速度来控制执行频率。
控制部可以在摄像装置距参考位置的高度为第一高度时，将执行频率控制为第一执行频率。控制部可以在摄像装置距参考位置的高度为高于第一高度的第二高度时，将执行频率控制为多于第一执行频率的第二执行频率。
控制部可以基于摄像装置距参考位置的高度来确定第一权重。控制部可以基于摄像装置的速度来确定第二权重。控制部可以基于第一权重以及第二权重来控制执行频率。
控制部可以在摄像装置距参考位置的高度为第一高度时，将第一权重确定为第一值。控制部可以在摄像装置距参考位置的高度为高于第一高度的第二高度时，将第一权重确定为大于第一值的第二值。控制部可以在摄像装置的速度为第一速度时，将第二权重确定为第三值。控制部可以在摄像装置的速度为快于第一速度的第二速度时，将第二权重确定为小于第三值的第四值。
本发明的一个方面所涉及的摄像装置可以具备上述控制装置。摄像装置可以具备拍摄图像的图像传感器。
本发明的一个方面所涉及的飞行体可以是搭载上述摄像装置并飞行的飞行体。
本发明的一个方面所涉及的控制方法，可以具备基于摄像装置距参考位置的高度，来控制对用于调整由摄像装置拍摄的图像的白平衡的参数进行确定的处理的执行频率的阶段。
本发明的一个方面所涉及的程序，可以是用于使计算机执行基于摄像装置距参考位置的高度，来控制对用于调整由摄像装置拍摄的图像的白平衡的参数进行确定的处理的执行频率的阶段的程序。
根据本发明的一个方面，能够更加适当地进行摄像装置的白平衡的调整。
另外，上述的发明内容中没有穷举本发明的所有必要特征。此外，这些特征组的子组合也可以构成发明。
附图说明
图1是示出无人驾驶航空器及远程操作装置的外观的一个示例的图。
图2是示出无人驾驶航空器的功能块的一个示例的图。
图3是示出摄像装置的高度和第一权重的关系的一个示例的图。
图4是示出摄像装置的高度和第二权重的关系的一个示例的图。
图5是示出自动白平衡的执行频率的控制过程的一个示例的流程图。
图6是用于说明硬件构成的一个示例的图。
符号说明
10 UAV
20 UAV主体
30 UAV控制部
32 存储器
36 通信接口
40 推进部
41 GPS接收器
42 惯性测量装置
43 磁罗盘
44 气压高度计
45 温度传感器
46 湿度传感器
50 万向支架
60 摄像装置
100 摄像装置
102 摄像部
110 摄像控制部
112 获取部
114 确定部
116 控制部
120 图像传感器
130 存储器
200 镜头部
210 镜头
212 镜头驱动部
214 位置传感器
220 镜头控制部
222 存储器
300 远程操作装置
1200 计算机
1210 主机控制器
1212 CPU
1214 RAM
1220 输入/输出控制器
1222 通信接口
1230 ROM
具体实施方式
以下，通过发明的实施方式来对本公开进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，实施方式中说明的特征的所有组合未必是发明的解决方案所必须的。
以下，通过发明的实施方式来对本发明进行说明，但是以下实施方式并非限制权利要求书所涉及的发明。此外，实施方式中说明的特征的所有组合未必是发明的解决方案所必须的。对本领域普通技术人员来说，显然可以对以下实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制，著作权人就无法异议。但是，在除此以外的情况下，保留一切的著作权。
本发明的各种实施方式可参照流程图及框图来描述，这里，方框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。指定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非、及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。
计算机可读介质可以包括可以对由适宜的设备执行的指令进行储存的任意有形设备。其结果是，其上存储有指令的计算机可读介质具备一种包括指令的产品，该指令可被执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例，可以包括电子存储介质、磁存储介质、光学存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的示，可以包括软盘(注册商标)、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、电可擦可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多用途光盘(DVD)、蓝光(RTM)光盘、记忆棒、集成电路卡等。
计算机可读指令可以包括由一种或多种编程语言的任意组合记述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的过程化编程语言。传统的过程化编程语言可以为汇编指令、指令集架构(ISA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk、JAVA(注册商标)、C++ 等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令，以创建用于执行流程图或框图所指定操作的手段。作为处理器的示例，包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
图1表示无人驾驶航空器(UAV)10及远程操作装置300的外观的一个示例。 UAV10具备UAV主体20、万向支架50、多个摄像装置60、以及摄像装置100。万向支架50及摄像装置100为摄像***的一个示例。UAV10为在空中移动的飞行体的一个示例。飞行体为不仅包括UAV，还包括在空中移动的其他的飞行器、飞艇、直升机等的概念。
UAV主体20具备多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV10飞行。UAV主体20使用例如四个旋翼来使UAV10 飞行。旋翼的数量不限于四个。此外，UAV10也可以是没有旋翼的固定翼机。
摄像装置100为对包含在期望的摄像范围内的被摄体进行摄像的摄像用相机。万向支架50可旋转地支撑摄像装置100。万向支架50为支撑机构的一个示例。例如，万向支架50使用致动器以俯仰轴可旋转地支撑摄像装置100。万向支架50使用致动器进一步分别以翻滚轴和偏航轴为中心可旋转地支撑摄像装置100。万向支架50可通过使摄像装置100以偏航轴、俯仰轴以及翻滚轴中的至少一个为中心旋转，来变更摄像装置100的姿势。
多个摄像装置60是为了控制UAV10的飞行而对UAV10的周围进行摄像的传感用相机。两个摄像装置60可以设置于UAV10的机头、即正面。并且，其它两个摄像装置60可以设置于UAV10的底面。正面侧的两个摄像装置60可以成对，起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对，起到所谓的立体相机的作用。可以基于由多个摄像装置60拍摄的图像来生成UAV10周围的三维空间数据。 UAV10所具备的摄像装置60的数量不限于四个。UAV10只要具备至少一个摄像装置60即可。UAV10也可以在UAV10的机头、机尾、侧面、底面及顶面分别具备至少一个摄像装置60。摄像装置60中可设定的视角可大于摄像装置100中可设定的视角。摄像装置60也可以具有单焦点镜头或鱼眼镜头。
远程操作装置300与UAV10通信，以远程操作UAV10。远程操作装置300可以与UAV10进行无线通信。远程操作装置300向UAV10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV10的移动有关的各种指令的指示信息。指示信息包括例如使UAV10高度上升的指示信息。指示信息可示出UAV10应该位于的高度。 UAV10移动以位于从远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV10上升的上升指令。UAV10在接受上升指令的期间上升。UAV10的高度已达到上限高度时，即使接受上升指令，UAV10也可以限制上升。
图2示出了UAV10的功能块的一个示例。UAV10具备UAV控制部30、存储器 32、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向支架50、摄像装置60及摄像装置100。
通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置300接收包括对UAV控制部30的各种指令的指示信息。存储器32对UAV控制部30控制推进部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向支架50、摄像装置60及摄像装置100 所需的程序等进行储存。存储器32可以为计算机可读记录介质，可以包括SRAM、 DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器32可以设置于UAV主体20的内部。其可以设置成可从UAV主体20中拆卸下来。
UAV控制部30按照储存在存储器32中的程序来控制UAV10的飞行及摄像。UAV 控制部30可以由CPU或MPU等微处理器、MCU等微控制器等构成。UAV控制部 30按照经由通信接口36从远程操作装置300接收到的指令来控制UAV10的飞行及摄像。推进部40推进UAV10。推进部40具有多个旋翼及使多个旋翼旋转的多个驱动马达。推进部40按照来自UAV控制部30的指令，经由多个驱动马达使多个旋翼旋转，以使UAV10飞行。
GPS接收器41接收表示从多个GPS卫星发送的时间的多个信号。GPS接收器41 基于所接收的多个信号来计算出GPS接收器41的位置(纬度及经度)、即UAV10 的位置(纬度及经度)。IMU42检测UAV10的姿势。IMU42检测UAV10的前后、左右以及上下的三轴方向的加速度和俯仰轴、翻滚轴以及偏航轴的三轴方向的角速度，作为UAV10的姿势。磁罗盘43检测UAV10的机头的方位。气压高度计44检测UAV10 的飞行高度。气压高度计44检测UAV10周围的气压，并将检测到的气压换算为高度，以检测高度。温度传感器45检测UAV10周围的温度。湿度传感器46检测UAV10周围的湿度。
摄像装置100具备摄像部102及镜头部200。镜头部200为镜头装置的一个示例。摄像部102具有图像传感器120、摄像控制部110及存储器130。图像传感器120可以由CCD或CMOS构成。图像传感器120拍摄经由多个镜头210成像的光学图像，并将所拍摄的图像数据输出至摄像控制部110。摄像控制部110可以由CPU或MPU 等微处理器、MCU等微控制器等构成。摄像控制部110可以根据来自UAV控制部30 的摄像装置100的动作指令来控制摄像装置100。存储器130可以为计算机可读记录介质，可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器130储存摄像控制部110对图像传感器120等进行控制所需的程序等。存储器130可以设置于摄像装置100的壳体内部。存储器130可以设置成可从摄像设备100的壳体中拆卸下来。
镜头部200具有多个镜头210、多个镜头驱动部212、以及镜头控制部220。多个镜头210可以起到变焦镜头、手动变焦镜头及聚焦镜头的作用。多个镜头210中的至少一部分或全部被配置为能够沿着光轴移动。镜头部200可以是被设置成能够相对摄像部102拆装的交换镜头。镜头驱动部212经由凸轮环等机构构件使多个镜头210中的至少一部分或全部沿着光轴移动。镜头驱动部212可以包括致动器。致动器可以包括步进马达。镜头控制部220按照来自摄像部102的镜头控制指令来驱动镜头驱动部 212，以经由机构构件使一个或多个镜头210沿着光轴方向移动。镜头控制指令例如为变焦控制指令及聚焦控制指令。
镜头部200还具有存储器222和位置传感器214。镜头控制部220按照来自摄像部102的镜头动作指令，经由镜头驱动部212来控制镜头210向光轴方向的移动。镜头控制部220按照来自摄像部102的镜头动作指令，经由镜头驱动部212来控制镜头 210向光轴方向的移动。镜头210的部分或全部沿着光轴移动。镜头控制部220通过使镜头210中的至少一个沿着光轴移动，来执行变焦动作和聚焦动作中的至少一个。位置传感器214检测镜头210的位置。位置传感器214可以检测当前的变焦位置或聚焦位置。
镜头驱动部212可以包括抖动校正机构。镜头控制部220可以经由抖动校正机构使镜头210在沿着光轴的方向或垂直于光轴的方向上移动，来执行抖动校正。镜头驱动部212可以由步进马达驱动抖动校正机构，以执行抖动校正。另外，抖动校正机构可以由步进马达驱动，以使图像传感器120在沿着光轴的方向或垂直于光轴的方向上移动，来执行抖动校正。
存储器222存储经由镜头驱动部212而移动的多个镜头210的控制值。存储器222可以包括SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。
在这样构成的摄像装置100中，摄像控制部110具有执行所谓自动白平衡(AWB) 处理的AWB控制部116。AWB控制部116根据预定的条件，从由图像传感器120拍摄的图像中指定应该是白色的区域。AWB控制部116基于所指定的区域的R、G、B 的各个像素值，导出应分别适用于图像传感器120输出的图像的R分量、G分量、B 分量的各自的增益即白平衡的控制值。AWB控制部116基于所导出的R分量、G分量、B分量各自的控制值，对由图像传感器120拍摄的图像进行白平衡调整。导出白平衡的控制值的一系列处理是对用于调整由摄像装置100拍摄的图像的白平衡的参数进行确定的处理的一个示例。根据摄像装置100进行拍摄时的光源的种类，导出白平衡的控制值。因此，对用于调整白平衡的参数进行确定的处理也可以是基于由摄像装置100拍摄的图像来确定摄像装置100进行拍摄时的光源的种类的一系列处理。
这里，根据摄像装置100的拍摄环境的不同，会有不能根据白平衡的调整的频率适当地进行由摄像装置100拍摄的图像的白平衡的调整的情况。根据摄像装置100的高度的不同，会有不能根据白平衡的调整的频率适当地进行由摄像装置100拍摄的图像的白平衡的调整的情况。例如，搭载于UAV10等飞行体的摄像装置100进行拍摄的环境，根据飞行体飞行的环境会有很大的不同。根据飞行体飞行的环境的不同，会有不能适当地进行由摄像装置100拍摄的图像的白平衡的调整的情况。
在由摄像装置100拍摄的图像的颜色分量随时间的变化较大时，如果平衡的调整的频率较多，则与颜色分量随时间的变化较小时相比，不能适当地进行白平衡的调整的可能性较高。
在搭载于UAV10等飞行体的摄像装置100距地面等参考面上的参考位置的高度较高、即UAV10的高度较高时，由摄像装置100拍摄的图像大多是风景画等。在UAV10 的高度较高时，会有图像的彩色分量随时间的变化比较小的趋势。另一方面，在摄像装置100距地面等参考面上的参考位置的高度较低时，会有图像的颜色分量随时间的变化比较大趋势。
另外，在搭载于UAV10等飞行体的摄像装置100的速度较快、即UAV10的速度较快时，会有由摄像装置100拍摄的图像的颜色分量随时间的变化比较大的趋势。另一方面，在UAV10的速度较慢时，会有由摄像装置100拍摄的图像的颜色分量随时间的变化比较小的趋势。
在图像的颜色分量随时间的变化较小时，即便白平衡的调整的频率较多，也会有能够适当地进行由摄像装置100拍摄的图像的白平衡的调整的趋势。当适当地进行白平衡的调整时，例如，能够抑制由摄像装置100拍摄的动态图像的闪烁。另一方面，在图像的颜色分量随时间的变化较大时，如果白平衡的调整的频率较多，则有可能不能适当地进行由摄像装置100拍摄的图像的白平衡的调整。当不能适当地进行白平衡的调整时，例如，会有由摄像装置100拍摄的动态图像闪烁的情况。
因此，本实施方式所涉及的摄像装置100，基于摄像装置100的高度以及摄像装置100的速度，在判断为由摄像装置100拍摄的图像的颜色分量随时间的变化较大时，减少白平衡的调整的频率。
为了控制白平衡的调整的频率，摄像控制部110还具有获取部112以及确定部114。获取部112获取表示摄像装置100距参考位置的高度的高度信息。参考位置可以是预定的参考面上的位置。参考位置可以是从摄像装置100或UAV10在竖直方向上延伸的直线与参考面的交点。参考位置可以是从摄像装置100或UAV10的重心等预定点在竖直方向上延伸的直线与参考面的交点。参考面可以是例如地面、海面、地板表面以及屋顶表面等UAV10的起飞面或者由摄像装置100拍摄的被摄体所在的面。获取部112可以获取表示摄像装置100距地面的高度的高度信息。UAV10可以具有检测距地面的距离的红外传感器。红外传感器沿竖直方向向下设置在UAV10中。红外传感器沿延伸方向向下辐射红外光并接收其反射光，由此检测从UAV10到地面的距离。获取部112可以获取表示由该红外传感器检测出的UAV10到地面的距离的信息，作为表示摄像装置100距参考位置的高度的高度信息。
获取部112还获取表示摄像装置100的速度的速度信息。获取部112可以从UAV 控制部30获取表示UAV10的速度的速度信息，作为表示摄像装置100的速度的速度信息。
确定部114基于摄像装置100的高度以及摄像装置100的速度，确定对用于调整白平衡的参数进行确定的处理的执行频率。确定部114可以基于摄像装置100的高度以及摄像装置100的速度，确定对用于调整白平衡的参数进行确定的处理的每单位时间的执行次数，作为执行频率。确定部114可以在高度信息所示的高度为第一高度时，将执行频率确定为第一执行频率。确定部114可以在高度信息所示的高度为高于第一高度的第二高度时，将执行频率确定为高于第一执行频率的第二执行频率。
确定部114可以基于高度信息所示的高度来确定第一权重。确定部114可以基于速度信息所示的速度来确定第二权重。确定部114可以基于第一权重以及第二权重来确定执行频率。
在高度信息所示的高度为第一高度h1时，确定部114可以将第一权重W1(hn) 确定为W1(h1)。在高度信息所示的高度为高于第一高度h1的第二高度h2时，确定部114可以将第一权重W1(hn)确定为大于W1(h1)的W1(h2)。
在速度信息所示的高度为第一速度v1时，确定部114可以将第二权重W2(vn) 确定为W2(v1)。在摄像装置的速度为快于第一速度v1的第二速度v2时，确定部114 可以将第二权重W2(vn)确定为小于W2(v1)的W2(v2)。
确定部114可以根据图3所示的表示摄像装置100的高度和第一权重W1(hn) 的关系的函数，确定对应于摄像装置100的高度的第一权重W1(hn)。确定部114 可以根据图4所示的表示摄像装置100的速度和第二权重W2(vn)的关系的函数，确定对应于摄像装置100的速度的第二权重W2(vn)。
确定部114基于第一权重W1(hn)以及第二权重W2(vn)的总和，计算出权重 W。其中，使权重W的最大值为1.0。即，确定部114根据W＝Min(W1(hn)+W2 (vn)，1.0)，计算出权重W。
这里，使X秒的AWB的参考执行次数为Y次。参考执行次数可以根据摄像装置 100的规格，设为任意次数。参考执行次数可以为例如1秒2次或者3次。或者，参考执行次数可以为1秒60次。确定部114基于参考执行次数Y和权重W，来确定AWB 的执行次数。确定部114根据执行次数＝INT(Y×W)，来确定执行次数。其中，在 INT(Y×W)＜1时，确定部114将执行次数确定为1。即，确定部114确定执行次数，以使X秒最低执行1次AWB。
图5是示出由摄像控制部110进行的自动白平衡的执行频率的控制过程的一个示例的流程图。
获取部112获取表示UAV10的高度以及速度的信息，作为摄像装置100的高度信息以及速度信息(S100)。确定部114基于UAV10的高度以及速度，计算出AWB 的执行次数(S102)。确定部114可以根据图3以及图4所示的函数，确定基于UAV10 的高度的第一权重W1(hn)以及基于UAV10的速度的第二权重W2(vn)。确定部 114可以通过将预定的每单位时间的执行次数与作为第一权重W1(hn)以及第二权重 W2(vn)的总和的权重W相乘，计算出AWB的执行次数。然后，确定部114判定计算出的执行次数是否为0次，即计算出的执行次数是否小于1(S104)。若计算出的执行次数为0次，则确定部114将每单位时间的AWB的执行次数确定为1次(S106)。若计算出的执行次数为1次以上，则确定部114将每单位时间的AWB的执行次数确定为计算出的执行次数。AWB控制部116将AWB的执行次数变更为所确定的执行次数(S108)。AWB控制部116根据所变更的执行次数，依次执行白平衡的调整。
根据本实施方式，摄像装置100基于摄像装置100的高度以及摄像装置100的速度，来控制白平衡的调整的频率。基于摄像装置100的高度以及摄像装置100的速度，在判断为由摄像装置100拍摄的图像的颜色分量随时间的变化比较大时，减少白平衡的调整的频率。另一方面，基于摄像装置100的高度以及摄像装置100的速度，在判断为由摄像装置100拍摄的图像的颜色分量随时间的变化比较小时，增加白平衡的调整的频率。由此，例如，无需适当地进行白平衡的调整即可防止由摄像装置100拍摄的动态图像的闪烁。
摄像控制部110也可以进一步利用其距被摄体的距离，作为表示图像的颜色分量随时间变化的指标。在这种情况下，获取部112从摄像装置100获取距根据预定的条件确定的被摄体的距离。确定部114基于所获取的距离，来确定第三权重W3(Ln)。例如，在距被摄体的距离L为第一距离L1时，确定部114将第三权重W3(Ln)确定为W3(L1)。在距离L为长于第一距离L1的第二距离L2时，确定部114可以将第三权重W3(Ln)确定为大于W3(L1)的W3(L2)。并且，确定部114可以通过将作为第一权重W1(hn)、第二权重W2(vn)以及第三权重W3(Ln)的总权重W与 AWB的参考执行次数相乘，来确定AWB的执行次数。
摄像控制部110也可以进一步利用图像的颜色分量的变化量，作为表示图像的颜色分量随时间变化的指标。确定部114可以通过本次帧内的图像的预定区域的颜色分量的平均值和上一次帧内的图像的预定区域的颜色分量的平均值的差分，计算出图像的颜色分量的变化量。并且，确定部114可以计算出第四权重W4(Cn)，以使图像的颜色分量的变化量越大，AWB的执行次数越少。例如，在颜色分量的变化量Cn为 C1时，确定部114可以将第四权重W4(Cn)确定为第四权重W4(C1)。在颜色分量的变化量Cn为大于C1的C2时，确定部114可以将第四权重W4(Cn)确定为小于第四权重W4(C1)的第四权重W4(C2)。确定部114可以通过将作为第一权重W1 (hn)、第二权重W2(vn)以及第四权重W4(Cn)的总权重W与AWB的参考执行次数相乘，来确定AWB的执行次数。确定部114可以通过将作为第一权重W1(hn)、第二权重W2(vn)、第三权重W3(Ln)以及第四权重W4(Cn)的总权重W与AWB 的参考执行次数相乘，来确定AWB的执行次数。
图6表示可全部或部分地体现本发明的多个方式的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。或者，该程序能够使计算机 1200执行该操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU1212执行，以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的指定操作。
本实施方式的计算机1200包括CPU1212及RAM1214，它们通过主机控制器1210 相互连接。计算机1200还包括通信接口1222、输入/输出单元，它们通过输入/输出控制器1220与主机控制器1210连接。计算机1200还包括ROM1230。CPU1212按照 ROM1230及RAM1214内储存的程序而动作，从而控制各单元。
通信接口1222通过网络与其它电子设备通信。硬盘驱动器可以储存计算机1200内的CPU1212所使用的程序及数据。ROM1230在其中储存运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB 存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM1214或ROM1230中，并通过CPU1212执行。这些程序中记述的信息处理由计算机1200读取，并引起程序与上述各种类型的硬件资源之间的协作。可以通过根据可随着计算机1200的使用而实现信息的操作或者处理来构成装置或方法。
例如，在计算机1200与外部设备之间执行通信时，CPU1212可以执行加载在RAM1214中的通信程序，并基于通信程序所记述的处理，指令通信接口1222进行通信处理。通信接口1222在CPU1212的控制下，读取储存在RAM1214或USB存储器之类的记录介质内提供的发送缓冲区中的发送数据，并将读取的发送数据发送到网络，或者将从网络接收的接收数据写入记录介质内提供的接收缓冲区等中。
此外，CPU1212可以使RAM1214读取USB存储器等外部记录介质所储存的文件或数据库的全部或者需要的部分，并对RAM1214上的数据执行各种类型的处理。接着，CPU1212可以将处理的数据写回到外部记录介质中。
可以将各种类型的程序、数据、表格及数据库之类的各种类型的信息储存在记录介质中，并接受信息处理。对于从RAM1214读取的数据，CPU1212可执行在本公开的各处描述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理，并将结果写回到 RAM1214中。此外，CPU1212可以检索记录介质内的文件、数据库等中的信息。例如，在记录介质中储存具有分别与第二属性的属性值相关联的第一属性的属性值的多个条目时，CPU1212可以从该多个条目中检索出与指定第一属性的属性值的条件相匹配的条目，并读取该条目内储存的第二属性的属性值，从而获取与满足预定条件的第一属性相关联的第二属性的属性值。
以上描述的程序或者软件模块可以储存在计算机1200上或者计算机1200附近的计算机可读存储介质上。此外，与专用通信网络或者互联网连接的服务器***内提供的硬盘或RAM之类的记录介质可以用作计算机可读存储介质，从而通过网络将程序提供给计算机1200。
应该注意的是，权利要求书、说明书以及说明书附图中所示的装置、***、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在...之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利要求书、说明书以及说明书附图中的操作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。
以上使用实施方式对本发明进行了说明，但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说，显然可对上述实施方式加以各种变更或改良。从权利要求书的描述显而易见的是，加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
应该注意的是，权利要求书、说明书以及说明书附图中所示的装置、***、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序，只要没有特别明示“在...之前”、“事先”等，且只要前面处理的输出并不用在后面的处理中，则可以任意顺序实现。关于权利要求书、说明书以及说明书附图中的操作流程，为方便起见而使用“首先”、“接着”等进行了说明，但并不意味着必须按照这样的顺序实施。

Claims (8)

1.一种控制装置，具备控制部，其基于摄像装置距参考位置的高度，来控制对用于调整由所述摄像装置拍摄的图像的白平衡的参数进行确定的处理的执行频率；
所述控制部在所述摄像装置距所述参考位置的高度为第一高度时，将所述执行频率控制为第一执行频率，
在所述摄像装置距所述参考位置的高度为高于所述第一高度的第二高度时，将所述执行频率控制为多于所述第一执行频率的第二执行频率。
2.如权利要求1所述的控制装置，其中，所述控制部还基于所述摄像装置的速度来控制所述执行频率。
3.如权利要求2所述的控制装置，其中，所述控制部
基于所述摄像装置距所述参考位置的高度来确定第一权重，基于所述摄像装置的速度来确定第二权重，并基于所述第一权重和所述第二权重来确定所述执行频率。
4.如权利要求3所述的控制装置，其中，所述控制部
在所述摄像装置距所述参考位置的高度为第一高度时，将所述第一权重确定为第一值，
在所述摄像装置距所述参考位置的高度为高于所述第一高度的第二高度时，将所述第一权重确定为大于所述第一值的第二值，
在所述摄像装置的速度为第一速度时，将所述第二权重确定为第三值，
在所述摄像装置的速度为快于所述第一速度的第二速度时，将所述第二权重确定为小于第三值的第四值。
5.一种摄像装置，其具备：如权利要求1至4中任意一项所述的控制装置；以及
拍摄图像的图像传感器。
6.一种飞行体，其搭载如权利要求5所述的摄像装置并飞行。
7.一种控制方法，其具备基于摄像装置距参考位置的高度，来控制对用于调整由所述摄像装置拍摄的图像的白平衡的参数进行确定的处理的执行频率的阶段；
在所述摄像装置距所述参考位置的高度为第一高度时，将所述执行频率控制为第一执行频率，
在所述摄像装置距所述参考位置的高度为高于所述第一高度的第二高度时，将所述执行频率控制为多于所述第一执行频率的第二执行频率。
8.一种计算机可读存储介质，其上存储计算机程序，所述程序被计算机执行时实现基于摄像装置距参考位置的高度，来控制对用于调整由所述摄像装置拍摄的图像的白平衡的参数进行确定的处理的执行频率的阶段；
在所述摄像装置距所述参考位置的高度为第一高度时，将所述执行频率控制为第一执行频率，
在所述摄像装置距所述参考位置的高度为高于所述第一高度的第二高度时，将所述执行频率控制为多于所述第一执行频率的第二执行频率。
CN201880014668.8A 2017-10-30 2018-10-23 控制装置、摄像装置、飞行体、控制方法以及存储介质 Expired - Fee Related CN110383815B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017209235A JP6459012B1 (ja) 2017-10-30 2017-10-30 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP2017-209235 2017-10-30
PCT/CN2018/111495 WO2019085794A1 (zh) 2017-10-30 2018-10-23 控制装置、摄像装置、飞行体、控制方法以及程序

Publications (2)

Publication Number Publication Date
CN110383815A CN110383815A (zh) 2019-10-25
CN110383815B true CN110383815B (zh) 2021-02-26

Family

ID=65228986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880014668.8A Expired - Fee Related CN110383815B (zh) 2017-10-30 2018-10-23 控制装置、摄像装置、飞行体、控制方法以及存储介质

Country Status (4)

Country Link
US (1) US20200241570A1 (zh)
JP (1) JP6459012B1 (zh)
CN (1) CN110383815B (zh)
WO (1) WO2019085794A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106292126A (zh) * 2016-08-29 2017-01-04 广州优飞信息科技有限公司 一种智能航测飞行曝光控制方法、无人机控制方法及终端
CN106774406A (zh) * 2016-12-30 2017-05-31 武汉大势智慧科技有限公司 一种无人机影像自动采集***和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730412B2 (ja) * 2008-08-12 2011-07-20 ソニー株式会社 画像処理装置及び画像処理方法
JP2015177420A (ja) * 2014-03-17 2015-10-05 キヤノン株式会社 撮像装置およびその制御方法
WO2016041162A1 (en) * 2014-09-17 2016-03-24 SZ DJI Technology Co., Ltd. Automatic white balancing system and method
JP6354578B2 (ja) * 2014-12-26 2018-07-11 株式会社Ｊｖｃケンウッド 撮像システム
FR3041134B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale dont les parametres de controle, notamment l'autoexposition, sont rendus independant de l'attitude.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106292126A (zh) * 2016-08-29 2017-01-04 广州优飞信息科技有限公司 一种智能航测飞行曝光控制方法、无人机控制方法及终端
CN106774406A (zh) * 2016-12-30 2017-05-31 武汉大势智慧科技有限公司 一种无人机影像自动采集***和方法

Also Published As

Publication number Publication date
US20200241570A1 (en) 2020-07-30
WO2019085794A1 (zh) 2019-05-09
JP6459012B1 (ja) 2019-01-30
JP2019083392A (ja) 2019-05-30
CN110383815A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110383812B (zh) 控制装置、***、控制方法以及程序
CN111567032B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
US20210014427A1 (en) Control device, imaging device, mobile object, control method and program
CN110337609B (zh) 控制装置、镜头装置、摄像装置、飞行体以及控制方法
US20200410219A1 (en) Moving object detection device, control device, movable body, moving object detection method and program
CN109844634B (zh) 控制装置、摄像装置、飞行体、控制方法以及程序
CN111264055A (zh) 确定装置、摄像***、移动体、合成***、确定方法以及程序
JP6501091B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6481228B1 (ja) 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム
CN110785997B (zh) 控制装置、摄像装置、移动体以及控制方法
CN110383815B (zh) 控制装置、摄像装置、飞行体、控制方法以及存储介质
US11066182B2 (en) Control apparatus, camera apparatus, flying object, control method and program
CN111357271B (zh) 控制装置、移动体、控制方法
CN111226170A (zh) 控制装置、移动体、控制方法以及程序
CN110770667A (zh) 控制装置、移动体、控制方法以及程序
CN112166374B (zh) 控制装置、摄像装置、移动体以及控制方法
CN111213369B (zh) 控制装置、方法、摄像装置、移动体以及计算机可读存储介质
JP6878738B1 (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
CN114600024A (zh) 装置、摄像装置、摄像***及移动体
CN111226263A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
CN111615663A (zh) 控制装置、摄像装置、摄像***、移动体、控制方法以及程序
CN114600446A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
CN112136315A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
CN112313943A (zh) 装置、摄像装置、移动体、方法以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210226