CN107454338A - 光流摄像装置和方法、飞行器 - Google Patents

光流摄像装置和方法、飞行器 Download PDF

Info

Publication number
CN107454338A
CN107454338A CN201611255270.2A CN201611255270A CN107454338A CN 107454338 A CN107454338 A CN 107454338A CN 201611255270 A CN201611255270 A CN 201611255270A CN 107454338 A CN107454338 A CN 107454338A
Authority
CN
China
Prior art keywords
light
frame per
light source
light stream
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611255270.2A
Other languages
English (en)
Inventor
胡华智
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelligent Equipment (guangzhou) Co Ltd
Original Assignee
Intelligent Equipment (guangzhou) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelligent Equipment (guangzhou) Co Ltd filed Critical Intelligent Equipment (guangzhou) Co Ltd
Priority to CN201611255270.2A priority Critical patent/CN107454338A/zh
Publication of CN107454338A publication Critical patent/CN107454338A/zh
Priority to PCT/CN2017/116159 priority patent/WO2018121271A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种光流摄像装置，包括：摄像元件，用于获得目标的光流图像；图像信号处理器，用于检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；一个或多个光源，用于向所述摄像元件提供曝光量；光源开启控制单元，用于在检测到的帧率低于预设的帧率阈值范围的情况下，向所述光源发送启动信号，开启所述光源。本发明还公开了相应的光流摄像方法和飞行器。本发明可保持良好的图像画面质量，使得在环境亮度较暗的情况下仍然能够正常进行光流定位。

Description

光流摄像装置和方法、飞行器
技术领域
本发明涉及光流定位技术，尤其涉及一种光流摄像装置和方法、飞行器。
背景技术
光流是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达。通过检测图像中光点和暗点的移动，可判断图像中像素点相对于飞行器的移动速度。
光流摄像需要较快的帧率和较好的画面质量。然而，当环境亮度较暗时，容易使摄像头帧率和画面质量下降，很容易导致光流定位无法工作。
发明内容
基于此，有必要提供一种新的光流摄像方式，来保持良好的图像画面质量，使得在环境亮度较暗的情况下仍然能够正常进行光流定位。
根据本发明的第一方面，本发明提供一种光流摄像装置，包括：
摄像元件，用于获得目标的光流图像；
图像信号处理器，用于检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
一个或多个光源，用于向所述摄像元件提供曝光量；
光源开启控制单元，用于在检测到的帧率低于预设的帧率阈值范围的情况下，向所述光源发送启动信号，开启所述光源。
根据本发明的第二方面，本发明提供一种光流摄像方法，包括：
获得目标的光流图像；
检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
在检测到的帧率低于预设的帧率阈值范围时，向光源发送启动信号，开启光源。
根据本发明的第三方面，本发明提供一种飞行器，包括：飞行机构和用于控制所述飞行机构飞行的控制部，该控制部包括用于测量该飞行器相对地面的运动信息从而确定该飞行器在地面上的位置的光流定位装置，该光流定位装置包括有光流摄像装置和光流计算单元，所述光流摄像装置为如上所述的光流摄像装置。
本发明的实施例通过在检测到光流图像的帧率低于预设的阈值范围的情况下，通过光源启动控制单元开启光源来补充环境光，从而保持了良好的图像画面质量，在环境亮度较暗的情况下仍然能够正常进行光流定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的光流摄像装置一个实施例的示意框图。
图2是本发明的光流摄像装置另一个实施例的示意框图。
图3是本发明的光流摄像装置另一个实施例的示意框图。
图4是本发明的光流摄像方法一个实施例的流程图。
图5是本发明的光流摄像方法另一个实施例的流程图。
图6是本发明的光流摄像方法另一个实施例的流程图。
图7是本发明的飞行器一个实施例的示意框图。
具体实施方式
下面通过具体实施方式结合附图对本发明进行详细说明。
图1是有关光流摄像装置的一个实施例的结构框图。如图1所示，该光流摄像装置主要包括：
摄像元件11、图像信号处理器12、一个或多个光源13和光源开启控制单元14。
在光流摄像过程中，摄像元件11用于获得目标的光流图像。只有在所述光流图像的帧率保持在一定范围内的情况下，才能够保持良好的画面质量，保证光流定位顺利进行。而当环境亮度变化时，摄像元件11获得的光流图像的帧率随着环境亮度的变化上升或下降，当环境亮度下降到一定程度时，光流图像的帧率随之下降并低于某个阈值后，就会导致图像的画面质量太差而导致光流定位无法进行的情况。当环境亮度上升到一定程度时，光流图像的帧率随之上升并高于某个阈值后，就会导致图像的画面质量太差而导致光流定位无法进行的情况。
图像信号处理器12用于检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果。其中，所述预设的阈值范围可以根据具体需要设置，其取值能保证光流图像具有良好的画面质量，使得光流定位顺利进行即可。
为了避免环境亮度下降的情况发生，一个或多个光源13用于向所述摄像元件11提供曝光量。当图像信号处理器12检测到的帧率低于预设的帧率阈值范围的情况下，光源开启控制单元14向所述光源13发送启动信号，开启所述光源13补充环境光，使得摄像元件11获得的光流图像能始终保持好的画面质量。从而保证光流定位的顺利进行。
在一个具体的实施例中，所述一个或多个光源可采用可见光LED或者红外光LED，靠近所述摄像元件11设置，光源的数量可根据具体应用环境需要设置。
作为本发明的一个具体实施方式，所述图像信号处理器12可根据具体需要，与所述摄像元件11集成设置；或者，也可以设置于所述摄像元件11外部。
图2是有关光流摄像装置的另一个实施例的结构框图。如图2所示，该光流摄像装置主要包括：
摄像元件21，用于获得目标的光流图像；
图像信号处理器22，用于检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
在光流摄像过程中，摄像元件21用于获得目标的光流图像。只有在所述光流图像的帧率保持在一定范围内的情况下，才能够保持良好的画面质量，保证光流定位顺利进行。而当环境亮度变化时，摄像元件21获得的光流图像的帧率随着环境亮度的变化上升或下降，当环境亮度下降到一定程度时，光流图像的帧率随之下降并低于某个阈值后，就会导致图像的画面质量太差而导致光流定位无法进行的情况。当环境亮度上升到一定程度时，光流图像的帧率随之上升并高于某个阈值后，就会导致图像的画面质量太差而导致光流定位无法进行的情况。因此，本实施例还提供了：
一个或多个光源23，用于向所述摄像元件21提供曝光量；
光源开启控制单元24，用于在检测到的帧率低于预设的帧率阈值范围的情况下，向所述光源发送启动信号，开启所述光源。
光源亮度调节单元25，用于在光源开启的情况下，根据所述比较结果，向所述光源23发送亮度调节信号，调节所述光源23的亮度。在一个具体的实施例中，开启光源23后，若检测到的帧率仍低于预设的帧率阈值范围，或者在该预设的帧率阈值范围内但因帧率偏低未达到最佳效果，则可通过光源亮度调节单元25调亮光源23的亮度；反之，开启光源23后，若检测到的帧率高于预设的帧率阈值范围，或者在该预设的帧率阈值范围内但因帧率偏高未达到最佳效果，则可通过光源亮度调节单元25调低光源23的亮度。使得光流图像的画面保持在一个更佳的范围。
图3是有关光流摄像装置的另一个实施例的结构框图。如图3所示，该光流摄像装置主要包括：
摄像元件31，用于获得目标的光流图像；
图像信号处理器32，用于检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
在光流摄像过程中，摄像元件31用于获得目标的光流图像。只有在所述光流图像的帧率保持在一定范围内的情况下，才能够保持良好的画面质量，保证光流定位顺利进行。而当环境亮度变化时，摄像元件31获得的光流图像的帧率随着环境亮度的变化上升或下降，当环境亮度下降到一定程度时，光流图像的帧率随之下降并低于某个阈值后，就会导致图像的画面质量太差而导致光流定位无法进行的情况。当环境亮度上升到一定程度时，光流图像的帧率随之上升并高于某个阈值后，就会导致图像的画面质量太差而导致光流定位无法进行的情况。因此，本实施例有还提供了：
一个或多个光源33，用于向所述摄像元件31提供曝光量；
光源开启控制单元34，用于在检测到的帧率低于预设的帧率阈值范围的情况下，向所述光源33发送启动信号，开启所述光源23；
光源关闭控制单元35，用于在光源33开启的情况下，检测到的帧率高于预设的帧率阈值范围时，向所述光源33发送关闭信号，关闭所述光源33。
图4是本发明提供的光流摄像方法的一个实施方式的流程示意图，如图4所示，本实施例实现一次光流摄像流程主要包括以下步骤：
在步骤S11中，获得目标的光流图像；
在步骤S12中，检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
在步骤S13中，在检测到的帧率低于预设的帧率阈值范围时，向光源发送启动信号，开启光源。
图5是本发明提供的光流摄像方法的另一个实施方式的流程示意图，如图5所示，本实施例实现一次光流摄像流程主要包括以下步骤：
在步骤S21中，获得目标的光流图像；
在步骤S22中，检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
在步骤S23中，在检测到的帧率低于预设的帧率阈值范围时，向光源发送启动信号，开启光源；
在步骤S24中，根据所述比较结果，向所述光源发送亮度调节信号，调节所述光源的亮度。
图6是本发明提供的光流摄像方法的另一个实施方式的流程示意图，如图6所示，本实施例实现一次光流摄像流程主要包括以下步骤：
在步骤S31中，获得目标的光流图像；
在步骤S32中，检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
在步骤S33中，在检测到的帧率低于预设的帧率阈值范围时，向光源发送启动信号，开启光源；
在步骤S34中，当检测到的帧率高于预设的帧率阈值范围时，向光源发送关闭信号，关闭光源。
图7是有关飞行器的一个实施例的结构框图。如图7所示，该飞行器主要包括：
飞行机构101和用于控制所述飞行机构10飞行的控制部20，该控制部20包括用于测量该飞行器相对地面的运动信息从而确定该飞行器在地面上的位置的光流定位装置201，该光流定位装置201包括有光流摄像装置211和光流计算单元212。光流计算单元212用于将光流摄像装置211拍摄的光流图像进行计算输出二维特征信息，所述二维特征信息包括地面纹理信息和高度信息。控制部20根据该二维特征信息控制该飞行器悬停，使该飞行器在无GPS或低飞环境下可以精确地定高悬停，实现光流定位。其中，本实施例的光流摄像装置211与前述实施例中描述的光流摄像装置相同，不再赘述。
以上所述各实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种光流摄像装置，其特征在于，包括：
摄像元件，用于获得目标的光流图像；
图像信号处理器，用于检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
一个或多个光源，用于向所述摄像元件提供曝光量；
光源开启控制单元，用于在检测到的帧率低于预设的帧率阈值范围的情况下，向所述光源发送启动信号，开启所述光源。
2.如权利要求1所述的装置，其特征在于，还包括：
光源亮度调节单元，用于在光源开启的情况下，根据所述比较结果，向所述光源发送亮度调节信号，调节所述光源的亮度。
3.如权利要求1所述的装置，其特征在于，还包括：
光源关闭控制单元，用于在光源开启的情况下，检测到的帧率高于预设的帧率阈值范围时，向所述光源发送关闭信号，关闭所述光源。
4.如权利要求1所述的装置，其特征在于，所述一个或多个光源为靠近所述摄像元件设置的可见光LED或者红外光LED。
5.如权利要求1所述的装置，其特征在于，所述图像信号处理器与所述摄像元件集成设置。
6.如权利要求1所述的装置，其特征在于，所述图像信号处理器设置于所述摄像元件外部。
7.一种光流摄像方法，其特征在于，包括：
获得目标的光流图像；
检测所述光流图像的帧率，并将检测到的光流图像的帧率与预设的帧率阈值范围比较，获得比较结果；
在检测到的帧率低于预设的帧率阈值范围时，向光源发送启动信号，开启光源。
8.如权利要求1所述的方法，其特征在于，开启光源后，还包括：
根据所述比较结果，向所述光源发送亮度调节信号，调节所述光源的亮度。
9.如权利要求1所述的光流定位方法，其特征在于，开启光源之后，还包括：
当检测到的帧率高于预设的帧率阈值范围时，向光源发送关闭信号，关闭光源。
10.一种飞行器，包括有飞行机构和用于控制所述飞行机构飞行的控制部，该控制部包括用于测量该飞行器相对地面的运动信息从而确定该飞行器在地面上的位置的光流定位装置，该光流定位装置包括有光流摄像装置和光流计算单元，其特征在于，所述光流摄像装置为如权利要求1-6中任一项所述的光流摄像装置。
CN201611255270.2A 2016-12-30 2016-12-30 光流摄像装置和方法、飞行器 Pending CN107454338A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611255270.2A CN107454338A (zh) 2016-12-30 2016-12-30 光流摄像装置和方法、飞行器
PCT/CN2017/116159 WO2018121271A1 (zh) 2016-12-30 2017-12-14 光流摄像装置和方法、飞行器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611255270.2A CN107454338A (zh) 2016-12-30 2016-12-30 光流摄像装置和方法、飞行器

Publications (1)

Publication Number Publication Date
CN107454338A true CN107454338A (zh) 2017-12-08

Family

ID=60485665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611255270.2A Pending CN107454338A (zh) 2016-12-30 2016-12-30 光流摄像装置和方法、飞行器

Country Status (2)

Country Link
CN (1) CN107454338A (zh)
WO (1) WO2018121271A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063900A (zh) * 2017-12-12 2018-05-22 青岛海信移动通信技术股份有限公司 一种补光灯的调控方法、装置及存储介质
WO2018121271A1 (zh) * 2016-12-30 2018-07-05 亿航智能设备（广州）有限公司 光流摄像装置和方法、飞行器
CN108600581A (zh) * 2017-12-27 2018-09-28 北京臻迪科技股份有限公司 无人驾驶飞行器
CN111385484A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 信息处理方法和装置
CN112397033A (zh) * 2019-08-18 2021-02-23 海信视像科技股份有限公司 显示设备和背光亮度调节方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007124014A2 (en) * 2006-04-19 2007-11-01 Swope John M System for position and velocity sense and control of an aircraft
CN101102416A (zh) * 2007-07-25 2008-01-09 北京中星微电子有限公司 一种摄像装置补光灯自动控制方法和装置
CN102695042A (zh) * 2012-05-28 2012-09-26 昆山锐芯微电子有限公司 图像传感器监控***及监控方法
CN204559731U (zh) * 2015-05-15 2015-08-12 零度智控（北京）智能科技有限公司 自适应调节相机曝光时间的装置及无人飞行器
CN205265944U (zh) * 2015-11-27 2016-05-25 广州极飞电子科技有限公司 一种定位数据获取装置及无人机
CN105874779A (zh) * 2015-03-31 2016-08-17 深圳市大疆创新科技有限公司 成像装置及其补光控制方法、***，以及可移动物体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454338A (zh) * 2016-12-30 2017-12-08 亿航智能设备（广州）有限公司 光流摄像装置和方法、飞行器
CN206517493U (zh) * 2016-12-30 2017-09-22 亿航智能设备（广州）有限公司 光流摄像装置和飞行器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007124014A2 (en) * 2006-04-19 2007-11-01 Swope John M System for position and velocity sense and control of an aircraft
CN101102416A (zh) * 2007-07-25 2008-01-09 北京中星微电子有限公司 一种摄像装置补光灯自动控制方法和装置
CN102695042A (zh) * 2012-05-28 2012-09-26 昆山锐芯微电子有限公司 图像传感器监控***及监控方法
CN105874779A (zh) * 2015-03-31 2016-08-17 深圳市大疆创新科技有限公司 成像装置及其补光控制方法、***，以及可移动物体
CN204559731U (zh) * 2015-05-15 2015-08-12 零度智控（北京）智能科技有限公司 自适应调节相机曝光时间的装置及无人飞行器
CN205265944U (zh) * 2015-11-27 2016-05-25 广州极飞电子科技有限公司 一种定位数据获取装置及无人机

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121271A1 (zh) * 2016-12-30 2018-07-05 亿航智能设备（广州）有限公司 光流摄像装置和方法、飞行器
CN108063900A (zh) * 2017-12-12 2018-05-22 青岛海信移动通信技术股份有限公司 一种补光灯的调控方法、装置及存储介质
CN108063900B (zh) * 2017-12-12 2020-04-07 青岛海信移动通信技术股份有限公司 一种补光灯的调控方法、装置及存储介质
CN108600581A (zh) * 2017-12-27 2018-09-28 北京臻迪科技股份有限公司 无人驾驶飞行器
CN111385484A (zh) * 2018-12-28 2020-07-07 北京字节跳动网络技术有限公司 信息处理方法和装置
CN112397033A (zh) * 2019-08-18 2021-02-23 海信视像科技股份有限公司 显示设备和背光亮度调节方法

Also Published As

Publication number Publication date
WO2018121271A1 (zh) 2018-07-05

Similar Documents

Publication Publication Date Title
CN107454338A (zh) 光流摄像装置和方法、飞行器
US20230060489A1 (en) System and method for generating a digital image
US11729518B2 (en) Systems and methods for digital photography
TWI714131B (zh) 控制方法、微處理器、電腦可讀記錄媒體及電腦設備
US9844119B2 (en) Dynamic lighting for head mounted device
CN103957354B (zh) 一种移动终端及其引导拍照的方法和装置
WO2020073572A1 (zh) 控制方法、控制装置、深度相机和电子装置
US10586351B1 (en) Ambient light estimation for camera device in infrared channel
CN105959581A (zh) 具有动态控制闪光灯的用于图像捕捉的电子设备及相关的控制方法
JP6849081B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
US20150229819A1 (en) System and method for generating a digital image
CN105487321B (zh) 红外补光灯的控制方法及拍摄装置
US20120019447A1 (en) Digital display device
US10382734B2 (en) Electronic device and color temperature adjusting method
JP6096298B2 (ja) 逆光補正方法、装置及び端末
CN206517493U (zh) 光流摄像装置和飞行器
Ma et al. Automatic brightness control of the handheld device display with low illumination
CN109361853A (zh) 图像处理方法、装置、电子设备及存储介质
TWI572966B (zh) 拍照系統及方法
CN104052913A (zh) 提供光绘效果的方法以及实现该方法的设备
US11687635B2 (en) Automatic exposure and gain control for face authentication
TWI684137B (zh) 物件追蹤方法、裝置及非暫態電腦可讀取記錄媒體
CN105915810A (zh) 一种电子设备的控制方法及电子设备
US20230161403A1 (en) Method for managing tracking sensors, tracking device, and computer readable storage medium
US20240073543A1 (en) System and method for generating a digital image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171208