CN107390722A - 一种无人机飞行角度智能控制方法 - Google Patents
一种无人机飞行角度智能控制方法 Download PDFInfo
- Publication number
- CN107390722A CN107390722A CN201710628685.8A CN201710628685A CN107390722A CN 107390722 A CN107390722 A CN 107390722A CN 201710628685 A CN201710628685 A CN 201710628685A CN 107390722 A CN107390722 A CN 107390722A
- Authority
- CN
- China
- Prior art keywords
- face
- unmanned plane
- angle
- during flying
- control method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 abstract 1
- 238000012937 correction Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种无人机飞行角度智能控制方法，实现的步骤是：经摄像头得到人脸图像，经过识别锁定目标人脸，在进行预处理后自动提取人脸五官信息及人脸框位置信息；以目标人物正脸图像为参考，根据提取的相关位置信息及其对应关系估计当前视野中目标人脸的偏转角度；由这些姿态信息定义无人机位置和操作方式，生成无人机飞行控制信息，形成一种新的无人机飞行角度控制方法。
Description
技术领域
本发明涉及无人机领域，特别是涉及一种无人机飞行角度智能控制方法。
背景技术
无人驾驶飞机简称无人机，当前随着相关技术的成熟，无人机的应用范围也逐步扩大，主要包括航拍、农业、快递等领域。随着科技和人们生活水平的提高，人们对无人机有着新的需求，使用无人机进行自拍。当下人们使用手机进行自拍时，为了寻求较好的拍照效果，一般都会选取多个角度进行拍摄，然后从中选取最优的照片。但使用手机自拍时，由于受到距离限制，很难实现远距离拍照，降低拍照体验，而使用无人机进行自拍则不会出现这种限制。但用户在使用现有的无人机进行自拍时，无法像使用手机一样简单的控制拍着角度，尤其是非专业人员想拍摄一张满意的自拍照片往往要花出比使用手机拍照多出数倍的时间。在现阶段无人机普遍续航能力不强的情况下，会浪费许多时间用于控制无人机调整拍照角度，而真正的用于拍照的时间却极少。
发明内容
针对上述问题，本发明运用人脸在镜头的平面视野中，五官位置会随着头部转动呈现规律性变化的特点，采用数据回归的方法进行逼近获得人脸偏转角度估算公式，使得无人机在人脸前方任意角度起飞时，能够根据当前镜头视野中目标人脸的特征信息，计算出目标人脸的角度偏转量。为下一步进行各角度的拍照提供参考基准。
为达到上述目的，本方法所采用的技术方案为一种无人机飞行角度智能控制方法，包括步骤：
S1：无人机起飞至所需高度，开启人脸检测功能，搜寻人脸。
S2：启用人脸识别***，对比所得人脸是否是目标人脸，如果是，则锁定目标人脸，如果不是则返回S1。
S3：根据S1、S2所得信息，使用人脸偏转角度算法，获得人脸偏转角度信息。
S4：根据人脸角度偏转信息，对无人机飞行的偏转角进行控制。
进一步地，步骤S1中所述的所需高度一般为人脸所在高度，是为了确保无人机起飞后，在云台无转动的状态下，人脸可以出现在镜头画面中。
进一步地，步骤S2所述人脸识别方法包括如下步骤：
201，采用深度卷积神经网络对目标人脸进行处理，将得到的特征数据预先存入数据库；
202，根据人脸检测得到的眼鼻嘴等关键点位置对要识别的人脸进行一定的预处理，然后将预处理过后的人脸图像送入深度卷积神经网络，得到该人脸的特征数据；
203，将202获得的人脸特征数据，与数据库中目标人脸特征数据进行比对，验证是否是同一人脸。
进一步地，步骤S3所述人脸偏转角度估算方法包括如下步骤：
301提取人脸检测过程中获得的目标人脸的双眼坐标信息，鼻尖坐标信息，人脸框中心点坐标信息输入角度估算模块；
302将目标人脸特征信息带入人脸偏转角度估算公式，获取人脸偏转方向和偏转角度。
所述人脸偏转角度估算公式是以人脸发生偏转时，人脸的五官在图像中的相对位置将呈现不同的变化规律为基础，采用数据回归的方法进行逼近获得的。
本发明的有益效益主要体现在：
本方法只使用单目摄像头即可实现人脸偏转角度的计算，降低了无人机设计成本；并且本方法原理简单，易于实现；通过本方法的实施，飞机可自主完成人脸检测与识别，完成人脸角度识别，用户想要调整拍摄角度时，只需输入想要的拍摄角度，无人机即可根据已知的角度基准自行控制飞行角度，到达拍摄机位。
附图说明
图1为根据本发明一个实施例的无人机位于正脸位左前方时，双眼与鼻尖位置示意图
图2为根据本发明实施例中人脸框在非中心区域时偏移量示意图
图3为根据本发明实施例中无人机从正脸左前方飞到正脸正前方的示意图
图4为根据本发明实施例中无人机从正脸左前方飞到正脸正前方的效果图
具体实施方式
下面结合附图和具体实施例对本发明提供的一种无人机飞行角度智能控制方法进行详细描述。
S1：无人机起飞至所需高度，开启人脸检测功能，搜寻人脸。
在本实施实例中，所需高度为1.6米，无人机起飞后，开启人脸检测功能，如当前视野中检测不到人脸，无人机悬停在当前位置，然后自转寻找人脸，如找到人脸则进行下一步人脸识别，如旋转两周仍找不到人脸，则自动降落，停止工作。
S2：启用人脸识别***，
根据人脸检测***检测到的眼、鼻、嘴等关键点位置，对要识别的人脸进行一定的预处理，包括人脸方向调整、人脸大小调整等，使得人脸大小方向可以与神经网络中人脸模板五官位置对应，然后将预处理过后的人脸图像送入深度卷积神经网络，得到该人脸的特征数据；
将获得的人脸特征数据，与数据库中预先存储的目标人脸特征数据进行比对，验证是否是同一人脸，如果是，则锁定目标人脸，如果不是则返回S1继续搜寻人脸，如旋转两周仍找不到目标人脸，则自动降落，停止工作。
S3：根据S1、S2所得信息，使用人脸偏转角度算法，获得人脸偏转角度信息。
本发明所述人脸偏转角度为人脸正脸所在平面的垂线与无人机镜头中轴线所成夹角，即包括人脸的左右偏转和左右倾斜，不包括人脸的上下俯仰。由于人脸发生偏转时，人脸的五官在图像中的相对位置将呈现不同的变化规律，左右倾斜时可在偏转的基础上作修正补偿，对此可以采用数据回归的方法进行逼近，本实施实例将采用多项式拟合的方法来标定人脸偏转角度与五官在图像中相对位置的关系，下面为详细过程。
一、首先当人脸处于图像中心区域时，采集了不同偏转角度下未倾斜的人脸图像数据，经过人脸识别算法后得到如下结果：
随着偏转角度的增大，图像算法识别出的两个眼的间距逐渐靠近，鼻子位置逐渐偏离两眼的中间位置，采用多项式拟合的方法建立偏转角度和鼻子偏离两眼中间位置的相对偏移量的关系。
经过多次仿真测试，图像中央区域时人脸的偏转角度和鼻子偏离两眼中间位置的相对偏移量的关系可以用多项式拟合进行逼近，如下：
其中Q表示人脸偏转的角度，L表示相对偏移量。
如图1所示，A和B为两眼在图像中的位置，C为鼻尖的位置，O为两眼的中点，D为C到AB的垂足，则相对偏移量L可以表示为如下表达式：
L＝OD/AB
其中，符号定义如下：
当D位于O的左边时，误差符号为正，此时摄像头拍到的是人脸的左侧脸，人脸相对向右偏转；
当D位于O的右边时，误差符号为负，此时摄像头拍到的是人脸的右侧脸，人脸相对向左偏转。
二、人脸框在非中心区域时，随着人脸的位置逐渐偏离中央区域，求得的Q值与人脸实际偏转角度相差越大，所以需要作一个误差修正。该修正模型与图像水平(宽度维)、垂直(高度维)维度的偏移量有关，也与两眼的直线斜率有关，该直线斜率描述了人脸的倾斜程度，正常情况下，人脸处于不倾斜的状态，此时斜率为0。通过分析可以知道，倾斜越大，将越削弱宽度维偏移量的影响，从而向高度维偏移量转移，极端情况下，人脸倾斜90度时，宽度维偏移量将基本无影响，而高度维偏移量将影响误差修正，起主导作用。
假定两个维度对误差的影响并无耦合，对此可以采用互补加权的方式来描述误差修正模型，如下所示：
Q'＝Q-f(ΔU,ΔV,k)
其中：Q'为修正后的人脸角度偏转量；ΔU为脸框中心点距离视野中心点横向偏移距离、ΔV为脸框中心点距离视野中心点纵向偏移距离；k为两眼位置连线AB与X轴斜率。
f(ΔU,ΔV,k)＝1/(b5*k^4+1)*f(ΔU)+[1-1/(b6*k^4+1)]*f(ΔV)
k＝1时，两者影响一样，则b5＝b6＝1，由于宽度维和高度维两个维度的相对偏移量对角度的影响是等效的，所以采用相同的多项式模型进行描述，经过多次仿真分析，采用多项式时可以很好的描述误差修正量，如下：
特别地m-n＝1。
三、依次将人脸处于图像中的不同区域，采集-70°～+70°之间的角度对应图像，根据图像中心区域的数据对表达式1进行标定，可以求解出ai值，带入已知ai的值，利用表达式1可以求出任意区域下的角度，利用采集的不同区域已知的角度减去表达式1求解出的角度，即可算出误差矩阵数值，根据求解出的误差矩阵数值对表达式3进行标定，可以求解出bh值。获得完整的人脸偏转角度计算表达式。
利用上述人脸偏转角度计算表达式，可以根据人脸双眼、鼻尖、人脸框中心点及画面中心点，五个点的相互关系求解画面中任意区域人脸的偏转角度。
S4：根据人脸角度偏转信息，对无人机飞行的偏转角进行控制。
以S3求得的目标人脸偏转角度与偏转方向基准，用户可以直接设置想要的拍照角度，***将自动对无人机所需偏转角度进行计算，控制无人机飞到目标角度位置。
上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变形。
Claims (7)
1.一种无人机飞行角度智能控制方法，其特征在于包括如下步骤：
S1：无人机起飞至所需高度，开启人脸检测功能，搜寻人脸。
S2：启用人脸识别***，对比所得人脸是否是目标人脸，如果是，则锁定目标人脸，如果不是则返回S1。
S3：根据S1、S2所得信息，使用人脸偏转角度算法，获得人脸偏转角度信息。
S4：根据人脸角度偏转信息，对无人机飞行的偏转角进行控制。
2.根据权利要求1所述一种无人机飞行角度智能控制方法，其特征在于所述偏转角度为人脸正脸所在平面的垂线与无人机镜头中轴线夹角。
3.根据权利要求1所述一种无人机飞行角度智能控制方法，其特征在于步骤S1所述所需高度一般为人脸所在高度，是为了确保无人机起飞后，在云台无转动的状态下，人脸可以出现在镜头画面中。
4.根据权利要求1所述一种无人机飞行角度智能控制方法，其特征在于步骤S2所述人脸识别方法包括如下步骤：
201，采用深度卷积神经网络对目标人脸进行处理，将得到的特征数据预先存入数据库；
202，根据人脸检测得到的眼鼻嘴等关键点位置对要识别的人脸进行一定的预处理，然后将预处理过后的人脸图像送入深度卷积神经网络，得到该人脸的特征数据；
203，将202获得的人脸特征数据，与数据库中目标人脸特征数据进行比对，验证是否是同一人脸。
5.根据权利要求1所述一种无人机飞行角度智能控制方法，其特征在于步骤S3所述包括如下步骤：
301提取人脸检测过程中获得的目标人脸的特征值信息输入角度估算模块；
302将目标人脸特征值信息带入人脸偏转角度估算公式，获取人脸偏转方向和偏转角度。
6.根据权利要求5所述的方法，其特征在于，所述中目标人脸特征值信息包括五官位置信息及人脸矩形框位置信息。
7.根据权利要求5所述的方法，其特征在于，所述人脸偏转角度估算公式是以人脸发生偏转时，人脸的五官在图像中的相对位置将呈现不同的变化规律为基础，采用数据回归的方法进行逼近获得的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710628685.8A CN107390722A (zh) | 2017-07-28 | 2017-07-28 | 一种无人机飞行角度智能控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710628685.8A CN107390722A (zh) | 2017-07-28 | 2017-07-28 | 一种无人机飞行角度智能控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107390722A true CN107390722A (zh) | 2017-11-24 |
Family
ID=60341944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710628685.8A Pending CN107390722A (zh) | 2017-07-28 | 2017-07-28 | 一种无人机飞行角度智能控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107390722A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960026A (zh) * | 2018-03-10 | 2018-12-07 | 王洁 | 无人机飞行方向分析*** |
| CN110647813A (zh) * | 2019-08-21 | 2020-01-03 | 成都携恩科技有限公司 | 一种基于无人机航拍的人脸实时检测识别方法 |
| CN111580546A (zh) * | 2020-04-13 | 2020-08-25 | 深圳蚁石科技有限公司 | 无人机自动返航方法和装置 |
| CN117406777A (zh) * | 2023-11-17 | 2024-01-16 | 广州源颢工程信息技术有限公司 | 用于水利测绘的无人机云台智能控制方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100691348B1 (ko) * | 2005-12-21 | 2007-03-12 | 고정환 | 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템 |
| CN103793693A (zh) * | 2014-02-08 | 2014-05-14 | 厦门美图网科技有限公司 | 一种人脸转向的检测方法及其应用该方法的脸型优化方法 |
| CN105979147A (zh) * | 2016-06-22 | 2016-09-28 | 上海顺砾智能科技有限公司 | 一种无人机智能拍摄方法 |
| CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN106339006A (zh) * | 2016-09-09 | 2017-01-18 | 腾讯科技（深圳）有限公司 | 一种飞行器的目标跟踪方法和装置 |
| CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
-
2017
- 2017-07-28 CN CN201710628685.8A patent/CN107390722A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100691348B1 (ko) * | 2005-12-21 | 2007-03-12 | 고정환 | 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템 |
| CN103793693A (zh) * | 2014-02-08 | 2014-05-14 | 厦门美图网科技有限公司 | 一种人脸转向的检测方法及其应用该方法的脸型优化方法 |
| CN105979147A (zh) * | 2016-06-22 | 2016-09-28 | 上海顺砾智能科技有限公司 | 一种无人机智能拍摄方法 |
| CN106022317A (zh) * | 2016-06-27 | 2016-10-12 | 北京小米移动软件有限公司 | 人脸识别方法及装置 |
| CN106339006A (zh) * | 2016-09-09 | 2017-01-18 | 腾讯科技（深圳）有限公司 | 一种飞行器的目标跟踪方法和装置 |
| CN106815566A (zh) * | 2016-12-29 | 2017-06-09 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960026A (zh) * | 2018-03-10 | 2018-12-07 | 王洁 | 无人机飞行方向分析*** |
| CN108960026B (zh) * | 2018-03-10 | 2019-04-12 | 王梦梦 | 无人机飞行方向分析*** |
| CN110647813A (zh) * | 2019-08-21 | 2020-01-03 | 成都携恩科技有限公司 | 一种基于无人机航拍的人脸实时检测识别方法 |
| CN111580546A (zh) * | 2020-04-13 | 2020-08-25 | 深圳蚁石科技有限公司 | 无人机自动返航方法和装置 |
| CN117406777A (zh) * | 2023-11-17 | 2024-01-16 | 广州源颢工程信息技术有限公司 | 用于水利测绘的无人机云台智能控制方法及装置 |
| CN117406777B (zh) * | 2023-11-17 | 2024-03-19 | 广州源颢工程信息技术有限公司 | 用于水利测绘的无人机云台智能控制方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107390722A (zh) | 一种无人机飞行角度智能控制方法 | |
| CN113038016B (zh) | 无人机图像采集方法及无人机 | |
| CN110222581B (zh) | 一种基于双目相机的四旋翼无人机视觉目标跟踪方法 | |
| US12007794B2 (en) | Method and apparatus for tracking moving target and unmanned aerial vehicle | |
| WO2017000875A1 (zh) | 飞行器及其避障方法和*** | |
| CN106973221B (zh) | 基于美学评价的无人机摄像方法和*** | |
| CN105197252B (zh) | 一种小型无人机降落方法及*** | |
| CN107703951B (zh) | 一种基于双目视觉的无人机避障方法及*** | |
| CN103885573B (zh) | 车用显示***的自动校正方法及其*** | |
| US20200378760A1 (en) | Hover control | |
| CN106873619B (zh) | 一种无人机飞行路径的处理方法 | |
| US20170267334A1 (en) | Unmanned aerial vehicle and landing method thereof | |
| CN109753076A (zh) | 一种无人机视觉追踪实现方法 | |
| CN110799921A (zh) | 拍摄方法、装置和无人机 | |
| CN105444741B (zh) | 基于双视野窗口的路径特征识别、偏差测量与精确定位方法 | |
| CN103558910A (zh) | 一种自动跟踪头部姿态的智能显示器*** | |
| CN108076267A (zh) | 摄像装置、摄像***以及距离信息获取方法 | |
| CN105929837B (zh) | 小型无人旋翼机自主着陆位姿估计方法 | |
| CN108985193A (zh) | 一种基于图像检测的无人机航拍人像对准方法 | |
| CN105187723A (zh) | 一种无人飞行器的摄像处理方法 | |
| CN106096621B (zh) | 基于矢量约束的着降位置检测用随机特征点选取方法 | |
| CN110210333A (zh) | 一种自动聚焦式虹膜图像采集方法及装置 | |
| CN106233330A (zh) | 用于在用于车辆的立体视频***内识别相对偏航角改变的方法和控制设备 | |
| CN106650701A (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| CN109997091B (zh) | 用于管理3d飞行路径的方法和相关*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171124 |