CN114332639B - 一种非线性残差自注意力机制的卫星姿态视觉测量方法 - Google Patents
一种非线性残差自注意力机制的卫星姿态视觉测量方法 Download PDFInfo
- Publication number
- CN114332639B CN114332639B CN202111439614.6A CN202111439614A CN114332639B CN 114332639 B CN114332639 B CN 114332639B CN 202111439614 A CN202111439614 A CN 202111439614A CN 114332639 B CN114332639 B CN 114332639B
- Authority
- CN
- China
- Prior art keywords
- attention mechanism
- self
- satellite
- image
- satellite attitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 37
- 238000000691 measurement method Methods 0.000 title claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 230000004913 activation Effects 0.000 claims abstract description 4
- 230000007547 defect Effects 0.000 claims abstract 2
- 238000012805 post-processing Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 10
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 230000006835 compression Effects 0.000 abstract 1
- 238000007906 compression Methods 0.000 abstract 1
- 230000001737 promoting effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种非线性残差自注意力机制的卫星姿态视觉测量方法。所述测量方法流程包括：构建卫星姿态旋转数据集，获取图像单通道矩阵，通过卷积神经网络提取局部特征，位置编码器对局部特征进行位置编码，非线性残差自注意力机制对位置编码后的图像特征进行学习，通过全连接层输出姿态测量信息。使用单通道图像匹配自注意力机制只能处理二维矩阵的特点，可以保留图像位置信息和压缩模型大小。针对自注意力机制的缺陷，引入非线性激活函数和残差网络，提出了一种非线性残差自注意力机制，可以提升模型表达能力和训练效率。本发明实施例基于视觉和深度学习算法，观测手段方便，解算卫星姿态信息快捷，为推动我国空间非合作目标探测发展提供了理论和技术基础。
Description
技术领域
本发明涉及目标探测领域，特别涉及一种非线性残差自注意力机制的卫星姿态视觉测量方法。
背景技术
非合作目标探测在空间防卫、在轨维修等问题上具有极高的应用价值，对我国太空安全起着至关重要的作用。然而，目前针对非合作目标的探测技术手段有限，基于视觉的非合作目标探测手段较为容易，但是在解算图像信息时，对相关算法的识别精度要求高。如何能够有效的进行基于视觉信息的非合作目标探测是解决该类问题的重要技术手段，能够有效的维护我国空天安全。
自注意力机制是transformer的核心组件，针对图像信息，目前主要使用视觉transformer。由于自注意力机制只能对二维矩阵进行建模学***成，从而组成二维矩阵输入至自注意力机制中。基于视觉的transformer为了将图像信息转化为二维矩阵，损失了图像的空间位置信息。在测量非合作目标姿态信息时，需要尽可能的保留图像像素间的位置信息。
申请号为CN202010387890.1的发明专利公开了“微纳卫星姿态估计方法”，通过使用姿态测量敏感器观测卫星姿态信息，并用相关算法减小测量误差，但是该方法对非合作目标并不适用。专利号为CN201910776312.4的发明专利公开了“卫星姿态的测量方法及装置”，通过使用姿态运动学原理解算姿态转换矩阵，从而估计卫星姿态信息，该方法在识别效率上低于深度学习方法。
发明内容
(一)发明目的
本发明的目的是提供通过一种非线性残差自注意力机制的卫星姿态视觉测量方法。本发明通过视觉的手段测量卫星姿态信息，将卫星图像的单通道矩阵输入所提模型中，在保留卫星姿态位置信息的同时可以压缩深度学习识别模型。提出一种非线性残差自注意力机制，可以有效优化权重矩阵。
(二)技术方案
本发明的技术解决方案，一种非线性残差自注意力机制的卫星姿态视觉测量方法，其特征在于，包括：构建卫星姿态旋转数据集，卫星姿态图像数据预处理，通过卷积神经网络提取卫星图像的局部特征，位置编码器对局部特征进行位置编码，非线性残差自注意力机制对编码图像特征进行再次特征提取，通过后处理模块处理特征，最后通过全连接层输出姿态预测信息，该方法的由如下步骤构成。
通过3DMax仿真出某型号卫星模型，通过3DMax画脚本编辑功能将3D卫星模型按一定的角度进行旋转并保存，同时标记旋转角度信息，构建卫星姿态旋转数据集。
在获取卫星姿态旋转数据集后，对卫星图片信息进行预处理，使用OpenCV读取图像数据，并将三通道的图像数据矩阵保存为单通道的二维矩阵数据。
使用卷积神经网络提取单通道图像的局部特征，在此处可以分别提取同一张图像的三个通道矩阵特征，也可以提取某一通道矩阵特征，或者将三个通道矩阵特征相加求其平均值矩阵，使用卷积神经网络提取平均值矩阵特征。
使用位置编码器对卷积网络提取后的特征进行位置编码，让每个卷积后的特征矩阵与位置编码器矩阵拼接，得到含位置信息的特征矩阵。
将含有位置信息的矩阵输入至非线性残差自注意力机制中，非线性自注意力机制的机理如下：
将位置编码器编码后的二维特征矩阵A与三个权重矩阵相乘得到Qa,Ka,Va：
Wq、Wk、Wv分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，将得到的Qa,Ka,Va使用激活函数进行非线性操作：
然后将Q,K,V加上矩阵A，得到Q′,K′,V′：
计算自注意力值：
其中dk是键向量维度的平方根。
将输出的自注意力值传递到后处理模块，后处理模块由全局平均池化层和Dropout组成，后处理模块的主要作用是提升网络泛化能力，防止网络训练过程中的过拟合现象。
经过后处理模块的特征输入至全连接层中，该全连接层由多个神经元组成，表示输出的姿态角估计值。
将卫星姿态旋转数据集输入至深度学习网络中，设置网络学习参数，选择合适的损失函数，利用梯度下降法训练深度学习模型，通过不断地迭代训练使得损失函数收敛，最后得到基于卷积非线性残差自注意力机制的卫星姿态视觉测量模型。
本发明实现了基于卷积非线性残差自注意力机制的卫星姿态视觉测量。本发明使用了单通道图像提取方法，在使用自注意力机制时，可以保留图像像素间的位置信息，大幅降低网络模型训练参数量。并提出了一种残差非线性自注意力机制，可以提升模型表达能力和训练效率。
(三)本发明的主要优点
本发明的上述技术方案具有如下优点：本发明主要用于基于视觉的卫星姿态测量，同时可以应用到空间非合作目标探测领域。使用了卫星图像单通道二维矩阵特征，可以直接提供给自注意力机制，保留了卫星图像像素间的位置信息和降低了网络模型训练的参数量。提出了一种非线性残差自注意力机制，可以提升模型的学习表达能力和优化权重矩阵，进一步提高了深度学习网络模型训练效率。
附图说明
图1是本发明的流程框架图；
图2是本发明实施例卫星姿态旋转数据集部分样例图。
具体实施方式
为使本发明的技术方案、优点和目的更加清楚明了，结合具体实例说明了方法流程并参照附图，对本发明的技术方案进一步说明。
本发明实施例1，一种非线性残差自注意力机制的卫星姿态视觉测量方法，参见图1，按下述步骤进行：
通过3DMax仿真出某型号卫星模型，在使用3DMax软件画出某型号卫星的3D模型后，将3D卫星模型初始状态标记为[0,0,0]，使用3DMax动画脚本编辑功能，每隔0.1秒旋转一次，偏航角旋转3°，经过12秒该卫星模型的偏航角将旋转一周，经过12秒后，俯仰角旋转3°，以此类推，并在每次旋转后保存图像并标记位姿角度信息，通过该种方法生成卫星姿态旋转数据集，得到如图2所示的卫星姿态旋转数据集。同时按照9:1的比例将数据集随机划分成训练集和测试集。
在获取卫星姿态旋转数据集后，将训练集输入至网络，首先对卫星图片信息进行预处理，使用OpenCV读取图像数据，并将三通道的图像数据矩阵保存为单通道的二维矩阵数据。
使用卷积神经网络提取单通道图像的局部特征，在此处可以分别提取同一张图像的三个通道矩阵特征，也可以提取某一通道矩阵特征，或者将三个通道矩阵特征相加求其平均值矩阵，使用卷积神经网络提取平均值矩阵特征。
使用位置编码器对卷积网络提取后的特征进行位置编码，让每个卷积后的特征矩阵与位置编码器矩阵拼接，得到含位置信息的特征矩阵。
将含有位置信息的矩阵输入至非线性残差自注意力机制中，非线性自注意力机制的机理如下：
将位置编码器编码后的二维特征矩阵A与三个权重矩阵相乘得到Qa,Ka,Va：
Wq、Wk、Wv分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，将得到的Qa,Ka,Va使用激活函数进行非线性操作：
然后将Q,K,V加上A，得到Q′,K′,V′：
计算自注意力值：
其中dk是键向量维度的平方根。
将输出的自注意力值传递到后处理模块，后处理模块由全局平均池化层和Dropout层组成。全局平均池化层对网络进行正则化，防止过拟合。Dropout层的参数设置为0.5，即随机选择50％特征，提升模型的泛化能力。
经过后处理模块的特征输入至全连接层中，该全连接层由3个神经元组成，表示输出的姿态角估计值。
将卫星姿态旋转数据集输入至深度学习网络中，设置网络学习参数为0.0003，选择交叉熵损失函数，利用梯度下降法训练深度学习模型，通过不断地迭代训练使得损失函数收敛，最后得到基于卷积非线性残差自注意力机制的卫星姿态视觉测量模型。
在得到卫星姿态视觉测量模型后，将卫星姿态旋转数据集中测试集部分输入至该测量模型中，测量模型对输入图片进行特征计算，得到卫星姿态角估计值。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (4)
1.一种非线性残差自注意力机制的卫星姿态视觉测量方法，其特征在于，主要包括以下步骤：
步骤1、构建卫星旋转姿态数据集；
步骤2、卫星姿态图像数据预处理；
步骤3、通过卷积神经网络提取卫星图像的局部特征；
步骤4、位置编码器对局部特征进行位置编码；
步骤5、非线性残差自注意力机制对位置编码后的图像特征进行学习,非线性残差自注意力机制：
针对自注意力机制的缺陷，提出了一种非线性残差自注意力机制，可以提升模型表达能力和训练效率；将位置编码器编码后的二维特征矩阵A与三个权重矩阵相乘得到Qa,Ka,Va：
Wq、Wk、Wv分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，将得到的Qa,Ka,Va使用激活函数进行非线性操作：
其中σ(·)＝Sigmoid(·)，然后将Q,K,V加上A，得到Q′,K′,V′：
计算自注意力值：
其中dk是键向量维度的平方根；
步骤6、通过后处理模块处理特征；
步骤7、最后通过全连接层输出姿态预测信息。
2.根据权利要求1所述的一种非线性残差自注意力机制的卫星姿态视觉测量方法，其特征在于：
步骤1中，使用3DMax仿真出某型号卫星模型，通过3DMax将3D卫星模型按一定的角度进行旋转并保存，同时标记旋转角度信息，进而得到卫星姿态旋转数据集。
3.根据权利要求1所述的一种非线性残差自注意力机制的卫星姿态视觉测量方法，其特征在于：
步骤2中，进行卫星姿态图像数据预处理，使用OpenCV读取姿态图像，分别将图像RGB三个通道保存为三个矩阵。
4.根据权利要求1所述的一种非线性残差自注意力机制的卫星姿态视觉测量方法，其特征在于：
步骤3中，卷积神经网络提取卫星姿态图像三个矩阵的局部特征，此处可以使用一种通道的图像矩阵，也可以同时单独使用三种通道矩阵，或使用三个矩阵的加权平均值矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439614.6A CN114332639B (zh) | 2021-11-30 | 2021-11-30 | 一种非线性残差自注意力机制的卫星姿态视觉测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439614.6A CN114332639B (zh) | 2021-11-30 | 2021-11-30 | 一种非线性残差自注意力机制的卫星姿态视觉测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332639A CN114332639A (zh) | 2022-04-12 |
| CN114332639B true CN114332639B (zh) | 2023-12-22 |
Family
ID=81049278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111439614.6A Active CN114332639B (zh) | 2021-11-30 | 2021-11-30 | 一种非线性残差自注意力机制的卫星姿态视觉测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332639B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842078A (zh) * | 2022-04-14 | 2022-08-02 | 中国人民解放军战略支援部队航天工程大学 | 一种基于深度学习的双通道卫星姿态估计网络 |
| CN115439483B (zh) * | 2022-11-09 | 2023-03-24 | 四川川锅环保工程有限公司 | 一种高质量的焊缝及焊缝缺陷识别***、方法、存储介质 |
| CN116187210B (zh) * | 2023-05-04 | 2023-07-21 | 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) | 一种lstm耦合机理模型的时空多源近岸海域水质时序预测方法 |
| CN116342964B (zh) * | 2023-05-24 | 2023-08-01 | 杭州有朋网络技术有限公司 | 针对于电子商务平台的图片宣传的风控***及其方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325797A (zh) * | 2020-03-03 | 2020-06-23 | 华东理工大学 | 一种基于自监督学习的位姿估计方法 |
| CN113033072A (zh) * | 2021-02-08 | 2021-06-25 | 浙江大学 | 一种基于多头注意力指针网络的成像卫星任务规划方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8520052B2 (en) * | 2011-02-02 | 2013-08-27 | Microsoft Corporation | Functionality for indicating direction of attention |
| US20120328161A1 (en) * | 2011-06-22 | 2012-12-27 | Palenychka Roman | Method and multi-scale attention system for spatiotemporal change determination and object detection |
-
2021
- 2021-11-30 CN CN202111439614.6A patent/CN114332639B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325797A (zh) * | 2020-03-03 | 2020-06-23 | 华东理工大学 | 一种基于自监督学习的位姿估计方法 |
| CN113033072A (zh) * | 2021-02-08 | 2021-06-25 | 浙江大学 | 一种基于多头注意力指针网络的成像卫星任务规划方法 |
Non-Patent Citations (2)
| Title |
|---|
| Defensive Self-Esteem Impacts Attention, Attitude Strength, and Self- Affirmation Processes;Geoffrey Haddock;《Journal of Experimental Social Psychology》;1-44 * |
| 遥感卫星智能操控技术发展研究;刘晓敏;《航天器工程》;107-116 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332639A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114332639B (zh) | 一种非线性残差自注意力机制的卫星姿态视觉测量方法 | |
| Lu et al. | Monocular semantic occupancy grid mapping with convolutional variational encoder–decoder networks | |
| CN108108764B (zh) | 一种基于随机森林的视觉slam回环检测方法 | |
| CN110852182B (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
| CN114863573B (zh) | 一种基于单目rgb-d图像的类别级6d姿态估计方法 | |
| CN114666564B (zh) | 一种基于隐式神经场景表示进行虚拟视点图像合成的方法 | |
| CN111079683A (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
| CN110910437B (zh) | 一种复杂室内场景的深度预测方法 | |
| CN111652273B (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及*** | |
| CN112700489B (zh) | 基于深度学习的船基视频图像海冰厚度测量方法及*** | |
| Chen et al. | Building area estimation in drone aerial images based on mask R-CNN | |
| CN111768452A (zh) | 一种基于深度学习的非接触式自动贴图方法 | |
| CN110895697A (zh) | 变压器铭牌信息采集方法及智能采集*** | |
| CN115588038A (zh) | 一种多视角深度估计方法 | |
| CN113139489A (zh) | 基于背景提取和多尺度融合网络的人群计数方法及*** | |
| CN115049945B (zh) | 一种基于无人机图像的小麦倒伏面积提取方法和装置 | |
| CN112949380A (zh) | 一种基于激光雷达点云数据的智能水下目标识别*** | |
| CN117671509B (zh) | 遥感目标检测方法、装置、电子设备及存储介质 | |
| CN116664856A (zh) | 基于点云-图像多交叉混合的三维目标检测方法、***及存储介质 | |
| CN115497002A (zh) | 一种多尺度特征融合的激光雷达遥感分类方法 | |
| CN116519106B (zh) | 一种用于测定生猪体重的方法、装置、存储介质和设备 | |
| CN116912645A (zh) | 融合纹理和几何特征的三维目标检测方法及装置 | |
| CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |