CN111580266B - 一种基于万向反射镜的空间目标探测方法 - Google Patents

一种基于万向反射镜的空间目标探测方法 Download PDF

Info

Publication number
CN111580266B
CN111580266B CN202010534647.8A CN202010534647A CN111580266B CN 111580266 B CN111580266 B CN 111580266B CN 202010534647 A CN202010534647 A CN 202010534647A CN 111580266 B CN111580266 B CN 111580266B
Authority
CN
China
Prior art keywords
camera
target
assembly
reflection
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010534647.8A
Other languages
English (en)
Other versions
CN111580266A (zh
Inventor
张小虎
张新
叶雪辀
甘叔玮
杨夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010534647.8A priority Critical patent/CN111580266B/zh
Publication of CN111580266A publication Critical patent/CN111580266A/zh
Application granted granted Critical
Publication of CN111580266B publication Critical patent/CN111580266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种基于万向反射镜的空间目标探测方法,可以实现小型化、低功耗、机动灵活的空间目标监视,不仅可以快速扫描周围空间,减小空间目标探测周期,而且便于对特定目标进行有效跟踪。同时,为了保证扫描视场的范围和效率、以更高分辨率观测空间目标,本发明设计了双视场成像模式,即以较大视场角(短焦距)的第一相机用于扫描和发现目标,以较小视场角(长焦距)的第二相机用于对目标以高分辨率清晰成像。这样既可保证快速、大范围的目标搜索,又可以对特定目标进行高分辨率成像,对于提升我国空间目标高分辨率探测水平、提高对空间目标的识别能力具有重要意义。

Description

一种基于万向反射镜的空间目标探测方法
技术领域
本发明涉及空间目标探测技术领域,具体是一种基于万向反射镜的空间目标探测方法。
背景技术
空间目标监视包括地基空间目标监视和天基空间目标监视两种手段。地基空间目标监视采用由各种地基光电探测器、雷达探测器及无线电信号探测器组成的监视网,对空间目标进行探测和跟踪。由于受传感器分辨率、地理位置和气象条件等限制,地基空间目标监视***在对空间目标的监测性能、范围、时效性等方面还存在诸多局限。以目前最先进的美国地基空间目标监视网为例,其探测能力为低轨道上10cm大小和地球同步轨道上1m大小的空间碎片,能够对约1万个空间目标进行跟踪与编目。天基空间目标监视是指通过安装在空间平台上的各种成像测量装置,对空间目标进行探测、跟踪和识别。
天基空间目标监视***能有效弥补地基目标监视***在地理部署方面存在的不足,并具有获取全天时、全天候、近实时空间态势感知数据的能力,其探测灵敏度与搜索覆盖率等性能也将大幅提高。为了更好的对空间目标进行扫描和跟踪,天基探测***的灵活性至关重要。例如美国SBSS***的成像***安装在两自由度的平台上,以便能进行视场扫描和对空间目标跟踪。但是现有的天基空间目标监视***在达到灵活性要求的同时,也使得天基空间目标监视***的结构更加复杂,能耗更多,运营成本与维护成本都大大提高。
发明内容
针对上述现有技术的不足,本发明提供一种基于万向反射镜的空间目标探测方法,可以实现小型化、低功耗、机动灵活的空间目标监视,不仅可以快速扫描周围空间,减小空间目标探测周期,而且便于对特定目标进行有效跟踪。
为实现上述目的,本发明提供一种基于万向反射镜的空间目标探测方法,包括如下步骤:
步骤1,将相机组件、测距组件、反射组件安装在卫星平台上,其中,相机组件与测距组件的光轴指向一致,反射组件的姿态可多自由度调整,进而将任意方向的光路引向相机组件;
步骤2,调整反射组件的姿态进行视场扫描,以对周围空间进行监视;
步骤3,在发现目标后,调整反射组件的姿态使得目标位于相机组件的成像中心,进而使得测距组件对准目标,获取当前时刻目标的方向信息、距离信息与成像信息,并基于成像信息完成对目标的识别分析;
步骤4,基于当前时刻目标的方向信息与距离信息以及相机组件与反射组件的相对位姿关系得到目标在相机坐标系下的位置,并根据坐标系传递得到目标在卫星平台坐标系下的位置;
步骤5,在目标运动过程中,调整反射组件的姿态实现对目标的持续跟踪,更新目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系,并基于更新后的目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系得到目标处于运动过程中时在卫星平台坐标系下的位置与运动轨迹。
进一步改进的,步骤5中,所述在目标运动过程中,调整反射组件的姿态实现对目标的持续跟踪,具体为:
在目标运动过程中,根据目标的成像信息与卫星平台自身姿态调整信息实时调整反射组件的姿态,进而实现对目标的持续跟踪。
进一步改进的,步骤5中,更新后的相机组件与反射组件的相对位姿关系的获取过程为:
基于反射组件与卫星平台之间的固连关系标定、相机组件与卫星平台之间的手眼关系标定,得到相机组件与反射组件的初始相对位姿关系;
基于反射组件的姿态调整信息、相机组件与反射组件的初始相对位姿关系,得到更新后的相机组件与反射组件的相对位姿关系。
进一步改进的,所述相机组件包括第一相机与第二相机,所述第一相机为大视场低分辨率相机,所述第二相机为小视场高分辨率相机,所述第一相机与第二相机的光轴指向一致;
步骤2中,所述调整反射组件的姿态进行视场扫描,以对周围空间进行监视,具体为:
调整反射组件的姿态进行视场扫描,以利用第一相机对周围空间进行监视。
进一步改进的,步骤3中,所述在发现目标后,调整反射组件的姿态使得目标位于相机组件的成像中心,具体为:
在发现目标后,调整反射组件的姿态使得目标位于第二相机的成像中心。
进一步改进的,所述调整反射组件的姿态使得目标位于第二相机的成像中心,具体为:
根据目标在第一相机视场图像上的位置得到目标与第一相机光轴指向的角度偏差;
根据目标与第一相机光轴指向的角度偏差调整反射组件的角度,使第一相机的光轴指向目标,即使目标位于第一相机的成像中心,由于第一相机与第二相机的光轴指向一致,所以目标也会位于第二相机的成像中心。
本发明提供的一种基于万向反射镜的空间目标探测方法,可以实现小型化、低功耗、机动灵活的空间目标监视,不仅可以快速扫描周围空间,减小空间目标探测周期,而且便于对特定目标进行有效跟踪。同时,为了保证扫描视场的范围和效率、以更高分辨率观测空间目标,本发明设计了双视场成像模式,即以较大视场角(短焦距)的第一相机用于扫描和发现目标,以较小视场角(长焦距)的第二相机用于对目标以高分辨率清晰成像。这样既可保证快速、大范围的目标搜索,又可以对特定目标进行高分辨率成像,对于提升我国空间目标高分辨率探测水平、提高对空间目标的识别能力具有重要意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例中的环境探测示意图;
图2为本发明实施例中基于万向反射镜的空间目标探测方法的第一种实施方式的流程图;
图3为本发明实施例中基于万向反射镜的空间目标探测方法在第一种实施方式时所采用探测***的结构示意图;
图4为本发明实施例中基于万向反射镜的空间目标探测方法的第二种实施方式的流程图;
图5为本发明实施例中基于万向反射镜的空间目标探测方法在第二种实施方式时所采用探测***的结构示意图。
图6为本发明实施例中平面镜反射相机成像示意图;
图7为本发明实施例中物方残差示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接,还可以是物理连接或无线通信连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
对于空间中的非合作目标,如空间碎片、其他在轨航天器等,探测器的首要任务是进行全视场的搜索以发现目标,然后定位出其相对于卫星平台的位置,即图1所示。
如图2所示为本实施例中一种基于万向反射镜的空间目标探测方法的第一种实施方式,采用如图3所示的基于万向反射镜的空间目标探测***,该基于万向反射镜的空间目标探测***由安装在卫星平台上的相机组件、测距组件、反射组件组成,其中,相机组件与测距组件的光轴指向一致,且相机组件的内参数及相机组件与反射组件的初始相对位姿关系均已标定,反射组件的姿态可多自由度调整,进而将任意方向的光路引向相机组件,本实施例中的相机组件采用一台单独的相机,发射组件采用姿态调整装置与平面镜组成,姿态调整装置能够带动平面镜进行姿态调整如上下翻转、左右旋转等,使得反射组件可将任意方向的光路引向相机组件,以此实现相机组件的360°全视场覆盖,在视场内搜索目标并对目标定向。
第一种实施方式具体包括如下步骤:
步骤1,将相机组件、测距组件、反射组件安装在卫星平台上;
步骤2,调整反射组件的姿态进行视场扫描,以对周围空间进行监视;
步骤3,在发现目标后,调整反射组件的姿态使得目标位于相机组件的成像中心,进而使得测距组件对准目标,获取当前时刻目标的方向信息与距离信息;
步骤4,基于当前时刻目标的方向信息与距离信息以及相机组件与反射组件的相对位姿关系得到目标在相机坐标系下的位置,并根据坐标系传递得到目标在卫星平台坐标系下的位置;
步骤5,在目标运动过程中,根据目标的成像信息与卫星平台自身姿态调整信息实时调整反射组件的姿态,进而实现对目标的持续跟踪,更新目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系,并基于更新后的目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系得到目标处于运动过程中时在卫星平台坐标系下的位置与运动轨迹,其中,更新后的相机组件与反射组件的相对位姿关系的获取过程为:基于反射组件与卫星平台之间的固连关系标定、相机组件与卫星平台之间的手眼关系标定,得到相机组件与反射组件的初始相对位姿关系;基于反射组件的姿态调整信息、相机组件与反射组件的初始相对位姿关系,得到更新后的相机组件与反射组件的相对位姿关系。
上述的基于万向反射镜的空间目标探测方法的第一种实施方式为了有效的保持胎侧范围,采用的是1度到几度的视场范围的单台相机,但是这一方式较低了成像的分辨率,使得探测***仅仅只能实现对目标的定位与跟踪功能,无法对目标进行有效的识别。基于此,本实施例给出了基于万向反射镜的空间目标探测方法的第二种实施方式,其采用双视场成像模式,以较大视场角(短焦距)的相机用于扫描和发现目标,以较小视场角(长焦距)的相机用于对目标以高分辨率清晰成像。这样既可保证快速、大范围的目标搜索,又可以对特定目标进行高分辨率成像。
大视场相机焦距相对较短,视场角度相对较大,能够同时观测比较大的区域,这样有利于对周围空间进行快速的目标搜索。但是大视场相机观测目标的分辨率有限,即目标在大视场相机所成的图像上相对较小,这样不利于目标的识别。为此,第二实时方式中另行配置一个小视场相机,小视场相机焦距较大,能够对远距离目标更为清晰的成像,使目标在图像上相对较大,就更容易进行识别。在大视场相机搜索到空间目标后,由目标在相机所成图像上的位置,可以计算出目标相对于平台的方位。再根据计算得到的目标方位,调整反射组件的姿态,使目标能够在小视场相机的视场内,这样就可以通过小视场相机对目标进行高分辨率的清晰成像。在实际应用时,可以使两个相机的光轴指向一致(在一定的误差范围内),这样只要大视场相机搜索到目标后,通过调整反射镜的角度,直接使目标位于大视场相机的图像中央,就能够保证目标在小视场相机的成像范围内,能够被小视场相机完整成像。
如图4所示为本实施例中一种基于万向反射镜的空间目标探测方法的第二种实施方式,采用如图5所示的基于万向反射镜的空间目标探测***,该基于万向反射镜的空间目标探测***同样由安装在卫星平台上的相机组件、测距组件、反射组件组成,其中,机组件包括第一相机与第二相机,第一相机为大视场低分辨率相机,第二相机为小视场高分辨率相机,第一相机、第二相机与测距组件的光轴指向一致,且第一相机、第二相机的内参数及第一相机、第二相机与对应反射组件的初始相对位姿关系均已标定,反射组件的姿态可多自由度调整,进而将任意方向的光路引向第一相机与第二相机,发射组件采用姿态调整装置与平面镜组成,姿态调整装置能够带动平面镜进行姿态调整如上下翻转、左右旋转等,使得反射组件可将任意方向的光路引向第一相机与第二相机,以此实现第一相机与第二相机的360°全视场覆盖,在视场内搜索目标并对目标定向以及成像识别。
第二种实施方式具体包括如下步骤:
步骤1,将第一相机、第二相机、测距组件、反射组件安装在卫星平台上;
步骤2,调整反射组件的姿态进行视场扫描,以利用第一相机对周围空间进行监视;
步骤3,在发现目标后,根据目标在第一相机视场图像上的位置得到目标与第一相机光轴指向的角度偏差,根据目标与第一相机光轴指向的角度偏差调整反射组件的角度,使第一相机的光轴指向目标,即使目标位于第一相机的成像中心,由于第一相机与第二相机的光轴指向一致,所以目标也会位于第二相机的成像中心,同时使得测距组件对准目标,获取当前时刻目标的方向信息、距离信息与成像信息,并基于成像信息完成对目标的识别分析;
步骤4,基于当前时刻目标的方向信息与距离信息以及第二相机与反射组件的相对位姿关系得到目标在相机坐标系下的位置,并根据坐标系传递得到目标在卫星平台坐标系下的位置;
步骤5,在目标运动过程中,根据目标的成像信息与卫星平台自身姿态调整信息实时调整反射组件的姿态,进而实现对目标的持续跟踪,更新目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系,并基于更新后的目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系得到目标处于运动过程中时在卫星平台坐标系下的位置与运动轨迹,其中,更新后的相机组件与反射组件的相对位姿关系的获取过程为:基于反射组件与卫星平台之间的固连关系标定、相机组件与卫星平台之间的手眼关系标定,得到相机组件与反射组件的初始相对位姿关系;基于反射组件的姿态调整信息、相机组件与反射组件的初始相对位姿关系,得到更新后的相机组件与反射组件的相对位姿关系。
下面对上述基于万向反射镜的空间目标探测方法的两种实时方式中的基于反射组件反射的相机位姿估计、相机与卫星平台位姿关系的手眼标定、空间目标相对卫星平台的位置计算进行进一步的说明。
1.基于反射组件反射的相机位姿估计方法
本实施例中的反射组件为平面镜,利用平面镜反射,改变相机的视场范围,可以使得相机通过平面镜反射对参考点进行成像,其中,参考点即相当于本实施例中的空间目标。通过移动平面镜位置,即改变反射组件的姿态,可以对参考点进行多次成像,利用多次成像之间的几何关系,则可确定相机与参考点的位姿关系,同时也可确定出每次成像时平面镜的位置。通过该步骤,得到空间目标点在相机坐标系下的坐标PC,具体包括如下过程。
(1)建立平面镜反射成像模型
考虑到一个平面镜,在世界坐标系下表示为π={n,d},其中单位向量n表示平面镜平面的法向量,标量d表示世界坐标系原点到平面镜的距离。则平面镜上的点X满足:
nTX=d (1)
点P相对于平面镜的反射虚拟点
Figure BDA0002536585450000071
之间的关系可以表示为:
Figure BDA0002536585450000072
很容易推导出变换矩阵:
Figure BDA0002536585450000073
其中,很显然S=S-1,I-2nnT是Householder矩阵。为与真实点进行区分,虚拟点的符号在上面加波浪线。
相机坐标系与世界坐标系的刚体变换可以表示为:
Figure BDA0002536585450000081
其中,R为旋转矩阵,T为偏移向量。
一般的,相机的成像模型选择透视成像模型。因此基于平面镜的反射成像模型可以理解为真实相机对镜面反射的虚拟点的成像,表示为:
Figure BDA0002536585450000082
其中,v=[u v 1]T为像点归一化齐次坐标,I是3×3的单位矩阵。相机位姿估计问题即是求解T的过程。
Figure BDA0002536585450000083
则:
Figure BDA0002536585450000084
从而有:
Figure BDA0002536585450000085
Figure BDA0002536585450000086
如图6所示为相机经过平面镜反射成像过程。如果将真实相机对虚拟点的成像理解为虚拟相机对真实点的成像,则
Figure BDA0002536585450000087
相当于是虚拟相机的位姿矩阵。
(2)建立平面镜反射的旋转平均模型
这里用旋转平均描述平面镜反射的位姿问题。根据平面镜反射成像模型得到的姿态旋转矩阵的约束方程为:
Figure BDA0002536585450000088
容易得到,绕n旋转π角度的旋转矩阵具有形式,为:
R(n,π)=2nnT-I
因此,姿态的约束方程就可以写为:
Figure BDA0002536585450000089
容易看出,其目的就是要通过多个
Figure BDA00025365854500000810
求解R和所有n,也就是已知所有虚拟相机的姿态矩阵,求解真实相机的姿态和所有平面镜位置的法向量。本实施例中把这种情况的旋转平均称为反射旋转平均,是旋转的旋转平均的一个特例。为了消除非正常旋转矩阵的影响,设
Figure BDA00025365854500000811
类似前面的描述,反射旋转平均也可以描述为:
Figure BDA00025365854500000812
对于反射旋转平均模型的求解,可采用最小化弦距离2范数法、四元数法直接求解,也可将上述问题转化为其他类型的旋转平均问题进行求解。
对于M次观测,若采用最小化弦距离2范数,则反射旋转平均问题转化为:
Figure BDA0002536585450000091
可以得到,这个问题的最优解为:
Figure BDA0002536585450000092
Figure BDA0002536585450000093
其中U和V满足G=UΣVT,也就是G的SVD分解,而G定义为:
Figure BDA0002536585450000094
S为对角矩阵,S=diag(1 1 det(UVT)),
Figure BDA0002536585450000095
表示非正常旋转矩阵
Figure BDA0002536585450000096
特征值为-1对应的特征向量。
(3)基于平面镜反射的位姿估计
下面给出完整的基于平面镜反射旋转平均模型的位姿估计算法。首先利用传统的位姿估计方法求解所有虚拟摄像机的位姿,再利用前面描述的旋转平均模型求解真实摄像机姿态和所有平面镜位置的法向量,最后再求出真实摄像机平移向量和所有平面镜位置的距离参数。
设虚拟相机的位姿为
Figure BDA0002536585450000097
重写成像模型,得到:
Figure BDA0002536585450000098
而此时
Figure BDA0002536585450000099
属于正常旋转矩阵,因此,可以采用正常真实相机的位姿估计解决虚拟相机的位姿估计问题。只需先将参考点坐标取负,利用传统的位姿估计方法求得位姿之后,再将旋转矩阵取负即可。需要注意,虚拟相机的内参与真实相机的内参相同。对于多次移动平面镜位置获得的多次成像,则需要进行多次虚拟相机的位姿估计。
设一共有M个平面镜的位置,使得相机对不能直接观测的参考点进行了M次成像,获得了M个虚拟相机的姿态矩阵,根据约束,得到:
Figure BDA00025365854500000910
再利用反射旋转平均模型的解法进行求解,得到真实相机的姿态矩阵R和所有的平面镜位置的法向量nj。由于有多种解法,这里采用基于矩阵SVD分解的解法。
对于求解真实摄像机平移向量和平面镜距离参数,有三种解法:①直接使用平移量约束求解②采用物方残差最小求解③利用镜面反射对称性求解。下面给出物方残差最小求解法的详细步骤:
参考图7,第i个虚拟物点Pi在第j个镜子π={nj,dj}的视图成像的虚拟物方残差表示为:
Figure BDA0002536585450000101
其中
Figure BDA0002536585450000102
为误差投影矩阵,
Figure BDA0002536585450000103
表示第i个物点在第j个镜子的视图的图像归一化齐次坐标。显然有:
Figure BDA0002536585450000104
所以
Figure BDA0002536585450000105
即物方残差与虚拟物方残差的模相等。建立物方残差平方和最小化函数:
Figure BDA0002536585450000106
若R,n1,…,nM已知,很容易看出,
Figure BDA0002536585450000107
是t和dj的线性函数,故将物方残差写成矩阵形式为:
Figure BDA0002536585450000108
将上式所有的物方残差用矩阵写在一起,为:
AZ=b+e
其中
Figure BDA0002536585450000109
Figure BDA00025365854500001010
Figure BDA00025365854500001011
求解t和所有dj以最小化物方残差,只需要通过:
Figure BDA00025365854500001012
就可以直接获得最优t和所有的最优dj
2.相机与卫星平台位姿关系的手眼标定
相机载体可以做运动参数精确已知的可控运动,即基准系的运动可控,则可以通过手眼定标的方法来标定相机相对于基准系的位姿参数。
手眼定标问题源于眼在手上的机器人***的应用。相机是手眼***中的“眼”,而机器人的末端执行器是手眼***中的“手”。相机固定安装在末端执行器上。末端执行器的运动三维平移和三维转动可控,要求标定相机与末端执行器之间的相对位姿关系。
在实施例中,相机固定安装在其载体上,基准坐标系定义在此载体上。如果相机载体的运动可控,则相机与基准系间的相对位姿可以通过手眼定标的方式来标定。
基准系的运动可控,因而,描述处于不同位置时基准系之间相对位姿关系的旋转矩阵RBjB0和平移向量TBjB0为已知。通过采集标定参照物图像进行相机标定得到处于不同位置时相机相对于标定参考坐标系的外参数REC0、TEC0和RECj、TECj。处于不同位置时相机之间的相对位姿由旋转矩阵RCjC0和平移向量TCjC0来描述。相机与基准系间的相对位姿由旋转矩阵RBC和平移向量TBC描述,而且在各个采图位置,这一关系是不变的。RBC和TBC就是需要通过手眼定标求解的参数。
Figure BDA0002536585450000111
则得到手眼定标问题的基本方程为:
Figure BDA0002536585450000112
根据互为逆变换的旋转矩阵的关系,式中
Figure BDA0002536585450000113
一般用“两步法”求解上述基本方程,即先从第一式求出R,再带入第二式求解TBC
3.空间目标相对卫星平台的位置计算
基于前两步的计算,以及目标检测算法得到的空间目标在图像上的坐标值,可以推导出空间目标相对卫星平台位置的计算公式。
空间目标点P在卫星平台坐标系(基准坐标系)中的坐标PB与其在相机坐标系中的坐标PC之间的坐标转换关系可以描述为:
PC=RBCPB+TBC
其中RBC和TBC是已经标定得到的相机与卫星平台之间的相对位姿参数。
PC已经通过基于平面镜反射的相机位姿估计方法求得,则有:
PB=(RBC)-1(PC-TBC)。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种基于万向反射镜的空间目标探测方法,其特征在于,包括如下步骤:
步骤1,将相机组件、测距组件、反射组件安装在卫星平台上,其中,相机组件与测距组件的光轴指向一致,反射组件的姿态可多自由度调整,进而将任意方向的光路引向相机组件;
步骤2,调整反射组件的姿态进行视场扫描,以对周围空间进行监视;
步骤3,在发现目标后,调整反射组件的姿态使得目标位于相机组件的成像中心,进而使得测距组件对准目标,获取当前时刻目标的方向信息、距离信息与成像信息,并基于成像信息完成对目标的识别分析;
步骤4,基于当前时刻目标的方向信息与距离信息以及相机组件与反射组件的相对位姿关系得到目标在相机坐标系下的位置,并根据坐标系传递得到目标在卫星平台坐标系下的位置;
步骤5,在目标运动过程中,调整反射组件的姿态实现对目标的持续跟踪,更新目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系,并基于更新后的目标的方向信息、距离信息以及相机组件与反射组件的相对位姿关系得到目标处于运动过程中时在卫星平台坐标系下的位置与运动轨迹;
基于反射组件反射的相机位姿估计过程为:
反射组件为平面镜,利用平面镜反射,改变相机的视场范围,可以使得相机通过平面镜反射对参考点进行成像,其中,参考点即相当于空间目标;通过移动平面镜位置,即改变反射组件的姿态,可以对参考点进行多次成像,利用多次成像之间的几何关系,则可确定相机与参考点的位姿关系,同时也可确定出每次成像时平面镜的位置;通过该过程,得到空间目标点在相机坐标系下的坐标PC,具体包括如下步骤:
(1)建立平面镜反射成像模型
考虑到一个平面镜,在世界坐标系下表示为π={n,d},其中单位向量n表示平面镜平面的法向量,标量d表示世界坐标系原点到平面镜的距离;则平面镜上的点X满足:
nTX=d (1)
点P相对于平面镜的反射虚拟点
Figure FDA0003260309160000011
之间的关系可以表示为:
Figure FDA0003260309160000012
推导出变换矩阵:
Figure FDA0003260309160000021
其中,S=S-1,I-2nnT是Householder矩阵;为与真实点进行区分,虚拟点的符号在上面加波浪线;
相机坐标系与世界坐标系的刚体变换可以表示为:
Figure FDA0003260309160000022
其中,R为旋转矩阵,T为偏移向量;
相机的成像模型选择透视成像模型,因此基于平面镜的反射成像模型可以理解为真实相机对镜面反射的虚拟点的成像,表示为:
Figure FDA0003260309160000023
其中,v=[u v 1]T为像点归一化齐次坐标,I是3×3的单位矩阵;相机位姿估计问题即是求解T的过程;
Figure FDA0003260309160000024
则:
Figure FDA0003260309160000025
从而有:
Figure FDA0003260309160000026
Figure FDA0003260309160000027
将真实相机对虚拟点的成像理解为虚拟相机对真实点的成像,则
Figure FDA0003260309160000029
相当于是虚拟相机的位姿矩阵;
(2)建立平面镜反射的旋转平均模型
采用旋转平均描述平面镜反射的位姿问题,根据平面镜反射成像模型得到的姿态旋转矩阵的约束方程为:
Figure FDA0003260309160000028
得到绕n旋转π角度的旋转矩阵具有形式,为:
R(n,π)=2nnT-I
因此,姿态的约束方程就可以写为:
Figure FDA0003260309160000031
通过多个
Figure FDA0003260309160000032
求解R和所有n,即已知所有虚拟相机的姿态矩阵,求解真实相机的姿态和所有平面镜位置的法向量;把这种情况的旋转平均称为反射旋转平均,是旋转的旋转平均的一个特例,为了消除非正常旋转矩阵的影响,设
Figure FDA0003260309160000033
反射旋转平均可以描述为:
Figure FDA0003260309160000034
对于反射旋转平均模型的求解,可采用最小化弦距离2范数法或四元数法直接求解;
对于M次观测,若采用最小化弦距离2范数,则反射旋转平均问题转化为:
Figure FDA0003260309160000035
可以得到的最优解为:
Figure FDA0003260309160000036
Figure FDA0003260309160000037
其中U和V满足G=UΣVT,也就是G的SVD分解,而G定义为:
Figure FDA0003260309160000038
S为对角矩阵,S=diag(1 1 det(UVT)),
Figure FDA0003260309160000039
表示非正常旋转矩阵
Figure FDA00032603091600000310
特征值为-1对应的特征向量;
(3)基于平面镜反射的位姿估计
首先利用传统的位姿估计方法求解所有虚拟摄像机的位姿,再利用前面描述的旋转平均模型求解真实摄像机姿态和所有平面镜位置的法向量,最后再求出真实摄像机平移向量和所有平面镜位置的距离参数,过程为:
设虚拟相机的位姿为
Figure FDA00032603091600000311
重写成像模型,得到:
Figure FDA00032603091600000312
而此时
Figure FDA00032603091600000313
属于正常旋转矩阵,因此,可以采用正常真实相机的位姿估计解决虚拟相机的位姿估计问题;只需先将参考点坐标取负,利用传统的位姿估计方法求得位姿之后,再将旋转矩阵取负即可;
设一共有M个平面镜的位置,使得相机对不能直接观测的参考点进行了M次成像,获得了M个虚拟相机的姿态矩阵,根据约束,得到:
Figure FDA0003260309160000041
再利用反射旋转平均模型的解法进行求解,得到真实相机的姿态矩阵R和所有的平面镜位置的法向量nj
采用物方残差最小求解真实摄像机平移向量和平面镜距离参数,其过程为:
第i个虚拟物点Pi在第j个镜子π={nj,dj}的视图成像的虚拟物方残差表示为:
Figure FDA0003260309160000042
其中
Figure FDA0003260309160000043
为误差投影矩阵,
Figure FDA0003260309160000044
表示第i个物点在第j个镜子的视图的图像归一化齐次坐标,显然有:
Figure FDA0003260309160000045
所以
Figure FDA0003260309160000046
即物方残差与虚拟物方残差的模相等;建立物方残差平方和最小化函数:
Figure FDA0003260309160000047
若R,n1,…,nM已知,很容易看出,
Figure FDA0003260309160000048
是t和dj的线性函数,故将物方残差写成矩阵形式为:
Figure FDA0003260309160000049
将上式所有的物方残差用矩阵写在一起,为:
AZ=b+e
其中
Figure FDA0003260309160000051
Figure FDA0003260309160000052
Figure FDA0003260309160000053
求解t和所有dj以最小化物方残差,只需要通过:
Figure FDA0003260309160000054
就可以直接获得最优t和所有的最优dj
2.根据权利要求1所述基于万向反射镜的空间目标探测方法,其特征在于,步骤5中,所述在目标运动过程中,调整反射组件的姿态实现对目标的持续跟踪,具体为:
在目标运动过程中,根据目标的成像信息与卫星平台自身姿态调整信息实时调整反射组件的姿态,进而实现对目标的持续跟踪。
3.根据权利要求2所述基于万向反射镜的空间目标探测方法,其特征在于,步骤5中,更新后的相机组件与反射组件的相对位姿关系的获取过程为:
基于反射组件与卫星平台之间的固连关系标定、相机组件与卫星平台之间的手眼关系标定,得到相机组件与反射组件的初始相对位姿关系;
基于反射组件的姿态调整信息、相机组件与反射组件的初始相对位姿关系,得到更新后的相机组件与反射组件的相对位姿关系。
4.根据权利要求1或2或3所述基于万向反射镜的空间目标探测方法,其特征在于,所述相机组件包括第一相机与第二相机,所述第一相机为大视场低分辨率相机,所述第二相机为小视场高分辨率相机,所述第一相机与第二相机的光轴指向一致;
步骤2中,所述调整反射组件的姿态进行视场扫描,以对周围空间进行监视,具体为:
调整反射组件的姿态进行视场扫描,以利用第一相机对周围空间进行监视。
5.根据权利要求4所述基于万向反射镜的空间目标探测方法,其特征在于,步骤3中,所述在发现目标后,调整反射组件的姿态使得目标位于相机组件的成像中心,具体为:
在发现目标后,调整反射组件的姿态使得目标位于第二相机的成像中心。
6.根据权利要求5所述基于万向反射镜的空间目标探测方法,其特征在于,所述调整反射组件的姿态使得目标位于第二相机的成像中心,具体为:
根据目标在第一相机视场图像上的位置得到目标与第一相机光轴指向的角度偏差;
根据目标与第一相机光轴指向的角度偏差调整反射组件的角度,使第一相机的光轴指向目标,即使目标位于第一相机的成像中心,由于第一相机与第二相机的光轴指向一致,所以目标也会位于第二相机的成像中心。
CN202010534647.8A 2020-06-12 2020-06-12 一种基于万向反射镜的空间目标探测方法 Active CN111580266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010534647.8A CN111580266B (zh) 2020-06-12 2020-06-12 一种基于万向反射镜的空间目标探测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010534647.8A CN111580266B (zh) 2020-06-12 2020-06-12 一种基于万向反射镜的空间目标探测方法

Publications (2)

Publication Number Publication Date
CN111580266A CN111580266A (zh) 2020-08-25
CN111580266B true CN111580266B (zh) 2021-10-26

Family

ID=72112378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010534647.8A Active CN111580266B (zh) 2020-06-12 2020-06-12 一种基于万向反射镜的空间目标探测方法

Country Status (1)

Country Link
CN (1) CN111580266B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113406684A (zh) * 2021-06-15 2021-09-17 中国人民解放军国防科技大学 一种视频卫星的地面目标检测方法及装置
CN113596410A (zh) * 2021-08-24 2021-11-02 清华大学深圳国际研究生院 目标监控识别与跟踪摄像装置及方法
CN113670202A (zh) * 2021-08-25 2021-11-19 杭州思看科技有限公司 三维扫描***和三维扫描方法
CN117968466B (zh) * 2024-03-29 2024-06-14 中国兵器工业试验测试研究院 一种小尺寸超高速破片飞行姿态测速***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101718998A (zh) * 2009-11-18 2010-06-02 中国科学院上海技术物理研究所 基于二维转镜的星载目标跟踪***及方法
CN101726296A (zh) * 2009-12-22 2010-06-09 哈尔滨工业大学 空间机器人视觉测量、路径规划、gnc一体化仿真***
CN204188808U (zh) * 2014-10-29 2015-03-04 北京航天计量测试技术研究所 一种超远距离空间目标探测装置
CN106227241A (zh) * 2016-08-01 2016-12-14 西北工业大学 一种运动平台双视场双回路扫描跟踪***及其方法
WO2020072104A1 (en) * 2018-10-04 2020-04-09 Raytheon Company Optical multiplexing and overlaid subpixel processing
CN111093015A (zh) * 2019-12-09 2020-05-01 中国空间技术研究院 一种静止轨道高分辨率监视成像卫星***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261297B2 (en) * 2017-06-27 2019-04-16 Massachusetts Institute Of Technology Method and apparatus for remote imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101718998A (zh) * 2009-11-18 2010-06-02 中国科学院上海技术物理研究所 基于二维转镜的星载目标跟踪***及方法
CN101726296A (zh) * 2009-12-22 2010-06-09 哈尔滨工业大学 空间机器人视觉测量、路径规划、gnc一体化仿真***
CN204188808U (zh) * 2014-10-29 2015-03-04 北京航天计量测试技术研究所 一种超远距离空间目标探测装置
CN106227241A (zh) * 2016-08-01 2016-12-14 西北工业大学 一种运动平台双视场双回路扫描跟踪***及其方法
WO2020072104A1 (en) * 2018-10-04 2020-04-09 Raytheon Company Optical multiplexing and overlaid subpixel processing
CN111093015A (zh) * 2019-12-09 2020-05-01 中国空间技术研究院 一种静止轨道高分辨率监视成像卫星***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
星箭分离相对位姿摄影测量方法;丁少闻 等;《国防科技大学学报》;20181031;第40卷(第5期);第14-19页 *

Also Published As

Publication number Publication date
CN111580266A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111580266B (zh) 一种基于万向反射镜的空间目标探测方法
US10209342B2 (en) Electromagnetic radiation source locating system
US20130038717A1 (en) Image Based Position Determination
CN110231025B (zh) 一种基于捷联式偏振光罗盘的动态定向方法及***
CN111692921B (zh) 一种基于太阳光反射的反侦察干扰方法
US10647449B2 (en) Indirect self-imaging systems and methods
CN113516708B (zh) 一种基于图像识别与uwb定位融合的输电线路巡检无人机精确定位***及方法
CN109781635B (zh) 一种分布式遥感卫星***
CN111220126A (zh) 一种基于点特征和单目相机的空间物***姿测量方法
KR101365291B1 (ko) 오브젝트의 위치 추정 방법 및 장치
Sturzl A lightweight single-camera polarization compass with covariance estimation
CN113028990A (zh) 一种基于加权最小二乘的激光跟踪姿态测量***及方法
CN113834482A (zh) 定位方法、装置、电子设备及存储介质
Ho et al. Fully optical real-time pointing, acquisition, and tracking system for free space optical link
CN111121769A (zh) 机械扫描便携式合作目标对空监视设备及自主校北方法
CN113203981A (zh) 一种利用辐射源定位载荷实现卫星姿态确定的方法
CN211905686U (zh) 一种基于激光雷达和全景视觉的环境感知***
CN111829452B (zh) 拖曳式立体测量单元、***和空间目标测量方法
CN116359910A (zh) 低照度条件下快速移动目标多视角协同跟踪方法及装置
Cao et al. Omni-directional vision localization based on particle filter
CN113821052A (zh) 集群无人机协同目标定位方法、***、协同目标定位终端
CN111156956B (zh) 基于大气偏振e-矢量模式特征的空间姿态参数获取方法
CN111879298A (zh) 一种用于月球无人值守望远镜的自动指星方法
CN117419707A (zh) 一种基于无人机惯性与视觉组合***的目标定位方法
CN118425903A (zh) 基于双无人机协同光源靶标的超大平面/曲面特征测量方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant