CN111800588A - 基于三维光场技术的光学无人机监测*** - Google Patents

基于三维光场技术的光学无人机监测*** Download PDF

Info

Publication number
CN111800588A
CN111800588A CN201910277372.1A CN201910277372A CN111800588A CN 111800588 A CN111800588 A CN 111800588A CN 201910277372 A CN201910277372 A CN 201910277372A CN 111800588 A CN111800588 A CN 111800588A
Authority
CN
China
Prior art keywords
camera
unmanned aerial
aerial vehicle
light field
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910277372.1A
Other languages
English (en)
Inventor
李应樵
李莉华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Visual Sense Power Technology Co ltd
Original Assignee
Shenzhen Visual Sense Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Visual Sense Power Technology Co ltd filed Critical Shenzhen Visual Sense Power Technology Co ltd
Priority to CN201910277372.1A priority Critical patent/CN111800588A/zh
Priority to US17/601,819 priority patent/US11978222B2/en
Priority to PCT/CN2020/079089 priority patent/WO2020207185A1/zh
Publication of CN111800588A publication Critical patent/CN111800588A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/2007—Undercarriages with or without wheels comprising means allowing pivoting adjustment
    • F16M11/2014—Undercarriages with or without wheels comprising means allowing pivoting adjustment around a vertical axis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
    • F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H04N23/531—Constructional details of electronic viewfinders, e.g. rotatable or detachable being rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于光场技术的无人机监测***，其中第一摄像机，用于持续获得监测区域内的图像信息；以及第二摄像机，所述第二摄像机为包含复眼透镜的光场相机，用于在所获的图像信息被判定为无人机时，获得所述无人机的光场信息；以及彼此垂直放置的垂直旋转平台和水平旋转平台；其中所述第一摄像机和第二摄像机能够在所述垂直旋转平台和所述水平旋转平台的控制下同步旋转；以及计算机处理器，通过所获得的光场信息计算出无人机的深度信息从而获得与所述无人机的位置。本发明提供的三维光场技术的光学无人机监测***能够对监测过程中的震动进行隔离，从而在监测或探测无人机的过程中提高效率和准确性。

Description

基于三维光场技术的光学无人机监测***
技术领域
本发明属于无人机监测领域，特别涉及一种基于光场技术的无人机监测***。
背景技术
随着无人机技术的发展，对无人机的监测***的改进有着广泛的需求，现有技术中多采用雷达和摄像头相结合的监测***。雷达监测易受隐身技术欺骗且低空监测的效果较差，摄像头一般来说分辨率较低。中国发明专利申请201810128587.2公开了一种无人机监测***及其监督方法。在该方法中，利用软件方法，扫描区域内的图像，通过第一和第二相机形成立体视觉判断图像中是否存在可疑的目标，通过计算可疑目标的准确位置，对可疑目标进行跟踪拍摄。该技术主要是在软件部分进行改进。中国发明专利申请201810396720.2公开了一种无人机探测方法、装置及电子设备。也主要是从软件的角度，控制探测平台上的相机转动，采取发送转动指令至转台的电机，以使电机带动转台上的多台相机转动预设角度；发送停止指令至该电机，以使该电机控制转台在转动预设角度后停止转动；当确定上述多台相机停止预设时间后，控制多台相机进行一次拍摄以获取多个图像；对该多个图像进行图像识别，确定监控区域内是否存在无人机；如果监控区域内不存在无人机，则重新执行以上步骤。
需要一种新的分辨率高，并且稳定的监测***，获得清晰的立体图像，从而在监测或探测无人机的过程中提高效率和准确性。
发明内容
本发明的目的在于提供一种新的分辨率高，并且稳定的监测***，获得清晰的立体图像，从而在监测或探测无人机的过程中提高效率和准确性。
本发明公开了一种基于光场技术的无人机监测***，其中第一摄像机，用于持续获得监测区域内的图像信息；以及第二摄像机，所述第二摄像机为包含复眼透镜的光场相机，用于在所获的图像信息被判定为无人机时，获得所述无人机的光场信息；以及彼此垂直放置的垂直旋转平台和水平旋转平台；所述垂直旋转平台用于控制所述第一摄像机和第二摄像机沿垂直于所述水平旋转平台的方向旋转；并且所述水平旋转平台用于控制所述第一摄像机和第二摄像机沿水平方向旋转；其中所述第一摄像机和第二摄像机能够在所述垂直旋转平台和所述水平旋转平台的控制下同步旋转；以及计算机处理器，用于分析判断所获得的监测区域内的图像信息是否为无人机，并且通过所获得的光场信息计算出无人机的深度信息从而获得与所述无人机的位置。
本发明的一个方面，所述垂直旋转平台控制所述第一摄像机和第二摄像机的旋转范围为仰角15－45度。所述水平旋转平台控制所述第一摄像机和第二摄像机的旋转范围为0－120度。所述第二摄像机还包括一个具有约1°对角线透镜的远摄透镜组和相机感光元件，所述复眼透镜配置于所述远摄透镜组和所述相机感光元件之间，并靠近所述相机感光元件。其中所述复眼透镜为微透镜阵列。其中所述微透镜阵列为线性排列或六边形排布的方式，其中所述六边形排布的微透镜阵列由于其每一行相较上一行错位排布。其中所述六边形微透镜阵列的每个微透镜的宽度均为60μm，但是在90μm内存有两个微透镜。其中所述
光场图像I(x，y)可以由公式表示可以由公式表示：
I(x，y)＝∫∫LF(u，v，x，y)dudv (1)
其中(u，v，x，y)表示沿着与(u，v)处的主透镜相交的光线行进的光和 (x，y)处的微透镜平面，并且使用全光圈；并且图3(d)为本发明的光场成像***的移动子孔径图像来计算重新聚焦的图像原理示意图，通过图3(d)所示的方式移动子孔径图像来计算重新聚焦的图像：
移位的光场函数可以表示为：
Figure RE-GDA0002135478890000031
本发明提供的三维光场技术的光学无人机监测***能够对监测过程中的震动进行隔离，从而在监测或探测无人机的过程中提高效率和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的无人机监测***的结构示意图。
图2为本发明的无人机监测***的第二摄像机的结构示意图。
图3(a)和3(b)为本发明的光场成像***的原理图。
图3(c)为处理后的光场图像示例图。
图3(d)为本发明的光场成像***的移动子孔径图像来计算重新聚焦的图像原理示意图。
图4(a)为为本发明的无人机监测***的第二摄像机103的六边形微透镜阵列的显微镜图。
图4(b)为本发明的无人机监测***的第二摄像机103的六边形微透镜阵列的白光干涉仪检测图。
图5为本发明的无人机监测***的工作原理图。
具体实施方式
现结合相应的附图，对本发明的具体实施例进行描述。然而，本发明可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面，从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。
图1为本发明的无人机监测***100的结构示意图。其中所述***100包括，用于存放处理器以及旋转平台控制器的机箱101，第一摄像机102，第二摄像机103，长焦镜头104，广角镜头105，垂直旋转平台106，水平旋转平台107，垂直支撑面板108，水平支撑板109。其中第一摄像机102和第二摄像机103均为高分辨率摄像机，二者的轴线彼此平行，通过固定杆110固定在水平支撑板109上；垂直旋转平台106固定于水平支撑板109的一侧；其中所述垂直旋转平台106 的轴心部分与垂直支撑面板108相固定，所述垂直旋转平台106的轴线为水平方向，并所述垂直旋转平台能围绕所述轴心沿箭头A的方向与沿箭头A的相反方向分别旋转。由于所述垂直旋转平台106与水平支撑板109和第一固定杆110之间均为相互固定的，因此，在垂直旋转平台106围绕其轴心旋转时，能够通过带动固定在水平支撑板109 上的第一固定杆110，进而使所述第一摄像机102与所述第二摄像机 103同时运动，即，使所述第一摄像机102与所述第二摄像机103同步围绕所述垂直旋转台沿箭头A或与箭头A相反的方向旋转，在一个实施例中，旋转的范围可为仰角15－45度。进一步，所述垂直支撑面板108固定在第二固定杆111上，所述第二支撑杆111固定在水平旋转平台107上。如图1所示，在所述第二支撑杆111的带动下，包括所述第一摄像机102，第二摄像机103，长焦镜头104，广角镜头105,垂直旋转平台106，垂直支撑面板108,水平支撑板109均能围绕所述水平旋转平台107的轴心沿箭头B或者沿箭头B相反的方向旋转；所述水平旋转平台107的轴线垂直于所述水平旋转平台的旋转方向。同样地，由于第二固定杆111与所述水平旋转平台107之间是固定的，因此在所述第二固定杆111在所述水平旋转平台107上沿箭头B的方向或沿箭头B相反的方向旋转的时候，能够同时带动所述光场相机102与所述普通摄像机103同时运动，即，使所述光场相机 102与所述普通摄像机103同步围绕所述水平旋转台沿箭头B或与箭头B相反的方向旋转。在一个实施例中，旋转的范围可为仰角15－45度。在一个实施例中，旋转的范围可为水平旋转平台所允许的范围，特别优选地在于0－120度。
水平旋转平台107为无振动光学平台，其放置在机箱101上，机箱101用来容纳包括处理器和旋转平台控制器的所述计算机工作站，所述水平旋转平台107提供水平的平面，固定在水平旋转平台107上的摄像机***能够对无人机进行追踪，同时能够保持所述摄像机***相对固定，并不受到震动的干扰。
所述两个高分辨率摄像机102，103可以采用相同的相机主体，例如采用超高清的4K(4096×2160像素)摄像机；也可以采用不同的相机主体。其中第二摄像机103为广角摄像机，其拍摄广阔的范围，具有将距离感夸张化，对焦范围广等拍摄特点。使用广角时可将眼前的物体放得更大，将远处的物体缩得更小,令四周的图像失真。广角还能使图像中的任意一点都调节到最适当的焦距，使得画面更加清晰，也可以称之为完全自动对焦，所述第二广角摄像机103可采用相机感光元件上单个像素尺寸在1-8微米范围内的摄像机；在广角第二摄像机103内包括一个视角透镜或对角透镜。第二摄像机103为超远距离摄像机，所述第二摄像机103利用超级远摄镜头对飞行的无人机进行追踪，所述超级远摄镜头采用100-2200mm焦段范围内的镜头。将在下文对第二摄像机103进行详细的结构说明。计算机工作站位于光学无人机监测***100机箱101的内部，对采集获得的信息进行处理、对无人机的飞行进行监测，并及时给出警报。机箱101主要是在户外，例如机场等环境中保护光学无人机监测***100。
图2为本发明的无人机监测***的第二摄像机103的结构示意图。微透镜阵列201置于第二摄像机103(即光场相机)的感光元件202与相机镜头204和205之间。通过第二摄像机103采集的照片在显示器上放大可以看出，图片是由横竖都等距分布的圆形子图像组成。每个子图像对应的是一个微透镜。第二摄像机103可以为光场相机，在第二摄像机103中，还包括一个具有约1°对角线透镜的超级远摄透镜组204，205；所述超级远摄透镜组204，205可以采用100-2200mm 焦段范围内的透镜。一个实施例中，第二摄像机103还包括微透镜阵列201，所述微透镜阵列201的存在使所述第二摄像机103成为复眼摄像机，例如，超高清(HUD)4K复眼摄像机，其中的微镜头阵列201 是根据图像传感器规范以及显微镜光路来进行设计的。装有复眼透镜的相机进行拍摄时的操作方式与普通相机的拍摄相同，拍摄获得的图片未处理前放大可以看到整幅图像是由每个复眼透镜的小图像组合而成。光场计算软件处理后可以将图片重聚焦到不同焦平面上，正因为有重聚焦的特性所以光场图像可以获得所拍摄图像的深度信息。由于，复眼镜片加装到相机感光元件之前即可拍摄得到记录光场信息的图像。
图3(a)和3(b)为本发明的光场成像***的原理图。显示了在 CMOS传感器301前面具有微透镜阵列302的光场成像***的机制。图3(a)通过像素的所有光线都通过其母微透镜并通过主透镜303上的共轭方形(子光圈)。图3(b)通过子孔径的所有光线通过不同微透镜下的相应像素聚焦。这些像素形成通过该子孔径看到的照片。
光场图像I(x，y)可以由公式表示可以由公式表示：
I(x，y)＝∫∫LF(u，v，x，y)dudv (1)
其中(u，v，x，y)表示沿着与(u，v)处的主透镜相交的光线行进的光和 (x，y)处的微透镜平面，并且使用全光圈。图3(d)为本发明的光场成像***的移动子孔径图像来计算重新聚焦的图像原理示意图，通过图 3(d)所示的方式移动子孔径图像来计算重新聚焦的图像：
移位的光场函数可以表示为
Figure RE-GDA0002135478890000081
光场成像技术允许重新聚焦图像并估计场景的深度图。通过光场计算出基本的深度范围，并结合图像上的位置来确定无人机的位置。
对于芯片板应用的半导体制造，可以使用复眼来找出铝粘合线的最大环高度，芯片上的第一键合高度和基板上的第二键合高度。图3 (c)为处理后的光场图像示例图。在图3(c)中，正方向上的更大数量(μm)意味着朝向物镜的更近的虚拟焦平面。物镜表面上的焦平面校准为0μm。处理后的光场图像。图3(c)的左上图像是顶部线层，图3(c)的右上图像是中间层，图3(c)的左下图像是底部金属层，图3(c)的右下图像是全焦点图像。将开发自动聚焦软件以捕获所有线图像，而无需命令垂直轴的任何机械运动。将开发实时AOI 软件并与自动对焦软件结合使用。用户界面将显示由相机拍摄的图像和全焦点图像，将标记检测到的任何缺陷。
通过深度信息获得距离的方式与现有的通过距离标定物获得距离的方式相比更简便，能获得清晰的图像和准确的距离信息。
因此，微镜头阵列201只加装在第二摄像机103而不装于第二摄像机103上。在微镜头阵列201参数的设计过程中，像素间距以及传感器尺寸都是其影响因素。在微透镜阵列对准策略中有线性和六边形两种。六边形微透镜阵列较线性阵列略有差异，每个微透镜的宽度均为60μm，但是在90μm内存有两个微透镜。第二摄像机103中还包括靠近微透镜阵列201的相机感光元件202。感光元件202的示例为， CMOS电荷耦合器件图像传感器CCD，用于将所感应的光线信号转变为电信号。当第二摄像机103发现被摄物体206时，被摄物体经过超级远摄透镜组204，205形成虚拟图像203，经过微透镜阵列201的处理，所述虚拟图像203在感光元件202中形成高清晰的图像电信号。
图4(a)为本发明的无人机监测***的第二摄像机103的六边形微透镜阵列的显微镜图。坐标单位为微米。图4(b)为本发明的无人机监测***的第二摄像机103的六边形微透镜阵列的白光干涉仪检测图。图4(a)和图4(b)检测的是同一个微透镜阵列。在一个示例中，微透镜阵列采用线性阵列的排布。但是线性排布会导致微透镜之间留有较大的空隙，此空隙不能产生图像，因此，在另一示例中，微透镜阵列可采用六边形排布的方式，而六边形排布的微透镜阵列由于其每一行相较上一行错位排布即可大幅减小微透镜之间的空隙提高微透镜后的图像传感器的利用效率。计算光场信息时，需要通过线性对准来确保每个子图像都被程序提取到，因此生成横向与纵向的参考线，使参考线穿过横向和纵向子图像的中心，之后即可抓取所有子图像并算出深度信息。对于图4(a)中显示的六边形微透镜阵列来说，微透镜的错位分布，使得对准时需要采用新的对准方法，使软件可以准确提取并对比分析每个微透镜的图像。如4(a)所示，六边形微透镜阵列模式要比线性微透镜阵列模式密集的多。六边形微透镜阵列虽然在垂直方面是线性对齐的，但是其在水平方向则是平移的。因此，本发明的无人机监测***可采用六边形微透镜阵列模式。这是因为，密集度更高的六边形微透镜阵列模式可以提供更高分辨率的光场成像***。
图5为本发明的无人机监测***的工作流程图500。在步骤501，启动无人机监测***开始监测；在步骤502，第二摄像机103持续工作，并不断地将将较大范围内的获得的视频图像信息发送至计算机工作站；由于所述第二摄像机103为广角摄像机，因此所述摄像机可以扫描保护区域并捕获高清4K视频。同时，因为扫描的范围较大，因此所获得的图像分辨率较低，无法获知清晰的无人机图像。广角第二摄像机103拍摄到的视频会一直由计算机处理。当无人机进入相机的视场后，计算机会通过基于机器学***或垂直方向的阈值则会产生控制信号，控制信号通过USB接口与平台控制器相连接。在步骤503，通过与计算机工作站中存储的数据库进行比对，判定所获得的图像是否符合数据库中无人机的形状，一旦目标匹配，则进入步骤504，当监测到的无人机处于相机视场中心后会产生信号控制水平旋转平台107和垂直旋转平台106旋转到合适的位置，通过第二摄像机103进行拍照，所拍摄的照片即包含了所拍摄景物的光场图像，之后将交由光场处理软件进行信息处理；也就是说，无人机监测***100将驱动第二摄像机103，聚焦在锁定目标上的远摄镜头来跟踪可疑目标，从而获得目标无人机的高分辨率图像和光场信息，并进入步骤504；在不匹配的情况下，回到步骤502，重复将第二摄像机103获得的视频图像信息发送至计算机工作站；在步骤 504，无人机监测***100再次使用数据库对这些信息进行计算和验证后，计算并获得所述光场图像的深度及位置信息并向用户或控制塔发出警示。也就是说，高分辨率图像一旦与数据库中的无人机形状信息具有高度的相似性，就会将报警信号发送给监控***，所述无人机的深度及位置信息也将被送回监督中心。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。

Claims (8)

1.一种基于光场技术的无人机监测***，包括：
第一摄像机，用于持续获得监测区域内的图像信息；以及
第二摄像机，所述第二摄像机为包含复眼透镜的光场相机，用于在所获的图像信息被判定为无人机时，获得所述无人机的光场信息；以及
彼此垂直放置的垂直旋转平台和水平旋转平台；
所述垂直旋转平台用于控制所述第一摄像机和第二摄像机沿垂直于所述水平旋转平台的方向旋转；并且
所述水平旋转平台用于控制所述第一摄像机和第二摄像机沿水平方向旋转；
其中所述第一摄像机和第二摄像机能够在所述垂直旋转平台和所述水平旋转平台的控制下同步旋转；
计算机处理器，用于分析判断所获得的监测区域内的图像信息是否为无人机，并且通过所获得的光场信息计算出无人机的深度信息从而获得与所述无人机的位置。
2.如权利要求1所述的无人机监测***，其中，所述垂直旋转平台控制所述第一摄像机和第二摄像机的旋转范围为仰角15－45度。
3.如权利要求1所述的无人机监测***，其中，所述水平旋转平台控制所述第一摄像机和第二摄像机的旋转范围为0－120度。
4.如权利要求1－3任意一个所述的无人机监测***，所述第二摄像机还包括一个具有约1°对角线透镜的远摄透镜组和相机感光元件，所述复眼透镜配置于所述远摄透镜组和所述相机感光元件之间，并靠近所述相机感光元件。
5.如权利要求4所述的无人机监测***，其中所述复眼透镜为微透镜阵列。
6.如权利要求5所述的无人机监测***，其中所述微透镜阵列为线性排列或六边形排布的方式，其中所述六边形排布的微透镜阵列由于其每一行相较上一行错位排布。
7.如权利要求6所述的无人机监测***，其中所述六边形微透镜阵列的每个微透镜的宽度均为60μm，但是在90μm内存有两个微透镜。
8.如权利要求1所述的无人机监测***，其中所述光场信息I(x,y)可以由公式表示可以由公式表示：
I(x,y)＝∫∫LF(u,v,x,y)dudv (1)
其中(u,v,x,y)表示沿着与(u,v)处的主透镜相交的光线行进的光和(x,y)处的微透镜平面，并且使用全光圈；并且通过移动子孔径图像来计算重新聚焦的图像，
移位的光场函数可以表示为：
Figure FDA0002020470090000021
CN201910277372.1A 2019-04-08 2019-04-08 基于三维光场技术的光学无人机监测*** Pending CN111800588A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910277372.1A CN111800588A (zh) 2019-04-08 2019-04-08 基于三维光场技术的光学无人机监测***
US17/601,819 US11978222B2 (en) 2019-04-08 2020-03-13 Three-dimensional light field technology-based optical unmanned aerial vehicle monitoring system
PCT/CN2020/079089 WO2020207185A1 (zh) 2019-04-08 2020-03-13 基于三维光场技术的光学无人机监测***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910277372.1A CN111800588A (zh) 2019-04-08 2019-04-08 基于三维光场技术的光学无人机监测***

Publications (1)

Publication Number Publication Date
CN111800588A true CN111800588A (zh) 2020-10-20

Family

ID=72751533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910277372.1A Pending CN111800588A (zh) 2019-04-08 2019-04-08 基于三维光场技术的光学无人机监测***

Country Status (3)

Country Link
US (1) US11978222B2 (zh)
CN (1) CN111800588A (zh)
WO (1) WO2020207185A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113280754A (zh) * 2021-07-22 2021-08-20 清华大学 高精度深度计算装置及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954842B2 (en) * 2021-09-06 2024-04-09 Huaneng Nanjing Jinling Power Generation Co., Ltd. Powder leakage monitoring device and powder leakage monitoring method
CN114857456B (zh) * 2022-07-08 2022-10-04 北京神导科技股份有限公司 同心轴的双轴云台***及其供电链路和角度调整控制方法
CN116002093B (zh) * 2022-12-13 2024-02-20 自然资源部第二航测遥感院 一种用于无人机的航空摄影平台

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547344B (zh) 2009-04-24 2010-09-01 清华大学深圳研究生院 基于联动摄像机的视频监控装置及其跟踪记录方法
CN102528821A (zh) * 2011-12-31 2012-07-04 北京工业大学 一种基于多独立云台的仿生多目视觉物理平台
CN105635530B (zh) * 2014-11-03 2019-04-30 北京蚁视科技有限公司 光场成像***
GB201519634D0 (en) * 2015-11-06 2015-12-23 Squarehead Technology As UAV detection
US20170261604A1 (en) * 2016-03-11 2017-09-14 Raytheon Bbn Technologies Corp. Intercept drone tasked to location of lidar tracked drone
CN106707296B (zh) * 2017-01-09 2019-03-05 华中科技大学 一种基于双孔径光电成像***的无人机检测与识别方法
US20180259342A1 (en) * 2017-03-10 2018-09-13 Qualcomm Incorporated System and method for dead reckoning for a drone
CN107578437A (zh) * 2017-08-31 2018-01-12 深圳岚锋创视网络科技有限公司 一种基于光场相机的深度估计方法、***及便携式终端
CN107991838B (zh) * 2017-11-06 2020-10-23 万维科研有限公司 自适应三维立体成像***
CN108447075B (zh) * 2018-02-08 2020-06-23 烟台欣飞智能***有限公司 一种无人机监测***及其监测方法
US10609266B2 (en) * 2018-08-21 2020-03-31 Rockwell Automation Technologies, Inc. Camera for wide field of view with an arbitrary aspect ratio
US11237572B2 (en) * 2018-12-27 2022-02-01 Intel Corporation Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
CN210327775U (zh) * 2019-04-08 2020-04-14 深圳市视觉动力科技有限公司 基于三维光场技术的光学无人机监测***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113280754A (zh) * 2021-07-22 2021-08-20 清华大学 高精度深度计算装置及方法

Also Published As

Publication number Publication date
US11978222B2 (en) 2024-05-07
US20220172380A1 (en) 2022-06-02
WO2020207185A1 (zh) 2020-10-15

Similar Documents

Publication Publication Date Title
US11978222B2 (en) Three-dimensional light field technology-based optical unmanned aerial vehicle monitoring system
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
US9373023B2 (en) Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
US7768571B2 (en) Optical tracking system using variable focal length lens
CN110132226B (zh) 一种无人机巡线的距离及方位角测量***和方法
CN111080705B (zh) 一种自动对焦双目摄像头标定方法及装置
WO2020207172A1 (zh) 基于三维光场技术的光学无人机监测方法及***
CN101877764A (zh) 拍摄***及使用该拍摄***进行辅助构图的方法
CN103971375A (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN104079916A (zh) 一种全景三维视觉传感器及使用方法
US9924081B2 (en) Array lens module
Tabata et al. High-speed 3D sensing with three-view geometry using a segmented pattern
KR101836882B1 (ko) 전방위 카메라 및 팬틸트줌카메라 연동 촬영장치 및 이의 구동 방법
US20110122250A1 (en) System and method for motion detection
CN112040140A (zh) 一种基于光场的宽视场高分辨混合成像装置
JP2011109630A (ja) カメラ装置用雲台
CN210327775U (zh) 基于三维光场技术的光学无人机监测***
Li et al. A cooperative camera surveillance method based on the principle of coarse-fine coupling boresight adjustment
CN109765747A (zh) 一种航空图像检焦方法、检焦***及相机
WO2023098362A1 (zh) 一种基于亿级像素相机的目标区域安防与监控***
Lu et al. Image-based system for measuring objects on an oblique plane and its applications in 2-D localization
CN112002008A (zh) 一种整合光学和视觉智能技术的三维物体检测装置和方法
CN112702513B (zh) 一种双光云台协同控制方法、装置、设备及存储介质
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination