CN107131877B - 无人飞行器航线构建方法及*** - Google Patents

无人飞行器航线构建方法及*** Download PDF

Info

Publication number
CN107131877B
CN107131877B CN201710107591.6A CN201710107591A CN107131877B CN 107131877 B CN107131877 B CN 107131877B CN 201710107591 A CN201710107591 A CN 201710107591A CN 107131877 B CN107131877 B CN 107131877B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
flight
layer
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710107591.6A
Other languages
English (en)
Other versions
CN107131877A (zh
Inventor
咸泳瞿
韩台圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkware Systems Corp
Original Assignee
Mi Vaux Corp
Thinkware Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170011772A external-priority patent/KR20170101776A/ko
Application filed by Mi Vaux Corp, Thinkware Systems Corp filed Critical Mi Vaux Corp
Priority to CN202110632911.6A priority Critical patent/CN113238581A/zh
Priority to CN202110632932.8A priority patent/CN113342038A/zh
Publication of CN107131877A publication Critical patent/CN107131877A/zh
Application granted granted Critical
Publication of CN107131877B publication Critical patent/CN107131877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G05D1/1064Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones specially adapted for avoiding collisions with other aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/005Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels altimeters for aircraft
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0034Assembly of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0039Modification of a flight plan
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0052Navigation or guidance aids for a single aircraft for cruising
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0056Navigation or guidance aids for a single aircraft in an emergency situation, e.g. hijacking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/006Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0065Navigation or guidance aids for a single aircraft for taking-off
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0082Surveillance aids for monitoring traffic from a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025Navigation or guidance aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00Launching, take-off or landing arrangements
    • B64U70/80Vertical take-off or landing, e.g. using rockets
    • B64U70/83Vertical take-off or landing, e.g. using rockets using parachutes, balloons or the like

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

公开了无人飞行器航线构建方法及***。一种无人飞行器航线构建方法,其步骤可包括:基于地表扫描数据识别被摄体并将可自动飞行的空间形象化为层(Layer)的步骤;基于形象化的所述层收集针对飞行航线的地表影像数据的步骤;以及通过收集的所述地表影像数据,分析基于与所述被摄体的距离的影像分辨率变化,并抽取飞行航线上的高度值的步骤。

Description

无人飞行器航线构建方法及***
技术领域
以下实施例涉及无人飞行器航线构建方法及***,更具体而言,涉及提供非可视范围的自动飞行航线的无人飞行器航线构建方法及***。
背景技术
在有人飞行器飞行的最低高度(为了避免与地表上的障碍物碰撞的最低高度)以下的自动飞行区域中,如drone等无人飞行器可无差别地进行飞行。其结果,客机与drone的碰撞、基于侵入军事保密区域的事故、消防有人直升机和无人摄像机间的碰撞等无人飞行器飞行有关的安全及保安有关的规定的必要性,最近成为热点。由此,为了保护禁飞区及在飞行最低高度以下的空域中维持飞行器间的安全距离(水平分离及竖直分离)的规定方案正由ICAO(International Civil Aviation Organization,国际民间航空机构)进行探讨。
现有的无人飞行器的安全规定的内容是具有驾驶资格的驾驶员在肉眼可识别的范围(即,驾驶员的可视范围)内操作无人飞行器。但是,无人飞行器的使用如果扩大到居住密集区及防灾、防盗等区域时,则需要对非可视范围(例如,夜间,雾,烟雾,都市中心阴影区(盲区)等)及不可感知区域(例如,军事保安和机场区域等)进行事态管控。
尤其,对于无人飞行器,利用基于飞行中驾驶员的五感的认知能力,技术上存在局限性。因此,基于情况感知(Situational Awareness)问题导致的事故的危险性,不同于有人飞机而且比较大。现行的安全规定的内容虽然体现了该问题,但是,如果应用无人飞行器的产业要求和复杂度增加,则为了在驾驶员非可视范围飞行,自动飞行的安全性首先应该***地得到保障且应该得到检验。
韩国公开专利第10-2013-0002492号记载了无人飞行器的飞行控制***有关的技术。
发明内容
实施例是对无人飞行器航线构建方法及***相关的说明,更具体地,提供具有非可视范围自动飞行航线的无人飞行器航线构建方法及***有关的技术。
实施例的目的在于,提供一种无人飞行器航线构建方法及***,其利用扫描数据,抽取标高及障碍物的高度信息,通过分析地表影像数据的影像分辨率变化,利用抽取的地面物的高度信息,进行校准(Calibration)验证和无人飞行器的电波高度感应器的测试值的补正,从而构建无人飞行器的安全自动飞行航线。
一实施例涉及的无人飞行器航线构建方法,包括基于地表扫描数据识别被摄体并将可自动飞行的空间形象化为层(Layer)的步骤;基于形象化的所述层收集飞行航线的地表影像数据的步骤;以及通过收集的所述地表影像数据,分析基于与所述被摄体的距离的影像分辨率的变化,并抽取飞行航线上的高度值的步骤。
还可包括通过基于抽取的所述高度值验证航线,补正电波高度感应器的测试值的步骤。
所述将可自动飞行的空间形象化为层的步骤可包括在基于安装在地表拍摄航空器的地表扫描装置扫描的所述被摄体中获取点云(Point Cloud)的步骤;分析收集的所述点云并识别所述被摄体的步骤;利用地形高度数据,在识别出的所述被摄体中抽取特定地点的高度值的步骤;以及连接所述被摄体的特定地点中抽取的高度值,在空间中将无人飞行器的可自动飞行的面积和高度形象化为所述的层的步骤。
所述获取点云的步骤中,通过所述地表拍摄航空器上安装的激光雷达(LiDAR)装置,可在被激光雷达脉冲投射的所述被摄体中获取所述点云。
所述将可自动飞行空间形象化为层的步骤可包括在所述空间中生成多个二维层的步骤。
所述收集地表影像数据的步骤,包括通过所述地表拍摄航空器上安装的、特定高度设置有校准(Calibration)值的摄像装置,可获取所述地表影像数据的步骤。
所述收集地表影像数据的步骤可包括:通过确认空间地理信息,探索安全飞行路径的步骤;以及生成体现所述安全路径的飞行航线,并收集所述飞行航线针对的所述地表影像数据的步骤。
所述收集地表影像数据的步骤还可包括预先设定飞行高度限定值并通过可检测飞行高度限定高度的被摄体,确认电波高度感应器的测试值的步骤。
所述收集地表影像数据的步骤包括确认摄像装置的校准(Calibration)信息,并确认无人飞行器上安装的飞行信息记录部(Flight Data Recorder,FDR)中记录的飞行信息步骤。
所述补正电波高度感应器的测试值的步骤可将所述无人飞行器上安装的飞行信息记录部(FDR)中的坐标、高度、姿势及时间信息中至少任意一个与摄像的所述地表影像数据进行整合,参照所述摄像装置的校准信息,通过对失真的影像进行补正及分析所述影像分辨率变化,计算出所述飞行航线上的高度值。
所述补正电波高度感应器的测试值的步骤可包括基于航线中存在的被摄体抽取高度值并以一定的间隔代入无人飞行器的航线坐标中,当所述无人飞行器到达所述航线坐标时,识别与所述被摄体接触的坐标相应的图像的分辨率的高度的步骤;以及根据所述分辨率高度,补正无人飞行器的所述电波高度感应器的测试值的步骤。
所述补正电波高度感应器的测试值的步骤为了最小化自动飞行时对通信及机体基础设施环境的风险,可支持离线图像处理方式。
所述补正电波高度感应器的测试值的步骤中,可通过无人飞行器的自动飞行,反复收集所述地表影像数据,可通过分析收集的所述地表影像数据的分辨率变化,并在航线管控和地面控制及航线指导数据中体现,进行新增航线的生成或者验证。
另一实施例涉及的无人飞行器航线构建***,包括形象化部,从地表扫描数据中识别被摄体,并将可自动飞行的空间形象化为层(Layer);收集部,基于形象化的所述层收集飞行航线的地表影像数据;以及高度计算部,通过收集的所述地表影像数据,分析基于与所述被摄体的距离的影像分辨率的变化,并抽取飞行航线上的高度值。
还包括验证部,通过基于抽取的所述高度值验证航线,并补正电波高度感应器的测试值。
所述层形象化部可包括:收集部,在基于安装在地表拍摄航空器的地表扫描装置扫描的所述被摄体中获取点云(Point Cloud);识别部,分析收集的所述点云并识别所述被摄体;抽取部,利用地形高度数据,在识别出的所述被摄体的特定地点上抽取高度值;以及层部,连接所述被摄体的特定地点上抽取的高度值,在空间中将无人飞行器的可自动飞行的面积和高度形象化为所述的层。
所述数据收集部获取空间地理信息并探索飞行安全路径,生成体现所述安全路径的飞行航线,收集所述飞行航线针对的所述地表影像数据,通过所述地表拍摄航空器上安装的、在特定高度设置校准(Calibration)值的摄像装置,获取所述地表影像数据。
所述数据收集部预先设定飞行高度限定值并通过可检测飞行高度限定高度的被摄体,确认电波高度感应器的测试值。
所述数据收集部确认摄像装置的校准(Calibration)信息,并确认无人飞行器上安装的飞行信息记录部(Flight Data Record,FDR)中记录的飞行信息;所述高度计算部将所述无人飞行器上安装的飞行信息记录部(FDR)中的坐标、高度、姿势及时间信息中至少任意一个与摄像的所述地表影像数据进行整合,参照所述摄像装置的校准信息,通过对失真的影像进行补正及分析所述影像分辨率变化,计算出所述飞行航线上的高度值。
所述验证部从航线中存在的被摄体中抽取高度值并以一定的间隔代入无人飞行器的航线坐标中,当所述无人飞行器到达所述航线坐标时,识别与所述被摄体接触的坐标相应的图像的分辨率的高度,根据所述分辨率高度,补正无人飞行器的所述电波高度感应器的测试值。
所述验证部为了最小化自动飞行时对通信及机体基础设施环境的风险,可支持离线图像处理方式。
所述验证部可通过无人飞行器的自动飞行反复收集所述地表影像数据,通过分析收集的所述地表影像数据的分辨率变化,并在航线管控和地面控制及航线指导数据中体现,进行新增航线的生成或者验证。
又一实施例涉及的无人飞行器航线构建方法,可包括:基于地表扫描数据识别被摄体并将可自动飞行的空间形象化为层(Layer)的步骤;为了在形象化的所述层上生成所述无人飞行器的航线而确定路标的步骤;基于形象化的所述层收集所述路标针对的地表影像数据的步骤;通过收集的所述地表影像数据,分析基于与所述被摄体的距离的影像分辨率的变化,并抽取飞行航线上的高度值的步骤;以及生成无人飞行器的飞行航线信息的步骤,所述无人飞行器的飞行航线信息包括形象化的所述层,所述路标,所述高度值,以及作为所述路标间的连接线的飞行航线中至少任意一个。
在此,所述路标显示所述无人飞行器在所述层上执行自动飞行的地点的地表面上存在的地面物体的位置或者显示预先设定的任务的执行位置。
所述生成无人飞行器的飞行航线信息的步骤可包括:当需要所述无人飞行器从作为最初分配层的出发层向另一层移动时,确定所述无人飞行器设预计到达的到达层的步骤;以及为了从所述出发层向所述到达层移动生成层移动信息的步骤。
所述层移动信息可包括层可变更区间、层移动时间、进入变更区间的时间、进入变更区间的角度中至少任意一个,所述层可变更区间包括用于所述无人飞行器的自动飞行的航线中包括用于层变更的路标区间。
根据实施例,通过提供非可视范围的自动飞行航线,从而克服了在地面物等高度值不易维持在一定高度的区域驾驶员仅依靠在可视范围进行操作而带来的局限性。
根据实施例,提供一种无人飞行器航线构建方法及***,其通过利用扫描数据,抽取标高及障碍物的高度信息,通过分析地表影像数据的影像分辨率变化,使用抽取的地面物的高度信息进行校准(Calibration)验证及补正无人飞行器的电波高度感应器的测试值,从而构建无人飞行器的安全自动飞行航线。
附图说明
图1是用于说明无人飞行器操作的飞行高度上限的示意图。
图2是用于说明一实施例涉及的无人飞行器的感应器部的示意图。
图3是图示用于一实施例涉及的无人飞行器飞行的地图制作方法的流程图。
图4是图示用于一实施例涉及的无人飞行器飞行的地图制作***的方框图。
图5和图6是图示一实施例涉及的无人飞行器航线构建方法的流程图。
图7是图示一实施例涉及的无人飞行器航线构建***的方框图。
图8至图10是用于说明一实施例涉及的基于地表扫描及影像摄像数据形象化自动飞行空间的示意图。
图11是用于说明一实施例涉及的地理空间数据的整合的示意图。
图12是用于说明一实施例涉及的通过地理空间数据的整合,制作地图的方法的示意图。
图13是用于说明一实施例涉及的通过激光扫描,收集点云的意图。
图14是用于说明一实施例涉及的具有立体空间中特定高度的层的示意图。
图15是用于说明一实施例涉及的基于与被摄体间的距离影像的分辨率变化的示意图。
图16至图19是用于说明一实施例涉及的无人飞行器的图像认知及通过处理进行飞行控制及地面管控程序的示意图。
图20是图示一实施例涉及的构建的航线的模拟示意图。
图21是图示一实施例涉及的机体识别及航线管控形态的示意图。
图22是用于说明一实施例涉及的从激光雷达(LiDAR)扫描的被摄体中抽取特定地点的高度的过程的示意图。
图23是用于说明一实施例中使用的DSM和DTM的示意图。
图24是用于说明根据一实施例的设定地面物的路标的方法的示意图。
图25是用于说明根据一实施例的地面物的路标有效区间内增加路标的过程的示意图。
图26是图示一实施例涉及的无人飞行器的工作的流程图。
图27是另一实施例涉及的无人飞行器的工作的流程图。
图28是图示一实施例涉及的用于无人飞行器自动飞行的航线构建***及管控***的操作方法的流程图。
图29是用于说明根据一实施例的无人飞行器在预先设定的航线上飞行的途中出现地面物时,利用对地面物的分辨率高度维持在预先设定层的范围内进行飞行的示意图。
图30是另一实施例涉及的无人飞行器的方框结构图。
图31是另一实施例涉及的无人飞行器操作***的操作方法的流程图。
图32是图示又一实施例涉及的无人飞行器操作***的操作方法的流程图。
图33是图示又一实施例涉及的操作***的无人飞行器操作方法的流程图。
图34是图示另一实施例涉及的无人飞行器的工作的流程图。
图35是图示另一实施例涉及的管控***管控无人飞行器的方法的流程图。
图36是图示另一实施例涉及的操作***操作无人飞行器的方法的流程图。
图37是又一实施例涉及的无人飞行器的方框结构图。
图38是图示另一实施例涉及的无人飞行器,操作***及管控***的方框构成图。
图39是图示一实施例涉及的用于无人飞行器的层间的自动飞行的无人飞行器飞行航线信息的生成方法的流程图。
图40是图示另一实施例涉及的用于无人飞行器的层间的自动飞行的无人飞行器飞行航线信息生成方法的流程图。
图41是图示根据另一实施例构建用于无人飞行器的层间移动的航线的无人飞行器航线构建***的方框结构图。
图42是图示根据一实施例用于层间移动的无人飞行器的工作方法的流程图。
图43是根据另一实施例构建用于层间移动的无人飞行器的航线构建***的方框结构图。
图44是用于说明根据一实施例无人飞行器在层间进行自动飞行的顺序的示意图。
图45是用于说明根据一实施例为了无人飞行器在层间移动而设定的层可变区间的示意图。
图46是用于说明根据一实施例无人飞行器在层间移动的顺序的竖直剖面图。
图47是用于说明根据另一实施例无人飞行器在层间移动的顺序的示意图。
图48是用于说明根据又一实施例无人飞行器在层间移动的顺序的示意图。
图49是又一实施例涉及的用于无人飞行器的层间移动的无人飞行器和管控***的方法的流程图。
图50是图示一实施例涉及的无人飞行器控制方法的流程图。
图51是图示一实施例涉及的无人飞行器控制***的方框图。
图52是图示另一实施例涉及的无人飞行器控制***的方框图。
具体实施方式
以下参照附图对实施例进行说明。但是,所述的实施例可变形为各种其它形态,本发明范围并不限于以下说明的实施例。而且,各种实施例是为了向本技术领域具有一般的知识的技术人员能够更加全面地扫描本发明而提供的。为了明确地说明,附图中的要素的形状及大小等可能被夸大。
图1是用于说明无人飞行器操作的飞行高度上限的示意图。
根据美国航空航天局(NASA)的无人航空***交通管理(Unmanned Aerial SystemTraffic Management,UASTM)计划的无人机高速公路(Drone Highway)的构成,无人机高速公路是Amazon、Google、NASA、美国联邦航空厅(Federal Aviation Administration,FAA)等美国约120多个相关机构及企业参与的、无人机应用(例如,快递服务)及管控(例如,构建***用于确保安全以避免碰撞等)有关的构成。
禁飞区110在农村、郊外、都市中400英尺至500英尺的范围形成,但是在机场附近,由于有人航空器的起飞和着陆,机场附近的所有高度范围皆属于禁飞区。一实施例涉及的无人飞行器同样在禁飞区禁止飞行,因此,在农村、郊外、都市不能在400英尺以上进行飞行。而且,以无人飞行器执行的任务为基准,可分为高速飞行区域120和低速飞行区域130。例如,对于如Amazon的物流服务商,使用高速飞行区域以提供迅捷的快递服务,农业、设施检查、摄像等将使用低速飞行区域。
以下的实施例中,对于各个范围竖直分离可使用“层”的概念进行形象化,如分离为高速飞行区域120和低速飞行区域130,仅仅是依据无人飞行器执行的任务的特性(需要高速飞行的任务或者以低速慢慢地进行设施检查的任务)而进行简单的区分,但是,实际上,为了反映更加多样化的无人飞行器执行任务的特性,可生成更多的层。
无人飞行器的自动飞行不仅需要位置坐标(X,Y)还需要高度(Z)的信息。现有的无人飞行器的自动飞行技术是通过在飞行前输入高度(Z)值,并利用基于电波的反向原理的超声波等维持感应器测试的高度(Z)值。例如,现有的自动飞行体系是针对无人飞行器操作不熟练的农民,应用的目的在于,在地表高度一定的农耕地上播撒农药。但是,为了克服安全规定(驾驶员的可视范围内操作)对产业需求变化的限制,需要对由于地面物等使高度(Z)值不易保持一定高度的地域提供改善方案。在此,地面物基本上可包括地表及向地面上方形成或者连接构成的地物及障碍物等。电波高度感应器基于对被摄体的反向原理工作,可维持与被摄体相对的高度(Z)值。即,如果无人飞行器上输入150米的高度(Z)值以维持该高度,则可持续地维持自标高起150米的高度,但是,如果在航线中间存在50米高的面积广阔的地面物,则在该地面物的范围内,无人飞行器的飞行高度将维持在200米。因此,当有飞行高度上限时,依赖电波感应器进行飞行的结果是将会违反用于安全管控而制定的飞行高度,在此,电波感应器可利用波长的反向原理测量高度。尤其,如图1所示,飞行高度的限制是用于维持与有人飞机的飞行最低高度的安全距离(竖直分离)的安全措施,因此,违反时,可能存在出现撞机事故的危险。
由此,为了使无人飞行器安全地自动飞行,应该保持与地表的绝对高度(Z)值(即,飞行高度上限),应该需要补正以维持针对航线中地面物的绝对高度(Z)值,对于接近绝对高度(Z)值且不易进行竖直分离的地面物,应提供回避航线。
图2是用于说明一实施例涉及的无人飞行器的感应器部的示意图。
参照图2,一实施例涉及的无人飞行器的感应器部200可包括姿势控制部210、故障***220及位置测试部230。而且,还可包括无线通信感应器、用于影像拍摄的感应器及激光扫描感应器等。
姿势控制部210通过监视机体的旋转角度,用于控制姿势,例如可使用回转仪感应器(Gyro Sensor)、地磁感应器(Geo Magnetic Sensor)、加速器(Accelerator)等。
故障***220用于飞行错误(Falt Safe),例如可使用气压高度计(电波高度感应器)、超声波、雷达、电压、电流测试仪等。
另外,电波高度感应器由于以对被摄体的反向原理工作,因此可维持与被摄体的相对高度(Z)值。因此,当有飞行高度上限时,依赖电波感应器进行飞行的结果是违反用于安全管控而制定的飞行高度,在此,电波感应器可利用波长的反向原理测量高度。由此,为了使无人飞行器安全地自动飞行,应该保持与地表的绝对高度(Z)值(即,飞行高度上限),应该需要补正以维持针对航线中地面物的绝对高度(Z)值,对于接近绝对高度(Z)值不易进行竖直分离的地面物,应提供回避航线。
位置测试部230是用于感知无人飞行器的位置的感应器,例如可使用GPS(GlobalPositioning System)感应器等。
另外,利用GPS感应器进行高度测试时,考虑到计算高度(Z)值的局限性,应减少周围设施带来的误差范围。但是,GPS高度测试首先受GPS卫星(几何学的)的布置状态的影响,再次受地上障碍物及地形的影响,因此,不能算出高度(Z)值或者即使同一地点也可能产生误差。
根据一实施例,为了从实际飞行中抽取航线上的高度(Z)值,首先,可分析被摄体的点云(Point Cloud),所述被摄体的点云(Point Cloud)由激光雷达(LiDAR)扫描方式抽取,用于在立体空间中构建二维层(Layer)。
通过分析基于电波或者光的反向抽取的点云,连接被摄体特定点的高度并获取的最初层可排除电波干涉、被摄体的材质及入射角引起的失真(例如,电波阴影等)所导致的误差。因此,可通过验证及补正抽取值,可构建更加安全的自动飞行航线。
图3是图示用于一实施例涉及的无人飞行器飞行的地图制作方法的流程图。
参照图3,一实施例涉及的用于无人飞行器飞行的地图制作方法,包括:基于地表扫描数据识别被摄体并将可自动飞行的空间形象化为层(Layer)的步骤310,以及在空间中形象化的层上整合飞行高度上限数据、精确数据地图及回避军事保安区域或者禁飞区的航线信息中至少一个,并在空间上构建用于无人飞行器飞行的自动巡航方法地图的步骤320。在此,层(Layer)可指在三维空间上应用高度值(高度值)而形象化的二维空间。
在此,将可自动飞行的空间形象化为层的步骤可包括通过地表拍摄航空器上安装的地表扫描装置扫描并获取被摄体的点云(Point Cloud)的步骤,分析收集的点云并识别被摄体步骤,利用地形高度数据,抽取被识别的被摄体的特定地点的高度值的步骤,以及连接被摄体的特定地点上抽取的高度值,在空间将无人飞行器的可自动飞行的面积和高度形象化为层的步骤。
此外,还包括将构建在层上的用于无人飞行器飞行的自动巡航方法地图通过GPS或者位置坐标补正装置的信息,在预先设定的安全基准内与无人飞行器进行同步,从而形象化为可应用于无人飞行器的空间地图的步骤330。
根据一实施例,通过提供非可视范围的自动飞行地图,可克服由于地面物等使高度值不易维持在一定值的区域导致驾驶员只能在可视范围内操作的局限性。
此外,通过从地表扫描及影像摄像数据,将可自动飞行空间形象化为层,在形象化的层上整合数据,从而可提供体现高度值的用于无人飞行器飞行的地图的制作方法及***。
根据另一侧面,用于无人飞行器飞行的地图的制作方法,可包括:根据无人飞行器的任务,无人飞行器设定从可飞行的地表面具有一定高度值的层的步骤,设定的层上设定无人飞行器的航线的步骤,以及构建包括设定的层和航线的自动巡航方法地图的步骤。在此,航线可由至少两个路标构成,所述路标包括存在于航线的地表面上的地面物的位置。此外,还可包括根据无人飞行器的识别信息,按照任务制作自动巡航方法地图的步骤。路标是可执行无人飞行器所分配的任务的地点。由此,通过提供非可视范围的自动飞行地图,可克服由于地面物等使高度值不易维持在一定值的区域导致驾驶员只能在可视范围内操作的局限性。此外,通过从地表扫描及影像摄像数据,将可自动飞行空间形象化为层,在形象化的层上整合数据,从而可提供体现高度值的用于无人飞行器飞行的地图的制作方法及***。
以下对一实施例涉及的用于无人飞行器飞行的地图的制作方法的各个步骤进行更加具体的说明。
图4是图示用于一实施例涉及的无人飞行器飞行的地图制作***的方框图。如图4所示,一实施例涉及的用于无人飞行器飞行的地图的制作***可包括层形象化部410、自动巡航方法地图部420及空间地图部430。该用于无人飞行器飞行的地图的制作***的各组成要素可以是服务器中具备的进程。
所述组成要素可通过操作***和至少一个程序代码实现并执行,该操作***的内存中包括图3的方法所包括的步骤310至330。
步骤310中,层形象化部410能够基于地表扫描数据识别被摄体,将可自动飞行空间形象化为层(Layer)。在此,层(Layer)能够以包括高度概念的平面形式显示。
层形象化部410可在空间中生成多个二维层,所述层可形成竖直分离。
在此,层形象化部410可包括收集部、识别部、抽取部及层部。
层形象化部410的收集部可通过地表拍摄航空器上安装的地表扫描装置扫描,可获取被摄体的点云(Point Cloud)。此时,利用获取的被摄的点云,可抽取建筑物的特定地点的高度,此时,高度可以是建筑物的顶部高度,也可以是建筑物的中间高度等建筑物的特定地点的高度。通过图22将对一实施例涉及的从扫描的被摄体的点云抽取建筑物的特定地点的高度的方法进行说明。
图22是用于说明一实施例涉及的从激光雷达(LiDAR)扫描的被摄体中抽取特定地点的高度的过程的示意图,图22的(a)是实际的被摄体的图像,(b)是通过如激光雷达(LiDAR)装备的扫描装置扫描实际的被摄体而显示的被摄体的点云。此时,可显示能够参照被摄体的各地点的高度(Height)的色谱2200。一实施例涉及的层形象化部410的收集部可参照所述色谱抽取被扫描的被摄体的特定地点的高度。
一实施例中,通过使用点云(Point Cloud)从被扫描的被摄体抽取特定地点的高度时,可利用色谱2200的谱级值。然而,激光雷达(LiDAR)是通过激光脉冲(Pulse)方式对被摄体进行扫描,因此,基于被摄体材质可引起光的散射、分界及破裂线(Breakline)的识别问题,基于分析色谱2200而使用的软件工具的运算法则的不同,抽取的被摄体高度值可能会有不同。因此,一实施例中,起初对于基于激光雷达(LiDAR)数据点云(Point Cloud)设定的层,通过光学影像装置的校准(Calibration),验证根据超导飞行-驾驶员的可视范围飞行-的层的高度,可对层的误差进行补正。
例如,层形象化部410的收集部通过地表拍摄航空器上安装的激光雷达(LiDAR)装置,可获取被激光雷达脉冲投射的被摄体的点云。
层形象化部410的识别部通过分析从收集部收集的点云,可识别被摄体。此时,层形象化部410的识别部通过点云可识别地面物个体的分界或者轮廓,由此,可将识别的地面物个体识别为桥梁、楼房、电线等。
层形象化部410的抽取部在地形高度数据中利用数值地形模型(Digital SurfaceModel,DSM)或者数值地面模型(Digital Terrain Model,DTM),可在识别部识别的被摄体的特定地点中抽取高度值。所述DSM数据和DTM数据可从构建有各国家的地理信息数据库的政府机关(例如,韩国是国土地理信息院)或者航空测量公司获取。图23是用于说明一实施例中使用的DSM和DTM的示意图,如图23所示,DSM为地面物的高度值,DTM可为地形的高度值(标高)。
层形象化部410的层部通过连接抽取部在被摄体的特定地点抽取的高度值,在空间将无人飞行器可自动飞行的面积和高度形象化为层。
以下参照图8至图10,举例对识别所述被摄体并形象化自动飞行空间的方法进行说明。
步骤320中,自动巡航方法地图部420在空间中形象化的层上整合飞行高度上限数据、精确数字地图及回避军事保安区域或者禁飞区的航线信息中至少任意一个,可在空间构建用无人飞行器飞行的自动巡航方法地图。
步骤330中,空间地图部430通过GPS或者位置坐标补正装置的信息,在预先设定的安全基准内将构建在层上的用于无人飞行器飞行的自动巡航方法地图与无人飞行器进行同步,从而可形象化为可应用于无人飞行器的空间地图。
空间地图部430在构建于层上且用于无人飞行器飞行的自动巡航方法地图上整合GPS坐标,基于用于无人飞行器的飞行的自动巡航方法地图处理地面物图像的高度值,从而可补正感应器测试高度值。
即,空间地图部430在构建于层上的用于无人飞行器飞行的自动巡航方法地图整合GPS坐标,在整合于所述自动巡航方法地图上的GPS坐标上,基于无人飞行器上安装的影像摄像装置(例如,可安装的各种光学(Optic)影像拍摄装置)设定(以地表为基准校准)的入射角,分析地面物的分辨率变化,将通过分析分辨率变化抽取的分辨率的高度值整合到GPS坐标上,从而可补正超声波等使用反向原理的高度测试装置的高度测试值。
以下参照图11和图12,将举例对如上的地理空间数据的整合和构建地图的方法进行更加具体的说明。
另一实例涉及的在立体精密地图上制作用于无人飞行器飞行的地图的方法,可包括:在立体精密地图上形成竖直分离的多个层的步骤,以及竖直形象化用于显示在航线和层上形成且收集的路标(Way Point)的符号(Symbol)的步骤,所述航线和层在竖直分离的分离间隔上形成。
在此,形成竖直分离的多个层的步骤可包括:获取基于地表拍摄航空器上安装的地表扫描装置扫描的被摄体的点云(Point Cloud)的步骤,通过分析收集的点云识别被摄体的步骤,通过利用地形高度数据,在识别的被摄体的特定地点上抽取高度值的步骤,以及连接被摄体的特定地点上抽取的高度值,在空间将无人飞行器可自动飞行的面积和高度形象化为层的步骤。
另一实施例涉及的在立体精密地图上制作用于无人飞行器飞行的地图的方法可通过利用另一实施例涉及的在立体精密地图上制作用于无人飞行器飞行的地图的***进行具体的说明。在此,在立体精密地图上制作用于无人飞行器飞行的地图的***可包括层形象化部、航线及符号形象化部。所述在立体精密地图上制作用于无人飞行器飞行的地图的***的各组成要素可以是服务器中具有的进程。
层形象化部410可在立体精密地图上形成竖直分离的多个层。此时,立体精密地图可使用现有的立体精密地图或者通过收集数据并直接制作。
如图4所示,层形象化部410可包括收集部、识别部、抽取部及层部。
层形象化部410的收集部可通过地表拍摄航空器上安装的地表扫描装置,可获取扫描的被摄体的点云(Point Cloud)。例如,层形象化部的收集部通过地表拍摄航空器上安装的激光雷达(LiDAR)装置,可获取激光雷达脉冲所投射的被摄体的点云。
层形象化部410的识别部通过分析从收集部收集的点云,可识别被摄体。
层形象化部410的抽取部在地形高度数据中利用数值地形模型(Digital SurfaceModel,DSM)或者数值地面模型(Digital Terrain Model,DTM),可抽取识别部识别的被摄体的特定地点的高度值。
层形象化部410的层部通过连接抽取部抽取的被摄体的特定地点的高度值,在空间将无人飞行器可自动飞行的面积和高度形象化为层。
在此,层可包括形成高度、可执行的任务、机体规格中至少任意一个信息。
此外,形成于层上的航线的符号包括位置坐标和以该坐标相应的层为基准的图像的高度值,图像的高度值是补正基于测试高度的感应器的测试值的值,从而可维持层的形成高度,所述层是无人飞行器进行自动飞行的层。
图5和图6是图示一实施例涉及的无人飞行器航线构建方法的流程图。
参照图5和图6,一实施例涉及的无人飞行器的航线构建方法可包括:基于地表扫描数据识别被摄体并将可自动飞行空间形象化为层(Layer)的步骤510,基于形象化的层收集飞行航线针对的地表影像数据的步骤520,以及通过收集的地表影像数据,分析基于扫描地表面的照相机和被摄体间的距离的影像分辨率变化,从而抽取飞行航线上的高度值的步骤530。在此,照相机和被摄体间的距离可通过照相机的校准(calibration),确认的照相机的内部参数值和外部参数值而计算。此外,本发明应用的实施例中,假设知道拍摄地面物的图像当时的照相机的位置及方向,则考虑上述的照相机的参数可计算出照相机和被摄体间的距离。
此外,照相机可以是能够分析被摄体的分辨率变化的、具有集光部、集光调节部、摄像部结构的普通的光学(Optic)照相机,而且还可包括以校准(calibration)的参数值为基准,可感知并记录被摄体的分辨率变化的另一可置换的装置。
在此,将可自动飞行空间形象化为层的步骤510可包括获取基于地表拍摄航空器上安装的地表扫描装置扫描的被摄体的点云(Point Cloud)的步骤511,分析收集的点云并识别被摄体的步骤512,利用地形高度数据,在识别的被摄体的特定地点上抽取高度值的步骤513,以及连接被摄体的特定地点上抽取的高度值,在空间将无人飞行器可自动飞行的面积和高度形象化为层的步骤514。
此外,一实施例涉及的无人飞行器航线构建方法还可包括通过基于抽取的高度值进行航线验证,并补正电波高度感应器的测试值的步骤540。
根据实施例,通过提供非可视范围的自动飞行航线,可克服地面物等高度值不易维持在一定高度的区域上仅依靠驾驶员在可视范围内进行操作带来的局限性。
此外,提供一种无人飞行器航线构建方法及***,其通过利用扫描数据,抽取标高及障碍物的高度信息,通过分析地表影像数据的影像分辨率变化,使用抽取的地面物的高度信息进行校准(Calibration)验证及补正无人飞行器的电波高度感应器的测试值,从而构建无人飞行器的安全自动飞行航线。
一实施例涉及的校准验证包括验证无人飞行器上安装的照相机镜头和被摄体间的距离、被摄体是否被聚焦、无人飞行器的电波高度感应器的测试值的补正,还可包括利用影像分辨率变化值,补正电波高度感应器具有的误差范围。
此外,一实施例中,所述无人飞行器的电波高度感应器测试值的补正可为了验证照相机校准而执行,所述照相机校准验证的目的在于,为了在无人飞行器飞行之前,设置相应飞行目的的初期飞行,也可以在初期设置结束后,为了一边管理无人飞行器一边持续地补正无人飞行器的电波高度的测试值而执行。
此外,无人飞行器在超导飞行之前验证用于校准初期设置时,可以通过在平地上以无人飞行器的电波高度感应器的测试值为基准,验证照相机校准,其详细说明如下。一实施例涉及的无人飞行器操作***的操作者或者构建自动飞行地图的管理公司,当将层的高度设置为从标高至80m附近时,则将飞行前无人飞行器的电波高度值设置为80m,通过确认在该高度上盘旋(Hovering)的无人飞行器上安装的照相机的焦点是否被调至80m,从而可确认照相机光学透镜的中心至图像感应器间的距离(焦点距离,Focal Length)。因此,可确认从80m的高度的入射角(角度)内存在的被摄体的焦点是否被调焦。
此时,无人飞行器在每次飞行之前进行所述校准验证的理由在于,无人飞行器在起飞时由于激烈的颤动可导致值发生转变,由此,可导致无人飞行器感知的飞行高度与层的高度不同。
此外,根据一实施例,执行所述校准验证的理由在于,在用于无人飞行器飞行的初期设置结束之后,在操作无人飞行器过程中,为了持续地补正无人飞行器的电波高度感应器的测试值,具体说明如下。实际上,基于安装在无人飞行器上的电波高度感应器测试的值可能会超出基于无人飞行器的飞行目的而预先设定的层的高度范围,这种情况下,可能超出无人飞行器可飞行的最高飞行上限高度,或者可能存在与另一飞行器发生冲撞的危险。因此,一实施例中,为了防止所述问题,通过利用无人飞行器上安装的光学设备的影像分辨率变化值进行校准验证,从而可使无人飞行器维持一定高度的层并进行飞行。
因此,一实施例中,无人飞行器在飞行途中通过电波高度感应器突然意识到有地面物存在时,也会通过分析分辨率变化,利用分辨率高度将以该地面物的高度超出层的飞行高度值调至预先设置的层的高度,从而可使无人飞行器维持一定高度的层并飞行。尤其,为此,首先为了获取可准确地分析无人飞行器移动路径上的分辨率的影像,需要首先准确地验证照相机的校准以获取准确的拍摄影像。
以下对一实施例涉及的无人飞行器航线构建方法的各步骤进行更加具体的说明。
图7是图示一实施例涉及的无人飞行器航线构建***的方框图。如图7所示,一实施例涉及的无人飞行器航线构建***700包括层形象化部710、数据收集部720、高度计算部730及验证部740。所述无人飞行器航线构建***的各组成要素可以是服务器中具有的进程。
所述组成要素可通过操作***和至少一个程序代码实现并执行,该操作***的内存中包括图5和图6的方法所包括的步骤510至540
步骤510中,层形象化部710能够基于地表扫描数据识别被摄体,将可自动飞行空间形象化为层(Layer)。在此,层(Layer)可以是包括高度概念的平面。
通过分析地表拍摄航空器基于各种地表扫描装置(例如,SAR(SyntheticAperture Radar),LiDAR,短波紫外线感应器等)扫描的被摄体的点云(Point Cloud),从而可识别建筑物及桥梁等被摄体。
层形象化部710基于扫描数据识别的被摄体,以相应坐标的地表高度为基准计算出所述被摄体的的高度,并连接特定地点的高度,从而可在立体空间形象化二维层。
所述层形象化部710可在空间中生成多个二维层,所述层可形成竖直分离。
在此,层形象化部710可包括收集部、识别部、抽取部及层部。
层形象化部710的收集部可通过地表拍摄航空器上安装的地表扫描装置,可获取扫描的被摄体的点云(Point Cloud)。此时,根据建筑物的高度,可抽取高度,也可以抽取建筑物的中间高度。
例如,层形象化部710的收集部通过地表拍摄航空器上安装的激光雷达(LiDAR)装置,可获取激光雷达脉冲投射的被摄体的点云。
层形象化部710的识别部通过分析收集部收集的点云,可识别被摄体。
层形象化部710的抽取部通过使用地形高度数据,可抽取识别部识别的被摄体的特定地点的高度值。
层形象化部710的层部通过连接从抽取部抽取的被摄体的特定地点的高度值,可在空间经无人飞行器可自动飞行的面积和高度形象化为层。
步骤520中,数据收集部720可基于形象化的层收集飞行航线针对的地表影像数据。
此时,数据收集部720从最初限制的飞行高度的层收集地表影像数据。
数据收集部720通过地表拍摄航空器上安装的特定高度设置校准(Calibration)值的摄像装置,可收集地表影像数据。
此外,数据收集部720为了收集地表影像数据,通过确认空间地理信息,探索用于飞行的安全路径,并生成具体的飞行航线,并可收集所述飞行航线针对的地表影像数据。尤其,用于构建航线的、航线分析所需的、最初的地表影像数据的收集只限于具有驾驶资格的驾驶员在可视范围内的飞行,从而可确保安全性使其最大化。
数据收集部720设定飞行高度上限高度值,通过可检测飞行高度上限高度的被摄体可确认电波高度感应器(例如,电波高度仪(radio altimeter)等)的测试值。在此,可检测飞行高度上限高度的被摄体可以是高于或者等于飞行高度上限高度的地面建筑物等。
此外,数据收集部720可确认摄像装置的分辨率及获取图像方式等规格和基于入射角的校准(Calibration)参数等信息,可获取记录在无人飞行器上安装的飞行信息记录部(Flight Data Recorder,FDR)上的机体的飞行信息。
步骤530中,高度计算部730通过收集的地表影像数据,分析基于照相机和被摄体间的距离的影像分辨率变化,从而可抽取飞行航线上的高度值。
高度计算部730中,航线上的高度(Z)值与地表影像数据整合,所述地表影像数据存储在机体的飞行信息记录部(FDR)且具有坐标、高度、姿势、时间信息,为了抽取收集的图像的高度值,通过参照摄像装置的校准信息和参数、影像的失真补正及影像分辨率变化的分析,可算出航线上的高度(Z)值。
更加具体而言,高度计算部730通过对基于照相机和被摄体间距离的影像分辨率变化进行分析,可抽取飞行航线上的高度值。在此,影像的分辨率变化可通过先前的帧和当前帧的像素数差或者各种角度中拍摄的被摄体的像素数差,可确认高度。
由此,如图15b所示,分辨率高度(HR)可由基于电波高度感应器的高度(HF)和基于点云分析的高度(HO)的差进行计算,分辨率高度(HR)可通过三角测量分析,通过感应器和扫描数据的验证进行补正。
如上所述,现有的影像分析测试距离的方式通过分析被摄体的影像变化测试距离,如果该方式应用于高度测量,则通过分析影像分辨率的变化,可抽取图像的高度(Z)值。
步骤540中,验证部740通过抽取的高度值验证航线,从而可补正电波高度感应器的测试值。
验证部740从航线上存在的被摄体(障碍物)中抽取高度(Z)值,并将其结果以一定的间隔代入无人飞行器的航线坐标中时,当无人飞行器到达所述航线坐标时,感知在与被摄体(障碍物)接触的坐标对应的图像分辨率高度(HR),其结果,可补正使用中的电波高度感应器的测试值。
所述验证部740为了最小化自动飞行时针对通信及机体结构环境的风险,可支持离线图像处理方式。
验证部740通过无人飞行器的自动飞行,反复收集地表影像数据,通过对收集的地表影像数据进行分辨率变化分析,可反映到航线管控和地面控制及航线地图数据上,可生成新增航线或者进行验证。
无人飞行器到达航线的特定坐标时,整合机体内预先储存的航线地图数据和GPS坐标,基于航线地图数据,利用图像的高度(Z)值,可对感应器测试高度(Z)值进行补正。补正的高度(Z)值通过无人飞行器的变速控制,可保持飞行高度上限和基于层的航线的竖直分离。
为了验证航线及维持最新数据,无人飞行器通过自动飞行任务反复地收集地表影像数据,分析收集的地表影像数据可体现在图像变化或者分辨率变化、航线管控和地面控制及航线地图数据中。随着自动飞行任务的反复,航线的可靠性会增强,通过模拟可生成新增航线并进行验证。
图8至图10是用于说明一实施例涉及的基于地表扫描及影像摄像数据形象化自动飞行空间的示意图。
参照图8和图9,为了基于地表扫描及影像摄像数据形象化自动飞行空间,通过地表拍摄航空器810上安装的激光雷达(LiDAR)设备和校正的摄像装置,可获取激光雷达脉冲投射的被摄体821、822、823(建筑物等)的反向点云(Point Cloud)和被摄体821、822、823的特定地点的高度上形成的点831、832、833及影像数据。所述数据可用于以识别被摄体和被摄体的立体模型等提供各种空间及地理信息服务。
分析基于激光雷达脉冲收集的点云及点云中特定地点的高度上形成的点911、912、913,从而识别被摄体821、822、823,如果利用现有构建的地形高度数据,则可抽取被识别的被摄体822的特定地点912的高度值h,可生成用于连接与所述高度值h高度相同的被摄体821、823的特定地点911、913的平面910。例如,被识别的被摄体(建筑物等)的特定地点上抽取的高度值h为120m。在此,特定地点可以是任意选择,假设图8中被摄体822的屋顶具有可容纳无人飞行器起飞着陆的空间的情况而选择的点。
此后,如图10所示,如果连接1010抽取的被摄体的高度值1011、1012、1013,则在空间上以层1020(Layer)的概念可形象化无人飞行器可自动飞行的面积和高度。
另外,图8至图10中,如果,假设无人飞行器的最高飞行上限高度为120m,则被摄体822的高度相当于120m,从而图示以该高度为基准生成可自动飞行的层1020。一实施例中,当生成无人飞行器的可自动飞行的层时,为了防止与有人飞行器的冲撞,假设如前面所述,基于安全规定政策无人飞行器的最高飞行上限高度将被设定,则在最高飞行上限高度以下的空间可设定(形象化)多个竖直分离的层并用于确定无人飞行器的航线。
图11是用于说明一实施例涉及的地理空间数据的整合的示意图。
参照图11,在空间中将形象化的层中高度限制政策1110、精密数字地图1130、回避军事保安区域及禁飞区的航线信息1120等数据整合并应用到层中,从而可构建用于无人飞行器飞行的自动巡航方法地图1100。由此,通过向无人飞行器引导安全的路径,从而在安全敏感地带也可以提供同时使用多个无人飞行器的服务。在此,用于无人飞行器飞行的自动巡航方法地图可视为无人飞行器安全自动巡航方法地图。
图12是用于说明一实施例涉及的通过地理空间数据的整合,制作地图的方法的示意图。
参照图12a,根据一实施例,通过GPS1220及各种位置坐标补正装置的信息,可将构建在层上的用于无人飞行器飞行的自动巡航方法地图1210与无人飞行器1230进行同步化并能够满足安全基准的目标。
即,如图12b所示,可将三维虚拟飞行模拟器1240的指南(Tutorial)的内容在现实中以物理的方式形象化为可应用于无人飞行器的空间地图。
为了使实际机体可识别三维虚拟飞行模拟器1240中被视觉化的路标(WayPoint),利用非接触性高度测试技术将竖直高度值构建为空间数据,由此,可确保无人飞行器操作的安全性。
为了在空间构建一实施例涉及的无人飞行器的安全自动飞行航线,可使用摄像装置获取的地表影像数据,所述摄像装置应用电波感应器的工作原理,且设定有电波/光等的扫描(反向)数据和特定高度的校准(Calibration)值。
基于利用扫描(反向)数据测试距离及高度的方式的高度(Z)值可抽取标高及被摄体(障碍物)的高度信息。
此外,基于特定高度上设定校准(Calibration)值的摄像装置收集的地表影像数据且根据所述影像数据的影像变化分析方式获取的高度(Z)值,可利用抽取的被摄体(障碍物)的高度信息进行校准(Calibration)验证及对无人飞行器的电波高度感应器抽取值进行补正。
图13是用于说明一实施例涉及的通过激光扫描收集点云的意图。
如图13所示,地表拍摄航空器通过GPS(位置)、惯性导航法(INS,航线位置)、激光扫描等收集被摄体的点云(Point Cloud),从而可识别被摄体。
扫描结果显示为无数的所述点云(Point Cloud),基于扫描结果可制作正射影像、制作立体地图、制作等高线、制作DEM。
图14是用于说明一实施例涉及的具有立体空间中特定高度的层的示意图。
如图14a所示,无人飞行器航线构建***以所述坐标的地表高度为基准计算出基于扫描数据识别出的被摄体的高度,通过连接特定地点的高度,可在立体空间中形象化二维层。
立体空间中如果生成具有特定高度(Z)值的无数的二维层1410,则如图14a所示,可形成地形,进而,如图14b所示,以多个网格(Grid)地形1420的形式,可进行形象化。换句话说,对图14a图示的层进行扩展,可形象化为图14b的连接多个层的网格地形,还可以用于构建可远距离飞行的无人飞行器的航线。因此,基于图14b将网格逐一进行扩张,其结果显示层的连接形态,所述层在沿着标高指定的高度被形象化。
参照图14c,无人飞行器航线构建***基于形象化的层收集飞行航线针对的地表影像数据。
此时,最初可基于具有飞行高度的上限高度的层收集地表影像数据。
无人飞行器航线构建***为了收集地表影像数据,确认空间地理信息,探索用于飞行的安全路径,生成具体的飞行航线,可收集所述路径针对的地表影像数据。尤其,为了构建航线,分析航线所需的最初地表影像数据的收集,可通过只允许具有驾驶资格的驾驶员在可视范围内飞行而实现,从而确保安全性使其可最大化。
无人飞行器航线构建***通过设定飞行高度的上限高度值,通过可检测飞行高度的上限高度的被摄体,可确认电波高度感应器(例如,电波高度仪等)的测试值。在此,可检测飞行高度的上限高度的被摄体可以是高于或者等于飞行高度的上限高度的地面构筑物等
此外,无人飞行器航线构建***可确认摄像装置的分辨率及获取图像方式等规格和基于入射角的校准(Calibration)参数等信息,可获取记录在无人飞行器上安装的飞行信息记录部(Flight Data Recorder,FDR)上的机体的飞行信息。
航线上的高度(Z)值与地表影像数据整合,所述地表影像数据存储在机体的飞行信息记录部(FDR)且具有坐标、高度、姿势、时间信息,为了抽取收集的图像的高度值,通过参照摄像装置的校准信息和参数,补正失真的影像和分析影像分辨率变化,可算出航线上的高度(Z)值。
参照图14c和图14d,无人飞行器航线构建***根据层1410上的无人飞行器的飞行目的,将自动飞行航线1430设定为飞行航线之后,为了在自动飞行航线上的每一定地点使无人飞行器维持一定的飞行高度,可生成用于分析地面物的分辨率变化的地点1440。由此,可周期性地确认沿着自动飞行航线1430飞行的无人飞行器是否维持自身的飞行飞行高度。
如图14c所示,可显示在层1410上设定的用于自动飞行的航线1430。所述用于自动飞行的航线1430为了执行无人飞行器的重复任务,可显示为由即指定为出发点又指定为目的地的一个路标1452和用于回避危险地区及转换移动方向的四个路标1450、1454、1456、1458,这样共五个路标1450、1452、1454、1456、1458构成的航线。此时,五个路标1450、1452、1454、1456、1458可相对于用于测试图14d图示的分辨率高度的多个路标1440中的一个。
所述路标(Way Point)作为用于达成航线(Route)上设定的任意目的的特殊坐标地点的概念,基本上,为了设定出发点至目的地或者用于回避障碍物的路径而预先指定的地点等可称之为路标。作为相同的概念,也可称之为航线(Route)上的坐标地点,所述坐标地点必须被感知且具有地面物的影像分辨率值以使无人飞行器维持预先设定的层。
即,图14d中,自动飞行航线上每一定地点上,为了使无人飞行器维持一定的飞行高度且为了分析地面物的分辨率变化的地点1440将为了维持无人飞行器的安全规定的高度,需要测试在移动航线1430中存在的各地面物的影像变化的地点显示为路标(WayPoint)。简而言之,无人飞行器沿着形成于层1410上的航线1430移动的过程中,以阻碍维持层1410高度的、航线的下方的地面物为中心,执行影像变化分析的地点用路标显示。在此,路标也可以是无人飞行器为了执行特定任务或者为了获取数据暂时盘旋的地点。
参照图24,对一实施例涉及的航线和路标的设定方法进行具体说明。图24说明根据一实施例,无人飞行器通过无人飞行器的航线上存在的地面物上空时,通过分析影像,维持航线所布置的层相应的飞行高度的方法。
参照图24,一实施例涉及的无人飞行器为了维持层相应的一定的飞行高度,通过分析影像,可设定需要补正超声波感应器的高度测试值的路标(Way Point)2403。无人飞行器的航线2401从地面物A2410经过地面物B2420和地面物C2430而形成,对于地面物A2410和地面物B2420,地面物的进入地点2450、2454的路标高度和进出地点2452、2456的路标高度可相同。该情况下,该区间可设定为路标有效区间2405。在此,路标有效区间2405可指路在标的进入地点和进出地点上地面物图像的分辨率高度相同的区间。
不同于此,在路标有效区间2405内高度不同时,可在路标有效区间2405的中间新设路标。参照图25,例如,假设地面物A的顶部具有阁楼2550时,且阁楼2550位于飞行航线上时,适合于这种情况的路标可新增于路标有效区间2570。
优选地,每个地面物具有一个路标,图24的地面物A2410和地面物B2420被假定为面积巨大的建筑物,假设可具有两个路标。
图15是用于说明一实施例涉及的基于与被摄体间的距离影像的分辨率变化的示意图。
参照图15a和图15b,无人飞行器航线构建***通过分析基于无人飞行器1500和被摄体间的距离的影像的分辨率(Resolution)变化,抽取飞行航线上的高度值。
一实施例中,无人飞行器基本上通过惯性导航法导航装置(Inertial NavigationSystem,INS),总是能够掌握当前的位置、速度等,但是,为了精密地进行高度定位,通过电波高度感应器测试值和影像的分辨率变化,可补正机体高度。具体地,通过如无人飞行器上安装的照相机的光学设备1510拍摄的前帧和当前帧中被摄体的特定地点的像素数差,可确认高度,利用照相机1510内部形成的图像平面(Image Plane)1520,可分析影像的分辨率变化。
首先,参照图15a,假设无人飞行器1500沿着路标,向X轴和Y轴的矢量方向飞行时,可在图像平面1520上,分析无人飞行器1500的光学设备1510拍摄的对于地表面上不存在被摄体的两个地点1550、1552的像素值。在此,地点1550、1552可以是无人飞行器航线上包括的路标相应的地表面的地点。
无人飞行器1500通过对从地点1550的上空以前的路标上空拍摄的地表面的地点1550的影像分辨率进行分析,利用获取的分辨率高度,可检验无人飞行器1500在地点1550的上空测试的电波高度感应器的测试值的正确度。此时,利用无人飞行器1500上安装的电波高度感应器,可测试飞行高度1554。
此外,地点1552可以是为了确认无人飞行器1500在飞行的飞行方向上存在的地面物的分辨率变化而用于校准拍摄入射角的地表面的地点。对地点1552的分辨率高度可考虑对地点1552的移动,并利用照相机1510的入射角方向1556而计算。当无人飞行器1500位于地点1550的上空时,可拍摄到参照号码1552的地表面,由此,无人飞行器1500可确认对地点1552的影像的分辨率大小1530。这样的过程可在无人飞行器1500在沿着规定的路标自动飞行的途中的各路标上可执行。
即,对于各路标,无人飞行器1500通过电波高度感应器从当前位置的路标上空基于相应的特定地点测试飞行高度的同时,测试基于下一移动位置的路标相应的特定地点的分辨率高度并与下一路标上的电波高度感应器测试值进行比较,当电波高度感应器测试值和分辨率高度不同时,通过改变电波高度感应器测试值,可在下一路标上使无人飞行器1500维持一定的飞行高度。
参照图15b,地点1562是为了检验电波高度感应器的测试值的正确度的地表面上的地点,正确度检验可持续地进行。此外,随着图15b中无人飞行器1500的航线上存在地面物1560,图15a中拍摄地点1552的影像的分辨率和图15b中拍摄地点1564的影像的分辨率会出现不同,通过分析所述变化,无人飞行器1500考虑地面物1560的高度,通过控制可维持自身设定的飞行高度。即,根据地面物1560的存在与否,图15a的影像的分辨率的大小1530和图15b的影像的分辨率的大小1566显示出不同的分辨率变化。
也就是说,图15b中由于存在地面物1560,照相机和地面物的特定地点1564间的距离比图15a中照相机1510和地点1552间的距离近,因此,地点1564的分辨率和地点1552的分辨率(Resolution)将会不同。如上所述,根据一实施例,通过利用所述的分辨率差,可推测无人飞行器的高度及地面物1560的高度,由此,可测算出无人飞行器1500的飞行高度。
由此,分辨率高度(HR)及分辨率高度(HR)的补正可表示如下式。
[数学公式1]
基于电波高度感应器的高度(HF)-基于点云分析的高度(HO)=分辨率高度(HR)
通过三角测量分析的感应器和扫描数据的验证=分辨率高度(HR)的补正
另外,基于影像变化分析的距离测试方法准备用于图像处理的OMR(Optical markrecognition)目标,并以一定的间隔(例如,0.5m)布置目标之后,利用照相机和被摄体间的距离与分辨率的相关关系分析结果等,可进行距离测试。
如上所述,现有影像分析测试距离的方式通过分析被摄体的影像变化并测试距离,如果所述方式应用于测试高度中,则通过分析影像分辨率的变化可抽取图像的高度(Z)值。
无人飞行器航线构建***的验证部740基于抽取的高度值验证航线,可补正电波高度感应器的测试值。
验证部740基于航线上存在的被摄体(障碍物)抽取高度(Z)值,将其结果以一定的间隔代入无人飞行器的航线坐标时,无人飞行器到达该航线坐标时,通过感知与被摄体(障碍物)接触的坐标相应的图像的分辨率高度(HR),其结果,可补正使用中的电波高度感应器的测试值。
如图14d所示,本实施例中,可将抽取的高度(Z)值在该航线坐标上以一定距离布置。
图16至图19是用于说明一实施例涉及的无人飞行器的图像认知及通过处理进行飞行控制及地面管控程序的示意图。
参照图16,无人飞行器识别并处理航线坐标上每个路标(Way Point)配置的图像的高度(Z)值的方式基本上基于影像处理装置和数据连接的特性,必然存在处理时间的延迟、电池消耗等弱点。由此,为了确保自动飞行的安全性,为了最小化自动飞行时针对通信及机体结构环境的风险,可支持离线图像处理方式。
无人飞行器1660整合1602机体内预先储存的航线地图数据1601和GPS坐标,从航线地图数据1601处理1603图像的高度(Z)值,从而可补正1604感应器测试高度(Z)值。
没有收到GPS信号时,则不对GPS坐标进行处理1602,无人飞行器1660基于惯性导航法利用预先储存的航线地图数据1601进行飞行,并对指定的路标进行图像处理1603。此外,没有收到GPS信号时,为了使无人飞行器1660通过与周边的移动通信基站进行通信了解自己的位置,还可以包括与移动通信基站间的通信手段。
无人飞行器非超导飞行或者不具有各路标的地面物的分辨率值时,根据一实施例,预先储存的航线地图数据1601中各路标都储存有预先获取的地面物的分辨率值。因此,无人飞行器1660在执行自动飞行的途中比较各路标储存的地面物的分辨率值和通过电波高度感应器测试及维持的高度值,可补正或者应用电波高度感应器测试值以遵守预先定义的层的飞行高度。此外,每次新的飞行,无人飞行器1660可储存每个路标获取的地面物的分辨率值。
此外,另一实施例中无人飞行器1660通过利用自动飞行前预先获取的地面物的分辨率值和自动飞行途中获取的地面物的分辨率值的平均值,补正电波高度感应器测试值,从而可维持指定的层的飞行高度。
无人飞行器1660处于超导飞行的同时没有获取各路标存在的地面物的分辨率值状态时,无人飞行器1660整合1602航线地图数据1601和GPS坐标,通过电波高度感应器维持预先输入的飞行高度并进行飞行,并且可获取且储存各路标的地面物的分辨率值。
无人飞行器1660利用补正的高度(Z)值,维持飞行高度上限和基于层的航线的竖直分离,从而可控制变速及控制飞行高度1605以维持相当于层的高度的飞行高度。此外,无人飞行器1660将执行1601至1605所生成的飞行信息等通过无线发送接收部1607,向地面管控***1650发送,从而可进行飞行报告1608。管控***1650也可指地面管控***(GroundControl System)。
此外,无人飞行器1660从地面管控***1650通过无线发送接收部1607接收1606航线控制信息1609时,为了执行基于接收的航线控制信息(管控数据)的飞行,可执行变速控制及飞行高度控制1605。此外,根据一实施例,在1601至1605中处理的数据,每当到达航线上的对应的坐标地点时,将记录在无人飞行器1660的飞行记录装置(FDR)中。
无人飞行器1660在执行飞行报告1608时也可将速度、高度、移动方向等飞行信息以短信的形式向地面管控***1650的管控中心1610发送,地面管控***1650可根据收到的飞行信息数据和状况,向无人飞行器1660发送用于控制无人飞行器1660的航线控制数据1609。飞行信息数据和航线控制数据1609可通过无线通信网进行发送,也可通过如LTE(Long Term Evolution)的移动通信网络进行传送。
此外,地面管控***1650的管控中心1610可获取1611无人飞行器1660拍摄的航线影像。由此,管控中心1610可获取影像及图像,所述影像及图像用于分析地面物的高度信息,所述地面物的高度信息是无人飞行器1660通过获取的航线影像1611,沿着设定的航线飞行并获取的。如果分析获取的影像,则利用分析的信息可更新(Update)获取的航线影像对应的航线的信息。
因此,管控中心1610通过获取的航线影像,生成航线更新数据1612时,可通过在线或者离线方式,将更新的航线数据应用于1613无人飞行器1660上。此外,一实施例中的应用1613可在图19图示的参照符号1901至1903的过程中执行,可以在线或者离线的方式实现。
此外,航线影像的获取1611可通过无线或者有线的方式获取。通过无线方式获取航线影像方式可通过无线通信网或者移动通信网或者卫星通信网时实地执行,通过有线方式获取航线影像的方式可在无人飞行器1660结束飞行并着陆后由管理者直接从无人飞行器1660内部的储存航线影像的储存部直接获取。
此外,地面管控***1650可通过无线及有线方式均可获取航线影像,这种情况下,将无线方式获取的航线影像和有线方式获取的航线影像的平均值作为最终的航线影像信息而使用。
此外,地面管控***1650的管控中心1610可确定用于无人飞行器1660的层间飞行的可变更层的区间,可将体现有确定的可变更层的区间的航线数据向操作***或者无人飞行器1660传送。此时,管控中心1610从无人飞行器1660收到变更层请求消息时,管控在无人飞行器1660层变更时飞行用指定层变更区间内存在的其它飞行器,可对无人飞行器1660进行管控直至无人飞行器1660移动至到达层(到达层)为止,以避免与其它飞行器发送碰撞。
例如,无人飞行器1660在层A的指定的路标上飞行的途中根据预先编程的命令或者远端操作,可能发生需要向层C移动的情况。在此,为了便于说明,层A称为出发层,层C称为到达层。此外,层A和层C之间存在有层B时,所述层B称为经由层。
根据一实施例,无人飞行器1660需要由层A向层C移动时,管控中心1610为了防止无人飞行器1660在层移动期间与其他无人飞行器发生碰撞,可持续地对无人飞行器1660及其它无人飞行器进行管控,所述其它无人飞行器是指位于在所述无人飞行器1660的层可变更时间内的层可变更区间内的无人飞行器。
无人飞行器1660需要由层A向层C移动时,向管控中心1610发送层变更请求消息,管控中心1610对发送层变更请求消息的无人飞行器1660进行识别结束后,确认所述无人飞行器1660用于层间移动的层可变更区间,并且可向无人飞行器1660发送确认消息。此时,管控中心1660考虑所述层可变更区间的混杂度等,也可以向无人飞行器1660传递包括层可变更区间信息、层可变更时间、层变更进入地点信息、层变更进入角度信息中至少一个的层移动信息。接收层移动信息的无人飞行器1660根据所述层移动信息中包括的信息,由层A移动至层B之后,位于层B上时,根据从所述管控中心1660接收的层移动信息,可重新向层C移动。当然,无人飞行器1660只通过从层A收到的层移动信息,也可以执行从层A至层C的用于层移动的飞行。
根据另一实施例,无人飞行器1660在没有管控中心1610管控的情况下也可以进行用于层间移动的飞行。另一实施例涉及的无人飞行器1660在需要用于层间移动的飞行时,根据预先储存的层可变更区间信息,也可以进行层间飞行,这种情况下,在进入层可变更区间之前,进入后且没有抵达到达层之前,通过无人飞行器1660具有的感应器,能够预防冲撞且可进行自动飞行。
参照图17,可展示无人飞行器到达特定坐标时,识别被摄体(障碍物)且补正感应器测试值的方法的例子。
到达航线的特定坐标的无人飞行器整合1702机体内预先储存的航线地图数据1701和GPS坐标,从航线地图数据1701处理1703图像的高度(Z)值,从而可补正1704感应器测试高度(Z)值。补正的高度(Z)值用于无人飞行器的变速控制及高度控制1705,由此,无人飞行器可限制飞行高度及维持基于层的航线的竖直分离。
此外,无人飞行器将飞行中收集的飞行信息储存在如飞行记录装置(FDR)的装置中,可通过未图示的通信手段,向管控***或者飞行航线构建***报告1706储存的飞行信息。
参照图18至图20,图示航线管控及航线生成-验证***和航线管控及航线生成-验证程序的例子。图18图示的1801至1813与图16图示的1601至1613相同,故省略其说明。
参照图18,不同于图16,为了模拟验证地面管控***1850中管控中心1810更新的航线数据1812,可新增模拟验证***1820。由此,地面管控***1850在无人飞行器1860上应用航线更新数据1812之前,执行预先模拟验证1820,将经验证的航线更新数据1822作为无人飞行器1860的新增航线而使用,可提高安全性。
为了验证航线及维持最新数据,无人飞行器1860通过自动飞行任务,反复收集地表影像数据,通过分析1803收集的地表影像数据的图像变化或者分辨率变化,进行变速控制及飞行高度控制1805,通过向地面管控***1850传送执行1801至1805中处理的数据,管控中心1810可进行航线管控及地面控制。
此外,地面管控***1850通过模拟验证***1820验证生成的航线更新数据1812,可将经验证的航线更新数据1822利用在线或者离线的方式应用到1813航线地图数据1801上。
图19是根据另一实施例对无人飞行器进行航线管控及生成无人飞行器的航线的管控装置的方框结构图。
首先,无人飞行器的管理公司在申请无人飞行器的自动飞行时,自动飞行申请机体/任务报告部1901将所述管理公司申请的自动飞行机体及自动飞行的目的(任务)向控制部1902传送。例如,所述管理公司可以是如亚马逊、DHL、FEDEX、UPS的物流公司、私设的保安公司、管理大规模炼油管道的炼油公司、监控庞大的铁路是否具有异常的铁路管理公司、教导所、军队、警察及消防等谋求公共安全的机构。
控制部1902预先将无人飞行器的规格及基本业务等的识别信息储存在储存部1912中,将从所述自动飞行申请机体/任务报告部1901获取的无人飞行器注册在储存部1912中,也可储存无人飞行器的规格及基本业务等的识别信息。此外,控制部1902通过自动飞行申请机体/任务报告部1901可分析无人飞行器管理公司汇报的信息,识别无人飞行器,确认识别的无人飞行器是否是适合于所述汇报的任务飞行器。确认结果,如果是合适的飞行器时,通过机体识别及航线配置部1904,可分配适合于所述无人飞行器的任务的层和航线。
所述管理公司为了管理的有效性,优选地,将拥有的无人飞行器根据其重量和输出,以一定的规格进行分类,由此,控制部1902可容易地构建用于自动飞行的自动飞行地图(航线)。
例如,根据无人飞行器的重量或者任务目标或者可飞行时间、可安装的重量,以一定的规格对申请自动飞行的无人飞行器进行分类的规格可储存在储存部1912中,新增航线申请部1910请求生成新增航线时,控制部1902当储存部1912中储存的用于自动飞行的航线地图中如果存在与可飞行所述请求的新增航线的无人飞行器的规格和任务对应的无人飞行器的航线,则可通过控制模拟验证部1906使其执行模拟验证。因此,对于属于一定规规格的无人飞行器,可生成并提供类似的航线。当然,控制部1902为了使无人飞行器在飞行途中避免发生冲撞,设定具有不同飞行时间、飞行距离、高度等的航线,并且可持续地监视无人飞行器是否保持该航线。
机体识别及航线分配部1904在结束对无人飞行器进行层和航线的分配时,可将分配结束的事实告知飞行信息获取部1905。所述无人飞行器的管理公司通过控制无人飞行器使其在分配的层和航线上自动飞行,并且通过控制可将飞行信息记录且向飞行信息获取部1905传送。
飞行信息获取部1905获取无人飞行器汇报的飞行信息,并向控制部1902传达,控制部1902通过检测获取的飞行信息,可判读是否脱离预先分配的层和航线。如果通过飞行信息获取部1905获取所述无人飞行器的飞行信息脱离了预先设定的层和航线,则将其告知无人飞行器的管理公司或者无人飞行器,从而通过控制,可使其在预先设定的层和航线上飞行。
另外,控制部1902如果还需要模拟验证时,所述飞行信息获取部1905可将从无人飞行器获取的飞行信息向模拟验证部1906传送。
模拟验证部1906考虑从所述飞行信息和立体地理信息保安/危险/障碍输入部1907、虚拟信息输入部1908、安全规定信息输入部1909输入的信息,模拟验证无人飞行器分配的层和航线的安全性,并可将其结果向控制部1902传递。
另外,无人飞行器管理公司申请现有的航线之外新的航线时,新增航线申请部1910将申请的新增航线向模拟验证部1906传送,模拟验证部1906通过从立体地理信息保安/危险/障碍输入部1907、虚拟信息输入部1908及安全规定信息输入部1909获取的信息,可判断新申请的新增航线的恰当性。
此外,当申请的新增航线恰当时,可请求新增航线构建部1911构建申请的新增航线。新增航线构建部1911如果基于所述模拟验证部1906的请求构建新增航线,则可向控制部1902传递新增航线及申请所述新增航线的无人飞行器识别信息。因此,控制部1902接受对申请新增航线的无人飞行器的自动飞行请求时,由于所述新增航线预先已经经过验证,可对无人飞行器的飞行请求即刻准予许可。
如图19所示,随着自动飞行任务的反复航线的可靠性增强,通过模拟可生成1911和验证1906新的航线。
此外,举例对无人飞行器自动飞行体系中位置精密度的改善方法进行说明。
用于改善无人飞行器的位置精密度的基础设施,由卫星通信模块、安装卫星通信模块的GPS接收器、通信模块和***及定定位***构成,所述卫星通信模块可接收GPS卫星及GPS之外的卫星信号;所述通信模块和***向地面局及手动飞行机体的GCS(GroundControl System,地面控制***)发射各种卫星信号,自动飞行的机体不能被GCS识别;所述定位***通过使用应用于LTE等民用服务的通信基础设施(4G向5G移动中)的TDOA(TimeDifference of Arrival)方式和体现基站的高度差的TDOA程序和操作,处理机器学习积累的定位补正Reference(数据)并显示。
一实施例涉及的无人飞行器的自动飞行位置精密度改善方法可应用GPS和GNSS信息接收和消息发送、应用使用LTE地上基站(或者下一代移动通信基础设施)的TDOA方式及使用机器学习定位补正Reference(数据)。
图20是图示一实施例涉及的构建的航线的模拟示意图。
参照图20,图示构建的航线的模拟及验证航线的形态,可包括竖直分离的层2010、2011和航线2020及形象化为符号的路标2030。模拟图像可在立体精密地图上形成竖直分离的多个二维层形象化为航线和收集的路标相应的符号(Symbol),所述航线是对应分离间隔的航线。
在此,层可包括形成高度和可执行的任务及机体规格等信息,形成于层上的航线(由路标连接形成)的符号可包括以位置坐标及该坐标相应的层为基准的图像的高度(Z)值。此时,图像的高度(Z)值是指为了维持无人飞行器自动飞行中形成的层的高度,用于补正基于测试高度的感应器测试值的值。
图21是图示一实施例涉及的机体识别及航线管控形态的示意图,其图示了管控画面上显示手动操作飞行的无人飞行器的信息和自动飞行的无人飞行器的信息的示意图。
参照图21,机体是保额及航线管控成像2100可包括层识别及竖直分离信息,自动飞行无人飞行器的识别2120,自动飞行的无人飞行器的飞行航线2110,手动飞行的无人飞行器的识别及变更信息等。
手动飞行的无人飞行器的管控信息2160中,驾驶员的位置如果显示2130,则显示以该位置为中心的法定的飞行半径,而且可时实地显示手动飞行的无人飞行器的识别符(ID)和是否是手动飞行的无人飞行器的信息(为手动飞行的无人飞行器时显示为“手动”)和GPS、INS、高度信息及飞行数据等。
自动飞行的无人飞行器的管控信息2150中可时实地显示注册的飞行器的识别符(ID)和航线分配请求的业务代码、自动飞行与否的信息、GPS、INS、感应器高度信息、飞行数据等。
此外,自动飞行的无人飞行器2120的各路标及航线信息可按照坐标和路标以图像分辨率值的形式显示。
机体识别航线管控形态中可显示相应画面的层(Layer)信息2170、2180。以规定以下的高度根据机体规格及执行的任务,通过竖直分离可构成各种层。例如,画面中参照号码2170显示的当前显示的层的信息,参照号码2180可显示与另一层的竖直分离间隔。
机体识别及航线管控形态2100显示用于在2D精密地图上维持多个二维层的竖直分离间隔的信息,并且可通过以各层为基准构建的航线和收集的路标对应的符号,进行形象化。
机体识别及航线管控形态2100通过最小化影像处理间的延迟,可减少由于管控及飞行控制延迟导致的危险,可显示层的识别、已分配自动飞行航线的机体的识别和飞行信息、自动飞行航线和路标及以各层为基准向路标分配的图像的高度(Z)值。
另外,为了确保安全,限制驾驶员手动操作的机体的识别和飞行半径,并共享自动飞行航线的信息。
自动飞行中的无人飞行器当到达路标时,以正在飞行的层为基准分析及分配的图像的高度(Z)值被加载(Loading)到机体内安装的地图上并能够感知,通过补正基于感应器的测试值,维持该层的形成高度。
所述过程的验证根据机体通过消息发送模块发送的包括感应器高度、GPS、INS信息的飞行记录数据,在航线管控中接收消息,通过分析GPS和感应器高度值及层的形成高度信息,可确认无人飞行器在自动飞行时是否维持竖直分离和飞行高度上限。
在此,对于用于支援航线管控的地图(Map),其提供的功能举例显示如下。
[航线信息显示]
-显示保安地带
-显示危险地带
-显示禁飞区
-显示通过扫描地表抽取的地面物高度和面积
-按照各层显示形成的高度信息
-按照各层显示构建的航线
-按照各层显示构建航线上的路标(Way Point)
-按照各层显示构建航线上的路标(Way Point)对应的图像的高度(Z)值
[显示自动飞行无人飞行器]
-显示自动飞行无人飞行器的识别代码
-显示自动飞行无人飞行器的任务代码
-显示自动飞行无人飞行器对应的航线
-显示以自动飞行无人飞行器对应的航线为基准的水平分离间隔
-显示自动飞行无人飞行器的GPS位置坐标
-显示自动飞行无人飞行器的感应器高度值
-显示自动飞行无人飞行器的飞行错误(FailSafe)状态
[显示基于驾驶员手动操作的无人飞行器]
-显示手动飞行无人飞行器的识别代码
-显示手动飞行无人飞行器的驾驶员识别代码及当前位置
-显示以手动飞行无人飞行器的驾驶员为基准的允许的飞行范围
-显示手动飞行无人飞行器的GPS位置坐标
-手动飞行无人飞行器的感应器高度值
-显示手动飞行无人飞行器的飞行错误(Fail Safe)的状态
图26是图示一实施例涉及的无人飞行器的工作的流程图。
参照图26,在步骤2601中,无人飞行器整合航线地图数据和GPS,在步骤2602中,通过电波高度感应器维持预先输入的飞行高度,同时能够以通过基于所述整合的数据的航线上设定的路标的形式进行飞行。此外,在步骤2603中,无人飞行器可在飞行中不断地检测自己的位置,并监视是否已到达预先设定的路标。在步骤2603的监视结果显示,当到达路标时,无人飞行器对在步骤2604中路标上存在的地面物进行检测,看是否具有预先储存的分辨率高度。此时,航线地图数据中,各路标都可能具有预先储存的分辨率高度。
在步骤2604的检测结果显示,如果具有预先储存的分辨率高度时,则意味着地面物存在,从而无人飞行器可对在步骤2605中当前的路标上测试的电波高度感应器测试值和所述预先储存的分辨率高度进行比较。此外,如果在步骤2606中比较的两个分辨率高度信息存在差值,则在步骤2607中判断电波高度感应器测试值存在错误,为了维持层上指定的飞行高度,可通过分辨率高度对电波高度感应器设定值进行补正,从而以维持基于补正的电波高度感应器设定值的一定的高度进行飞行。在此,一定高度可以是分配给所述无人飞行器的层所定义的飞行高度。此外,无人飞行器为了维持一定的飞行高度,通过控制马达控制部,可进行变速控制和高度控制,此时,一定高度是指满足电波高度感应器测试的电波高度感应器测试值适应电波高度感应器设定值的条件。
相反,如果在步骤2604中不具有预先储存的分辨率高度或者在步骤2606的检测结果不存在错误时,则可储存路标上获取的地面物分辨率高度2608。此时,如图25所示,通过利用获取的分辨率高度,当发生新增或者变更地面物等时,可新增新的路标。
在步骤2609中对储存有分辨率高度的无人飞行器进行检查,看是否结束了飞行至最终路标的飞行,如果飞行没有结束,可移动至下一路标2610。
另外,根据以上叙述,在步骤2605中,通过比较电波高度感应器的测试值和预先储存的分辨率高度,补正电波高度感应器值,但是本发明不限于此,无人飞行器对各路标上获取的分辨率高度和预先储存各路标的分辨率高度进行比较,利用通过其比较结果计算的平均值,从而可对电波高度感应器测试值的错误与否进行判断。当然,根据其判断结果,补正电波高度感应器值,从而可使无人飞行器维持预先定义的一定高度。
此外,无人飞行器可根据预先制定的条件将包括飞行速度、位置、高度等飞行信息向管控***或者操作***传送。在此,预先制定的条件可包括一定的周期到来时,或者到达路标时,或者发生异常情况时等。
图27是另一实施例涉及的无人飞行器的工作的流程图。
参照图27,不同于图26,图示了当每次到达不同于预先储存的分辨率高度时,利用时实地获取的分辨率高度,维持层高度并进行飞行。
在步骤2701中无人飞行器整合航线地图数据和GPS,在步骤2702可通过电波高度感应器,以维持预先输入的飞行高度且通过基于所述整合的数据设定在航线上的路标的方式进行飞行。此外,在步骤2703中无人飞行器可在飞行中不断地测试自己的位置,并检测是否已经到达预先设定的路标。在步骤2703的检测结果显示,如果到达路标,则无人飞行器在步骤2704中对路标的时实分辨率高度进行分析。在步骤2705中,无人飞行器对当前的路标上分析的分辨率高度和预先设定的层的高度进行比较。此外,如果在步骤2705的检测结果显示分析的分辨率高度和层高度相同时,则在步骤2706中无人飞行器可利用分析的分辨率高度,维持层高度并进行自动飞行。
相反,如果在步骤2705的检测结果显示,预先储存的分辨率高度和层高度不同时,在步骤2707中为了在层上维持指定飞行高度,可利用电波高度感应器测试值,维持一定高度并飞行。在此,一定高度可以是分配给所述无人飞行器的层所定义的飞行高度
此外,在步骤2706和在步骤2707中,无人飞行器为了维持一定飞行高度,通过控制飞行控制部,可进行变速控制和高度控制。此外,在步骤2708中,无人飞行器检测是否结束至最终路标的飞行,如果飞行没有结束,可移动至下一路标2709。
图28是图示一实施例涉及的用于无人飞行器自动飞行的航线构建***及管控***的运行方法的流程图。
参照图28,一实施例涉及的航线构建***可包括在管控***中并执行。
在步骤2801中,管控***从无人飞行器管理公司及无人飞行器使用者接收无人飞行器自动飞行申报,在步骤2802中,可确认无人飞行器的识别信息及任务。在步骤2803中,管控***检测就申报自动飞行的无人飞行器的航线分配是否需要通过模拟验证进行检查,如果需要模拟验证时,在步骤2804中,为了无人飞行器的自动飞行,可利用所需的信息进行模拟,从而可验证航线。
此时,如果在步骤2803中不需要模拟验证,或者在步骤2804中验证结束时,管控***在步骤2805中分配符合无人飞行器规格和任务的层和航线,在步骤2806中,可将被分配的层和航线转交给无人飞行器管理公司或者无人飞行器的使用者。
基于所述管控***分配的层和航线飞行的无人飞行器执行无人飞行时,无人飞行器向管控***传送飞行信息,在步骤2807中管控***接收无人飞行器的飞行信息,利用接收的飞行信息,对在步骤2808中无人飞行器是否脱离分配的航线层,或者是否存在冲撞的可能性进行持续的监视,从而可对无人飞行器的飞行进行管控。
无人飞行器结束飞行时,在步骤2809中管控***对结束飞行的无人飞行器航线进行有效性检测,在步骤2810中其结果为有效时,在步骤2812中将有效的航线信息转交给无人飞行器操作公司或者无人飞行器使用者,其结果为无效时,在步骤2811中对无人飞行器航线进行修改后,在步骤2812中可将修改的航线信息转交给无人飞行器操作公司。
图29是用于说明根据一实施例的无人飞行器在预先设定的航线上飞行的途中出现地面物时,利用对地面物的分辨率高度维持在预先设定的层范围内进行飞行的示意图。此时,假设层的高度为150m,由此无人飞行器的电波高度感应器设定值被设定为150m,从而可通过电波高度感应器测试值,以维持基于地表面150m的飞行高度进行飞行。
首先,根据一实施例,无人飞行器可在不超出基于地表面的层的范围2950的范围内,使分配给自己的层和航线维持一定飞行高度的状态并进行飞行。路标2910、2912、2914、2916、2918、2920存在于无人飞行器飞行的航线上,无人飞行器可在各路标2910、2912、2914、2916、2918、2920上利用电波高度感应器,测试基于地点2970、2972、2974、2976、2978、2980的飞行高度。
此外,无人飞行器在各路标上可通过对下一路标位置的地表面或者地面物的照相机入射距离,计算分辨率高度。例如,无人飞行器位于路标2910时,通过电波高度感应器,测试基于地点2970的飞行高度2991并测试对地点2972的照相机入射距离,从而可计算下一路标2912与地点2972之间的分辨率高度。无人飞行器可对各路标执行上述程序。
无人飞行器位于路标2914时,无人飞行器可通过电波高度感应器,测试针对地点2974的飞行高度,通过针对下一路标2916下方地点存在的地面物2960上的地点2976的照相机入射距离,可计算出路标2916与地点2976之间的分辨率高度为130m。因此,无人飞行器通过控制使在路标2916上基于地面物2960的飞行高度为130m,从而可使飞行高度不超出层。在存在地面物的路标2918上也可以执行所述操作。如上所述,图29中,地面物2960的高度为20m,因此,地面物2960上存在的路标2916、2918的飞行高度基于地面物2960应该为130m时,无人飞行器才不会超出飞行高度150m。
另外,在不考虑地表或者地面物的分辨率高度而只使用电波高度感应器的设定值,使无人飞行器维持在层上的飞行高度时,判断基于地面物2960的电波高度感应器测试值为150m的地点的路标2922、2924,从而超出预先设定的层的飞行高度,可能会与竖直分离的另一层上飞行的另一飞行器冲撞。
但是,一实施例涉及的无人飞行器,即使存在地面物2960,也可以通过将电波高度感应器设定值补正使其基于地面物2960的分辨率高度为130m,从而可使无人飞行器不超出层上的飞行高度并进行飞行。
以下对一实施例涉及的无人飞行器控制***进行说明。
图50是图示一实施例涉及的无人飞行器控制方法的流程图。
参照图50,一实施例涉及的无人飞行器控制方法可包括整合无人飞行器的机体中预先储存的航线地图数据和位置坐标的步骤5010;基于航线地图数据处理图像的高度值的步骤5020;利用图像的高度值,补正电波高度感应器的测试值的步骤5030;以及根据补正的电波高度感应器的测试值,通过控制变速,控制飞行高度的步骤5040。
在此,整合航线地图数据和位置坐标的步骤5010是在构建于层上且用于无人飞行器飞行的航线地图数据上整合无人飞行器的GPS坐标的步骤,层通过地表扫描数据识别被摄体,并可形象化自动飞行的空间。
航线地图数据整合在空间形象化的层上的飞行高度上限数据、精密数值地图及回避军事保安区域或者禁飞区的航线信息中至少任意一个,从而可在空间构建用于无人飞行器飞行的自动巡航方法地图。
根据一实施例,通过整合无人飞行器中储存的航线地图数据和位置坐标,处理图像的高度值并补正电波高度感应器的测试值,从而在非可视范围也可以提供无人飞行器可安全自动飞行的无人飞行器控制方法及***。
以下对一实施例涉及的无人飞行器控制方法的各步骤进行具体说明。
图51是图示一实施例涉及的无人飞行器控制***的方框图。
如图51所示,一实施例涉及的无人飞行器控制***5100可包括位置坐标处理部5110、图像处理部5120、测试值补正部5130及飞行控制部5140。可形象化上述组成要素以执行图50的方法中包括的步骤5010至5040。
在步骤5010中位置坐标处理部5110可整合无人飞行器的机体的预先储存的航线地图数据和位置坐标。
更加具体而言,位置坐标处理部5110可在构建于层上用于无人飞行器飞行的航线地图数据上整合无人飞行器的GPS坐标。在此,层通过地表扫描数据识别被摄体,并可形象化自动飞行的空间。此外,航线地图数据整合在空间形象化的层上的飞行高度上限数据、精密数值地图及回避军事保安区域或者禁飞区的航线信息中至少任意一个,从而可在空间构建用于无人飞行器飞行的自动巡航方法地图。
位置坐标处理部5110可通过地表扫描数据识别被摄体,并将可自动飞行的空间形象化为层。
在此,位置坐标处理部5110可包括收集部、识别部、抽取部及层部。
收集部可在基于安装在地表拍摄航空器的地表扫描装置扫描的所述被摄体上获取点云(Point Cloud)。例如,收集部通过地表拍摄航空器上安装的激光雷达(LiDAR)装置,可在激光雷达脉冲投射的被摄体上获取点云。此外,识别部可通过分析收集的所述点云识别所述被摄体。抽取部利用地形高度数据,可在识别出的所述被摄体的特定地点上抽取高度值。
层部连接从抽取部抽取的所述被摄体的特定地点的高度值,在空间中将无人飞行器的可自动飞行的面积和高度形象化为层。
此外,位置坐标处理部5110可通过确认空间地理信息,探索用于飞行的安全路径,并将安全路径体现到生成的飞行航线上,并可收集飞行航线针对的地表影像数据。
此外,位置坐标处理部5110通过设定飞行高度上限值,通过可检测飞行高度上限高度的被摄体,可确认电波高度感应器的测试值。此外,位置坐标处理部5110可确认摄像装置的校准(Calibration)信息,而且可确认安装在无人飞行器上的飞行信息记录部(FlightData Recorder,FDR)内记录的飞行信息。
图像处理部5120可基于航线地图数据处理图像的高度值。
图像处理部5120通过分析基于与被摄体间的距离的影像分辨率的变化,可抽取航线上的图像高度值。此时,补正的电波高度感应器的测试值通过控制无人飞行器的变速,可维持飞行高度上限和基于层的航线的竖直分离。
而且,图像处理部5120将无人飞行器上安装的飞行信息记录部(FDR)中的坐标、高度、姿势及时间信息中至少任意一个与摄像的地表影像数据整合,通过参照摄像装置的校准信息,补正失真的影像及分析影像的分辨率变化,可计算出飞行航线上的高度值。
测试值补正部5130通过利用图像的高度值,可补正电波高度感应器的测试值。所述测试值补正部5130基于航线上存在的被摄体抽取高度值,并以一定间隔代入无人飞行器的航线坐标,并且当无人飞行器到达航线坐标时,感知与被摄体接触的坐标相应的图像的分辨率高度,根据分辨率高度可补正无人飞行器的电波高度感应器的测试值。
此外,测试值补正部5130为了最小化自动飞行时针对通信及机体结构环境的风险,可支持离线图像处理方式。
测试值补正部5130通过无人飞行器的自动飞行,反复收集地表影像数据,通过对收集的地表影像数据进行分辨率变化分析,并体现到航线管控和地面控制及航线地图数据上,通过模拟可生成或者验证新的航线。为此,可形成模拟验证***。
飞行控制部5140根据补正的电波高度感应器的测试值,通过控制变速可控制飞行高度。
另外,一实施例涉及的无人飞行器控制***5100还可包括航线管控部,航线管控部接收无人飞行器通过发送部发送的包括电波高度感应器、GPS、INS信息的FDR(FlightData Recorder)数据,通过对GPS、电波高度感应器的测试值及层的形成高度信息进行分析,可确认无人飞行器在自动飞行时是否维持竖直分离及飞行高度上限。
由此本实施例通过提供非可视范围可自动飞行的无人飞行器控制技术,可克服地面物等高度值不易维持在一定高度的区域中,驾驶员仅依靠在可视范围进行操作带来的局限性。而且,通过整合无人飞行器内储存的航线地图数据和位置坐标,处理地面物图像的高度值,通过补正电波高度感应器的测试值,在非可视范围也可以提供无人飞行器可安全自动飞行的无人飞行器控制方法及***。
以下对另一侧面涉及的无人飞行器控制***进行具体的说明。
图52是图示另一实施例涉及的无人飞行器控制***的方框图。
参照图52,另一实施例涉及的无人飞行器控制***5200的构成可包括飞行驱动部5210、感应器部5220、内存部5230及控制部5240。根据实施例,无人飞行器控制***5200的构成还可包括无线通信部5250。
飞行驱动部5210可生成用于无人飞行器飞行的升力及飞行力。
感应器部5220可测试无人飞行器的飞行高度。
内存部5230根据无人飞行器的任务,可储存管控中心生成的航线地图数据和用于无人飞行器的程序命令。
控制部5240通过控制飞行驱动部5210,基于储存的航线地图数据定义的层上的航线进行飞行,利用航线上的路标相应的分辨率高度和感应器部5220测试飞行高度的电波高度感应器测试值的比较结果,可维持层定义的飞行高度。
在此,层在三维空间中竖直分离且形象化,从而具有可供无人飞行器根据任务飞行的、基于地表面一定高度的高度值,航线构建于层上,其构成至少包括两个路标。
对于预先储存有针对路标的分辨率高度的情况,控制部5210比较分辨率高度和测试的电波高度感应器测试值,分辨率高度和电波高度感应器测试值的比较结果,分辨率高度和电波高度感应器测试值不同时,利用分辨率高度对电波高度感应器的设定值进行补正,通过控制飞行驱动部5210,利用补正的电波高度感应器设定值可维持飞行高度。
对于路标上没有预先储存的分辨率高度情况,所述控制部5240维持电波高度感应器测试值,并可将路标位置上地面物的分辨率值储存在内存部5230中。
执行任务中发生障碍时,控制部5240通过控制飞行驱动部5210,可向预先设定的安全地带移动。
此外,执行任务中发生紧急情况时,控制部5240通过控制飞行驱动部5210,可转换为手动操作模式,从而可基于无人飞行器的操作***的操作进行飞行。
在最初分配的层上进行自动飞行中需要向另一层移动时,控制部5240通过控制飞行驱动部5210,可根据层移动信息,向层可变区间移动,从而在层可变区间向到达层飞行。
在此,层移动信息也可以预先储存在内存部5230中,也可以通过无线通信部5250,从管控***接收。
此外,无线通信部5250可与无人飞行器的操作***进行通信。由此,飞行中的发生故障时,控制部5240通过无线通信部5250就发生故障的情况向无人飞行器的操作***汇报,执行任务中发生紧急情况时,通过无线通信部525将针对紧急情况的摄像信息向无人飞行器的操作***传送。
此外,无线通信部5250通过与管控***的通信,将无人飞行器的层变更请求消息向管控***发送,而且可从管控***接收层移动信息。以下利用一实施例对无人飞行器控制***进行更加具体的说明。
图30是另一实施例涉及的无人飞行器的方框结构图,各组成要素可通过电子方式或者机械方式进行连接。
参照图30,另一实施例涉及的无人飞行器的构成可包括控制部3000、GPS接收部3002、气压感应器3004、影像感应器部3006、电波高度感应器部3008、超声波感应器部3010、内存部3012、加速度感应器3014、有效负载驱动部3016、通信部3018、飞行驱动部3020、地磁感应器3022及回转仪感应器3024。
GPS接收部3002通过从GPS卫星接收信号,可测试当前位置,由此,控制部3000可掌握无人飞行器3050的位置。控制部3000可包括至少一个作为一般目的的处理器的中央处理装置(Central processing unit)及/或如ASIC(Application Specific IntegratedCircuit,专用集成电路)、FPGA(Field-programmable gate array,现场可编程门列阵)或者如DSP(Digital Signal Processor,数字信号处理器)的专用处理器(Dedicatedprocessor)。
气压感应器3004通过测试无人飞行器3050的周边大气压,将其值向控制部3000传递,从而可测试无人飞行器3050的飞行高度。
影像感应器部3006可通过如照相机的光学设备,拍摄被摄体,将基于拍摄的被摄体入射的光学影像信号转换为电子影像信号,向控制部3000传递。
电波高度感应器部3008将微波(Micro wave)向地表面发射,基于地表面反射信号的电波到达时间,可测试距离。此外,将测试的值向控制部3000传递,且可使用超声波感应器部或者合成孔径雷达(Synthetic Aperture Radar,SAR)等。由此,无人飞行器3050的控制部3000通过电波高度感应器部3008,可执行高度测试的同时对地面物和地表面进行观察。
超声波感应器部3010由发送超声波的发送部和接收超声波的接收部构成,通过测试发送的超声波至被接收为止时间,并将其向控制部3000发送,控制部3000可掌握无人飞行器3050的周边是否具有物体。因此,控制部3000通过超声波感应器部3010测试的测试值,当无人飞行器3050周边存在障碍物时,通过控制飞行驱动部(flight actuation unit)3020控制位置及速度以避免冲撞。
内存部3012可储存无人飞行器3050的工作所需的信息(程序命令等)、航线地图及自动飞行有关的飞行信息、飞行中获知的各种飞行信息。而且,内存部3012可储存各路标上测试的分辨率高度信息和电波高度感应器测试值。
加速度感应器(Accelerometer)3014作为测试无人飞行器3050的加速度的感应器,可通过测试无人飞行器3050的x轴,y轴,z轴方向的加速度,向控制部3000传递。
通信部3018通过无线通信与地面管控中心及无人飞行器3050运营公司进行通信,周期地向/从管控中心和操作公司发送/接收飞行信息及控制信息。而且,通信部3018也可以通过周边的移动通信基站接入移动通信网,从而与管控中心或者运营公司进行通信。控制部3000通过通信部3018,与操作***或者管控***进行通信,当接收操作***的远端控制命令时,可向飞行驱动部3020传递控制信号以根据远端控制命令控制无人飞行器的飞行,或者可向有效负载驱动部3016发生并传送用于驱动有效负载驱动部3016的控制信号以回收物体或者派送。
此外,控制部3000也可以通过通信部3018向操作***或者管控***发送通过影像感应器部3006收集的影像。
地磁感应器3022作为测试地球磁场的感应器,将测试值向控制部3000传递,从而可用于无人飞行器3050的方位测试。
此外,回转仪(Gyro)感应器3024通过测试无人飞行器3050的各速度并向控制部3000传递,控制部3000可测试无人飞行器3050的倾斜。
控制部3000控制根据本发明的实施例的无人飞行器3050的全部功能,可执行图26和图27的方法。控制部3000通过全面控制,使无人飞行器3050沿着内存部3012中储存的航线进行飞行,通过在预先设定的各路标上,比较电波高度感应器部3008测试的高度值和基于影像感应器部3006获取的分辨率高度,从而即使路标上存在地面物时,也能够使无人飞行器3050维持指定的飞行高度。
此外,控制部3000通过控制有效负载驱动部3016,从特定地点回收或者向特定地点派送无人飞行器3050的有效负载上搭载的货物等时,可根据无人飞行器3050的货物的发送方式,可投放或者回收货物。
此时,无人飞行器3050的有效负载驱动部3016如果具有提升机(Hoist),则在投放或者回收货物时,控制部3000通过控制有效负载驱动部3016,利用提升机(Hoist)将货物下降至投放地点,或者从回收地点回收货物。更加具体而言,无人飞行器3050在指定的层上维持相应的飞行高度,且利用提升机将货物投放到投放地点,通过放下固定有货物的绳索(Rope),所述绳索的长度等于飞行高度至投放地点的距离,可实现投放。此外,回收货物时,同样在放下与飞行高度至回收地点的距离相等长度的绳索后,确认货物固定在绳索的挂钩(Hook)上,控制部3000通过控制有效负载驱动部3016,可使提升机缠绕绳索使其上升。
此外,控制部3000通过控制飞行驱动部3020,可控制无人飞行器3050的升力及飞行速度。通过控制飞行驱动部3020,考虑电波高度感应器部3008测试的飞行高度和分辨率高度,可使当前飞行高度不超出指定的层。
此外,控制部3000通过控制飞行驱动部3020,向层可变区间移动,在移动至层可变区间后,可通过控制飞行驱动部3020,根据层移动信息中包括的信息,执行用于层变更程序的飞行。
飞行驱动部3020生成无人飞行器3050的升力及飞行力,可具有用于调节多个螺旋桨或者每个螺旋桨的马达或者引擎。飞行驱动部3020基于控制部3000的控制,通过调节无人飞行器3050的滚动(roll)-偏航(yaw)-倾斜(pich)3种运动方向,可维持无人飞行器3050的移动方向,维持姿势及飞行高度。
图30是另一实施例涉及的无人飞行器的方框结构图。
参照图31,另一实施例涉及的无人飞行器操作***的操作方法可基于无人飞行器的操作***(简称为操作***。)而执行。此时,另一实施例涉及的无人飞行器操作***的操作方法可以是图30中说明的另一实施例涉及的用于操作无人飞行器的操作方法。
在步骤3100中,无人飞行器的操作***生成将要执行自动飞行的无人飞行器的自动飞行信息,在步骤3105中可向管控***发送包含自动飞行信息的自动飞行注册请求消息。在此,无人飞行器的自动飞行信息可包含无人飞行器的机体信息及飞行任务信息。
表1显示了无人飞行器的自动飞行信息中包含的机体信息的例子。
【表1】
Figure BDA0001233533440000421
Figure BDA0001233533440000431
表2显示了在无人飞行器的自动飞行信息中包含的飞行任务信息的例子。
【表2】
Figure BDA0001233533440000432
所述表2中起飞着陆方法字段作为定义无人飞行器的起飞着陆方法的字段,该字段为“手动”时,无人飞行器起飞着陆时,由无人飞行器的操作者或者管理者控制起飞着陆,为“自动”时,无人飞行器根据预先编程的命令,执行起飞着陆。故障***(Failure system)字段是无人飞行器发生异常情况处于失控状态时,定义其备案及程序的字段。例如,与管控***间的通信中断的紧急情况下,可包括如作为无人飞行器可降落的安全地带的着陆地点(Landing Zone)的信息、回到起飞地点、至安全地点的路由信息、失去飞行能力时展开用于着陆的降落伞等程序有关的信息。而且,所述故障***(Failure system)字段中,包括无人飞行器的紧急情况下用于防止冲撞居民或者居住设施的地点等有关的信息,紧急情况下无人飞行器根据故障***(Failure System)字段中定义的信息,在居民密集地带的左侧飞行,从而可最大化地防止居民受到损害。
在步骤3110中,操作***可测试是否从所述管控***收到要求无人飞行器安装推荐的应答机(Transponder)的消息,所述无人飞行器是所述在步骤3105中向管控***请求注册自动飞行的无人飞行器。在此,从管控***接收的推荐的应答机消息可指无人飞行器上预先安装的应答机不能满足管控的一定条件,或者没有安装应答机。管控***为了识别无人飞行器和监视无人飞行器的飞行,优选地,在无人飞行器上安装可与管控***通信的应答机。
在步骤3110中,操作***收到要求安装推荐的应答机的消息时,操作***在步骤3115中在无人飞行器上安装管控***推荐的应答机,在步骤3120中可从管控***接收测试结果。
相反,如果没有收到要求安装推荐的应答机的消息或者收到测试结果时,意味着管控***已经结束了对安装在无人飞行器上的应答机的认证(测试),在步骤3125中操作***可检测是否收到自动飞行许可消息。
在步骤3125中,没有收到自动飞行许可消息时,操作***重新在步骤3100中生成用于无人飞行器自动飞行的自动飞行信息,并重新发送自动飞行注册请求消息。
此外,在步骤3130中操作***收到自动飞行许可消息时,可从管控***分配到认证的航线及层,在步骤3135中可向执行自动飞行的无人飞行器下载经认证的航线及层。
在步骤3140中操作***可根据无人飞行器的飞行开始时间和结束时间,在经认证的层和航线上操作无人飞行器。
另一实施例涉及的管控***中传递给操作***的自动飞行许可消息的例子,可显示如下表3。
【表3】
Figure BDA0001233533440000441
参照表3,认证代码及识别符是用于识别无人飞行器的识别信息,层信息是基于无人飞行器的任务分配的层的信息。任务代码是显示无人飞行器的任务为派送、犯罪监视、侦查、山火监视、测量、救助活动、气象测试、大气污染测试等任务中的任意一个任务的信息。此外,无人飞行器识别信息是在无人飞行器和管控***间的认证程序结束后,用于管控***识别无人飞行器的信息,当任务代码对应的安全规定存在时,安全规定信息可显示对该规定的信息。
图32是图示又一实施例涉及的无人器操作***的操作方法的流程图。
参照图32,又一实施例涉及的无人飞行器操作***的操作方法可基于无人飞行器的操作***而执行。此时,又一实施例涉及的无人飞行器操作***的操作方法可属于图31的步骤3140中说明的另一实施例涉及的用于操作无人飞行器的操作方法。
在步骤3200中,操作***可选择多个无人飞行器中可执行任务的无人飞行器。
此外,在步骤3202中操作***可从管控***接收任务相应的航线信息和层信息。在此,航线信息和层信息包含在自动飞行许可消息中,可从管控中心接收。此时,在步骤3202可包括图31中说明的步骤3100至步骤3125。
在步骤3204中,操作***向选定的无人飞行器下载接收的航线信息和层信息,在步骤3206中选定的无人飞行器的任务开始时间达到时,可下达开始任务的指示。在此,如果操作***向无人飞行器发送任务开始消息时,无人飞行器根据所述表3中包括的飞行开始时间信息,可开始飞行以执行指定的任务。
在步骤3208中,操作***周期性地从无人飞行器接收飞行信息,或者无人飞行器上发生事件时,可接收相应事件针对的飞行信息。在此,事件可包括无人飞行器在飞行中持续进行的自我诊断结果及发生故障或者在执行任务中发生事件及事故的情况。
在步骤3210中,操作***如果基于接收的飞行信息确认无人飞行器发生故障时,在步骤3222中可向无人飞行器下达命令使其向预先指定回收地点移动。在此,回收地点可以是预先在管控***和操作***之间确定的、仅适用于紧急情况,并且平时不分配给其它无人飞行器的地点或者预先指定为安全地带的地点。而且,当无人飞行器发生故障向回收地点移动时使用的层和航线可以是仅适用于紧急情况的由管控***设定的紧急层和航线。
另外,操作***考虑到无人飞行器发生致命的故障,使发生故障的无人飞行器无法移动到回收地点的情况,从而可驱动降落伞等手段以防止地面冲撞而带来的冲击。
在步骤3224中,操作***可选择无人飞行器用于代替待机状态的无人飞行器中发生故障的无人飞行器并执行任务。此时,假设可代替的无人飞行器也处于基于管控***的认证程序已经结束的状态。
在步骤3226中,操作***向选定的无人飞行器下载发生故障的无人飞行器的航线信息和层信息,在步骤3228中指示无人飞行器向故障发生地点移动,可持续地从代替投入的无人飞行器接收飞行信息,并指示其执行任务。
在步骤3230中,操作***将发生故障的无人飞行器在回收地点回收后,找出故障原因3232,并将故障原因向管控***传达3234。此时,操作***可在所述在步骤3230中使用其他回收用无人飞行器对发生故障的无人飞行器进行回收。此时,所述回收用无人飞行器作为预先已结束基于管控***认证程序的机体,预先储存有用于回收的紧急情况下使用的层信息和飞行信息等,因此,当发生回收情况时,可立即执行用于回收发生故障的无人飞行器的飞行。相反,在步骤3210中执行任务中的无人飞行器中没有发生故障时,操作***可在步骤3212中接收无人飞行器获取的信息。在此,获取的信息可以是通过执行任务的无人飞行器上安装的影像设备等获取的图像等,例如,可包括犯罪现场或者事件现场的影像,用于在铁道、工厂设备、输油管、军事停火线、劳教所等需要持续进行监视的场所所需的影像。此外,也可以是为了维护铁道、工厂、建筑物等而使用热感应照相机拍摄的影像。此外,当无人飞行器的任务为气象测试、大气污染测试等时,飞行中测试的数据可作为获取的信息。
在步骤3214中,无人飞行器在执行任务后回归时,操作***可通过无人飞行器飞行中储存的飞行信息,确认航线信息和层信息是否存在异常3216,在步骤3218中,如果需要对层和航线进行变更,则可向管控***请求对无人飞行器的层和航线进行变更3220。
相反,在步骤3214中,无人飞行器没有回归时,操作***可接收无人飞行器的飞行信息3208。而且,在步骤3218中如果不需要变更时,则操作***可接收任务相应的航线信息和层信息3202。
图33是图示又一实施例涉及的操作***的无人飞行器操作方法的流程图,是显示利用无人飞行器提供快递服务的公司时的操作***的方法的流程图。此时,又一实施例涉及的无人飞行器操作***的无人飞行器操作方法可属于图31的在步骤3140中说明的另一实施例涉及的用于操作无人飞行器的方法。
图33的步骤3300至步骤3320与图32的步骤3200至步骤3220的说明内容重复,故在此省略其进一步说明。
在步骤3322中,操作***可向发生故障的无人飞行器发送安全地带移动消息,命令其向预先指定的安全地带移动。在此,安全地带可以是确定的仅限于在紧急情况下使用而且平时不分配给其他无人飞行器的地点。此外,用于无人飞行器发生故障时向安全地带移动的层和航线是基于管控***设定的用于紧急情况的层和航线,其仅限于紧急情况下使用。
在步骤3324中,操作***可选择无人飞行器以代替待机状态的无人飞行器中发生故障的无人飞行器的任务。此时,假设可代替的无人飞行器也处于基于管控***认证程序已经结束的状态。
在步骤3326中,操作***向选定的无人飞行器下载发生故障的无人飞行器的航线信息和层信息,在步骤3328中可指示无人飞行器使其向安全地带移动。
在步骤3330中,发生故障时,操作***将向管控无人飞行器的管控***或者物品收取人的电脑或者移动终端发送故障消息,通知发生及故障发生引起的物品派送时间延迟等有关的信息。
在步骤3332中,操作***在回收发生故障的无人飞行器后,可通过无人飞行器的FDR等,找出故障原因3334,并将故障原因向管控***传达3336。
以下对一实施例涉及的无人飞行器执行飞行的方法进行说明。该无人飞行器的工作方法可与前面所述的无人飞行器操作***互动并工作。
一实施例涉及的无人飞行器中执行飞行的方法可包括:与管控中心进行用于自动飞行的认证步骤;下载管控中心根据无人飞行器的任务生成的航线地图数据的步骤;任务执行时间到来时,在下载的基于航线地图数据定义的层的航线上进行飞行的步骤;以及利用航线上的路标相应的分辨率高度,维持层定义的飞行高度的步骤。在此,层在三维空间中通过竖直分离进行被形象化,从而使层具有可提供无人飞行器根据任务飞行的、基于地表面具有一定高度的高度值。航线构建于层上,至少包括两个路标。
此外,还包括在飞行中发生飞行故障时向无人飞行器的操作***汇报故障的步骤。
此外,还可包括执行任务中发生故障时向预先设定的安全地带移动的步骤。
其构成还可包括,执行任务中发生紧急情况时,转换为手动操作模式,并基于无人飞行器操作***的操作进行飞行的步骤。
其构成还可包括,执行任务中发生紧急情况时,将紧急情况的拍摄信息向无人飞行器的操作***传送的步骤。
以下通过举例对无人飞行器执行飞行的方法进行更加具体的说明。
图34是图示另一实施例涉及的无人飞行器的工作流程图。
参照图34,另一实施例涉及的无人飞行器的工作可通过无人飞行器执行。此时,另一实施例涉及的无人飞行器的工作可以是图30中说明的另一实施例涉及的无人飞行器的工作方法。
在步骤3400中,无人飞行器在接收操作***提供的电源之后,在步骤3402中可执行与管控***的应答机认证程序。在此,执行的认证程序除了包括应答机认证程序之外,管控***用于管控无人飞行器的认证还可包括任何本说明书中没有记载的程序。
在步骤3404中,无人飞行器从操作***下载航线信息和层信息,在步骤3406中还可检测飞行开始时间到来与否。
此时,飞行开始时间到来之前至飞行开始时间,无人飞行器处于待机状态3408,如果飞行开始时间到来,则开始飞行3410。此时,所述飞行开始之前,可执行飞行开始之前的程序(检查升降机、副翼、方向舵等的操作),飞行开始前的程序如果正常,则可设定为允许开始飞行。
在步骤3412中,无人飞行器沿着下载的层和航线上定义的路标进行飞行,在步骤3414中储存飞行信息并将其向操作***或者管控***汇报,在步骤3416中可执行预先指定任务。此时,无人飞行器能够以维持层定义的一定飞行高度并执行任务。
在步骤3418中无人飞行器在执行预先指定任务中可执行自我功能诊断,从而可检测是否发生故障3420。
在步骤3420中无人飞行器发生故障时,在步骤3422中向操作***或者管控***汇报故障发生情况,在步骤3424中可向预先指定回收地点移动。此时,无人飞行器移动的位置也可以是非回收地点的安全地带。
相反,在步骤3420中没有发生故障时,在步骤3426中无人飞行器检测飞行结束时间到来与否,飞行结束时间到来之前,在步骤3412中沿着路标继续飞行。相反,在步骤3426中飞行接收时间到来时,在步骤3428中无人飞行器可回到出发地。
图35是图示另一实施例涉及的管控***管控无人飞行器的方法的流程图。
参照图35,另一实施例涉及的管控***的无人飞行器管控方法可基于管控***而执行。此时,另一实施例涉及的管控***的无人飞行器管控方法可以是图30中说明的另一实施例涉及的用于管控无人飞行器的方法。
在步骤3500中,管控***从无人飞行器的操作***接收自动飞行注册请求,在步骤3502中可与请求注册的无人飞行器进行认证程序。在此,执行的认证程序可包括认证无人飞行器上安装的应答机是否是推荐的应答机的程序。
在步骤3504中管控***没有结束无人飞行器的认证时,在步骤3506中,可向无人飞行器或者无人飞行器的操作***传递推荐应答机安装要求消息,该要求消息要求无人飞行器安装推荐的应答机。
相反,结束对无人飞行器的认证时,在步骤3508中管控***从操作***获取无人飞行器的信息及任务信息,并检测获取信息相应的预先构建的航线及层信息是否存在(步骤3510)。
在步骤3510中,数据库具有预先构建的航线和层数据时,管控***利用获取任务信息进行模拟3512,模拟结果,可将经认证的航线及层分配给无人飞行器3514,并可将分配的航线及层信息向操作***传递3516。此外,管控***可对步骤3518中开始飞行且汇报的无人飞行器进行管控。
另外,在步骤3510中数据库不存在预先构建的航线和层时,在步骤3520中管控***在预先保存的无人飞行器中选择与请求自动飞行的无人飞行器的条件相应的无人飞行器,通过选择的无人飞行器,可构建新的航线及层。
在步骤3522中,管控***将构建的新的航线及层信息向无人飞行器的操作***传递,在步骤3524中也可以将构建的新的航线及层信息储存在数据库中。
图36是图示另一实施例涉及的操作***操作无人飞行器的方法的流程图。
参照图36,另一实施例涉及的操作***操作无人飞行器的方法可基于操作***而执行。此时,另一实施例涉及的操作***操作无人飞行器的方法可以是图31的步骤3140中说明的另一实施例涉及的用于操作无人飞行器的方法。
在步骤3600中,操作***从无人飞行器接收飞行有关的信息及无人飞行器获取的影像,在步骤3602中可检测事件发生与否。在此,事件可包括如发生犯罪,火灾等发生的事件,建筑物等设施上发生皲裂等。
事件发生时,在步骤3604中操作***可检测无人飞行器的操作模式是否变为手动控制。操作***通过在步骤3604中检测是否变为手动控制的程序确认操作者是否输入手动控制命令,从而进行检测。
在步骤3604中,无人飞行器的操作模式没变为手动操作时,在步骤3612中操作***可预先基于编程的命令处理发生的事件。例如,发生的事件为犯罪事件时,可对相应地点的事物或者移动的物体进行高倍率的拍摄,或者将利用夜视仪等设备拍摄的影像向操作***发送,或者跟踪移动的物体,当无人飞行器上储存有飞行动作的编程命令时,无人飞行器可根据预先储存的命令,处理发生的事件。
相反,在步骤3604中变为手动控制时,在步骤3606中操作***向无人飞行器发送消息,从而可基于操作者输入的控制命令控制无人飞行器,在步骤3608中将对事件发生地点的处理命令向无人飞行器发送,从而可处理所述在步骤3602中发生的事件。例如,操作***根据操作者输入的调节照相机角度的命令、调节倍率命令、帧数命令、发生声音命令、跟踪命令等命令,从而可处理事件。
此外,在步骤3610中操作***可将从无人飞行器接收的事件有关的信息,向警察署、消防署、保安(Security)有关公司、军队、设施维修公司等有关机构传递。
图37是又一实施例涉及的无人飞行器的方框结构图。
参照图37,又一实施例涉及的无人飞行器的构成可包括控制部3700、GPS接收部3702、企业感应器3704、影像感应器部3706、电波高度感应器部3708、超声波感应器部3710、内存部3712、加速度感应器3714、有效负载驱动部3716、通信部3718、飞行驱动部3720、地磁感应器3722、回转仪感应器3724、电源供应部3730、燃料储存部3732及应答机3734。
又一实施例涉及的无人飞行器的组成要素可执行与图30中说明的另一实施例涉及的无人飞行器的组成要素的部分相同的功能。例如,又一实施例涉及的无人飞行器的GPS接收部3702、企业感应器3704、影像感应器部3706、电波高度感应器部3708、超声波感应器部3710、内存部3712、加速度感应器3714、有效负载驱动部3716、通信部3718、飞行驱动部3720、地磁感应器3722以及回转仪感应器3724,可执行与图30中说明的另一实施例涉及的无人飞行器的GPS接收部3002、气压感应器3004、影像感应器部3006、电波高度感应器部3008、超声波感应器部3010、内存部3012、加速度感应器3014、有效负载驱动部3016、通信部3018、飞行驱动部3020、地磁感应器3022以及回转仪感应器3024相同的功能,故省略其重复说明。在此,又一实施例涉及的无人飞行器的各组成要素可通过电子方式或者机械方式连接。
电源供应部3730提供无人飞行器3750操作所需的电力,可包括如引擎的内燃机或者蓄电池,当无人飞行器3750的电源供应源为与引擎相同的内燃机时,燃料储存部3732可储存如石油等的燃料。
管控***执行用于识别无人飞行器375的认证,应答机3734可周期地向管控***发送用于管控无人飞行器3750的飞行信息。
控制部3700可包括至少一个作为一般目的的处理器的中央处理装置(Centralprocessing unit)及/或如ASIC(Application Specific Integrated Circuit,专用集成电路),FPGA(Field-programmablegatearray,现场可编程门列阵)或者DSP(DigitalSignal Processor,数字信号处理去)等专用处理器(Dedicated processor),可控制本发明涉及的无人飞行器3750的全部功能,可执行图34中说明的方法。
控制部3700通过全面控制,使无人飞行器3750沿着内存部3712中储存的航线进行飞行,在预先设定的各路标比较电波高度感应器部3708测试的高度值和基于影像感应器部3706获取分辨率高度,路标上存在地面物时,也可以使无人飞行器3750维持指定的飞行高度。
此外,控制部3700在无人飞行器3750发生故障时,通过控制飞行驱动部3720可向内存部3712储存的安全地带或者回收地点移动,通过通信部3718,可将故障有关信息向操作***发送。
此外,电源供应部3730供应的电源低于无人飞行器的操作所需的电源或者燃料储存部3732的燃料不足最低储存量或者飞行驱动部3720的操作发生故障时,控制部3700可判断无人飞行器3750发生故障,并通过通信部3718将发生故障的事实向操作***或者管控***传送。
此外,事件发生时,控制部3700根据预先设定的事件对应的程序,通过控制影像感应器部3706,可选择影像获取方向,影像获取模式(紫外线、X光线等),并且通过控制将基于影像感应器部3706获取的影像储存在内存部3712中,并通过通信部3718向操作***传送。
此外,控制部3700通过通信部3718可控制功能模组,所述功能模组执行从操作***或者管控***接收的命令。例如,通过通信部3718从操作***或者管控***接收影像获取命令时,控制部3700根据影像获取命令控制用于获取影像的影像感应器部3706的影像获取模块的视角、方向、分辨率、倍率等或者通过控制飞行驱动部3720控制飞行方向,从而获取操作***或者管控***所需的影像。
此外,控制部3700通过通信部3718,从操作***或者管控***接收物品回收或者派送命令,根据接收的命令控制飞行驱动部3720,从而可向物品回收地点或者派送地点移动,在物品回收地点或者派送地点通过控制有效负载驱动部3716,执行回收或者派送物品的操作。
图38是图示另一实施例涉及的无人飞行器和操作***及管控***的方框构成图。
参照图38,另一实施例的构成可包括管控***3800、操作***3850及无人飞行器3870。管控***3800和操作***3850及无人飞行器3870各自的组成要素通过电子方式连接的数据线3812接口进行连接,并接收数据及控制信号。
管控***3800的构成可包括模拟数据库3802、处理器3804、内存3806、通信部3808以及网络接口3810。
管控***3800的通信部3808可与无人飞行器3870进行无线通信,网络接口3810与操作***3850的网络接口3856连接,并可发送和接收信息。内存3806可储存程序命令,所述程序命令可使管控***3800的处理器3804基于本发明的实施例而工作。
管控***3800的模拟数据库3802储存管控***按照无人飞行器的任务及无人飞行器规格模拟层信息及航线信息的结果信息,所述无人飞行器是执行已构建的自动飞行的无人飞行器。处理器3804从操作***3850接收自动飞行注册请求时,检查模拟数据库3802中是否具有与请求的自动飞行相应的层信息及航线信息,通过将执行请求的自动飞行的无人飞行器规格信息,可执行模拟并将其结果向操作***3850传递。
操作***3850的构成可包括无人飞行器接口3851、处理器3852、内存3854、网络接口3856及通信部3858。
操作***3850的通信部3858可通过无线通信,与无人飞行器3870的通信部3874发送和接收各种信息。内存3854可储存程序命令,所述程序命令可使操作***3850的处理器3852基于本发明的实施例而操作,而且可储存操作***3850管理的多个无人飞行器3870的规格信息及任务信息。
无人飞行器接口3851与位于操作***3850的飞机库的多个无人飞行器连接,可提供电源,可下载航线信息和层信息,可传递赋予飞行任务等有关的各种控制信息。
无人飞行器3870的构成可包括:处理器3872、内存3873、通信部3874、飞行驱动部3875及影像获取部3876。
通过控制无人飞行器3870的处理器3872,可执行无人飞行器的飞行有关的各种操作,内存3873可储存处理器3872执行的程序命令和航线信息、层信息、飞行中储存的各种信息及影像获取部3876获取影像。处理器3872可生成储存在内存3873中的程序命令和控制信号,所述程序命令与无人飞行器3870的操作有关,所述控制信号基于航线信息、层信息等用于控制无人飞行器3870的自动飞行的各个构成。
通信部3874可与管控***3800的通信部3808和操作***3850的通信部3858,通过无线通信发送和接收飞行信息、各种数据及控制信息。飞行驱动部3875生成基于处理器3872的控制无人飞行器3870的升力或者飞行力,影像获取部3876在飞行中基于处理器3872的控制可拍摄个体。尤其,通信部3874将基于影像获取部3876拍摄的影像向操作***3850的通信部3858或者管控***3800的通信部3808发送,将从操作***3850的通信部3858或者管控***3800的通信部3808接收的、影像获取部3876控制信号向处理器3872传递,从而可控制影像获取部3876进行用于拍摄影像的各种飞行控制操作及用于获取影像的操作。
上述的实施例中就无人飞行器沿着预先构建的层的航线进行飞行进行了说明,以下对无人飞行器通过层变更进行自动飞行进行说明。
又一实施例涉及的无人飞行器航线构建方法,其步骤可包括基于地表扫描数据识别被摄体,并将无人飞行器可自动飞行的空间形象化为层(Layer)的步骤;在形象化的层上确定用于生成无人飞行器航线的路标的步骤;基于形象化的层收集路标对应的地表影像数据的步骤;通过收集的地表影像数据,并分析基于与被摄体间的距离的影像分辨率变化,抽取各路标上的高度值的步骤,以及生成包括形象化的层、路标、高度值以及作为路标间的连接线的飞行航线中至少任意一个飞行航线信息的无人飞行器飞行航线信息的步骤。
在此,路标显示无人飞行器在层上进行自动飞行的点的地表面上存在的地面物的位置,或者可显示执行预先指定任务的位置。
其构成可包括:生成无人飞行器的飞行航线信息的步骤;需要从出发层向另一层移动时,确定无人飞行器预计到达的到达层的步骤;以及生成用于从出发层向到达层移动的层移动信息的步骤;此时,出发层为无人飞行器最初分配的层。
层移动信息可包括层可变区间、层移动时间、变更及其进入时间、变更区间进入角度中至少任意一个,所述层可变区间包括在无人飞行器自动飞行的航线中用于层变更的路标区间。
以下举一例子对又一实施例涉及的无人飞行器航线构建方法进行更加具体的说明。
图39是图示一实施例涉及的用于无人飞行器的层间的自动飞行的无人飞行器飞行航线信息的生成方法的流程图。
参照图39,一实施例涉及的用于无人飞行器的层间自动飞行的无人飞行器飞行航线信息生成方法可基于无人飞行器航线构建***而执行。在此,无人飞行器航线构建***是本发明的实施例涉及的,可以是前述或者后述的无人飞行器航线构建***。
在步骤3900中无人飞行器航线构建***基于地表扫描数据识别被摄体,将可自动飞行的空间形象化为层(Layer),在步骤3910中基于形象化的层收集针对飞行航线的地表影像数据,在步骤3920中通过收集的地表影像数据,分析基于扫描地表面的照相机和被摄体间的距离的影像分辨率的变化,从而可抽取飞行航线上的高度值。而且,无人飞行器航线构建***在步骤3930中基于抽取的高度值,通过航线验证,可补正电波高度感应器的测试值,该步骤可作为选项。
此后,在步骤3940中无人飞行器航线构建***为了无人飞行器的自动飞行,可生成供无人飞行器飞行的层信息及飞行航线。在此,层信息可包括在可供无人飞行器飞行的多个层中用于识别被分配的用于飞行的层的信息,层高度值,面积等有关的信息,飞行航线信息可包括各层的无人飞行器飞行航线上存在的路标位置、高度值及作为各路标的连接线的飞行航线等。在此,飞行路径和航线表示用于无人飞行器在三维空间进行飞行的通路,可具有相同的含义。
在步骤3950中无人飞行器航线构建***可根据无人飞行器的机体信息或者任务信息,可判断是否需要层间移动。例如,分析无人飞行器机体信息中包括的重量、蓄电池、燃料、推进器信息,其结果显示,如果具有可进行层间移动的性能的无人飞行器,则可判断为可进行层间移动。而且,在步骤3950中无人飞行器航线构建***根据无人飞行器的任务信息中包括的任务内容,可判断无人飞行器是否需要进行层间移动。
飞行任务信息的例子可显示如下表4。
【表4】
Figure BDA0001233533440000541
参照表4,在步骤3950中无人飞行器航线构建***根据飞行任务信息,确定无人飞行器在飞行中可否进行层间移动,如果可进行层间移动,则在步骤3960中可设定用于无人飞行器的层间移动的层移动信息。层移动信息可包括层可变区间位置信息、层移动时间、变更区间进入时间、变更区间进入角度中至少任意一个,所述层可变区间位置信息包括用于无人飞行器自动飞行的航线中用于层变更的路标区间。此外,无人飞行器航线构建***在步骤3970中将所述在步骤3960中设定的层移动信息体现在无人飞行器的自动飞行航线上之后,在步骤3980中生成体现层移动信息的无人飞行器飞行航线信息,在步骤3990中可向无人飞行器及所述无人飞行器的操作***传递。此时,无人飞行器的操作***不存在时,无人飞行器航线构建***可传送仅基于无人飞行器构建的航线地图。而且,无人飞行器航线构建***传送航线地图的方法可通过有线或者无线通信网络传递,或者可通过存储媒体进行传递。
相反,在步骤3950中不能进行层间移动时,无人飞行器航线构建***可生成在步骤3980中不包括层移动信息的无人飞行器飞行航线信息。
图40是图示另一实施例涉及的用于无人飞行器层间自动飞行的无人飞行器飞行航线信息生成方法的流程图。
参照图40,图示了另一实施例涉及的用于无人飞行器层间自动飞行的无人飞行器飞行航线信息生成方法,可基于无人飞行器航线构建***而执行。在步骤4000中无人飞行器航线构建***可形象化基于无人飞行器任务的层。在此,形象化层的方法可根据上述的实施例而执行。无人飞行器的任务信息可从请求生成无人飞行器的飞行航线信息的操作***获取,也可以从无人飞行器直接获取。
层被形象化时,在步骤4005中无人飞行器航线构建***可在形象化的层上确定用于无人飞行器飞行的路标。前面部分对设定各路标的程序也已经进行了详细说明,在此,省略其信息说明。
在步骤4010中,无人飞行器航线构建***连接确定的路标并生成层内的飞行航线,在步骤4015中所述无人飞行器可在飞行中进行是否需要层变更的测试。在此,层变更需要与否可基于无人飞行器的任务信息或者机体信息而确定,可基于是否从操作***或者无人飞行器收到请求而进行确认。
另外,需要进行层变更时,无人飞行器航线构建***在步骤4020中可确定无人飞行器要移动的到达层。此外,在步骤4025中生成用于向到达层移动的层移动信息,在步骤4030中可生成无人飞行器飞行航线信息,所述飞行航线信息包括生成的飞行航线和层移动信息。此时,在步骤4030中生成的无人飞行器飞行航线信息也可包括到达层上的飞行路径信息。
相反,不需要进行层变更,无人飞行器航线构建***在步骤4030中可生成包括所述层内飞行航线的无人飞行器飞行航线。
在步骤4035中无人飞行器航线构建***可将生成的无人飞行器飞行航线信息向操作***、管控***、无人飞行器中至少任意一个传送。
图41是图示根据另一实施例构建用于无人飞行器的层间移动的航线的无人飞行器航线构建***的方框结构图。
如图41所示,另一实施例涉及的无人飞行器航线构建***4100的构成可包括层形象化部4110、数据收集部4120、高度计算部4130、验证部4140、层变更判断部4150及航线生成部4160。所述无人飞行器航线构建***的各组成要素可以是服务器中具有的进程。所述组成要素可由具有内存的操作***和至少一个程序代码形象化并执行,所述内存中包括图39的方法中包括的步骤3900至3990或者图40的方法中包括的步骤4000至4035。
图41中层形象化部4110以相应的坐标的地表高度为基准,计算出基于扫描数据识别的被摄体的高度,并连接特定地点的高度,可在立体空间形象化多个二维层,所述的层可形成竖直分离。
数据收集部4120最初可基于飞行高度上限高度的层,收集地表影像数据。数据收集部4120通过地表拍摄航空器上安装的、特定高度设置有校准(Calibration)值的摄像装置,可获取地表影像数据。
此外,数据收集部4120为了收集地表影像数据,可通过确认空间地理信息,探索用于飞行的安全路径,生成具体的飞行路径,收集对所述路径的地表影像数据。尤其,为了构建航线及分析航线而收集所需的最初地表影像数据时,只有允许具有驾驶资格的驾驶员通过在可视范围内的飞行而现实,从而确保安全使其最大化。
数据收集部4120设定飞行高度上限的高度值,通过可检测飞行高度上限高度的被摄体,可确认电波高度感应器(例如,电波高度仪(radioaltimeter)等)的测试值。在此,可检测飞行高度上限高度的被摄体可以是比飞行高度上限高或者相同的地面建筑物。
此外,数据收集部4120对基于摄像装置的分辨率及图像获取方式等规格和入射角的校准(Calibration)参数等信息进行确认,可确认无人飞行上安装的飞行信息记录部(Flight Data Recorder,FDR)中记录的机体的飞行信息。
高度计算部4130可通过收集的地表影像数据,分析基于照相机和被摄体间的距离的影像分辨率变化,抽取飞行航线上的高度值。
验证部4140通过基于抽取的高度值而验证航线,可补正电波高度感应器的测试值。而且,验证部4140通过模拟,也可以预先验证需要进行层变化的无人飞行器上将要分配的航线信息。
层变更判断部4150判断无人飞行器的自动飞行中是否需要进行无人飞行器的层变更,如果需要进行层变更,则可定义层变更需要的层移动信息,并体现在无人飞行器的飞行航线信息上。
在此,层移动信息可包括层可变区间位置信息、可变更区间进入时间,层移动时间(层移动开始时间和层移动结束时间),可变更区间进入角度中至少任意一个。由此,层变更判断部4150在判断无人飞行器是否可进行层间飞行后,为了防止与执行自动飞行的其它无人飞行器发生冲撞,各无人飞行器各自生成层移动信息,并可包括在航线地图中。而且,层变更判断部4150不在构建航线时生成层移动信息,而是在无人飞行器请求时生成移动信息。
航线生成部4160连接层形象化部4110定义的用于无人飞行器飞行的路标,并可生成航线,所述无人飞行器飞行是在为了无人飞行器的自动飞行而生成的层上进行。而且,基于层变更判断部4150无人飞行器需要在飞行中进行层变更时,可生成包括层间飞行航线信息的无人飞行器航线,所述层间飞行航线信息包括层内的飞行航线信息和用于层变更的层移动信息。此外,航线生成部4160可预先设定层可变区间,其作为用于无人飞行器层间移动的区间。此时,航线生成部4160也可以在各层中设定无人飞行器飞行次数相对小的区间,连接所述区间并设定为层可变区间。而且,航线生成部4160在对需要层变更的无人飞行器生成无人飞行器航线时,可使用基于验证部4140模拟的层间飞行航线信息。以下,参照图44至图48,对层移动信息及用于进行层间移动飞行的无人飞行器程序进行详细的说明。
图42是图示根据一实施例用于层间移动的无人飞行器的工作方法的流程图。
参照图42,在步骤4202中无人飞行器可沿着指定的航线进行自动飞行。此时,无人飞行器的自动飞行可根据前面所述的实施例而执行。在步骤4204中无人飞行器在执行自动飞行的途中可判断是否需要进行层变更。无人飞行器根据预先储存的航线信息或者预先定义的程序或者基于管控***或者操作***的控制命令,可判断是否需要进行层变更。
例如,在步骤4204中沿着无人飞行器中预先储存的航线在层A上自动飞行途中如果存在向层B的用于层间移动的层移动航线,则无人飞行器可判断为需要层变更。例如,无人飞行器根据预先定的程序,在层A上规定的航线上飞行一次后,通过层移动航线可向层B移动,反复飞行层A上的航线后,通过层移动航线,也可以向层B移动。所述无人飞行器的层移动程序也可以预先定义在基于航线构建***构建的航线上。
另一例子,在步骤4204中,无人飞行器从管控***或者操作***接收层移动命令时,可判断需要层变更并执行层间移动。这种情况下,从管控***或者操作***收到层移动命令时,移动至层可变区间后,通过层移动航线可向另一层移动。
又一例子,在步骤4204中无人飞行器根据预先设定的程序,可判断是否需要层变更。这种情况下,预先定义的程序可以是预先定义的操作命令,例如,“在层A的航线上反复进行所定次数的飞行后,向层B移动”。
需要进行层变更时,无人飞行器在步骤4206中判断自动飞行是否结束,没有结束时,在步骤4202中沿着航线进行自动飞行。
相反,需要进行层变更时,无人飞行器在步骤4208中向层可变区间移动,在步骤4210中可判断是否已经进入层可变区间。此时,对于无人飞行器是否已经进入层可变区间的判断可通过比较基于GPS信息、高度感应器等掌握的当前无人飞行器的位置信息和预先指定层可变区间位置信息而确定。没有进入层可变区间时,在步骤4208中无人飞行器持续移动至层可变区间。所述在步骤4208中无人飞行器利用层移动信息中包括的层可变区间信息(层可变区间位置信息、高度信息、大小信息)、层可变更时间、用于移动至其它层的进入地点信息、进入角度信息、进入速度信息、到达层识别信息、所述到达层内的航线信息、可变更区间信息、可变更区间内其它无人飞行器信息中至少一个,可向层可变区间移动。
相反,在步骤4210中进入层可变区间时,在步骤4212中无人飞行器执行层变更准备操作,在步骤4214中可向将要变更的层(到达层)移动。无人飞行器的操作可包括控制部或者处理器控制飞行驱动部的一系列操作,其用于调节用于高度上升或者下降的升力和飞行力。在此,无人飞行器利用层移动信息中包括的层可变区间信息、层可变更时间,用于移动至其他层的进入地点信息、进入角度信息、进入速度信息、到达层识别信息、所述到达层内航线信息、可变更区间信息、可变更区间内其它无人飞行器信息中至少任意一个信息,可避免层移动中与其它飞行器发送冲撞。在步骤4214中无人飞行器为了从当前位置层向到达层移动,也可以至少通过一个层。
在步骤4216中无人飞行器到达将要变更的层(到达层)时,可在步骤4220中沿着分配到达层的航线进行飞行。相反,无人飞行器没有抵达到达层时,在步骤4218中可继续移动直至抵达到达层。在步骤4220中无人飞行器也可以通过航线信息接收分配的到达层的航线信息。而且,在步骤4220中分配的到达层的航线信息也可以预先储存在无人飞行器的内存中。
图43是根据另一实施例构建用于层间移动的无人飞行器的航线构建***的方框结构图。
参照图43,航线构建***4300中包括的层形象化部4302、航线决定部4304、验证部4306、飞行航线信息生成部4308、接口4310、内存4312、控制部4314通过电子方式连接的数据线接口4316连接,可互相发送和接收数据及控制信号。
层形象化部4302如上所述,可形象化用于无人飞行器自动飞行的各层。更具体而言,层形象化部4302可基于通过航空图像等获取的地表扫描数据识别被摄体,并将可自动飞行的空间形象化为层,基于形象化的层收集对飞行路径(航线)的地表影像数据,通过收集的地表影像数据,分析基于与所述被摄体间的距离的影像分辨率变化,抽取飞行航线坐标的高度值,并设定各航线的路标上的飞行高度值。在此,航线可包括相同层上标记的路标之间的连接线,也可包括分别位于不同层的路标间的连接线。
航线决定部4304可根据无人飞行器的任务或者操作***要求的目的,确定无人飞行器的飞行航线,并将确定的航线信息向控制部4314传送。此时,航线决定部4304在层形象化部4302形象化的层上存在的多个路标(层内路标)(Intra-Layer Way Point)中确定用于无人飞行器自动飞行的航线。无人飞行器需要进行层间移动时,航线决定部4304也可以可生成层移动信息,所述层移动信息包括供无人飞行器移动的连接层间的路标(Inter-LayerWay Point)的航线。以下,参照图44至图48,对航线决定部4304确定用于无人飞行器的层间移动的航线的程序进行说明。
验证部4306对于层形象化部4302中生成的层中包括的高度值,利用通过验证航线获取的测试高度值,补正高度感应器的测试值,并向飞行航线信息生成部4308传递,从而可在后续的自动飞行地图制作时或者航线构建时使用。
接口4310可通过未图示的管控***、操作***或者无人飞行器及无线网络/有线网络进行通信,发送和接收数据信息及控制信息。
内存4312储存航线信息和无人飞行器飞行航线信息。所述航线信息用于无人飞行器自动飞行,由层形象化部4302生成,由层和航线决定部4304确定。所述无人飞行器飞行航线信息可由飞行航线信息生成部4308生成。而且,内存4312可储存用于识别无人飞行器的无人飞行器识别符、层识别符及分配给各无人飞行器的飞行航线信息。此外,飞行航线信息生成部4308如图41的航线生成部4160,也可以预先设定层可变区间,其作为用于无人飞行器层间移动的区间。控制部4314与层形象化部4302、航线决定部4304、验证部4306、飞行航线信息生成部4308、接口4310、内存4312,通过数据线接口4316发送和接收控制信号及数据信号,当收到请求无人飞行器的自动飞行所需的飞行航线信息时,如果内存4312中不存在所述请求的飞行航线信息,则通过控制层形象化部4302、航线决定部4304、验证部4306及飞行航线信息生成部4308,可控制飞行航线信息的生成。
相反,如果内存4312中存在所述请求的飞行航线信息时,则导出内存4312中己储存的飞行航线信息,可通过接口4310向操作***、管控***或者无人飞行器传送。
图44是用于说明根据一实施例无人飞行器在层间进行自动飞行的顺序的示意图。
参照图44,假设具有N个层,如层14400、层24402、层34404、…,层N4406。在此,参照号码4410a、4410b、4410c、4410n表示各层上参照的路标和连接各路标的飞行航线。
一实施例涉及的无人飞行器执行层间自动飞行的方法中,无人飞行器可从层一4400经过层二4402,层三4404直至层N4406进行层间飞行4450,无人飞行器可通过层移动路径4460,在层一4400和层二4402间移动,无人飞行器可通过层移动路径4470在层二4405和层三4404间移动。
即,无人飞行器可根据层移动信息进行层间移动,也可以经过多个层移动至到达层。
图45是用于说明根据一实施例为了无人飞行器在层间移动而设定的层可变区间的示意图。
参照图45可知,无人飞行器在层一4510中沿着航线飞行途中经过层二4520移动至层三4530的过程。为了便于说明,图45中无人飞行器在进行自动飞行的途中向其它层移动时,将出发的层一4510称之为出发层,无人飞行器所要移动的到达层三4530称之为到达层,无人飞行器为了到达层三4530所途经的层二4520称之为经由层。作为经由层的层二4520位于出发层和到达层之间,如果无人飞行器不经任何层则不存在经由层。
图45中,具有层可变区间4550其用于无人飞行器从层一4510移动至层三4530。层可变区间4550是预先设定的区间,其用于防止无人飞行器在层间移动时与其他无人飞行器发生冲撞,可定义为层间移动的所有飞行器应必须遵守的区间。即,是只用于希望利用其它层的无人飞行器进行飞行的区间。图40的航线生成部4160或者图43的飞行航线信息生成部4308可确定层可变区间4550。参照号码4560和4570显示无人飞行器在层可变区间4550内通过上升飞行或者下降飞行进行层间移动。而且,无人飞行器的层变更时为了防止冲撞,层可变区间4550也可分为只允许无人飞行器上升飞行的上升区域和只允许下降飞行的下降区域。
图45中无人飞行器利用航线构建***中生成的层移动信息中包括的层可变更时间、用于移至其它层的进入地点信息,进入该角度信息,进入速度信息,到达层识别信息,所述到达层内地航线信息,可变更区间信息,可变更区间内其他无人飞行器信息中至少一个,进入层可变区间4550,并以防止与其它无人飞行器冲撞的形式进行飞行以移动至其它层。
下表5显示一实施例涉及的层移动信息中包括的信息。
【表5】
Figure BDA0001233533440000611
Figure BDA0001233533440000621
图46是用于说明根据一实施例无人飞行器在层间移动的顺序的竖直剖面图。
参照号码4640显示无人飞行器4650从层一4600经由层二4610移至层三4620的层可变区间。参照图46,如参照号码4630显示,无人飞行器4650在层一4600上的航线上飞行中,根据层移动信息中包括的层可变区间信息、层可变更时间、用于移动至其它层的进入地点信息、进入角度信息、进入速度信息,从层一4600向层三4620移动。参照号码4660显示从层一4600向层二4610移动的航线,参照号码4670显示从层二4610向层三4620移动的航线。参照号码4680显示到达作为到达层的层三4620的无人飞行器沿着层三4620上的航线进行自动飞行。
图47是用于说明根据另一实施例无人飞行器在层间移动的顺序的示意图。
图47图示无人飞行器在进行层间移动过程中,也可以沿着作为经由层的层二4710上的航线进行飞行,并移动至其它层的示意图。即,图47中参照号码4730显示无人飞行器从层一4700出发后,沿着作为经由层的层二4710上的航线进行飞行,并可向层三4720移动,在层三4720上的航线上飞行的无人飞行器重新经由层二4710后,重新回到作为出发层的层一4700。图47显示层变更区间中分别具有下降飞行的区间4740和上升飞行的区间4750。即,参照号码4740区间是通过下降飞行进行层移动为目的设定的区间,参照号码4750区间是通过上升飞行进行层移动为目的设定的区间。
图48是用于说明根据又一实施例无人飞行器在层间移动的顺序的示意图。
图48不用于图47,显示不存在特别用于层移动的上升飞行用区间和下降飞行用区间。图48显示,无人飞行器经过层一4800上的航线4830进行飞行之后,在最后的路标上进行下降飞行4840以向层二4810移动,在层二4810上的航线4850上进行飞行,并在最后的路标上进行下降飞行4860以向层三4820移动,之后在层三4820上的航线4870上进行飞行。如图48的飞行也可在以巡查、监视业务等目的进行飞行的无人飞行器上使用。
如图47和图48所示,无人飞行器在层间移动且进行自动飞行的程序可在航线构建时预先定义,也可以在无人飞行器的飞行中基于管控***和操作***等控制命令而执行。
图49是又一实施例涉及的用于无人飞行器的层间移动的无人飞行器及管控***的方法的流程图。
在步骤4902中无人飞行器4900可向管控***4950进行用于自动飞行的飞行报告,在步骤4904中也可以执行自动飞行。
在步骤4906中管控***4950对无人飞行器4900进行管控,无人飞行器4900根据管控***4950的管控可执行汇报取得信息、监视业务、派送业务、救助业务等规定的操作,并且可周期性地汇报自身的状态信息。
在步骤4908中无人飞行器4900判断是否需要进行层变更,如果需要进行层变更,在步骤4910中可向管控***发送层变更请求消息。
在步骤4912中管控***4950可决定是否许可无人飞行器4900的层变更。此时,管控***4950通过考虑与层可变区间内存在的其它无人飞行器间的冲撞可能性及无人飞行器4900的机体信息及任务信息等,可判断是否许可层变更请求。
在步骤4912中如不许可层变更,则管控***在步骤4913中发送层变更不可消息。相反,在步骤4912中如果许可层变更,则管控***在步骤4914中生成层移动信息,可在步骤4916中将层移动信息向无人飞行器4900传送。
接收所述层移动信息的无人飞行器4900在步骤4918中根据所述层移动信息,向层可变区间移动后,进行移向到达层的飞行。
在步骤4920中抵达到达层的无人飞行器4900为了在到达层上进行自动飞行,可判断是否需要到达层上的航线信息。如果所述在步骤4920中需要到达层航线信息,则无人飞行器4900可向在步骤4922中管控***4950发送航线请求消息。
接收所述航线请求消息的管控***4950在步骤4924中向无人飞行器4900发送所述无人飞行器将要到达的到达层上的航线信息,在步骤4926中无人飞行器4900根据从所述管控***4950接收的航线信息,可在到达层上进行自动飞行。
相反,如果在所述步骤4920中不需要到达层航线信息,无人飞行器4900可根据在步骤4926中预先储存的航线信息进行自动飞行。
下表6显示在步骤4910中无人飞行器4900向管控***4950传送的层变更请求消息中包含的信息。
【表6】
Figure BDA0001233533440000631
Figure BDA0001233533440000641
上述的实施例中,尽管说明了无人飞行器在可变更区间进行的层移动,但是,出发层上的航线和到达层上的航线不重叠时,无人飞行器不会移动至可变更区间,也可以执行用于层移动的飞行程序。
如上所述,根据实施例,通过提供非可视范围的自动飞行航线,可克服地面物等高度值不易维持在一定高度的区域中驾驶员仅依靠在可视范围进行操作带来的局限性。
此外,根据实施例,提供一种无人飞行器航线构建方法及***,其通过利用扫描数据,抽取标高及障碍物的高度信息,通过分析地表影像数据的影像分辨率变化,使用抽取的地面物的高度信息进行校准(Calibration)验证及补正无人飞行器的电波高度感应器的测试值,从而构建无人飞行器的安全自动飞行航线。
此外,根据以上所述,自动飞行航线构建是通过地面扫描数据在预先构建的层上进行的,但是可不需地面扫描数而预先设定层,对于设定的层上构建的自动飞行航线,只利用基于无人飞行器的试飞所获取的分辨率高度信息确定安全飞行高度时,也可以利用其进行自动飞行航线构建。
此外,对于现有的地面物,为了检验利用扫描的点云(Point Cloud)和抽取的DTM和DSM设定的层,利用地面物分辨率的高度值补正地面物的超声波高度感应器值,可验证航线的安全性,从而即使没有新的航线有关的新增的扫描数据,也可通过模拟,设定新增的层和航线。而且通过无人飞行器的最高飞行上限高度,可防止与有人飞行器间的冲撞。
以上所述的***或者装置可由硬件组成要素、软件组成要素和/或硬件组成要素和软件组成要素的组合构成。例如:实施例中说明的***、装置及组成要素,例如:处理器、控制器、ALU(arithmetic logic unit)、数码信号处理器(digital signal processor)、微型电脑、FPA(field programmable array)、PLU(programmable logic unit)、微型处理器、或者如可执行且响应命令(instruction)的其它任何装置,可利用一个以上一般电脑或者特殊目的的电脑实现。处理装置可执行操作***(OS)及所述操作***上运行的一个以上软件应用程序。而且,处理装置通过响应软件的运行,可访问、保存、操作、处理及生成数据。为了便于以下说明该,处理装置有时被说成仅使用一个,但是对于本发明所属的技术领域的技术人员而言,处理装置包括多个处理要素(processing element)和/或者多种的处理要素的事实是显而易见的。例如:处理装置可包括多个处理器或者一个处理器和一个控制器。而且,也可以是如并行处理器(parallel processor)的其它处理配置(processingconfiguration)。。
软件可包括电脑程序(computer program)、编码(code)、命令(instruction)或者它们一个以上的组合,根据需求组成处理装置,或者能够以独立方式或者结合的方式(collectively)命令处理装置。软件和/或数据可根据处理装置解释,或者用于向处理装置提供命令或者数据,可在任何类型的机械、组成要素(component)、物理装置、虚拟装置(virtual equipment)、电脑保存媒介或者装置,或者传送的信号波(signal wave)上永久地或者暂时地形象化(embody)。软件分散在由网络连接的电脑***上,可以分散的方法保存或者运行。软件及数据可保存在一个以上的电脑可读性记录媒介上。
实施例涉及的方法由通过各种电脑手段可运行的计算机程序指令形态实现,可在电脑可读性媒体记录。所述电脑可读性媒体可将程序指令、数据文件、数据结构等单独或者以组合的方式保存。所述媒体中记录的程序指令可以是专为实施例设计并构成的,也可以是为电脑软件技术人员所公知且可使用的。电脑可读性记录媒介例子包括硬盘、软盘及如磁盘的磁性媒体(magnetic media)、如CD-ROM、DVD的光记录媒体(optical media),如光磁软盘(floptical disk)的磁光媒体(magneto-optical media),及如只读性内存(ROM)、随机可读性内存(RAM)、闪存等的保存并执行程序指令的特别组成的硬件装置。程序指令的例子包括如汇编生成的机器语言编码,以及利用解释器可在电脑上运行的高级语言编码。所述的硬件装置为了执行实施例的操作,可由一个以上的软件模块驱动并组成,也可以具有相反的构成。
如上所述,虽然基于有限的实施例和附图对实施例进行了说明,对于本发明所属的技术领域具有通常知识的技术人员而言,依据所述记载可进行各种修改及改变。例如:所述的技术可以采用不同于所述方法的顺序执行,和/或所述的***、结构、装置、回路等的组成要素可以采用不同于所述方法的形态结合或者组装,或者即使由其它组成要素或者等同物代替或者替换也能达到合适的结果。
由此,其它形象化、其它实施例及与权利要求书等同的发明均属于本发明的权利要求书范围之内。

Claims (17)

1.一种为无人飞行器构建飞行航线的方法,所述方法包括:
对从用于捕获地球表面的航空器的地表扫描装置获得的地表扫描数据识别被摄体,并将所述无人飞行器的可自动飞行的空间形象化为层(Layer)的步骤;
基于形象化的所述层收集飞行航线的地表影像数据的步骤;
通过分析随用于捕获地球表面的所述航空器飞行变化的所述地表影像数据的分辨率值,基于离开所述被摄体的距离来分析与所述地表影像数据相关联的影像分辨率变化,并抽取飞行航线上的高度值的步骤;以及
基于被抽取的高度值,为所述无人飞行器构建飞行航线的步骤,
其中,所述无人飞行器沿为所述无人飞行器构建的所述飞行航线进行所述自动飞行,并且
所述将可自动飞行的空间形象化为层的步骤包括:
获取由用于捕获地球表面的所述航空器的地表扫描装置扫描得到的所述被摄体的点云的步骤;
通过分析收集到的所述点云来识别所述被摄体的步骤;
利用地形高度数据,抽取被识别的所述被摄体的特定地点上的高度值的步骤;以及
通过连接所述被摄体的特定地点上被抽取的高度值,在空间中将所述无人飞行器的可自动飞行的面积和高度形象化为所述层的步骤。
2.如权利要求1所述的方法,其特征在于,还包括:通过基于抽取的所述高度值验证航线,补正电波高度感应器的测试值的步骤。
3.如权利要求1所述的方法,其特征在于,
所述获取点云的步骤中,通过所述航空器上安装的激光雷达(LiDAR)装置,在激光雷达脉冲投射的所述被摄体中获取所述点云。
4.如权利要求1所述的方法,其特征在于,
所述将可自动飞行的空间形象化为层的步骤,包括:在所述空间中生成多个二维层的步骤。
5.如权利要求1所述的方法,其特征在于,
所述收集地表影像数据的步骤,包括:通过确认空间地理信息,探索安全飞行路径的步骤;以及生成体现所述安全路径的飞行航线,并收集所述飞行航线针对的所述地表影像数据的步骤。
6.如权利要求2所述的方法,其特征在于,
所述补正电波高度感应器的测试值的步骤,包括:
基于航线中存在的被摄体抽取高度值并以一定的间隔代入无人飞行器的航线坐标中,当所述无人飞行器到达所述航线坐标时,识别与所述被摄体接触的坐标相应的图像的分辨率高度的步骤;以及根据所述分辨率高度,补正无人飞行器的所述电波高度感应器的测试值的步骤。
7.如权利要求2所述的方法,其特征在于,
所述补正电波高度感应器的测试值的步骤中,通过无人飞行器的自动飞行,反复收集所述地表影像数据,通过分析收集的所述地表影像数据的分辨率变化,并在航线管控和地面控制及航线地图数据中体现,进行新增航线的生成或者验证。
8.一种为无人飞行器构建飞行航线的***,所述***包括:
层形象化部,用于对从用于捕获地球表面的航空器的地表扫描装置获得的地表扫描数据识别被摄体,并将所述无人飞行器的可自动飞行的空间形象化为层;
数据收集部,用于基于形象化的所述层收集飞行航线的地表影像数据;以及
高度计算部,用于通过分析随用于捕获地球表面的所述航空器飞行变化的所述地表影像数据的分辨率值,基于离开所述被摄体的距离来分析与所述地表影像数据相关联的影像分辨率的变化,并抽取飞行航线上的高度值,
其中基于被抽取的高度值,为所述无人飞行器构建飞行航线,
所述无人飞行器沿为所述无人飞行器构建的所述飞行航线进行所述自动飞行,并且
所述层形象化部包括:
收集部,用于获取由安装在所述航空器中的地表扫描装置扫描得到的所述被摄体的点云;
识别部,通过分析收集的所述点云来识别所述被摄体;
抽取部,利用地形高度数据,抽取被识别的所述被摄体的特定地点上的高度值;以及
层部,用于通过连接所述被摄体的特定地点上被抽取的高度值,在空间中将所述无人飞行器的可自动飞行的面积和高度形象化为所述层。
9.如权利要求8所述的***,其特征在于,还包括验证部,通过基于抽取的所述高度值验证航线,补正电波高度感应器的测试值。
10.如权利要求8所述的***,其特征在于,
所述数据收集部,确认空间地理信息并探索飞行安全路径,生成体现所述安全路径的飞行航线,收集所述飞行航线针对的所述地表影像数据。
11.如权利要求8所述的***,其特征在于,
所述数据收集部,确认摄像装置的校准(Calibration)信息,并确认无人飞行器上安装的飞行信息记录部(Flight Data Record,FDR)中记录的飞行信息,
所述高度计算部,将所述无人飞行器上安装的飞行信息记录部(FDR)中的坐标、高度、姿势及时间信息中至少任意一个与拍摄的所述地表影像数据进行整合,参照所述摄像装置的校准信息,通过对失真的影像进行补正及分析所述影像分辨率变化,计算出所述飞行航线上的高度值。
12.如权利要求9所述的***,其特征在于,
所述验证部,从航线中存在的被摄体中抽取高度值并以一定的间隔代入无人飞行器的航线坐标中,当所述无人飞行器到达所述航线坐标时,识别与所述被摄体接触的坐标相应的图像的分辨率的高度,根据所述分辨率高度,补正无人飞行器的所述电波高度感应器的测试值。
13.如权利要求9所述的***,其特征在于,
所述验证部,通过无人飞行器的自动飞行,反复收集所述地表影像数据,通过分析收集的所述地表影像数据的分辨率变化,并在航线管控和地面控制及航线地图数据中体现,进行新增航线的生成或者验证。
14.一种为无人飞行器构建飞行航线的方法,所述方法包括:
对从用于捕获地球表面的航空器的地表扫描装置获得的地表扫描数据识别被摄体,并将所述无人飞行器的可自动飞行的空间形象化为层的步骤;
确定路标以在形象化的所述层上生成所述无人飞行器的航线的步骤;
基于形象化的所述层收集所述路标的地表影像数据的步骤;
通过分析随用于捕获地球表面的所述航空器飞行变化的所述地表影像数据的分辨率值,基于离开所述被摄体的距离来分析与所述地表影像数据相关联的影像分辨率的变化,并抽取所述路标上的高度值的步骤;以及
为所述无人飞行器生成飞行航线的步骤,其中所述飞行航线包括形象化的所述层、所述路标、所述高度值及作为所述路标间的连接线的飞行航线中至少任意一个,
其中,所述无人飞行器沿为所述无人飞行器构建的所述飞行航线进行所述自动飞行,并且
所述将可自动飞行的空间形象化为层的步骤包括:
获取由用于捕获地球表面的所述航空器的地表扫描装置扫描得到的所述被摄体的点云的步骤;
通过分析收集到的所述点云来识别所述被摄体的步骤;
利用地形高度数据,抽取被识别的所述被摄体的特定地点上的高度值的步骤;以及
通过连接所述被摄体的特定地点上被抽取的高度值,在空间中将所述无人飞行器的可自动飞行的面积和高度形象化为所述层的步骤。
15.如权利要求14所述的方法,其特征在于,
每个所述路标显示所述无人飞行器在所述层上执行自动飞行的地点的地表面上存在的地面物体的位置或者显示预先设定的任务的执行位置。
16.如权利要求14所述的方法,其特征在于,
所述生成的步骤包括:
当需要所述无人飞行器从作为最初分配层的出发层向另一层移动时,确定所述无人飞行器预计到达的到达层的步骤;以及
为了从所述出发层向所述到达层移动而生成层移动信息的步骤。
17.如权利要求16所述的方法,其特征在于,
所述层移动信息包括层可变更区间、层移动时间、进入变更区间的时间、进入变更区间的角度中至少任意一个,所述层可变更区间包括所述无人飞行器的自动飞行航线中用于层变更的路标区间。
CN201710107591.6A 2016-02-29 2017-02-27 无人飞行器航线构建方法及*** Active CN107131877B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110632911.6A CN113238581A (zh) 2016-02-29 2017-02-27 无人飞行器的飞行控制的方法和***
CN202110632932.8A CN113342038A (zh) 2016-02-29 2017-02-27 为无人飞行器的飞行生成地图的方法和***

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20160024523 2016-02-29
KR10-2016-0024523 2016-02-29
KR10-2017-0011772 2017-01-25
KR1020170011772A KR20170101776A (ko) 2016-02-29 2017-01-25 무인 비행체 항로 구축 방법 및 시스템

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202110632932.8A Division CN113342038A (zh) 2016-02-29 2017-02-27 为无人飞行器的飞行生成地图的方法和***
CN202110632911.6A Division CN113238581A (zh) 2016-02-29 2017-02-27 无人飞行器的飞行控制的方法和***

Publications (2)

Publication Number Publication Date
CN107131877A CN107131877A (zh) 2017-09-05
CN107131877B true CN107131877B (zh) 2021-07-02

Family

ID=59678892

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202110632932.8A Pending CN113342038A (zh) 2016-02-29 2017-02-27 为无人飞行器的飞行生成地图的方法和***
CN201710107591.6A Active CN107131877B (zh) 2016-02-29 2017-02-27 无人飞行器航线构建方法及***
CN202110632911.6A Pending CN113238581A (zh) 2016-02-29 2017-02-27 无人飞行器的飞行控制的方法和***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110632932.8A Pending CN113342038A (zh) 2016-02-29 2017-02-27 为无人飞行器的飞行生成地图的方法和***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110632911.6A Pending CN113238581A (zh) 2016-02-29 2017-02-27 无人飞行器的飞行控制的方法和***

Country Status (2)

Country Link
US (5) US10082803B2 (zh)
CN (3) CN113342038A (zh)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9511858B2 (en) * 2011-08-19 2016-12-06 Aerovironment, Inc. Inverted-landing aircraft
WO2013028221A1 (en) 2011-08-19 2013-02-28 Aerovironment Inc. Deep stall aircraft landing
JP6504481B2 (ja) * 2015-04-21 2019-04-24 国立大学法人 東京大学 飛行体の安全管理システム
ES2722325T3 (es) * 2015-05-18 2019-08-09 Boeing Co Sistema y método de terminación de vuelo para vehículos aéreos
CN107025642B (zh) * 2016-01-27 2018-06-22 百度在线网络技术(北京)有限公司 基于点云数据的车辆轮廓检测方法和装置
US10029790B2 (en) 2016-01-28 2018-07-24 Panasonic Intellectual Property Corporation Of America Device that controls flight altitude of unmanned aerial vehicle
WO2017151641A1 (en) * 2016-02-29 2017-09-08 Optecks, Llc Aerial three-dimensional scanner
US10082803B2 (en) * 2016-02-29 2018-09-25 Thinkware Corporation Method and system for providing route of unmanned air vehicle
US11138889B2 (en) * 2016-03-25 2021-10-05 Skydio, Inc. Unmanned aerial vehicle airspace reservation and allocation system
WO2018006262A1 (zh) * 2016-07-05 2018-01-11 深圳市大疆创新科技有限公司 一种联网验证的方法及装置
WO2018006376A1 (en) * 2016-07-07 2018-01-11 SZ DJI Technology Co., Ltd. Method and system for controlling a movable object using machine-readable code
CN106292699B (zh) * 2016-08-03 2017-12-12 广州极飞科技有限公司 无人机仿地飞行的方法、装置和无人机
CN106227234B (zh) * 2016-09-05 2019-09-17 天津远度科技有限公司 无人机、无人机起飞控制方法及装置
US10403154B1 (en) * 2016-09-27 2019-09-03 Amazon Technologies, Inc. Reducing status notifications using a hierarchal reference system
US11518510B1 (en) * 2016-10-06 2022-12-06 Gopro, Inc. Systems and methods for controlling an unmanned aerial vehicle
CN110119154A (zh) * 2016-11-30 2019-08-13 深圳市大疆创新科技有限公司 飞行器的控制方法、装置和设备以及飞行器
US10926875B2 (en) * 2016-12-14 2021-02-23 Sanmina Corporation Devices and methods for facilitating capture of unmanned aerial vehicles
US11017679B2 (en) * 2017-01-13 2021-05-25 Skydio, Inc. Unmanned aerial vehicle visual point cloud navigation
TWI620687B (zh) * 2017-01-24 2018-04-11 林清富 用於無人飛行器之操控系統及其使用之中介裝置與無人飛行器
JP7027434B2 (ja) * 2017-02-02 2022-03-01 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. ミリ波ビームインフラを使用する無人航空機の測位
US10825345B2 (en) * 2017-03-09 2020-11-03 Thomas Kenji Sugahara Devices, methods and systems for close proximity identification of unmanned aerial systems
JPWO2018180285A1 (ja) * 2017-03-31 2020-01-16 パイオニア株式会社 3次元データ生成装置、3次元データ生成方法、3次元データ生成プログラム及び3次元データ生成プログラムを記録したコンピュータ読み取り可能な記録媒体
US10353401B2 (en) * 2017-05-01 2019-07-16 EAVision Corporation Detecting and following terrain height autonomously along a flight path
US10389432B2 (en) 2017-06-22 2019-08-20 At&T Intellectual Property I, L.P. Maintaining network connectivity of aerial devices during unmanned flight
US11403814B2 (en) 2017-08-04 2022-08-02 Walmart Apollo, Llc Systems, devices, and methods for generating a dynamic three dimensional communication map
US11405804B2 (en) 2017-09-01 2022-08-02 Nokia Technologies Oy Reducing coverage problems via dynamic measurements
JP7025156B2 (ja) * 2017-09-19 2022-02-24 株式会社トプコン データ処理装置、データ処理方法およびデータ処理用プログラム
JP7109174B2 (ja) * 2017-10-03 2022-07-29 株式会社トプコン 経路選定装置、無人航空機、データ処理装置、経路選定処理方法および経路選定処理用プログラム
CN109154832A (zh) * 2017-10-27 2019-01-04 深圳市大疆创新科技有限公司 无人机的巡检规划方法、控制终端、无人机及无人机***
US20190129430A1 (en) * 2017-10-31 2019-05-02 Agjunction Llc Vehicle control optimization
US10998960B2 (en) * 2017-11-17 2021-05-04 Nokia Technologies Oy Providing reference altitude information to unmanned aerial vehicles for configuration differentiation
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术(北京)有限公司 用于无人驾驶车辆的信息输出方法和装置
RU2676519C1 (ru) * 2018-01-10 2018-12-29 Александр Александрович Алдюхов Способ автоматического управления движением беспилотных летательных аппаратов и транспортных средств центром контроля и управления движением в воздушном, наземном пространстве
US20210061465A1 (en) * 2018-01-15 2021-03-04 Hongo Aerospace Inc. Information processing system
US20220156665A1 (en) * 2018-01-26 2022-05-19 Above Daas, Inc. Systems and methods for orchestrating agents
WO2019152384A1 (en) * 2018-01-31 2019-08-08 Walmart Apollo, Llc System and method for defending an unmanned aerial vehicle from ground threats
JP6689477B2 (ja) * 2018-03-05 2020-04-28 三菱電機株式会社 車載装置、情報処理方法及び情報処理プログラム
US10796589B2 (en) * 2018-03-12 2020-10-06 Honeywell International Inc. Systems and methods for providing circling approach data onboard an aircraft
CN108631788B (zh) * 2018-03-29 2020-12-18 北京航空航天大学 用于匹配区适配性分析的编码失真量优化方法
WO2019209275A1 (en) * 2018-04-25 2019-10-31 Bae Systems Information And Electronic Systems Integration Inc. Passive altimeter system for a platform and method thereof
US10916150B2 (en) 2018-05-03 2021-02-09 Arkidan Systems Inc. Computer-assisted aerial surveying and navigation
US10642284B1 (en) * 2018-06-08 2020-05-05 Amazon Technologies, Inc. Location determination using ground structures
DE102018120013A1 (de) * 2018-08-16 2020-02-20 Autel Robotics Europe Gmbh Verfahren, vorrichtung und system zur übertragung von weginformationen, unbemanntes luftfahrzeug, bodenstation und computerlesbares speichermedium
US10438495B1 (en) * 2018-08-23 2019-10-08 Kitty Hawk Corporation Mutually exclusive three dimensional flying spaces
US10446041B1 (en) * 2018-08-23 2019-10-15 Kitty Hawk Corporation User interfaces for mutually exclusive three dimensional flying spaces
JP7039420B2 (ja) * 2018-08-27 2022-03-22 株式会社日立ソリューションズ 空中線抽出システム及び方法
CN108933839A (zh) * 2018-09-07 2018-12-04 西安天问智能科技有限公司 一种基于云平台的无人机控制方法、装置及***
US11972009B2 (en) 2018-09-22 2024-04-30 Pierce Aerospace Incorporated Systems and methods of identifying and managing remotely piloted and piloted air traffic
EP3862721A4 (en) * 2018-10-01 2022-07-13 Pioneer Corporation INFORMATION PROCESSING DEVICE
RU2714977C1 (ru) * 2018-10-22 2020-02-21 Федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Способ и система автоматического управления дроном
CN109215398B (zh) * 2018-11-05 2022-03-11 飞牛智能科技(南京)有限公司 一种无人机航路规划方法及装置
US11097796B2 (en) * 2018-11-29 2021-08-24 Saudi Arabian Oil Company Articulated magnet-bearing legs for UAV landing on curved surfaces
CN109753549B (zh) * 2018-12-07 2021-01-19 中国航空工业集团公司西安航空计算技术研究所 一种大圆航线距离获取方法
CN109781063A (zh) * 2018-12-21 2019-05-21 沈阳无距科技有限公司 相对高度测量装置及飞行器
CN111615487B (zh) * 2018-12-25 2024-03-01 乐天集团股份有限公司 配置场所的决定方法、输送***及信息处理装置
CN109782804A (zh) * 2019-01-04 2019-05-21 哈瓦国际航空技术(深圳)有限公司 根据地理高程调整航线的方法、装置、设备和存储介质
US11172125B2 (en) * 2019-01-07 2021-11-09 Mehdi Zarrabi Esfahani Method and a system to provide aerial visualization of large landscape area
CN109828599B (zh) * 2019-01-08 2020-12-15 苏州极目机器人科技有限公司 飞行器作业路径规划方法以及控制装置和控制设备
US11001380B2 (en) * 2019-02-11 2021-05-11 Cnh Industrial Canada, Ltd. Methods for acquiring field condition data
US11059582B2 (en) 2019-02-11 2021-07-13 Cnh Industrial Canada, Ltd. Systems for acquiring field condition data
CN109709986A (zh) * 2019-03-06 2019-05-03 华北电力大学(保定) 一种无人机控制***及方法
WO2020206006A1 (en) 2019-04-05 2020-10-08 Seekops Inc. Analog signal processing for a lightweight and compact laser-based trace gas sensor
US20220215766A1 (en) * 2019-04-25 2022-07-07 Aerovironment, Inc. System and Method for Automated Take-Off and Landing of a High Altitude Long Endurance Aircraft Based on the Local Environment
SG11202111296TA (en) 2019-04-25 2021-11-29 Aerovironment Inc Methods of climb and glide operations of a high altitude long endurance aircraft
US11518514B2 (en) 2019-04-25 2022-12-06 Aerovironment, Inc Off-center parachute flight termination system including latch mechanism disconnectable by burn wire
AU2020313562A1 (en) 2019-04-25 2021-11-11 Aerovironment, Inc. Ground support equipment for a high altitude long endurance aircraft
CN110455330B (zh) * 2019-07-05 2021-10-19 哈尔滨工程大学 一种动目标多源探测的层次融合与提取地面验证***
CN110579786A (zh) * 2019-07-19 2019-12-17 北京理工新源信息科技有限公司 定位方法及***、导航方法及***和一种车辆管理终端
KR20190104016A (ko) * 2019-08-16 2019-09-05 엘지전자 주식회사 무인 항공 시스템에서 무인 항공 로봇의 움직임을 제어한 촬영 방법 및 이를 지원하기 위한 장치
CN114729804A (zh) * 2019-08-30 2022-07-08 泰立戴恩菲力尔商业***公司 用于导航的多光谱成像***和方法
US11922620B2 (en) * 2019-09-04 2024-03-05 Shake N Bake Llc UAV surveying system and methods
WO2021056411A1 (zh) * 2019-09-27 2021-04-01 深圳市大疆创新科技有限公司 航线调整方法、地面端设备、无人机、***和存储介质
US11097839B2 (en) * 2019-10-09 2021-08-24 Kitty Hawk Corporation Hybrid power systems for different modes of flight
CN110823223A (zh) * 2019-10-16 2020-02-21 中国人民解放军国防科技大学 一种无人机群的路径规划方法及装置
CN113226927A (zh) * 2019-11-15 2021-08-06 乐天集团股份有限公司 无人飞行器***、控制装置以及控制方法
CN110873565B (zh) * 2019-11-21 2021-06-04 北京航空航天大学 用于城市场景重建的无人机实时路径规划方法
US11402214B2 (en) 2019-12-10 2022-08-02 Here Global B.V. Method and apparatus for providing aerial route calculation in a three-dimensional space
KR102314038B1 (ko) * 2019-12-18 2021-10-19 한국항공우주연구원 인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법
US11614430B2 (en) 2019-12-19 2023-03-28 Seekops Inc. Concurrent in-situ measurement of wind speed and trace gases on mobile platforms for localization and qualification of emissions
US11988598B2 (en) 2019-12-31 2024-05-21 Seekops Inc. Optical cell cleaner
WO2021163881A1 (zh) * 2020-02-18 2021-08-26 深圳市大疆创新科技有限公司 数据处理方法与***、设备与可读存储介质
CN111371862B (zh) * 2020-02-25 2022-08-23 北京百度网讯科技有限公司 无人车调试方法、装置、服务器和介质
CN113433566B (zh) * 2020-03-04 2023-07-25 宏碁股份有限公司 地图建构***以及地图建构方法
CN111476112B (zh) * 2020-03-20 2023-08-15 深圳块织类脑智能科技有限公司 无人机多混合任务巡采巡查方法及平台***
WO2021195394A1 (en) 2020-03-25 2021-09-30 Seekops Inc. Logarithmic demodulator for laser wavelength-modulaton spectroscopy
CN113966496A (zh) * 2020-05-21 2022-01-21 深圳市大疆创新科技有限公司 控制方法、控制装置、可移动平台与计算机可读存储介质
IL275201B (en) * 2020-06-07 2022-07-01 Israel Aerospace Ind Ltd Improved target position calculation
US20230274651A1 (en) * 2020-07-17 2023-08-31 Seekops Inc. Uas work practice
CN111932820B (zh) * 2020-07-17 2022-04-12 中科晶锐(苏州)科技有限公司 基于飞行设备信号屏蔽的智能禁飞区域管理方法及其***
US11748866B2 (en) 2020-07-17 2023-09-05 Seekops Inc. Systems and methods of automated detection of gas plumes using optical imaging
US11172019B1 (en) 2020-08-28 2021-11-09 Tencent America LLC Systems and methods for unmanned aerial system communication
CN112000129A (zh) * 2020-09-01 2020-11-27 四川省地质工程勘察院集团有限公司 一种改进的无人机仿地飞行控制方法
US11726499B2 (en) 2020-10-06 2023-08-15 Ge Aviation Systems Llc Systems and methods for providing altitude reporting
CN112444824A (zh) * 2020-11-19 2021-03-05 温州虎穴科技有限公司 一种无人机专用定位***
EP4260155A1 (en) * 2020-12-09 2023-10-18 mdGroup Germany GmbH Method and system for controlling the flight path of an aerial vehicle
CN112650298B (zh) * 2020-12-30 2021-08-17 广东工业大学 一种无人机追踪降落方法及***
CN112857267B (zh) * 2021-01-09 2022-11-01 湖南省城乡建设勘测院 一种基于无人机的土地面积测量***
JP7026272B1 (ja) 2021-03-31 2022-02-25 綜合警備保障株式会社 飛行体ユニットおよび点検システム
CN113138607B (zh) * 2021-04-15 2023-04-07 西安联飞智能装备研究院有限责任公司 无人机航点传输控制方法、装置及地面控制***
CN113156999B (zh) * 2021-05-08 2022-11-11 一飞(海南)科技有限公司 一种集群编队飞机异常故障等级处理的方法、***及应用
US11955020B2 (en) 2021-06-09 2024-04-09 Ford Global Technologies, Llc Systems and methods for operating drone flights over public roadways
JPWO2022259799A1 (zh) * 2021-06-09 2022-12-15
FR3124602A1 (fr) * 2021-06-24 2022-12-30 Thales Procédé de validation d’une base de données terrain
WO2023276454A1 (ja) * 2021-06-29 2023-01-05 富士フイルム株式会社 制御装置、基地局、制御方法、及びプログラム
CN113467522B (zh) * 2021-08-01 2022-09-06 陈军 一种无人机途径无人机机场的方法及***
CN113804183B (zh) * 2021-09-17 2023-12-22 广东汇天航空航天科技有限公司 一种实时地形测绘方法和***
US11613380B1 (en) 2021-11-11 2023-03-28 Beta Air, Llc System and method for aircraft recommendation for an electric aircraft
CN114324385A (zh) * 2021-12-06 2022-04-12 广东省建设工程质量安全检测总站有限公司 幕墙检查方法、无人机及计算机可读存储介质
TWI786985B (zh) * 2021-12-09 2022-12-11 英業達股份有限公司 基於動態調整預警範圍的無人機自動噴灑作業系統及其方法
TWI812102B (zh) * 2022-03-23 2023-08-11 國立高雄大學 二無人載具協同導航方法與系統
CN114777744B (zh) * 2022-04-25 2024-03-08 中国科学院古脊椎动物与古人类研究所 一种古生物领域的地质测量方法、装置及电子设备
CN114636417B (zh) * 2022-05-23 2022-09-02 珠海翔翼航空技术有限公司 基于图像识别的飞行器迫降路径规划方法、***和设备
CN114913717B (zh) * 2022-07-20 2022-09-27 成都天巡微小卫星科技有限责任公司 一种基于智能终端的便携式低空飞行防撞***及方法
CN115115957B (zh) * 2022-08-30 2022-12-30 珠海翔翼航空技术有限公司 基于影像分析的飞机识别***、识别方法及识别设备
CN118212812A (zh) * 2022-12-15 2024-06-18 中兴通讯股份有限公司 非联网设备的管控方法、装置、计算机设备及存储介质
CN117541939B (zh) * 2024-01-09 2024-04-26 江西省气象台(江西省环境气象预报中心) 一种山区大雾识别方法、***及计算机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541066A (zh) * 2011-12-16 2012-07-04 新时代集团国防科技研究中心 一种用于无人飞行器作业的自动定高的控制方法
CN103345737A (zh) * 2013-06-04 2013-10-09 北京航空航天大学 一种基于误差补偿的uav高分辨率影像几何校正方法
CN103412568A (zh) * 2013-08-27 2013-11-27 重庆市勘测院 同架次变航高无人机遥感影像获取方法
CN103796011A (zh) * 2014-01-20 2014-05-14 北京航空航天大学 基于jpeg2000和帧间补偿的无人机侦察图像通用压缩方法
CN104386249A (zh) * 2014-11-17 2015-03-04 马鞍山市靓马航空科技有限公司 一种快速测绘多旋翼无人机及其测绘方法
CN105068553A (zh) * 2015-03-10 2015-11-18 无锡桑尼安科技有限公司 无人机自动着陆***

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157615A (en) * 1990-01-09 1992-10-20 Ryan International Corporation Aircraft traffic alert and collision avoidance device
JP2919734B2 (ja) * 1993-12-28 1999-07-19 川崎重工業株式会社 航空機用地図表示装置
WO1995028650A1 (en) * 1994-04-19 1995-10-26 Northrop Grumman Corporation Aircraft location and identification system
JPH0991600A (ja) * 1995-09-26 1997-04-04 Honda Motor Co Ltd 航空機用ナビゲーション装置
FR2749675B1 (fr) * 1996-06-07 1998-08-28 Sextant Avionique Procede de pilotage d'un aerodyne pour l'evitement vertical d'une zone
US9134398B2 (en) * 1996-09-09 2015-09-15 Tracbeam Llc Wireless location using network centric location estimators
US6085147A (en) * 1997-09-26 2000-07-04 University Corporation For Atmospheric Research System for determination of optimal travel path in a multidimensional space
US7706979B1 (en) * 2005-05-03 2010-04-27 Stanley Robert Herwitz Closest points of approach determination for unmanned aerial vehicle ground-based sense-and-avoid display system
CN100390565C (zh) * 2006-01-16 2008-05-28 北京林业大学 无人机航空摄影遥感森林计测方法
DE102007032084A1 (de) * 2007-07-09 2009-01-22 Eads Deutschland Gmbh Kollisions- und Konfliktvermeidungssystem für autonome unbemannte Flugzeuge (UAV)
US9513125B2 (en) * 2008-01-14 2016-12-06 The Boeing Company Computing route plans for routing around obstacles having spatial and temporal dimensions
US8521339B2 (en) * 2008-09-09 2013-08-27 Aeryon Labs Inc. Method and system for directing unmanned vehicles
US8543265B2 (en) * 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
KR20110082904A (ko) * 2010-01-12 2011-07-20 (주) 충청에스엔지 모형항공기와 gps를 이용한 항공사진 촬영 및 이를 통한 3차원 지형정보 제작방법
KR100995362B1 (ko) * 2010-06-18 2010-11-19 주식회사 네스앤텍 무인 비행체의 비행고도 제어장치
JP5618840B2 (ja) * 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
US9651666B2 (en) * 2011-04-19 2017-05-16 The Boeing Company Global positioning system signal reception with increased resistance to interference
KR101263441B1 (ko) 2011-06-29 2013-05-10 주식회사 네스앤텍 무인 비행체의 비행제어 시스템
US20140018979A1 (en) * 2012-07-13 2014-01-16 Honeywell International Inc. Autonomous airspace flight planning and virtual airspace containment system
US9063544B2 (en) * 2012-09-19 2015-06-23 The Boeing Company Aerial forest inventory system
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템
CN103093497A (zh) * 2013-01-09 2013-05-08 吉林大学 基于分层轮廓的lidar数据城市快速重建方法
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
CN104635743A (zh) * 2013-11-13 2015-05-20 中国电子科技集团公司第二十七研究所 一种高速无人机超低空全程自主飞行控制***
US9557742B2 (en) * 2013-11-27 2017-01-31 Aurora Flight Sciences Corporation Autonomous cargo delivery system
US9177481B2 (en) * 2013-12-13 2015-11-03 Sikorsky Aircraft Corporation Semantics based safe landing area detection for an unmanned vehicle
US9292705B2 (en) * 2014-02-21 2016-03-22 Lens Ventures, Llc Management of drone operations and security in a pervasive computing environment
CN104298245A (zh) * 2014-08-06 2015-01-21 江苏恒创软件有限公司 基于无人机的监控林木生长状态的方法
US20160140851A1 (en) * 2014-11-18 2016-05-19 Ziv LEVY Systems and methods for drone navigation
CN107207013B (zh) * 2014-12-12 2020-01-21 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
IL236606B (en) * 2015-01-11 2020-09-30 Gornik Amihay Standards and methods for agricultural monitoring
CN105139350A (zh) * 2015-08-12 2015-12-09 北京航空航天大学 一种无人机侦察图像地面实时重建处理***
CN105346706B (zh) * 2015-11-13 2018-09-04 深圳市道通智能航空技术有限公司 飞行装置、飞行控制***及方法
US10083616B2 (en) 2015-12-31 2018-09-25 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
US10082803B2 (en) 2016-02-29 2018-09-25 Thinkware Corporation Method and system for providing route of unmanned air vehicle
EP3443421A4 (en) * 2016-06-23 2019-03-13 SZ DJI Technology Co., Ltd. SYSTEMS AND METHOD FOR CONTROLLING THE BEHAVIOR OF MOVABLE OBJECTS
WO2018086140A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Flight path determination
WO2019136404A1 (en) * 2018-01-05 2019-07-11 Todd Petersen Transportation systems and related methods
US11191005B2 (en) * 2019-05-29 2021-11-30 At&T Intellectual Property I, L.P. Cyber control plane for universal physical space
KR20190095179A (ko) * 2019-07-24 2019-08-14 엘지전자 주식회사 제한 구역에서의 자율 주행 제어 방법 및 이를 이용한 자율 주행 시스템
KR20210052621A (ko) * 2019-10-29 2021-05-11 엘지전자 주식회사 자율주행 레벨 결정 장치 및 방법
US11725950B2 (en) * 2020-10-24 2023-08-15 International Business Machines Corporation Substitute autonomous vehicle data
US11810057B2 (en) * 2021-02-05 2023-11-07 Here Global B.V. Method, apparatus, and computer program product for vantage view assistance
US20230290153A1 (en) * 2022-03-11 2023-09-14 Argo AI, LLC End-to-end systems and methods for streaming 3d detection and forecasting from lidar point clouds

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541066A (zh) * 2011-12-16 2012-07-04 新时代集团国防科技研究中心 一种用于无人飞行器作业的自动定高的控制方法
CN103345737A (zh) * 2013-06-04 2013-10-09 北京航空航天大学 一种基于误差补偿的uav高分辨率影像几何校正方法
CN103412568A (zh) * 2013-08-27 2013-11-27 重庆市勘测院 同架次变航高无人机遥感影像获取方法
CN103796011A (zh) * 2014-01-20 2014-05-14 北京航空航天大学 基于jpeg2000和帧间补偿的无人机侦察图像通用压缩方法
CN104386249A (zh) * 2014-11-17 2015-03-04 马鞍山市靓马航空科技有限公司 一种快速测绘多旋翼无人机及其测绘方法
CN105068553A (zh) * 2015-03-10 2015-11-18 无锡桑尼安科技有限公司 无人机自动着陆***

Also Published As

Publication number Publication date
CN107131877A (zh) 2017-09-05
US20190011935A1 (en) 2019-01-10
US10678268B2 (en) 2020-06-09
US11493940B2 (en) 2022-11-08
US20180356840A1 (en) 2018-12-13
US20230359227A1 (en) 2023-11-09
US10678267B2 (en) 2020-06-09
CN113238581A (zh) 2021-08-10
US10082803B2 (en) 2018-09-25
US20200326729A1 (en) 2020-10-15
CN113342038A (zh) 2021-09-03
US20170248969A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
CN107131877B (zh) 无人飞行器航线构建方法及***
AU2018317851B2 (en) An unmanned aerial vehicle system for inspecting railroad assets
KR20170111921A (ko) 무인 비행체 제어 방법 및 시스템
KR20170101776A (ko) 무인 비행체 항로 구축 방법 및 시스템
KR20170126637A (ko) 무인 비행체 항로 구축 방법 및 시스템
US11341858B2 (en) Managing dynamic obstructions in air traffic control systems for passenger drones and unmanned aerial vehicles
US20210125507A1 (en) Method and system for unmanned aerial vehicle flight highway
US20200005651A1 (en) Apparatus for controlling unmanned aerial vehicles and passenger drones via an air traffic control system
US11468778B2 (en) Emergency shutdown and landing for passenger drones and unmanned aerial vehicles with air traffic control
CN109376587A (zh) 基于物联网的检测查勘通信铁塔智能巡检***和方法
US20200160730A1 (en) Passenger drone collision avoidance via Air Traffic Control over wireless network
US20200051439A1 (en) Waypoint directory in air traffic control systems for passenger drones and unmanned aerial vehicles
US11670179B2 (en) Managing detected obstructions in air traffic control systems for passenger drones
Scholz et al. Concept for Sensor and Processing Equipment for Optical Navigation of VTOL during Approach and Landing
CA3059698A1 (en) Method and system for unmanned aerial vehicle flight highway
WO2023181349A1 (ja) 位置算出装置、位置算出方法およびプログラム記憶媒体
Schwoch et al. Enhancing unmanned flight operations in crisis management with live aerial images
Parrish et al. An Airborne Lidar Scanning and Deep Learning System for Real-Time Event Extraction and Control Policies in Urban Transportation Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210806

Address after: Gyeonggi Do, South Korea

Patentee after: THINKWARE SYSTEMS Corp.

Patentee after: Anaway systems

Address before: Gyeonggi Do, South Korea

Patentee before: THINKWARE SYSTEMS Corp.

Patentee before: MI Vaux Corp.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240514

Address after: Gyeonggi Do, South Korea

Patentee after: THINKWARE SYSTEMS Corp.

Country or region after: Republic of Korea

Address before: Gyeonggi Do, South Korea

Patentee before: THINKWARE SYSTEMS Corp.

Country or region before: Republic of Korea

Patentee before: Anaway systems