CN112106010A - 使用光学标签在工作环境中引导无人机检查运载器 - Google Patents
使用光学标签在工作环境中引导无人机检查运载器 Download PDFInfo
- Publication number
- CN112106010A CN112106010A CN201980031471.XA CN201980031471A CN112106010A CN 112106010 A CN112106010 A CN 112106010A CN 201980031471 A CN201980031471 A CN 201980031471A CN 112106010 A CN112106010 A CN 112106010A
- Authority
- CN
- China
- Prior art keywords
- uav
- marker tag
- processor
- image
- location
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003287 optical effect Effects 0.000 title claims description 30
- 238000007689 inspection Methods 0.000 title description 2
- 239000003550 marker Substances 0.000 claims abstract description 256
- 238000003384 imaging method Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000012545 processing Methods 0.000 claims abstract description 41
- 239000010410 layer Substances 0.000 claims description 49
- 230000007613 environmental effect Effects 0.000 claims description 33
- 239000000463 material Substances 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 6
- 239000012790 adhesive layer Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 26
- 230000004888 barrier function Effects 0.000 description 20
- 239000007789 gas Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 239000010408 film Substances 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 7
- 239000000976 ink Substances 0.000 description 7
- 230000006378 damage Effects 0.000 description 6
- 239000007788 liquid Substances 0.000 description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000001301 oxygen Substances 0.000 description 5
- 229910052760 oxygen Inorganic materials 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 239000000853 adhesive Substances 0.000 description 4
- 230000001070 adhesive effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001681 protective effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 3
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 3
- 229910002091 carbon monoxide Inorganic materials 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 239000002360 explosive Substances 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 229910000037 hydrogen sulfide Inorganic materials 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000012788 optical film Substances 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 230000001012 protector Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000000884 Airway Obstruction Diseases 0.000 description 1
- 206010003497 Asphyxia Diseases 0.000 description 1
- 206010008589 Choking Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 239000004820 Pressure-sensitive adhesive Substances 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000003570 air Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000006229 carbon black Substances 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- -1 etc.) Chemical compound 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011344 liquid material Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 231100000572 poisoning Toxicity 0.000 description 1
- 230000000607 poisoning effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F1/00—Ground or aircraft-carrier-deck installations
- B64F1/18—Visual or acoustic landing aids
- B64F1/20—Arrangement of optical beacons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本公开的***和技术涉及通过例如使用机器视觉来分析受限空间中的位置标记标签以控制受限空间内的无人驾驶飞行器(UAV)来提高该受限空间中的工作安全性。在一个示例中,***包括UAV,该UAV包括成像装置和通信地耦接到该成像装置的处理器。处理器可被配置为:从该成像装置接收受限空间的图像;检测该图像内的位置标记标签;处理该图像以对嵌入在该位置标记标签上的数据进行解码;并且基于从该位置标记标签解码的数据,来控制UAV在该受限空间内的导航。
Description
技术领域
本公开涉及工作安全设备,并且更具体地,涉及用于检查和维护受限工作环境的工作安全设备。
背景技术
诸如例如受限空间的一些工作环境包括入口或出口有限或受限的区域,这些区域不是为了连续占用而设计的。受限工作环境中的工作通常由该受限工作环境的拥有者和/或操作者进行监管。示例性的受限工作环境包括但不限于制造厂、煤矿、较大的槽、容器、筒仓、储料仓、料仓、保管库、维修区、检修孔、隧道、设备壳体、管道***和管道。
在一些情况下,一个或多个工人(例如,进入者)进入受限空间可能出现与该受限空间相关联的固有健康或安全风险,诸如可能暴露于:可能伤害或杀死进入者的有害大气或材料、受限空间内可能使进入者陷入困境或甚至陷入险境的材料、已经移位或收拢到可能使进入者陷入困境或窒息的较小区域的壁或地板、设备中无防护的机械或潜在的储能(例如,电能、机械能或热能)。此外,在受限空间内发生安全事件,例如爆发火灾或化学溢出,可能进一步使进入者处于危险中。为了帮助确保进入者的安全,受限空间进入程序可包括与受限空间相关联的管道、电线和移动部件的锁定标记,净化受限空间的环境,测试受限空间的入口处或其附近的大气环境,以及由维护人员(例如,被指定为孔看守(hole-watch)的工人)监视受限空间进入。
发明内容
本公开的***和技术涉及通过使用机器视觉来分析诸如受限空间的工作环境中的位置标记标签以控制该工作环境内的无人驾驶飞行器(UAV)来提高该工作环境中的工作安全性。虽然出于示例性目的相对于受限空间描述了本公开的技术,但这些技术可应用于工作环境的任何指定或限定区域。在一些示例中,工作环境的指定或限定区域可使用地理围栏、信标、光学基准、RFID标签或用于描绘工作环境的区域或边界的任何其他合适的技术来描绘。
在一些示例中,成像装置安装在UAV上以在受限空间中捕获位置标记标签的一个或多个图像。通信地耦接到成像装置的处理器被配置为接收位置标记标签的一个或多个图像。处理器还被配置为处理该一个或多个图像以对嵌入在位置标记标签上的数据进行解码。例如,可解码数据可包括位置标记标签在受限空间中的位置或可由处理器读取的命令。基于从位置标记标签解码的数据,处理器被配置为控制UAV。例如,处理器可控制UAV的导航或命令UAV执行任务,诸如观察受限空间中的危险(例如,气体监测)或在受限空间中执行工作。在一些示例中,成像装置还可例如在人员倒下的情况下捕获进入者的一个或多个图像,并且处理器可确定进入者的大致位置和/或观察进入者附近的危险以例如中继到急救响应团队。以这种方式,所公开的***和技术可通过使UAV能够在受限空间中进行导航以观察受限空间中的危险和/或在受限空间中执行工作来提高受限空间中的工作安全性。通过观察受限空间中的危险和/或在受限空间中执行工作,所公开的***和技术可减少受限空间进入或需进入救援所需的进入者数量,并且/或者减少受限空间进入的持续时间或需进入救援响应时间,从而减少进入者暴露于受限空间中的潜在危险。
在一些示例中,本公开描述包括UAV的***,该UAV包括成像装置和通信地耦接到该成像装置的处理器。处理器可被配置为:从该成像装置接收受限空间的图像;检测该图像内的位置标记标签;处理该图像以对嵌入在该位置标记标签上的数据进行解码;并且基于从该位置标记标签解码的数据,来控制UAV在该受限空间内的导航。
在一些示例中,本公开描述包括受限空间进入装置的***,该受限空间进入装置包括成像装置和通信地耦接到该成像装置的处理器。处理器可被配置为:从成像装置接收受限空间的图像;检测图像内的位置标记标签;处理图像以对嵌入在位置标记标签内的数据进行解;并且基于从位置标记标签解码的数据,来控制受限空间进入装置在受限空间内的导航。
在一些示例中,本公开描述一种方法,该方法包括将无人驾驶飞行器(UAV)部署到受限空间中,该UAV包括成像装置。该方法还包括由通信地耦接到成像装置的处理器接收由该成像装置捕获的受限空间的图像。该方法还包括检测图像内的位置标记标签。该方法还包括由处理器处理图像以对嵌入在位置标记标签上的数据进行解码。该方法还包括由处理器基于从位置标记标签解码的数据,来控制UAV在受限空间内的导航。
附图和以下描述中示出了本公开的一个或多个示例的细节。根据说明书和附图以及权利要求书,本公开的其他特征、目标和优点将显而易见。
附图说明
图1是示出包括UAV的示例性***的示意性和概念性框图,该UAV具有安装在其上以捕获受限空间中的位置标记标签的图像的成像装置以及通信地耦接到该成像装置的计算装置。
图2A和图2B是示出其上安装有成像装置和计算装置的示例性UAV的示意性和概念性示图。
图3是示出包括成像装置和计算装置的示例性受限空间进入装置的示意性和概念性框图。
图4是示出包括用于受限空间内的实施方案的可解码数据的示例性位置标记标签的示意性和概念性示图。
图5A和图5B是示出示例性位置标记标签的一部分的示意性和概念性示图。
图6是示出基于从位置标记标签解码的数据来控制UAV的示例的流程图。
本公开的一个或多个实施例的细节在附图和以下描述中进行阐述。应当理解,在不脱离本发明范围的前提下,可使用示例和/或可进行结构改变。从说明书和附图、以及从权利要求书中,本公开的其他特征、目标和优点将显而易见。
具体实施方式
本公开的***和技术涉及通过使用机器视觉来分析工作环境中的位置标记标签以控制工作环境内诸如无人驾驶飞行器(UAV)的工作环境分析装置来提高工作环境中的工作安全性。虽然出于示例性目的相对于受限空间工作环境描述了本公开的技术,但这些技术可应用于工作环境的任何指定或限定的区域。例如,工作环境的指定或限定区域可由物理边界来描绘,诸如受限空间容器,或者通过使用例如地理围栏、信标、光学基准、RFID标签或用于描绘工作环境的区域或边界的任何其他合适的技术来描绘。
在一些示例中,成像装置安装在UAV上并且被配置为捕获受限空间的一个或多个图像。在其他示例中,成像装置可安装在不同的运载器上或者安装在可由进入者或维护人员穿戴的装置上。通信地耦接到成像装置的处理器被配置为接收受限空间的一个或多个图像。处理器可机载安装在UAV(或其他运载器或可穿戴装置)上,使得成像装置和处理器是相同受限空间进入装置的部件,或者可远离受限空间进入装置定位(例如,远程服务器或控制站)。处理器还被配置为检测所接收的图像内的位置标记标签,并且处理一个或多个图像以对嵌入在位置标记标签上的数据进行解码。例如,该数据可包括位置标记标签在受限空间中的位置或可由处理器读取的命令。基于从位置标记标签解码的数据,处理器被配置为控制UAV。例如,处理器可控制UAV的导航或命令UAV执行任务,诸如观察受限空间中的危险(例如,气体监测)或在受限空间中执行工作。以这种方式,所公开的***和技术可通过使UAV能够在受限空间中进行导航以观察受限空间中的危险和/或在受限空间中执行工作来提高受限空间中的工作安全性。通过观察受限空间中的危险和/或在受限空间中执行工作,所公开的***和技术可减少受限空间进入或需进入救援所需的进入者数量,并且/或者减少受限空间进入的持续时间或需进入救援响应时间,从而减少进入者暴露于受限空间中的潜在危险。
图1是示出包括无人驾驶飞行器(UAV)102的示例性***100的示意性和概念性框图,该UAV具有安装在其上以捕获受限空间106中的位置标记标签的图像的成像装置104以及通信地耦接到成像装置104的计算装置103。成像装置104可以诸如固定或可移动臂的任何合适的方式安装在UAV 102上。计算装置103可安装在UAV 102上或远程定位,并且被配置为自主控制UAV 102的操作,诸如例如UAV 102在受限空间106中的导航和/或控制***100的操作,诸如例如监测受限空间106内的局部环境、操作光源、操作可听装置、操作装置以排放气体或液体等。
受限空间106包括受限工作环境,诸如入口或出口有限或受限并且不是为了人类的连续占用而设计的区域。受限空间106具有描绘由物理特性限定的体积、区域或面积的特定边界。例如,受限空间106可包括具有检修孔108和110、梯架112、114和116以及圆周壁118的柱。在其他示例中,受限空间106可包括但不限于制造厂、煤矿、水槽、容器、筒仓、储料仓、料仓、保管库、维修区、检修孔、隧道、设备壳体、管道***和管道。在一些示例中,受限空间106包括内部结构,诸如搅拌器、挡板、梯子、人行巷道、通道或任何其他物理轮廓。特定边界和内部结构限定受限空间106的内部空间120。在一些示例中,受限空间106可能容纳可能对进入者的健康或安全有害的液体、气体或其他物质,例如,造成窒息、中毒、淹没或其他伤害的风险。受限空间106可能需要专门的通风和抽空***,以便于形成临时可居住的工作环境,例如,用于受限空间进入。尽管相对于受限空间106进行了描述,但本公开的***和技术可应用于工作环境的任何指定或限定区域。例如,工作环境的指定或限定区域可使用例如地理围栏、信标、光学基准、RFID标签或用于描绘工作环境的区域或边界的任何其他合适的技术来描绘。
如图1所示,***100包括UAV 102、计算装置103和成像装置104。术语“无人驾驶飞行器”和首字母缩略词“UAV”是指可以实际在飞行器上没有人类驾驶员的情况下执行受控制的空中飞行操纵的任何运载器(将这种运载器称为“无人机”)。UAV可由人工操作者远程引导,可为自主的或半自主的。例如,UAV 102可在由人工操作者远程控制的同时飞向目的地,在例如当对UAV 102的远程控制通信丢失时实行自主控制,以执行如在受限空间106的内部120导航和/或在飞行路径的诸如起飞或着陆的某些部分期间可能需要的UAV的精细运动。虽然图1示出包括UAV 102的***100,但是在一些示例中,***100可包括其他有人驾驶或自主的空中、陆地或海上运载器或可穿戴装置。
UAV 102被配置为进入受限空间106。例如,UAV 102可被设计成适配于在内部空间120内,诸如例如穿过检修孔108或110以及处于壁118与梯架112、114或116之间。在受限空间106保持特定液体或气体的示例中,UAV 102可被设计成在具有特定液体或气体的环境中操作,诸如例如在包含易燃和/或腐蚀性液体和/或气体的环境中操作。
受限空间106包括一个或多个位置标记标签122A、122B、122C、122D、122E、122F和122G(统称为“位置标记标签122”)。位置标记标签122可位于受限空间106的内表面或外表面上。位置标记标签122的每个相应位置标记标签与受限空间106中的相应位置相关联。位置标记标签122的每个相应位置标记标签包括在其中体现的至少一个相应的光学图案。该至少一个光学图案包括机器可读代码(例如,可解码数据)。在一些示例中,位置标记标签122,例如体现在其上的光学图案,可为回射材料层。在一些示例中,机器可读代码可用红外吸收墨水打印,以使红外相机能够获得易于处理的图像以识别机器可读代码。在一些示例中,位置标记标签122包括用于将位置标记标签粘附到受限空间106的表面的粘合剂层。在一些示例中,位置标记标签122包括层合在机器可读代码上的附加镜膜层。镜膜可为红外透明的,使得机器可读代码在环境光中不可见,但在由红外相机(例如,使用图像装置104的一些实例)获得的图像内能够容易地检测。镜膜的附加说明可见于2017年1月19日提交的PCT申请PCT/US2017/014031的PCT申请中,其全文以引用方式并入本文。机器可读代码对于位置标记标签122的相应位置标记标签是唯一的,例如,唯一标识符、唯一位置数据和/或唯一命令数据。这样,***100可使用机器可读代码来识别UAV 102在受限空间106或命令***100内的位置来执行操作。
位置标记标签122在受限空间106的可见表面上体现,使得当UAV 102在受限空间106内时,成像装置104可获得该位置标记标签122的图像。位置标记标签可为任何合适的尺寸和形状。在一些示例中,位置标记标签122包括介于约1厘米×1厘米至约1米×1米之间的矩形形状,诸如约15厘米×15厘米。在一些示例中,位置标记标签122的每个位置标记标签可体现在使用粘合剂、夹子或其他紧固方式附连到受限空间106的内部120的各种类型表面的标签(label)或标签(tag)上以相对于受限空间106的内部120基本不动,这些表面诸如例如地板、壁(例如,壁118)、天花板或其他内部结构(例如,梯架112、114或116)。在此类示例中,位置标记标签122可称为“光学标签(optical tags)”或“光学标签(optical labels)”。通过附连到受限空间106的内部120的表面,位置标记标签122可与受限空间106内的特定位置相关联。
在一些示例中,位置标记标签122的相应位置标记标签可体现在附连到受限空间106的各种类型的外表面的标签(label)或标签(tag)上。通过附连到受限空间106的外表面,位置标记标签122(例如,位置标记标签122G)可与受限空间106的特定外部特征相关联,诸如检修孔110或到受限空间106的其他入口。
在一些示例中,受限空间106被制造成具有在其上体现的位置标记标签122。在一些示例中,可将位置标记标签122印刷、压印、雕刻或以其他方式直接体现在受限空间106的内部120的表面上。在一些示例中,位置标记标签122可包括保护材料层,诸如耐热或耐化学品性膜。在一些示例中,在受限空间106中可存在位置标记标签122的各类型实施方案的混合。例如,可将位置标记标签122的相应位置标记标签印刷在受限空间106的内部120的表面上,而将位置标记标签122的第二个相应位置标记标签印刷在附连到受限空间106的内部120的表面的标签上。这样,位置标记标签122可被配置为在受限空间106的操作期间承受该受限空间内的条件,诸如例如非环境温度、压力和/或pH、流体和/或材料流动、存在溶剂或腐蚀性化学品等。
位置标记标签122的每个相应位置标记标签可相对于位置标记标签122的每个不同位置标记标签具有相对空间关系。位置标记标签的相对空间关系可记录在***100中的被配置为存储受限空间106的模型的储存库中。该模型可包括位置标记标签122的每个相应位置标记标签在受限空间106内的位置。例如,位置标记标签122D距位置标记标签122E和122F特定距离和轨迹。在一些示例中,成像装置104可从受限空间106内的UAV 102的位置观察122D和122E和/或122F中的每一者。通过观察122D和122E和/或122F中的每一者,***100可确定UAV 102在受限空间106内的相对位置。在一些示例中,相对于位置标记标签122的相对空间关系的异常(例如,改变或移位的相对空间关系)可指示对受限空间106的内部120的损坏。例如,通过观察122B和122A和/或122C中的每一者,***100可确定位置标记标签122B被移位,例如,梯架112的部分124被移位或被以其他方式损坏,使得位置标记标签122B从模型中的位置标记标签122B的位置移位。以这种方式,***100可确定UAV 102在受限空间106内的相对位置和/或确定受限空间106中存在的状况,诸如受限空间106的内部120的移位表面。通过确定UAV在受限空间106内的相对位置和/或确定受限空间106中存在的状况,***100可确定UAV 102到受限空间106内的第二位置的行进路径(例如,至少一条距离矢量和至少一条轨迹),或者需要对内部120进行修补。这样,***100可基于从位置标记标签122的相应位置标记标签解码的数据,来控制UAV 102在受限空间106内的导航。
成像装置104至少暂时地获取和存储受限空间106的内部120的图像126D、126E和126F(统称为“图像126”)。图像126的每个相应图像可包括位置标记标签122的相应位置标记标签。在一些示例中,通信地耦接到成像装置104的计算装置103几乎实时地从成像装置104接收图像126以供近实时处理。成像装置104可在成像装置104的位置和取向处以一定频率获得多个图像126。例如,成像装置104可每秒获取一次图像126的实例。
成像装置104可为光学相机、摄像机、红外或其他非人可见光谱相机或他们的组合。成像装置104可在UAV 102上由固定安装件或可致动安装件安装,例如,可沿着一个或多个自由度移动。成像装置104包括与计算装置103的有线或无线通信链路。例如,成像装置104可将图像126传输到计算装置103或传输到通信地耦接到计算装置103的存储***(图1中未示出)。另选地,计算装置103可从成像装置104的存储装置或从通信地耦接到计算装置103的存储***读取图像126。尽管仅描绘了单个成像装置104,但UAV 102可包括围绕UAV102定位并以不同取向来取向的多个成像装置104,以从不同位置和取向捕获受限空间106的图像,使得图像126提供受限空间106的内部120的更全面的视图。如本文所述,图像126可指代由多个成像装置104生成的图像。在一些示例中,多个成像装置104之间具有已知的空间相互关系,以允许确定由多个成像装置104的相应成像装置生成的图像126的相应图像中的位置标记标签122之间的空间关系。
计算装置103包括用于处理图像126的一个或多个图像以对嵌入在位置标记标签122上的数据进行解码的处理器。计算装置103可检测图像126的相应图像内的位置标记标签122的相应位置标记标签。在一些示例中,计算装置103可至少部分地基于位置标记标签122的一般边界、光学图案、颜色、反射率(例如,所选择的辐射波长,诸如红外辐射的反射率)等来检测位置标记标签122。计算装置103还可处理图像126的一个或多个图像以识别位置标记标签122的机器可读代码。例如,在受限空间106保持对UAV 102有害的材料(例如,可能损坏UAV 102的粉尘、液体或气体)的示例中,位置标记标签122的相应位置标记标签(例如,位置标记标签122G)可使UAV 102能够确定UAV 102不应进入受限空间106。另外地或另选地,计算装置103的处理器可处理图像126的一个或多个图像以确定一个或多个位置标记标签122与UAV 102之间的空间关系。为了确定一个或多个位置标记标签122与UAV 102之间的空间关系,计算装置103可根据图像126的一个或多个图像以及任选地受限空间106内的位置标记标签122的模型来确定相对于与UAV 102有关的坐标系的一个或多个位置标记标签122中的每个相应位置标记标签的位置和/或一个或多个位置标记标签122中的每个相应位置标记标签的取向。
例如,计算装置103可处理图像126的一个图像以确定位置标记标签122的相应位置标记标签之间的空间关系,诸如UAV 102距位置标记标签122的相应位置标记标签的距离和/或UAV 102相对于位置标记标签122的相应位置标记标签的取向。空间关系可指示UAV102(或成像装置104)与位置标记标签122的相应位置标记标签相距一定距离,例如3米。空间关系可指示UAV 102(或成像装置104)具有与位置标记标签122的相应位置标记标签的相对取向,例如90度。空间关系可指示位置标记标签的不同相应位置标记标签被定位成距离UAV 102的当前位置一定的距离和方向矢量(例如,UAV 102可基于位置标记标签122的第一相应位置标记标签之间的空间关系,来定位位置标记标签122的第二相应位置标记标签。)
在一些示例中,计算装置103可处理图像126的至少一个图像,以通过确定位置标记标签122的相应位置标记标签在图像126的一个图像中的分辨率来确定UAV 102与位置标记标签122的相应位置标记标签的距离。例如,位置标记标签122的相应位置标记标签的第一分辨率可包括可解码数据,该可解码数据指示在获取图像126的第一图像期间,成像装置104与位置标记标签122的相应位置标记标签相距第一距离。类似地,位置标记标签122的相应位置标记标签的第二分辨率可包括第二可解码数据,该第二可解码数据指示在获取图像126的第二图像期间,成像装置104与位置标记标签122的相应位置标记标签相距第二距离。
另外地或另选地,计算装置103可处理图像126的至少一个图像以(例如,基于成像装置104相对于UAV 102的已知取向)确定UAV 102相对于位置标记标签122的相应位置标记标签的取向。例如,位置标记标签122的相应位置标记标签可包括指示位置标记标签122的相应位置标记标签相对于受限空间106的取向的可解码数据,例如,图像126的至少一个图像可指示坐标系相对于受限空间106的内部120的取向。以这种方式,计算装置103可基于从位置标记标签122的至少一个位置标记标签的图像126的至少一个图像解码的数据,来确定UAV 102在受限空间106内的位置和/或取向。
另外地或另选地,计算装置103可处理图像126的至少一个图像以(例如,基于成像装置104相对于UAV 102或相对于位置标记标签122的具有已知取向的其他位置标记标签的已知取向)确定位置标记标签122的相应位置标记标签相对于受限空间106的取向。例如,位置标记标签122的相应位置标记标签可包括指示位置标记标签122的相应位置标记标签的取向的可解码数据。计算装置103可将UAV 102的取向(例如,基于成像装置104相对于UAV102或相对于位置标记标签122的具有已知取向的其他位置标记标签的已知取向)与位置标记标签122的相应位置标记标签的所确定取向相关联,以确定位置标记标签122的相应位置标记标签相对于受限空间106的取向。这样,计算装置103可基于从位置标记标签122的相应位置标记标签的图像126的至少一个图像解码的数据,来确定位置标记标签122的相应位置标记标签在受限空间106内的位置和/或取向。
另外地或另选地,计算装置103可使用诸如即时定位与地图构建(SLAM)算法的一种或多种算法来处理图像126的至少一个图像,以确定与位置标记标签122的至少一个相应位置标记标签之间的空间关系,诸如UAV 102与位置标记标签122的至少一个相应位置标记标签相距的距离和/或UAV 102相对于位置标记标签122的至少一个相应位置标记标签的取向。SLAM处理中的可识别关键点可包括位置标记标签122的至少一个相应位置标记标签。计算装置103可例如通过SLAM处理来基于位置标记标签122的至少一个相应位置标记标签,来确定包括受限空间106的模型的三维点云或网格。计算装置103可被配置为将三维点云或网格记录在***100的储存库中作为受限空间106的模型。该三维点云或网格可提供受限空间106的相对较高清晰度模型,计算装置103可使用该模型来提高计算装置103处理相对较低分辨率图像126的能力。例如,在图像126包括相对较低分辨率图像126的情况下(例如,在受限空间106内使图像模糊或以其他方式降低图像分辨率的诸如烟雾、碎片或低光的条件下获得的图像),计算装置103可使用由SLAM处理确定的三维点云或网格来提高相对较低分辨率图像的可用性(例如,通过将相对较低分辨率图像126的至少一部分配准到相对较高分辨率三维点云或网格)。
另外地或另选地,***100可包括通信地耦接到计算装置103并安装在UAV 102上的环境传感器。该环境传感器可包括但不限于用于测试易燃气体***下限(LEL)、有毒气体(例如,硫化氢、一氧化碳等)和/或氧气水平(例如,氧气耗尽)的多气体检测器、温度传感器、压力传感器等。计算装置103可基于从图像126的至少一个图像解码的命令,使环境传感器在受限空间106中收集环境信息。以这种方式,计算装置103可确定受限空间106内的环境条件,诸如存在有害气体、危险的低氧气水平或高氧气水平、或危险温度或压力。
又如,计算装置103可处理多个图像126(例如,图像126的两个或更多个图像)以确定多个位置标记标签122(例如,位置标记标签122的两个或更多个位置标记标签)之间的空间关系。例如,计算装置103可分别处理位置标记标签122D、122E和122F的图像126D、126E和126F,以确定UAV 102在受限空间106内的位置和/或取向。在一些示例中,计算装置103可如上所述处理每个相应图像(例如,图像126D、126E和126F),以确定和比较UAV 102相对于相应位置标记标签(例如,位置标记标签122D、122E和122F)的位置和/或取向。例如,计算装置103可使用从图像126D、126E和126F确定的UAV 102与位置标记标签122D、122E和122F相距的多个距离来三角测量UAV 102在受限空间106内的位置。以这种方式,计算装置103可基于从多个位置标记标签122的多个图像126解码的数据,来确定UAV 102在受限空间106内的位置和/或取向。使用多个位置标记标签122的多个图像126可允许***100更准确地确定UAV102在受限空间106内的位置和/或取向。
在一些示例中,***100包括附加部件,诸如例如可通信地耦接到计算装置103和/或成像装置104的远程定位控制站128。例如,远程定位控制站128可通过任何合适的无线连接通信地耦接到计算装置103和/或成像装置104,该无线连接包括例如经由诸如局域网的网络130。远程定位控制站128可包括可由诸如人工操作者或机器的用户操作的接口。
在一些示例中,***100可被配置为对受限空间106中的需进入救援情况作出响应,例如进入者丧失能力并且无法由非进入手段营救的情况。例如,UAV 102可部署在受限空间106中以搜索丧失能力的进入者。如上所述,成像装置104可被配置为捕获内部120的图像126。计算装置103可从成像装置104获得图像126,以确定图像126是否包括丧失能力的进入者。例如,计算装置103可包括图像识别软件以识别丧失能力的进入者的光学图像的特征,诸如进入者的形状、与丧失能力的进入者相关联的光学标签(例如,附连到丧失能力的进入者所穿戴的PPE上的光学标签)、或由于存在丧失能力的进入者而导致的内部120中的异常。又如,计算装置103可包括图像识别软件以识别丧失能力的进入者的红外特性,诸如由丧失能力的进入者发出的红外辐射。在一些示例中,***100可如上所述确定UAV 102在受限空间106内的位置,并且还可识别受限空间106内的人员倒下。例如,响应于识别出丧失能力的进入者,***100然后可如上所述确定UAV 102的位置。以这种方式,计算装置103可识别丧失能力的进入者,并且确定丧失能力的进入者在受限空间106内的大致位置。响应于识别出人员倒下,***100可任选地确定受限空间106内的环境条件。在一些示例中,***100可例如经由远程定位控制站128向急救响应团队提供环境情况信息,并且/或者确定环境情况是否允许安全地营救丧失能力的进入者。以这种方式,***100可减少对丧失能力的进入者的需进入救援所需的进入者的数量,减少需进入救援的持续时间,和/或减少救援人员暴露于受限空间106内可能伤害救援人员的环境条件。
设想了涉及其他类型的受限空间106、受限空间106内的其他内部结构和/或受限空间106内的局部环境条件的其他示例。
图2A和图2B是示出其上安装有成像装置212和计算装置210的示例性UAV 200的示意性和概念性示图。UAV 200的部件可与上面参考图1描述的***100的部件相同或基本类似。例如,计算装置210可与计算装置103相同或基本类似,并且成像装置212可与成像装置104相同或基本类似。
UAV 200是通常称为多轴直升机的旋翼飞机。图2所示的示例性设计包括四个转子202A、202B、202C和202D(统称为“转子202”)。在其他示例中,UAV 200可包括更少或更多的转子202(例如,两个、三个、五个、六个等)。转子202为UAV 200提供推进力和可操纵性。转子202可为电动机驱动的;每个转子可以由单独的电动机驱动;或者,单个电动机可借助于例如驱动轴、带、链条等来驱动所有的转子。转子202被配置为使得UAV 200能够例如垂直起飞和降落,在任何方向上操纵和悬停。各个转子的间距和/或特定转子的各个叶片的间距可在飞行中变化以有助于UAV 200的三维移动并沿三个飞行控制轴(俯仰、滚转和偏航)控制UAV200。UAV 200可包括转子保护器(例如,护罩)204,以保护转子202的每个转子免受损坏和/或保护附近物体免受转子202损坏。如果存在,则转子保护器204可具有任何合适的尺寸和形状。另外地或另选地,UAV 200可包括被配置为围绕所有转子202的保持罩(未示出)。在一些示例中,UAV 200可包括起落架(未示出)以辅助受控和/或自动起飞和着陆。
UAV 200包括将转子202的每个转子连接到转子202的至少一个其他转子(例如,将每个转子/护罩组件连接到至少一个其他转子/护罩组件)的一个或多个支撑柱206A、206B、206C和206D(统称为“支撑柱206”)。支撑柱206为UAV 200提供整体结构刚度。
UAV 200包括计算装置210。计算装置210包括为UAV供电的电源和控制UAV 200的操作的处理器。计算装置210可包括被配置为操作UAV 200的附加部件,诸如例如通信单元、数据存储模块、陀螺仪、伺服机构等。计算装置210可安装在一个或多个支撑柱206上。在一些示例中,计算装置210可包括包含飞行控制***的固件和/或软件。飞行控制***可生成飞行控制指令。例如,可向转子202发送飞行控制指令以控制转子202的操作。在一些示例中,飞行控制指令可基于由计算装置210(例如,机载导引***或机载归位***)自主计算的飞行控制参数和/或至少部分地基于从远程定位控制站接收的输入。在一些示例中,计算装置210可包括机载自主导航***(例如,基于GPS的导航***)。在一些示例中,如上文相对于图1所讨论的,计算装置210可被配置为在受限空间106内自主引导和/或可归位在着陆位置上,而无需人工操作者的任何干预。
在一些示例中,UAV 200可包括一个或多个无线收发器208。无线收发器208可从诸如例如由用户操作的远程控制器的远程定位控制站发送和接收信号。无线收发器208可通信地耦接到计算装置210,以例如中继从无线收发器208到计算装置210的信号,反之亦然。
UAV 200包括一个或多个成像装置212。如上所述,计算装置210可从成像装置212接收图像。在一些示例中,成像装置212可通过收发器208将实时图像(例如,作为连续或准连续视频流、或作为一连串静态图像)无线传输到由用户操作的远程定位控制站。这可允许用户通过参考在控制站的显示屏上显示的实时图像操作远程定位控制站的飞行控制来在空中飞行路径的至少一部分上引导UAV 200。在一些示例中,可存在两个或更多个此类实时图像获取装置;一个实时图像获取装置能够至少在向下方向上扫描,并且一个实时图像获取装置能够至少在向上方向上扫描。在一些示例中,这种实时图像获取装置可安装在万向节或旋转支座214上,使得该装置可向上和向下扫描,并且例如沿不同的水平方向。
可将上述部件(例如,计算装置210、无线收发器208、成像装置212)中的任意一个定位于UAV 200上的任何合适位置,例如沿支撑柱206定位。此类部件可相对裸露或者可将一个或多个此类部件部分地或完全地定位于保护壳体内(如果期望例如使用位于壳体内的图像获取装置,则壳体的一部分或全部是透明的)。在一些示例中,UAV 200可包括附加部件,诸如环境传感器和有效载荷载体。
图3是示出包括成像装置302、计算装置304和环境传感器324的示例性受限空间进入装置300的示意性和概念性框图。图3的受限空间进入装置300在下文中作为图1的***100和/或图2的UAV 200的示例性或替代性具体实施进行描述。在一些实例中,其他示例可使用或可适用。尽管受限空间进入装置300可为独立装置,但是受限空间进入装置300可采取多种形式,并且可为包括处理器或用于处理信息或执行软件指令的其他合适的计算环境的任何部件、装置或***,或者可为该任何部件、装置或***的一部分。例如,受限空间进入装置30可包括被配置为由诸如进入者的工人穿戴的可穿戴装置。在一些示例中,受限空间进入装置300或其部件可完全实现为一个或多个装置中的硬件或者逻辑元件。受限空间进入装置300可表示作为分布式***操作以执行相对于***100、UAV 200和/或受限空间进入装置300描述的功能的多个计算服务器。
成像装置302可与图1的成像装置104和/或图2的成像装置212相同或基本类似。成像装置302通信地耦接到计算装置304。
环境传感器324通信地耦接到计算装置304。环境传感器324可包括用于安装到例如UAV 102或UAV 200的受限空间进入装置300的任何合适的环境传感器324。例如,环境传感器324可包括多气体传感器、热电偶、压力换能器等。这样,环境传感器324可被配置为检测气体(例如,易燃气体***下限、氧气水平、硫化氢和/或一氧化碳)、温度、压力等,以使受限空间进入装置300能够监测和/或提供对进入者造成健康和/或安全危害的环境条件的警告。
计算装置304可包括一个或多个处理器306、一个或多个通信单元308、一个或多个输入装置310、一个或多个输出装置312、电源314以及一个或多个存储装置316。一个或多个存储装置316可存储图像处理模块318、导航模块320和命令模块322。受限空间进入装置300的装置、模块、存储区域或其他部件中的一者或多者可互连以启用部件间通信(物理地、通信地和/或操作地)。在一些示例中,此类连接可通过***总线、网络连接、进程间通信数据结构或用于传输数据的任何其他方法来提供。
电源314可向受限空间进入装置300的一个或多个部件提供电力。在一些示例中,电源314可为电池。在一些示例中,电源314可从主要交流(AC)电源接收电力。在一些示例中,受限空间进入装置300和/或电源314可从另一个电源接收电力。
受限空间进入装置300的一个或多个输入装置310可生成、接收或处理输入。此类输入可包括来自以下的输入:键盘、指向装置、语音响应***、环境检测***、生物计量检测/响应***、按钮、传感器、移动装置、控制板、麦克风、存在感应屏幕、网络,或用于检测来自人类或机器的输入的任何其他类型的装置。受限空间进入装置300的一个或多个输出装置312可生成、发送或处理输出。输出的示例为触觉、音频、视觉和/或视频输出。输出装置312可包括显示器、声卡、视频图形适配卡、扬声器、存在感应屏幕、一个或多个USB接口、视频和/或音频输出接口,或能够生成触觉、音频、视频或其他输出的任何其他类型的装置。输出装置312可包括显示装置或用于产生触觉、音频和/或视觉输出的任何其他类型的装置,其中显示装置可使用包括液晶显示(LCD)、量子点显示、点阵显示、发光二极管(LED)显示、有机发光二极管(OLED)显示、阴极射线管(CRT)显示、电子墨水或者单色、彩色的技术来用作输出装置。在一些示例中,受限空间进入装置300可包括可用作用户界面装置的存在感应显示器,该用户界面装置作为一个或多个输入装置310以及一个或多个输出装置312两者来操作。
计算装置304的一个或多个通信单元308可通过发送和/或接收数据来与受限空间进入装置300外部的装置通信,并且在一些方面可作为输入装置和输出装置两者来操作。在一些示例中,通信单元308可通过网络与例如成像装置302、外部计算装置、集线器和/或远程定位控制站的其他装置通信。在一些示例中,一个或多个通信单元308可在诸如蜂窝无线电网络的无线电网络上发送和/或接收无线电信号。在一些示例中,一个或多个通信单元308可在诸如全球定位***(GPS)网络的卫星网络上发送和/或接收卫星信号。一个或多个通信单元308的示例可包括网络接口卡(例如,诸如以太网卡)、光学收发器、射频收发器、GPS接收器,或可发送和/或接收信息的任何其他类型的装置。一个或多个通信单元308的其他示例可包括见于移动装置中的GPS、3G、4G和无线电以及通用串行总线(USB)控制器等。
受限空间进入装置300的一个或多个处理器306可实施与受限空间进入装置300相关联的功能和/或执行与受限空间进入装置300相关联的指令。一个或多个处理器306的示例可包括微处理器、应用程序处理器、显示控制器、辅助处理器、一个或多个传感器集线器,以及被配置为用作处理器、处理单元或处理装置的任何其他硬件。受限空间进入装置300可使用一个或多个处理器306以使用驻留在受限空间进入装置300中和/或在受限空间进入装置300处执行的软件、硬件、固件或硬件、软件和固件的混合来执行根据本公开的一个或多个方面的操作。
计算装置304内的一个或多个存储装置316可存储用于在受限空间进入装置300的操作期间进行处理的信息。在一些示例中,一个或多个存储装置316为临时存储器,这意味着一个或多个存储装置的主要目的不是长期存储。计算装置304内的一个或多个存储装置316可被配置为如易失性存储器来用于信息的短期存储,并且因此如果停用则不保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM),以及本领域已知的其他形式的易失性存储器。在一些示例中,一个或多个存储装置316也包括一个或多个计算机可读存储介质。一个或多个存储装置316可被配置为比易失性存储器存储更大量的信息。一个或多个存储装置316还可被配置为如非易失性存储器空间来用于信息的长期存储,并且在启用/停用循环之后保留信息。非易失性存储器的示例包括磁性硬盘、光盘、软盘、闪存存储器,或者电可编程存储器(EPROM)或电可擦可编程存储器(EEPROM)的形式。一个或多个存储装置316可存储与根据本公开的一个或多个方面所述的模块中的一个或多个模块相关联的程序指令和/或数据。
一个或多个处理器306以及一个或多个存储装置316可向一个或多个模块提供操作环境或平台,该模块可实现为软件,但是在一些示例中可包括硬件、固件和软件的任何组合。一个或多个处理器306可执行指令,而一个或多个存储装置316可存储一个或多个模块的指令和/或数据。一个或多个处理器306以及一个或多个存储装置316的组合可检索、存储和/或执行一个或多个应用程序、模块或软件的指令和/或数据。一个或多个处理器306和/或一个或多个存储装置316还可以可操作地耦接到包括但不限于图3中所示的部件中的一个或多个部件的一个或多个其他软件和/或硬件部件。
图3中所示被包括在一个或多个存储装置316(或本文以其他方式描述的模块)内的一个或多个模块可使用驻留在计算装置304中和/或在计算装置304处执行的软件、硬件、固件或硬件、软件和固件的混合来执行所述的操作。计算装置304可用多个处理器或多个装置来执行(多个)模块中的每一个。计算装置304可执行此类模块中的一个或多个模块作为在底层硬件上执行的虚拟机或容器。此类模块中的一个或多个模块可作为操作***或计算平台的一个或多个服务来执行。此类模块中的一个或多个模块可作为一个或多个可执行程序在计算平台的应用层处来执行。
一个或多个存储装置316存储图像处理模块318。在一些示例中,图像处理模块318包括数据结构,该数据结构将其上体现有光学图案代码的位置标记标签上的该光学图案代码映射到唯一标识符和/或位置信息。在一些示例中,图像处理模块318可包括关联数据结构(例如,储存库),该关联数据结构包括模型,该模型包括每个相应位置标记标签在受限空间内的位置。图像处理模块318可使用该模型将唯一标识符映射到受限空间内的位置。
一个或多个存储装置316存储导航模块320。导航模块320可包括限定受限空间内可能的行进路径和/或操纵的规则列表。例如,导航模块320可使用数据库、列表、文件或其他结构来将位置标记标签上的光学图案代码映射到距离矢量和/或轨迹信息,该距离矢量和/或轨迹信息限定一个或多个位置标记标签之间的行进路径和/或在该位置标记标签处或附近将执行的操纵(例如,着陆在预定的位置)。另外地或另选地,导航模块320可使用体现在相应位置标记标签上的数据来确定限定该相应位置标记标签与一个或多个不同位置标记标签之间的行进路径的距离矢量和/或轨迹信息。在其中受限空间进入装置300包括可穿戴装置的示例中,导航模块320可例如经由输出装置312输出包括可听消息和视觉消息中的一者或多者的导航消息。通过将行进路径与相应位置标记标签相关联,导航模块320可使受限空间进入装置能够确定并任选地在受限空间执行导航。
一个或多个存储装置316存储命令模块322。命令模块322可包括限定将由受限空间进入装置300执行的可能操作的命令列表。例如,命令模块322可使用数据库、列表、文件或其他结构将位置标记标签上的光学图案代码映射到限定将由受限空间进入装置300在该位置标记标签处或附近执行的操作的数据。另外地或另选地,命令模块322可使用体现在相应位置标记标签上的数据来确定距离矢量和/或轨迹信息,该距离矢量和/或轨迹信息限定到将由受限空间进入装置300执行操作的位置的行进路径。示例性任务包括但不限于采样(例如,对局部环境中的气体、温度等采样,或提取产品样本)、执行操纵(例如,着陆在预定位置)、成像(例如,受限空间内的区域)、清洁(例如,清洁受限空间内的部件,诸如传感器)、执行工作(例如,修复受限空间内的部件,诸如传感器)或从远程服务器检索数据。通过将一个或多个任务与相应位置标记标签相关联,命令模块322可使受限空间进入装置300能够节省诸如例如电池、处理能量、采样容量等的资源。
在一些示例中,受限空间进入装置300可包括用于经由输出装置312显示处理器306输出或使操作者能够配置图像处理模块318、导航模块320和/或命令模块322的用户界面模块。在一些示例中,输出装置312经由处理器306从导航模块320接收人类或机器可理解的音频指令、视觉指令或触觉指令,以在受限空间中进行导航。在一些示例中,输入装置310可接收用户输入,该用户输入包括用于图像处理模块318、导航模块320和命令模块322的配置数据,其中对于图像处理模块318,配置数据例如与相应位置标记标签相关联的光学图案,对于导航模块320,配置数据例如包括每个位置标记标签在受限空间内的位置的模块,并且对于命令模块322,配置数据例如将在每个相应位置标记标签处执行的可能任务。用户界面模块可处理该配置数据并使用该配置数据来更新图像处理模块318、导航模块320和/或命令模块322。
图4是示出包括用于受限空间内的实施方案的可解码数据的示例性位置标记标签400的示意性和概念性示图。位置标记标签400是光学图案代码的视觉表示。该示例中的位置标记标签400为7个模块(宽度)乘以9个模块(高度),但是在其他示例中,可扩大或减小尺寸。每个模块或“单元”406的颜色为白色或黑色(分别为光反射或吸收)。根据预定义的图案,模块406的预定义集(在图4中标记为“白色位置查找器”和“黑色位置查找器”)始终为白色或黑色,这允许***100的图像处理软件来定位和识别光学图案代码存在于由成像装置生成的图像中。在图4中,白色位置查找器位于位置标记标签400的角落和“顶部”处,而黑色位置查找器位于位置标记标签400的“顶部”处。此外,组成白色和黑色位置查找器的模块406的集允许图像处理软件确定位置标记标签400相对于图像坐标系的取向。在图4中,位置标记标签400的“顶部”标记为“TOP”并且底部标记为“BOTTOM”以表示位置标记标签400具有取向。
剩余的48个单元被分成24个数据单元402,该数据单元基于每个单元的黑色/白色分配而给出唯一表示;以及24个纠错码单元404,该纠错码单元允许恢复代码,即使该代码被部分阻止或不正确读取。在该具体设计中,存在2^24个唯一表示(~1600万),但是基于所需的分辨率,可扩展代码以包括更多的数据单元402和更少的纠错码单元404(例如,如果12个纠错码单元404变成数据单元402,则将存在2^36或~640亿个唯一表示)。在一些示例中,两个或更多个单元,诸如四个单元,可包括第一分辨率和第二分辨率。例如,四个单元可在第一(较低)分辨率和第二(较高)分辨率下可见,使得在第一(较低)分辨率下观察单个单元并且在第二(较高)分辨率下观察四个单元。这样,数据单元402可根据数据单元402的图像分辨率提供多个数据集。
在一些情况下,代码作为更广义版本的代码操作,在该版本中全矩形回射基底可用并且纠错码保持完全完整以用于恢复和验证。位置查找器使用代码的所有角落,并且沿顶部边缘的交替的白色/黑色图案允许单个***区分和解码多个代码尺寸。
在一些示例中,使用诸如MIMAKI UJF-3042HG或3MTM精密板***的紫外(UV)喷墨印刷机以黑色油墨将位置标记标签400印刷到3M高清牌照片材系列6700上,以产生光学标签。油墨可包含炭黑作为颜料并且可为红外吸收性的(即,当被红外相机观察时呈现黑色)。该片材可包括压敏粘合剂层,该压敏粘合剂层允许印刷标签层合到受限空间内的表面上。在一些示例中,位置标记标签400对用户可见。在一些示例中,附加的镜膜层可在片材上与印刷的位置标记标签400层合,从而隐藏印刷的位置标记标签400使之为肉眼不可见。由于镜膜对红外光是透明的,因此红外相机仍可检测镜膜后面的位置标记标签400,这还可提高图像处理精度。镜膜还可用红外透明的油墨印刷,而不干扰红外相机检测位置标记标签400的能力。在一些示例中,位置标记标签400可包括一个或多个附加保护层,诸如例如被构造为抵抗受限空间内的环境劣化的保护膜(例如,耐温性或耐化学品性保护膜)。
在一些示例中,可生成位置标记标签400以包括一个或多个层,该一个或多个层避免镜膜的高反射率但是对红外透明,使得机器可读代码在环境光中不可见但是在由红外相机获得的图像内能够容易地检测。该构造可使工人或其他用户更少分心。例如,位置标记标签400可包括回射材料顶部上的白色镜膜,诸如在PCT/US2017/014031中公开的那些,该专利全文以引用方式并入本文。位置标记标签的回射光的辐射特性可用海洋光谱仪(型号FLAME-S-VIS-NIR)、光源(型号HL-2000-FHSA)和反射探针(型号QR400-7-VIS-BX)在0.2度观察角和0度入射角的几何上测量,如以400-1000纳米的波长范围上的反射率百分比(R%)所示。
图5A和图5B是示出在回射片材上形成的示例性位置标记标签的部分的剖视图的示意性和概念性示图。回射制品500包括回射层510,该回射层包括多个立体角元件512,该多个立体角元件共同形成与主表面516相对的结构化表面514。光学元件可为完整立方体、截顶立方体、或优选几何形状(PG)立方体,如在例如全文以引用方式并入本文的美国专利7422334中所述。图5A至5B中所示的具体回射层510包括主体层518,但是技术人员将理解一些示例不包括覆盖层。一个或多个阻隔层534定位在回射层510和适形层532之间,创建低折射率区域538。阻隔层534在立体角元件512和适形层532之间形成物理“阻隔”。阻隔层534可与立体角元件512的尖端直接接触或间隔开或者可轻微地推压到立体角元件512的尖端中。阻隔层534具有与(1)不包括阻隔层的区域(光线550的视线)或(2)另一阻隔层534中的一个的特点不相同的特点。示例性特点包括例如颜色和红外吸收性。
一般来讲,防止适形层材料接触立体角元件512或流入或蠕动到低折射率区域538内的任何材料可用于形成阻隔层。用于阻隔层534中的示例性材料包括树脂、聚合物材料、染料、油墨(包括变色油墨)、乙烯基、无机材料、UV-固化聚合物、多层光学膜(包括,例如,变色多层光学膜)、颜料、颗粒和珠子。一个或多个阻隔层534的尺寸和间距可以变化。在一些示例中,一个或多个阻隔层534可在回射片材上形成图案。在一些示例中,可希望减少片材上的图案的可见度。一般来讲,任何所需的图案可通过所述的技术的组合产生,包括,例如标记,如字母、单词、文字数字、符号、图表、徽标或图画。图案也可为连续的、不连续的、单调的、有点的、螺线型、任何平滑变化函数,在纵向、横向、或上述两者上变化的条纹;图案可形成图像、徽标、或文字,且图案可包括图案化涂层和/或穿孔。图案可包括例如不规则图案、规则图案、网格、单词、图形、图像、线条、以及形成单元的交叉区域。
低折射率区域538定位在(1)阻隔层534和适形层532中的一者或两者与(2)立体角元件512之间。低折射率区域538有助于全内反射,使得入射在与低折射率区域538相邻的立体角元件512上的光回射。如图5B所示,入射在与低折射率层538相邻的立体角元件512上的光线550回射回到观察者502。由于这个原因,包括低折射率层538的回射制品500的区域可称为光学活性区域。相比之下,不包括低折射率层538的回射制品500的区域可称为光学非活性区域,因为该区域基本上不回射入射光。如本文所用,术语“光学非活性区域”是指比光学活性区域至少少50%光学活性(例如,回射)的区域。在一些示例中,光学非活性区域比光学活性区域至少少40%光学活性、或至少少30%光学活性、或至少少20%光学活性、或至少少10%光学活性、或至少少5%光学活性。
低折射率层538包括折射率小于约1.30、小于约1.25、小于约1.2、小于约1.15、小于约1.10、或小于约1.05的材料。一般来讲,防止适形层材料接触立体角元件512或流入或蠕动到低折射率区域538内的任何材料可用作低折射率材料。在一些示例中,阻隔层534具有足够的结构完整性以防止适形层532流入低折射率区域538内。在此类示例中,低折射率区域可包括例如气体(如,空气、氮气、氩气等等)。在其他示例中,低折射率区域包括可流入或压进或压到立体角元件512上的固体或液体物质。例如,示例性材料包括超低折射率涂层(在PCT专利申请PCT/US2010/031290中描述的那些)以及凝胶。
与立体角元件512相邻或与立体角元件512接触的适形层532的部分形成非光学活性(如,非回射)区域或单元。在一些示例中,适形层532是光学不透明的。在一些示例中,适形层532具有白色。
在一些示例中,适形层532是粘合剂。示例性粘合剂包括在PCT专利申请PCT/US2010/031290中描述的那些。在适形层是粘合剂的情况下,该适形层可辅助将整个回射构造固持在一起,并且/或者阻隔层534的粘弹性的性质可在回射制品制造期间初始地或随时间推移防止润湿立体尖端或表面。
在图5A的示例中,非阻隔区域535不包括阻隔层,诸如阻隔层534。如此,光可比阻隔层534A和534B更低的强度反射。在不同实例的回射制品500上的非阻隔区域535与阻隔层534A和534B的不同图案可限定本文所述和所用的光学图案。
用于体现光学图案的回射制品的另外的示例具体实施描述于2013年3月29日提交的美国专利申请14/388082,该申请全文以引用方式并入本文。附加描述可见于2016年9月28提交的美国临时专利申请62/400865;2017年4月14提交的美国临时专利申请62/485449;2016年9月28提交的美国临时专利申请62/400874;2017年4月14提交的美国临时专利申请62/485426;2016年9月28提交的美国临时专利申请62/400879;2017年4月14提交的美国临时专利申请62/485471;以及2017年2月20日提交的美国临时专利申请62/461177;这些中的每个全文以引用方式并入本文。
图6是示出基于从位置标记标签解码的数据来控制UAV的示例的流程图。将参考图1的***100描述图6的技术,但是本领域的普通技术人员将理解,可使用类似的技术来控制诸如图2的UAV 200的UAV或诸如图3的受限空间进入装置300的受限空间进入装置。另外,本领域的普通技术人员将理解,图1的***100、图2的UAV 200和图3的受限空间进入装置300可与不同的技术一起使用。
图6的技术包括将其上安装有成像装置104和计算装置103的UAV 102引导入受限空间106中(602)。例如,如上面关于图1所讨论的,UAV 102被配置为适配在受限空间106内,诸如穿过检修孔108和110。在一些示例中,将UAV 102引导到受限空间106中可包括响应于需进入的救援情况而在受限空间106中部署UAV 102。
图6的技术还包括通过通信地耦接到成像装置104的计算装置103接收受限空间106的内部120的图像(604)。图像可包括位置标记标签122的至少一个相应位置标记标签。在一些示例中,接收图像可包括接收位置标记标签的多个图像。在一些示例中,接收图像可包括接收受限空间106中的位置标记标签122的相应位置标记标签的图像和丧失能力的进入者的图像。
图6的技术还包括由例如处理器306的计算装置103检测所接收的图像内的位置标记标签122的相应位置标记标签(606)。在一些示例中,检测位置标记标签122的相应位置标记标签可包括检测丧失能力的进入者。
图6的技术还包括由例如处理器306的计算装置103处理图像以对嵌入在位置标记标签122的相应位置标记标签上的数据进行解码(608)。该数据可包括位置标记标签122的相应位置标记标签在受限空间106内的位置。例如,该数据可包括唯一标识符以使例如处理器306的计算装置103能够基于将唯一标识符映射到储存库中存储的模型,来确定相应位置标记标签的位置。又如,该数据可包括指示UAV 102在受限空间106内的位置(例如,UAV 102与位置标记标签122相距的距离和/或UAV 102相对于位置标记标签122的取向)的数据。另选地或另外地,该数据可包括可由例如处理器306的计算装置103读取的命令。示例性命令可包括使***100收集样本(例如,对诸如气体、温度、压力等的环境条件进行采样,或者提取产品样本)、执行操纵(例如,着陆在预定位置),对受限空间内的区域成像、清洁受限空间内诸如传感器的部件、执行工作(例如,修复受限空间内诸如传感器的部件)或从远程服务器检索数据。通过处理图像以对嵌入在位置标记标签122的相应位置标记标签上的数据进行解码,***100可节省诸如例如电池、处理能力、采样能力等的资源。
在一些示例中,处理图像以解码数据可包括由例如处理器306的计算装置103处理图像的多个分辨率。例如,图像的第一分辨率可包括第一数据集,并且图像的第二分辨率可包括第二数据。相应图像的第一(例如,较低)分辨率可包括指示位置标记标签的相应位置标记标签的唯一标识符的可解码数据。相应图像的第二(例如,较高)分辨率可包括指示UAV102在受限空间106内的位置的可解码数据。
在一些示例中,如上所述,处理可包括由处理器基于从位置标记标签122的(第一)位置标记标签解码的数据以及从位置标记标签122的第二位置标记标签解码的数据,来确定受限空间中的异常。
图6的技术还包括由例如处理器306的计算装置103基于从位置标记标签122的相应位置标记标签解码的数据,来控制UAV 102在受限空间106内的导航(610)。在一些示例中,控制UAV 102的导航包括由例如处理器306的计算装置103基于从位置标记标签122的相应位置标记标签解码的数据,来确定UAV 102在受限空间106中的位置,以及由例如处理器306的计算装置103基于UAV 102的位置,来控制UAV 102在受限空间106内的导航。例如,从位置标记标签122的相应位置标记标签解码的数据可包括诸如与受限空间106的内部空间120的表面和/或位置标记标签122的其他位置标记标签相距的距离矢量和轨迹的位置信息。在一些示例中,从位置标记标签解码的数据包括识别数据(例如,对于位置标记标签122的相应位置标记标签唯一的标识符),并且本技术还可包括由通信地耦接到存储库(例如,导航模块320)的例如处理器306的计算装置103基于识别数据和模型,来确定UAV 102在受限空间106中的位置,并且由例如处理器306的计算装置103基于UAV 102的位置,来控制UAV102在受限空间106内的导航,其中该存储库存储受限空间的模型,该模型包括位置标记标签在受限空间内的位置。
在一些示例中,本技术任选地包括由例如处理器306的计算装置103基于从位置标记标签122解码的数据,来确定UAV 102的着陆位置。例如,从位置标记标签122解码的数据可包括着陆位置。着陆位置可远离位置标记标签122的位置。
在一些示例中,本技术任选地包括由通信地耦接到安装在UAV 102上的环境传感器324的例如处理器306的计算装置103控制环境传感器324以收集局部环境信息。例如,环境传感器324可被配置成检测气体(例如,易燃气体***下限、氧气水平、硫化氢和/或一氧化碳)、温度、压力等。通过控制环境传感器324以收集位置环境信息,图6的技术可包括确定受限空间106是否包括可能对进入者有害的条件。
在一些示例中,本技术任选地包括由成像装置104重复捕获图像;由例如处理器306的计算装置103接收图像;由例如处理器306的计算装置103处理图像;以及由例如处理器306的计算装置103控制UAV 102。例如,本技术可包括由成像装置104捕获受限空间106中的位置标记标签122的第二位置标记标签的图像126的第二图像。本技术还可包括由例如处理器306的计算装置103接收位置标记标签122的第二位置标记标签的图像126的第二图像。本技术还可包括由例如处理器306的计算装置103处理图像126的第二图像,以对嵌入在位置标记标签122的第二位置标记标签内的数据进行解码。本技术还可包括由例如处理器306的计算装置103基于从位置标记标签122的第二位置标记标签解码的数据,来控制UAV 102。在一些示例中,如上所述,处理可包括由例如处理器306的计算装置103基于从位置标记标签122的(第一)位置标记标签解码的数据以及从位置标记标签122的第二位置标记标签解码的数据,来确定UAV 102在受限空间106内的位置和/或取向。这样,本技术可包括使用多个位置标记标签的多个图像来控制受限空间进入装置的导航或操作。
已描述了各种示例。这些示例以及其他示例均在如下权利要求书的范围内。
Claims (33)
1.一种***,所述***包括:
无人驾驶飞行器(UAV),其中所述UAV包括成像装置;和
处理器,所述处理器通信地耦接到所述成像装置,其中所述处理器被配置为:
从所述成像装置接收工作环境的限定区域的图像;
检测所述图像内的位置标记标签;
处理所述图像以对嵌入在所述位置标记标签上的数据进行解码;以及
基于从所述位置标记标签解码的所述数据,来控制所述UAV在所述工作环境的所述限定区域内的导航。
2.根据权利要求1所述的***,其中所述工作环境的所述限定区域包括受限空间。
3.根据权利要求2所述的***,其中所述位置标记标签包括回射材料层,所述回射材料层具有体现在其上的至少一个光学图案。
4.根据权利要求3所述的***,其中所述位置标记标签还包括:
镜膜层,所述镜膜层位于所述回射材料层上;和
粘合剂层,所述粘合剂层将所述位置标记标签粘附到所述受限空间的表面。
5.根据权利要求2至4中任一项所述的***,其中所述处理器还被配置为:
基于从所述位置标记标签解码的所述数据,来确定所述UAV在所述受限空间中的位置;以及
基于所述UAV的所述位置,来控制所述UAV在所述受限空间内的导航。
6.根据权利要求2至4中任一项所述的***,其中从所述位置标记标签解码的所述数据包括识别数据,其中所述处理器通信地耦接到存储所述受限空间的模型的储存库,其中所述模型包括所述位置标记标签在所述受限空间内的位置,并且其中所述处理器还被配置为:
基于所述识别数据和所述模型,来确定所述UAV在所述受限空间中的位置;以及
基于所述UAV的所述位置,来控制所述UAV在所述受限空间内的导航。
7.根据权利要求2至6中任一项所述的***,其中从所述位置标记标签解码的所述数据包括到第二位置标记标签的距离矢量和轨迹,并且其中所述处理器还被配置为控制所述UAV朝向所述第二位置标记标签的导航。
8.根据权利要求2至7中任一项所述的***,所述***还包括通信地耦接到所述处理器的环境传感器,其中所述环境传感器安装到所述UAV,其中所述处理器还被配置为控制所述环境传感器以收集所述受限空间中的局部环境信息。
9.根据权利要求2至8中任一项所述的***,其中处理所述图像以对嵌入在所述位置标记标签上的数据进行解码包括:
处理所述受限空间的所述图像的第一分辨率,以对嵌入在第一位置标记标签上的第一数据集进行解码;以及
处理所述受限空间的所述图像的第二分辨率,以对嵌入在所述第一位置标记标签上的第二数据集进行解码。
10.根据权利要求2至9中任一项所述的***,其中所述处理器被配置为:
从所述成像装置接收所述受限空间的第二图像;
检测所述受限空间的所述第二图像内的第二位置标记标签;
处理所述第二图像以对嵌入在所述第二位置标记标签内的数据进行解码;以及
基于从所述第二位置标记标签解码的所述数据,来控制所述UAV。
11.根据权利要求10所述的***,其中所述处理器还被配置为基于从所述位置标记标签解码的所述数据以及从所述第二位置标记标签解码的所述数据,来确定所述UAV的取向。
12.根据权利要求10或11所述的***,其中所述处理器还被配置为基于从所述位置标记标签解码的所述数据以及从所述第二位置标记标签解码的所述数据,来确定所述受限空间中的异常。
13.根据权利要求2至12中任一项所述的***,其中所述处理器还被配置为基于从所述位置标记标签解码的所述数据,来确定所述UAV的着陆位置。
14.根据权利要求13所述的***,其中从所述位置标记标签解码的所述数据包括所述着陆位置。
15.根据权利要求13或14所述的***,其中所述着陆位置远离所述位置标记标签的位置。
16.根据权利要求2至15中任一项所述的***,其中所述处理器还被配置为基于从所述位置标记标签解码的所述数据,来确定所述UAV与所述位置标记标签相距的距离。
17.一种***,所述***包括:
受限空间进入装置,所述受限空间进入装置包括成像装置;
处理器,所述处理器通信地耦接到所述成像装置,其中所述处理器被配置为:
从所述成像装置接收受限空间的图像;
检测所述图像内的位置标记标签;
处理所述图像以对嵌入在所述位置标记标签内的数据进行解码;以及
基于从所述位置标记标签解码的所述数据,来控制所述受限空间进入装置在所述受限空间内的导航。
18.根据权利要求17所述的***,
其中所述受限空间进入装置是可穿戴装置;并且
其中控制所述受限空间进入装置的导航包括由所述可穿戴装置输出导航消息,所述导航消息包括可听消息和视觉消息中的一者或多者。
19.根据权利要求17所述的***,其中所述受限空间进入装置还包括无人驾驶飞行器。
20.一种方法,所述方法包括:
将无人驾驶飞行器(UAV)部署到受限空间中,所述UAV包括成像装置;
由通信地耦接到所述成像装置的处理器接收由所述成像装置捕获的所述受限空间的图像;
检测所述图像内的位置标记标签;
由所述处理器处理所述图像以对嵌入在所述位置标记标签上的数据进行解码;以及
由所述处理器基于从所述位置标记标签解码的所述数据,来控制所述UAV在所述受限空间内的导航。
21.根据权利要求20所述的方法,其中所述位置标记标签包括:
回射材料层,所述回射材料层具有体现在其上的至少一个光学图案;和
粘合剂层,所述粘合剂层将所述位置标记标签粘附到所述受限空间的表面。
22.根据权利要求20或21所述的方法,其中控制所述UAV的导航包括:
由所述处理器基于从所述位置标记标签解码的所述数据,来确定所述UAV在所述受限空间中的位置;以及
由所述处理器基于所述UAV的所述位置,来控制所述UAV在所述受限空间内的导航。
23.根据权利要求20或21所述的方法,其中从所述位置标记标签解码的所述数据包括识别数据,其中所述方法还包括:
由通信地耦接到存储库的所述处理器基于所述识别数据和所述受限空间的模型,来确定所述UAV在所述受限空间中的位置,所述存储库存储包括所述受限空间内的所述位置标记标签的位置的所述受限空间的所述模型;以及
由所述处理器基于所述UAV的所述位置,来控制所述UAV在所述受限空间内的导航。
24.根据权利要求20至23中任一项所述的方法,其中从所述位置标记标签解码的所述数据包括到第二位置标记标签的距离矢量和轨迹,并且其中所述方法包括由所述处理器控制所述UAV朝向所述第二位置标记标签的导航。
25.根据权利要求20至24中任一项所述的方法,其中所述方法包括由通信地耦接到安装到所述UAV的环境传感器的所述处理器控制所述环境传感器以收集局部环境信息。
26.根据权利要求20至25中任一项所述的方法,所述方法包括:
由所述处理器处理所述图像的第一分辨率以对嵌入在所述位置标记标签上的数据的第一数据集进行解码;以及
由所述处理器处理所述图像的第二分辨率以对嵌入在所述位置标记标签上的第二数据集进行解码。
27.根据权利要求20至26中任一项所述的方法,其中所述方法还包括:
由所述成像装置捕获所述受限空间中的第二位置标记标签的第二图像;
由所述处理器接收所述第二位置标记标签的所述第二图像;
由所述处理器处理所述第二图像以对嵌入在所述第二位置标记标签内的数据进行解码;以及
由所述处理器基于从所述第二位置标记标签解码的所述数据,来控制所述UAV。
28.根据权利要求27所述的方法,其中所述方法还包括由所述处理器基于从所述位置标记标签解码的所述数据以及从所述第二位置标记标签解码的所述数据,来确定所述UAV的取向。
29.根据权利要求27或28所述的方法,其中所述方法还包括由所述处理器基于从所述位置标记标签解码的所述数据以及从所述第二位置标记标签解码的所述数据,来确定所述受限空间中的异常。
30.根据权利要求20至29中任一项所述的方法,其中所述方法还包括由所述处理器基于从所述位置标记标签解码的所述数据,来确定所述UAV的着陆位置。
31.根据权利要求30所述的方法,其中从所述位置标记标签解码的所述数据包括所述着陆位置。
32.根据权利要求30或31所述的方法,其中所述着陆位置远离所述位置标记标签的位置。
33.根据权利要求20至32中任一项所述的方法,其中所述方法还包括由所述处理器基于从所述位置标记标签解码的所述数据,来确定所述UAV与所述位置标记标签相距的距离。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862671042P | 2018-05-14 | 2018-05-14 | |
US62/671,042 | 2018-05-14 | ||
PCT/IB2019/053780 WO2019220273A1 (en) | 2018-05-14 | 2019-05-08 | Guidance of unmanned aerial inspection vehicles in work environments using optical tags |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112106010A true CN112106010A (zh) | 2020-12-18 |
Family
ID=67003554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980031471.XA Withdrawn CN112106010A (zh) | 2018-05-14 | 2019-05-08 | 使用光学标签在工作环境中引导无人机检查运载器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210229834A1 (zh) |
EP (1) | EP3794423A1 (zh) |
CN (1) | CN112106010A (zh) |
WO (1) | WO2019220273A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220237396A1 (en) * | 2021-01-26 | 2022-07-28 | Nec Corporation Of America | Invisible coated infrared patterns |
US20230365257A1 (en) * | 2022-05-13 | 2023-11-16 | Google Llc | Autonomous aerial imaging and environmental sensing of a datacenter |
CN117806328A (zh) * | 2023-12-28 | 2024-04-02 | 华中科技大学 | 一种基于基准标记的无人艇靠泊视觉引导控制方法及*** |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7152983B2 (en) | 2003-03-06 | 2006-12-26 | 3M Innovative Properties Company | Lamina comprising cube corner elements and retroreflective sheeting |
US20160122038A1 (en) * | 2014-02-25 | 2016-05-05 | Singularity University | Optically assisted landing of autonomous unmanned aircraft |
CN112904892A (zh) * | 2014-10-31 | 2021-06-04 | 深圳市大疆创新科技有限公司 | 用于利用视觉标记进行监视的***和方法 |
US10370122B2 (en) * | 2015-01-18 | 2019-08-06 | Foundation Productions, Llc | Apparatus, systems and methods for unmanned aerial vehicles |
US10011016B1 (en) * | 2016-05-11 | 2018-07-03 | X Development Llc | Surface markers and methods for use |
US10217180B2 (en) * | 2016-07-29 | 2019-02-26 | Tata Consultancy Services Limited | System and method for unmanned aerial vehicle navigation for inventory management |
-
2019
- 2019-05-08 CN CN201980031471.XA patent/CN112106010A/zh not_active Withdrawn
- 2019-05-08 WO PCT/IB2019/053780 patent/WO2019220273A1/en unknown
- 2019-05-08 EP EP19733116.8A patent/EP3794423A1/en not_active Withdrawn
- 2019-05-08 US US17/250,044 patent/US20210229834A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2019220273A1 (en) | 2019-11-21 |
US20210229834A1 (en) | 2021-07-29 |
EP3794423A1 (en) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113597591B (zh) | 用于无人飞行器导航的地理基准 | |
US11933613B2 (en) | Ground control point assignment and determination system | |
CN112106010A (zh) | 使用光学标签在工作环境中引导无人机检查运载器 | |
Martinez et al. | iSafeUAS: An unmanned aerial system for construction safety inspection | |
JP6640089B2 (ja) | 無人車両の探索 | |
CN103803092B (zh) | 相对于机场光学定位飞机的方法 | |
US9932111B2 (en) | Methods and systems for assessing an emergency situation | |
Danilov et al. | The system of the ecological monitoring of environment which is based on the usage of UAV | |
KR101925094B1 (ko) | 무인비행체 조종면허시험 시스템 | |
ES2759175T3 (es) | Procedimiento para identificar un avión en relación con el estacionamiento del avión en una plataforma | |
EP2187372A1 (en) | Aircraft collision avoidance system | |
WO2019152276A1 (en) | Method and system for delivering goods using an unmanned aerial vehicle | |
JP2007047136A (ja) | ラジコンヘリコプターを用いた環境観測システム | |
CN113853558A (zh) | 使用移动平台进行远程分析物感测的***和方法 | |
US12001225B2 (en) | Drone system, drone, movable body, demarcating member, control method for drone system, and drone system control program | |
KR101999727B1 (ko) | 실시간 수환경 시료채집 및 수질측정이 가능한 차량 | |
JPH03502142A (ja) | 大災害の防止と環境の保護に対する誘導方法とその装置 | |
Neumann et al. | Aerial-based gas tomography–from single beams to complex gas distributions | |
Norton et al. | Decisive test methods handbook: Test methods for evaluating suas in subterranean and constrained indoor environments, version 1.1 | |
WO2014207492A1 (en) | Measurement data collection method and system for spatially detecting atmosphere properties | |
KR101913391B1 (ko) | Uav, usv, uuv 및 ugv를 포함하는 무인로봇을 이용한 복합 정보 수집 및 생성 시스템 | |
Hennage et al. | Fully autonomous drone for underground use | |
Hinterhofer et al. | UAV-based lidar and gamma probe with real-time data processing and downlink for survey of nuclear disaster locations | |
JP2005207862A (ja) | 目標位置情報取得システム及び目標位置情報取得方法 | |
US11691756B1 (en) | Enhancing airborne visibility of ground markers by vertical variation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201218 |
|
WW01 | Invention patent application withdrawn after publication |