CN113474788B - 影像数据处理***、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体 - Google Patents

影像数据处理***、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体 Download PDF

Info

Publication number
CN113474788B
CN113474788B CN202080016225.XA CN202080016225A CN113474788B CN 113474788 B CN113474788 B CN 113474788B CN 202080016225 A CN202080016225 A CN 202080016225A CN 113474788 B CN113474788 B CN 113474788B
Authority
CN
China
Prior art keywords
image
subject
image data
data processing
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080016225.XA
Other languages
English (en)
Other versions
CN113474788A (zh
Inventor
小南敦嗣
荒木宗司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyo Seikan Co Ltd
Original Assignee
Toyo Seikan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyo Seikan Co Ltd filed Critical Toyo Seikan Co Ltd
Publication of CN113474788A publication Critical patent/CN113474788A/zh
Application granted granted Critical
Publication of CN113474788B publication Critical patent/CN113474788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • B64D1/18—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting by spraying, e.g. insecticides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B64U30/21—Rotary wings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Pest Control & Pesticides (AREA)
  • Toxicology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Radiation Pyrometers (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种影像数据处理***，具备：喷出部，其对被摄体喷出容器内的内容物，以形成散布纹；摄影机，其对包含被摄体的散布纹的区域的影像进行拍摄；及，影像重叠处理部，其以散布纹作为基准点来进行影像的影像重叠处理。摄影机，可具有可见光影像用的可见光摄影机、及对被摄体的热影像进行拍摄的红外线摄体机。

Description

影像数据处理***、无人飞机、影像数据处理方法及非暂存计 算机可读取记忆媒体
技术领域
本发明关于影像数据处理***、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体。
背景技术
现有在进行影像重叠处理时，尚未有将来自无人飞机的喷出(吐出)装置的散布纹作为影像合成用的标记来使用的例子(例如，参照专利文献1和2)。
[现有技术文献]
(专利文献)
(专利文献1)：日本专利第5795850号公报。
(专利文献2)：日本特开2008-045888号公报。
发明内容
提供一种影像数据处理***，其针对用来作为影像合成的基准点的特征较少的被摄体，进行适当的影像重叠处理。
为了解决上述问题，本发明的第1实施方式中提供一种影像数据处理***，具备：喷出装置，其对被摄体喷出容器内的内容物，以形成散布纹；摄影机，其对包含被摄体的散布纹的区域的影像进行拍摄；及，影像重叠处理部，其以散布纹作为基准点来进行影像的影像重叠处理。
摄影机，可具有可见光影像用的可见光摄影机、及对被摄体的热影像进行拍摄的红外线摄体机。喷出装置，可通过内容物在被摄体的表面形成变温部，该变温部具有与被摄体的其他部分不同的温度。红外线摄体机，可对包含变温部的区域的热影像进行拍摄。影像重叠处理部，在热影像和可见光影像的影像重叠处理中，可使用变温部和散布纹来作为影像重叠处理中的基准点。
内容物可具有汽化性的成分，且通过被喷到被摄体上的内容物汽化时的汽化热来形成变温部。
影像数据处理***，可还具备连接性评估部，其基于影像重叠处理中的影像的重叠部分的连续性，来评估影像重叠处理的困难性。当通过连接性评估部评估为拍摄被摄体而得的影像的影像重叠处理困难时，喷出部可形成散布纹。
连接性评估部，可进行摄影机所拍摄到的影像内的特征点抽出处理。连接性评估部，可基于所得到的特征点的数量来评估影像重叠处理的困难性。
连接性评估部，可检测有无周期性重复的图案。连接性评估部，可基于检测结果来评估困难性。
连接性评估部，可尝试所述影像的所述影像重叠处理。连接性评估部，可基于尝试结果来评估困难性。
影像重叠处理可包含复数张影像的连接处理。
影像重叠处理可包含复数张影像的合成处理。
影像数据处理***，可还具备暗处摄影用的照明灯具。
影像数据处理***，可还具备温度调整装置，其将内容物调整到与被摄体的表面温度不同的温度。
内容物可具有颜色。
容器可为气胶容器。
本发明的第2实施方式中提供一种无人飞机，其装载影像数据处理***。
本发明的第3实施方式中提供一种影像数据处理方法，具备以下步骤：从无人飞机所装载的容器对被摄体喷出内容物，以形成散布纹；拍摄与包含被摄体的散布纹的区域相关的复数张影像；及，以散布纹作为影像重叠处理用的基准点，来对复数张影像的影像数据进行处理。
影像数据处理方法，可具备以下步骤：拍摄被摄体的表面形状；及，基于所拍摄的表面形状，来判断是否要对被摄体喷出所述内容物。
判断是否要对被摄体喷出内容物的步骤，可具有以下步骤：当表面形状不具有比预先决定的第1临限值更深的凹凸情形时，判断表面形状为平滑面，并判断要喷出内容物。
判断是否要对被摄体喷出内容物的步骤，可具有以下步骤：当表面形状具有比预先决定的第2临限值更深的伤痕或凹凸情形时，判断要对被摄体喷出内容物。拍摄复数张影像的步骤，可具有在预先决定的第1距离对被摄体进行拍摄的步骤、及在比第1距离更远的第2距离对被摄体进行拍摄的步骤。
本发明的第4实施方式中提供一种非暂存计算机可读取记忆媒体，其储存有程序，该程序由计算机执行时，用来在所述计算机中构装影像数据处理方法。
此外，上述发明内容并未列举出本发明的全部特征。又，这些特征群的子组合也可成为发明。
附图说明
图1A表示无人飞机100的正面图的一例。
图1B表示无人飞机100的侧面图的一例。
图1C是关于影像数据处理***200的功能的区块图的概要。
图1D表示正在对被摄体110进行拍摄的无人飞机100的一例。
图2A表示使用了散布纹130的被摄体110的影像重叠处理的一例。
图2B是对使用了散布纹130的影像重叠处理加以说明的图。
图3是对被摄体110的影像重叠处理中的特征点112加以说明的图。
图4A表示比较例中的被摄体110的影像重叠处理。
图4B表示比较例中的被摄体110的影像重叠处理的成功例。
图4C表示比较例中的被摄体110的影像重叠处理的失败例。
图5A是对基于无人飞机100的移动距离来评估影像重叠处理的困难性加以说明的图。
图5B表示从无人飞机100的移动距离判断为影像重叠处理容易的例子。
图5C表示从无人飞机100的移动距离判断为影像重叠处理困难的例子。
图6表示喷出装置500的构成的一例。
图7是被摄体110的热影像和被摄体110的可见光影像的影像重叠处理的一例。
图8是无人飞机100的自动控制的一例。
图9A是被摄体110的影像重叠处理的一例。
图9B是被摄体110的影像重叠处理的另一例。
图10A是影像数据处理方法300的流程图的一例。
图10B是影像数据处理方法300的流程图的另一例。
图10C是影像数据处理方法300的流程图的又一例。
图11表示用来构装影像数据处理方法300而发挥功能的计算机1000的硬件构成的一例。
具体实施方式
以下，通过发明的实施例来说明本发明，但以下的实施例并不对权利要求的发明加以限定。又，发明的解决手段中并不一定需要实施例中所说明的特征的全部组合。
图1A表示无人飞机100的正面图的一例。第1B图表示图1A的无人飞机100的侧面图的一例。
无人飞机100，是在空中飞行的飞行体。本例的无人飞机100具备：本体部10、推进部20、摄影机30、喷出部50及喷出装置500。此外，本说明书中是将本体部10中的设有照明灯具12的面称作无人飞机100的正面，但飞行方向并不限定于正面方向。将在之后详述的喷出装置500具有：容器保持部40、后述的温度调整装置70及喷出驱动部80。
本体部10，容纳有无人飞机100的各种控制电路和电源等。又，本体部10，可作为连接无人飞机100的构成彼此的构造体来发挥功能。本例的本体部10，连接至推进部20。本例的本体部10，具备照明灯具12。
照明灯具12，用于暗处摄影。摄影机30，如后述对被摄体110进行摄影。在被摄体110被阴影遮住的区域或是在夜间进行摄影时，无人飞机100可通过照明灯具12来照射被摄体110。
推进部20，使无人飞机100推进。推进部20，具有旋转翼21和旋转驱动部22。本例的无人飞机100，具备4个推进部20。推进部20，经由腕部24而被安装于本体部10。
旋转驱动部22，具有马达等的动力源来驱动旋转翼21。旋转驱动部22，可具有旋转翼21的制动机构。旋转翼21和旋转驱动部22，也可省略腕部24而直接安装于本体部10。
腕部24，从本体部10以放射状的方式延伸设置。本例的无人飞机100，具备与4个推进部20对应设置的4个腕部24。腕部24，可为固定式也可为可动式。腕部24，可固定有摄影机等的其他构成。
摄影机30，对无人飞机100周围的影像加以摄影。本例的摄影机30，被设在本体部10的下方。在一例中，所谓下方是指相对于本体部10与设有旋转翼21的一侧相反的侧。摄影机30，为了控制从喷出部50的喷出，而拍摄后述的图中的被摄体110。又，摄影机30，可对喷出部50的喷出方向的影像实行摄影。
本例的摄影机30，具有可见光摄影机32和红外线摄影机34。可见光摄影机32，接收可见光波长区域(波长约360nm～约830nm)的电磁波而拍摄下可见光影像。可见光摄影机32，也可具有作为可在夜间进行摄影的高感光摄影机的功能。
红外线摄影机34，对更长的波长区域(波长约830nm)的电磁波进行拍摄。特别是，红外线摄影机34可为红外线热影像摄影机，其可拍摄被摄体110的热影像，该热影像关于由中红外线(波长约3μm～约5μm)或远红外线(波长约8μm～约15μm)的电磁波所形成的红外线热成像。红外线摄影机34，也可为可进行夜间摄影的红外线夜视摄影机34。
摄影机30，在无人飞机100移动的同时，拍摄下从不同视点来拍摄的被摄体110的复张数影像。对于变更无人飞机100的视点来取得的复数张影像，进行合成或连接等的各种影像重叠处理，且执行可得到被摄体110的清晰全体像的影像重叠处理。通过执行影像的重叠处理，能够以立体的方式掌握高分辨率且可扩大缩小的被摄体110的全体像。
连接部36，连接本体部10与摄影机30。连接部36，可为固定式也可为可动式。连接部36，可为用来在3轴方向控制摄影机30的位置的平衡环架(gimbal)。连接部36，可配合喷出部50的喷出方向来控制摄影机30所朝向的方向。
包含在后述的喷出装置500中的容器保持部40，保持后述的容器60，该容器60中填充有要喷出的内容物。容器保持部40，连接至本体部10。容器保持部40，也可连接至腕部24或脚部15等的本体部10以外的构件。在一例中，容器保持部40，是收容容器60的筒状套筒。
容器保持部40的材料，只要是能够将收容容器60的收容部的形状加以保持的材料即可，并未特别加以限定。例如，容器保持部40的材料，包含铝等的金属、塑料或碳纤维等高强度且重量轻的材料。又，容器保持部40的材料并不限于硬质的材料，也可包含软质的材料，例如硅氧橡胶或聚胺基甲酸酯发泡体等的橡胶材料。此外，容器保持部40，也可还具备温度调整装置70，该温度调整装置70用来对容器60和容器60的内容进行加热或保温，而将内容物调整到与被摄体110的表面温度不同的温度。
喷出部50，具有喷出口51和喷嘴54。喷出部50，将容器60内的内容物从喷嘴54搬运到喷出口51，并将内容物从喷出口51喷射到被摄体110而形成散布纹130。内容物可具有颜色，散布纹130，可通过内容物的形状、纹路、色彩或它们的结合来形成。摄影机30，能够对包含被摄体110的散布纹130的区域120的影像进行拍摄，并将散布纹130作为用于影像重叠处理的基准点。
脚部15，连接于本体部10，在着陆时保持无人飞机100的姿势。脚部15，在停止推进部20的状态下保持无人飞机100的姿势。本例的无人飞机100，具有2只脚部15。在脚部15上，也可安装有摄影机30或容器保持部40。
图1C是关于影像数据处理***200的功能的区块图的概要。影像数据处理***200，可被装载在无人飞机100上。然而，无人飞机100也可具有通讯部，该通讯部与设于外部的服务器等的计算机通讯，而将影像数据传送至计算机。也即，影像数据处理***200，也可作为将无人飞机100与服务器机器或云端网络等的远程计算机***一体化的***来构装。
影像数据处理***200具备：摄影机30、喷出装置500、连接性评估部90及影像重叠处理部95。摄影机30，针对成为对象的被摄体110，以影像的一部分重复的方式拍摄下变更过视点的复数张影像。由摄影机30所拍摄下的被摄体110的影像的影像数据，被传送到连接性评估部90。
连接性评估部90，针对复数张影像的影像数据，通过使用在影像的重叠部分处存在的特征彼此，来进行能否进行影像的连接、合成及位置对齐等的影像重叠处理的评估。影像重叠处理的困难性的评估，可基于影像的连续性来进行，也就是指影像重叠处理中的影像的重叠部分是否能平滑地连接。连接性评估部90的影像重叠处理的评估，可基于实际尝试影像重叠处理来进行。连接性评价部90，可基于尝试结果来评估困难性。
通过连接性评估部90，当评估为被摄体110已拍摄下的影像的影像重叠处理困难时，便向喷出装置500传送要喷出容器的内容物的喷出命令，喷出装置500，可在被摄体110上形成由内容物所造成的散布纹130。通过在被摄体110上形成散布纹130，在被摄体110上便出现了成为影像重叠处理的基准点的标记。在喷出装置500喷出散布纹130后，摄影机30对包含散布纹130的被摄体110拍摄复数张影像，并且连接性评估部90再次对影像重叠处理的困难性进行评估。
通过连接性评估部90，当评估为被摄体110已拍摄下的影像的影像重叠处理容易时，可向摄影机30重新传送拍摄命令。基于拍摄命令，摄影机30重新以多个视点对被摄体110进行摄影。摄影机30所拍摄下的影像数据，可被传送至影像重叠处理部95。然而，摄影机30的被摄体110的影像数据，也可不与用来评估连接性的影像分别拍摄，而是直接沿用影像数据。
影像重叠处理部95，对于从摄影机30送来的影像数据执行影像重叠处理。影像重叠处理部95，可将散布纹130作为基准点来进行被摄体110的影像的影像重叠处理。通过对变更过各种视点来拍摄出的影像进行重叠处理，能够以高分辨率来得到被摄体110的广角和接近视点中的广范围的3维影像。又，对于合成影像和连接影像，能够保证具有平滑的连续性。
图1D表示正在对被摄体110进行拍摄的无人飞机100的一例。无人飞机100，通过喷出部50对被摄体110喷出内容物。
喷出部50，通过内容物而在被摄体110的表面形成散布纹130。作为一例，内容物是液体。然而，内容物也可包含凝胶或溶胶等的胶状物质。摄影机30，拍摄下包含被摄体110的散布纹130在内的影像。
图2A表示使用了散布纹130的被摄体110的影像重叠处理的一例。被摄体110，是通过摄影机30来进行拍摄的对象。
被摄体110，具有特征111。特征111，可为要成为识别记号的对象，如金属部件114或伤痕116等的被摄体所具有的非单调的形状、纹路或色彩，或是它们的结合等。
本例中，通过喷出部50，在被摄体110上散布有被填充在容器保持部40中的容器60内的内容物。喷出部50，在被摄体110的表面上形成散布纹130。
摄影机30，拍摄包含被摄体110的散布纹130的区域120的影像。针对被摄体110，分别拍摄用来进行影像重叠处理的区域120A和区域120B的影像。
区域120A，包含伤痕116和散布纹130。另一方面，区域120B，不具有如金属部件114或伤痕116等的特征111。因此，连接性评估部90，可判断在没有散布纹130的情况下难以进行区域120A和区域120B的影像重叠处理。在此情况下，通过将散布纹130作为影像重叠处理的基准点，也能够执行将重叠部分平滑地连接的影像重叠处理。
图2B是对使用了散布纹130的影像重叠处理加以说明的图。对被摄体110进行拍摄所得到的影像，能够分解成瓷砖状的区域120。
区域120C和区域120D，在瓷砖状的表面中具有特征111。然而，在区域120C和区域120D的重叠部分中不具有特征111。影像的重叠处理，是在重叠部分中具有基准点会比较容易。因此，通过在影像的重叠部分中附加散布纹130，可使区域120C和区域120D的影像的重叠处理变得容易。
图3是对被摄体110的影像重叠处理中的特征点112加以说明的图。被摄体110，在表面上具有各种特征111。此处执行区域120E的影像和区域120F的影像的重叠处理、及区域120G的影像和区域120H的影像的重叠处理。
在本例中，连接性评估部90，进行摄影机30所拍摄的影像内的特征点112的抽出处理。所谓特征点112，可为作为特征111的识别记号的位于各处的点状特征。例如可为如螺帽般的金属部件114的角部的前端部分、自水平部分迁移到倾斜部分的突出端、不连续的被摄体110的边界部分118的尖锐的前端部分、伤痕116的尖端部分、色彩不连续变化的部分。
连接性评估部90，可基于通过特征点112的抽出处理所得到的特征点的数量来评估影像重叠处理的困难性。在区域120E的影像和区域120F的影像中，特征点112的数量存在多个。当被摄体110中原本就存在的特征点112数量较多时，可判断为不需要利用散布纹130，通过原本就存在的特征点112便能够轻易执行区域120E的影像和区域120F的影像的影像重叠处理。
在区域120G的影像和区域120H的影像中，在区域120G内含有伤痕116和散布纹130。另一方面，区域120H不具有特征111。因此，连接性评估部90，可判断为在没有散布纹130的情况下难以进行区域120G的影像和区域120H的影像的影像重叠处理。即便在这样的情况下，通过将散布纹130作为影像重叠处理的基准点，也能够执行将重叠部分平滑地连接的影像重叠处理。
图4A表示比较例中的被摄体110的影像重叠处理，该被摄体110在表面上具有周期性重复的图案。通过比较例的影像数据处理***，来进行被摄体110的区域120I和区域120J的影像重叠处理。
图4B表示比较例中的被摄体110的影像重叠处理的成功例，该被摄体110在表面上具有周期性重复的图案。重叠部分的长度重现了图4A的重叠部分的长度。在此情况中，有适当进行被摄体110的区域120I和区域120J的影像重叠处理。
图4C表示比较例中的被摄体110的影像重叠处理的失败例，该被摄体110在表面上具有周期性重复的图案。本例中，误判了特征111彼此间的距离来进行重叠处理，而使得重叠部分的长度短于图4A原本的重叠部分。
连接性评估部90，可检测有无周期性重复的图案。连接性评估部，可基于检测结果来评估困难性。被摄体110可能会如比较例这样在表面上具有固定的图案纹路。此时，即便在能够从被摄体110抽出足够数量的特征点112的情况下，仍然如第4C所示的情况成为影像重叠处理失败的原因。
影像重叠处理部95，在被摄体110含有周期性重复的图案时，可判断为被摄体110的影像的影像重叠处理是困难的。例如，当被摄体110是瓷砖面、砖块面时，判断为影像重叠处理是困难的。作为其他例子，当施加有圆点纹路、网状纹路等的装饰涂装时，也判断为影像重叠处理是困难的。
连接性评估部90，可基于单一区域的影像反复复制连接时的自己连接性，来检测有无周期性重复的图案。例如，区域120I可通过区域左侧部分与区域右侧部分来自己连接复数个120I自身的影像，而能够评估为影像重叠处理是困难的。也即，在区域120I中，当自己的复制品在对向的两端部，也即区域左侧部分与区域右侧部分中进行自己连接时，连接到左侧部分的图案与连接到右侧部分的图案是类似的。这样的类似性，使得要正确反映特征111间的距离等的影像重叠处理变得困难。
在比较例中，因为不具有如散布纹130的影像重叠处理的基准点，当被摄体外观单调而具有的特征数量较少时，有时会误判重叠部分的长度而不能进行适当的重叠处理。另一方面，在实施例中，因为具有散布纹130来作为影像重叠处理的基准点，即便在被摄体110具有周期性重复的图案的情况下，也能够正确进行重叠部分的长度和位置的评估。
图5A是对基于无人飞机100的移动距离来评估影像重叠处理的困难性加以说明的图。连接性评估部90，可检测无人飞机100的移动量M。连接性评估部90，可基于从无人飞机100的位置信息得到的移动量M1，与从后述的影像重叠处理的尝试结果得到的无人飞机的移动量M2或M3的比较，来评估影像重叠处理的困难性。
作为一例，无人飞机100，在拍摄影像时，记录下无人飞机的位置信息。连接性评估部90，可使用影像中所记录的位置信息的变化量来作为无人飞机100的移动量M1。例如，对图5A的区域120K拍摄而得的影像中所记录的无人飞机100的位置信息，与对区域120L拍摄而得的影像中所记录的无人飞机100的位置信息，这两个位置信息中的位置信息的变化量便是无人飞机100的移动量M1。
在其他例中，也可通过在无人飞机100中具备位置信息取得部来取得无人飞机100的位置信息。位置信息取得部，例如能够使用GPS(全球卫星定位***)、RTK(实时动态定位)。
进而，从影像的移动量算出无人飞机100的移动量M2或M3。从用于拍摄的摄影机30的像角以及被摄体100与无人飞机100之间的距离，能够算出拍摄下的影像的缩尺。于是，以区域120K和区域120L之间能产生重叠部分的方式，一边移动一边拍摄下的各个区域120的2张影像中，能够从将重叠部分除外后的影像的移动量来算出无人飞机100的移动量M2或M3。
连接性评估部90，将从无人飞机100的位置信息取得的移动量M1，与从影像重叠处理的尝试结果中的影像的移动量算出的无人飞机100的移动量M2或M3加以比较，由此能够评估影像重叠处理的尝试结果。连接性评估部90，当从无人飞机100的位置信息取得的移动量M1，与从影像的移动量算出的无人飞机100的移动量M2或M3之间的差异大于预先决定的临限值时，评估为影像重叠处理是困难的。
图5B表示从无人飞机100的移动距离判断为影像重叠处理容易的例子。在本例中，从影像重叠处理的尝试结果算出的无人飞机的移动量M2，与图5A中的从实际的无人飞机100的位置信息取得的移动量M1一致。连接性评估部90，基于尝试结果的成功，便能够评估为影像重叠处理是容易的。
图5C表示从无人飞机100的移动距离判断为影像重叠处理困难的例子。在本例中，从影像重叠处理的尝试结果算出的无人飞机的移动量M3，比图5A中的从实际的无人飞机100的位置信息取得的移动量M1更大。在本例中，连接性评估部90，判断为影像重叠处理的尝试已失败。连接性评估部90，基于尝试结果的失败，便能够评估为影像重叠处理是困难的。
图6表示喷出装置500的构成的一例。图6表示喷出装置500的剖面图。喷出装置500具有：保持容器60的容器保持部40、对容器和内容物的温度加以调整的温度调整装置70、及用来控制自容器60的喷出的喷出驱动部80。
本体41，对容器60加以保持。本例的容器保持部40具备：本体41、第1端盖部43及第2端盖部44。本体41，具有比容器60更大口径的圆筒状形状。本例的本体41，被第1端盖部43和第2端盖部44夹住。
第1端盖部43，覆盖本体41的其中一方的端部。本例的第1端盖部43，覆盖容器60的喷射侧的端部。第1端盖部43，相对于本体41以可经由螺纹部45来拆装的方式螺入固定。本例的第1端盖部43，具有圆顶状的盖本体。第1端盖部43，考虑到气动特性而以直径朝向前端逐渐缩小的方式被加以缩径。第1端盖部43，其前端具有圆滑的圆锥状或圆顶状的曲面。通过做成这样气动特性良好的形状，能够减低横风的影响并获得飞行的稳定化。
第2端盖部44，在本体41中，覆盖第1端盖部43所覆盖的端部的另一方的端部。本例的第2端盖部44，覆盖容器60的喷射侧的相反侧的端部。第2端盖部44，与本体41一体地构成。又，第2端盖部44，也可被设置成可从本体41拆卸。
温度调整装置70，能够将容器60的内容物调整成与被摄体的表面温度不同的温度。本例的温度调整装置70具有：温度传感器71、导管72、泵73、储存槽74、帕耳帖(Peltier)元件、散热片76及风扇77。
温度传感器71，量测容器60和内容物的温度。作为温度传感器71，可选择能够提供与环境和内容物对应的希望温度范围和敏感度的传感器，如热阻器、温度感测二极管或热电对等。
导管72，由具有伸缩性且热传导性良好的材质所制造。作为一例，导管72作为导管72彼此流体连通的筒状构造体来加以提供。在导管72中，流动有作为热传导的热介质的流体。作为一例，在导管72中，流动有包含LLC(长效冷却液)等的冷却用冷却液。然而，在导管72中流动的热介质也可为其他介质。
泵73，使热介质以从储存槽74流动到导管72的一端中并且从导管72的另一端流动到储存槽74的方式循环。泵73，可设于储存槽74的外部，也可设于内部。
储存槽74，是贮藏热介质的容器。本例的储存槽74设于容器保持部40的外部。然而，储存槽74，也可设于容器保持部40的内部。当储存槽74设于容器保持部40的外部时，为了使被加热或冷却过的热介质不受到外部环境的温度影响，储存槽74可设置有隔热性构件。
帕耳帖元件75，是一旦施以直流电流便会吸热或放热的元件。帕耳帖元件75，对储存槽74内的热介质进行加热或冷却。帕耳帖元件75具有极性，可通过将施加的电压极性反向而将冷却和加热进行切换。
散热片76，为了防止帕耳帖元件75和泵73等以电性方式运作的元件过热，而使已发生的热量向风扇散泄。风扇77，可冷却散热片76。
喷出驱动部80，使内容物从容器60喷出。喷出驱动部80，被容纳在位于容器60的底部侧的第2端盖部44。第2端盖部44，作为喷出驱动部80的框体来发挥功能。喷出驱动部80具备：凸轮81、凸轮从动件82及可动板83。因为喷出驱动部80设于容器保持部40中，所以在交换容器60时不需要交换喷出驱动部80。
凸轮81，通过驱动源而被旋转驱动。在一例中，使用马达来作为驱动源。凸轮81，具有从旋转中心至外周为止的距离不同的构造。此外，在图示的例子中，凸轮81的形状被加以夸饰。凸轮81，在外周，与凸轮从动件82接触。
凸轮从动件82，设于凸轮81与可动板83之间。凸轮从动件82，连接于凸轮81和可动板83，将凸轮81的旋转运动转换成直线运动并传达至可动板83。
可动板83，被设置为与容器150的底面相接，并控制容器60的阀口的开闭。可动板83，通过凸轮从动件82而前后移动。例如，当凸轮81的旋转中心与凸轮从动件82所抵接的凸轮81的接触区域的距离较短时，可动板83相对于容器60后退而使容器60的阀口关闭。另一方面，当凸轮81的旋转中心与凸轮从动件82所抵接的凸轮81的接触区域的距离较长时，可动板83相对于容器60前进而使容器60的阀口开启。
此外，喷出驱动部80，虽然具有通过凸轮机构来将马达的旋转运动转换成直线运动的构成，但并不限定于凸轮机构。例如，喷出驱动部80的机构，可具有螺旋进给机构、齿条-齿轮(rack and pinion)等将马达的旋转运动转换成直线运动的机构。又，作为驱动源，可具备直线驱动用的线性马达或电磁螺线管(electromagnetic solenoid)等而非旋转马达。
喷出驱动部80可通过程序而以电性方式控制。通过控制喷出驱动部80，可控制是否要喷出内容物，或是内容物的喷出量。又，当无人飞机100装载有复数个容器60时，可选择要被喷出的内容物的种类。作为一例，通过电性遮断喷出驱动部80，可将内容物的喷出锁止。
阀杆145，设于容器60上。通过利用致动器143来推压阀杆145，便可从容器60喷出内容物。致动器143，具有与喷出方向和喷出型态对应的流路。在一例中，致动器143将内容物形成雾状来喷出。
此外，本例中，容器60是直接装载于容器保持部40中，但也可通过收容构件来收容容器60，并将收容构件装载于容器保持部40中。收容构件在受到冲击时可保护容器60，因此提高遇到意外时的安全性。
本例的容器60，是气胶容器，因此即便容器60已空，只要装载上新的容器60便能够容易进行交换。又，内容物不易附着于人体上，因此交换时的安全性较高。
图7是被摄体110的热影像和被摄体110的可见光影像的影像重叠处理的一例。摄影机30，通过可见光摄影机32来提供被摄体110的可见光影像，并通过红外线摄影机34来提供被摄体110的热影像。
区域120M的热影像，包含变温部150来作为影像重叠处理用的基准点。变温部150，是由容器60的内容物所形成，具有与被摄体110的其他部分不同的温度。区域120M的热影像，是作为以红外线摄影机34对包含变温部150的区域进行拍摄所得到的影像来加以提供。
区域120N的影像，是由可见光摄影机32拍摄来作为包含散布纹130的区域120N的影像。另一方面，散布纹130和变温部150，可通过喷出内容物的喷出部50一次将双方一起形成。然而，散布纹130和变温部150也可在不同时间点形成。
作为一例，内容物可具有汽化性的成分。可通过被喷到被摄体110上的内容物汽化时的汽化热来形成变温部150。作为另一例，当具有复数个容器60和内容物时，喷出部50能够散布由化学性稳定的物质形成的散布纹130。也可在其他时间点，将其他化学物质散布在散布纹130上，并通过使该等物质互相反应而形成变温部150。
影像重叠处理部95，在热影像和可见光影像的影像重叠处理中，可使用变温部150和散布纹130作为影像重叠处理中的基准点。本例中，区域120M的影像和区域120N的影像，是使用变温部150和散布纹130作为影像位置对齐的基准点后，将各自的影像加以合成。
作为一例，当进行热影像和可见光影像的重叠处理时，在记忆住进行过影像重叠处理并已使位置一致的影像数据后，要实际显示给用户的影像可为任一方的影像。也即，要提供给用户时，也可采用选择性切换同位置的热影像显示和可见光影像显示来加以提供的形式。
图8是无人飞机100的自动控制的一例。无人飞机100的拍摄，可通过自动控制来进行。
本例的无人飞机100的控制，是当被摄体110具有伤痕116时所进行的控制的一例。无人飞机100，基于被摄体110的表面的凹凸情形的大小或深度等来找出伤痕116。在被摄体110表面找到伤痕116的无人飞机100，使用喷出部50，为了易于再次找到伤痕116而利用散布纹130对伤痕116的周围加以标记。
进而，无人飞机100，移动到与散布纹130相距预先决定的距离D1的位置。距离D1是第1距离的一例。无人飞机100，在距离D1中，通过摄影机30以包含散布纹130和伤痕116的方式对被摄体110进行拍摄。
接着，无人飞机100，移动到与散布纹130相距比距离D1更远的距离D2的位置。距离D2是第2距离的一例。无人飞机100，在距离D2中，也通过摄影机30以包含散布纹130和伤痕116的方式对被摄体110进行拍摄。也即，距离D1和距离D2中的摄影，对应于取得伤痕116的放大影像和广角影像的处理。通过自动进行以上处理，能够自动找出被摄体110上的伤痕116等缺陷，而对缺陷周围的影像详细进行拍摄。也即，构装有被摄体110的缺陷自动检测***。
图9A是被摄体110的影像重叠处理的一例。在本例中，无人飞机100相对于被摄体110在水平方向移动，而从不同视点对2个区域120O和120P进行摄影。
本例中的影像重叠处理中，区域120O的影像和区域120P的影像被加以连接处理，而提供了被摄体110的更广范围的影像。通过连接被摄体110的广范围影像，能够提供被摄体110的全体影像。
图9B是被摄体110的影像重叠处理的另一例。在本例中，无人飞机100相对于被摄体110，以改变距离的方式对2个区域120Q和120R进行拍摄。
本例中，影像重叠处理包含影像的合成处理，该合成处理将在广角处拍摄下的区域120Q的影像和在接近处拍摄下的区域120R的影像加以合成。光学摄体机，在拍摄时具有景深，该景深显示焦距符合的深度。也即，在个别的距离中，对焦至拍摄对象的深度依存于景深。通过对被摄体110拍摄下改变过距离的复数张影像，并进行影像的合成处理，能够合成出从广角影像至接近影像为止的广范围中都对焦良好的高分辨率影像。由此，能够提供即便以3维方式改变视点也对焦良好且高分辨率的3维影像数据。
图10A是影像数据处理方法300的流程图的一例。本例的影像数据处理方法300具备步骤S100至S108。
在S100中，拍摄被摄体110的表面形状119。在S102中，基于所拍摄到的表面形状119，判断是否要从无人飞机100所装载的容器向被摄体110喷出内容物。在S104中，从无人飞机100所装载的容器向被摄体110喷出内容物而形成散布纹130。S102和S104的处理可通过程序来自动执行。由此，能够以自动的方式使被摄体110的影像重叠处理简易化。在S106中，拍摄与包含被摄体110的散布纹130的区域120相关的复数张影像。在S108中，以散布纹130作为影像重叠处理用的基准点，来处理复数张影像的影像数据。
图10B是影像数据处理方法300的流程图的另一例。本例的影像数据处理方法300具备步骤S200至S212。
在S200中，拍摄被摄体110的表面形状119。在S202中，判断被摄体110的表面形状119是否具有比预先决定的第1临限值更深的凹凸情形。若被摄体110的表面形状119不具有比第1临限值更深的凹凸情形，在S204中判断为表面形状119是平滑面。若表面形状119是平滑面，则很有可能是如伤痕116这样的特征点112较少的面。进而，在S206中，从无人飞机100所装载的容器向被摄体110喷出内容物而形成散布纹130。在S206中，通过对被判断为特征点112较少的被摄体110形成散布纹130，能够做成容易进行影像重叠处理的对象。例如，能够构装自动化处理，该自动化处理对被摄体110在每个一定面积中形成散布纹130，或是对预先设定的所希望的被摄体110进行本例的处理，由此将所希望的被摄体110做成容易进行影像重叠处理的对象。
在S208和S210中，执行影像重叠处理。在S208中，拍摄与包含被摄体110的散布纹130的区域120相关的复数张影像。在S210中，以散布纹130作为影像重叠处理用的基准点，对复数张影像的影像数据进行处理。影像数据处理后，处理便结束。
另一方面，若被摄体110的表面形状119具有比第1临限值更深的凹凸情形，在S212中判断为表面形状119不是平滑面。若判断为表面形状119不是平滑面，处理便结束。
图10C是影像数据处理方法300的流程图的又一例。本例的影像数据处理方法300具备步骤S300至S312。
在S300中，拍摄被摄体110的表面形状119。在S302中，判断被摄体110的表面形状119是否具有比预先决定的第2临限值更深的伤痕或凹凸情形。若被摄体110的表面形状119具有比第2临限值更深的伤痕或凹凸情形，在S304中判断为被摄体110的表面形状119具有伤痕116等。也即，S300至S304的处理，能够使用来作为构造物的缺陷诊断处理，该缺陷诊断处理用来诊断在被摄体110的表面形状119中有无缺陷等。若判断为在表面形状119上具有伤痕116等，则在S306中，将内容物喷出到被摄体110的伤痕116等的周围而形成散布纹130。散布纹130，能够使用来作为用于影像重叠处理的基准点，并且能够使用来作为用于容易再次找到已找到过的伤痕116的识别记号。
在S308中，在第1距离D1和比第1距离D1更远的第2距离D2处，拍摄与包含被摄体110的散布纹130的区域120相关的复数张影像。在S308中，以接近影像和广角影像来对伤痕116和散布纹130的影像加以拍摄，而能够精密地拍摄被摄体110上的伤痕116等的缺陷。在S310中，以散布纹130作为影像重叠处理用的基准点，来处理复数张影像的影像数据。影像数据处理后，处理便结束。
另一方面，若被摄体110的表面形状119不具有比第2临限值更深的伤痕或凹凸情形，在S312中判断为表面形状119不具有伤痕或凹凸情形。若判断为表面形状119不具有伤痕或凹凸情形，处理便结束。通过以程序来自动进行本例的处理，能够构装出自动化的被摄体110的缺陷诊断方法。
图11表示用于构装影像数据处理方法300而发挥功能的计算机1000的硬件构成的一例。又，也可使复数台计算机为了协同工作以构装影像数据处理方法300而发挥功能。
实施例的计算机1000具备：CPU周边部，其具有由主机控制器1010来相互连接的CPU 1012、RAM 1014、图形控制器1016及显示器件1018；输入出部，其具有通过输入出控制器1020而连接至主机控制器1010的通讯接口1022、硬盘驱动器1024及DVD-ROM驱动器1026；以及，传统输入出部，其具有连接至输入出控制器1020的ROM 1030、输入出芯片1040及连接至输入出芯片的键盘1042。
主机控制器1010，连接RAM 1014、以高传输率对RAM 1014进行存取的CPU 1012及图形控制器1016。CPU 1012，遵照被储存于ROM 1030及RAM 1014内的程序来运作，并进行各部分的控制。图形控制器1016，取得CPU 1012等在设于RAM 1014内的讯框缓冲区上产生的影像数据，并使影像数据被显示于显示器件1018上。作为上述的替代方案，图形控制器1016，也可将讯框缓冲区包含在内部，该讯框缓冲区储存CPU 1012等所产生的影像数据。
输入出控制器1020，连接主机控制器1010、较高速的输入出装置也就是通讯接口1022、硬盘驱动器1024及DVD驱动器1026。通讯接口1022，经由网络来与其他装置通讯。硬盘驱动器1024，储存有计算机1000内的CPU 1012要使用的程序及数据。DVD-ROM驱动器1026，自DVD-ROM 1001读取程序或数据，并经由RAM 1014提供至硬盘驱动器1024。
又，在输入出控制器1020上，连接有ROM 1030和输入出芯片1040这些较低速的输入出装置。键盘1042，是输入出装置的一例。ROM 1030，储存有计算机1000要起动时所执行的开机程序、及/或依存于计算机1000的硬件的程序等。输入出芯片1040，也可经由并行端口、串行端口、键盘端口、鼠标端口等来将各种输入出装置连接至输入出控制器1020。
经由RAM 1014而被提供到硬盘驱动器1024中的程序，储存于DVD-ROM10201或是IC卡等的记录媒体中并由利用者来提供。程序，被从记录媒体读取出来，且经由RAM 1014而被安装至计算机1000内的硬盘驱动器1024中，并通过CPU 1012来执行。程序被安装于计算机1000中，且使计算机1000作为用来构装影像数据处理方法300的各构成，例如影像数据处理***200的各构成来发挥功能。
撰写于程序内的信息处理，通过被读取到计算机1000中，而作为软件与上述各种硬件资源之间合作的具体手段也就是影像数据处理***200的至少一部分来发挥功能。并且，通过该具体手段，可通过实现与本实施例中的计算机1000的使用目的对应的信息运算或加工，来构筑出与使用目的对应的特有的影像数据处理***200。
作为一例，在计算机1000和外部元件之间进行通讯的情况中，CPU 1012可执行被读取至RAM 1014上的通讯程序，并基于被撰写于通讯程序中的处理内容，对通讯接口1022下达通讯处理的指令。通讯接口1022，在CPU 1012的控制下，读取被记忆于传送缓冲区域中的传送数据并将读取到的传送数据传送至网络、或是将自网络接收到的接收数据写入至接收缓冲区域等，其中传送缓冲区域及接收缓冲区域被设在RAM 1014、硬盘驱动器1024或DVD-ROM 1001等的记忆装置上。计算机1000，可构装在无人飞机100中，或是可经由网络与无人飞机100通讯。如此，通讯接口1022，可通过DMA(直接内存访问)方式在与记忆装置之间将传接数据加以转送，或是作为上述方式的替代方案，也可由CPU 1012自转送起点的记忆装置或通讯接口1022读出数据，并将数据写入到转送终点的通讯接口1022或记忆装置，由此来将传接数据加以转送。
又，CPU 1012，可从被储存于如硬盘驱动器1024、DVD-ROM驱动器1026(DVD-ROM1001)等的外部记忆装置中的档案或数据库中，将整体或必要部分通过DMA转送等读取至RAM 1014中，并对RAM 1014上的数据进行各种处理。并且，CPU 1012，接着将处理完毕的数据通过DMA转送等写回外部记忆装置。在这样的处理中，RAM 1014，可视为暂时保持外部记忆装置的内容的装置，因此本实施例中将RAM 1014和外部记忆装置等总称为内存、记忆部或记忆装置。本实施例中的各种程序、数据、表格、数据库等的各种信息，被储存在这样的记忆装置上并且成为信息处理的对象。此外，CPU 1012，也能够将RAM 1014的一部分保持于闪存，并在闪存上进行读写。因为在这样的型态中，闪存也会负担RAM 1014的一部分功能，所以在本实施例中，除了要加以区别表示的情况以外，是将闪存也包含在RAM1014、内存及/或记忆装置中。
又，CPU 1012，针对从RAM 1014读取出的数据，可进行由程序的指令序列所指定的各种处理并将结果写回RAM 1014，上述处理包含本实施例中所记载的各种运算、信息加工、条件判断、信息的搜寻/置换等。例如，CPU 1012，当要进行条件判断时，将本实施例中所表示的各种变量与其他变量或常数加以比较，并判断是否满足大于、小于、以上、以下、等于等的条件，且在条件成立时(或是不成立时)，分歧到不同的指令序列或呼叫子例程(subroutine)。
又，CPU 1012，可搜寻被储存于记忆装置内的档案或数据库等之中的信息。例如，在记忆装置内储存有复数个条目(entry)，且这些条目具有分别与第2属性的属性值附加上关联性的第1属性的属性值的情况中，CPU 1012，可从被储存于记忆装置中的复数个条目中搜寻与被指定的第1属性的属性值条件一致的条目，并读取被储存于该条目内的第2属性的属性值，由此来取得与满足规定条件的第1属性附加上关联性的第2属性的属性值。
以上所示的程序或模块，也可被储存于外部的记录媒体中。作为记录媒体，除了DVD-ROM 1001以外，也能够使用Blu-ray(蓝光光盘，为登录商标)或是CD(光盘)等的光学记录媒体、MO(光磁盘)等的光磁性记录媒体、磁带媒体、软盘磁盘、IC卡等的半导体内存等。又，可将连接至专用通讯网络或因特网的服务器***中所设的硬盘或RAM等的记忆装置作为记录媒体来使用，并经由网络将程序提供至计算机1000。
以上使用实施例说明了本发明，但本发明的保护范围并不限定于上述实施例中所记载的范围。本案所属技术领域中具有通常知识者能够明确理解到，可对上述实施例施加多种变更或改良。从权利要求能够明确理解到，施加过这样的变更或改良的型态也被包含于本发明的保护范围中。
应注意到，权利要求、说明书及附图中表示的装置、***、程序及方法中的动作、手法、步骤及阶段等的各处理的执行顺序，只要没有特别明确表示“在…之前”、“先加以”等，并且并未将先前处理的输出用在后续处理，便能够以任意顺序来实现。关于权利要求、说明书及附图中的动作流程，即便为了方便而使用“首先”、“接着”等来加以说明，也并非意味着一定要以该顺序来实施。
附图标记说明
10:本体部、12:照明灯具、15:脚部、20:推进部、21:旋转翼、22:旋转驱动部、24:腕部、30:摄影机、32:可见光摄影机、34:红外线摄影机、36:连接部、
40:容器保持部、41:本体、43:第1端盖部、44:第2端盖部、45:螺纹部、50:喷出部、51:喷出口、54:喷嘴、60:容器、70:温度调整装置、71:温度传感器、72:导管、
73:泵、74:储存槽、75:帕耳帖元件、76:散热片、77:风扇、80:喷出驱动部、81:凸轮、82:凸轮从动件、83:可动板、90:连接性评估部、95:影像重叠处理部、100:无人飞机、110:被摄体、111:特征、112:特征点、114:金属部件、116:伤痕、118:边界部分、119:表面形状、120:区域、130:散布纹、143:致动器、145:阀杆、150:变温部、200:影像数据处理***、300:影像数据处理方法、500:喷出装置、1000:计算机、1001:DVD-ROM、1010:主机控制器、1012:CPU、1014:RAM、1016:图像控制器、1018:显示器件、1020:输入出控制器、1022:通讯接口、1024:硬盘驱动器、1026:DVD驱动器、1030:ROM、1040:输入出芯片、1042:键盘。

Claims (17)

1.一种影像数据处理***，具备：
喷出部，其对被摄体喷出容器内的内容物，以形成散布纹；
摄影机，其对包含所述被摄体的所述散布纹的区域的影像进行拍摄；及，
影像重叠处理部，其以所述散布纹作为基准点来进行所述影像的影像重叠处理；
其中，所述摄影机，具有可见光影像用的可见光摄影机、及对所述被摄体的热影像进行拍摄的红外线摄体机；
所述喷出部，通过所述内容物在所述被摄体的表面形成变温部，该变温部具有与所述被摄体的其他部分不同的温度；
所述红外线摄体机，对包含所述变温部的区域的所述热影像进行拍摄；
所述影像重叠处理部，在所述热影像和所述可见光影像的影像重叠处理中，使用所述变温部和所述散布纹来作为所述影像重叠处理中的基准点。
2.如权利要求1所述的影像数据处理***，其中，所述内容物具有汽化性的成分，且通过被喷到所述被摄体上的所述内容物汽化时的汽化热来形成所述变温部。
3.如权利要求1或2中所述的影像数据处理***，其中，所述影像重叠处理包含复数张影像的合成处理。
4.如权利要求1或2中所述的影像数据处理***，其中，还具备暗处摄影用的照明灯具。
5.如权利要求1或2中所述的影像数据处理***，其中，还具备温度调整装置，其将所述内容物调整到与所述被摄体的表面温度不同的温度。
6.如权利要求1或2中所述的影像数据处理***，其中，所述内容物具有颜色。
7.如权利要求1或2中所述的影像数据处理***，其中，所述容器为气胶容器。
8.一种无人飞机，其装载权利要求1～7中任一项所述的影像数据处理***。
9.一种影像数据处理***，具备：
喷出部，其对被摄体喷出容器内的内容物，以形成散布纹；
摄影机，其对包含所述被摄体的所述散布纹的区域的影像进行拍摄；及，
影像重叠处理部，其以所述散布纹作为基准点来进行所述影像的影像重叠处理；
连接性评估部，其基于影像重叠处理中的所述影像的重叠部分的连续性，来评估所述影像重叠处理的困难性；
并且，当通过所述连接性评估部评估为拍摄所述被摄体而得的影像的所述影像重叠处理困难时，所述喷出部形成所述散布纹。
10.如权利要求9所述的影像数据处理***，其中，所述连接性评估部，进行所述摄影机所拍摄到的影像内的特征点抽出处理，并基于所得到的特征点的数量来评估所述影像重叠处理的困难性。
11.如权利要求9或10中所述的影像数据处理***，其中，所述连接性评估部，检测有无周期性重复的图案，并基于检测结果来评估困难性。
12.如权利要求9或10中所述的影像数据处理***，其中，所述连接性评估部，尝试所述影像的所述影像重叠处理，并基于尝试结果来评估困难性。
13.如权利要求9或10中所述的影像数据处理***，其中，所述影像重叠处理包含复数张影像的连接处理。
14.一种影像数据处理方法，具备以下步骤：
从无人飞机所装载的容器对被摄体喷出内容物，以形成散布纹；
拍摄与包含所述被摄体的所述散布纹的区域相关的复数张影像；及，
以所述散布纹作为影像重叠处理用的基准点，来对所述复数张影像的影像数据进行处理；
其中，具备以下步骤：
拍摄所述被摄体的表面形状；及，
基于所拍摄的所述表面形状，来判断是否要对所述被摄体喷出所述内容物。
15.如权利要求14所述的影像数据处理方法，其中，所述判断是否要对所述被摄体喷出所述内容物的步骤，具有以下步骤：当所述表面形状不具有比预先决定的第1临限值更深的凹凸情形时，判断所述表面形状为平滑面，并判断要喷出所述内容物。
16.如权利要求14或15所述的影像数据处理方法，其中，所述判断是否要对所述被摄体喷出所述内容物的步骤，具有以下步骤：当所述表面形状具有比预先决定的第2临限值更深的伤痕或凹凸情形时，判断要对所述被摄体喷出所述内容物；
并且，所述拍摄复数张影像的步骤，具有在预先决定的第1距离对所述被摄体进行拍摄的步骤、及在比第1距离更远的第2距离对所述被摄体进行拍摄的步骤。
17.一种非暂存计算机可读取记忆媒体，其储存有程序，该程序由计算机执行时，用来在所述计算机中构装权利要求14～16中任一项所述的影像数据处理方法。
CN202080016225.XA 2019-07-23 2020-07-21 影像数据处理***、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体 Active CN113474788B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019135194A JP7314680B2 (ja) 2019-07-23 2019-07-23 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
JP2019-135194 2019-07-23
PCT/JP2020/028344 WO2021015215A1 (ja) 2019-07-23 2020-07-21 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN113474788A CN113474788A (zh) 2021-10-01
CN113474788B true CN113474788B (zh) 2024-02-13

Family

ID=74193165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080016225.XA Active CN113474788B (zh) 2019-07-23 2020-07-21 影像数据处理***、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体

Country Status (4)

Country Link
US (1) US20220253973A1 (zh)
JP (1) JP7314680B2 (zh)
CN (1) CN113474788B (zh)
WO (1) WO2021015215A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262105A1 (ja) * 2019-06-27 2020-12-30 株式会社Ｎｔｔドコモ 情報処理装置
US11869363B1 (en) * 2019-09-17 2024-01-09 Travis Kunkel System and method for autonomous vehicle and method for swapping autonomous vehicle during operation
US20220097842A1 (en) * 2020-09-28 2022-03-31 Travis Kunkel Rugged unmanned airborne vehicle
DE112022003175T5 (de) * 2021-08-24 2024-04-18 Fujifilm Corporation Bildanalysevorrichtung, -verfahren und -programm
KR102515011B1 (ko) * 2022-11-15 2023-03-29 주식회사 디비엔텍 영상 내 개인정보 비식별화 성능 고도화 방법 및 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0547322A1 (de) * 1991-12-16 1993-06-23 Elpatronic Ag Verfahren zur Überwachung der Schweissqualität beim Quetschnahtschweissen
WO1997037336A1 (en) * 1996-03-29 1997-10-09 Commonwealth Scientific And Industrial Research Organisation An aircraft detection system
JP2014164363A (ja) * 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
CN105957124A (zh) * 2016-04-20 2016-09-21 长沙理工大学 具有重复场景元素的自然图像颜色编辑方法及装置
CN105960800A (zh) * 2014-03-27 2016-09-21 歌乐株式会社 影像显示装置及影像显示***
KR101785202B1 (ko) * 2016-04-29 2017-10-13 한국과학기술원 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법
WO2018096577A1 (ja) * 2016-11-22 2018-05-31 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法
CN108197563A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01191212A (ja) * 1988-01-26 1989-08-01 Honda Motor Co Ltd 流体の温度調整装置
JP3231107B2 (ja) * 1992-12-14 2001-11-19 本田技研工業株式会社 流体の温度調整装置および温度調整方法
US6987877B2 (en) * 2001-10-30 2006-01-17 Itt Manufacturing Enterprises, Inc. Superimposing graphic representations of ground locations onto ground location images after detection of failures
WO2016098146A1 (ja) * 2014-12-19 2016-06-23 株式会社 スカイロボット 構造体非破壊検査システム
CN109416535B (zh) * 2016-05-25 2022-11-11 深圳市大疆创新科技有限公司 基于图像识别的飞行器导航技术
CN114025607B (zh) * 2019-05-08 2024-01-12 拜耳公司 无人驾驶的空中运载工具
SE543307C2 (en) * 2019-06-28 2020-11-24 Deep Forestry Ab A method for preparing for harvesting of forest using an un-manned vehicle and un-manned vehicle and system using said method
CN112407283B (zh) * 2020-11-24 2021-07-06 广东技术师范大学 基于多层次协同的无人机喷施作业方法和装置
US11921493B2 (en) * 2022-05-13 2024-03-05 AgZen Inc. Systems and methods for real-time measurement and control of sprayed liquid coverage on plant surfaces

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0547322A1 (de) * 1991-12-16 1993-06-23 Elpatronic Ag Verfahren zur Überwachung der Schweissqualität beim Quetschnahtschweissen
WO1997037336A1 (en) * 1996-03-29 1997-10-09 Commonwealth Scientific And Industrial Research Organisation An aircraft detection system
JP2014164363A (ja) * 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
CN105960800A (zh) * 2014-03-27 2016-09-21 歌乐株式会社 影像显示装置及影像显示***
CN105957124A (zh) * 2016-04-20 2016-09-21 长沙理工大学 具有重复场景元素的自然图像颜色编辑方法及装置
KR101785202B1 (ko) * 2016-04-29 2017-10-13 한국과학기술원 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법
WO2018096577A1 (ja) * 2016-11-22 2018-05-31 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム
CN108197563A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Superimposition of thermal imaging to visual imaging using homography;S. Di Romualdo et al.;2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society;第3365-5568页 *
基于无人飞艇数字摄影测量***及航拍序列图像拼接;王书民 等;测绘科学;第S1卷(第35期);第81-83页 *

Also Published As

Publication number Publication date
WO2021015215A1 (ja) 2021-01-28
TW202121330A (zh) 2021-06-01
JP7314680B2 (ja) 2023-07-26
CN113474788A (zh) 2021-10-01
JP2021018705A (ja) 2021-02-15
US20220253973A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN113474788B (zh) 影像数据处理***、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
US11300413B2 (en) Systems and methods for auto-return
US20230343087A1 (en) Automatic terrain evaluation of landing surfaces, and associated systems and methods
WO2018098678A1 (zh) 飞行器的控制方法、装置和设备以及飞行器
EP3195594B1 (en) Automatic white balancing system and method
US20160124435A1 (en) 3d scanning and imaging method utilizing a self-actuating compact unmanned aerial device
CN110494360A (zh) 用于提供自主摄影及摄像的***和方法
CN108270970A (zh) 一种图像采集控制方法及装置、图像采集***
CN107831791B (zh) 一种无人机的操控方法、装置、操控设备及存储介质
Srikanth et al. Computational rim illumination with aerial robots
WO2018214465A1 (zh) 控制装置、摄像装置、摄像***、移动体、控制方法及程序
JP6630939B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
TWI848154B (zh) 影像資料處理系統、無人飛機、影像資料處理方法及非暫存電腦可讀取記憶媒體
CN109417609B (zh) 用于组合和编辑uav操作数据和视频数据的方法和***
US11066182B2 (en) Control apparatus, camera apparatus, flying object, control method and program
JP2021085893A (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP6972456B1 (ja) 測距センサ、撮像装置、制御方法、及びプログラム
CN109421519A (zh) 车辆燃料输送
WO2021031840A1 (zh) 装置、摄像装置、移动体、方法以及程序
US11125970B2 (en) Method for lens autofocusing and imaging device thereof
WO2019223614A1 (zh) 控制装置、摄像装置、移动体、控制方法以及程序
WO2019087247A1 (ja) 長尺画像生成システム、方法及びプログラム
US11275383B2 (en) Control device, lens device, imaging device, imaging system, movable object control method, and program
WO2022011533A1 (zh) 一种运动控制方法、控制设备、可移动平台及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant