EP4281941A1 - Method, aircraft and system for detecting a feature of an object using a first and a second resolution - Google Patents
Method, aircraft and system for detecting a feature of an object using a first and a second resolutionInfo
- Publication number
- EP4281941A1 EP4281941A1 EP22701368.7A EP22701368A EP4281941A1 EP 4281941 A1 EP4281941 A1 EP 4281941A1 EP 22701368 A EP22701368 A EP 22701368A EP 4281941 A1 EP4281941 A1 EP 4281941A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- images
- feature
- image
- recording unit
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 100
- 238000011156 evaluation Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 32
- 230000003287 optical effect Effects 0.000 claims description 18
- 238000011511 automated evaluation Methods 0.000 claims description 14
- 238000013459 approach Methods 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000007547 defect Effects 0.000 claims description 6
- 238000010248 power generation Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 description 41
- 238000004590 computer program Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000010006 flight Effects 0.000 description 7
- 241000196324 Embryophyta Species 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 241001503987 Clematis vitalba Species 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005352 clarification Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
- F03D—WIND MOTORS
- F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
- F03D17/001—Inspection
- F03D17/003—Inspection characterised by using optical devices, e.g. lidar or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
- G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
- B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
- F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
- F05B2260/00—Function
- F05B2260/80—Diagnostics
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
- F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
- F05B2270/00—Control
- F05B2270/80—Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
- F05B2270/804—Optical devices
- F05B2270/8041—Cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Definitions
- Embodiments in accordance with the present invention relate to methods, aircraft and systems for detecting a feature of an object. Further exemplary embodiments relate to AI (artificial intelligence)-supported inspections of wind turbines using drones.
- AI artificial intelligence
- Wind turbines form an integral part of a sustainable energy supply.
- the use of the inexhaustible resource wind enables emission-free and safe production of electricity.
- the type of energy generation by converting mechanical energy into electrical energy does not pose any immediate risks, it is still of great importance to regularly maintain and check the systems themselves. Due to the high performance and corresponding dimensioning of modern wind turbines, these very high mechanical forces have to withstand over a long period of many years. Damage should therefore be detected in good time so that it can be repaired, not only with regard to the safety of the system, but also with regard to the efficiency of the system, for example in the case of damage to the rotors of the wind turbines, which can reduce the efficiency of the system .
- the object on which the present invention is based is to create a concept that enables features of an object to be detected with little expenditure of time and with high accuracy at low cost.
- Exemplary embodiments according to a first aspect of the present invention create a method for detecting a feature of an object, the method having a step (a) which comprises flying off the object and optically detecting at least part of the object by at least one recording unit with a first resolution, to generate a plurality of images, each image representing an at least partially different region of the object.
- the method further includes a step (b) comprising evaluating the plurality of images to classify the generated images into images not containing the feature and into images containing the feature.
- the method includes a step (c), which has a new optical detection of those areas of the object whose assigned images contain the feature, with a second resolution that is higher than the first resolution.
- the method also includes a step (b) which includes evaluating the plurality of images to classify the generated images into images not containing the feature and into images containing the feature.
- the method also includes a step (c), which includes providing the partial images of those regions of the object whose assigned images contain the feature.
- an unmanned aircraft for example a drone, for detecting a feature of an object, with at least one recording unit for generating images by optical detection.
- the unmanned aircraft can be controlled in order to fly over the object and to optically capture at least a part of the object by the recording unit with a first resolution in order to generate a plurality of images, each image representing an at least partially different area of the object.
- the unmanned aircraft can be controlled in order to optically capture those areas of the object whose assigned images contain the feature again with a second resolution that is higher than the first resolution.
- an unmanned aircraft for example a drone, for detecting a feature of an object, with at least one recording unit for generating images by optical detection.
- the unmanned aircraft can be controlled in order to fly over the object and to optically capture at least part of the object using the recording unit in order to generate a plurality of images, each image representing an at least partially different area of the object.
- the unmanned aircraft can be controlled in order to generate an image with a first resolution and a plurality of partial images, each with a second resolution that is higher than the first resolution, for each area.
- the system is designed to evaluate the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature.
- the unmanned aircraft can be controlled in order to optically record those areas of the object whose assigned images contain the feature again with a second resolution that is higher than the first resolution.
- FIG. 1 For exemplary embodiments according to the second aspect of the present invention create a system for detecting a feature of an object with an unmanned aerial vehicle, for example a drone, wherein the unmanned aerial vehicle can be controlled in order to fly over the object and at least a part of the object by the recording unit optically sensed to produce a plurality of images, each image representing an at least partially different region of the object.
- the unmanned aircraft can be controlled in order to generate an image with a first resolution and a plurality of partial images, each with a second resolution that is higher than the first resolution, for each area.
- the system is designed to evaluate the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature, and the partial images of those areas of the object whose associated images Feature contain, provide, e.g. for classification or cataloging of the recorded features.
- Embodiments according to the first and second aspect of the present invention are based on the core idea of flying over the object to detect a feature of an object and capturing at least part of the object with a recording unit with a first resolution and for those areas of the object that have the feature to provide recordings with a second resolution that is higher than the first resolution, eg by re-capturing such an area (first aspect) with the second resolution or by generating several partial images with the second Resolution for each area and providing those sub-images that contain the feature.
- the object can be a large and difficult to access object, such as a wind turbine, oil rig, bridge, crane, factory, refinery, or ship.
- the feature of the object can be damage to the object, for example.
- a method according to the invention can be used to detect this damage, for example in the form of cracks, holes, deviations from geometric norms, such as bending, rusting or other indicators that allow conclusions to be drawn about the structural integrity of the object .
- such an object By flying over the object, for example with an unmanned aircraft such as a drone, such an object can be detected with little expenditure of time and resources.
- the use of people for the detection itself such as climbers in wind turbines, can be dispensed with, which not only saves costs, but also prevents people from being endangered.
- parts of the object can be detected that would otherwise be unreachable.
- one approach according to the invention is to generate new higher resolution images after capturing and classifying images of an object from those areas of the object that contain a flaw or other feature of interest.
- a rough detection of the object or of features of the object can be carried out on the basis of a plurality of images with the first resolution. These images can be evaluated and classified in terms of the feature, such as damage, to those areas of the object whose associated images contain the feature to recapture at the second, higher resolution. On the basis of images with the second resolution, small damage, for example, can thus also be detected with high accuracy.
- the evaluation of the plurality of images can be automated, for example based on approaches from machine learning (machine learning), or manually, for example by a human. Furthermore, the evaluation of the plurality of images can also take place in a partially automated manner, for example with automated methods which support a human in the evaluation.
- another flight can be carried out after an evaluation of the plurality of images on the ground in order to generate new images with the second evaluation, or the evaluation can take place during the flight, i.e. the object flies off and at least part of the object is optically detected .
- the distance between the recording unit and the object can be reduced or a zoom setting of the recording unit can be changed.
- a raster image can be generated, e.g., based on a previous image classification, with each partial image of the raster image having the second, higher resolution.
- a plurality of partial images can also be generated, each with the second resolution.
- the entire amount of data can be generated for evaluation, for example with regard to damage to the object.
- a holistic scanning of the object can thus be created, which consists, for example, of a large number of images with the first resolution, with a large number or even each image of the images with the first resolution being provided with a large number of partial images with the second resolution, so that a Data set with multi-level accuracy for object description is available.
- This can have advantages, for example, in applications that are particularly critical to safety, in which complete verification of the status of the object is required.
- a data record can be used to create an intuitive possibility for evaluation, for example for a human being.
- the Human for example, from an overview of the object in the form of a 3-D model, consisting of the images of the first resolution, parts of the object through, for a large number or even all images of the first resolution, stored partial images with the second resolution, important areas of the examine the object more closely.
- the plurality of images with the first resolution and the plurality of partial images with the second resolution can also be evaluated automatically, for example, in order to split the generated images into images that do not contain the feature and into images that contain the feature, so that, for example, partial images of those areas of the object whose associated images contain the feature can be made available and, for example, highlighted to the human being.
- images with the first resolution can be generated together with high-resolution raster images with the second resolution, the images are classified and, based on the classification, sub-images, for example raster images, are provided from the images that represent defective areas. It should be pointed out here that the evaluation of the plurality of images and/or sub-images can take place in an automated or partially automated manner or manually.
- a higher-resolution raster image when flying for the first time, in addition to the first images required for the evaluation, e.g. an evaluation on the ground using a laptop, a higher-resolution raster image, for example, can also be automatically generated for each image, i.e. a plurality of partial images each with the second Resolution, are generated.
- an unmanned aircraft for example a drone, which includes the recording unit
- the drone can stop at a waypoint of its flight trajectory, generate the first image and then, for example, immediately generate the high-resolution raster image from the same position.
- a zoom lens for example, can be used to increase the resolution.
- the recording unit can also have a plurality of cameras, for example two or three cameras.
- the recording unit can have a plurality of lenses or camera lenses (multi-lens camera, multi-lens camera) to increase the resolution.
- the high-resolution images with the features can then be displayed directly from the raster images. This means that there is no need for a second flight, since all the necessary high-resolution images are already available and only the selection has to be made.
- an automated evaluation of the images for example the images with the first resolution or the images with the second resolution, can be carried out during or after the object has flown off.
- a decision can be made, for example in flight, directly after capturing an image with the first resolution, by evaluating the image or classifying the image as to whether further images with the second, higher resolution of the associated area of the object are to be captured will.
- one or more images with the first resolution and, associated with one or more images with the first resolution, a multiplicity of images with the second, higher resolution can also be generated for at least part of the object and the evaluation or Classification can be done in-flight, i.e. at take-off, or after take-off based on any combination of the images.
- the evaluation or classification can also be carried out after the object has taken off, i.e. after the object has taken off, to generate the images with the first resolution and before the object has flown off again to generate images with the second resolution on an external computer, i.e
- a computer e.g. laptop, which is not part of the recording unit or an unmanned aircraft, such as a drone, can be carried out.
- methods in accordance with the present invention enable accurate scanning of an object with little expenditure of time and resources.
- step (b) is carried out after the object has been flown over, and step (c) comprises flying over to those regions of the object whose associated images contain the feature.
- pre-processing can take place on the basis of the images with the first resolution from step (a), on the basis of which step (c) can be carried out, so that, for example, only those areas of the Object whose associated images contain the feature are recorded again with the second resolution.
- Significant time and data savings can thus be achieved.
- the automated evaluation of the majority of images after the object has taken off the evaluation can also be carried out on an external computer, so that an unmanned aerial vehicle, for example, only has to meet low hardware requirements to fly over the object. Furthermore, particularly in the case of large objects, it may be necessary to restore the aircraft's ability to fly after it has taken off, which can be carried out at the same time as the evaluation to save time.
- Step (c) can also be carried out after step (b) and, for example, after the stopover explained above.
- the images can be evaluated after the flight and then the object can be flown again to generate higher resolution images of the defective areas.
- the recording unit generates an image with the same focal length in step (a) and in step (c). Furthermore, the object is flown to in step (a) in such a way that the recording unit is at a first distance from the object when an image is generated, and the object is flown to in step (c) in such a way that the recording unit is a second distance when an image is generated to the object that is less than the first distance.
- the object is flown to in step (a) and in step (c) in such a way that the recording unit is at the same or similar distance from the object when an image is generated. Furthermore, in step (a) the recording unit generates an image with a first focal length and in step (c) an image with a second focal length, the second focal length being greater than the first focal length.
- the resolution can accordingly be increased by changing the focal length of a lens of the recording unit, for example by changing a zoom setting or by exchanging the lens.
- the recording unit can, for example, be converted during a stopover in order to record recordings in step (c) with the second focal length.
- the recording unit can also be equipped with cameras of different focal lengths, so that steps (a) and (c) can also be carried out during a single flight.
- the recording unit in step (a) uses at least one of a first camera with the first focal length, a first lens with the first focal length and/or a first camera lens with the first focal length or a zoom lens with a first zoom setting according to the first focal length.
- step (c) includes replacing the first camera of the recording unit with a second camera with the second focal length and/or replacing the first lens of the recording unit with a second lens with the second focal length and/or replacing the first camera lens Recording unit with a second camera lens with the second focal length or setting the zoom lens of the recording unit to a second zoom setting according to the second focal length.
- Both the change of the camera, the lens and/or the camera lens, and the change of the zoom setting can be carried out in the course of a stopover or even while the object is taking off, eg automatically.
- the resolution can be increased without changing the detection distance, i.e. the distance between the recording unit and the object, so that, for example, there are no changes when the object flies off automatically or autonomously of waypoints, which determine the trajectory of departure, must take place.
- the renewed optical detection of the area in step (c) comprises the generation of a plurality of partial images of the area, each with the second resolution.
- step (c) can include, for example, in particular the above-described approach to those areas of the object whose assigned images contain the feature. In simple terms, a raster recording with a higher resolution of the corresponding area can thus be generated. In this way, damage can be reliably and accurately detected.
- each image generated in step (a) is assigned position and/or orientation information of the recording unit.
- the areas of the object to be flown over are determined using the position and/or location information of the images that contain the feature.
- waypoints for the renewed departure or arrival can be generated based on the position information of the recording unit.
- a trajectory can be generated which, for example, only contains waypoints that are suitable for detecting areas containing possible damage. Accordingly, renewed on or Flying off the object to generate images with the second resolution can be carried out with little expenditure of time.
- step (b) includes the transmission of the images generated in step (a) from the unmanned aircraft to a computer, for example a laptop computer, and the evaluation of the images by the computer.
- the evaluation of the images includes an automated evaluation of the images, for example part of the evaluation can be carried out automatically or the entire evaluation of the images.
- step (c) can be optically recorded again during departure from step (a), so that those areas of the object that are recorded with the second resolution can be selected on the basis of the images with the first resolution can take place during departure.
- an aircraft with lower hardware requirements can be used.
- the images can also be transmitted and evaluated by the computer during a landing, for example in preparation for the object flying again to generate the images with the second resolution.
- the unmanned aerial vehicle autonomously flies the object in step (a). Furthermore, step (b) comprises generating waypoints using the position and/or location information of the images containing the feature and transmitting the waypoints, for example from the computer described above, to the unmanned aerial vehicle. Also, in step (c), the UAV autonomously flies to the areas of the object using the waypoints. As a result, the object or the feature of the object can be detected fully autonomously. A time-efficient trajectory can be planned using the waypoints, by means of which the corresponding areas of the object can be recorded with the second resolution in step (c). The waypoints can be created, for example, based on a CAD model of the object.
- the model can be improved by detecting the object, and on the basis of this the waypoints can be adjusted.
- the object is flown over autonomously with an unmanned aircraft, eg a drone, which includes the recording unit.
- the unmanned aerial vehicle comprises a computer, wherein step (b) comprises evaluating the images and generating waypoints using the position and/or location information of the images containing the feature by the computer of the unmanned aerial vehicle.
- the evaluation of the images includes an automated evaluation of the images, the evaluation can therefore, for example, be carried out in a fully automated or partially automated manner.
- the UAV autonomously flies to the areas of the object using the waypoints.
- the object or the feature of the object can be detected by a single and thus, for example, time-efficient flight.
- the generation of the waypoints can also include an adaptation of existing waypoints, so that the unmanned aircraft adapts its own flight trajectory while the images are being recorded on the basis of the evaluation of the images.
- steps (a) to (c) are performed while flying the object such that in step (a) an image of an area is generated and in step (b) the image generated in step (a ) generated image is classified before generating an image for another area.
- steps (a) to (c) are performed while flying the object such that when in step (b) the image is classified as containing the feature, in step (c) the area prior to generation of the further image is optically examined is recaptured before generating an image for the further area, and if in step (b) the image is classified as not containing the feature, an image is generated for the further area.
- the feature or the object can thus be detected when the object flies off once.
- the classification of the images generated in step (a) makes it possible to avoid taking images with the second, higher resolution, which do not contain the feature, ie damage to the object, for example, so that only relevant information is recorded.
- the evaluation of the images can be carried out during the flight and images with the higher resolution, for example only of defective areas, can be generated.
- the recording unit generates an image with the same focal length in step (a) and in step (c).
- the object is flown to in step (a) in such a way that the recording unit is at a first distance from the object when an image is generated.
- the distance between the recording unit and the object is reduced to a second distance which is less than the first distance.
- the higher resolution is achieved by getting closer to the object. The distance can be reduced quickly and easily, for example, by adapting the flight trajectory.
- the object is flown to in step (a) such that the recording unit is at a first distance from the object when generating an image, and the recording unit generates an image with a first focal length. Furthermore, in step (c), the distance from the capturing unit to the object is equal to or similar to the first distance, and the capturing unit generates an image with a second focal length which is greater than the first focal length.
- the predetermined waypoint can be retained, so that no additional adaptation of the flight trajectory is necessary. In this case, for example, only the length of time during which the unmanned aircraft is located at the corresponding waypoint can be increased in order to generate images with a second resolution.
- the distance between the recording unit and the object in step (c) can be similar or even the same as the first distance, so that an improvement in resolution due to a change in focal length outweighs an improvement in resolution due to a change in distance.
- the two distances can deviate from one another by a few percent, e.g. by less than 5% or less than 10% or less than 20%.
- the predetermined waypoint or the flight trajectory can also be varied or adapted according to exemplary embodiments.
- the recording unit comprises at least one of a plurality of objectives, a zoom lens, a plurality of cameras and a plurality of camera lenses. Furthermore, in step (a), the recording unit uses a first camera, a first lens, and/or a first camera lens with the first focal length or sets the zoom lens to a first zoom setting according to the first focal length. In addition, in step (c), the recording unit uses a second camera, a second lens and/or a second camera lens with the second focal length or adjusts the zoom lens to a second zoom setting according to the second focal length. These adjustments can be carried out automatically during the flight, so that the feature of the object can be detected with a single flight of the object, for example.
- the zoom setting and/or the selection of the camera, the lens and/or the camera lens can be linked to the waypoints and/or a time sequence of the flight, for example.
- the renewed optical detection of the area in step (c) comprises the generation of a plurality of partial images of the area, each with the second resolution.
- the plurality of partial images can accordingly form a raster image with a higher resolution, so that, for example, a plurality of detailed images can be generated associated with an image with the first resolution.
- the object is flown over autonomously with an unmanned aircraft, e.g. a drone, which includes the recording unit.
- the unmanned aircraft includes a computer, step (b) comprising the evaluation of the images by the computer of the unmanned aircraft.
- the evaluation of the images includes an automated evaluation of the images, the evaluation can therefore, for example, be carried out in a fully automated or partially automated manner.
- the computing power by the aircraft the feature of the object can be detected, for example, with a single flight of the object, so that the method can be carried out in a particularly time-efficient manner.
- the aircraft can use the computing power to plan its own trajectory, for example in the form of waypoints, adaptively, based on the evaluation results. A fully autonomous detection of the feature of the object can thus be carried out.
- Embodiments according to the first aspect of the present invention have the following step (d), wherein step (d) includes transmitting the images generated in step (c) to an evaluation unit, eg for classifying or cataloging the detected features.
- the images with the higher resolution, which are generated in step (c) can be transmitted to an evaluation unit, such as an external computer, for evaluating the features of the object, for example damage to the object, such as cracks.
- This information can then be entered into an existing model of the object, for example.
- further instructions can also be sent back to the unmanned aircraft by the evaluation unit, for example when a specific type of damage is detected, a new approach and detection of the damage, for example using other measurement methods.
- an electrical measurement of the lightning protection device of the wind turbine could be carried out on the basis of an image analysis.
- the object is flown to in step (a) in such a way that the recording unit is at a fixed distance from the object when generating an image and the partial images. Furthermore, in step (a), the recording unit generates the image with a first focal length and the partial images with a second focal length, which is greater than the first focal length. In other words, the resolution is increased by changing the focal length.
- the recording unit comprises a zoom lens which uses a first zoom setting according to the first focal length when generating the image, and which uses a second zoom setting according to the second focal length when generating the partial images.
- the zoom setting can be changed during flight, so that both the first and second resolution images can be taken from the same waypoints of the flight trajectory. Accordingly, this type of generation of the partial images can be carried out in a particularly time-efficient manner.
- step (b) includes the transmission of the images and partial images generated in step (a) from the unmanned aircraft to a computer, eg a laptop computer, and the computer evaluating the images.
- the evaluation of the images includes an automated evaluation of the images; the evaluation of the images can, for example, take place in a fully automated or partially automated manner.
- step (c) includes the provision by the computer of the partial images of the image assigned to the region. The evaluation can be carried out using machine learning methods, for example. In simple terms, classified images and detail images in the form of partial images are thus generated by the method according to the invention and made available by the computer. Thereby For example, an intuitive evaluation or assessment of the feature, ie damage, for example, can be carried out.
- the object is flown over autonomously with an unmanned aircraft, e.g. a drone, which includes the recording unit.
- the unmanned aircraft includes a computer, step (b) comprising the evaluation of the images and the partial images by the computer of the unmanned aircraft.
- the evaluation of the images (B1-B4) and the sub-images (B1 1 -B44) includes an automated evaluation of the images (B1-B4) and the sub-images (B1 1 -B44).
- the images and partial images can therefore be evaluated, for example, in a partially automated or fully automated manner.
- the unmanned aircraft transmits the partial images to an evaluation unit, e.g.
- the feature of the object can already be detected with a reduced expenditure of time while the object is flying off.
- the classified or cataloged features can then be made available by the evaluation unit, e.g. directly to a person for evaluation, who, for example, can in turn make further measurements, e.g. with non-optical measurement methods (e.g. lightning protection measurement and/or moisture measurement), of relevant areas can initiate.
- non-optical measurement methods e.g. lightning protection measurement and/or moisture measurement
- the feature to be detected comprises a defect of the object or a predetermined element of the object.
- the error can be, for example, a crack, a hole, rust, damage to the paintwork or other optically recognizable surface changes.
- the feature can also be a predetermined element of the object, such as a characteristic geometry of the object, for example the wing tips or the rotor flanges in the case of a wind turbine, or a specific component such as a rivet or screw.
- step (b) comprises AI or machine learning.
- Such methods can evaluate or analyze images at high speed with little use of resources. categorize, for example, in terms of the presence of a feature of an object.
- a method according to the invention with a known reference object or a known reference feature can be used to create training data for corresponding methods.
- the AI or machine learning can be used alone or to support a human. Methods of this type make it possible to save a great deal of time, particularly with regard to evaluating a large number of images for large objects, such as an oil rig or a windmill.
- the object comprises a power generation plant, e.g. a wind turbine or a solar plant, or an industrial plant, e.g. an oil rig, a factory, a refinery, or a building, e.g. a skyscraper, or a Infrastructure facility, e.g. a bridge.
- the object can also be a crane, for example.
- a method according to the invention can be carried out, for example with regard to an industrial plant during ongoing operation, without endangering a person or without the operation having to be stopped.
- the unmanned aircraft eg a drone
- the unmanned aircraft is designed to transmit the plurality of images to an external computer, eg a laptop computer, which converts the generated images into images that do not contain the feature and classified into images that do contain the feature.
- the unmanned aircraft is designed to receive information from the external computer that indicates the areas of the object that are to be optically recorded with the second resolution. Based on the information from the external computer, the unmanned aircraft can generate images of the respective areas with the second resolution accordingly.
- the communication and the use of the information can take place during the flight, for example during departure and the generation of the images with the first resolution of the object, or during a stopover, for example between the departure of the object and the generation of the images with the first resolution and reflying the object to generate images of selected areas of the object at the second resolution.
- the stopover can also be used to restore the ability of the unmanned aircraft to fly, e.g. to change the batteries of a drone.
- the calculator can also provide the trajectory planning of the unmanned aircraft, for example for an autonomous flight, and form the previously explained evaluation unit.
- the unmanned aircraft e.g. a drone
- a computer which is designed to evaluate the plurality of images in order to convert the generated images into images that do not contain the feature and classify into the images containing the feature.
- FIG. 1 shows a schematic representation of an object and a recording unit with a flight trajectory according to an embodiment of the present invention
- FIG. 2 shows a schematic representation of a detail from FIG. 1 with a modified flight trajectory according to an exemplary embodiment of the present invention
- FIG. 3 shows a schematic representation of an image classification according to an embodiment of the present invention
- FIG. 4 shows a schematic side view of a wind turbine with damage that is detected with the aid of exemplary embodiments according to the present invention
- 5 shows a flowchart of a method for detecting a feature of an object according to an embodiment of the present invention.
- FIG. 6 shows a flowchart of a further method for detecting a feature of an object according to an embodiment of the present invention.
- FIG. 1 shows an object 110, an unmanned aircraft 120 with a recording unit 130 and a computer 140.
- the aircraft 120 is only to be regarded as optional, as a possible implementation of a mobile recording unit, for example in the form of a drone with a camera.
- the aircraft 120 flies over the object in order to detect one or more features 110a.
- the flight trajectory is marked with waypoints WP1 to WP4.
- the flight trajectory can come from a previous trajectory plan, for example.
- waypoints can be generated, for example by a computer 140, which is made available to the aircraft 120 via a connection 140a.
- the computer 140 can also be part of the aircraft 120 so that the aircraft plans its own trajectory autonomously, for example.
- the trajectory can also be specified manually by a human pilot, for example in the absence of a 3D model of object 110.
- the recording unit 130 captures the front side 110b of the object 110 or, to put it more generally, a part of the object.
- the recording unit 130 generates a plurality of images B1 -B4 with a first resolution, each image at least partially showing a different area of the object 110 or the Represents front 110b of the object.
- the images B1-B4 can partially overlap, or to put it another way, they can have information about a partially identical image detail or about a partially identical area of the object. However, the images may also not overlap.
- each of the waypoints WP1-WP4 is associated with one of the images B1-B4. To put it simply, a large number of waypoints can be defined from which the object is recorded, for example photographed.
- Images B1-B4 are classified 140c into images 210 not containing feature 110a, comprising images B1, B3, B4, and into images 220 containing feature 1 10a, comprising image B2.
- the classification is implemented in FIG. 2 as an example with computer 140 and can be carried out by any classification unit.
- the classification can be implemented in particular with methods of machine learning.
- the classification can be carried out, for example, with artificial intelligence (CI or artificial intelligence (AI)).
- the computer 140 or also a corresponding classification unit can be part of the aircraft 120, so that a corresponding communication 140a, 140b is to be regarded as optional.
- the bidirectionality of the communication 140a, 140b shown in FIG. 1 is also optional; any combination of information can be transmitted from the aircraft to the computer or vice versa.
- a large number of possible task distributions e.g. with regard to image classification, calculation of waypoints, classification of the feature
- the recording unit 130 can re-scan the area of the object 110 containing the feature through the image B2 assigned to the area on which the feature 110a was detected, with a second resolution that is higher than the one first resolution, optical detection.
- the aircraft can remain on the waypoint WP2 after generating the image B2 and after recognizing the feature on the image B2 and can record the corresponding area of the object again.
- the aircraft 120 does not have to stay on the waypoint WP2, but can only maintain an equal or similar distance to the object 110, for example.
- the acquisition unit 130 may increase the focal length, for example by adjusting a zoom setting or changing a lens. As a result, an image B21 with a higher resolution, which is a partial image of the image B2, for example, can be generated.
- the position of the feature can also be evaluated by using position and attitude data of the aircraft 120 in order to align the recording unit 130 with the feature 1 10a, for Generation of the image B21.
- the image B21 does not necessarily have to include a sub-area of the image B2.
- the area of the object captured with image B21 can, for example, only be selected as a function of the position of feature 110a, so that the image section of image B21 can be selected independently of areas in images B1-B4.
- a set of partial images B21-B24 can also be generated with the second resolution. Furthermore, independently of a classification and recognition of the feature 110a in the images B1 -B4, a large number of areas of the object, or for example each area of the object, can be recorded by a number of partial images of the area, each with the second resolution (e.g. for Image B1 sub-images B11-B14, for image B2 sub-images B21-B24 etc.). Corresponding sub-images can be transmitted, for example, via communication 140b to an evaluation unit, for example in the form of computer 140, for example for classifying or cataloging detected feature 110a.
- an evaluation unit for example in the form of computer 140, for example for classifying or cataloging detected feature 110a.
- the images B1 -B4 can also be classified after flying off the waypoints WP1 -WP4 and then landing at the starting point S.
- a second flight trajectory 150 can then be specified for the aircraft 120 via the communication 140a on the basis of the classification and associated position and/or attitude information via the feature 110a.
- FIG. 1 shows trajectory 150 as a flight from starting point S to waypoint WP2 and back to starting point S.
- waypoint WP2 the previously explained re-detection of the area of the object takes place.
- a region of the object containing feature 110a can be recorded with a single image B21 or with a grid of partial images of image B2, for example including partial images B21-B24, with the second resolution.
- the increase in resolution can in turn be achieved by changing a zoom setting or by changing the lens of the recording unit 130 .
- These adjustments can, for example, be carried out manually during landing, after the object 110 has taken off for the first time and before the object 110 has been approached via the flight trajectory 150 .
- the flight itself can in turn be carried out autonomously or manually.
- FIG. 3 shows a section of FIG. 1 with the object 110, the aircraft 120, the recording unit 130 and the computer 140.
- Way point WP2 has a first distance di from the object 110.
- the aircraft 120 can approach the object at waypoint WP 2a, so that the distance is reduced to the distance ds.
- the object 110 or the region of the object which has the feature 110a can be recorded with a higher resolution, for example without changing a zoom setting or replacing a lens.
- the adaptation of the trajectory of the aircraft 120 can take place during the flight, as optionally shown in FIG. 3 .
- the trajectory can be changed during the flight by communication 140b with the computer 140 .
- the recording unit or the aircraft can display the image B2 communicate with the computer 140 and then receive back new waypoints WP2a.
- the aircraft itself may include the computer 140 and perform the classification and trajectory adjustment itself. Any combination is also possible, so that the aircraft or the recording unit can, for example, carry out the classification independently, communicate the classification result to an external computer and receive back waypoints.
- a corresponding trajectory adjustment with a reduction in distance can also take place during an intermediate landing via communication 140a from FIG. 1 .
- the flight trajectory can also consist a priori of waypoints at different distances from the object 100, so that, for example, a grid of partial images (B11-B14, B21-B24, etc.) for a plurality of areas of the object with the second resolution is created by reducing the distance.
- FIG. 4 shows a wind turbine 400 with a tower 410, a nacelle 420, a rotor hub 430, rotors or blades 440, rotor blade or blade tips 450 and rotor blade flanges 460.
- One of the rotors 440 has damage 110a.
- This damage 110a or the defect can be a crack, for example.
- the damage 110a can be the feature of the wind turbine that is to be detected.
- creating a model of the wind turbine 400 e.g.
- the wing tips 450 and/or the rotor blade flanges 460 can be features of the wind turbine 400 which are to be recorded.
- a 3-D model of the wind power plant can be created from their recording, for example via a known position of the aircraft at the time of recording and the imaging geometry. Waypoints for autonomous inspection flights can in turn be generated from this 3D model. Also shown are captured images 210 not containing the feature and captured images 220 containing the feature in the form of image 220a in the event that the feature is damage 110a and alternatively or additionally images 220b in the event that the feature is the wing tips 450.
- partial image 470 is entered as an example for clarification.
- areas marked with images 220a containing the feature can be re-marked with a higher resolution can be captured, but not the entire previously scanned area of the object must be scanned again, but only a portion of the original image section or the area of the object can be captured.
- an image Bx does not necessarily have to be divided completely into partial images Bxx by means of renewed acquisition with increased resolution.
- a corresponding partial image 470 does not have to lie completely within the image with the first resolution, from the evaluation of which the position of the feature was identified.
- a "raster capture" in simple terms is indicated in comparison for a detection of the wing tips 450 for the images 220b.
- error detection takes place, i.e., for example, damage 110 a is identified by identifying error-free areas ( Figures 210) , which are referred to as patterns in this context, whereby this pattern recognition can be used to deduce error 1 10a, for example.
- Figures 210) which are referred to as patterns in this context, whereby this pattern recognition can be used to deduce error 1 10a, for example.
- the areas of the wind power plant 400 or sample that the class considers not error-free, that is to say as defective and therefore not excluded are flown to again in order to generate high-resolution error images. Automatic generation of waypoints can be used for renewed approach. Referring to FIG.
- the high-resolution defect images can be, for example, the image with the second resolution B21 or also the multiplicity of partial images B21-B24.
- high-resolution defect images can be generated by using zoom lenses and/or by flying closer to the areas recognized as not being defect-free. Furthermore, an exchange of the lens of the recording unit is also possible.
- AI-supported image/error recognition or pattern recognition can be used, for example, in the following tasks or missions.
- the AI support can be used in several stages. Three stages are to be explained below as an example, with features of the individual stages being interchangeable and combinable as desired, unless stated otherwise. They are only intended to explain the idea regarding the use of KI with regard to feature detection and are therefore not to be regarded as restrictive.
- Step 1
- the Kl generates waypoints (waypoints) for an inspection or an inspection flight, for example after a calibration flight, or waypoints for an error flight, i.e. the approach to the wind turbine 400, to detect the error 110a or another feature (e.g. rotor tips 540). increased resolution, after an inspection flight.
- the drone carries out the inspection flight autonomously and transmits the images to the remote computer after landing, for example when changing the battery.
- the image/error recognition or pattern recognition then takes place on the remote computer.
- the results for example waypoints for a subsequent inspection flight, for example based on a generically generated CAD model of the wind turbine after the calibration flight, or waypoints for the subsequent error flight, e.g. the approach of the detected error 1 10a, e.g. at a short distance and photographing the error 100a with high resolution, are transmitted back to the drone after calculation.
- the Kl runs or calculates on an additional computing unit in real time (real time) on the drone and controls the inspection flight after calibration or the error approach during the inspection flight.
- the additional computing unit can be, for example, an add-on GPU (graphics processing unit) board (additional graphics processor board) or CPU (central processing unit) or special Kl boards.
- the computer or computer described above can also be part of the drone and thus provide the hardware for operating the AI.
- the drone is equipped with its own local intelligence, e.g. through the additional computing unit, and carries out the calculations onboard, e.g. locally on its own drone hardware, in real time.
- the drone can carry out actions, for example the calculation of the waypoints for the subsequent inspection flight, directly during the calibration flight and then, for example, carry out the inspection flight directly afterwards. Errors are detected in real time and there is an immediate, direct approach or zoom in on the error detected and the error is photographed with a correspondingly high resolution. The inspection flight is then continued until the next error.
- the inspection flight can be carried out at a distance of 8 m from the wing 440 and a renewed approach to the detected error at a distance of 3 m.
- the drone transmits the data, for example all image data from the inspection flight which, for example, have a low or the first resolution (e.g. corresponding to images B1 -B4 from FIG. 1 ), and all error or partial images created , which, for example, have a high or the second resolution (e.g. one or more of the sub-images B11, . . . , B44 from FIG. 1), to a cloud or an external computer.
- the errors 110a can then be categorized by an operator from the error images and the error logs can be created interactively.
- Detected and high-resolution error images are categorized by the Kl.
- the error images stored in the cloud can be automatically categorized with the help of the Kl and the error logs can be created automatically.
- the AI can be used for the three aforementioned tasks, as explained below.
- the basic principle of the Kl support is the optical detection and detection of the wing tips 450 by Kl and the calculation of the positions of the wing tips 450, and the optical detection and detection of the wing flanges 460 by Kl and calculation of the positions, distances and angles the Wing flanges 460.
- the pitch angles (inclination angles) of the wings can also be detected and/or calculated.
- a final calculation or modification of a generic model, for example a CAD model, of the wind power plant 400 can then be carried out with these values, including the positioning and alignment of the plant and the deflection (bending) of the blades 440 .
- the waypoints for the inspection flights can then be calculated from this data. This can be done with a stopover (remote - level 1) or in real time, without a stopover (local intelligence - level 2).
- Wing inspection methods of the present invention are similar to tower inspection methods, but with a significantly reduced number of images, for example.
- a necessary or advantageous resolution of approximately 1.6 pixels/mm for an initial assessment or for the use of Kl for example with a wing length of approximately 70 m at a distance of 7 m from the drone or the recording unit about 25 images per side for the wing are generated or, for example, may be necessary.
- an improved resolution for example the second resolution explained above, for example a resolution of more than 3.5 pixels/mm required by an expert, detected defects can or should be flown to again or immediately at a distance of approx. 3 m from the wing.
- a change in a zoom setting or a change in the lens used can also be carried out, as described above.
- the numerical values are based on the 300s described above DJI drone with P1 full frame camera and 50mm lens.
- the image sensor has a width of 35.9 mm with 8197 pixels and a height of 24 mm with 5460 pixels.
- the possible tasks described above, or missions of the method according to the invention with regard to a wind turbine are entered in the table in the form of a tower inspection, a blade inspection and a calibration (calibration flight). Furthermore, an example of a previously described error flight is also entered.
- the fourth column shows the distance between the aircraft or the drone and the wind turbine
- the fifth column shows the image width covered by a respective image section in relation to the surface of the wind turbine in mm
- the sixth column shows the image width covered by a respective image section Image height in relation to the surface of the wind turbine in mm and in the seventh column the respective resolution in pixels/mm.
- the inspection of a wind turbine can start, for example, with the calibration or the calibration flight.
- a pilot flies the aircraft, for example the drone, over the wind turbine at a distance of 25 m.
- the wind turbine recorded optically, whereby an image corresponds to an image area in reality with a width of 18 m and a height of 12 m. Accordingly, images from this optical acquisition have a resolution of 0.46 pixels/mm.
- a CAD model of the wind turbine can be created or a generic model can be modified by recognizing characteristic features of the wind turbine, such as the wing tips. Due to the large distance and the low resolution, this step can be carried out in a short time. In this case, the recognition of the features can be carried out in particular using and using methods of machine learning.
- the distance can also be, for example, in a range or interval such that the distance is, for example, at most 25 m or at most 20 m, or is in a range from 20 m to 25 m. Furthermore, the distance can also be 20 m, for example.
- Waypoints for the inspection flights can then be generated on the basis of the CAD model. These waypoints can in turn be generated using a Kl. Both the evaluation and the waypoint generation can be carried out by the aircraft itself after landing after the calibration flight or even during the calibration flight. In order to be able to detect errors with sufficient accuracy, the distance between the aircraft and the wind turbine is reduced during the inspection flights that are then carried out autonomously, for example. For example, a distance of 7 m can be set for the wing inspection, so that an image generated corresponds to a width of approx. 5 m and a height of approx. 3.3 m in reality, which results in a resolution of 1.63 pixels/ mm leads. With 25 images per wing side, with 3 sides and an overlap of 20 cm, 75 images result with an exemplary length of the wing of 70 m. Similarly, the tower inspection results in 304 images with a resolution of 1.28 pixels/mm.
- Kl can in turn be used to evaluate the images of the inspection flights. As already mentioned, this can already categorize the images during the flight itself and divide them into images that show damage and into images that show no damage. Alternatively, this can also be done after landing on an external computer. The great advantage of machine learning methods becomes clear from the large number of images, which would require a lot of time if evaluated by a human.
- corresponding locations can be flown to again in the event of a faulty flight.
- the detection with the second or higher resolution can also take place in the course of the tower or wing inspection take place.
- the distance between the aircraft and the object can be reduced to 3 m, or a corresponding lens can be attached (e.g. during a stopover) or a zoom setting (e.g. in flight) can be adjusted accordingly. This enables a resolution of 3.87 pixels/mm to be achieved.
- FIG. 5 shows a flow chart of a method for detecting a feature of an object according to an embodiment of the present invention.
- FIG. 5 shows the method steps 510-530 in an order which is only intended to serve as an example. Accordingly, the method steps can also be used in a different order.
- Step 510 includes flying the object and optically capturing at least a portion of the object by at least one acquisition unit 130 at a first resolution to generate a plurality of images, each image having a represents at least partially different area of the object.
- Step 520 includes, for example, an automated evaluation of the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature.
- Step 530 includes re-optically capturing those areas of the object whose associated images contain the feature at a second resolution that is higher than the first resolution.
- FIG. 6 shows a flowchart of a further method for detecting a feature of an object according to an embodiment of the present invention.
- 6 shows the method steps 610-630 in an order which is intended to serve only as an example. Accordingly, the method steps can also be used in a different order.
- Step 610 comprises flying off the object and optically capturing at least a part of the object by at least one recording unit in order to generate a plurality of images, each image representing an at least partially different area of the object, and wherein for one area an image with a first Resolution and a plurality of sub-images are each generated with a second resolution that is higher than the first resolution.
- Step 620 includes, for example, an automated evaluation of the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature.
- Step 630 includes providing the partial images of those areas of the object whose associated images contain the feature.
- optical detection can also include detection in the infrared range, ie for example by means of infrared cameras.
- embodiments of the invention may be implemented in hardware or in software. Implementation can be performed using a digital storage medium such as a floppy disk, DVD, Blu-ray Disc, CD, ROM, PROM, EPROM, EEPROM or FLASH memory, hard disk or other magnetic or optical memory, on which electronically readable control signals are stored, which can interact with a programmable computer system in such a way or interact that the respective method is carried out. Therefore, the digital storage medium can be computer-readable.
- a digital storage medium such as a floppy disk, DVD, Blu-ray Disc, CD, ROM, PROM, EPROM, EEPROM or FLASH memory, hard disk or other magnetic or optical memory, on which electronically readable control signals are stored, which can interact with a programmable computer system in such a way or interact that the respective method is carried out. Therefore, the digital storage medium can be computer-readable.
- some embodiments according to the invention comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system in such a way that one of the methods described herein is carried out.
- embodiments of the present invention can be implemented as a computer program product with a program code, wherein the program code is effective to perform one of the methods when the computer program product runs on a computer.
- the program code can also be stored on a machine-readable carrier, for example.
- exemplary embodiments include the computer program for performing one of the methods described herein, the computer program being stored on a machine-readable carrier.
- an embodiment of the method according to the invention is thus a computer program that has a program code for performing one of the herein has the method described when the computer program runs on a computer.
- a further exemplary embodiment of the method according to the invention is therefore a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded.
- the data carrier, digital storage medium, or computer-readable medium is typically tangible and/or non-transitory.
- a further exemplary embodiment of the method according to the invention is therefore a data stream or a sequence of signals which represents the computer program for carrying out one of the methods described herein.
- the data stream or sequence of signals may be configured to be transferred over a data communication link, such as the Internet.
- Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
- a processing device such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
- Another embodiment includes a computer on which the computer program for performing one of the methods described herein is installed.
- a further exemplary embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient.
- the transmission can take place electronically or optically, for example.
- the recipient may be a computer, mobile device, storage device, or similar device.
- the device or the system can, for example, comprise a file server for transmission of the computer program to the recipient.
- a programmable logic device e.g., a field programmable gate array, an FPGA, and/or dedicated or purpose-built AI chips
- a field programmable gate array can cooperate with a microprocessor to perform any of the methods described herein.
- the methods are performed on the part of any hardware device. This can be hardware that can be used universally, such as a computer processor (CPU), or hardware that is specific to the method, such as an ASIC.
- the devices described herein may be implemented, for example, using hardware apparatus, or using a computer, or using a combination of hardware apparatus and a computer.
- the devices described herein, or any components of the devices described herein may be implemented at least partially in hardware and/or in software (computer program).
- the methods described herein may be implemented, for example, using hardware apparatus, or using a computer, or using a combination of hardware apparatus and a computer.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Sustainable Energy (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Sustainable Development (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Business, Economics & Management (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Wind Motors (AREA)
Abstract
Embodiments according to a first and a second aspect of the present invention are based on the core concept of detecting a feature (110a, 450, 460) of an object (110, 400), which includes: flying over the object and detecting at least a part (110b) of the object by means of a recording unit (130) using a first resolution and, for the regions of the object which have the feature, providing recordings using a second resolution which is higher than the first resolution.
Description
Verfahren, Luftfahrzeug und System zur Erfassung eines Merkmals eines Objekts mit einer ersten und zweiten Auflösung Method, aircraft and system for detecting a feature of an object at first and second resolution
Beschreibung description
Technisches Gebiet technical field
Ausführungsbeispiele gemäß der vorliegenden Erfindung beziehen sich auf Verfahren, Luftfahrzeuge und Systeme zur Erfassung eines Merkmals eines Objekts. Weitere Ausführungsbeispiele beziehen sich auf Kl (künstliche Intelligenz) unterstützte Inspektionen von Windrädern mit Drohnen. Embodiments in accordance with the present invention relate to methods, aircraft and systems for detecting a feature of an object. Further exemplary embodiments relate to AI (artificial intelligence)-supported inspections of wind turbines using drones.
Hintergrund der Erfindung Background of the Invention
Windkraftanlagen bilden einen integralen Bestandteil einer nachhaltigen Energieversorgung. Die Nutzung der unerschöpflichen Ressource Wind ermöglicht eine emissionsfreie und sichere Produktion von Strom. Obwohl die Art der Energieerzeugung durch die Wandlung mechanischer Energie in elektrische Energie keine unmittelbaren Risiken birgt, so ist es dennoch von großer Bedeutung die Anlagen selbst regelmäßig zu warten und zu überprüfen. Durch die hohe Leistung und dementsprechende Dimensionierung moderner Windkraftanlagen müssen diese sehr großen mechanischen Kräften über einen langen Zeitraum von vielen Jahren widerstehen. Daher sollten Beschädigungen rechtzeitig erkannt werden, um diese zu beheben, nicht nur im Hinblick auf die Sicherheit der Anlage, sondern auch im Hinblick auf die Effizienz der Anlage, beispielsweise im Fall von Beschädigungen an den Rotoren der Windräder, welche die Leistungsfähigkeit der Anlage vermindern können. Wind turbines form an integral part of a sustainable energy supply. The use of the inexhaustible resource wind enables emission-free and safe production of electricity. Although the type of energy generation by converting mechanical energy into electrical energy does not pose any immediate risks, it is still of great importance to regularly maintain and check the systems themselves. Due to the high performance and corresponding dimensioning of modern wind turbines, these very high mechanical forces have to withstand over a long period of many years. Damage should therefore be detected in good time so that it can be repaired, not only with regard to the safety of the system, but also with regard to the efficiency of the system, for example in the case of damage to the rotors of the wind turbines, which can reduce the efficiency of the system .
Eines der Hauptprobleme dabei bildet die Größe moderner Windkraftanlagen, sowie die schwere Zugänglichkeit zu einem Großteil der Oberfläche der Anlage. Konventionelle Ansätze beinhalten den Einsatz von Kletterern, welche die Anlagen begutachten und Beschädigungen dokumentieren. Solche Arbeiten sind jedoch neben der inhärenten Gefährdung von Menschen mit großen Kosten verbunden, aufgrund der Notwendigkeit von speziell geschultem Personal und dem Wegfall der Stromproduktion des entsprechenden
Windrades während der gesamten Dauer der Überprüfung. Darüber hinaus ist durch die Verfügbarkeit und Geschwindigkeit solcher Kletterer nicht die Vielzahl von Anlagen moderner Windkraftparks zur Aufrechterhaltung ausreichend kurzer Überprüfungsintervalle möglich. One of the main problems with this is the size of modern wind turbines, as well as the difficult access to much of the surface of the turbine. Conventional approaches involve the use of climbers who inspect the facilities and document any damage. Such work, however, is associated with great costs, in addition to the inherent danger to people, due to the need for specially trained personnel and the omission of the electricity production of the corresponding wind turbine during the entire duration of the inspection. In addition, due to the availability and speed of such climbers, the large number of systems in modern wind farms is not possible to maintain sufficiently short inspection intervals.
In Anbetracht dessen besteht ein Bedarf nach einem Konzept, das einen besseren Kompromiss zwischen einer Geschwindigkeit und einer Genauigkeit einer Überprüfung von Windkraftanlagen mit geringen Kosten schafft. Ferner sollte ein entsprechendes Konzept eine gute Skalierbarkeit aufweisen, um ausreichend geringe Überprüfungsintervalle auch bei einer Vielzahl von Anlagen eines Windkraftparks zu gewährleisten, z.B. für gesetzlich vorgeschriebene wiederkehrende Prüfungen. In view of this, there is a need for a concept that provides a better compromise between speed and accuracy of wind turbine inspection at low cost. Furthermore, a corresponding concept should have good scalability in order to ensure sufficiently short inspection intervals even with a large number of systems in a wind farm, e.g. for legally prescribed recurring inspections.
Zusammenfassung der Erfindung Summary of the Invention
Die, der vorliegenden Erfindung zugrundeliegende, Aufgabe besteht darin, ein Konzept zu schaffen, das eine Erfassung von Merkmalen eines Objekts mit geringem Zeitaufwand und hoher Genauigkeit mit geringen Kosten ermöglicht. The object on which the present invention is based is to create a concept that enables features of an object to be detected with little expenditure of time and with high accuracy at low cost.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Erfindungsgemäße Weiterbildungen sind in den Unteransprüchen definiert. This object is solved by the subject matter of the independent patent claims. Developments according to the invention are defined in the dependent claims.
Ausführungsbeispiele gemäß einem ersten Aspekts der vorliegenden Erfindung schaffen ein Verfahren zur Erfassung eines Merkmals eines Objekts, wobei das Verfahren einen Schritt (a), welcher ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit mit einer ersten Auflösung aufweist, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Das Verfahren umfasst ferner einen Schritt (b), welcher ein Auswerten der Mehrzahl von Bildern aufweist, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Darüber hinaus umfasst das Verfahren einen Schritt (c), welcher ein erneutes optisches Erfassen derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, aufweist.
Weitere Ausführungsbeispiele gemäß einem zweiten Aspekts der vorliegenden Erfindung schaffen ein Verfahren zur Erfassung eines Merkmals eines Objekts, wobei das Verfahren einen Schritt (a) umfasst, welcher ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit aufweist, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt, und wobei für einen Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, erzeugt werden. Das Verfahren umfasst darüber hinaus einen Schritt (b), welcher ein Auswerten der Mehrzahl von Bildern aufweist, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Ferner umfasst das Verfahren einen Schritt (c), welcher ein Bereitstellen der Teilbilder derjenigen Bereiche des Objekts aufweist, deren zugeordnete Bilder das Merkmal enthalten. Exemplary embodiments according to a first aspect of the present invention create a method for detecting a feature of an object, the method having a step (a) which comprises flying off the object and optically detecting at least part of the object by at least one recording unit with a first resolution, to generate a plurality of images, each image representing an at least partially different region of the object. The method further includes a step (b) comprising evaluating the plurality of images to classify the generated images into images not containing the feature and into images containing the feature. In addition, the method includes a step (c), which has a new optical detection of those areas of the object whose assigned images contain the feature, with a second resolution that is higher than the first resolution. Further exemplary embodiments according to a second aspect of the present invention provide a method for detecting a feature of an object, the method comprising a step (a) which comprises flying off the object and optically detecting at least a part of the object by at least one recording unit in order to generate a plurality of images, each image representing an at least partially different area of the object, and wherein for one area an image with a first resolution and a plurality of sub-images each with a second resolution that is higher than the first resolution are generated will. The method also includes a step (b) which includes evaluating the plurality of images to classify the generated images into images not containing the feature and into images containing the feature. The method also includes a step (c), which includes providing the partial images of those regions of the object whose assigned images contain the feature.
Weitere Ausführungsbeispiele gemäß dem ersten Aspekt vorliegenden Erfindung schaffen ein unbemanntes Luftfahrzeug, zum Beispiel eine Drohne, zur Erfassung eines Merkmals eines Objekts, mit zumindest einer Aufnahmeeinheit zur Erzeugung von Bildern durch eine optische Erfassung. Dabei ist das unbemannte Luftfahrzeug ansteuerbar, um das Objekt abzufliegen und um zumindest einen Teil des Objekts durch die Aufnahmeeinheit mit einer ersten Auflösung optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Darüber hinaus ist das unbemannte Luftfahrzeug ansteuerbar, um diejenigen Bereiche des Objekts, deren zugeordneten Bilder das Merkmal enthalten, erneut mit einer zweiten Auflösung optisch zu erfassen, die höher ist als die eine erste Auflösung. Further exemplary embodiments according to the first aspect of the present invention create an unmanned aircraft, for example a drone, for detecting a feature of an object, with at least one recording unit for generating images by optical detection. The unmanned aircraft can be controlled in order to fly over the object and to optically capture at least a part of the object by the recording unit with a first resolution in order to generate a plurality of images, each image representing an at least partially different area of the object. In addition, the unmanned aircraft can be controlled in order to optically capture those areas of the object whose assigned images contain the feature again with a second resolution that is higher than the first resolution.
Weitere Ausführungsbeispiele gemäß dem zweiten Aspekt der vorliegenden Erfindung schaffen ein unbemanntes Luftfahrzeug, zum Beispiel eine Drohne, zur Erfassung eines Merkmals eines Objekts, mit zumindest einer Aufnahmeeinheit zur Erzeugung von Bildern durch eine optische Erfassung. Dabei ist das unbemannte Luftfahrzeug ansteuerbar, um das Objekt abzufliegen und um zumindest einen Teil des Objekts durch die Aufnahmeeinheit optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Ferner ist das unbemannte Luftfahrzeug ansteuerbar, um für jeden Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, zu erzeugen.
Weitere Ausführungsbeispiele gemäß dem ersten Aspekt der vorliegenden Erfindung schaffen ein System zur Erfassung eines Merkmals eines Objekts, mit einem unbemannten Luftfahrzeug, zum Beispiel einer Drohne, wobei das unbemannte Luftfahrzeug ansteuerbar ist, um das Objekt abzufliegen, um zumindest einen Teil des Objekts durch zumindest eine Aufnahmeeinheit mit einer ersten Auflösung optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Ferner ist das System ausgebildet, die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Dabei ist das unbemannte Luftfahrzeug ansteuerbar, um diejenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, erneut mit einer zweiten Auflösung optisch zu erfassen, die höher ist als die eine erste Auflösung. Further exemplary embodiments according to the second aspect of the present invention create an unmanned aircraft, for example a drone, for detecting a feature of an object, with at least one recording unit for generating images by optical detection. The unmanned aircraft can be controlled in order to fly over the object and to optically capture at least part of the object using the recording unit in order to generate a plurality of images, each image representing an at least partially different area of the object. Furthermore, the unmanned aircraft can be controlled in order to generate an image with a first resolution and a plurality of partial images, each with a second resolution that is higher than the first resolution, for each area. Further exemplary embodiments according to the first aspect of the present invention provide a system for detecting a feature of an object, with an unmanned aerial vehicle, for example a drone, the unmanned aerial vehicle being controllable in order to fly over the object in order to view at least a part of the object by at least one Optically to detect recording unit with a first resolution to generate a plurality of images, each image representing an at least partially different area of the object. Furthermore, the system is designed to evaluate the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature. In this case, the unmanned aircraft can be controlled in order to optically record those areas of the object whose assigned images contain the feature again with a second resolution that is higher than the first resolution.
Weitere Ausführungsbeispiele gemäß dem zweiten Aspekt der vorliegenden Erfindung schaffen ein System zur Erfassung eines Merkmals eines Objekts, mit einem unbemannten Luftfahrzeug, zum Beispiel einer Drohne, wobei das unbemannte Luftfahrzeug ansteuerbar ist, um das Objekt abzufliegen und um zumindest einen Teil des Objekts durch die Aufnahmeeinheit optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Darüber hinaus ist das das unbemannte Luftfahrzeug ansteuerbar, um für jeden Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, zu erzeugen. Ferner ist das System ausgebildet, um die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren, und die Teilbilder derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, bereitzustellen, z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale. Further exemplary embodiments according to the second aspect of the present invention create a system for detecting a feature of an object with an unmanned aerial vehicle, for example a drone, wherein the unmanned aerial vehicle can be controlled in order to fly over the object and at least a part of the object by the recording unit optically sensed to produce a plurality of images, each image representing an at least partially different region of the object. In addition, the unmanned aircraft can be controlled in order to generate an image with a first resolution and a plurality of partial images, each with a second resolution that is higher than the first resolution, for each area. Furthermore, the system is designed to evaluate the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature, and the partial images of those areas of the object whose associated images Feature contain, provide, e.g. for classification or cataloging of the recorded features.
Ausführungsbeispiele gemäß dem ersten und zweiten Aspekt der vorliegenden Erfindung beruhen auf dem Kerngedanken, zur Erfassung eines Merkmals eines Objekts das Objekt abzufliegen und zumindest einen Teil des Objekts mit einer Aufnahmeeinheit mit einer ersten Auflösung zu erfassen und für diejenigen Bereiche des Objekts, die das Merkmal aufweisen, Aufnahmen mit einer zweiten Auflösung, die höher ist als die erste Auflösung, bereitzustellen, z.B. durch erneutes Erfassen eines solchen Bereichs (erster Aspekt) mit der zweiten Auflösung oder durch Erzeugen von mehreren Teilbildern mit der zweiten
Auflösung für jeden Bereich und Bereitstellen derjenigen Teilbilder, die das Merkmal enthalten. Embodiments according to the first and second aspect of the present invention are based on the core idea of flying over the object to detect a feature of an object and capturing at least part of the object with a recording unit with a first resolution and for those areas of the object that have the feature to provide recordings with a second resolution that is higher than the first resolution, eg by re-capturing such an area (first aspect) with the second resolution or by generating several partial images with the second Resolution for each area and providing those sub-images that contain the feature.
Bei dem Objekt kann es sich um ein großes und schwer zugängliches Objekt handeln, wie beispielsweise eine Windkraftanlage, eine Bohrinsel, eine Brücke, ein Kran, eine Fabrikanlage, eine Raffinerie oder ein Schiff. Bei dem Merkmal des Objekts kann es sich beispielsweise um Beschädigungen des Objekts handeln. Gemäß Ausführungsbeispielen kann ein erfindungsgemäßes Verfahren dazu verwendet werden, um diese Beschädigungen, zum Beispiel in Form von Rissen, Löchern, Abweichungen von geometrischen Normen, wie beispielsweise Verbiegungen, Rostbefall oder anderen Indikatoren, die einen Rückschluss auf die strukturelle Integrität des Objekts zulassen, zu erfassen. The object can be a large and difficult to access object, such as a wind turbine, oil rig, bridge, crane, factory, refinery, or ship. The feature of the object can be damage to the object, for example. According to exemplary embodiments, a method according to the invention can be used to detect this damage, for example in the form of cracks, holes, deviations from geometric norms, such as bending, rusting or other indicators that allow conclusions to be drawn about the structural integrity of the object .
Durch das Abfliegen des Objekts, beispielsweise mit einem unbemannten Luftfahrzeug, wie einer Drohne, kann ein solches Objekt mit geringem Zeit- und Ressourcenaufwand erfasst werden. Insbesondere kann beispielsweise auf den Einsatz von Menschen zur Erfassung selbst, wie beispielsweise Kletterer bei Windkraftanlagen, verzichtet werden, wodurch nicht nur Kosten eingespart werden können, sondern auch eine Gefährdung von Menschen vermieden werden kann. Darüber hinaus können durch das Abfliegen des Objekts Teile des Objekts erfasst werden, die ansonsten nicht erreichbar werden. Das Erfassen, zumindest eines Teils des Objekts, mit der ersten Auflösung und das erneute Erfassen von Bereichen des Objekts mit der zweiten Auflösung, die höher ist als die erste Auflösung, ermöglicht dabei einen guten Kompromiss zwischen Geschwindigkeit und Genauigkeit der Merkmalserfassung, da beispielsweise nicht das gesamte Objekt mit der höheren Auflösung abgetastet werden muss, was einen hohen Zeit- und Datenaufwand mit sich bringen kann, sondern nur Bereiche, bei denen auf Grundlage der Erfassung mit der ersten Auflösung Beschädigungen nicht ausgeschlossen werden konnten, oder bei denen Beschädigungen wahrscheinlich sind. In anderen Worten besteht ein erfindungsgemäßer Ansatz darin, nach einem Erfassen und Klassifizieren von Bildern eines Objekts von denjenigen Bereichen des Objekts, die einen Fehler oder ein anderes interessierendes Merkmal enthalten, neue Bilder mit höherer Auflösung zu erzeugen. By flying over the object, for example with an unmanned aircraft such as a drone, such an object can be detected with little expenditure of time and resources. In particular, for example, the use of people for the detection itself, such as climbers in wind turbines, can be dispensed with, which not only saves costs, but also prevents people from being endangered. In addition, by flying off the object, parts of the object can be detected that would otherwise be unreachable. Capturing at least part of the object with the first resolution and capturing areas of the object again with the second resolution, which is higher than the first resolution, enables a good compromise between the speed and accuracy of the feature detection, since, for example, the The entire object has to be scanned at the higher resolution, which can involve a great deal of time and data, but only areas where damage could not be ruled out based on the detection with the first resolution or where damage is likely. In other words, one approach according to the invention is to generate new higher resolution images after capturing and classifying images of an object from those areas of the object that contain a flaw or other feature of interest.
Auf Grundlage einer Mehrzahl von Bildern mit der ersten Auflösung kann in einfachen Worten eine Groberfassung des Objekts bzw. von Merkmalen des Objekts erfolgen. Diese Bilder können im Hinblick auf das Merkmal, wie beispielsweise eine Beschädigung, ausgewertet und klassifiziert werden, um diejenigen Bereiche des Objekts, deren
zugeordnete Bilder das Merkmal enthalten, mit der zweiten, höheren Auflösung, erneut zu erfassen. Auf Grundlage von Bildern mit der zweiten Auflösung können somit mit hoher Genauigkeit, beispielsweise auch kleine Beschädigung erkannt werden. Die Auswertung der Mehrzahl von Bildern kann dabei automatisiert, beispielsweise auf Grundlage von Ansätzen aus dem Machine Learning (maschinelles Lernen), oder manuell, beispielsweise durch einen Menschen, erfolgen. Ferner kann die Auswertung der Mehrzahl von Bildern auch teilautomatisiert erfolgen, bspw. mit automatisierten Verfahren, welche einen Menschen bei der Auswertung unterstützen. In simple terms, a rough detection of the object or of features of the object can be carried out on the basis of a plurality of images with the first resolution. These images can be evaluated and classified in terms of the feature, such as damage, to those areas of the object whose associated images contain the feature to recapture at the second, higher resolution. On the basis of images with the second resolution, small damage, for example, can thus also be detected with high accuracy. The evaluation of the plurality of images can be automated, for example based on approaches from machine learning (machine learning), or manually, for example by a human. Furthermore, the evaluation of the plurality of images can also take place in a partially automated manner, for example with automated methods which support a human in the evaluation.
Dabei kann ein erneutes Abfliegen nach einer Auswertung der Mehrzahl von Bildern am Boden, um neue Bilder mit der zweiten Auswertung zu erzeugen, durchgeführt werden, oder die Auswertung während des Flugs, also dem Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts, erfolgen. Um neue Bilder mit höherer Auflösung zu erzeugen, kann der Abstand der Aufnahmeeinheit zum Objekt reduziert werden oder eine Änderung einer Zoomeinstellung der Aufnahmeeinheit stattfinden. Darüber hinaus kann, z.B. auf Grundlage einer vorigen Bildklassifikation, ein Rasterbild erzeugt werden, wobei jedes Teilbild des Rasterbildes die zweite, höhere Auflösung aufweist. In this case, another flight can be carried out after an evaluation of the plurality of images on the ground in order to generate new images with the second evaluation, or the evaluation can take place during the flight, i.e. the object flies off and at least part of the object is optically detected . In order to generate new images with higher resolution, the distance between the recording unit and the object can be reduced or a zoom setting of the recording unit can be changed. In addition, a raster image can be generated, e.g., based on a previous image classification, with each partial image of the raster image having the second, higher resolution.
Ferner kann jedoch auch, beispielsweise unabhängig von einer Auswertung der Bilder bezüglich der Merkmale, für Bilder einer Erfassung eines Teils des Objekts, mit der ersten Auflösung, eine Mehrzahl von Teilbildern jeweils mit der zweiten Auflösung erzeugt werden. Somit kann bei einem einzelnen Abfliegen des Objekts die gesamte Datenmenge zur Auswertung, zum Beispiel im Hinblick auf Beschädigung des Objekts, erzeugt werden. Dies kann beispielsweise Vorteile aufweisen, wenn eine Drohne zum Abfliegen und Erfassen des Objekts nur eine geringere Rechenleistung zur Verfügung hat, welche nicht ausreicht um die Bilder auszuwerten, aber dafür dazu ausgebildet ist eine große Menge Daten zu erfassen und zu speichern. Ferner kann somit eine ganzheitliche Abtastung des Objekts erstellt werden, welche beispielsweise aus einer Vielzahl von Bildern mit der ersten Auflösung besteht, wobei zu einer Vielzahl oder sogar jedem Bild der Bilder mit der ersten Auflösung eine Vielzahl von Teilbildern mit der zweiten Auflösung bereitsteht, sodass ein Datensatz mit mehrstufiger Genauigkeit zur Objektbeschreibung bereitsteht. Dies kann beispielsweise bei besonders sicherheitskritischen Applikationen Vorteile aufweisen, bei denen ein lückenloser Nachweis über den Zustand des Objekts notwendig ist. Ferner kann durch einen solchen Datensatz eine intuitive Möglichkeit zur Auswertung, zum Beispiel für einen Menschen, geschaffen werden. Zur Überprüfung auf Beschädigungen kann der
Mensch beispielsweise aus einer Übersicht des Objekts in Form eines 3-D Modells, bestehend aus den Bildern der ersten Auflösung, Teile des Objekts durch, für eine Vielzahl oder sogar allen Bildern der ersten Auflösung, hinterlegte Teilbilder mit der zweiten Auflösung, schnell wichtige Bereiche des Objekts genauer betrachten. Furthermore, however, for example independently of an evaluation of the images with regard to the features, for images of a detection of a part of the object with the first resolution, a plurality of partial images can also be generated, each with the second resolution. Thus, when the object flies off, the entire amount of data can be generated for evaluation, for example with regard to damage to the object. This can have advantages, for example, if a drone has only little computing power available to fly off and capture the object, which is not sufficient to evaluate the images, but is designed to capture and store a large amount of data. Furthermore, a holistic scanning of the object can thus be created, which consists, for example, of a large number of images with the first resolution, with a large number or even each image of the images with the first resolution being provided with a large number of partial images with the second resolution, so that a Data set with multi-level accuracy for object description is available. This can have advantages, for example, in applications that are particularly critical to safety, in which complete verification of the status of the object is required. Furthermore, such a data record can be used to create an intuitive possibility for evaluation, for example for a human being. To check for damage, the Human, for example, from an overview of the object in the form of a 3-D model, consisting of the images of the first resolution, parts of the object through, for a large number or even all images of the first resolution, stored partial images with the second resolution, important areas of the examine the object more closely.
Analog zu den vorherigen Erläuterungen können jedoch auch die Mehrzahl von Bilder mit der ersten Auflösung, als auch die Mehrzahl von Teilbildern mit der zweiten Auflösung bspw. automatisiert ausgewertet werden, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren, sodass bspw. dem Menschen, Teilbilder derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, bereitgestellt und bspw. hervorgehoben werden können. In einfachen Worten können Bilder mit der ersten Auflösung zusammen mit hochaufgelösten Rasterbildern mit der zweiten Auflösung erzeugt werden, die Bilder klassifiziert werden und anhand der Klassifizierung Teilbilder, also beispielsweise Rasterbild von den Bildern, die fehlerhafte Bereiche darstellen bereitgestellt werden. Dabei sei darauf hingewiesen, dass die Auswertung der Mehrzahl von Bilder und/oder Teilbildern automatisiert oder teilautomatisiert oder manuell erfolgen kann. Analogously to the previous explanations, however, the plurality of images with the first resolution and the plurality of partial images with the second resolution can also be evaluated automatically, for example, in order to split the generated images into images that do not contain the feature and into images that contain the feature, so that, for example, partial images of those areas of the object whose associated images contain the feature can be made available and, for example, highlighted to the human being. In simple terms, images with the first resolution can be generated together with high-resolution raster images with the second resolution, the images are classified and, based on the classification, sub-images, for example raster images, are provided from the images that represent defective areas. It should be pointed out here that the evaluation of the plurality of images and/or sub-images can take place in an automated or partially automated manner or manually.
In anderen Worten kann beim ersten Abfliegen zusätzlich zu den für die Auswertung, z.B. eine Auswertung am Boden mittels eines Laptops, notwendigen ersten Bildern, zu jedem Bild bspw. automatisch auch ein höher aufgelöstes Rasterbild, also bspw. eine Mehrzahl von Teilbildern jeweils mit der zweiten Auflösung, erzeugt werden. Bei Verwendung eines unbemannten Luftfahrzeugs, bspw. einer Drohne, welche die Aufnahmeeinheit umfasst, kann dazu die Drohne an einem Wegpunkt ihrer Flugtrajektorie stoppen, das erste Bild erzeugen und danach bspw. sofort aus derselben Position das hochaufgelöste Rasterbild erzeugen. Zur Erhöhung der Auflösung kann dabei bspw. ein Zoomobjektiv eingesetzt werden. Ferner kann die Aufnahmeeinheit zur Erhöhung der Auflösung auch eine Mehrzahl von Kameras aufweisen, bspw. zwei oder drei Kameras. Darüber hinaus kann die Aufnahmeeinheit, zur Erhöhung der Auflösung eine Mehrzahl von Linsen oder Kameralinsen (Multilens. Kamera, Muli-Linsen-Kamera) aufweisen. Nach Klassifizierung nach Bildern, die Merkmale enthalten, können dann direkt aus den Rasterbildern die hochaufgelösten Bilder mit den Merkmalen dargestellt werden. D.h. es muss kein zweiter Flug stattfinden, da alle notwendigen höchstaufgelösten Bilder bereits vorliegen und nur noch die Auswahl getroffen werden muss.
Darüber hinaus kann ein bspw. automatisiertes Auswerten der Bilder, beispielsweise der Bilder mit der ersten Auflösung, oder der Bilder mit der zweiten Auflösung während oder nach dem Abfliegen des Objekts durchgeführt werden. Je nach Applikation oder vorhandener Hardware kann somit beispielsweise im Flug, direkt nach dem Erfassen eines Bildes mit der ersten Auflösung, durch eine Auswertung des Bildes beziehungsweise Klassifikation des Bildes entschieden werden, ob weitere Bilder mit der zweiten, höheren Auflösung des zugehörigen Bereichs des Objekts erfasst werden. Ferner kann, wie zuvor erklärt, auch für zumindest einen Teil des Objekts sowohl ein oder mehrere Bilder mit der ersten Auflösung und zugehörig zu einem oder mehreren Bildern mit der ersten Auflösung eine Vielzahl von Bildern mit der zweiten, höheren Auflösung erzeugt werden und die Auswertung bzw. Klassifikation im Flug, also beim Abfliegen, oder nach dem Abfliegen auf Grundlage einer beliebigen Kombination der Bilder erfolgen. In other words, when flying for the first time, in addition to the first images required for the evaluation, e.g. an evaluation on the ground using a laptop, a higher-resolution raster image, for example, can also be automatically generated for each image, i.e. a plurality of partial images each with the second Resolution, are generated. When using an unmanned aircraft, for example a drone, which includes the recording unit, the drone can stop at a waypoint of its flight trajectory, generate the first image and then, for example, immediately generate the high-resolution raster image from the same position. A zoom lens, for example, can be used to increase the resolution. Furthermore, to increase the resolution, the recording unit can also have a plurality of cameras, for example two or three cameras. In addition, the recording unit can have a plurality of lenses or camera lenses (multi-lens camera, multi-lens camera) to increase the resolution. After classification according to images that contain features, the high-resolution images with the features can then be displayed directly from the raster images. This means that there is no need for a second flight, since all the necessary high-resolution images are already available and only the selection has to be made. In addition, for example an automated evaluation of the images, for example the images with the first resolution or the images with the second resolution, can be carried out during or after the object has flown off. Depending on the application or the existing hardware, a decision can be made, for example in flight, directly after capturing an image with the first resolution, by evaluating the image or classifying the image as to whether further images with the second, higher resolution of the associated area of the object are to be captured will. Furthermore, as explained above, one or more images with the first resolution and, associated with one or more images with the first resolution, a multiplicity of images with the second, higher resolution can also be generated for at least part of the object and the evaluation or Classification can be done in-flight, i.e. at take-off, or after take-off based on any combination of the images.
Die Auswertung, bzw. Klassifikation kann auch nach dem Abfliegen des Objekts, also nach dem Abfliegen des Objekts, zur Erzeugung der Bilder mit der ersten Auflösung und vor einem erneuten Abfliegen des Objekts zur Erzeugung von Bildern mit der zweiten Auflösung auf einem externen Rechner, also beispielsweise einem Rechner, z.B. Laptop, der nicht Teil der Aufnahmeeinheit oder eines unbemannten Luftfahrzeugs, wie beispielsweise einer Drohne, ist, durchgeführt werden. The evaluation or classification can also be carried out after the object has taken off, i.e. after the object has taken off, to generate the images with the first resolution and before the object has flown off again to generate images with the second resolution on an external computer, i.e For example, a computer, e.g. laptop, which is not part of the recording unit or an unmanned aircraft, such as a drone, can be carried out.
Somit ermöglichen Verfahren gemäß der vorliegenden Erfindung eine genaue Abtastung eines Objekts mit geringem Zeit-, und Ressourcenaufwand. Thus, methods in accordance with the present invention enable accurate scanning of an object with little expenditure of time and resources.
Bei weiteren Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird der Schritt (b) nach dem Abfliegen des Objekts durchgeführt und der Schritt (c) umfasst ein Anfliegen derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten. Durch das bspw. automatisierte Auswerten der Mehrzahl der Bilder nach dem Abfliegen des Objekts kann auf Grundlage der Bilder mit der ersten Auflösung aus Schritt (a) eine Vorverarbeitung stattfinden, auf Grundlage derer Schritt (c) durchgeführt werden kann, sodass beispielsweise nur diejenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, erneut mit der zweiten Auflösung erfasst werden. Damit kann eine signifikante Zeit- und Datenersparnis erzielt werden. In further exemplary embodiments according to the first aspect of the present invention, step (b) is carried out after the object has been flown over, and step (c) comprises flying over to those regions of the object whose associated images contain the feature. For example, by automatically evaluating the majority of the images after the object has taken off, pre-processing can take place on the basis of the images with the first resolution from step (a), on the basis of which step (c) can be carried out, so that, for example, only those areas of the Object whose associated images contain the feature are recorded again with the second resolution. Significant time and data savings can thus be achieved.
Durch das bspw. automatisierte Auswerten der Mehrzahl von Bildern nach dem Abfliegen des Objekts, kann die Auswertung darüber hinaus auf einem externen Rechner erfolgen,
sodass ein beispielsweise unbemanntes Luftfahrzeug zum Abfliegen des Objekts nur geringe Hardwareanforderungen erfüllen muss. Ferner kann insbesondere bei großen Objekten ein Wiederherstellen der Flugfähigkeit des Luftfahrzeugs nach dem Abfliegen notwendig sein, was zeitsparend gleichzeitig mit der Auswertung durchgeführt werden kann. Der Schritt (c) kann ferner nach dem Schritt (b) und beispielsweise nach der zuvor erläuterten Zwischenlandung durchgeführt werden. In einfachen Worten kann die Auswertung der Bilder nach dem Flug erfolgen und anschließend ein erneutes Abfliegen des Objekts, um Bilder von den fehlerhaften Bereichen mit der höheren Auflösung zu erzeugen. By, for example, the automated evaluation of the majority of images after the object has taken off, the evaluation can also be carried out on an external computer, so that an unmanned aerial vehicle, for example, only has to meet low hardware requirements to fly over the object. Furthermore, particularly in the case of large objects, it may be necessary to restore the aircraft's ability to fly after it has taken off, which can be carried out at the same time as the evaluation to save time. Step (c) can also be carried out after step (b) and, for example, after the stopover explained above. In simple terms, the images can be evaluated after the flight and then the object can be flown again to generate higher resolution images of the defective areas.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung erzeugt die Aufnahmeeinheit im Schritt (a) und im Schritt (c) jeweils ein Bild mit der gleichen Brennweite. Ferner wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen ersten Abstand zu dem Objekt aufweist, und dass das Objekt im Schritt (c) derart angeflogen wird, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen zweiten Abstand zu dem Objekt aufweist, der geringer ist als der erste Abstand. In exemplary embodiments according to the first aspect of the present invention, the recording unit generates an image with the same focal length in step (a) and in step (c). Furthermore, the object is flown to in step (a) in such a way that the recording unit is at a first distance from the object when an image is generated, and the object is flown to in step (c) in such a way that the recording unit is a second distance when an image is generated to the object that is less than the first distance.
Dadurch kann eine einfache und kostengünstige Aufnahmeeinheit, beispielsweise mit einer einzigen Brennweite, verwendet werden. Die Erhöhung der Auflösung wird dementsprechend durch eine Verringerung des Abstands von der Aufnahmeeinheit zum Objekt im Schritt (c) erzielt. As a result, a simple and inexpensive recording unit, for example with a single focal length, can be used. The increase in resolution is accordingly achieved by reducing the distance from the recording unit to the object in step (c).
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt im Schritt (a) und im Schritt (c) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes den gleichen oder ähnlichen Abstand zu dem Objekt aufweist. Ferner erzeugt die Aufnahmeeinheit im Schritt (a) ein Bild mit einer ersten Brennweite und im Schritt (c) ein Bild mit einer zweiten Brennweite, wobei die zweite Brennweite größer ist als die erste Brennweite. Die Erhöhung der Auflösung kann dementsprechend durch eine Änderung der Brennweite eines Objektivs der Aufnahmeeinheit erfolgen, z.B. durch eine Änderung einer Zoomeinstellung oder dem Austausch des Objektivs. Die Aufnahmeeinheit kann beispielsweise bei einer Zwischenlandung umgerüstet werden, um Aufnahmen in Schritt (c) mit der zweiten Brennweite zu erfassen. Ferner kann die Aufnahmeeinheit jedoch auch mit Kameras unterschiedlicher Brennweite ausgerüstet sein, sodass die Schritte (a) und (c) auch während eines einzelnen Fluges durchgeführt werden können.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung verwendet die Aufnahmeeinheit im Schritt (a) zumindest eines aus einer ersten Kamera mit der ersten Brennweite, eines ersten Objektiv mit der ersten Brennweite und/oder einer ersten Kameralinse mit der ersten Brennweite oder ein Zoomobjektiv mit einer ersten Zoomeinstellung gemäß der ersten Brennweite. Darüber hinaus umfasst der Schritt (c) ein Ersetzen der ersten Kamera der Aufnahmeeinheit durch eine zweite Kamera mit der zweiten Brennweite und/oder ein Ersetzen des ersten Objektivs der Aufnahmeeinheit durch ein zweites Objektiv mit der zweiten Brennweite und/oder ein Ersetzen der ersten Kameralinse der Aufnahmeeinheit mit einer zweiten Kameralinse mit der zweiten Brennweite oder ein Einstellen des Zoomobjektivs der Aufnahmeeinheit auf eine zweite Zoomeinstellung gemäß der zweiten Brennweite. Sowohl die Änderung der Kamera, des Objektivs und/oder der Kameralinse, als auch die Änderung der Zoomeinstellung kann dabei im Zuge einer Zwischenlandung oder auch während dem Abfliegen des Objekts, z.B. automatisiert, durchgeführt werden. Durch die Veränderung von zumindest eines aus Kamera, Objektiv, Kameralinse und/oder Zoomeinstellung kann eine Erhöhung der Auflösung ohne Änderung des Erfassungsabstands, also des Abstands der Aufnahmeeinheit vom dem Objekt, durchgeführt werden, sodass beispielsweise bei einem automatisierten oder autonomen Abfliegen des Objekts keine Veränderungen von Wegpunkten, welche die Trajektorie des Abfliegens festlegen, stattfinden muss. In exemplary embodiments according to the first aspect of the present invention, the object is flown to in step (a) and in step (c) in such a way that the recording unit is at the same or similar distance from the object when an image is generated. Furthermore, in step (a) the recording unit generates an image with a first focal length and in step (c) an image with a second focal length, the second focal length being greater than the first focal length. The resolution can accordingly be increased by changing the focal length of a lens of the recording unit, for example by changing a zoom setting or by exchanging the lens. The recording unit can, for example, be converted during a stopover in order to record recordings in step (c) with the second focal length. Furthermore, however, the recording unit can also be equipped with cameras of different focal lengths, so that steps (a) and (c) can also be carried out during a single flight. In embodiments according to the first aspect of the present invention, the recording unit in step (a) uses at least one of a first camera with the first focal length, a first lens with the first focal length and/or a first camera lens with the first focal length or a zoom lens with a first zoom setting according to the first focal length. In addition, step (c) includes replacing the first camera of the recording unit with a second camera with the second focal length and/or replacing the first lens of the recording unit with a second lens with the second focal length and/or replacing the first camera lens Recording unit with a second camera lens with the second focal length or setting the zoom lens of the recording unit to a second zoom setting according to the second focal length. Both the change of the camera, the lens and/or the camera lens, and the change of the zoom setting can be carried out in the course of a stopover or even while the object is taking off, eg automatically. By changing at least one of the camera, lens, camera lens and/or zoom setting, the resolution can be increased without changing the detection distance, i.e. the distance between the recording unit and the object, so that, for example, there are no changes when the object flies off automatically or autonomously of waypoints, which determine the trajectory of departure, must take place.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst das erneute optische Erfassen des Bereichs im Schritt (c) das Erzeugen einer Mehrzahl von Teilbildern des Bereichs jeweils mit der zweiten Auflösung. Dabei kann der Schritt (c) beispielsweise insbesondere das zuvor beschriebene Anfliegen derjenigen Bereiche des Objekts umfassen, deren zugeordnete Bilder das Merkmal enthalten. In einfachen Worten kann somit eine Rasteraufnahme mit höherer Auflösung des entsprechenden Bereichs erzeugt werden. Somit können Beschädigungen zuverlässig und genau erkannt werden. In exemplary embodiments according to the first aspect of the present invention, the renewed optical detection of the area in step (c) comprises the generation of a plurality of partial images of the area, each with the second resolution. In this case, step (c) can include, for example, in particular the above-described approach to those areas of the object whose assigned images contain the feature. In simple terms, a raster recording with a higher resolution of the corresponding area can thus be generated. In this way, damage can be reliably and accurately detected.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung ist jedem im Schritt (a) erzeugten Bild eine Positions- und/oder Lageinformation der Aufnahmeeinheit zugeordnet. Ferner werden im Schritt (c) die abzufliegenden Bereiche des Objekts unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten, bestimmt. Einfach ausgedrückt können Wegpunkte (Waypoints) für das erneute Abfliegen bzw. Anfliegen basierend auf den PositionsVLageinformationen der Aufnahmeeinheit erzeugt werden. Somit kann bei einem erneuten Anfliegen des Objekts eine Trajektorie erzeugt werden, welche beispielsweise nur noch Wegpunkte enthält, die
zur Erfassung von Bereichen, welche mögliche Beschädigungen enthalten, geeignet sind. Dementsprechend kann erneutes An-bzw. Abfliegen des Objekts, zur Erzeugung von Bildern mit der zweiten Auflösung, mit geringem Zeitaufwand durchgeführt werden. In exemplary embodiments according to the first aspect of the present invention, each image generated in step (a) is assigned position and/or orientation information of the recording unit. Furthermore, in step (c), the areas of the object to be flown over are determined using the position and/or location information of the images that contain the feature. To put it simply, waypoints for the renewed departure or arrival can be generated based on the position information of the recording unit. Thus, when approaching the object again, a trajectory can be generated which, for example, only contains waypoints that are suitable for detecting areas containing possible damage. Accordingly, renewed on or Flying off the object to generate images with the second resolution can be carried out with little expenditure of time.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug (UAV unmanned, uninhabited oder unpiloted aerial vehicle), zum Beispiel einer Drohne, abgeflogen, das die Aufnahmeeinheit umfasst. Ferner umfasst der Schritt (b) das Übertragen der im Schritt (a) erzeugten Bilder von dem unbemannten Luftfahrzeug auf einen Rechner, zum Beispiel einen Laptop-Computer, und das Auswerten der Bilder durch den Rechner. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, bspw. kann ein Teil der Auswertung automatisiert durchgeführt werden oder auch die gesamte Auswertung der Bilder. Bei einer ausreichend schnellen Datenübertragung zwischen Rechner und Luftfahrzeug kann das erneute optische Erfassen des Schrittes (c) während des Abfliegens aus Schritt (a) erfolgen, sodass eine Auswahl derjenigen Bereiche des Objekts, die mit der zweiten Auflösung erfasst werden, auf Grundlage der Bilder mit der ersten Auflösung während des Abfliegens stattfinden kann. Durch eine Auslagerung der Auswertung auf einen externen Rechner, bspw. einen Remote-Computer kann ein Luftfahrzeug mit geringeren Hardwareanforderungen verwendet werden. Darüber hinaus kann das Übertragen und Auswerten der Bilder durch den Rechner jedoch auch während einer Landung, zum Beispiel zur Vorbereitung auf das erneute Anfliegen des Objekts zur Erzeugung der Bilder mit der zweiten Auflösung durchgeführt werden. In exemplary embodiments according to the first aspect of the present invention, the object is flown over with an unmanned aerial vehicle (UAV unmanned, uninhabited or unpiloted aerial vehicle), for example a drone, which includes the recording unit. Furthermore, step (b) includes the transmission of the images generated in step (a) from the unmanned aircraft to a computer, for example a laptop computer, and the evaluation of the images by the computer. The evaluation of the images includes an automated evaluation of the images, for example part of the evaluation can be carried out automatically or the entire evaluation of the images. With sufficiently fast data transmission between the computer and the aircraft, step (c) can be optically recorded again during departure from step (a), so that those areas of the object that are recorded with the second resolution can be selected on the basis of the images with the first resolution can take place during departure. By outsourcing the evaluation to an external computer, for example a remote computer, an aircraft with lower hardware requirements can be used. In addition, however, the images can also be transmitted and evaluated by the computer during a landing, for example in preparation for the object flying again to generate the images with the second resolution.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung fliegt das unbemannte Luftfahrzeug das Objekt im Schritt (a) autonom ab. Ferner umfasst der Schritt (b) das Erzeugen von Wegpunkten unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten, und das Übertragen der Wegpunkte bspw. von dem zuvor beschriebenen Rechner, an das unbemannte Luftfahrzeug. Außerdem fliegt das unbemannte Luftfahrzeug im Schritt (c) die Bereiche des Objekts unter Verwendung der Wegpunkte autonom an. Dadurch kann eine vollautonome Erfassung des Objekts bzw. des Merkmals des Objekts durchgeführt werden. Durch die Wegpunkte kann eine zeiteffiziente Trajektorie geplant werden, durch die in Schritt (c) die entsprechenden Bereiche des Objekts mit der zweiten Auflösung erfasst werden können. Die Wegpunkte können bspw. auf Grundlage eines CAD-Modells des Objekts erstellt werden. Dabei kann das Modell durch die Erfassung des Objekts verbessert werden, und auf Grundlage dessen die Wegpunkte angepasst werden.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Darüber hinaus umfasst das unbemannte Luftfahrzeug einen Rechner, wobei der Schritt (b) das Auswerten der Bilder und das Erzeugen von Wegpunkten unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten, durch den Rechner des unbemannten Luftfahrzeugs umfasst. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, die Auswertung kann also beispielsweise vollständig automatisiert oder teilautomatisiert erfolgen. Außerdem fliegt das unbemannte Luftfahrzeug im Schritt (c) die Bereiche des Objekts unter Verwendung der Wegpunkte autonom an. Durch das Bereitstellen der Rechenleistung zur Auswertung der Bilder und zur Erzeugung der Wegpunkte durch das unbemannte Luftfahrzeug kann die Erfassung des Objekts, bzw. des Merkmals des Objekts durch ein einziges und damit bspw. zeiteffizientes Abfliegen durchgeführt werden. Das Erzeugen der Wegpunkte kann dabei auch ein Adaptieren von bestehenden Wegpunkten umfassen, sodass das unbemannte Luftfahrzeug während dem Aufnehmen der Bilder auf Grundlage der Auswertung der Bilder die eigene Flugtrajektorie anpasst. In embodiments according to the first aspect of the present invention, the unmanned aerial vehicle autonomously flies the object in step (a). Furthermore, step (b) comprises generating waypoints using the position and/or location information of the images containing the feature and transmitting the waypoints, for example from the computer described above, to the unmanned aerial vehicle. Also, in step (c), the UAV autonomously flies to the areas of the object using the waypoints. As a result, the object or the feature of the object can be detected fully autonomously. A time-efficient trajectory can be planned using the waypoints, by means of which the corresponding areas of the object can be recorded with the second resolution in step (c). The waypoints can be created, for example, based on a CAD model of the object. In doing so, the model can be improved by detecting the object, and on the basis of this the waypoints can be adjusted. In exemplary embodiments according to the first aspect of the present invention, the object is flown over autonomously with an unmanned aircraft, eg a drone, which includes the recording unit. In addition, the unmanned aerial vehicle comprises a computer, wherein step (b) comprises evaluating the images and generating waypoints using the position and/or location information of the images containing the feature by the computer of the unmanned aerial vehicle. In this case, the evaluation of the images includes an automated evaluation of the images, the evaluation can therefore, for example, be carried out in a fully automated or partially automated manner. Also, in step (c), the UAV autonomously flies to the areas of the object using the waypoints. By providing the computing power for evaluating the images and for generating the waypoints by the unmanned aircraft, the object or the feature of the object can be detected by a single and thus, for example, time-efficient flight. The generation of the waypoints can also include an adaptation of existing waypoints, so that the unmanned aircraft adapts its own flight trajectory while the images are being recorded on the basis of the evaluation of the images.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung werden die Schritte (a) bis (c) während des Abfliegens des Objekts derart durchgeführt, dass im Schritt (a) ein Bild eines Bereichs erzeugt wird und im Schritt (b) das im Schritt (a) erzeugte Bild vor der Erzeugung eines Bildes für einen weiteren Bereich klassifiziert wird. Darüber hinaus werden die Schritte (a) bis (c) während des Abfliegens des Objekts derart durchgeführt, dass wenn im Schritt (b) das Bild als das Merkmal enthaltend klassifiziert wird, im Schritt (c) der Bereich vor der Erzeugung des weiteren Bildes optisch erneut erfasst wird, bevor ein Bild für den weiteren Bereich erzeugt wird, und, dass wenn im Schritt (b) das Bild als das Merkmal nicht enthaltend klassifiziert wird, ein Bild für den weiteren Bereich erzeugt wird. Somit kann bei einem einzigen Abfliegen des Objekts das Merkmal bzw. das Objekt erfasst werden. Durch die Klassifikation der im Schritt (a) erzeugten Bilder kann das Aufnehmen von Bildern mit der zweiten, höheren Auflösung, welche das Merkmal, also beispielsweise eine Beschädigung des Objekts, nicht enthaltend vermieden werden, sodass lediglich relevante Informationen erfasst werden. In anderen Worten kann die Auswertung der Bilder während des Fluges durchgeführt werden und Bilder mit der höheren Auflösung bspw. nur von fehlerhaften Bereichen erzeugt werden.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung erzeugt die Aufnahmeeinheit im Schritt (a) und im Schritt (c) jeweils ein Bild mit der gleichen Brennweite. Darüber hinaus wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen ersten Abstand zu dem Objekt aufweist. Ferner wird im Schritt (c) der Abstand der Aufnahmeeinheit zu dem Objekt auf einen zweiten Abstand reduziert, der geringer ist als der erste Abstand. In einfachen Worten wird die höhere Auflösung durch einen kleineren Abstand zum Objekt erzielt. Die Verringerung des Abstands kann beispielsweise einfach und schnell durch eine Anpassung der Flugtrajektorie realisiert werden. In embodiments according to the first aspect of the present invention, steps (a) to (c) are performed while flying the object such that in step (a) an image of an area is generated and in step (b) the image generated in step (a ) generated image is classified before generating an image for another area. In addition, steps (a) to (c) are performed while flying the object such that when in step (b) the image is classified as containing the feature, in step (c) the area prior to generation of the further image is optically examined is recaptured before generating an image for the further area, and if in step (b) the image is classified as not containing the feature, an image is generated for the further area. The feature or the object can thus be detected when the object flies off once. The classification of the images generated in step (a) makes it possible to avoid taking images with the second, higher resolution, which do not contain the feature, ie damage to the object, for example, so that only relevant information is recorded. In other words, the evaluation of the images can be carried out during the flight and images with the higher resolution, for example only of defective areas, can be generated. In exemplary embodiments according to the first aspect of the present invention, the recording unit generates an image with the same focal length in step (a) and in step (c). In addition, the object is flown to in step (a) in such a way that the recording unit is at a first distance from the object when an image is generated. Furthermore, in step (c) the distance between the recording unit and the object is reduced to a second distance which is less than the first distance. In simple terms, the higher resolution is achieved by getting closer to the object. The distance can be reduced quickly and easily, for example, by adapting the flight trajectory.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen ersten Abstand zu dem Objekt aufweist, und die Aufnahmeeinheit ein Bild mit einer ersten Brennweite erzeugt. Ferner ist im Schritt (c) der Abstand der Aufnahmeeinheit zu dem Objekt gleich oder ähnlich dem ersten Abstand, und die Aufnahmeeinheit erzeugt ein Bild mit einer zweiten Brennweite, die größer ist als die erste Brennweite. Somit kann beispielsweise bei einer autonomen Erfassung des Objekts der vorbestimmte Wegpunkt beibehalten werden, sodass keine zusätzliche Adaption der Flugtrajektorie notwendig ist. Dabei kann beispielsweise lediglich die Zeitdauer erhöht werden, während derer sich das unbemannte Luftfahrzeug an dem entsprechenden Wegpunkt befindet, um Bilder mit einer zweiten Auflösung zu erzeugen. Der Abstand der Aufnahmeeinheit zu dem Objekt in Schritt (c) kann dabei im Vergleich zum ersten Abstand ähnlich oder sogar gleich sein, sodass eine Auflösungsverbesserung aufgrund einer Änderung der Brennweite im Vergleich zu einer Auflösungsverbesserung aufgrund einer Abstandsänderung überwiegt. Die beiden Abstände können um wenige Prozent, z.B. um weniger als 5% oder weniger als 10 % oder weniger als 20%, voneinander abweichen. Es sei jedoch darauf hingewiesen, dass der vorbestimmte Wegpunkt bzw. die Flugtrajektorie gemäß Ausführungsbeispielen auch variiert oder angepasst werden kann. In exemplary embodiments according to the first aspect of the present invention, the object is flown to in step (a) such that the recording unit is at a first distance from the object when generating an image, and the recording unit generates an image with a first focal length. Furthermore, in step (c), the distance from the capturing unit to the object is equal to or similar to the first distance, and the capturing unit generates an image with a second focal length which is greater than the first focal length. Thus, for example, when the object is detected autonomously, the predetermined waypoint can be retained, so that no additional adaptation of the flight trajectory is necessary. In this case, for example, only the length of time during which the unmanned aircraft is located at the corresponding waypoint can be increased in order to generate images with a second resolution. The distance between the recording unit and the object in step (c) can be similar or even the same as the first distance, so that an improvement in resolution due to a change in focal length outweighs an improvement in resolution due to a change in distance. The two distances can deviate from one another by a few percent, e.g. by less than 5% or less than 10% or less than 20%. However, it should be pointed out that the predetermined waypoint or the flight trajectory can also be varied or adapted according to exemplary embodiments.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst die Aufnahmeeinheit zumindest eines aus einer Mehrzahl von Objektiven, einem Zoomobjektiv, einer Mehrzahl von Kameras und einer Mehrzahl von Kameralinsen . Ferner verwendet die Aufnahmeeinheit im Schritt (a) eine erste Kamera, ein erstes Objektiv, und/oder eine erste Kameralinse, mit der ersten Brennweite oder stellt das Zoomobjektiv auf eine erste Zoomeinstellung gemäß der ersten Brennweite ein. Darüber hinaus verwendet die Aufnahmeeinheit im Schritt (c) eine zweite Kamera, ein zweites Objektiv
und/oder eine zweite Kameralinse mit der zweiten Brennweite oder stellt das Zoomobjektiv auf eine zweite Zoomeinstellung gemäß der zweiten Brennweite ein. Diese Anpassungen können automatisiert während des Flugs durchgeführt werden, sodass beispielsweise mit einem einzigen Abfliegen des Objekts das Merkmal des Objekts erfasst werden kann. Die Zoomeinstellung und/oder die Auswahl der Kamera, des Objektivs und/oder der Kameralinse können dabei beispielsweise mit den Wegpunkten und/oder einem zeitlichen Ablauf des Flugs verknüpft werden. In exemplary embodiments according to the first aspect of the present invention, the recording unit comprises at least one of a plurality of objectives, a zoom lens, a plurality of cameras and a plurality of camera lenses. Furthermore, in step (a), the recording unit uses a first camera, a first lens, and/or a first camera lens with the first focal length or sets the zoom lens to a first zoom setting according to the first focal length. In addition, in step (c), the recording unit uses a second camera, a second lens and/or a second camera lens with the second focal length or adjusts the zoom lens to a second zoom setting according to the second focal length. These adjustments can be carried out automatically during the flight, so that the feature of the object can be detected with a single flight of the object, for example. The zoom setting and/or the selection of the camera, the lens and/or the camera lens can be linked to the waypoints and/or a time sequence of the flight, for example.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst das erneute optische Erfassen des Bereichs im Schritt (c) das Erzeugen einer Mehrzahl von Teilbildern des Bereichs jeweils mit der zweiten Auflösung. Die Mehrzahl von Teilbildern bestimmen kann dementsprechend in einfachen Worten eine Rasteraufnahme mit höherer Auflösung bilden, sodass beispielsweise zugehörig zu einem Bild mit der ersten Auflösung eine Mehrzahl von Detailbildern erzeugt werden kann. In exemplary embodiments according to the first aspect of the present invention, the renewed optical detection of the area in step (c) comprises the generation of a plurality of partial images of the area, each with the second resolution. In simple terms, the plurality of partial images can accordingly form a raster image with a higher resolution, so that, for example, a plurality of detailed images can be generated associated with an image with the first resolution.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Ferner umfasst das unbemannte Luftfahrzeug einen Rechner, wobei der Schritt (b) das Auswerten der Bilder durch den Rechner des unbemannten Luftfahrzeugs umfasst. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, die Auswertung kann also beispielsweise vollständig automatisiert oder teilautomatisiert erfolgen. Durch die Bereitstellung der Rechenleistung durch das Luftfahrzeug kann beispielsweise mit einem einzigen Abfliegen des Objekts das Merkmal des Objekts erfasst werden, sodass das Verfahren besonders zeiteffizient durchgeführt werden kann. Darüber hinaus kann das Luftfahrzeug durch die Rechenleistung die eigene Trajektorie, beispielsweise in Form der Wegpunkte, adaptiv, auf Grundlage der Auswertungsergebnisse planen. Somit kann eine vollautonome Erfassung des Merkmals des Objekts durchgeführt werden. In exemplary embodiments according to the first aspect of the present invention, the object is flown over autonomously with an unmanned aircraft, e.g. a drone, which includes the recording unit. Furthermore, the unmanned aircraft includes a computer, step (b) comprising the evaluation of the images by the computer of the unmanned aircraft. In this case, the evaluation of the images includes an automated evaluation of the images, the evaluation can therefore, for example, be carried out in a fully automated or partially automated manner. By providing the computing power by the aircraft, the feature of the object can be detected, for example, with a single flight of the object, so that the method can be carried out in a particularly time-efficient manner. In addition, the aircraft can use the computing power to plan its own trajectory, for example in the form of waypoints, adaptively, based on the evaluation results. A fully autonomous detection of the feature of the object can thus be carried out.
Ausführungsbeispiele gemäß dem ersten Aspekt der vorliegenden Erfindung weisen den folgenden Schritt (d) auf, wobei der Schritt (d) ein Übertragen der im Schritt (c) erzeugten Bilder an eine Auswertungseinheit, z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale, umfasst. Die Bilder mit der höheren Auflösung, welche im Schritt (c) erzeugt werden, können zur Auswertung der Merkmale des Objekts, also beispielsweise von Beschädigungen des Objekts, wie zu Beispiel Rissen, an eine Auswertungseinheit, wie beispielsweise einem externen Rechner, übertragen werden. Diese Information kann dann
beispielsweise in ein bestehendes Modell des Objekts eingepflegt werden. Ferner können von der Auswertungseinheit auch weitere Instruktionen an das unbemannte Luftfahrzeug zurückgesendet werden, zum Beispiel bei der Erkennung eines bestimmten Typs von Beschädigung, ein erneutes Anfliegen und Erfassen der Beschädigung, beispielsweise mit anderen Messmethoden. Im Falle einer Windkraftanlage könnte beispielsweise auf Grundlage einer Bildauswertung eine elektrische Vermessung der Blitzschutzvorrichtung der Windkraftanlage durchgeführt werden. Embodiments according to the first aspect of the present invention have the following step (d), wherein step (d) includes transmitting the images generated in step (c) to an evaluation unit, eg for classifying or cataloging the detected features. The images with the higher resolution, which are generated in step (c), can be transmitted to an evaluation unit, such as an external computer, for evaluating the features of the object, for example damage to the object, such as cracks. This information can then be entered into an existing model of the object, for example. Furthermore, further instructions can also be sent back to the unmanned aircraft by the evaluation unit, for example when a specific type of damage is detected, a new approach and detection of the damage, for example using other measurement methods. In the case of a wind turbine, for example, an electrical measurement of the lightning protection device of the wind turbine could be carried out on the basis of an image analysis.
Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes und der Teilbilder einen festgelegten Abstand zu dem Objekt aufweist. Ferner erzeugt die Aufnahmeeinheit im Schritt (a) das Bild mit einer ersten Brennweite und die Teilbilder mit einer zweiten Brennweite, die größer ist als die erste Brennweite. In anderen Worten erfolgt die Erhöhung der Auflösung durch eine Änderung der Brennweite. In exemplary embodiments according to the second aspect of the present invention, the object is flown to in step (a) in such a way that the recording unit is at a fixed distance from the object when generating an image and the partial images. Furthermore, in step (a), the recording unit generates the image with a first focal length and the partial images with a second focal length, which is greater than the first focal length. In other words, the resolution is increased by changing the focal length.
Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung umfasst die Aufnahmeeinheit ein Zoomobjektiv, das beim Erzeugen des Bildes eine erste Zoomeinstellung gemäß der ersten Brennweite verwendet, und das beim Erzeugen der Teilbilder eine zweite Zoomeinstellung gemäß der zweiten Brennweite verwendet. Die Änderung der Zoomeinstellung kann während des Fluges durchgeführt werden, sodass sowohl die Bilder mit der ersten, als auch mit der zweiten Auflösung von den gleichen Wegpunkten der Flugtrajektorie aus gemacht werden können. Diese Art der Erzeugung der Teilbilder kann dementsprechend besonders zeiteffizient durchgeführt werden. In exemplary embodiments according to the second aspect of the present invention, the recording unit comprises a zoom lens which uses a first zoom setting according to the first focal length when generating the image, and which uses a second zoom setting according to the second focal length when generating the partial images. The zoom setting can be changed during flight, so that both the first and second resolution images can be taken from the same waypoints of the flight trajectory. Accordingly, this type of generation of the partial images can be carried out in a particularly time-efficient manner.
Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Darüber hinaus umfasst der Schritt (b) das Übertragen der im Schritt (a) erzeugten Bilder und Teilbilder von dem unbemannten Luftfahrzeug auf einen Rechner, z.B. einen Laptop-Computer, und das Auswerten der Bilder durch den Rechner. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, die Auswertung der Bilder kann beispielsweise vollständig automatisiert oder teilautomatisiert erfolgen. Ferner umfasst der Schritt (c) das Bereitstellen der Teilbilder des dem Bereich zugeordneten Bildes durch den Rechner. Die Auswertung kann dabei beispielsweise mit Methoden des maschinellen Lernens durchgeführt werden. In einfachen Worten werden somit durch das erfindungsgemäße Verfahren klassifizierte Bilder sowie Detailbilder in Form der Teilbilder erzeugt und durch den Rechner bereitgestellt. Dadurch
kann eine beispielsweise intuitive Aus- bzw. Bewertung des Merkmals, also beispielsweise einer Beschädigung, durchgeführt werden. In exemplary embodiments according to the second aspect of the present invention, the object is flown over autonomously with an unmanned aircraft, eg a drone, which includes the recording unit. In addition, step (b) includes the transmission of the images and partial images generated in step (a) from the unmanned aircraft to a computer, eg a laptop computer, and the computer evaluating the images. In this case, the evaluation of the images includes an automated evaluation of the images; the evaluation of the images can, for example, take place in a fully automated or partially automated manner. Furthermore, step (c) includes the provision by the computer of the partial images of the image assigned to the region. The evaluation can be carried out using machine learning methods, for example. In simple terms, classified images and detail images in the form of partial images are thus generated by the method according to the invention and made available by the computer. Thereby For example, an intuitive evaluation or assessment of the feature, ie damage, for example, can be carried out.
Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Darüber hinaus umfasst das unbemannte Luftfahrzeug einen Rechner, wobei der Schritt (b) das Auswerten der Bilder und der Teilbilder durch den Rechner des unbemannten Luftfahrzeugs umfasst. Das Auswerten der Bilder (B1 -B4) und der Teilbilder (B1 1 -B44) umfasst dabei ein automatisiertes Auswerten der Bilder (B1 -B4) und der Teilbilder (B1 1 -B44). Die Bilder und Teilbilder können also bspw. teilautomatisiert oder vollständig automatisiert ausgewertet werden. Ferner überträgt das unbemannte Luftfahrzeug im Schritt (c) die Teilbilder an eine Auswertungseinheit, z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale. Durch das Auswerten der Bilder und der Teilbilder durch das unbemannte Luftfahrzeug kann mit verringertem Zeitaufwand während des Abfliegens des Objekts bereits das Merkmal des Objekts erfasst werden. Die klassifizierten oder katalogisierten Merkmale können dann von der Auswertungseinheit bspw. direkt einem Menschen zur Bewertung bereitgestellt werden, der bspw. wiederum noch während des Fluges des Luftfahrzeugs weitere Erfassungen, z.B. mit nicht-optischen Messmethoden (z.B. Blitzschutzmessung und/oder Feuchtigkeitsmessung), von relevanten Bereichen einleiten kann. In exemplary embodiments according to the second aspect of the present invention, the object is flown over autonomously with an unmanned aircraft, e.g. a drone, which includes the recording unit. In addition, the unmanned aircraft includes a computer, step (b) comprising the evaluation of the images and the partial images by the computer of the unmanned aircraft. The evaluation of the images (B1-B4) and the sub-images (B1 1 -B44) includes an automated evaluation of the images (B1-B4) and the sub-images (B1 1 -B44). The images and partial images can therefore be evaluated, for example, in a partially automated or fully automated manner. Furthermore, in step (c), the unmanned aircraft transmits the partial images to an evaluation unit, e.g. for classifying or cataloging the detected features. By evaluating the images and the partial images by the unmanned aircraft, the feature of the object can already be detected with a reduced expenditure of time while the object is flying off. The classified or cataloged features can then be made available by the evaluation unit, e.g. directly to a person for evaluation, who, for example, can in turn make further measurements, e.g. with non-optical measurement methods (e.g. lightning protection measurement and/or moisture measurement), of relevant areas can initiate.
Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung umfasst das zu erfassende Merkmal ein Fehler des Objekts oder ein vorbestimmtes Element des Objekts. Bei dem Fehler kann es sich beispielsweise um einen Riss, ein Loch, Rostbefall, Lackschäden oder andere optische erkennbare Oberflächenveränderungen handeln. Ferner kann es sich bei dem Merkmal auch um ein vorbestimmtes Element des Objekts handeln, wie beispielsweise eine charakteristische Geometrie des Objekts, beispielsweise im Falle eines Windrades die Flügelspitzen oder die Rotorflanschen oder aber um ein bestimmtes Bauteil wie eine Niete oder Schraube. Bei manchen Applikationen kann es vorteilhaft sein, entsprechende vorbestimmte Elemente möglichst genau zu erfassen, beispielsweise um ein möglichst präzises 3-D Modell des Objekts zu erstellen, oder Beschädigung und Normabweichungen auszuschließen. In embodiments according to the first and/or second aspect of the present invention, the feature to be detected comprises a defect of the object or a predetermined element of the object. The error can be, for example, a crack, a hole, rust, damage to the paintwork or other optically recognizable surface changes. Furthermore, the feature can also be a predetermined element of the object, such as a characteristic geometry of the object, for example the wing tips or the rotor flanges in the case of a wind turbine, or a specific component such as a rivet or screw. In some applications it can be advantageous to detect corresponding predetermined elements as precisely as possible, for example in order to create a 3D model of the object that is as precise as possible, or to rule out damage and deviations from the norm.
Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung umfasst Schritt (b) eine Kl oder maschinelles Lernen. Derartige Verfahren können mit hoher Geschwindigkeit in geringem Ressourcenaufwand Bilder auswerten bzw.
kategorisieren, zum Beispiel im Hinblick auf das Vorhandensein eines Merkmals eines Objekts. Darüber hinaus kann ein erfindungsgemäßes Verfahren mit einem bekannten Referenzobjekt bzw. einem bekannten Referenzmerkmal zur Erstellung von Trainingsdaten für entsprechende Verfahren herangezogen werden. Die Kl oder das maschinelle Lernen kann dabei allein oder zur Unterstützung eines Menschen verwendet werden. Derartige Verfahren ermöglichen eine große Zeitersparnis, insbesondere im Hinblick auf eine große Zahl auszuwerten der Bilder bei großen Objekten, wie beispielsweise einer Bohrinsel oder einem Windrad. In embodiments according to the first and/or second aspect of the present invention, step (b) comprises AI or machine learning. Such methods can evaluate or analyze images at high speed with little use of resources. categorize, for example, in terms of the presence of a feature of an object. In addition, a method according to the invention with a known reference object or a known reference feature can be used to create training data for corresponding methods. The AI or machine learning can be used alone or to support a human. Methods of this type make it possible to save a great deal of time, particularly with regard to evaluating a large number of images for large objects, such as an oil rig or a windmill.
Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung umfasst das Objekt eine Energieerzeugungsanlage, z.B. eine Windkraftanlage oder eine Solaranlage, oder eine Industrieanlage, z.B. eine Bohrinsel, eine Fabrikanlage, eine Raffinerie, oder ein Gebäude, z.B. ein Hochhaus, oder eine Infrastruktureinrichtung, z.B. eine Brücke. Ferner kann es sich bei dem Objekt auch beispielsweise um ein Kran handeln. Insbesondere kann ein erfindungsgemäßes Verfahren beispielsweise im Hinblick auf eine Industrieanlage im laufenden Betrieb durchgeführt werden, ohne dass ein Mensch gefährdet wird oder der Betrieb eingestellt werden muss. In embodiments according to the first and/or second aspect of the present invention, the object comprises a power generation plant, e.g. a wind turbine or a solar plant, or an industrial plant, e.g. an oil rig, a factory, a refinery, or a building, e.g. a skyscraper, or a Infrastructure facility, e.g. a bridge. Furthermore, the object can also be a crane, for example. In particular, a method according to the invention can be carried out, for example with regard to an industrial plant during ongoing operation, without endangering a person or without the operation having to be stopped.
Bei Ausführungsbeispielen gemäß dem ersten Aspekt und/oder zweiten Aspekt der vorliegenden Erfindung ist das unbemannte Luftfahrzeug, z.B. eine Drohne, ausgebildet, um die Mehrzahl von Bildern an einen externen Rechner, z.B. einen Laptop-Computer, zu übertragen, der die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, klassifiziert. Ferner ist das unbemannte Luftfahrzeug, ausgebildet, um von dem externen Rechner Informationen zu empfangen, die die mit der zweiten Auflösung optisch zu erfassenden Bereiche des Objekts anzeigen. Auf Grundlage der Informationen des externen Rechners kann das unbemannte Luftfahrzeug dementsprechend Bilder der jeweiligen Bereiche mit der zweiten Auflösung erzeugen. Die Kommunikation, sowie die Verwendung der Informationen kann dabei während des Flugs stattfinden, zum Beispiel während dem Abfliegen und dem Erzeugen der Bilder mit der ersten Auflösung des Objekts, oder während einer Zwischenlandung, bspw. zwischen dem Abfliegen des Objekts zur Erzeugung der Bilder mit der ersten Auflösung und einem erneuten Anfliegen des Objekts zur Erzeugung von Bildern von ausgewählten Bereichen des Objekts mit der zweiten Auflösung. Die Zwischenlandung kann ferner zur Wiederherstellung der Flugfähigkeit des unbemannten Luftfahrzeugs genutzt werden, bspw. zum Wechseln der Batterien einer Drohne. Der Rechner kann darüber hinaus auch
die Trajektorienplanung des unbemannten Luftfahrzeugs, zum Beispiel für einen autonomen Flug bereitstellen und die zuvor erläuterte Auswerteeinheit bilden. In exemplary embodiments according to the first aspect and/or second aspect of the present invention, the unmanned aircraft, eg a drone, is designed to transmit the plurality of images to an external computer, eg a laptop computer, which converts the generated images into images that do not contain the feature and classified into images that do contain the feature. Furthermore, the unmanned aircraft is designed to receive information from the external computer that indicates the areas of the object that are to be optically recorded with the second resolution. Based on the information from the external computer, the unmanned aircraft can generate images of the respective areas with the second resolution accordingly. The communication and the use of the information can take place during the flight, for example during departure and the generation of the images with the first resolution of the object, or during a stopover, for example between the departure of the object and the generation of the images with the first resolution and reflying the object to generate images of selected areas of the object at the second resolution. The stopover can also be used to restore the ability of the unmanned aircraft to fly, e.g. to change the batteries of a drone. The calculator can also provide the trajectory planning of the unmanned aircraft, for example for an autonomous flight, and form the previously explained evaluation unit.
Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung weist das unbemanntes Luftfahrzeug, z.B. eine Drohne, einen Rechner auf, der ausgebildet ist, die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in die Bilder, die das Merkmal nicht enthalten, und in die Bilder, die das Merkmal enthalten, zu klassifizieren. Dadurch kann die Drohne unabhängig von einer ausreichend schnellen Kommunikationsverbindung zu einem externen Rechner sein. Ferner kann durch eine Auswertung der Mehrzahl der Bilder während des Fluges eine Zeitersparnis erzielt werden. In exemplary embodiments according to the first and/or second aspect of the present invention, the unmanned aircraft, e.g. a drone, has a computer which is designed to evaluate the plurality of images in order to convert the generated images into images that do not contain the feature and classify into the images containing the feature. This allows the drone to be independent of a sufficiently fast communication link to an external computer. Furthermore, time can be saved by evaluating the majority of the images during the flight.
Fiourenkurzbeschreibuno Fiourenbriefbeschriftuno
Ausführungsbeispiele gemäß der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Hinsichtlich der dargestellten schematischen Figuren wird darauf hingewiesen, dass die dargestellten Funktionsblöcke sowohl als Elemente oder Merkmale der erfindungsgemäßen Vorrichtung als auch als entsprechende Verfahrensschritte des erfindungsgemäßen Verfahrens zu verstehen sind, und auch entsprechende Verfahrensschritte des erfindungsgemäßen Verfahrens davon abgeleitet werden können. Es zeigen: Exemplary embodiments according to the present invention are explained in more detail below with reference to the enclosed figures. With regard to the schematic figures shown, it is pointed out that the function blocks shown are to be understood both as elements or features of the device according to the invention and as corresponding method steps of the method according to the invention, and corresponding method steps of the method according to the invention can also be derived therefrom. Show it:
Fig. 1 eine schematische Darstellung eines Objekts und einer Aufnahmeeinheit mit einer Flugtrajektorie gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 1 shows a schematic representation of an object and a recording unit with a flight trajectory according to an embodiment of the present invention;
Fig.2 eine schematische Darstellung eines Ausschnitts von Fig. 1 mit veränderter Flugtrajektorie gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; FIG. 2 shows a schematic representation of a detail from FIG. 1 with a modified flight trajectory according to an exemplary embodiment of the present invention; FIG.
Fig. 3 eine schematische Darstellung einer Bildklassifikation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 3 shows a schematic representation of an image classification according to an embodiment of the present invention;
Fig. 4 eine schematische Seitenansicht einer Windkraftanlage mit einer Beschädigung, die mit Hilfe von Ausführungsbeispielen gemäß der vorliegenden Erfindung erfasst wird;
Fig. 5 ein Ablaufdiagramm eines Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und 4 shows a schematic side view of a wind turbine with damage that is detected with the aid of exemplary embodiments according to the present invention; 5 shows a flowchart of a method for detecting a feature of an object according to an embodiment of the present invention; and
Fig. 6 ein Ablaufdiagramm eines weiteren Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 6 shows a flowchart of a further method for detecting a feature of an object according to an embodiment of the present invention.
Detaillierte Beschreibung der Ausführungsbeispiele gemäß den Figuren Detailed description of the exemplary embodiments according to the figures
Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen oder ähnlichen Bezugszeichen versehen sind, so dass die in unterschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente untereinander austauschbar ist bzw. aufeinander angewendet werden kann. Before exemplary embodiments of the present invention are explained in more detail below with reference to the drawings, it is pointed out that identical elements, objects and/or structures that have the same function or have the same effect are provided with the same or similar reference symbols in the different figures, so that the Embodiments illustrated description of these elements is interchangeable or can be applied to each other.
Fig. 1 zeigt ein Objekt 110, ein unbemanntes Luftfahrzeug 120 mit einer Aufnahmeeinheit 130, sowie einen Rechner 140. Das Luftfahrzeug 120 ist dabei lediglich als optional anzusehen, als mögliche Umsetzung einer beweglichen Aufnahmeeinheit, beispielsweise in Form einer Drohne mit einer Kamera. 1 shows an object 110, an unmanned aircraft 120 with a recording unit 130 and a computer 140. The aircraft 120 is only to be regarded as optional, as a possible implementation of a mobile recording unit, for example in the form of a drone with a camera.
Ausgehend von einem Startpunkt S fliegt das Luftfahrzeug 120 das Objekt ab, um ein oder mehrere Merkmal 1 10a zu erfassen. Die Flugtrajektorie ist mit den Wegpunkten WP1 bis WP4 gekennzeichnet. Die Flugtrajektorie kann beispielsweise aus einer vorhergehenden Trajektorienplanung stammen. Dabei kann beispielsweise anhand eines 3-D Modells des Objekts 1 10 eine Wegpunktgenerierung, zum Beispiel durch Rechner 140, durchgeführt werden, welche dem Luftfahrzeug 120 über eine Verbindung 140a bereitgestellt wird. Dabei sei darauf hingewiesen, dass der Rechner 140 auch Teil des Luftfahrzeugs 120 sein kann, sodass das Luftfahrzeug beispielsweise autonom die eigene Trajektorie plant. Ferner kann die Trajektorie jedoch auch von einem menschlichen Piloten manuell vorgegeben werden, zum Beispiel in Ermangelung eines 3-D Modells des Objekts 110. Starting from a starting point S, the aircraft 120 flies over the object in order to detect one or more features 110a. The flight trajectory is marked with waypoints WP1 to WP4. The flight trajectory can come from a previous trajectory plan, for example. For example, using a 3-D model of the object 110, waypoints can be generated, for example by a computer 140, which is made available to the aircraft 120 via a connection 140a. It should be pointed out here that the computer 140 can also be part of the aircraft 120 so that the aircraft plans its own trajectory autonomously, for example. Furthermore, however, the trajectory can also be specified manually by a human pilot, for example in the absence of a 3D model of object 110.
Beim Abfliegen des Objekts 110 erfasst die Aufnahmeeinheit 130 die Vorderseite 110b des Objekts 1 10 oder allgemeiner ausgedrückt einen Teil des Objekts. Dabei erzeugt die Aufnahmeeinheit 130 eine Mehrzahl von Bildern B1 -B4 mit einer ersten Auflösung, wobei jedes Bild zumindest teilweise einen unterschiedlichen Bereich des Objekts 110 bzw. der
Vorderseite 110b des Objekts darstellt. Dementsprechend können sich die Bilder B1 -B4 ,wie in Fig. 1 gezeigt, teilweise überlappen, oder anders ausgedrückt eine Information über einen teilweise gleichen Bildausschnitt bzw. über einen teilweise gleichen Bereich des Objekts aufweisen. Ferner können sich die Bilder jedoch auch nicht überlappen. Als Beispiel in Fig. 1 ist jeder der Wegpunkte WP1 -WP4 mit einem der Bilder B1 -B4 assoziiert. Einfach ausgedrückt kann eine Vielzahl von Wegpunkten festgelegt werden von derer aus das Objekt erfasst, zum Beispiel fotografiert wird. When the object 110 flies off, the recording unit 130 captures the front side 110b of the object 110 or, to put it more generally, a part of the object. In this case, the recording unit 130 generates a plurality of images B1 -B4 with a first resolution, each image at least partially showing a different area of the object 110 or the Represents front 110b of the object. Correspondingly, the images B1-B4, as shown in FIG. 1, can partially overlap, or to put it another way, they can have information about a partially identical image detail or about a partially identical area of the object. However, the images may also not overlap. As an example in FIG. 1, each of the waypoints WP1-WP4 is associated with one of the images B1-B4. To put it simply, a large number of waypoints can be defined from which the object is recorded, for example photographed.
Zur Erfassung des Merkmals 1 10a stehen erfindungsgemäß eine Vielzahl von Verfahren und Verfahrensschritten zur Verfügung, deren Merkmale, sofern nicht anders angegeben, untereinander austauschbar, und miteinander in beliebiger Kombination verwendbar sind. Einige erfindungsgemäße Möglichkeiten sollen im Folgenden unter Zuhilfenahme der Figuren 2 und 3 erläutert werden. Dies stellt jedoch keine einschränkende Liste von Verfahrensschritten dar, sondern soll lediglich zum besseren Verständnis von erfindungsgemäßen Konzepten und deren Ausprägungen dienen. According to the invention, a large number of methods and method steps are available for detecting feature 110a, the features of which, unless otherwise stated, are interchangeable and can be used with one another in any combination. Some possibilities according to the invention are to be explained below with the aid of FIGS. However, this does not represent a restrictive list of method steps, but is only intended to provide a better understanding of concepts according to the invention and their forms.
Fig. 2 zeigt die Bilder B1 -B4 mit der ersten Auflösung. Die Bilder B1 -B4 werden in Bilder 210, die das Merkmal 110a nicht enthalten, umfassend Bilder B1 , B3, B4 und in Bilder 220, die das Merkmal 1 10a enthalten, umfassend Bild B2, klassifiziert 140c. Die Klassifikation ist in Fig. 2 als Beispiel mit Rechner 140 umgesetzt, kann von einer beliebigen Klassifikationseinheit durchgeführt werden. Die Klassifikation kann insbesondere mit Methoden des maschinellen Lernens umgesetzt werden. Die Klassifikation kann bspw. mit künstlicher Intelligenz (Kl bzw. artifizielle Intelligenz (AI)) durchgeführt werden. 2 shows the images B1-B4 with the first resolution. Images B1-B4 are classified 140c into images 210 not containing feature 110a, comprising images B1, B3, B4, and into images 220 containing feature 1 10a, comprising image B2. The classification is implemented in FIG. 2 as an example with computer 140 and can be carried out by any classification unit. The classification can be implemented in particular with methods of machine learning. The classification can be carried out, for example, with artificial intelligence (CI or artificial intelligence (AI)).
Die Ergebnisse der Klassifikation können dabei wiederum, wie in Fig. 1 gezeigt, während des Fluges an das Luftfahrzeug 120 bzw. die Aufnahmeeinheit 130 kommuniziert 140b werden, oder können nach dem Abfliegen des Objekts 110 und der anschließenden Landung am Startpunkt S kommuniziert 140a werden. Es sei nochmals darauf hingewiesen, dass der Rechner 140 oder auch eine entsprechende Klassifikationseinheit Teil des Luftfahrzeugs 120 sein kann, sodass eine entsprechende Kommunikation 140a, 140b als optional anzusehen ist. Ferner ist die Bidirektionalität der in Fig. 1 gezeigten Kommunikation 140a, 140b ebenfalls optional, eine beliebige Kombination von Information kann von dem Luftfahrzeug zum Rechner oder umgekehrt übertragen werden. Je nach vorhandener Hardware kann so eine Vielzahl von möglichen Aufgabenverteilungen (bspw. im Hinblick auf eine Bildklassifikation, Berechnung von Wegpunkten, Klassifikation des Merkmals)
zwischen Luftfahrzeug 120 und Rechner 140 realisiert werden und einen Kommunikation 140b, 140b dementsprechend ausgebildet sein. The results of the classification can in turn, as shown in FIG. It should be pointed out again that the computer 140 or also a corresponding classification unit can be part of the aircraft 120, so that a corresponding communication 140a, 140b is to be regarded as optional. Furthermore, the bidirectionality of the communication 140a, 140b shown in FIG. 1 is also optional; any combination of information can be transmitted from the aircraft to the computer or vice versa. Depending on the existing hardware, a large number of possible task distributions (e.g. with regard to image classification, calculation of waypoints, classification of the feature) be realized between aircraft 120 and computer 140 and a communication 140b, 140b be designed accordingly.
Auf Grundlage der Klassifikation kann die Aufnahmeeinheit 130 den Bereich des Objekts 110, welcher das Merkmal enthält, durch das, dem Bereich zugeordnete, Bild B2, auf welchen das Merkmal 110a erkannt wurde, erneut, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, optisch Erfassen. Based on the classification, the recording unit 130 can re-scan the area of the object 110 containing the feature through the image B2 assigned to the area on which the feature 110a was detected, with a second resolution that is higher than the one first resolution, optical detection.
Wird die Klassifikation während des Abfliegens des Objekts 110 durchgeführt so kann das Luftfahrzeug, nach dem Erzeugen des Bildes B2 und nach der Erkennung des Merkmals auf dem Bild B2, auf dem Wegpunkt WP2 bleiben und den entsprechenden Bereich des Objekts erneut erfassen. Das Luftfahrzeug 120 muss jedoch nicht auf dem Wegpunkt WP2 bleiben, sondern kann beispielsweise lediglich einen gleichen oder ähnlichen Abstand zu dem Objekt 1 10 aufrechterhalten. Zur Erhöhung der Auflösung beim erneuten Erfassen kann die Aufnahmeeinheit 130 die Brennweite erhöhen, zum Beispiel durch Anpassung einer Zoomeinstellung oder durch Ändern eines Objektivs. Dadurch kann ein Bild B21 mit höherer Auflösung, welches beispielsweise ein Teilbild des Bildes B2 ist, erzeugt werden. Dazu kann neben der Auswertung bezüglich einer Klassifikation der Bilder B1 -B4, welche das Merkmal 110a enthalten, auch die Position des Merkmals, durch Verwendung von Positions- und Lagedaten des Luftfahrzeugs 120 ausgewertet werden um die Aufnahmeeinheit 130 auf das Merkmal 1 10a auszurichten, zur Erzeugung des Bildes B21. Dabei sei darauf hingewiesen, dass das Bild B21 nicht zwingend einen Teilbereich des Bildes B2 umfassen muss. Der mit Bild B21 erfasste Bereich des Objekts kann bspw. nur in Abhängigkeit von der Position des Merkmals 110a gewählt werden, sodass der Bildausschnitt von Bild B21 unabhängig von Bereichen der Bilder B1 -B4 gewählt werden kann. If the classification is carried out while the object 110 is flying off, the aircraft can remain on the waypoint WP2 after generating the image B2 and after recognizing the feature on the image B2 and can record the corresponding area of the object again. However, the aircraft 120 does not have to stay on the waypoint WP2, but can only maintain an equal or similar distance to the object 110, for example. To increase recapturing resolution, the acquisition unit 130 may increase the focal length, for example by adjusting a zoom setting or changing a lens. As a result, an image B21 with a higher resolution, which is a partial image of the image B2, for example, can be generated. For this purpose, in addition to the evaluation with regard to a classification of the images B1 -B4, which contain the feature 110a, the position of the feature can also be evaluated by using position and attitude data of the aircraft 120 in order to align the recording unit 130 with the feature 1 10a, for Generation of the image B21. It should be pointed out here that the image B21 does not necessarily have to include a sub-area of the image B2. The area of the object captured with image B21 can, for example, only be selected as a function of the position of feature 110a, so that the image section of image B21 can be selected independently of areas in images B1-B4.
Ist beispielsweise die Position des Merkmals 110a nicht bekannt, so kann auch eine Menge von Teilbildern B21 -B24 mit der zweiten Auflösung erzeugt werden. Ferner kann auch unabhängig von einer Klassifikation und Erkennung des Merkmals 110a auf den Bildern B1 -B4 eine Vielzahl von Bereichen des Objekts, oder beispielsweise jeder Bereich des Objekts, durch eine Mehrzahl von Teilbildern des Bereichs jeweils mit der zweiten Auflösung erfasst werden (Bspw. für Bild B1 die Teilbilder B11 -B14, für Bild B2 die Teilbilder B21 -B24 usw.).
Entsprechende Teilbilder können beispielsweise über die Kommunikation 140b an eine Auswerteeinheit, zum Beispiel in Form des Rechners 140, übertragen werden, bspw. zur Klassifizierung oder Katalogisierung des erfassten Merkmals 1 10a. If, for example, the position of the feature 110a is not known, a set of partial images B21-B24 can also be generated with the second resolution. Furthermore, independently of a classification and recognition of the feature 110a in the images B1 -B4, a large number of areas of the object, or for example each area of the object, can be recorded by a number of partial images of the area, each with the second resolution (e.g. for Image B1 sub-images B11-B14, for image B2 sub-images B21-B24 etc.). Corresponding sub-images can be transmitted, for example, via communication 140b to an evaluation unit, for example in the form of computer 140, for example for classifying or cataloging detected feature 110a.
Alternativ kann die Klassifikation der Bilder B1 -B4 auch nach dem Abfliegen der Wegpunkte WP1 -WP4 und anschließendem Landen auf dem Startpunkt S erfolgen. Über die Kommunikation 140a kann dem Luftfahrzeug 120 anschließend auf Grundlage der Klassifikation und zugehöriger Position- und/oder Lageinformation über das Merkmal 110a eine zweite Flugtrajektorie 150 vorgegeben werden. Zum einfacheren Verständnis zeigt Fig. 1 Trajektorie 150 als Flug vom Startpunkt S zu Wegpunkt WP2 und zurück zum Startpunkt S. Am Wegpunkt WP2 erfolgt das zuvor erläuterte erneute Erfassen des Bereichs des Objekts. Dabei sei nochmals darauf hingewiesen, dass ein Bereich des Objekts, welcher das Merkmal 1 10a enthält mit einem einzelnen Bild B21 oder mit einem Raster von Teilbildern des Bildes B2, beispielsweise umfassend Teilbilder B21 -B24, mit der zweiten Auflösung aufgenommen werden kann. Die Erhöhung der Auflösung kann dabei wiederum durch eine Veränderung einer Zoomeinstellung oder durch eine Änderung des Objektivs der Aufnahmeeinheit 130 erzielt werden. Diese Anpassungen können beispielsweise manuell während der Landung, nach dem erstmaligen Abfliegen des Objekts 1 10 und vor dem Anfliegen des Objekts 1 10 über die Flugtrajektorie 150 durchgeführt werden. Der Flug selbst kann dabei wiederum autonom oder manuell erfolgen. Alternatively, the images B1 -B4 can also be classified after flying off the waypoints WP1 -WP4 and then landing at the starting point S. A second flight trajectory 150 can then be specified for the aircraft 120 via the communication 140a on the basis of the classification and associated position and/or attitude information via the feature 110a. For ease of understanding, FIG. 1 shows trajectory 150 as a flight from starting point S to waypoint WP2 and back to starting point S. At waypoint WP2, the previously explained re-detection of the area of the object takes place. It should be pointed out again that a region of the object containing feature 110a can be recorded with a single image B21 or with a grid of partial images of image B2, for example including partial images B21-B24, with the second resolution. The increase in resolution can in turn be achieved by changing a zoom setting or by changing the lens of the recording unit 130 . These adjustments can, for example, be carried out manually during landing, after the object 110 has taken off for the first time and before the object 110 has been approached via the flight trajectory 150 . The flight itself can in turn be carried out autonomously or manually.
Zur Erhöhung der Auflösung beim erneuten Erfassen des Objekts, kann das Luftfahrzeug 120 bzw. die Aufnahmeeinheit 130 auch einen Abstand zu dem Objekt d verringern. Die sollen im Folgenden anhand Fig. 3 erläutert werden. Fig. 3 zeigt einen Ausschnitt von Fig. 1 mit dem Objekt 110, dem Luftfahrzeug 120, der Aufnahmeeinheit 130 und dem Rechner 140. Wegpunkt WP2 weist einen ersten Abstand di zum Objekt 1 10 auf. Zum erneuten Erfassen kann das Luftfahrzeug 120 sich dem Objekt auf Wegpunkt WP 2a nähern, sodass der Abstand auf den Abstand ds verringert wird. Dadurch kann das Objekts 1 10 bzw. der Bereich des Objekts, welcher das Merkmal 1 10 a aufweist, mit einer höheren Auflösung aufgenommen werden, beispielsweise ohne eine Veränderung einer Zoomeinstellung oder eines Auswechseln eines Objektivs. To increase the resolution when the object is recorded again, the aircraft 120 or the recording unit 130 can also reduce a distance to the object d. These are to be explained below with reference to FIG. 3 . FIG. 3 shows a section of FIG. 1 with the object 110, the aircraft 120, the recording unit 130 and the computer 140. Way point WP2 has a first distance di from the object 110. For reacquisition, the aircraft 120 can approach the object at waypoint WP 2a, so that the distance is reduced to the distance ds. As a result, the object 110 or the region of the object which has the feature 110a can be recorded with a higher resolution, for example without changing a zoom setting or replacing a lens.
Die Anpassung der Trajektorie des Luftfahrzeugs 120 kann dabei, wie optional in Fig. 3 gezeigt während des Fluges stattfinden. Durch eine Kommunikation 140b mit dem Rechner 140 kann nach der Klassifikation des Bildes B2 die Trajektorie während des Fluges verändert werden. Dabei kann die Aufnahmeeinheit bzw. das Luftfahrzeug das Bild B2 an
den Rechner 140 kommunizieren und anschließend neue Wegpunkte WP2a zurückerhalten. Alternativ kann das Luftfahrzeug, wie zuvor erwähnt, selbst den Rechner 140 umfassen und die Klassifikation und Trajektorienanpassung selbst durchführen. Dabei sind auch beliebige Kombination möglich, sodass das Luftfahrzeug bzw. die Aufnahmeeinheit beispielsweise die Klassifikation eigenständig durchführen, das Klassifikationsergebnis an einen externen Rechner kommunizieren und Wegpunkte zurückerhalten kann. Eine entsprechende Trajektorienanpassung mit Abstandsverringerung kann erfindungsgemäß auch während einer Zwischenlandung über die Kommunikation 140a aus Fig. 1 erfolgen. Ferner kann die Flugtrajektorie auch a priori aus Wegpunkten mit unterschiedlichen Abständen zum Objekt 100 bestehen, sodass bspw. unabhängig von einer Klassifikation der Bilder bzw. einer Erkennung des Merkmals 1 10a ein Raster aus Teilbildern (B11 -B14, B21 -B24, etc.) für eine Vielzahl von Bereiche des Objekts mit der zweiten Auflösung erstellt wird, durch Verringerung des Abstands. The adaptation of the trajectory of the aircraft 120 can take place during the flight, as optionally shown in FIG. 3 . After the image B2 has been classified, the trajectory can be changed during the flight by communication 140b with the computer 140 . The recording unit or the aircraft can display the image B2 communicate with the computer 140 and then receive back new waypoints WP2a. Alternatively, as previously mentioned, the aircraft itself may include the computer 140 and perform the classification and trajectory adjustment itself. Any combination is also possible, so that the aircraft or the recording unit can, for example, carry out the classification independently, communicate the classification result to an external computer and receive back waypoints. According to the invention, a corresponding trajectory adjustment with a reduction in distance can also take place during an intermediate landing via communication 140a from FIG. 1 . Furthermore, the flight trajectory can also consist a priori of waypoints at different distances from the object 100, so that, for example, a grid of partial images (B11-B14, B21-B24, etc.) for a plurality of areas of the object with the second resolution is created by reducing the distance.
Weitere Ausführungsbeispiele umfassen eine Kl unterstützte Inspektion von Windrädern mit Drohnen und sollen im Folgenden anhand Fig. 4 erläutert werden. Fig. 4 zeigt eine Windkraftanlage 400 mit einem T urm 410, einer Gondel 420, einer Rotornabe 430, Rotoren bzw. Flügel 440, Rotorflügel- bzw. Flügelspitzen 450 und Rotorblattflansche 460. Einer der Rotoren 440 weist eine Beschädigung 110a auf. Diese Beschädigung 110a bzw. der Fehler kann beispielsweise ein Riss sein. Im Hinblick auf einen Fehlererkennung kann es sich bei der Beschädigung 110a um das Merkmal der Windkraftanlage, welches erfasst werden soll, handeln. Im Hinblick auf eine Erstellung eines Modells der Windkraftanlage 400, z.B. durch einen Kalibrierungsflug einer Drohne, kann es sich bei dem Flügelspitzen 450 und/oder den Rotorblattflanschen 460 um Merkmale der Windkraftanlage 400 handeln, welche erfasst werden sollen. Aus deren Erfassung kann bspw. über eine bekannte Position des Luftfahrzeugs zum Zeitpunkt der Erfassung und die Abbildungsgeometrie ein 3-D-Modell der Windkraftanlage erstellt werden. Aus diesem 3-D-Modell können wiederum Wegpunkte für autonome Inspektionsflüge generiert werden. Darüber hinaus sind erfasste Bilder 210 gezeigt, die das Merkmal nicht enthalten und erfasste Bilder 220, die das Merkmal enthalten, in Form von Bild 220a, für den Fall, dass es sich bei dem Merkmal um die Beschädigung 1 10a handelt und alternativ oder zusätzlich Bilder 220b, für den Fall, dass es sich bei dem Merkmal um die Flügelspitzen 450 handelt. Further exemplary embodiments include an AI-supported inspection of wind turbines using drones and are to be explained below with reference to FIG. 4 shows a wind turbine 400 with a tower 410, a nacelle 420, a rotor hub 430, rotors or blades 440, rotor blade or blade tips 450 and rotor blade flanges 460. One of the rotors 440 has damage 110a. This damage 110a or the defect can be a crack, for example. With regard to error detection, the damage 110a can be the feature of the wind turbine that is to be detected. With regard to creating a model of the wind turbine 400, e.g. by a calibration flight of a drone, the wing tips 450 and/or the rotor blade flanges 460 can be features of the wind turbine 400 which are to be recorded. A 3-D model of the wind power plant can be created from their recording, for example via a known position of the aircraft at the time of recording and the imaging geometry. Waypoints for autonomous inspection flights can in turn be generated from this 3D model. Also shown are captured images 210 not containing the feature and captured images 220 containing the feature in the form of image 220a in the event that the feature is damage 110a and alternatively or additionally images 220b in the event that the feature is the wing tips 450.
Für den Fall, dass es sich bei dem Merkmal um die Beschädigung 1 10a handelt, ist als Beispiel zur Verdeutlichung das Teilbild 470 eingetragen. Gemäß Ausführungsbeispielen können Bereiche, die mit Bildern 220a, welche das Merkmal enthalten, erneut mit einer
höheren Auflösung erfasst werden, wobei jedoch nicht der gesamte zuvor abgetastete Bereich des Objekts erneut abgetastet werden muss, sondern auch lediglich nur ein Teilbereich des ursprünglichen Bildausschnittes bzw. des Bereichs des Objekts erfasst werden kann. Damit soll im Vergleich zu Fig. 1 darauf hingewiesen werden, dass ganz allgemein bei Ausführungsbeispielen nicht zwingend ein Bild Bx vollständig in Teilbilder Bxx, durch eine erneute Erfassung mit erhöhter Auflösung aufgeteilt werden muss. Ferner muss ein entsprechendes Teilbild 470 auch nicht vollständig innerhalb des Bildes mit der ersten Auflösung liegen, aus dessen Auswertung die Position des Merkmals erkannt wurde. Eine einfach ausgedrückt „Rastererfassung“ ist im Vergleich dazu für eine Erkennung der Flügelspitzen 450 für die Bilder 220b angedeutet. In the event that the feature is damage 1 10a, partial image 470 is entered as an example for clarification. According to exemplary embodiments, areas marked with images 220a containing the feature can be re-marked with a higher resolution can be captured, but not the entire previously scanned area of the object must be scanned again, but only a portion of the original image section or the area of the object can be captured. In comparison to FIG. 1, it is to be pointed out that, quite generally, in the case of exemplary embodiments, an image Bx does not necessarily have to be divided completely into partial images Bxx by means of renewed acquisition with increased resolution. Furthermore, a corresponding partial image 470 does not have to lie completely within the image with the first resolution, from the evaluation of which the position of the feature was identified. A "raster capture" in simple terms is indicated in comparison for a detection of the wing tips 450 for the images 220b.
Das Grundkonzept der Fehlererkennung bzw. Mustererkennung gemäß Ausführungsbeispielen erfolgt durch das Erkennen und den anschließenden Ausschluss der fehlerfreien Bereiche mithilfe von Kl. In anderen Worten erfolgt eine Fehlererkennung, also bspw. eine Erkennung der Beschädigung 110 a durch eine Erkennung von fehlerfreien Bereichen (Bilder 210), welche in diesem Zusammenhang als Muster bezeichnet werden, wobei mit dieser Mustererkennung z.B. auf den Fehler 1 10a zurückgeschlossen werden kann. Anschließend werden die von der Kl als nicht fehlerfrei, also als fehlerhaft und deswegen nicht ausgeschlossene Bereiche der Windkraftanlage 400 bzw. Muster, erneut angeflogen, zur Generierung von hochaufgelösten Fehlerbildern. Zum erneuten Anfliegen kann dabei eine automatische Generierung von Wegpunkten Verwendung finden. Bezugnehmend auf Fig. 2 werden also Bereiche des Objekts bzw. der Windkraftanlage 400, welche mit den Bildern 210 assoziiert sind ausgeschlossen, und Bereiche welche mit Bildern 220 assoziiert sind erneut angeflogen. Bei den hochaufgelösten Fehlerbildern kann es sich bezugnehmend auf Fig. 1 beispielsweise um das Bild mit der zweiten Auflösung B21 oder auch um die Vielzahl von Teilbildern B21 -B24 handeln. Wie bereits zuvor erläutert, kann die Generierung von hochaufgelösten Fehlerbildern durch den Einsatz von Zoomobjektiven und/oder durch ein näheres Anfliegen an die als nicht fehlerfrei erkannten Bereiche erfolgen. Ferner ist auch ein Austausch des Objektivs der Aufnahmeeinheit möglich. The basic concept of error detection or pattern recognition according to exemplary embodiments is carried out by detecting and then excluding the error-free areas with the help of Kl. In other words, error detection takes place, i.e., for example, damage 110 a is identified by identifying error-free areas (Figures 210) , which are referred to as patterns in this context, whereby this pattern recognition can be used to deduce error 1 10a, for example. Subsequently, the areas of the wind power plant 400 or sample that the class considers not error-free, that is to say as defective and therefore not excluded, are flown to again in order to generate high-resolution error images. Automatic generation of waypoints can be used for renewed approach. Referring to FIG. 2, areas of the object or of the wind turbine 400 that are associated with the images 210 are excluded, and areas that are associated with images 220 are flown to again. Referring to FIG. 1, the high-resolution defect images can be, for example, the image with the second resolution B21 or also the multiplicity of partial images B21-B24. As already explained above, high-resolution defect images can be generated by using zoom lenses and/or by flying closer to the areas recognized as not being defect-free. Furthermore, an exchange of the lens of the recording unit is also possible.
Im Hinblick auf die Windkraftanlage 400 kann die Kl unterstützte Bild/Fehlererkennung bzw. Mustererkennung bspw. bei folgenden Aufgaben bzw. Missionen zum Einsatz kommen. With regard to the wind power plant 400, AI-supported image/error recognition or pattern recognition can be used, for example, in the following tasks or missions.
1. Kalibrierungsflug 1. Calibration flight
2. Turminspektion
3. Flügelinspektion 2. Tower inspection 3. Wing inspection
Gemäß Ausführungsbeispielen kann die Kl Unterstützung in mehreren Stufen zum Einsatz kommen. Als Beispiel sollen im Folgenden drei Stufen erläutert werden, wobei Merkmale der einzelnen Stufen untereinander austauschbar und beliebig kombinierbar sind, sofern nicht anders angegeben. Sie sollen lediglich den Gedanken bezüglich der Verwendung von Kl im Hinblick auf die Merkmalserfassung erläutern und sind daher als nicht einschränkend anzusehen. According to exemplary embodiments, the AI support can be used in several stages. Three stages are to be explained below as an example, with features of the individual stages being interchangeable and combinable as desired, unless stated otherwise. They are only intended to explain the idea regarding the use of KI with regard to feature detection and are therefore not to be regarded as restrictive.
Stufe 1 : Step 1 :
Nach der Landung der Drohne und Übertragung der Bilddaten erfolgt eine anschließende Weiterverarbeitung der Bilddaten durch die Kl, welche auf einem Remote Computer (Laptop) rechnet, bzw. auf diesem läuft. Die Kl generiert Wegpunkte (Waypoints) für eine Inspektion bzw. einen Inspektionsflug, beispielsweise nach einem Kalibrierungsflug, oder Wegpunkte für einen Fehlerflug, also den Anflug an die Windkraftanlage 400, zur Erfassung des Fehlers 110a oder eines anderen Merkmals (bspw. Rotorspitzen 540) mit erhöhter Auflösung, nach einem Inspektionsflug. After the drone has landed and the image data has been transmitted, the image data is then processed further by the clerk, who calculates or runs on a remote computer (laptop). The Kl generates waypoints (waypoints) for an inspection or an inspection flight, for example after a calibration flight, or waypoints for an error flight, i.e. the approach to the wind turbine 400, to detect the error 110a or another feature (e.g. rotor tips 540). increased resolution, after an inspection flight.
Die Drohne führt den Inspektionsflug autonom durch und überträgt die Bilder nach der Landung, zum Beispiel beim Batteriewechsel, auf den Remote Computer. Die Bild/Fehlererkennung bzw. Mustererkennung erfolgt dann auf dem Remote Computer. Die Ergebnisse, zum Beispiel Wegpunkte für einen nachfolgenden Inspektionsflug, beispielsweise auf Basis eines generisch generierten CAD Modells der Windkraftanlage nach dem Kalibrierungsflug, oder Wegpunkte für den nachfolgenden Fehlerflug, also z.B. dem Anflug der erkannten Fehler 1 10a bspw. mit kurzem Abstand und Fotografieren der Fehler 100a mit hoher Auflösung, werden nach Berechnung an die Drohne zurückübertragen. The drone carries out the inspection flight autonomously and transmits the images to the remote computer after landing, for example when changing the battery. The image/error recognition or pattern recognition then takes place on the remote computer. The results, for example waypoints for a subsequent inspection flight, for example based on a generically generated CAD model of the wind turbine after the calibration flight, or waypoints for the subsequent error flight, e.g. the approach of the detected error 1 10a, e.g. at a short distance and photographing the error 100a with high resolution, are transmitted back to the drone after calculation.
Stufe 2 Lokale Intelligenz: Tier 2 Local Intelligence:
Die Kl läuft bzw. rechnet auf einer zusätzlichen Recheneinheit in Echtzeit (Realtime) auf der Drohne und steuert den Inspektionsflug nach der Kalibrierung oder den Fehleranflug während des Inspektionsflugs. Bei der zusätzlichen Recheneinheit kann es sich beispielsweise um ein Add on GPU (graphics processing unit) Board (zusätzliche Grafikprozessor Platine) oder CPU (central processing unit, zentrale Verarbeitungseinheit) oder um spezielle Kl Boards handeln. Ferner kann auch der zuvor beschriebene Computer bzw. Rechner Teil der Drohne sein und somit die Hardware zum Betrieb der Kl bereitstellen.
Die Drohne wird mit eigener lokaler Intelligenz ausgestattet, zum Beispiel durch die zusätzliche Recheneinheit, und führt die Berechnungen onboard, bspw. lokal auf der eigenen Drohnenhardware, in Echtzeit (Realtime) aus. Darüber hinaus kann die Drohne Aktionen, beispielsweise die Berechnung der Wegpunkte (Waypoints) für den nachfolgenden Inspektionsflug, direkt während des Kalibrierungsfluges ausführen und ferner dann bspw. direkt anschließend den Inspektionsflug durchführen. Fehler werden in Echtzeit erkannt und es erfolgt ein sofortiges, direktes Anfliegen oder reinzoomen an den erkannten Fehler und Fotografieren des Fehlers mit entsprechend hoher Auflösung. Danach wird der Inspektionsflug bis zum nächsten Fehler weitergeführt. The Kl runs or calculates on an additional computing unit in real time (real time) on the drone and controls the inspection flight after calibration or the error approach during the inspection flight. The additional computing unit can be, for example, an add-on GPU (graphics processing unit) board (additional graphics processor board) or CPU (central processing unit) or special Kl boards. Furthermore, the computer or computer described above can also be part of the drone and thus provide the hardware for operating the AI. The drone is equipped with its own local intelligence, e.g. through the additional computing unit, and carries out the calculations onboard, e.g. locally on its own drone hardware, in real time. In addition, the drone can carry out actions, for example the calculation of the waypoints for the subsequent inspection flight, directly during the calibration flight and then, for example, carry out the inspection flight directly afterwards. Errors are detected in real time and there is an immediate, direct approach or zoom in on the error detected and the error is photographed with a correspondingly high resolution. The inspection flight is then continued until the next error.
Unter Verwendung einer 300er DJI Drohne mit P1 Vollformat Kamera und 50mm Objektiv bzw. alternativ einem Zoomobjektiv, kann der Inspektionsflug beispielsweise mit einem Abstand zum Flügel 440 von 8 m und ein erneutes Anfliegen an den erkannten Fehler mit einem Abstand von 3 m durchgeführt werden. Using a DJI 300 drone with P1 full format camera and 50mm lens or alternatively a zoom lens, the inspection flight can be carried out at a distance of 8 m from the wing 440 and a renewed approach to the detected error at a distance of 3 m.
Nach dem abgeschlossenen Inspektionsflug überträgt die Drohne die Daten, beispielsweise alle Bilddaten aus dem Inspektionsflug, welche zum Beispiel eine niedrige bzw. die erste Auflösung aufweisen (bspw. entsprechend Bildern B1 -B4 aus Fig. 1 ), und alle erstellten Fehler- bzw. Teilbilder, welche zum Beispiel eine hohe bzw. die zweite Auflösung aufweisen (bspw. eines oder mehrere der Teilbilder B11 , ... , B44 aus Fig. 1), an eine Cloud oder einen externen Rechner. Aus den Fehlerbildern können dann die Fehler 110a von einem Operator kategorisieren werden und die Fehlerprotokolle können interaktiv erstellt werden. After the inspection flight has been completed, the drone transmits the data, for example all image data from the inspection flight which, for example, have a low or the first resolution (e.g. corresponding to images B1 -B4 from FIG. 1 ), and all error or partial images created , which, for example, have a high or the second resolution (e.g. one or more of the sub-images B11, . . . , B44 from FIG. 1), to a cloud or an external computer. The errors 110a can then be categorized by an operator from the error images and the error logs can be created interactively.
Stufe 3 Auswertung: Level 3 evaluation:
Erkannte und hochaufgelöste Fehlerbilder werden von der Kl kategorisiert. Die in der Cloud abgelegten Fehlerbilder können mithilfe der Kl automatisch kategorisiert und die Fehlerprotokolle automatisch erstellt werden. Entsprechend den verschiedenen Stufen der Kl Unterstützung, kann die Kl, wie im Folgenden erläutert bei den drei zuvor genannten Aufgaben im Einsatz kommen. Detected and high-resolution error images are categorized by the Kl. The error images stored in the cloud can be automatically categorized with the help of the Kl and the error logs can be created automatically. According to the different levels of AI support, the AI can be used for the three aforementioned tasks, as explained below.
1. Kalibrierungsflug: Bei Ausführungsbeispielen ist das Grundprinzip der Kl Unterstützung die optische Erkennung und Erfassung der Flügelspitzen 450 durch Kl und die Berechnung der Positionen der Flügelspitzen 450, sowie die optische Erkennung und Erfassung der Flügelflansche 460 durch Kl und Berechnung der Positionen, Abstände und Winkel der
Flügelflansche 460. Alternativ oder zusätzlich können auch die Pitchwinkel (Neigungswinkel) der Flügel erfasst und/oder berechnet werden. Mit diesen Werten kann dann eine finale Berechnung, bzw. Modifikation, eines generischen Modells, bspw. CAD- Modells, der Windkraftanlage 400, umfassend die Positionierung und Ausrichtung der Anlage, sowie die Durchbiegung (Bending) der Flügel 440 erfolgen. Aus diesen Daten können dann die Wegpunkte für die Inspektionsflüge errechnet werden. Dies kann mit Zwischenlandung (remote - Stufe 1 ) oder in Echtzeit, ohne Zwischenlandung (lokale Intelligenz - Stufe 2) erfolgen. 1. Calibration flight: In exemplary embodiments, the basic principle of the Kl support is the optical detection and detection of the wing tips 450 by Kl and the calculation of the positions of the wing tips 450, and the optical detection and detection of the wing flanges 460 by Kl and calculation of the positions, distances and angles the Wing flanges 460. Alternatively or additionally, the pitch angles (inclination angles) of the wings can also be detected and/or calculated. A final calculation or modification of a generic model, for example a CAD model, of the wind power plant 400 can then be carried out with these values, including the positioning and alignment of the plant and the deflection (bending) of the blades 440 . The waypoints for the inspection flights can then be calculated from this data. This can be done with a stopover (remote - level 1) or in real time, without a stopover (local intelligence - level 2).
2. Turminspektion: Bei der Turminspektion kann der Einsatz der Kl besonders vorteilhaft sein, aufgrund der großen Menge von Bildern. Basierend auf der zuvor genannten Hardware (300er DJI Drohne mit P1 Vollformat Kamera und 50mm Objektiv bzw. alternativ einem Zoomobjektiv) können beispielsweise 400 Bilder, aus einer Erfassung mit 9 m Abstand zwischen Aufnahmeeinheit und Windkraftanlage, mit einer Auflösung von 1 ,25 Pixel/mm, bei einer Turmhöhe von 145 m erzeugt werden. Auf der anderen Seite sind die möglichen Variationen von Beschädigungen 110a, oder anders ausgedrückt Fehlerklassen, überschaubar und die Fehler meistens großflächig, sodass die Kl relativ schnell angelangt werden kann. 2. Tower inspection: When inspecting the tower, the use of the cl can be particularly advantageous due to the large number of images. Based on the aforementioned hardware (300 DJI drone with P1 full-frame camera and 50mm lens or alternatively a zoom lens), for example, 400 images can be captured at a distance of 9 m between the recording unit and the wind turbine, with a resolution of 1.25 pixels/mm , can be generated at a tower height of 145 m. On the other hand, the possible variations of damage 110a, or to put it another way, error classes, are manageable and the errors are usually large, so that the class can be reached relatively quickly.
3. Flügelinspektion: Erfindungsgemäße Verfahren zur Flügelinspektion sind ähnlich den Verfahren zur Turminspektion, beispielsweise jedoch bei einer bedeutend geringeren Anzahl von Bildern. Zur Erzielung einer beispielsweise notwendigen oder vorteilhaften Auflösung von ca. 1 ,6 Pixel/mm für eine erste Begutachtung, bzw. zum Einsatz von Kl, können beispielsweise bei einer Flügellänge von ca. 70 m beim Abstand der Drohne bzw. der Aufnahmeeinheit von 7 m zum Flügel pro Seite ca. 25 Bilder erzeugt werden oder bspw. notwendig sein. Zur Erzielung einer verbesserten Auflösung, bspw. der zuvor erläuterten zweiten Auflösung, beispielsweise einer von einem Gutachter geforderten Auflösung von über 3,5 Pixel/mm können oder sollten erkannte Fehler mit einem Abstand von ca. 3 m zum Flügel erneut oder sofort angeflogen werden. Zur Erzielung der Auflösungsverbesserung kann jedoch auch wie zuvor beschrieben ein Änderung einer Zoomeinstellung oder ein Veränderung des verwendeten Objektivs durchgeführt werden. 3. Wing Inspection: Wing inspection methods of the present invention are similar to tower inspection methods, but with a significantly reduced number of images, for example. For example, to achieve a necessary or advantageous resolution of approximately 1.6 pixels/mm for an initial assessment or for the use of Kl, for example with a wing length of approximately 70 m at a distance of 7 m from the drone or the recording unit about 25 images per side for the wing are generated or, for example, may be necessary. To achieve an improved resolution, for example the second resolution explained above, for example a resolution of more than 3.5 pixels/mm required by an expert, detected defects can or should be flown to again or immediately at a distance of approx. 3 m from the wing. However, to achieve the improvement in resolution, a change in a zoom setting or a change in the lens used can also be carried out, as described above.
Anhand der folgenden Tabelle werden Aspekte von Ausführungsbeispielen gemäß der Erfindung noch einmal kurz zusammengefasst und deren Vorteile anhand von Zahlenbeispielen verdeutlicht. Die Zahlenwerte beruhen auf der zuvor beschriebenen 300er
DJI Drohne mit P1 Vollformat Kamera und 50 mm Objektiv. Der Bildsensor weist eine Breite von 35,9 mm mit 8197 Pixeln und eine Höhe von 24 mm mit 5460 Pixeln auf.
Aspects of exemplary embodiments according to the invention are briefly summarized again using the following table and their advantages are illustrated using numerical examples. The numerical values are based on the 300s described above DJI drone with P1 full frame camera and 50mm lens. The image sensor has a width of 35.9 mm with 8197 pixels and a height of 24 mm with 5460 pixels.
In der Tabelle sind die zuvor beschriebenen möglichen Aufgaben, bzw. Missionen von erfindungsgemäßen Verfahren im Hinblick auf eine Windkraftanlage, in Form einer Turminspektion, einer Flügelinspektion und einer Kalibrierung (Kalibrierungsflug) aufgetragen. Ferner ist auch ein Beispiel für einen zuvor beschriebenen Fehlerflug eingetragen. Für jede dieser Aufgaben ist in der vierten Spalte ein Abstand des Luftfahrzeugs bzw. der Drohne von der Windkraftanlage, in der fünften Spalte die von einem jeweiligen Bildausschnitt abgedeckte Bildbreite bezüglich der Oberfläche der Windkraftanlage in mm, in der sechsten Spalte die von einem jeweiligen Bildausschnitt abgedeckte Bildhöhe bezüglich der Oberfläche der Windkraftanlage in mm und in der siebten Spalte die jeweilige Auflösung in Pixel/mm aufgetragen. Die Inspektion einer Windkraftanlage kann beispielsweise mit der Kalibrierung, bzw. dem Kalibrierungsflug beginnen. Dazu fliegt ein Pilot mit dem Luftfahrzeug, beispielsweise der Drohne die Windkraftanlage in einem Abstand von 25 m ab. Dabei wird die Windkraftanlage
optisch erfasst, wobei ein Bild einem Bildbereich in der Realität mit einer Breite von 18 m und einer Höhe von 12 m entspricht. Dementsprechend haben Bilder aus dieser optischen Erfassung eine Auflösung von 0,46 Pixel/mm. Auf Grundlage einer bekannten Positionsund Lageinformation des Luftfahrzeugs, welche mit den gemachten Bildern verknüpft wird, kann über einer Erkennung von charakteristischen Merkmalen der Windkraftanlage, wie beispielsweise den Flügelspitzen, ein CAD Modell der Windkraftanlage erstellt oder ein generisches Modell modifiziert werden. Durch den hohen Abstand und die geringe Auflösung kann dieser Schritt mit geringem Zeitaufwand durchgeführt werden. Die Erkennung der Merkmale kann dabei insbesondere unter Verwendung und Verfahren des maschinellen Lernens durchgeführt werden. Es sei darauf hingewiesen, dass der Abstand aber auch bspw. in einem Bereich oder Intervall liegen kann, sodass der Abstand bspw. höchstens 25 m oder höchstens 20 m beträgt, oder in einem Bereich von 20 m bis 25 liegt. Ferner kann der Abstand auch bspw. 20 m betragen. The possible tasks described above, or missions of the method according to the invention with regard to a wind turbine, are entered in the table in the form of a tower inspection, a blade inspection and a calibration (calibration flight). Furthermore, an example of a previously described error flight is also entered. For each of these tasks, the fourth column shows the distance between the aircraft or the drone and the wind turbine, the fifth column shows the image width covered by a respective image section in relation to the surface of the wind turbine in mm, and the sixth column shows the image width covered by a respective image section Image height in relation to the surface of the wind turbine in mm and in the seventh column the respective resolution in pixels/mm. The inspection of a wind turbine can start, for example, with the calibration or the calibration flight. To do this, a pilot flies the aircraft, for example the drone, over the wind turbine at a distance of 25 m. The wind turbine recorded optically, whereby an image corresponds to an image area in reality with a width of 18 m and a height of 12 m. Accordingly, images from this optical acquisition have a resolution of 0.46 pixels/mm. Based on known position and orientation information of the aircraft, which is linked to the images taken, a CAD model of the wind turbine can be created or a generic model can be modified by recognizing characteristic features of the wind turbine, such as the wing tips. Due to the large distance and the low resolution, this step can be carried out in a short time. In this case, the recognition of the features can be carried out in particular using and using methods of machine learning. It should be pointed out that the distance can also be, for example, in a range or interval such that the distance is, for example, at most 25 m or at most 20 m, or is in a range from 20 m to 25 m. Furthermore, the distance can also be 20 m, for example.
Auf Grundlage des CAD Modells können anschließend Wegpunkte für die Inspektionsflüge, also beispielsweise für eine Turminspektion und/oder eine Flügelinspektion erzeugt werden. Auch diese Wegpunkte können wiederum unter Verwendung einer Kl erzeugt werden. Sowohl die Auswertung, als auch die Wegpunkterzeugung kann dabei nach einer Landung nach dem Kalibrierungsflug oder auch schon während dem Kalibrierungsflug durch das Luftfahrzeug selbst durchgeführt werden. Um Fehler mit ausreichender Genauigkeit erkennen zu können, wird bei den beispielsweise anschließend autonom durchgeführten Inspektionsflügen der Abstand des Luftfahrzeugs zu der Windkraftanlage verringert. Für die Flügelinspektion kann so beispielsweise ein Abstand von 7 m eingestellt werden, sodass ein erzeugtes Bild einer Breite in der Realität von ca. 5 m und einer Höhe von ca. 3,3 m entspricht, was zu einer Auflösung von 1 ,63 Pixel/mm führt. Bei 25 Bildern pro Flügelseite, mit 3 Seiten und einer Überlappung (Overlap) von 20 cm resultieren bei einer beispielhaften Länge der Flügel von 70m 75 Bilder. Analog resultieren bei der Turminspektion 304 Bilder bei einer Auflösung von 1 ,28 Pixel/mm. Waypoints for the inspection flights, for example for a tower inspection and/or a wing inspection, can then be generated on the basis of the CAD model. These waypoints can in turn be generated using a Kl. Both the evaluation and the waypoint generation can be carried out by the aircraft itself after landing after the calibration flight or even during the calibration flight. In order to be able to detect errors with sufficient accuracy, the distance between the aircraft and the wind turbine is reduced during the inspection flights that are then carried out autonomously, for example. For example, a distance of 7 m can be set for the wing inspection, so that an image generated corresponds to a width of approx. 5 m and a height of approx. 3.3 m in reality, which results in a resolution of 1.63 pixels/ mm leads. With 25 images per wing side, with 3 sides and an overlap of 20 cm, 75 images result with an exemplary length of the wing of 70 m. Similarly, the tower inspection results in 304 images with a resolution of 1.28 pixels/mm.
Zur Auswertung der Bilder der Inspektionsflüge kann wiederum Kl zum Einsatz kommen. Wie bereits zuvor erwähnt, kann diese während des Fluges selbst bereits die Bilder kategorisieren, und in Bilder einteilen, welche Beschädigungen zeigen und in Bilder, welche keine Beschädigungen zeigen. Alternativ kann dies auch nach einer Landung auf einem externen Rechner erfolgen. Der große Vorteil von Verfahren des Maschinen Learning wird anhand der großen Anzahl an Bildern klar, was bei einer Auswertung durch einen Menschen einen hohen Zeitaufwand mit sich bringen würde. Durch die erfindungsgemäße
Idee, Bereiche der Windkraftanlage, welche Beschädigungen aufweisen noch einmal gesondert zu erfassen, kann auf eine direkte, zeitaufwändige und datenintensive Erzeugung von Bildern mit hoher Auflösung bei der Turm- und/oder Flügelinspektion bspw. für die gesamte Oberfläche von Turm und/oder Flügeln verzichtet werden. Durch die Positions- und Lageinformation der Drohne, welche mit den entsprechenden Bildern, auf denen Beschädigung erkannt wurden verknüpft sein können, können entsprechende Stellen erneut angeflogen werden bei einem Fehlerflug. Alternativ kann das Erfassen mit der zweiten bzw. höheren Auflösung auch im Zuge der Turm-bzw. Flügelinspektion stattfinden. Der Abstand des Luftfahrzeugs dem Objekt kann auf 3 m verringert werden, oder ein entsprechendes Objektiv angebracht (z.B. bei einer Zwischenlandung) bzw. eine Zoomeinstellung (z.B. im Flug) dementsprechend angepasst. Dadurch kann eine Auflösung von 3,87 Pixel/mm erzielt werden. Kl can in turn be used to evaluate the images of the inspection flights. As already mentioned, this can already categorize the images during the flight itself and divide them into images that show damage and into images that show no damage. Alternatively, this can also be done after landing on an external computer. The great advantage of machine learning methods becomes clear from the large number of images, which would require a lot of time if evaluated by a human. By the inventive The idea of separately detecting areas of the wind turbine that are damaged once again eliminates the need for a direct, time-consuming and data-intensive generation of high-resolution images during the tower and/or blade inspection, e.g. for the entire surface of the tower and/or blades will. Due to the position and situation information of the drone, which can be linked to the corresponding images on which damage was detected, corresponding locations can be flown to again in the event of a faulty flight. Alternatively, the detection with the second or higher resolution can also take place in the course of the tower or wing inspection take place. The distance between the aircraft and the object can be reduced to 3 m, or a corresponding lens can be attached (e.g. during a stopover) or a zoom setting (e.g. in flight) can be adjusted accordingly. This enables a resolution of 3.87 pixels/mm to be achieved.
Mit einer derart hohen Auflösung können auch kleinste Beschädigung erkannt und kategorisiert werden. Somit sind auch beispielsweise harte gesetzliche Vorgaben bezüglich der Sicherheit von Anlagen umsetzbar. Durch die Reduktion der Anzahl derWith such a high resolution, even the smallest damage can be detected and categorized. Thus, for example, strict legal requirements regarding the safety of systems can be implemented. By reducing the number of
Detailaufnahmen im Zuge der erneuten optischen Erfassung mit der erhöhten, bzw. zweiten Auflösung ist ein erfindungsgemäßes Verfahren mit geringem Zeit- undDetailed recordings in the course of renewed optical detection with the increased or second resolution is a method according to the invention with little time and effort
Ressourcenaufwand verknüpft, aufgrund der Vorauswahl der zu betrachtenden Bereiche der Windkraftanlage. Darüber hinaus ist ein entsprechendes Verfahren durch den Einsatz einer Vielzahl autonom fliegende Drohnen sehr gut skalierbar. Eine weitere Möglichkeit der Skalierung besteht in der Genauigkeit, wobei sowohl die Inspektionsflüge als auch die Fehlerflüge mit noch weiter verringerten Abständen und besseren Bildsensoren verbessert werden können. Ferner können auch mit Zoomobjektiven mehr Bilder, mit höherer Auflösung erzeugt werden. Resource expenditure linked, due to the pre-selection of the areas of the wind turbine to be considered. In addition, a corresponding method is very easily scalable by using a large number of autonomously flying drones. Another possibility for scaling is the accuracy, whereby both the inspection flights and the error flights can be improved with even further reduced distances and better image sensors. Furthermore, more images with higher resolution can also be generated with zoom lenses.
In den folgenden Figuren 5 und 6 sollen erfindungsgemäße Verfahren noch einmal kurz zusammengefasst werden. In the following FIGS. 5 and 6, methods according to the invention are briefly summarized again.
Fig. 5 zeigt ein Ablaufdiagramm eines Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Fig. 5 zeigt die Verfahrensschritte 510-530 in einer Reihenfolge, welche lediglich als Beispiel dienen soll. Die Verfahrensschritte können dementsprechend auch in veränderter Reihenfolge angewendet werden. Schritt 510 umfasst ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit 130 mit einer ersten Auflösung, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen
zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Schritt 520 umfasst ein bspw. automatisiertes Auswerten der Mehrzahl von Bildern, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Schritt 530 umfasst ein erneutes optisches Erfassen derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung. FIG. 5 shows a flow chart of a method for detecting a feature of an object according to an embodiment of the present invention. FIG. 5 shows the method steps 510-530 in an order which is only intended to serve as an example. Accordingly, the method steps can also be used in a different order. Step 510 includes flying the object and optically capturing at least a portion of the object by at least one acquisition unit 130 at a first resolution to generate a plurality of images, each image having a represents at least partially different area of the object. Step 520 includes, for example, an automated evaluation of the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature. Step 530 includes re-optically capturing those areas of the object whose associated images contain the feature at a second resolution that is higher than the first resolution.
Fig. 6 zeigt ein Ablaufdiagramm eines weiteren Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Fig. 6 zeigt die Verfahrensschritte 610-630 in einer Reihenfolge, welche lediglich als Beispiel dienen soll. Die Verfahrensschritte können dementsprechend auch in veränderter Reihenfolge angewendet werden. Schritt 610 umfasst ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt, und wobei für einen Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, erzeugt werden. Schritt 620 umfasst ein bspw. automatisiertes Auswerten der Mehrzahl von Bildern, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Schritt 630 umfasst ein Bereitstellen der Teilbilder derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten. FIG. 6 shows a flowchart of a further method for detecting a feature of an object according to an embodiment of the present invention. 6 shows the method steps 610-630 in an order which is intended to serve only as an example. Accordingly, the method steps can also be used in a different order. Step 610 comprises flying off the object and optically capturing at least a part of the object by at least one recording unit in order to generate a plurality of images, each image representing an at least partially different area of the object, and wherein for one area an image with a first Resolution and a plurality of sub-images are each generated with a second resolution that is higher than the first resolution. Step 620 includes, for example, an automated evaluation of the plurality of images in order to classify the generated images into images that do not contain the feature and into images that contain the feature. Step 630 includes providing the partial images of those areas of the object whose associated images contain the feature.
Ferner sei darauf hingewiesen, dass das optische Erfassen gemäß Ausführungsbeispielen auch eine Erfassung im Infrarotbereich, also bspw. mittels Infrarotkameras, umfassen kann. Furthermore, it should be pointed out that the optical detection according to exemplary embodiments can also include detection in the infrared range, ie for example by means of infrared cameras.
Alle hierin aufgeführten Aufzählungen der Materialien, Umwelteinflüsse, elektrischen Eigenschaften und optischen Eigenschaften sind hierbei als beispielhaft und nicht als abschließend anzusehen. All lists of the materials, environmental influences, electrical properties and optical properties listed here are to be regarded as examples and not as conclusive.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden
Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden. Although some aspects have been described in the context of a device, it is understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects that have been described in connection with or as a method step also constitute a description of a corresponding one represents blocks or details or features of a corresponding device. Some or all of the method steps may be performed by (or using) hardware apparatus, such as a microprocessor, a programmable computer, or electronic circuitry. In some embodiments, some or more of the essential process steps can be performed by such an apparatus.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. Implementation can be performed using a digital storage medium such as a floppy disk, DVD, Blu-ray Disc, CD, ROM, PROM, EPROM, EEPROM or FLASH memory, hard disk or other magnetic or optical memory, on which electronically readable control signals are stored, which can interact with a programmable computer system in such a way or interact that the respective method is carried out. Therefore, the digital storage medium can be computer-readable.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Thus, some embodiments according to the invention comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system in such a way that one of the methods described herein is carried out.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. In general, embodiments of the present invention can be implemented as a computer program product with a program code, wherein the program code is effective to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein. The program code can also be stored on a machine-readable carrier, for example.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Other exemplary embodiments include the computer program for performing one of the methods described herein, the computer program being stored on a machine-readable carrier.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin
beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. In other words, an embodiment of the method according to the invention is thus a computer program that has a program code for performing one of the herein has the method described when the computer program runs on a computer.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren auf-gezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nichtvergänglich bzw. nicht-vorübergehend. A further exemplary embodiment of the method according to the invention is therefore a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded. The data carrier, digital storage medium, or computer-readable medium is typically tangible and/or non-transitory.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden. A further exemplary embodiment of the method according to the invention is therefore a data stream or a sequence of signals which represents the computer program for carrying out one of the methods described herein. For example, the data stream or sequence of signals may be configured to be transferred over a data communication link, such as the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Another embodiment includes a computer on which the computer program for performing one of the methods described herein is installed.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor-richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen. A further exemplary embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient. The transmission can take place electronically or optically, for example. For example, the recipient may be a computer, mobile device, storage device, or similar device. The device or the system can, for example, comprise a file server for transmission of the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA und/oder spezielle oder speziell entwickelte AI Chips) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen
kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. In some embodiments, a programmable logic device (e.g., a field programmable gate array, an FPGA, and/or dedicated or purpose-built AI chips) may be used to perform some or all of the functionality of the methods described herein. In some embodiments For example, a field programmable gate array can cooperate with a microprocessor to perform any of the methods described herein. In general, in some embodiments, the methods are performed on the part of any hardware device. This can be hardware that can be used universally, such as a computer processor (CPU), or hardware that is specific to the method, such as an ASIC.
Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. The devices described herein may be implemented, for example, using hardware apparatus, or using a computer, or using a combination of hardware apparatus and a computer.
Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschriebenen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein. The devices described herein, or any components of the devices described herein, may be implemented at least partially in hardware and/or in software (computer program).
Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden. The methods described herein may be implemented, for example, using hardware apparatus, or using a computer, or using a combination of hardware apparatus and a computer.
Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden. The methods described herein, or any components of the methods described herein, may be performed at least in part by hardware and/or by software.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.
The embodiments described above are merely illustrative of the principles of the present invention. It is understood that modifications and variations to the arrangements and details described herein will occur to those skilled in the art. Therefore, it is intended that the invention be limited only by the scope of the following claims and not by the specific details presented in the description and explanation of the embodiments herein.
Claims
1 . Verfahren (500) zur Erfassung eines Merkmals (1 10a, 450, 460) eines Objekts (110, 400), wobei das Verfahren die folgenden Schritte aufweist: 1 . Method (500) for detecting a feature (1 10a, 450, 460) of an object (110, 400), the method having the following steps:
(a) Abfliegen (510) des Objekts (110, 400) und optisches Erfassen zumindest eines Teils des Objekts (1 10b) durch zumindest eine Aufnahmeeinheit (130) mit einer ersten Auflösung, um eine Mehrzahl von Bildern (B1 -B4) zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts (110, 400) darstellt, (a) Flying (510) the object (110, 400) and optically capturing at least part of the object (1 10b) by at least one recording unit (130) with a first resolution in order to generate a plurality of images (B1 -B4). , wherein each image represents an at least partially different area of the object (110, 400),
(b) Auswerten (520) der Mehrzahl von Bildern, um die erzeugten Bilder in Bilder (210), die das Merkmal nicht enthalten, und in Bilder (220), die das Merkmal enthalten, zu klassifizieren, und (b) evaluating (520) the plurality of images to classify the generated images into images (210) not containing the feature and images (220) containing the feature, and
(c) erneutes optisches Erfassen (530) derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal (1 10a, 450, 460) enthalten, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung. (c) re-optically detecting (530) those areas of the object whose associated images contain the feature (110a, 450, 460) with a second resolution that is higher than the first resolution.
2. Verfahren (500) nach Anspruch 1 , bei dem der Schritt (b) nach dem Abfliegen (510) des Objekts (1 10, 400) durchgeführt wird, und der Schritt (c) ein Anfliegen derjenigen Bereiche des Objekts (1 10, 400) umfasst, deren zugeordnete Bilder das Merkmal (1 10a, 450, 460) enthalten. 2. The method (500) according to claim 1, in which step (b) is carried out after the object (1-10, 400) has taken off (510), and step (c) involves flying to those areas of the object (1-10, 400) whose associated images contain the feature (1 10a, 450, 460).
3. Verfahren (500) nach Anspruch 2, bei dem die Aufnahmeeinheit im Schritt (a) und im Schritt (c) jeweils ein Bild mit der gleichen Brennweite erzeugt, das Objekt (110, 400) im Schritt (a) derart angeflogen wird, dass die Aufnahmeeinheit (130) beim Erzeugen eines Bildes (B1 -B4) einen ersten Abstand (di) zu dem Objekt aufweist, und
das Objekt im Schritt (c) derart angeflogen wird, dass die Aufnahmeeinheit beim Erzeugen eines Bildes (B21 , 470) einen zweiten Abstand (ds) zu dem Objekt aufweist, der geringer ist als der erste Abstand. 3. The method (500) according to claim 2, in which the recording unit generates an image with the same focal length in step (a) and in step (c), the object (110, 400) is flown to in step (a) in such a way that the recording unit (130) has a first distance (di) to the object when generating an image (B1 -B4), and the object is flown to in step (c) in such a way that the recording unit has a second distance (ds) from the object when generating an image (B21, 470), which distance is less than the first distance.
4. Verfahren (500) nach Anspruch 2, bei dem das Objekt (1 10, 400) im Schritt (a) und im Schritt (c) derart angeflogen wird, dass die Aufnahmeeinheit (130) beim Erzeugen eines Bildes den gleichen oder ähnlichen Abstand zu dem Objekt aufweist, die Aufnahmeeinheit (130) im Schritt (a) ein Bild mit einer ersten Brennweite erzeugt, und die Aufnahmeeinheit (130) im Schritt (c) ein Bild (B21 , 470) mit einer zweiten Brennweite erzeugt, die größer ist als die erste Brennweite. 4. The method (500) according to claim 2, wherein the object (1 10, 400) in step (a) and in step (c) is flown such that the recording unit (130) when generating an image the same or similar distance to the object, the recording unit (130) generates an image with a first focal length in step (a), and the recording unit (130) generates an image (B21, 470) with a second focal length in step (c), which is larger as the first focal length.
5. Verfahren (500) nach Anspruch 4, bei dem die Aufnahmeeinheit (130) im Schritt (a) zumindest eines aus einer ersten Kamera, einem ersten Objektiv und einer ersten Kameralinse, mit der ersten Brennweite, oder ein Zoomobjektiv mit einer ersten Zoomeinstellung gemäß der ersten Brennweite verwendet, und der Schritt (c) ein Ersetzen der ersten Kamera der Aufnahmeeinheit (130) durch eine zweite Kamera mit der zweiten Brennweite und/oder ein Ersetzen des ersten Objektivs der Aufnahmeeinheit (130) durch ein zweites Objektiv mit der zweiten Brennweite und/oder ein Ersetzen der ersten Kameralinse der Aufnahmeeinheit (130) mit einer zweiten Kameralinse mit der zweiten Brennweite oder ein Einstellen des Zoomobjektivs der Aufnahmeeinheit auf eine zweite Zoomeinstellung gemäß der zweiten Brennweite umfasst. 5. The method (500) according to claim 4, wherein the recording unit (130) in step (a) at least one of a first camera, a first lens and a first camera lens, with the first focal length, or a zoom lens with a first zoom setting according to the first focal length is used, and step (c) replacing the first camera of the recording unit (130) with a second camera with the second focal length and/or replacing the first lens of the recording unit (130) with a second lens with the second focal length and/or replacing the first camera lens of the recording unit (130) with a second camera lens having the second focal length or adjusting the zoom lens of the recording unit to a second zoom setting according to the second focal length.
6. Verfahren (500) nach Anspruch 2, bei dem das erneute optische Erfassen des Bereichs im Schritt (c) das Erzeugen einer Mehrzahl von Teilbildern (B21 -B24) des Bereichs jeweils mit der zweiten Auflösung umfasst. 6. The method (500) according to claim 2, wherein the renewed optical detection of the area in step (c) comprises generating a plurality of partial images (B21-B24) of the area each with the second resolution.
7. Verfahren (500) nach einem der Ansprüche 2 bis 6, bei dem
jedem im Schritt (a) erzeugten Bild eine Positions- und/oder Lageinformation der Aufnahmeeinheit (130) zugeordnet ist, und im Schritt (c) die abzufliegenden Bereiche des Objekts (110, 400) unter Verwendung der Positions- und/oder Lageinformation der Bilder (220), die das Merkmal (1 10a, 450, 460) enthalten, bestimmt werden. 7. The method (500) according to any one of claims 2 to 6, wherein each image generated in step (a) is assigned position and/or location information of the recording unit (130), and in step (c) the areas of the object (110, 400) to be flown using the position and/or location information of the images (220) containing the feature (1 10a, 450, 460) can be determined.
8. Verfahren (500) nach einem der Ansprüche 2 bis 7, bei dem das Objekt (110, 400) mit einem unbemannten Luftfahrzeug (120), z.B. einer Drohne, abgeflogen wird, das die Aufnahmeeinheit (130) umfasst, und der Schritt (b) das Übertragen der im Schritt (a) erzeugten Bilder (B1 -B4) von dem unbemannten Luftfahrzeug auf einen Rechner (140), z.B. einen Laptop-Computer, und das Auswerten der Bilder durch den Rechner (140) umfasst; und das Auswerten der Bilder ein automatisiertes Auswerten der Bilder umfasst. 8. The method (500) according to any one of claims 2 to 7, in which the object (110, 400) is flown with an unmanned aircraft (120), e.g. a drone, which comprises the recording unit (130), and the step ( b) the transmission of the images (B1-B4) generated in step (a) from the unmanned aircraft to a computer (140), e.g. a laptop computer, and the evaluation of the images by the computer (140); and the evaluation of the images includes an automated evaluation of the images.
9. Verfahren (500) nach Anspruch 8, bei dem das unbemannte Luftfahrzeug (120) das Objekt (110, 400) im Schritt (a) autonom abfliegt, der Schritt (b) das Erzeugen von Wegpunkten (WP2) unter Verwendung der Positions- und/oder Lageinformation der Bilder (220), die das Merkmal enthalten, und das Übertragen der Wegpunkte an das unbemannte Luftfahrzeug (120) umfasst, und das unbemannte Luftfahrzeug (120) im Schritt (c) die Bereiche des Objekts unter Verwendung der Wegpunkte (WP2) autonom anfliegt. 9. The method (500) according to claim 8, in which the unmanned aircraft (120) autonomously flies over the object (110, 400) in step (a), step (b) generating waypoints (WP2) using the position and/or location information of the images (220) containing the feature and transmitting the waypoints to the unmanned aerial vehicle (120), and the unmanned aerial vehicle (120) in step (c) the areas of the object using the waypoints ( WP2) approaches autonomously.
10. Verfahren (500) nach einem der Ansprüche 2 bis 7, bei dem das Objekt mit einem unbemannten Luftfahrzeug (120), z.B. einer Drohne, autonom abgeflogen wird, das die Aufnahmeeinheit (130) umfasst,
das unbemannte Luftfahrzeug (120) einen Rechner (140) umfasst, wobei der Schritt (b) das Auswerten der Bilder und das Erzeugen von Wegpunkten (WP2) unter Verwendung der Positions- und/oder Lageinformation der Bilder (220), die das Merkmal enthalten, durch den Rechner (140) des unbemannten Luftfahrzeugs (120) umfasst, wobei das Auswerten der Bilder ein automatisiertes Auswerten der Bilder umfasst, und das unbemannte Luftfahrzeug (120) im Schritt (c) die Bereiche des Objekts (1 10, 400) unter Verwendung der Wegpunkte (WP2) autonom anfliegt. 10. The method (500) according to any one of claims 2 to 7, in which the object is flown autonomously with an unmanned aircraft (120), for example a drone, which comprises the recording unit (130), the unmanned aerial vehicle (120) comprises a computer (140), step (b) evaluating the images and generating waypoints (WP2) using the position and/or location information of the images (220) containing the feature , by the computer (140) of the unmanned aircraft (120), wherein the evaluation of the images comprises an automated evaluation of the images, and the unmanned aircraft (120) in step (c) the areas of the object (1 10, 400) below using the waypoints (WP2) flies autonomously.
11. Verfahren gemäß einem der vorigen Ansprüche, wobei das Abfliegen (510) des Objekts (110b) im Schritt (a) ein autonomes Abfliegen des Objekts durch ein unbemanntes Luftfahrzeug (120) ist, wobei das unbemannte Luftfahrzeug die zumindest eine Aufnahmeeinheit (130) umfasst; und wobei der Schritt (b) das Erzeugen von Wegpunkten unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten, und das Übertragen der Wegpunkte an das unbemannte Luftfahrzeug umfasst; und der Schritt (c) ein autonomes Abfliegen der Bereiche des Objekts unter Verwendung der Wegpunkte umfasst. 11. The method according to any one of the preceding claims, wherein the taking off (510) of the object (110b) in step (a) is an autonomous taking off of the object by an unmanned aircraft (120), the unmanned aircraft having the at least one recording unit (130) includes; and wherein step (b) comprises generating waypoints using the position and/or attitude information of the images containing the feature and transmitting the waypoints to the unmanned aerial vehicle; and step (c) comprises autonomously traversing the regions of the object using the waypoints.
12. Verfahren (500) nach Anspruch 1 , bei dem die Schritte (a) bis (c) während des Abfliegens des Objekts (1 10, 400) derart durchgeführt werden, dass im Schritt (a) ein Bild (B1 -B4) eines Bereichs erzeugt wird, im Schritt (b) das im Schritt (a) erzeugte Bild vor der Erzeugung eines Bildes für einen weiteren Bereich klassifiziert wird, wenn im Schritt (b) das Bild (B2) als das Merkmal (1 10a, 450, 460) enthaltend klassifiziert wird, im Schritt (c) der Bereich vor der Erzeugung des weiteren Bildes optisch erneut erfasst wird, bevor ein Bild (B3, B4) für den weiteren Bereich erzeugt wird, und
wenn im Schritt (b) das Bild (B1 , B3, B4) als das Merkmal (110a, 450, 460) nicht enthaltend klassifiziert wird, ein Bild für den weiteren Bereich erzeugt wird. 12. The method (500) according to claim 1, wherein the steps (a) to (c) while flying off the object (1 10, 400) are carried out such that in step (a) an image (B1 -B4) of a area is generated, in step (b) the image generated in step (a) is classified before generating an image for a further area, if in step (b) the image (B2) is classified as the feature (1 10a, 450, 460 ) is classified containing, in step (c) the area is optically re-detected prior to the generation of the further image before an image (B3, B4) is generated for the further area, and if in step (b) the image (B1, B3, B4) is classified as not containing the feature (110a, 450, 460), an image for the wider area is generated.
13. Verfahren (500) nach Anspruch 12, bei dem die Aufnahmeeinheit (130) im Schritt (a) und im Schritt (c) jeweils ein Bild mit der gleichen Brennweite erzeugt, das Objekt (110, 400) im Schritt (a) derart angeflogen wird, dass die Aufnahmeeinheit (130) beim Erzeugen eines Bildes (B2) einen ersten Abstand (di) zu dem Objekt (110, 400) aufweist, und im Schritt (c) der Abstand der Aufnahmeeinheit (130) zu dem Objekt (110, 400) auf einen zweiten Abstand (da) reduziert wird, der geringer ist als der erste Abstand. 13. The method (500) according to claim 12, in which the recording unit (130) in step (a) and in step (c) each generates an image with the same focal length, the object (110, 400) in step (a) such is flown that the recording unit (130) has a first distance (di) to the object (110, 400) when generating an image (B2), and in step (c) the distance of the recording unit (130) to the object (110 , 400) is reduced to a second distance (da) that is less than the first distance.
14. Verfahren (500) nach Anspruch 12, bei dem das Objekt (110, 400) im Schritt (a) derart angeflogen wird, dass die Aufnahmeeinheit (130) beim Erzeugen eines Bildes (B2) einen ersten Abstand zu dem Objekt (110, 400) aufweist, und die Aufnahmeeinheit (130) ein Bild (B2) mit einer ersten Brennweite erzeugt, und im Schritt (c) der Abstand der Aufnahmeeinheit (130) zu dem Objekt (110, 400) gleich oder ähnlich dem ersten Abstand ist, und die Aufnahmeeinheit (130) ein Bild (B21 , 470) mit einer zweiten Brennweite erzeugt, die größer ist als die erste Brennweite. 14. The method (500) according to claim 12, in which the object (110, 400) is flown to in step (a) in such a way that the recording unit (130) when generating an image (B2) is a first distance from the object (110, 400), and the recording unit (130) generates an image (B2) with a first focal length, and in step (c) the distance between the recording unit (130) and the object (110, 400) is equal to or similar to the first distance, and the capturing unit (130) generates an image (B21, 470) with a second focal length that is larger than the first focal length.
15. Verfahren (500) nach Anspruch 14, bei dem die Aufnahmeeinheit (130) zumindest eines aus einer Mehrzahl von Objektiven, einem Zoomobjektiv, einer Mehrzahl von Kameras und einer Mehrzahl von Kameralinsen umfasst, die Aufnahmeeinheit (130) im Schritt (a) eine erste Kamera und/oder ein erstes Objektiv und/oder eine erste Kameralinse, mit der ersten Brennweite verwendet
und/oder das Zoomobjektiv auf eine erste Zoomeinstellung gemäß der ersten Brennweite einstellt, und die Aufnahmeeinheit (130) im Schritt (c) eine zweite Kamera und/oder ein zweites Objektiv und/oder eine zweite Kameralinse, mit der zweiten Brennweite verwendet und/oder das Zoomobjektiv auf eine zweite Zoomeinstellung gemäß der zweiten Brennweite einstellt. 15. The method (500) according to claim 14, in which the recording unit (130) comprises at least one of a plurality of lenses, a zoom lens, a plurality of cameras and a plurality of camera lenses, the recording unit (130) in step (a) a first camera and/or a first lens and/or a first camera lens, used with the first focal length and/or sets the zoom lens to a first zoom setting according to the first focal length, and the recording unit (130) in step (c) uses a second camera and/or a second lens and/or a second camera lens with the second focal length and/or sets the zoom lens to a second zoom setting according to the second focal length.
16. Verfahren (500) nach Anspruch 12, bei dem das erneute optische Erfassen des Bereichs im Schritt (c) das Erzeugen einer Mehrzahl von Teilbildern (B21 -B24) des Bereichs jeweils mit der zweiten Auflösung umfasst 16. The method (500) according to claim 12, wherein the renewed optical detection of the area in step (c) comprises generating a plurality of partial images (B21-B24) of the area each with the second resolution
17. Verfahren (500) nach einem der Ansprüche 12 bis 16, bei dem das Objekt (110, 400) mit einem unbemannten Luftfahrzeug (120), z.B. einer Drohne, autonom abgeflogen wird, das die Aufnahmeeinheit (130) umfasst, und das unbemannte Luftfahrzeug (120) einen Rechner (140) umfasst, wobei der Schritt (b) das Auswerten der Bilder durch den Rechner (140) des unbemannten Luftfahrzeugs umfasst; und das Auswerten der Bilder ein automatisiertes Auswerten der Bilder umfasst. 17. The method (500) according to any one of claims 12 to 16, in which the object (110, 400) is flown autonomously with an unmanned aircraft (120), e.g. a drone, which comprises the recording unit (130), and the unmanned Aircraft (120) comprises a computer (140), wherein step (b) comprises evaluating the images by the computer (140) of the unmanned aerial vehicle; and the evaluation of the images includes an automated evaluation of the images.
18. Verfahren (500) nach einem der vorhergehenden Ansprüche, mit folgendem Schritt: 18. The method (500) according to any one of the preceding claims, with the following step:
(d) Übertragen der im Schritt (c) erzeugten Bilder an eine Auswertungseinheit (140), z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale (110a, 450, 460). (d) Transmission of the images generated in step (c) to an evaluation unit (140), e.g. for classification or cataloging of the detected features (110a, 450, 460).
19. Verfahren (600) zur Erfassung eines Merkmals (1 10a, 450, 460) eines Objekts (110, 400), wobei das Verfahren die folgenden Schritte aufweist: 19. Method (600) for detecting a feature (110a, 450, 460) of an object (110, 400), the method having the following steps:
(a) Abfliegen (610) des Objekts (110, 400) und optisches Erfassen zumindest eines Teils (1 10b) des Objekts durch zumindest eine Aufnahmeeinheit (130), um eine Mehrzahl von Bildern (B1 -B4) zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt, und wobei für einen
Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern (B1 1 - B44) jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, erzeugt werden, (a) Flying (610) the object (110, 400) and optically capturing at least a part (1 10b) of the object by at least one recording unit (130) to generate a plurality of images (B1 -B4), each image represents an at least partially different area of the object, and wherein for a Area an image with a first resolution and a plurality of sub-images (B1 1 - B44), each with a second resolution that is higher than the first resolution, are generated,
(b) Auswerten (620) der Mehrzahl von Bildern, um die erzeugten Bilder in Bilder (210), die das Merkmal (1 10a, 450, 460) nicht enthalten, und in Bilder (220), die das Merkmal (1 10a, 450, 460) enthalten, zu klassifizieren, und (b) evaluating (620) the plurality of images to divide the generated images into images (210) not containing the feature (1 10a, 450, 460) and into images (220) containing the feature (1 10a, 450, 460) contain, classify, and
(c) Bereitstellen (630) der Teilbilder (B21 , 470) derjenigen Bereiche des Objekts, deren zugeordnete Bilder (B2, 220a) das Merkmal (110a, 450, 460) enthalten. (c) providing (630) the partial images (B21, 470) of those areas of the object whose assigned images (B2, 220a) contain the feature (110a, 450, 460).
20. Verfahren (600) nach Anspruch 19, bei dem das Objekt (110, 400) im Schritt (a) derart angeflogen wird, dass die Aufnahmeeinheit (130) beim Erzeugen eines Bildes (B1 -B4) und der Teilbilder (B1 1 - B44) einen festgelegten Abstand zu dem Objekt (1 10, 400) aufweist, und die Aufnahmeeinheit (130) im Schritt (a) das Bild mit einer ersten Brennweite und die Teilbilder mit einer zweiten Brennweite erzeugt, die größer ist als die erste Brennweite. 20. The method (600) according to claim 19, in which the object (110, 400) is flown to in step (a) in such a way that the recording unit (130) when generating an image (B1-B4) and the partial images (B1 1 - B44) has a specified distance from the object (110, 400), and the recording unit (130) in step (a) generates the image with a first focal length and the partial images with a second focal length that is greater than the first focal length.
21 . Verfahren (600) nach Anspruch 20, bei dem die Aufnahmeeinheit (130) ein Zoomobjektiv umfasst, das beim Erzeugen des Bildes (B1 -B4) eine erste Zoomeinstellung gemäß der ersten Brennweite verwendet, und das beim Erzeugen der T eilbilder (B1 1 -B44) eine zweite Zoomeinstellung gemäß der zweiten Brennweite verwendet. 21 . Method (600) according to Claim 20, in which the recording unit (130) comprises a zoom lens which, when generating the image (B1 -B4), uses a first zoom setting in accordance with the first focal length, and which when generating the partial images (B1 1 -B44 ) uses a second zoom setting according to the second focal length.
22. Verfahren (600) nach einem der Ansprüche 19 bis 21 , bei dem das Objekt (110, 400) mit einem unbemannten Luftfahrzeug (120), z.B. einer Drohne, autonom abgeflogen wird, das die Aufnahmeeinheit (130) umfasst, der Schritt (b) das Übertragen der im Schritt (a) erzeugten Bilder (B1 -B4) und Teilbilder (B1 1 -B44) von dem unbemannten Luftfahrzeug (120) auf einen Rechner (140), z.B. einen Laptop-Computer, und das Auswerten der Bilder durch den
Rechner (140) umfasst, wobei das Auswerten der Bilder ein automatisiertes Auswerten der Bilder umfasst, und der Schritt (c) das Bereitstellen der Teilbilder des dem Bereich zugeordneten Bildes durch den Rechner (140) umfasst. 22. The method (600) according to any one of claims 19 to 21, in which the object (110, 400) is flown autonomously with an unmanned aircraft (120), for example a drone, which comprises the recording unit (130), the step ( b) transferring the images (B1-B4) and partial images (B11-B44) generated in step (a) from the unmanned aircraft (120) to a computer (140), eg a laptop computer, and evaluating the images through the Computer (140), wherein the evaluation of the images includes an automated evaluation of the images, and step (c) includes the provision of the partial images of the image assigned to the area by the computer (140).
23. Verfahren (600) nach einem der Ansprüche 19 bis 21 , bei dem das Objekt (110, 400) mit einem unbemannten Luftfahrzeug (120), z.B. einer Drohne, autonom abgeflogen wird, das die Aufnahmeeinheit (130) umfasst, das unbemannte Luftfahrzeug (120) einen Rechner (140) umfasst, wobei der Schritt (b) das Auswerten der Bilder (B1 -B4) und der Teilbilder (B1 1 -B44) durch den Rechner (140) des unbemannten Luftfahrzeugs (120) umfasst, wobei das Auswerten der Bilder (B1 -B4) und der Teilbilder (B1 1 -B44) ein automatisiertes Auswerten der Bilder (B1 -B4) und der Teilbilder (B11 -B44) umfasst, und das unbemannte Luftfahrzeug (120) im Schritt (c) die Teilbilder an eine Auswertungseinheit (140), z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale (110a, 450, 460), überträgt. 23. The method (600) according to any one of claims 19 to 21, in which the object (110, 400) is flown autonomously with an unmanned aircraft (120), e.g. a drone, which comprises the recording unit (130), the unmanned aircraft (120) comprises a computer (140), wherein step (b) comprises the evaluation of the images (B1 -B4) and the partial images (B1 1 -B44) by the computer (140) of the unmanned aircraft (120), wherein the Evaluation of the images (B1 -B4) and the partial images (B1 1 -B44) includes an automated evaluation of the images (B1 -B4) and the partial images (B11 -B44), and the unmanned aircraft (120) in step (c) the transmits partial images to an evaluation unit (140), e.g. for classifying or cataloging the detected features (110a, 450, 460).
24. Verfahren (500, 600) nach einem der vorhergehenden Ansprüche, bei dem das zu erfassende Merkmal (110a, 450, 460) ein Fehler (110a) des Objekts (1 10, 400) oder ein vorbestimmtes Element (450, 460) des Objekts (1 10, 400) umfasst. 24. The method (500, 600) according to any one of the preceding claims, in which the feature to be detected (110a, 450, 460) is a defect (110a) of the object (1 10, 400) or a predetermined element (450, 460) of the object (1 10, 400).
25. Verfahren (500, 600) nach einem der vorhergehenden Ansprüche, bei dem der Schritt (b) eine Kl oder maschinelles Lernen umfasst. 25. The method (500, 600) according to any one of the preceding claims, in which step (b) comprises AI or machine learning.
26. Verfahren (500, 600) nach einem der vorhergehenden Ansprüche, bei dem das Objekt (1 10, 400) eine Energieerzeugungsanlage, z.B. eine Windkraftanlage (400) oder eine Solaranlage, oder eine Industrieanlage, z.B. eine Bohrinsel, eine Fabrikanlage, eine Raffinerie, oder ein Gebäude, z.B. ein Hochhaus, oder eine Infrastruktureinrichtung, z.B. eine Brücke, umfasst. 26. The method (500, 600) according to any one of the preceding claims, in which the object (1 10, 400) is a power generation plant, e.g. a wind turbine (400) or a solar plant, or an industrial plant, e.g. an oil rig, a factory, a refinery , or a building, e.g. a skyscraper, or an infrastructure facility, e.g. a bridge.
27. Unbemanntes Luftfahrzeug (120), z.B. Drohne, zur Erfassung eines Merkmals (110a, 450, 460) eines Objekts (1 10, 400), mit:
zumindest einer Aufnahmeeinheit (130) zur Erzeugung von Bildern durch eine optische Erfassung, wobei das unbemannte Luftfahrzeug (120) ansteuerbar ist, um 27. Unmanned aircraft (120), eg drone, for detecting a feature (110a, 450, 460) of an object (110, 400), with: at least one recording unit (130) for generating images by optical detection, the unmanned aircraft (120) being controllable in order to
• das Objekt (1 10, 400) abzufliegen und um zumindest einen Teil (1 10b) des Objekts durch die Aufnahmeeinheit (130) mit einer ersten Auflösung optisch zu erfassen, um eine Mehrzahl von Bildern (B1 -B4) zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts (1 10, 400) darstellt, und • to fly the object (1 10, 400) and to optically detect at least a part (1 10b) of the object by the acquisition unit (130) with a first resolution to generate a plurality of images (B1 -B4), each image represents an at least partially different area of the object (1 10, 400), and
• diejenigen Bereiche des Objekts (1 10, 400), deren zugeordnete Bilder (B2) das Merkmal (110a, 450, 460) enthalten, erneut mit einer zweiten Auflösung optisch zu erfassen, die höher ist als die eine erste Auflösung. • those areas of the object (110, 400) whose assigned images (B2) contain the feature (110a, 450, 460) to be optically detected again with a second resolution that is higher than the first resolution.
28. Unbemanntes Luftfahrzeug gemäß Anspruch 27, wobei das unbemannte Luftfahrzeug (120) ansteuerbar ist, um das Objekt autonom abzufliegen und um diejenigen Bereiche des Objekts (1 10, 400) autonom anzufliegen, deren zugeordnete Bilder (B2) das Merkmal (110a, 450, 460) enthalten, unter Verwendung der Wegpunkte; und wobei das unbemannte Luftfahrzeug (120) dazu ausgebildet ist, um Wegpunkte zu empfangen, wobei die Wegpunkte unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten erzeugt wurden. 28. The unmanned aircraft according to claim 27, wherein the unmanned aircraft (120) can be controlled in order to autonomously fly over the object and to autonomously fly over those areas of the object (1 10, 400) whose associated images (B2) have the feature (110a, 450 , 460) included, using the waypoints; and wherein the unmanned aerial vehicle (120) is adapted to receive waypoints, the waypoints being generated using the position and/or attitude information of the images containing the feature.
29. Unbemanntes Luftfahrzeug (120), z.B. Drohne, nach einem der Ansprüche 27 oder 28, das ausgebildet ist, um 29. Unmanned aircraft (120), e.g. drone, according to one of claims 27 or 28, which is designed to
• die Mehrzahl von Bildern an einen externen Rechner (140), z.B. einen Laptop- Computer, zu übertragen, der die erzeugten Bilder in Bilder (210), die das Merkmal (110a, 450, 460) nicht enthalten, und in Bilder (220), die das Merkmal (1 10a, 450, 460) enthalten, klassifiziert, • transfer the plurality of images to an external computer (140), e.g. a laptop computer, which divides the generated images into images (210) that do not contain the feature (110a, 450, 460) and into images (220 ), which contain the feature (1 10a, 450, 460), classified,
• von dem externen Rechner (140) Informationen zu empfangen, die die mit der zweiten Auflösung optisch zu erfassenden Bereiche des Objekts (110, 400) anzeigen. • receiving information from the external computer (140) that indicates the areas of the object (110, 400) to be optically recorded with the second resolution.
30. Unbemanntes Luftfahrzeug (120), z.B. Drohne, nach einem der Ansprüche 27 oder 28, mit einem Rechner (140), der ausgebildet ist, die Mehrzahl von Bildern
auszuwerten, um die erzeugten Bilder in die Bilder (210), die das Merkmal (110a, 450, 460) nicht enthalten, und in die Bilder (220), die das Merkmal (110a, 450, 460) enthalten, zu klassifizieren. 30. Unmanned aircraft (120), eg drone, according to one of claims 27 or 28, with a computer (140) which is designed to take the plurality of images evaluate in order to classify the generated images into the images (210) that do not contain the feature (110a, 450, 460) and into the images (220) that contain the feature (110a, 450, 460).
31. Unbemanntes Luftfahrzeug (120), z.B. Drohne, zur Erfassung eines Merkmals (110a, 450, 460) eines Objekts (1 10, 400), mit: zumindest einer Aufnahmeeinheit (130) zur Erzeugung von Bildern durch eine optische Erfassung, wobei das unbemannte Luftfahrzeug (120) ansteuerbar ist, um 31. Unmanned aircraft (120), e.g. drone, for detecting a feature (110a, 450, 460) of an object (110, 400), with: at least one recording unit (130) for generating images by optical detection, wherein the unmanned aircraft (120) can be controlled in order to
• das Objekt (1 10, 400) abzufliegen und um zumindest einen Teil (1 10b) des Objekts durch die Aufnahmeeinheit (130) optisch zu erfassen, um eine Mehrzahl von Bildern (B1 -B4) zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts (1 10, 400) darstellt, und• to fly the object (1 10, 400) and to optically detect at least a part (1 10b) of the object by the recording unit (130) in order to generate a plurality of images (B1 -B4), each image at least partially different area of the object (1 10, 400), and
• für jeden Bereich ein Bild (B1 -B4) mit einer ersten Auflösung und eine Mehrzahl von Teilbildern (B1 1 -B44) jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, zu erzeugen. • to generate for each area an image (B1-B4) with a first resolution and a plurality of sub-images (B1 1 -B44), each with a second resolution that is higher than the first resolution.
32. System zur Erfassung eines Merkmals (1 10a, 450, 460) eines Objekts (110, 400), mit: einem unbemannten Luftfahrzeug (120), z.B. einer Drohne, wobei das unbemannte Luftfahrzeug (120) ansteuerbar ist, um das Objekt (110, 400) abzufliegen, um zumindest einen Teil (110b) des Objekts durch zumindest eine Aufnahmeeinheit (130) mit einer ersten Auflösung optisch zu erfassen, um eine Mehrzahl von Bildern (B1 -B4) zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts (1 10, 400) darstellt, wobei das System ausgebildet ist, die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in Bilder (210), die das Merkmal (110a, 450, 460) nicht enthalten, und in Bilder (220), die das Merkmal (110a, 450, 460) enthalten, zu klassifizieren, und
wobei das unbemannte Luftfahrzeug (120) ansteuerbar ist, um diejenigen Bereiche des Objekts, deren zugeordnete Bilder (B2) das Merkmal (1 10a, 450, 460) enthalten, erneut mit einer zweiten Auflösung optisch zu erfassen, die höher ist als die eine erste Auflösung. 3. System nach Anspruch 32, wobei das unbemannte Luftfahrzeug die zumindest eine Aufnahmeeinheit umfasst und wobei das unbemannte Luftfahrzeug ansteuerbar ist, um das Objekt autonom abzufliegen und um diejenigen Bereiche des Objekts (110, 400) autonom anzufliegen, deren zugeordnete Bilder (B2) das Merkmal (1 10a, 450, 460) enthalten, unter Verwendung der Wegpunkte; und wobei das unbemannte Luftfahrzeug (120) ausgebildet ist, um die Mehrzahl von Bildern auf einen Rechner zu übertragen; und wobei das System einen Rechner aufweist; und wobei der Rechner ausgebildet ist, die Mehrzahl von Bildern zumindest teilweise automatisiert auszuwerten, um die erzeugten Bilder in Bilder (210), die das Merkmal (1 10a, 450, 460) nicht enthalten, und in Bilder (220), die das Merkmal (110a, 450, 460) enthalten, zu klassifizieren, und wobei der Rechner dazu ausgebildet ist, Wegpunkte unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten zu erzeugen; und wobei der Rechner dazu ausgebildet ist die Wegpunkte an das unbemannte Luftfahrzeug (120) zu übertragen. 4. System zur Erfassung eines Merkmals (1 10a, 450, 460) eines Objekts (110, 400), mit:
einem unbemannten Luftfahrzeug (120), z.B. einer Drohne, wobei das unbemannte Luftfahrzeug (120) ansteuerbar ist, um 32. System for detecting a feature (1 10a, 450, 460) of an object (110, 400), with: an unmanned aircraft (120), for example a drone, wherein the unmanned aircraft (120) can be controlled to the object ( 110, 400) in order to optically capture at least a part (110b) of the object by at least one recording unit (130) with a first resolution in order to generate a plurality of images (B1 - B4), each image having an at least partially different image represents the area of the object (110, 400), the system being designed to evaluate the plurality of images in order to convert the generated images into images (210) that do not contain the feature (110a, 450, 460) and into images ( 220) containing the feature (110a, 450, 460), to classify, and wherein the unmanned aerial vehicle (120) can be controlled in order to optically detect those areas of the object whose associated images (B2) contain the feature (110a, 450, 460) again with a second resolution that is higher than the first one Resolution. 3. System according to claim 32, wherein the unmanned aircraft comprises the at least one recording unit and wherein the unmanned aircraft can be controlled in order to fly over the object autonomously and to fly over autonomously those areas of the object (110, 400) whose assigned images (B2) the Feature (1 10a, 450, 460) included using the waypoints; and wherein the unmanned aerial vehicle (120) is designed to transfer the plurality of images to a computer; and wherein the system comprises a computer; and wherein the computer is designed to evaluate the plurality of images at least partially automatically in order to divide the generated images into images (210) that do not contain the feature (110a, 450, 460) and into images (220) that contain the feature (110a, 450, 460) and wherein the computer is adapted to generate waypoints using the position and/or location information of the images containing the feature; and wherein the computer is designed to transmit the waypoints to the unmanned aerial vehicle (120). 4. System for detecting a feature (1 10a, 450, 460) of an object (110, 400), with: an unmanned aircraft (120), for example a drone, the unmanned aircraft (120) being controllable in order to
• das Objekt (1 10, 400) abzufliegen und um zumindest einen Teil (1 10b) des Objekts durch die Aufnahmeeinheit (130) optisch zu erfassen, um eine Mehrzahl von Bildern (B1 -B4) zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts (1 10, 400) darstellt, und• to fly the object (1 10, 400) and to optically detect at least a part (1 10b) of the object by the recording unit (130) in order to generate a plurality of images (B1 -B4), each image at least partially different area of the object (1 10, 400), and
• für jeden Bereich ein Bild (B1 -B4) mit einer ersten Auflösung und eine Mehrzahl von Teilbildern (B11 -B44) jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, zu erzeugen, wobei das System ausgebildet ist, um die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in Bilder (210), die das Merkmal (1 10a, 450, 460) nicht enthalten, und in Bilder (220), die das Merkmal (110a, 450, 460) enthalten, zu klassifizieren, und die Teilbilder (B21 ) derjenigen Bereiche des Objekts (1 10, 400), deren zugeordnete Bilder das Merkmal (110a, 450, 460) enthalten, bereitzustellen, z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale. • for each area to generate an image (B1-B4) with a first resolution and a plurality of sub-images (B11-B44), each with a second resolution that is higher than the first resolution, the system being designed to evaluate the plurality of images to divide the generated images into images (210) not containing the feature (110a, 450, 460) and into images (220) containing the feature (110a, 450, 460). classify, and provide the partial images (B21) of those areas of the object (110, 400) whose assigned images contain the feature (110a, 450, 460), e.g. for classifying or cataloging the detected features.
35. Verfahren (500) zur Erfassung eines Merkmals (110a, 450, 460) eines Objekts (1 10, 400), wobei das Verfahren die folgenden Schritte aufweist: 35. Method (500) for detecting a feature (110a, 450, 460) of an object (110, 400), the method having the following steps:
(a) Abfliegen (510) des Objekts (1 10, 400) und optisches Erfassen zumindest eines Teils des Objekts (110b) durch zumindest eine Aufnahmeeinheit (130) mit einer ersten Auflösung, um eine Mehrzahl von Bildern (B1 -B4) zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts (1 10, 400) darstellt, (a) Flying (510) the object (1 10, 400) and optically capturing at least part of the object (110b) by at least one recording unit (130) with a first resolution in order to generate a plurality of images (B1 -B4). , each image representing an at least partially different area of the object (1 10, 400),
(b) Auswerten (520) der Mehrzahl von Bildern, um die erzeugten Bilder in Bilder (210), die das Merkmal nicht enthalten, und in Bilder (220), die das Merkmal enthalten, zu klassifizieren, und (b) evaluating (520) the plurality of images to classify the generated images into images (210) not containing the feature and images (220) containing the feature, and
(c) erneutes optisches Erfassen (530) derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal (110a, 450, 460) enthalten, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung;
wobei die Schritte (a) bis (c) während des Abfliegens des Objekts (1 10, 400) derart durchgeführt werden, dass im Schritt (a) ein Bild (B1 -B4) eines Bereichs erzeugt wird, im Schritt (b) das im Schritt (a) erzeugte Bild vor der Erzeugung eines Bildes für einen weiteren Bereich klassifiziert wird, wenn im Schritt (b) das Bild (B2) als das Merkmal (1 10a, 450, 460) enthaltend klassifiziert wird, im Schritt (c) der Bereich vor der Erzeugung des weiteren Bildes optisch erneut erfasst wird, bevor ein Bild (B3, B4) für den weiteren Bereich erzeugt wird, und wenn im Schritt (b) das Bild (B1 , B3, B4) als das Merkmal (110a, 450, 460) nicht enthaltend klassifiziert wird, ein Bild für den weiteren Bereich erzeugt wird; und wobei das Objekt (110, 400) im Schritt (a) derart angeflogen wird, dass die Aufnahmeeinheit (130) beim Erzeugen eines Bildes (B2) einen ersten Abstand zu dem Objekt (110, 400) aufweist, und die Aufnahmeeinheit (130) ein Bild (B2) mit einer ersten Brennweite erzeugt, und wobei im Schritt (c) der Abstand der Aufnahmeeinheit (130) zu dem Objekt (110, 400) gleich oder ähnlich dem ersten Abstand ist, und die Aufnahmeeinheit (130) ein Bild (B21 , 470) mit einer zweiten Brennweite erzeugt, die größer ist als die erste Brennweite.
(c) optically re-detecting (530) those areas of the object whose associated images contain the feature (110a, 450, 460) at a second resolution higher than the one first resolution; wherein steps (a) to (c) are carried out while flying over the object (1 10, 400) in such a way that in step (a) an image (B1 -B4) of an area is generated, in step (b) the im If in step (b) the image (B2) is classified as containing the feature (1 10a, 450, 460), in step (c) the Area is optically re-detected before the generation of the further image, before an image (B3, B4) is generated for the further area, and if in step (b) the image (B1, B3, B4) as the feature (110a, 450 , 460) is classified as not containing, generating an image for the wider area; and wherein the object (110, 400) is flown to in step (a) in such a way that the recording unit (130) is at a first distance from the object (110, 400) when an image (B2) is generated, and the recording unit (130) generates an image (B2) with a first focal length, and wherein in step (c) the distance between the recording unit (130) and the object (110, 400) is equal to or similar to the first distance, and the recording unit (130) generates an image ( B21, 470) with a second focal length that is greater than the first focal length.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021200583.7A DE102021200583A1 (en) | 2021-01-22 | 2021-01-22 | Method, aircraft and system for detecting a feature of an object at first and second resolution |
PCT/EP2022/051278 WO2022157268A1 (en) | 2021-01-22 | 2022-01-20 | Method, aircraft and system for detecting a feature of an object using a first and a second resolution |
Publications (1)
Publication Number | Publication Date |
---|---|
EP4281941A1 true EP4281941A1 (en) | 2023-11-29 |
Family
ID=80122463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP22701368.7A Pending EP4281941A1 (en) | 2021-01-22 | 2022-01-20 | Method, aircraft and system for detecting a feature of an object using a first and a second resolution |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230366775A1 (en) |
EP (1) | EP4281941A1 (en) |
JP (1) | JP2024512186A (en) |
DE (1) | DE102021200583A1 (en) |
WO (1) | WO2022157268A1 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011017564B4 (en) | 2011-04-26 | 2017-02-16 | Airbus Defence and Space GmbH | Method and system for inspecting a surface for material defects |
WO2017050893A1 (en) * | 2015-09-22 | 2017-03-30 | Pro-Drone Lda. | Autonomous inspection of elongated structures using unmanned aerial vehicles |
-
2021
- 2021-01-22 DE DE102021200583.7A patent/DE102021200583A1/en active Pending
-
2022
- 2022-01-20 JP JP2023544484A patent/JP2024512186A/en active Pending
- 2022-01-20 EP EP22701368.7A patent/EP4281941A1/en active Pending
- 2022-01-20 WO PCT/EP2022/051278 patent/WO2022157268A1/en active Application Filing
-
2023
- 2023-07-20 US US18/355,540 patent/US20230366775A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102021200583A1 (en) | 2022-07-28 |
US20230366775A1 (en) | 2023-11-16 |
JP2024512186A (en) | 2024-03-19 |
WO2022157268A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3430368B1 (en) | Aircraft for scanning an object, and system for damage analysis for the object | |
EP2702382B1 (en) | Method and system for inspecting a surface area for material defects | |
DE102005058081B4 (en) | Method for the reconstruction of gusts and structural loads in aircraft, in particular commercial aircraft | |
WO2018167006A1 (en) | Method and arrangement for condition monitoring of a facility with operating means | |
EP3596570B2 (en) | Method for checking the electrical continuity of a lightning conductor of a wind turbine | |
EP3271231A1 (en) | Method and device for monitoring a target trajectory to be travelled by a vehicle for absence of collisions | |
DE102008053928A1 (en) | Method for inspection of rotor blades at wind generator, involves implementing inspection of rotor blades of wind generator by vision sensors or telephotos or photo telephotos | |
DE202015102791U1 (en) | A system for capturing image data of a surface of an object and camera system for use in such a system | |
DE102017210787A1 (en) | Method and apparatus for detecting anomalies in a communication network | |
DE102020210622A1 (en) | METHOD AND AIRCRAFT FOR MONITORING OPERATING CONDITIONS AND DETERMINING THE PROBABILITY OF FAILURE OF POWER TRANSMISSION SYSTEMS AND/OR PIPELINE SYSTEMS | |
WO2022038228A1 (en) | Method and system for object capture | |
EP2492701B1 (en) | Method and device for testing a wind turbine assembly | |
EP3635680A1 (en) | Computer-implemented method and device for automatically generating characterized image data and analysis device for inspecting a component | |
EP4281941A1 (en) | Method, aircraft and system for detecting a feature of an object using a first and a second resolution | |
DE102022214330A1 (en) | Method for generating at least one ground truth from a bird's eye view | |
EP4145238A1 (en) | Method for controlling an unmanned aerial vehicle for an inspection flight for inspecting an object, and unmanned inspection aerial vehicle | |
EP4102179A1 (en) | Method and apparatus for locating an image of an object taken from a distance | |
EP4288768A1 (en) | Method for checking a component of a turbomachine | |
EP2410319A1 (en) | Method and system for detecting defective solar modules | |
EP3173618B1 (en) | Method for the analysis of parts of wind energy assemblies, in particular of rotor blades | |
DE102022201637A1 (en) | Computer-implemented method and system for creating a virtual clone of a sensor | |
DE202024102354U1 (en) | System of a drone for bridge-laid heat pipes and inspection | |
DE102021101717A1 (en) | Method for providing merged data, assistance system and motor vehicle | |
DE102020131607A1 (en) | Method for providing a training data set, method for operating a self-learning component defect detection device and self-learning component defect detection device | |
DE202021002490U1 (en) | Autonomous, adaptive and self-learning system for analyzing wind behavior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20230817 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) |