WO2017089364A1 - Multifunktionale kameraeinheit zur kopplung an einem ersten mobilen trägersystem - Google Patents

Multifunktionale kameraeinheit zur kopplung an einem ersten mobilen trägersystem Download PDF

Info

Publication number
WO2017089364A1
WO2017089364A1 PCT/EP2016/078485 EP2016078485W WO2017089364A1 WO 2017089364 A1 WO2017089364 A1 WO 2017089364A1 EP 2016078485 W EP2016078485 W EP 2016078485W WO 2017089364 A1 WO2017089364 A1 WO 2017089364A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
camera unit
multifunctional
interest
carrier system
Prior art date
Application number
PCT/EP2016/078485
Other languages
English (en)
French (fr)
Inventor
Jens Müller
Joachim Horn
Original Assignee
Helmut-Schmidt Universität
Hamburg-Innovation Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Helmut-Schmidt Universität, Hamburg-Innovation Gmbh filed Critical Helmut-Schmidt Universität
Priority to DE112016005353.3T priority Critical patent/DE112016005353A5/de
Publication of WO2017089364A1 publication Critical patent/WO2017089364A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Definitions

  • Multifunctional camera unit for coupling to a first mobile carrier system
  • the invention relates to a multifunctional camera unit for coupling to a first mobile carrier system, in particular a mobile robot system. Furthermore, the invention relates to a method for determining position data of at least one object of interest, in particular a second mobile carrier system, using a multifunctional camera unit with a plurality of cameras, wherein the multifunctional camera unit is coupled to a first mobile carrier system. In a further aspect, the invention comprises a use of a multifunctional camera unit according to the invention for tracking at least one object of interest, in particular a second carrier system.
  • US 2007/0288132 A1 describes how a cooperative swarm of unmanned robots works using three different systems.
  • a global satellite-based location system is used for the respective self-localization in the swarm participating robots.
  • a separate transmitter with a so-called omnipresent signal is used, which is available at all times robots involved in the swarm.
  • the routing is ensured by a separate system, which is located on board a robot with the aforementioned two systems.
  • GPS external positioning system
  • Positioning inaccuracies due to weather related signal disturbances or unfavorable local constellations of the satellite position in relation to possibly surrounding signal - influencing buildings or Geodetic relevant surveys can lead to significant deviations in the goal setting and increased energy requirements in the spatial coordination of swarm participants.
  • AI is for realizing a swarm consisting of multi-legged robots star-shaped mobile base stations connected to other multi-legged robots that are operated externally by a person used for positioning an external positioning system (GPS).
  • GPS external positioning system
  • the operator has the option of setting targets and retrieving recorded sensor data.
  • the robots may view the surrounding area and, for example, respond to fire through a dedicated program.
  • the communication between the multi-legged robotic systems takes place exclusively via the entrained star base mobile base station and moreover can communicate only indirectly via the operator with other robots operated in a further star, if so provided.
  • the problem here is also the dependence on an external location system and the fact that in the absence of signal, the lack of information about the local whereabouts of participating in the swarm robots whose coordination is much more difficult and the realistic use in question.
  • US 2010/0268409 A1 describes a method for inspecting structures such as e.g. Buildings, bridges, infrastructure of the train etc. with the help of unmanned drones, organized in the swarm, which are equipped with application-oriented sensors and cameras.
  • a mobile centralized station e.g. an aircraft, provided for the inspection of the collected data, which has a data connection based on a suitable wireless technology that receives the collected image and sensor data from the drones and computationally evaluates or processes.
  • the centralized station also creates the flight plans, transfers them to the swarm participants, adapts them dynamically to local conditions and, after successful completion of a flight plan, distributes new tasks to the participating drones.
  • the application focus is outside and based on an external location system.
  • US 2009/0099768 A1 describes a navigation system which, in addition to the known so-called target attraction beacons, also has a so-called collision avoidance beacon. This is able to globally receive collision avoidance signals from surrounding drones, but also to broadcast itself collision avoidance signals globally. With regard to the collision signal is always assumed that the involved aircraft drones also such a signal Otherwise, the risk of a momentous blind flight is significantly increased and the described functionalities are challenged in terms of their practical applicability. Because real obstacles such as buildings or walls do not send collision signals, local sensors are used to detect such obstacles. The decision as to which direction to avoid the obstacle is based on the knowledge of how the obstacle is structured globally in order to achieve the intended goal in an efficient, energy-efficient and forward-looking manner. If the participating drones were essentially not only relying on the described simple radio signals for target tracking and collision avoidance and supplementing also using imaging sensors, the use in urban areas would be much easier to achieve by an early adjusted data situation.
  • the object of the invention is to further develop a multifunctional camera unit in such a way that by providing a multifunctional camera unit for the viewer, eg for a robot system, static and dynamic objects, such as further airborne drones, from their own motion to identify, to classify and locally to organize by internally calculated spatial coordinates so that in the field of mobile robotics and other application-relevant areas, such as security technology, highly complex, fully autonomous tasks, such as search and rescue operations can be performed.
  • a multifunctional camera unit for coupling to a first mobile carrier system, in particular a mobile robot system, wherein the camera unit can be used statically and / or mobile, and wherein the camera unit is designed for recognition and tracking of static and dynamic objects ,
  • a mobile carrier system is to be understood primarily as a mobile robot system.
  • the term unmanned mobile robot so-called UAVs (Unmanned Area Vehicles)
  • the carrier system is designed in particular airworthy.
  • the mobile carrier system is preferably a drone, especially the aircraft drone of the type ATC 3.0 (Airshark Technology Carrier).
  • Mobile carrier systems form for certain tasks, especially in a swarm, in which each mobile carrier system represents a swarm participant.
  • a swarm is understood to mean at least two swarm participants who act in the context of a superordinate task in the network.
  • such a swarm comprises several mobile carrier systems.
  • the multifunctional camera unit is designed for coupling to the first mobile carrier system.
  • a coupling is understood to be, in particular, the production of a detachable connection.
  • the multifunctional camera unit is arranged on the first mobile carrier system.
  • multifunctional camera unit is to be understood in particular as meaning a multifunctional recording unit of optical information.
  • the multifunctional camera unit is referred to as “swarm flight unit” (SFU).
  • SFU warm flight unit
  • the multifunctional camera unit imaging sensors and moving components that give it its multifunctionality.
  • the invention relates to a system comprising a multifunctional camera unit and a first mobile carrier system, wherein the multifunctional camera unit is coupled to the first mobile carrier system.
  • the multifunctional camera unit comprises a plurality, preferably at least two, furthermore preferably at least three, in particular at least four camera slides movably arranged on a circular path, the camera slides each having at least one camera, at least one ring illumination and at least one point projector.
  • Each camera carriage is preferably assigned exactly one camera, a ring illumination and a point projector.
  • the cameras are mediated their mobility.
  • the cameras are horizontally and / or vertically movable due to their arrangement on the camera carriage.
  • each camera carriage preferably includes two drives, wherein a drive for the horizontal movement of the camera carriage and a drive for the vertical circular movement of the arranged on the camera camera camera are responsible.
  • the mobility or the position data of the camera slides or cameras are mainly determined with reference to the geometric origin of the camera unit, which is primarily the center of the camera unit.
  • the cameras are piecewise stereoscopically adjustable.
  • the camera slides are arranged in particular movable on the same circular path.
  • the cameras are in particular designed such that they cooperate with an electronic evaluation unit and image processing algorithms for evaluating the data recorded by them.
  • the point projector is a light projector, especially a laser diode designed to project patterns such as points or lines onto objects of interest.
  • the projection of such patterns as visible structures facilitates the detection and tracking of objects and / or distance determination to objects, especially at less favorable illumination and contrast ratios.
  • the arrangement of the point projectors in relation to the respective recording plane is preferably orthogonal, but may also assume an arbitrarily different angle on the assumption of a projection visible in the image with regard to additional distance information to the destination. In a further manifestation variant, therefore, these setting angles can be adapted dynamically.
  • the ring illumination is arranged such that the camera is located in the center of the ring formed by the ring illumination.
  • the ring illumination illuminates the scene or picture taken by the camera.
  • the multifunctional camera unit has a static central camera with at least one point projector and at least one ring illumination.
  • static is to be understood as meaning that the central camera is not movable in relation to the camera unit.
  • the central camera in particular, is not arranged on a camera carriage which could lend it mobility mobile carrier system not mobile, in the context of the application certainly deals with highly dynamically changing image sequences.
  • the multifunctional camera unit comprises a plurality, preferably four, static cameras each having at least one, preferably exactly one, point projector and at least one, preferably exactly one, Ring lighting.
  • the static cameras are not designed to be mobile and, in particular, are not arranged on a camera carriage.
  • the four stationary cameras are in particular arranged around a neck of the camera unit, preferably at regular intervals from one another.
  • the areas between the lateral arms of the first mobile carrier system are optically covered.
  • the multifunctional camera unit is in particular designed to determine position data between the camera unit and the first mobile carrier system and / or position data between the camera unit and at least one object of interest, in particular a second carrier system.
  • position data is to be understood in particular as meaning three-dimensional data about the position, i.e. the exact location, preferably together with the angular position
  • angular position means the angle at which the camera is arranged and thus takes pictures.
  • the multifunctional camera unit is preferably designed to determine the position data without the aid of additional external data, in particular GPS data. In other words, the multifunctional camera unit is designed exclusively on the basis of the data taken by it for position data determination.
  • a second carrier system is an airworthy object, in particular a drone, especially a drone.
  • the first mobile carrier system and the second mobile carrier system are swarm participants of the same swarm.
  • the swarm comprises further swarm participants, wherein the multifunctional camera unit is designed to determine the position of all the carrier systems to be involved or already involved in the swarm.
  • the other carrier systems do not have to have a multifunctional camera unit.
  • the second carrier system in particular all other Schwarmteilauer the swarm, none multifunctional camera unit.
  • the other carrier systems may include a multifunctional camera unit.
  • the multifunctional camera unit further preferably comprises a means for image processing and calculation of position data between the camera unit and the first mobile carrier system and / or position data between the camera unit and at least one object of interest, in particular a second carrier system, and preferably a means for data transmission of the calculated position data, in particular a data interface between the camera unit and the first mobile carrier system.
  • the interface is above all an intelligent interface, which is described in particular in the published patent application DE 10 2013 100 155 AI.
  • the interface is designed primarily functional and karhybrid.
  • the means for image processing and calculation of position data is mainly for object recognition, i. the detection of objects of interest, which may be static or dynamic, suitable.
  • the transmission of the calculated position data to the first mobile carrier system serves, for example, to control the first mobile carrier system, in particular in order to fly in a swarm and to convey electronic and / or mechanical loads and / or automatically change over a suitable ground station and / or to make a landing approach ,
  • the determination of the positional data between the camera unit, in particular the different cameras of the camera unit, and the first mobile carrier system is crucial, because only then the various data taken by the cameras in spatial relation to the cameras and thus to the first mobile carrier system.
  • at least one camera of the camera unit and at least one point projector assigned to it form a distance warning system.
  • the distance warning system is designed to determine the respective distance between the cameras of the camera unit and at least one object of interest, in particular a second mobile carrier system.
  • all the cameras of the camera unit and the respectively assigned point projectors form a distance warning system.
  • the distance warning system serves in particular as a means for spatial collision avoidance of the first mobile carrier system and an object of interest, in particular a second carrier system. Furthermore, the distance warning system serves to support the landing process of the first mobile carrier system and / or of a second mobile carrier system. Furthermore, the distance warning system can provide distance information of an object of interest.
  • the camera carriages are movably arranged on a common circular path, wherein each camera carriage is assigned a working area, wherein adjacent working areas overlap in an overlapping area.
  • the camera unit is designed such that the camera slides are secured against collision.
  • the movement of a camera slide is assigned a segment of the circular path.
  • each camera carriage is assigned a quadrant as a work area.
  • As a work area is thus a range between defined mechanical limits of movement of a camera slide of the camera unit to understand.
  • each workspace is assigned only one camera slide.
  • the work areas are arranged in an overlapping manner in the plane, so that overlap areas form at the ends of the adjacent work areas.
  • An overlap region preferably extends over 5 ° to 15 ° of the common circular path.
  • the camera unit is designed in such a way that despite Overlapping areas a collision of adjacent cameras or camera slides is avoided.
  • the camera unit is preferably designed to determine the position data of the camera slides and the position data of the cameras arranged on the camera carriage, in particular the angular positions of the cameras.
  • the camera unit has an incremental encoder, comprising an optical transmitter, an incremental disk and a receiver.
  • both a horizontal and a vertical angle are assigned to the one object of interest captured relative to the first mobile carrier system.
  • the incremental disk provided for the camera carriages in the horizontal movement has a total of spatially separated tracks which overlap in pieces at an angle.
  • the number of tracks corresponds to the number of camera slides arranged on the incremental disk.
  • the incremental disk has four spatially separated tracks that overlap each other at an angle, so that the camera slides can, if necessary, also operate outside their assigned working area in an overlapping area.
  • each camera carriage has an incremental disk, via which the vertical angular position of the camera can be determined.
  • the invention relates to a method for determining position data of at least one object of interest, in particular a second mobile carrier system, using a multifunctional camera unit with a plurality of cameras, wherein the multifunctional camera unit is coupled to a first mobile carrier system.
  • the method comprises the determination of position data of at least one object of interest, in particular of the second mobile carrier system, exclusively based on data recorded by the camera unit.
  • the determination of the position data thus takes place explicitly without the aid of GPS data or other external data.
  • the method further comprises a collision check of the cameras of the camera unit.
  • the method comprises using a multifunctional camera unit according to the invention described above coupled to a first mobile carrier system.
  • the collision check relates in particular to the movement of the camera carriages on which the cameras of the camera unit are arranged.
  • the collision check prevents adjacent moving camera carriages from entering overlapping areas where they could collide with adjacent camera carriages.
  • the collision test is temporally upstream of the movement of the camera carriage. This allows the cameras to move freely in their workspaces without the risk of collision.
  • the collision check takes place above all at regular intervals, in particular permanently.
  • the collision check comprises checking whether a camera is already present in a work area, in particular in an overlapping area, before another camera is moved into this area. Within the overlapping areas, the entry of a camera into a "foreign" work area, ie a work area of another camera, is only allowed, so that it is not used, so is free. If there is already a camera in the overlap area, the entry of another camera is not permitted.
  • the method comprises a regular distance monitoring of the distances between the cameras of the camera unit and / or regular distance monitoring of the distance between the multifunctional camera unit and the object of interest, in particular the second mobile carrier system, wherein the distance monitors are formed separately from each other.
  • the distance monitoring is carried out in particular at regular intervals, preferably permanently.
  • the method may include projecting patterns onto the object of interest by means of point projectors facilitating the recognition of the object.
  • the evaluation of the propagation information of this point projection coupled with the measured viewing direction, ie the exact vertical and horizontal position data of the camera slides or the camera takes place within the camera unit by determining the projected area in relation to the projection pattern and the surrounding contour of the object of interest.
  • the projected patterns are not formed orthogonal to the respective recording plane, so that additional distance information with the resulting angular offset are evaluated.
  • the arrangement of the point projectors in relation to the respective recording plane is preferably orthogonal, but may also assume an arbitrarily different angle on the assumption of a projection visible in the image with regard to additional distance information to the destination.
  • the method may include dynamically adjusting the adjustment angles.
  • the method comprises storing all of the raw data recorded by the camera unit, in particular image recordings, within the multifunctional camera unit. These can be used in particular for downstream evaluations with regard to special application-related measurement tasks, not just those that originate from the field of geodesy.
  • Specific measuring tasks include, for example, the optical recording of infrastructure (eg superstructure, signal systems, parking facilities, railway stations) of local rail transport and rail-bound long-distance domestic and international transport, with the condition and completeness of system components with regard to operational safety and general planning of maintenance measures can be checked relatively quickly.
  • the inventive method can be compared to conventional test drives, which only by advance notification, application for a timetable, fees for energy supply, track and station use, disposition of a rail vehicle and providing a local train driver are possible and also planned in metropolitan areas up to several months in advance must be made, very cost-saving.
  • the method comprises the object recognition with the aid of digital image processing, with a subdivision into preprocessing, segmentation, feature extraction and analysis taking place here.
  • preprocessing the acquired digital color image is pretreated by means of point operators, as well as local and global filter operations - with a constant information content - so that the image size to be processed continues to decrease significantly in terms of the required storage volume.
  • an object of interest If an object of interest has been found, it is listed system-internally and tracked within the work area by so-called mechanical and software-technical tracking. In this case, an expensive pattern recognition is not constantly performed again for runtime reasons, but rather the object of interest is optically substituted by a simple geometric primitive, for example a line, a triangle or a quadrangle, and tracked in the image.
  • a simple geometric primitive for example a line, a triangle or a quadrangle
  • the invention relates to the use of a multifunctional camera unit described above for tracking at least one object of interest, in particular a second carrier system, the use comprising the step of intra-system listing of the object of interest and tracking of the system-interesting object by mechanical and software tracking.
  • the list of the object of interest preferably also comprises the creation of an internal recognition statistic, preferably that an object of interest is listed requires an object recognition as described above, the list of the respectively identified ones of interest pes allows a seamless transfer to the camera located in the next work area, which also track the object of interest without further pattern recognition using simple geometric objects.
  • the use comprises that a first camera tracks, ie tracks, the object of interest in a first work area and, when leaving the first work area in a second work area of a second camera, seamlessly follows the tracking and thus the responsibility to the second camera. This requires in particular the distance monitoring and the collision check. This ensures a seamless transition and thus a permanent tracking of the object of interest.
  • the mechanical object tracking is done within a work area fully automatically by moving the respective camera. Possible overlaps of the target by other moving objects, which could then lead to erroneous interpretations, are compensated by forward-looking, based on physical principles estimating the current position in space.
  • Figure 1 a flowchart of the internal operation of a
  • Camera unit in the context of connection with a first mobile
  • FIG. 3 is a side sectional view of a multifunctional camera unit
  • Figure 4 is a plan view of the division into working and overlapping areas
  • Figure 5 is a perspective view of the internal structure of the camera unit
  • FIG. 6 shows a perspective view of the four camera carriages together with gearwheel
  • FIG. 7 a perspective view of a camera slide
  • Figure 8 a plan view of the incremental discs for the horizontal
  • Figure 9 is a perspective view of the downward static
  • Figure 10 a perspective view of a combination of a multifunctional
  • FIG. 1 shows a program flow chart of the internal functioning of a multifunctional camera unit (100).
  • FIG. 1 illustrates the sequence of a method according to the invention and / or the sequence of using a multifunctional camera unit (100) for tracking at least one object of interest.
  • the first step (500) is an image acquisition by means of at least one camera (18) of the multifunctional camera unit (100), preferably by means of all the cameras (18).
  • the data of the image acquisition, and the originally recorded image data of the at least one camera, are stored in a further step (501) as raw data and can be used for downstream evaluations. Parallel to this, the image processing (502) of the recorded data takes place.
  • the recognition (503) of an object of interest For this purpose, at least one camera (18) or the associated camera slide (14, 15, 16, 17) in the respective work area (24) moves, in particular all cameras (18) or associated camera slides (14, 15, 16, 17) in the respective work area (24) moves. If no object of interest is found, the process continues again from image processing (502), whereby new image data recorded in the meantime are processed. If an object of interest has been found, it is checked in a further step (504) whether the given properties with regard to geometric features, for example size relationships between optical features, such as lateral arms, and body, ascents and curve transitions, and the surface texture used, in the multifunctional camera unit (100) stored system information.
  • geometric features for example size relationships between optical features, such as lateral arms, and body, ascents and curve transitions, and the surface texture used, in the multifunctional camera unit (100) stored system information.
  • a digital signature is interrogated which, in conjugation with the previously taken positive optical confirmation of belonging to the further mobile carrier systems known in the multifunctional camera unit (100) Classify (505) into a friendly or unfriendly object.
  • a security program is activated which, with regard to the superordinate task, merely lists this object with its given optical properties and its position, or with the aid of the first one Mobile support system (1000) attached tools active for the deactivation of this object, preferably flying object provides, so that no danger for the scheduled execution of the parent task is more.
  • a step (508) the movement limits of the camera (18) tracking the object of interest, i. tracked, and the associated camera slide (14, 15, 16, 17) monitored. If the local limits are reached in the acquired image of the camera (18), a mechanical tracking (509) is activated. As part of the mechanical tracking (509), the tracking of the object of interest is seamlessly passed to an adjacent camera (18) as soon as the previously responsible camera (18) due to their limited work area (24) can no longer monitor the object of interest. The transfer then takes place to the camera (18), in whose working area (24) the object of interest now falls.
  • a determination of the distance to object of interest is listed in a further step (511) and the 3D position data of the object of interest is transmitted to the first mobile support system (1000) on which the multifunctional camera unit (100) is located. Finally, it is assessed whether the procedure should be stopped at this point or continues. In the latter case, the process begins again in image processing (502) of newly acquired image data.
  • the above-described stop of the method may, for example, be triggered by the need for energy saving measures to achieve a safe landing position.
  • FIG. 2 shows an overview of the global mode of operation of the multifunctional camera unit (100) in conjunction with a first mobile carrier system (1000).
  • the multifunctional camera unit (100) is assigned the functions of image acquisition, image processing, determination of the positional data of an object of interest, mechanical tracking of the project of interest, and collision monitoring.
  • the first mobile carrier system (1000) is assigned the following functions: monitoring of the underlying superordinate task (mission), monitoring of navigation, data collection and data filtering, monitoring of safety, monitoring of the landing process, monitoring of the engines of the first mobile Carrier system (1000) and monitoring of external loads.
  • the multifunctional camera unit (100) and the first mobile carrier system (1000) are connected via a mechanical interface (200), which is designed in particular functionally and haphybrid.
  • the interface (200) will become as follows with regard to the security monitoring of the first mobile carrier system (1000) Functions assigned: a secure fully automatic coupling, which is controlled by a magnetic feedback, as well as an automatic safe switching on and off of signal and power paths.
  • a pulse-based identification signal from the load which is attached to the so-called tool side of the interface (200) is coupled to the so-called machine side of the interface () during the coupling process. 200), which is attached to the first mobile carrier system (1000), transmitted, so that in this way the basic familial affiliation between the load (300) and the first mobile carrier system (1000) can be determined.
  • the load (300), which is fastened to the tool side of the interface (200), is required after the transmission and evaluation of the above-described identification signal to generate a so-called vital sign which indicates the functional presence of the first mobile carrier system (1000 ) coupled load (300) signaled at any time.
  • the absence of this signal, which is permanently checked within the interface (200), immediately results in a shutdown of all signal and power paths result and an error message is generated, which the mounted it first mobile carrier system (1000) as part of an error message for further evaluation is made available.
  • the interface (200) has an internal intelligence that can distinguish and process the following information: Distinguish loads, create protocols, monitor number of couplings and operating hours, unnecessary coupling, ie avoid unnecessary loads.
  • the interface has the function of statistically summarizing the aforementioned information for further later evaluation.
  • FIG. 3 shows a side sectional view of a multifunctional camera unit (100) and thus the internal structure thereof.
  • the multifunctional camera unit (100) is funnel-shaped on both end faces.
  • the camera unit (100) has a housing (28) which widens conically in the direction of both end faces.
  • the housing (28) In one upper part of the housing (28), the Jardinaufnehenden parts of the camera unit (100) are arranged, while in the lower part of the electronics, in particular an electronic implementation (22) of the image processing and communication channels are located.
  • At least one upper part of the housing (28) of the camera unit (100) is designed as a transparent shell (10), so that image recordings of the cameras (18) arranged within the housing can take place.
  • the multifunctional camera unit (100) has a static central camera (11) which is designed to accommodate the airspace above it. Furthermore, the camera unit (100) comprises a point projector (12) and a ring illumination (13) for the central camera (11).
  • the camera unit (100) comprises a point projector (12) and a ring illumination (13) for the central camera (11).
  • In the sectional view of Figure 3 is further one (14) of four camera slides (14, 15, 16, 17) to see, on each of which a horizontally and vertically movable camera (18) is arranged.
  • Each camera (18) of a camera slide (14, 15, 16, 17) are each assigned a dot projector (18a) and a ring illumination (18b).
  • the camera slides (14) each have a drive (19) for the vertical circular movement of the associated camera (18).
  • the camera unit (100) has an incremental disc (20) for the horizontal movement, that is to say circular movement, of the camera carriage (14, 15, 16, 17) around the geometric origin of the camera unit (100).
  • the incremental disc (20) is four-lane.
  • the camera unit (100) in each case has a drive (23).
  • the multifunctional camera unit (100) For receiving the regions between lateral arms (1000a) of the first mobile carrier system (1000), the multifunctional camera unit (100) comprises four static cameras (21), one of which can be seen in the sectional view of FIG.
  • the static cameras (21) are arranged below the camera slides (14, 15, 16, 17).
  • the static cameras (21) allow a downwardly directed view directed between the lateral arms (1000a) of the first mobile carrier system (1000), and thus a directed image acquisition.
  • FIG. 4 shows a plan view of the division into working areas (24) and overlapping areas (26) of the camera carriages (14, 15, 16, 17) of the camera unit (100).
  • the angular range of 360 ° is divided sectorally into four quadrants (I, II, III, IV).
  • Each camera carriage (14, 15, 16, 17) is associated with a work area (24), wherein adjacent work areas (24) can overlap at their ends in overlapping areas (26). Thus, extended work areas (25) with overlap are created.
  • Figure 5 shows a perspective view of the internal structure of the camera unit (100).
  • a protective ring (27) for the mechanical shielding of the camera carriages (14, 15, 16, 17) is shown.
  • FIG. 6 shows a perspective view of the four camera carriages (14, 15, 16, 17) and of the toothed wheel (29) with which the camera carriages (14, 15, 16, 17) are connected.
  • the gear (29) together with the drive (23) for the horizontal movement of a camera carriage (14, 15, 16, 17) for the movement of the camera slides (14, 15, 16, 17) in the horizontal plane.
  • the central camera (11) is arranged on the gear (29).
  • FIG. 7 shows a perspective view of a camera slide (14).
  • the camera unit (100) has a frame (30).
  • the camera carriage (14) has a single-track incremental disc (31) which serves for the vertical circular movement of the camera (18) arranged on the camera carriage (14).
  • the drive (23) for the horizontal movement of the camera carriage (14) and the drive (19) for the vertical circular movement of the camera (18) is shown.
  • the two drives (19, 23) are formed by electronically commutating motors.
  • FIG. 8 shows the incremental disks (20, 31) of the multifunctional camera unit (100).
  • the incremental disc (20) for the horizontal movement of a camera carriage (14, 15, 16, 17) is shown, while in the right half of the picture the incremental disc (31) for the vertical circular movement of a camera (18) arranged on the camera carriage. is shown.
  • a first track (32) on which a first camera carriage (14) can move is arranged on the incremental disc (20) for the horizontal movement of a camera carriage (14, 15, 16, 17). Furthermore, the incremental disc (20) has a second track (33) for a second camera carriage (15), a third track (34) for a third camera carriage (16) and a fourth track (35) for a fourth camera carriage (17).
  • Each track (32, 33, 34, 35) has an initialization area (36).
  • the tracks are offset relative to one another in such a way that overlapping areas arise between the tracks (32, 33, 34, 35) of adjacent camera slides (14, 15, 16, 17).
  • the second track (33) is arranged offset radially inwards relative to the first track (32). The same applies to the third track (34) compared to the second track (33) and to the fourth track (35) in comparison to the third track (34).
  • a track (37) for the movement thereof is also arranged on the incremental disc (31) for the vertical circular movement of a camera (18) arranged on the camera carriage, which also has an initialization area (38).
  • FIG. 9 shows a perspective view of the downwardly directed static cameras (21) of the camera unit (100).
  • FIG. 9 shows in particular the dot projector (21a) respectively associated with the static camera (21) and the ring illumination (21b), above all in the enlarged representation shown in the right-hand half of the figure.
  • the static cameras (21) can produce downwardly directed image recordings.
  • FIG. 10 shows a perspective view of a combination of a multifunctional camera unit (100) and a first mobile carrier system (1000).
  • the combination also has an interface (200) between the camera unit (100) and the first mobile carrier system (1000).
  • the first mobile carrier system (1000) comprises an electronic load (300).
  • the first mobile carrier system (1000) is formed by a flying drone, in particular an Airshark Carrier System, which has four lateral outriggers (1000a) each with a propeller (1000b).
  • the multifunctional camera unit (100) is arranged in a central area, directed upwards, on the first mobile carrier system (1000).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

Es wird eine multifunktionale Kameraeinheit (100) zur Kopplung an einem ersten mobilen Trägersystem (1000), insbesondere einem mobilen Robotersystem, vorgeschlagen, wobei die Kameraeinheit (100) statisch und/oder mobil einsetzbar ist, und wobei die Kameraeinheit (100) vor allem für eine Erkennung und eine Verfolgung von statischen und dynamischen Objekten ausgebildet ist.

Description

Multifunktionale Kameraeinheit zur Kopplung an einem ersten mobilen Trägersystem
Beschreibung
Die Erfindung betrifft eine multifunktionale Kameraeinheit zur Kopplung an einem ersten mobilen Trägersystem, insbesondere einem mobilen Robotersystem. Des Weiteren betrifft die Erfindung ein Verfahren zum Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, unter Verwendung einer multifunktionalen Kameraeinheit mit mehreren Kameras, wobei die multifunktionale Kameraeinheit an einem ersten mobilen Trägersystem gekoppelt ist. In einem weiteren Aspekt umfasst die Erfindung eine Verwendung einer erfindungsgemäßen multifunktionalen Kameraeinheit zum Tracking mindestens eines interessierenden Objektes, insbesondere eines zweiten Trägersystems.
Stand der Technik
Im Bereich der unbemannten mobilen Roboter haben sich nach erfolgreicher Realisierung verschiedenster Anwendungsszenarien in den vergangenen Jahren auch das Interesse und der Bedarf an untereinander kooperierenden Robotersystemen ergeben. Im Bereich der UAVs (Unmanned Area Vehicles) hat die ETH-Zürich und weitere international agierende namenhafte Universitäten, teilweise auch durch militärische Anwendungen motiviert, eine Vorreiterrolle eingenommen und mit ihren Forschungsbeiträgen eine wissenschaftliche Öffentlichkeit geschaffen, welche dadurch angeregt ein breites Spektrum an Anwendungsmöglichkeiten im zivilen und militärischen Sektor geistig entwickelt und teilweise technisch umgesetzt hat. Die ETH-Zürich hat im Rahmen ihrer intensiven Öffentlichkeitsarbeit nicht zuletzt einen erheblichen Beitrag für eine breite Akzeptanz von mobilen flugfähigen Robotersystemen in der Bevölkerung geschaffen. Makroskopisch betrachtet, werden unbemannte Robotersysteme schon seit vielen Jahren in der Raumfahrt und beim Militär erfolgreich eingesetzt. Mit der nun immer höheren Präsenz und Verfügbarkeit von multiplen Kommunikations- und Ortungsmöglichkeiten, wie z.B. GSM, WiFi und GPS ergab sich auch immer mehr der Wunsch nach mobilen untereinander kooperierenden Robotersystemen, welche teil- oder vollautonom mit Hilfe dieser Möglichkeiten reale Anwendungsgebiete z.B. aus dem Bereich der Aufklärung von urbanem Gebiet oder Gebäuden abdecken sollen. Im Bereich der kleinen bis mittleren Flugroboter ist dies aus heutiger Sicht zum Teil schon gelungen, jedoch im Hinblick auf die praktische Umsetzung von robusten, realitätsnahen und anwendungsgerechten Flugsystemen noch weit entfernt. Hier gilt es durch die Entwicklung hochintegrierter bildgebender multifunktionaler Sensorsysteme eine deutlich bessere Datengrundlage zu schaffen, um den Anspruch des vollautonomen Betreibens eines Robotersystems allein und im Verbund unabhängig extern verfügbarer Mess- und Kommunikationspfade zu erfüllen.
In US 2007/0288132 AI wird beschrieben, wie ein kooperativer Schwärm von unbemannten Robotern mit Hilfe drei unterschiedlicher Systeme funktioniert. Für die jeweilige Eigenlokalisierung im Schwärm beteiligter Roboter wird ein globales Satelliten gestütztes Ortungssystem verwendet. Für die gegenseitige Lokalisierung im Raum wird ein eigener Sender mit einem sog. omnipräsenten Signal verwendet, welches zu jeder Zeit allen am Schwärm beteiligten Robotern zur Verfügung steht. Die Wegführung wird durch ein eigenes System sichergestellt, welches sich mit den vorgenannten zwei Systemen jeweils an Bord eines Roboters befindet. Hierbei zielt die Beschreibung klar auf den Betrieb außerhalb von Gebäuden ab, und es wird die ständige Verfügbarkeit von einem externen Ortungssystem (GPS) vorausgesetzt. Positionierungsungenauigkeiten, welche aufgrund von wetterbedingten Signalstörungen oder ungünstigen örtlichen Konstellationen der Satellitenposition im Verhältnis zu möglicherweise dort umgebenden signalbeeinflussenden Bauten oder geodätisch relevanten Erhebungen hervorgehen, können zu deutlichen Abweichungen in der Zielfindung und zu erhöhtem Energiebedarf bei der räumlichen Koordinierung von Schwarmteilnehmern führen.
Auch in US 2011/0135189 AI wird zur Realisierung eines Schwarms bestehend aus mehrbeinigen Robotern sternförmig über mobile Basisstationen verbunden mit anderen mehrbeinigen Robotern, welche extern von einer Person bedient werden, zur Positionierung ein externes Ortungssystem (GPS) genutzt. Der Bediener hat die Möglichkeit Ziele vorzugeben und aufgenommene Sensordaten abzurufen. Des Weiteren können die Roboter abhängig von den äußeren Gegebenheiten bezüglich des Wetters und der Jahreszeit, das sich ihnen umgebende Gebiet betrachten und zum Beispiel auf Feuer durch ein dafür vorgesehenes Programm reagieren. Die Kommunikation zwischen den mehrbeinigen Robotersystemen erfolgt ausschließlich über die mitgeführte im Stern befindliche mobile Basisstation und kann darüber hinaus nur indirekt über den Bediener mit anderen in einem weiteren Stern betriebenen Robotern kommunizieren, wenn dies so vorgesehen ist. Problematisch ist an dieser Stelle auch die Abhängigkeit von einem externen Ortungssystem und die Tatsache, dass bei ausbleibenden Signal der Mangel an Information über den örtlichen Verbleib der am Schwärm beteiligten Roboter, deren Koordinierung deutlich erschwert und den realitätsnahen Einsatz in Frage stellt.
Im Rahmen der Bewältigung von globalen Zielen ist das Verteilen von Lasten, auch Payload genannt, in der Vergangenheit immer mehr in den Fokus der Forschung und Systementwicklung gekommen. In US 8,761,968 B2 werden verschiedene Konstellationen aus Drohnen verbunden mit einer Last beschrieben. Auch hier können die an einem Schwärm beteiligten Drohnen nur über ein externes Ortungssystem (GPS) ihre eigene Position im Raum feststellen und den anderen am Schwärm beteiligten Drohnen über die sog. kommunikationstechnisch verbundene Pilot-Station in Formation bringen. Da diese Station nicht ortsgebunden sein muss, kann sie auch als Bestandteil einer am Schwärm beteiligten Drohne implementiert sein. Dabei wird allerdings die gesamte Koordinierung des Schwarms immer von dieser Pilot-Station ausgehen, was bedeutet, dass bei geringerer Signalgüte des externen Ortungssystems ein Zusammenbrechen der dort beschriebenen Funktionalität zu erwarten ist.
US 2010/0268409 AI beschreibt eine Methode zur Inspektion von Strukturen wie z.B. Gebäude, Brücken, Infrastruktur der Bahn etc. mit Hilfe von unbemannten Drohnen, organisiert im Schwärm, welche mit anwendungsgerechten Sensoren und Kameras ausgestattet sind. Zudem ist eine mobile zentralisierte Station, wie z.B. ein Flugzeug, zur Inspektion der gesammelten Daten vorgesehen, welche über eine Datenverbindung basierend auf einer geeigneten Funktechnologie verfügt, die gesammelten Bild- und Sensordaten von den Drohnen empfängt und rechentechnisch auswertet bzw. verarbeitet. Die zentralisierte Station erstellt auch die Flugpläne, transferiert diese zu den Schwarmteilnehmern, passt sie dynamisch den örtlichen Gegebenheiten an und verteilt nach erfolgreicher Abarbeitung eines Flugplanes neue Aufgaben an die beteiligten Drohnen. Der Anwendungsfokus liegt im Außenbereich und basiert auf einem externen Ortungssystem. Jede Drohne arbeitet für sich ihr von der zentralen Station erteiltes Arbeitspaket ab, ohne zu wissen, ob sie sich physikalisch in einem Schwärm befindet. Die Vorteile eines intelligenten Schwarms, welcher ohne externe Unterstützung im Hinblick auf die jeweilige Position der Drohnen sehr flexibel und dynamisch agieren kann, können aufgrund dieser Konstellation leider nicht genutzt werden.
In US 2009/0099768 AI wird ein Navigationssystem beschrieben, welches neben den schon bekannten sogenannten Target Attraction Beacons, auch über ein sog. Collision Avoidance Beacon verfügt. Dieses ist in der Lage Kollisionsvermeidungssignale von umgebenden Drohnen global zu empfangen, aber auch selbst Kollisionsvermeidungssignale global auszusenden. Im Hinblick auf das Kollisionssignal ist immer vorausgesetzt, dass die beteiligten Flugdrohnen auch ein solches Signal aussenden, da sich sonst die Gefahr eines folgenreichen Blindfluges deutlich erhöht und die beschriebenen Funktionalitäten in Hinblick auf ihre praktische Anwendbarkeit in Frage gestellt werden. Da reale Hindernisse wie z.B. Gebäude oder Mauern keine Kollisionssignale aussenden, werden lokale Sensoren für die Erkennung solcher Hindernisse verwendet. Die Entscheidung darüber, in welcher Richtung dem Hindernis ausgewichen werden soll, obliegt der Kenntnis, wie das Hindernis global aufgebaut ist, um effizient, energiesparsam und vorausschauend das anvisierte Ziel erreichen zu können. Wenn die beteiligten Drohnen im Wesentlichen nicht nur auf die beschriebenen einfachen Funksignale zur Zielverfolgung und Kollisionsvermeidung zurückgreifen würden und ergänzend auch bildgebende Sensoren einsetzten, wäre der Einsatz in urbanem Gebiet durch eine frühzeitig angepasste Datenlage, deutlich besser zu bewerkstelligen.
Die beiden Veröffentlichungen der ETH Zürich zu den Themen Environment- independent Formation Flight for Micro Aerial Vehicles von Tobias Nägeli, Christian Conte, Alexander Domahidi, Manfred Morari und Otmar Hilliges von 2014 und PIXHAWK: A System for Autonomous Flight using Onboard Computer Vision von Lorenz Meier, Petri Tanskanen, Friedrich Fraundorfer und Marc Pollefeys, zeigen jeweils einen sehr interessanten Ansatz zur Verwirklichung eines mit UAVs betriebenen Schwarms im Innen- und Außenbereich. Neben den zur Formation eines Schwarms notwendigen Algorithmen und dem inneren Aufbau der jeweils verwendeten Flugsysteme ist die Tatsache der Anwendung zweier stereoskopisch angeordneten Kamerapaare zur dynamischen Erkennung der relativen Position und des relativen Abstandes zu einem weiteren am Schwärm beteiligten Flugobjekt eine neue Herangehensweise, welche die Anwendbarkeit des Schwarms auch für den Innenbereich sicherstellen kann. Die Erkennung erfolgt mit Hilfe eines jeweils am Copter angebrachten, eindeutigen optisch schwarz/weißen Musters, welches von den Kameras erkannt wird und im Hinblick auf Position und Abstand die Organisation eines in der Ebene operierenden Schwarms ermöglicht. Allerdings schränkt die Anwendung - nur in der Ebene - die Flexibilität eines Schwarms stark ein, welcher zum einen durch unterschiedlichste äußere Einwirkungen, wie z.B. Wind im Außenbereich und deutlichen Luftdruckdifferenzen im Innenbereich, auch temporäre Höhendifferenzen aufweisen kann, und zum anderen bei dynamischen Flügen mit sich schnell ändernden Randbedingungen eine hohe Flexibilität aufweisen soll um eine rasche Neuformierung des Schwarms zu ermöglichen. Da der sichtbare Bereich der implementierten Kameras relativ zum Copter, auf welchem die Kameras installiert sind, einen statisch nur um die Gier(Dreh)-Achse anpassbaren Blickwinkel ermöglicht, würde eine schlichte Anpassung dieser Achse allein nicht das Verlieren eines schon erkannten Schwarmteilnehmers verhindern.
Um zu vermeiden, dass im Kontext eines hochdynamischen Schwarmflugs externe Einflüsse, wie oben beispielhaft beschrieben, eine praktisch wie auch immer geartete reale Anwendbarkeit eines dynamischen Flugschwarms für den Einsatz im Innen- und Außenbereich verhindern, wird eine, insbesondere statisch und mobil einsetzbare, multifunktionale Kameraeinheit (Swarm Flight Unit SFU) für die bevorzugte Kopplung an mobilen Robotersystemen, wie im Rahmen dieser Schrift erläutert, benötigt.
Darstellung der Erfindung: Aufgabe Lösung Vorteile
Der Erfindung liegt die Aufgabe zugrunde eine multifunktionale Kameraeinheit derart weiterzuentwickeln, dass durch Bereitstellung einer, insbesondere statisch und mobil einsetzbaren, multifunktionalen Kameraeinheit für den Betrachter, z.B. für ein Robotersystem, interessierende statische und dynamische Objekte, wie z.B. weitere Flugdrohnen, aus der eigenen Bewegung heraus zu identifizieren, zu klassifizieren und örtlich durch intern berechnete Raumkoordinaten so zu organisieren, dass im Bereich der mobilen Robotik und in anderen anwendungsrelevanten Gebieten, wie z.B. der Sicherheitstechnik, hochkomplexe, voll autonome Aufgabenstellungen, wie z.B. Such- und Rettungseinsätze durchgeführt werden können. Die oben genannte Aufgabe wird gelöst durch eine multifunktionale Kameraeinheit zur Kopplung an einem ersten mobilen Trägersystem, insbesondere einem mobilen Robotersystem, wobei die Kameraeinheit statisch und/oder mobil einsetzbar ist, und wobei die Kameraeinheit für eine Erkennung und Verfolgung von statischen und dynamischen Objekten ausgebildet ist.
Unter einem mobilen Trägersystem ist vor allem ein mobiles Robotersystem zu verstehen. Insbesondere fallen unter den Begriff unbemannte mobile Roboter, sogenannte UAVs (Unmanned Area Vehicles). Dabei ist das Trägersystem insbesondere flugfähig ausgebildet. Bei dem mobilen Trägersystem handelt es sich bevorzugterweise um eine Drohne, vor allem um die Flugdrohne des Types ATC 3.0 (Airshark Technology Carrier).
Mobile Trägersysteme formieren sich für bestimmte Aufgaben insbesondere in einem Schwärm, in dem jedes mobile Trägersystem einen Schwarmteilnehmer darstellt. Unter einem Schwärm sind mindestens zwei Schwarmteilnehmer zu verstehen, welche im Kontext einer übergeordneten Aufgabenstellung im Verbund handeln. Insbesondere umfasst ein derartiger Schwärm mehrere mobile Trägersysteme.
Die multifunktionale Kameraeinheit ist zur Kopplung an dem ersten mobilen Trägersystem ausgebildet. Unter einer Kopplung versteht man insbesondere die Herstellung einer lösbaren Verbindung. Insbesondere wird die multifunktionale Kameraeinheit auf dem ersten mobilen Trägersystem angeordnet.
Unter dem Begriff „multifunktionale Kameraeinheit" ist insbesondere eine multifunktionale Aufnahmeeinheit von optischen Informationen zu verstehen. In anderen Worten wird die multifunktionale Kameraeinheit als„Swarm Flight Unit" (SFU) bezeichnet. Insbesondere weist die multifunktionale Kameraeinheit bildgebende Sensoren und bewegliche Komponenten auf, die ihr ihre Multifunktionalität verleihen.
Insbesondere betrifft die Erfindung ein System aus multifunktionaler Kameraeinheit und erstem mobilen Trägersystem, wobei die multifunktionale Kameraeinheit an dem ersten mobilen Trägersystem gekoppelt ist.
Bevorzugterweise umfasst die multifunktionale Kameraeinheit mehrere, vorzugsweise mindestens zwei, ferner bevorzug mindestens drei, insbesondere mindestens vier, auf einer Kreisbahn beweglich angeordnete Kameraschlitten, wobei die Kameraschlitten jeweils mindestens eine Kamera, mindestens eine Ringbeleuchtung und mindestens einen Punktprojektor aufweisen. Jedem Kameraschlitten sind vorzugsweise genau eine Kamera, eine Ringbeleuchtung und ein Punktprojektor zugewiesen. Durch die Kameraschlitten und der Anordnung der Kameras auf diesen, wird den Kameras ihre Beweglichkeit vermittelt. Insbesondere sind die Kameras aufgrund ihrer Anordnung auf den Kameraschlitten horizontal und/oder vertikal beweglich. Insbesondere beinhaltet jeder Kameraschlitten vorzugsweise zwei Antriebe, wobei ein Antrieb für die horizontale Bewegung des Kameraschlittens und ein Antrieb für die vertikale Kreisbewegung der auf dem Kameraschlitten angeordneten Kamera zuständig sind. Die Beweglichkeit oder die Positionsdaten der Kameraschlitten bzw. Kameras bestimmen sich vor allem in Bezug auf den geometrischen Ursprung der Kameraeinheit, der vor allem den Mittelpunkt der Kameraeinheit darstellt. Vorteilhafterweise sind die Kameras stückweise stereoskopisch einstellbar ausgebildet.
Die Kameraschlitten sind insbesondere auf derselben Kreisbahn beweglich angeordnet. Die Kameras sind insbesondere derart ausgebildet, dass sie mit einer elektronischen Auswerteeinheit sowie Bildverarbeitungsalgorithmen zur Auswertung der von ihnen aufgenommenen Daten zusammenarbeiten. Bei dem Punktprojektor handelt es sich um einen Lichtprojektor, vor allem um eine Laserdiode, die dazu ausgebildet ist, Muster, wie beispielsweise Punkte oder Linien, auf interessierende Objekte zu projizieren. Die Projektion derartiger Muster als sichtbare Strukturen erleichtert die Erkennung und Verfolgung von Objekten und/oder Abstandsbestimmung zu Objekten, insbesondere bei weniger günstigen Beleuchtungs- und Kontrastverhältnissen. Die Anordnung der Punktprojektoren im Verhältnis zur jeweiligen Aufnahmeebene ist vorzugsweise orthogonal, kann aber unter der Voraussetzung einer im Bild sichtbaren Projektion im Hinblick auf zusätzliche Abstandsinformationen zum Ziel auch einen beliebig anderen Winkel annehmen. In einer weiteren Ausprägungsvariante können daher diese Einstellwinkel dynamisch angepasst werden.
Die Ringbeleuchtung ist derart angeordnet, dass die Kamera im Zentrum des durch die Ringbeleuchtung gebildeten Rings angeordnet ist. Die Ringbeleuchtung dient der Beleuchtung der von der Kamera aufgenommenen Szene oder Bildes.
Insbesondere weist die multifunktionale Kameraeinheit eine statische Zentralkamera mit mindestens einem Punktprojektor und mindestens einer Ringbeleuchtung auf. Der Begriff „statisch" ist vor allem derart zu verstehen, dass die Zentralkamera nicht beweglich, in Bezug auf die Kameraeinheit, ausgebildet ist. Die Zentralkamera ist insbesondere nicht auf einem Kameraschlitten angeordnet, der ihr Mobilität verleihen könnte. Die Zentralkamera ist aus Sicht des ersten mobilen Trägersystems nicht beweglich, im Kontext der Anwendung durchaus mit sich hoch dynamisch ändernden Bildsequenzen befasst.
Vorteilhafterweise umfasst die multifunktionale Kameraeinheit, mehrere, vorzugsweise vier, statische Kameras mit jeweils mindestens einem, vorzugsweise genau einem, Punktprojektor und mindestens einer, vorzugsweise genau einer, Ringbeleuchtung. Dabei sind die statischen Kameras nicht beweglich ausgebildet, und sonnit insbesondere nicht auf einem Kameraschlitten angeordnet. Die vier ortsfesten Kameras sind insbesondere um einen Hals der Kameraeinheit, bevorzugterweise in regelmäßigen Abständen zueinander, angeordnet. Somit sind insbesondere die Bereiche zwischen den seitlichen Auslegern des ersten mobilen Trägersystems optisch abgedeckt.
Die multifunktionale Kameraeinheit ist insbesondere dazu ausgebildet, Positionsdaten zwischen der Kameraeinheit und dem ersten mobilen Trägersystem und/oder Positionsdaten zwischen der Kameraeinheit und mindestens einem interessierenden Objekt, insbesondere einem zweiten Trägersystem, zu bestimmen. Unter dem Begriff „Positionsdaten" sind insbesondere dreidimensionale Daten über die Position, d.h. den genauen Ort, vorzugsweise samt Winkelposition, zu verstehen. Unter dem Begriff „Winkelposition" ist der Winkel gemeint, unter dem die Kamera angeordnet ist und somit Bilder aufnimmt. Bevorzugterweise ist die multifunktionale Kameraeinheit zur Bestimmung der Positionsdaten ohne Hilfe von zusätzlichen externen Daten, insbesondere GPS-Daten, ausgebildet. In anderen Worten ist die multifunktionale Kameraeinheit ausschließlich auf Basis der von ihr aufgenommenen Daten zur Positionsdatenbestimmung ausgebildet.
Unter einem zweiten Trägersystem ist vor allem ein flugfähiges Objekt, insbesondere eine Drohne, vor allem eine Flugdrohne, zu verstehen. Insbesondere sind das erste mobile Trägersystem und das zweite mobile Trägersystem Schwarmteilnehmer des gleichen Schwarmes. Vor allem umfasst der Schwärm weitere Schwarmteilnehmer, wobei die multifunktionale Kameraeinheit zur Positionsdatenbestimmung von allen an dem Schwärm zu beteiligenden oder bereits beteiligten Trägersystemen ausgebildet ist. Dabei müssen die weiteren Trägersysteme keine multifunktionale Kameraeinheit aufweisen. Insbesondere umfasst das zweite Trägersystem, insbesondere alle weiteren Schwarmteilnehmer des Schwarmes, keine multifunktionale Kameraeinheit. Allerdings können alternativ auch die anderen Trägersysteme eine multifunktionale Kameraeinheit umfassen.
Die multifunktionale Kameraeinheit umfasst ferner bevorzugterweise ein Mittel zur Bildverarbeitung und Berechnung von Positionsdaten zwischen der Kameraeinheit und dem ersten mobilen Trägersystem und/oder Positionsdaten zwischen der Kameraeinheit und mindestens einem interessenden Objekt, insbesondere einem zweiten Trägersystem, sowie vorzugsweise ein Mittel zur Datenübertragung der berechneten Positionsdaten, insbesondere eine Datenschnittstelle, zwischen der Kameraeinheit und dem ersten mobilen Trägersystem. Bei der Schnittstelle handelt es sich vor allem um eine intelligente Schnittstelle, die insbesondere in der Offenlegungsschrift DE 10 2013 100 155 AI beschrieben ist. Die Schnittstelle ist vor allem funktions- und prinziphybrid ausgebildet. Das Mittel zur Bildverarbeitung und Berechnung von Positionsdaten ist vor allem zur Objekterkennung, d.h. dem Erkennen von interessierenden Objekten, die statisch oder dynamisch ausgebildet sein können, geeignet. Die Übertragung der berechneten Positionsdaten zum ersten mobilen Trägersystem dient beispielsweise der Ansteuerung des ersten mobilen Trägersystems, insbesondere um in einem Schwärm zu fliegen und elektronische und/oder mechanische Lasten zu befördern und/oder vollautomatisch über eine geeignete Bodenstation zu wechseln und/oder einen Landeanflug auszuführen.
Zum Bestimmen der Positionsdaten zwischen der Kameraeinheit und einem interessierendem Objekt ist die Bestimmung der Positionsdaten zwischen der Kameraeinheit, insbesondere der verschiedenen Kameras der Kameraeinheit, und dem ersten mobilen Trägersystem entscheidend, da nur dann die verschiedenen von den Kameras aufgenommenen Daten in örtlicher Relation zu den Kameras und somit zu dem ersten mobilen Trägersystem, gesetzt werden können. Insbesondere bilden mindestens eine Kamera der Kameraeinheit und mindestens ein dieser zugeordneter Punktprojektor ein Abstandswarnsystem aus. Das Abstandswarnsystem ist dabei zur Bestimmung des jeweiligen Abstandes zwischen den Kameras der Kameraeinheit und mindestens einem interessierenden Objekt, vor allem einem zweiten mobilen Trägersystem, ausgebildet. Insbesondere bilden sämtliche Kameras der Kameraeinheit und die jeweils zugeordneten Punktprojektoren ein Abstandswarnsystem.
Das Abstandswarnsystem dient insbesondere als Mittel zur räumlichen Kollisionsvermeidung des ersten mobilen Trägersystems und einem interessierenden Objekt, insbesondere einem zweiten Trägersystem. Ferner dient das Abstandswarnsystem zur Unterstützung des Landevorgangs des ersten mobilen Trägersystems und/oder eines zweiten mobilen Trägersystems. Ferner kann das Abstandswarnsystem Abstandsinformationen eines interessierenden Objektes liefern.
Die Kameraschlitten sind insbesondere auf einer gemeinsamen Kreisbahn beweglich angeordnet, wobei jedem Kameraschlitten ein Arbeitsbereich zugeordnet ist, wobei benachbarte Arbeitsbereiche in einem Überlappungsbereich überlappen. Dabei ist die Kameraeinheit derart ausgebildet, dass die Kameraschlitten gegen Kollision gesichert sind. Insbesondere wird der Bewegung eines Kameraschlittens ein Segment der Kreisbahn zugeordnet. Im Falle von vier Kameraschlitten wird beispielsweise jedem Kameraschlitten ein Quadrant als Arbeitsbereich zugeordnet. Als Arbeitsbereich ist somit ein Bereich zwischen definierten mechanischen Bewegungsgrenzen eines Kameraschlittens der Kameraeinheit zu verstehen. Jedem Arbeitsbereich ist definitionsgemäß ausschließlich ein Kameraschlitten zugeordnet. Ferner bevorzugt sind die Arbeitsbereiche in der Ebene überlappend angeordnet, sodass sich an deren Enden Überlappungsbereiche zu den angrenzenden Arbeitsbereichen ausbilden. Ein Überlappungsbereich erstreckt sich vorzugsweise über 5° bis 15° der gemeinsamen Kreisbahn. Die Kameraeinheit ist derart ausgebildet, dass trotz Überlappungsbereichen eine Kollision von benachbarten Kameras bzw. Kameraschlitten vermieden wird.
Bevorzugterweise ist die Kameraeinheit zur Bestimmung der Positionsdaten der Kameraschlitten und der Positionsdaten der auf den Kameraschlitten angeordneten Kameras, insbesondere der Winkelpositionen der Kameras, ausgebildet. Dazu weist die Kameraeinheit einen Inkrementalgeber, aufweisend einen optischen Sender, eine Inkrementalscheibe und einen Empfänger auf. Damit können nach einer initialen Einstellfahrt nicht nur die Position der Kameraschlitten, sondern folglich auch die Winkelpositionen der Kameras relativ zum Ursprung der multifunktionalen Kameraeinheit eindeutig bestimmt werden.
Zur Bestimmung der genauen Position des interessierenden Objektes relativ zur Position der implementierten beweglichen Kameras, insbesondere deren Winkelposition, wird dem einen aufgenommenen interessierenden Objekt relativ zum ersten mobilen Trägersystem sowohl ein horizontaler als auch ein vertikaler Winkel zugeordnet. Insbesondere verfügt die für die Kameraschlitten in der horizontalen Bewegung vorgesehene Inkrementalscheibe insgesamt voneinander räumlich getrennte, in ihrem Winkel stückweise überlappende Spuren. Die Anzahl der Spuren entspricht der Anzahl der auf der Inkrementalscheibe angeordneten Kameraschlitten. Bei vier Kameras verfügt die Inkrementalscheibe über vier voneinander räumlich getrennte, in ihrem Winkel stückweise überlappende Spuren, sodass die Kameraschlitten bedarfsweise auch außerhalb ihres zugeordneten Arbeitsbereiches in einem Überlappungsbereich operieren können. Durch einen der Inkrementalscheibe zugeordnetem Sender und Empfänger kann die genaue horizontale Position jedes Kameraschlittens bestimmt werden. Zur Bestimmung der vertikalen Position der auf den Kameraschlitten angeordneten Kameras weist jeder Kameraschlitten eine Inkrementalscheibe auf, über die die vertikale Winkelposition der Kamera bestimmt werden kann. In einenn weiteren Aspekt betrifft die Erfindung ein Verfahren zum Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, unter Verwendung einer multifunktionalen Kameraeinheit mit mehreren Kameras, wobei die multifunktionale Kameraeinheit an einem ersten mobilen Trägersystem gekoppelt ist. Das Verfahren umfasst das Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere des zweiten mobilen Trägersystem, ausschließlich basierend auf von der Kameraeinheit aufgenommenen Daten. Das Bestimmen der Positionsdaten erfolgt somit explizit ohne Zuhilfenahme von GPS-Daten oder weiteren externen Daten.
Insbesondere umfasst das Verfahren ferner eine Kollisionsprüfung der Kameras der Kameraeinheit. Insbesondere umfasst das Verfahren ein Verwenden einer oben beschriebenen erfindungsgemäßen multifunktionalen Kameraeinheit gekoppelt auf einem ersten mobilen Trägersystem. Die Kollisionsprüfung betrifft insbesondere die Bewegung der Kameraschlitten, auf denen die Kameras der Kameraeinheit, angeordnet sind. Die Kollisionsprüfung verhindert das Eindringen von benachbarten beweglichen Kameraschlitten in Überlappungsbereiche, in denen sie mit angrenzenden Kameraschlitten kollidieren könnten.
Dabei ist die Kollisionsprüfung zeitlich der Bewegung der Kameraschlitten vorgelagert. Dies ermöglicht, dass sich die Kameras in ihren Arbeitsbereichen ohne die Gefahr von Kollision frei bewegen können. Die Kollisionsüberprüfung erfolgt vor allem in regelmäßigen Abständen, insbesondere permanent. Die Kollisionsüberprüfung umfasst dabei die Prüfung, ob in einem Arbeitsbereich, insbesondere in einem Überlappungsbereich, bereits eine Kamera vorhanden ist, bevor eine weitere Kamera in diesen Bereich gefahren wird. Innerhalb der Überlappungsbereiche wird somit die Einfahrt einer Kamera in einen „fremden" Arbeitsbereich, das heißt einem Arbeitsbereich einer anderen Kamera, nur dann erlaubt, sodass dieser nicht genutzt, also frei, ist. Wenn sich in dem Überlappungsbereich bereits eine Kamera befindet, wird die Einfahrt einer weiteren Kamera nicht zugelassen.
Ferner umfasst das Verfahren eine regelmäßige Abstandsüberwachung der Abstände zwischen den Kameras der Kameraeinheit und/oder regelmäßige Abstandsüberwachung des Abstandes zwischen der multifunktionalen Kameraeinheit und dem interessierenden Objekt, insbesondere dem zweiten mobilen Trägersystem, wobei die Abstandsüberwachungen voneinander getrennt ausgebildet sind. Dabei überfolgt die Abstandsüberwachung insbesondere in regelmäßigen Abständen, bevorzugterweise permanent.
In einem weiteren Schritt kann das Verfahren das Projizieren von Mustern auf das interessierende Objekt mittels Punktprojektoren umfassen, die das Erkennen des Objektes erleichtern. Die Auswertung der Ausbreitungsinformation dieser Punkt- Projektion gekoppelt mit der gemessenen Blickrichtung, d.h. der genauen vertikalen und horizontalen Positionsdaten der Kameraschlitten bzw. der Kamera, erfolgt innerhalb der Kameraeinheit durch die Bestimmung des projizierten Flächeninhaltes im Verhältnis zum Projektionsmuster und der umgebenen Kontur des interessierenden Objektes. In einer weiteren Ausprägungsvariante werden die projizierten Muster nicht orthogonal zur jeweiligen Aufnahmeebene hin ausgebildet, sodass zusätzliche Abstandsinformationen mit dem hierdurch entstehenden Winkel versatz ausgewertet werden. Die Anordnung der Punktprojektoren im Verhältnis zur jeweiligen Aufnahmeebene ist vorzugsweise orthogonal, kann aber unter der Voraussetzung einer im Bild sichtbaren Projektion im Hinblick auf zusätzliche Abstandsinformationen zum Ziel auch einen beliebig anderen Winkel annehmen. Demnach kann das Verfahren die dynamische Anpassung der Einstellwinkel umfassen. In einem weiteren Schritt umfasst das Verfahren das Speichern aller von der Kameraeinheit aufgenommenen Rohdaten, insbesondere Bildaufnahmen, innerhalb der multifunktionalen Kameraeinheit. Diese können insbesondere für nachgelagerte Auswertungen in Hinblick auf spezielle anwendungsbezogene Messaufgaben, nicht nur solche, die aus dem Bereich der Geodäsie stammen, herangezogen werden.
Spezielle Messaufgaben sind beispielsweise die optische Aufnahme von Infrastruktur (z. B. Oberbau, Signalanlagen, Abstellanlagen, Bahnhöfe) des Schienenpersonennahverkehrs und schienengebundenen Fernverkehrs im In- und Ausland, wobei der Zustand und die Vollzähligkeit von Anlagenteilen im Hinblick auf die Betriebssicherheit und der allgemeinen Planung von Instandhaltungsmaßnahmen vergleichsweise schnell überprüft werden kann. Das erfindungsgemäße Verfahren kann im Vergleich zu konventionellen Messfahrten, welche nur durch Voranmeldung, Beantragung eines Fahrplans, Gebühren für Energieversorgung, Strecken- und Bahnhofsbenutzung, Disposition eines Schienenfahrzeuges und Bereitstellung eines ortskundigen Lokführers möglich sind und zudem in Ballungsgebieten bis zu mehreren Monaten im Voraus geplant werden müssen, sehr kostensparend vorgenommen werden.
Ferner umfasst das Verfahren die Objekterkennung mit Hilfe der digitalen Bildverarbeitung, wobei hier eine Unterteilung in Vorverarbeitung, Segmentierung, Merkmalsextraktion und Analyse stattfindet. Innerhalb der Vorverarbeitung wird das akquirierte digitale Farbbild mittels Punktoperatoren, sowie lokaler und globaler Filteroperationen - bei bleibenden Informationsgehalt - vorbehandelt, sodass die weiter zu verarbeitende Bildgröße im Sinne des dafür erforderlichen Speichervolumens deutlich abnimmt.
In der dann folgenden Segmentierung und Merkmalsextraktion werden u.a. auch mit gängigen Transformationsalgorithmen (bspw. Hough, Fourier, Laplace) gezielt typische Merkmale bezüglich der Kontur des interessierenden Objektes (bspw. Größenverhältnisse zwischen optischen Merkmalen, wie seitlichen Auslegern, und Korpus, Anstiege und Kurvenübergänge) und der verwendeten Oberflächentextur herausgestellt.
In der abschließenden Analyse werden die zuvor berechneten Merkmale einer Interpretation unterzogen, wobei dann die Entscheidung erfolgt, ob ein potentiell befreundetes Objekt erkannt wurde, oder nicht.
Wurde ein interessierendes Objekt gefunden, wird es systemintern gelistet und innerhalb des Arbeitsbereiches durch sogenanntes mechanisches und softwaretechnisches Tracking verfolgt. Hierbei wird aus Laufzeitgründen nicht ständig erneut eine aufwendige Mustererkennung durchgeführt, vielmehr wird mithilfe eines einfachen geometrischen Primitives, bspw. einer Linie, eines Dreieck oder eines Viereck das interessierende Objekt optisch substituiert und im Bild verfolgt.
Ferner betrifft die Erfindung die Verwendung einer oben beschriebenen multifunktionalen Kameraeinheit zum Tracking mindestens eines interessierenden Objektes, insbesondere eines zweiten Trägersystems, wobei die Verwendung den Schritt des systeminternen Listens des interessierenden Objektes und das Verfolgen des systeminteressierenden Objektes durch mechanisches und softwaretechnisches Tracking umfasst.
Unter dem Begriff „Listen" ist insbesondere ein Merken des interessierenden Objektes zu verstehen. Das Listen des interessierenden Objektes umfasst ferner das Anlegen einer internen Erkennungsstatistik vorzugsweise. Dass ein interessierendes Objekt gelistet wird, setzt eine oben beschriebene Objekterkennung voraus. Das Listen des jeweilig erkannten interessierenden Objektes ermöglicht eine nahtlose Übergabe zu der in dem nächsten Arbeitsbereich befindlichen Kamera, welche auch ohne weitere Mustererkennung mithilfe einfacher geometrischer Objekte das interessierende Objekt verfolgt. Insbesondere umfasst die Verwendung, dass eine erste Kamera in einem ersten Arbeitsbereich das interessierende Objekt trackt, d.h. verfolgt, und beim Verlassen des ersten Arbeitsbereichs in einen zweiten Arbeitsbereich einer zweiten Kamera ein nahtloser Übergang des Trackings und somit der Zuständigkeit, zu der zweiten Kamera folgt. Dies setzt vor allem die Abstandsüberwachung und die Kollisionsüberprüfung voraus. Dadurch ist ein nahtloser Übergang und somit ein permanentes Tracking des interessierenden Objektes, gewährleistet. Die mechanische Objektverfolgung geschieht innerhalb eines Arbeitsbereiches vollautomatisch durch Bewegung der jeweiligen Kamera. Mögliche Überdeckungen des Ziels durch andere bewegliche Objekte, welche dann zu fehlerhaften Interpretationen führen könnten, werden durch vorausschauendes, auf physikalischen Grundsätzen basierendes Schätzen der aktuellen Position im Raum kompensiert.
Beschreibung der Figuren
Eine bevorzugte Ausführungsform der Erfindung wird nachstehend anhand der Figuren näher erläutert. Es zeigen rein schematisch:
Figur 1: einen Programmablaufplan der internen Funktionsweise einer
multifunktionalen Kameraeinheit;
Figur 2: eine Übersicht der globalen Funktionsweise der multifunktionalen
Kameraeinheit im Kontext der Verbindung mit einem ersten mobilen
Trägersystem;
Figur 3: eine seitliche Schnittansicht einer multifunktionalen Kameraeinheit; Figur 4: eine Draufsicht auf die Aufteilung in Arbeits- und Überlappungsbereiche;
Figur 5: eine perspektivische Ansicht des inneren Aufbaus der Kameraeinheit;
Figur 6: eine perspektivische Ansicht der vier Kameraschlitten samt Zahnrad;
Figur 7: eine perspektivische Ansicht eines Kameraschlittens;
Figur 8: eine Draufsicht auf die Inkrementalscheiben für die horizontale
Bewegung der Kameraschlitten und die vertikale Kreisbewegung der Kameras;
Figur 9: eine perspektivische Ansicht der nach unten gerichteten statischen
Kameras; und
Figur 10: eine perspektivische Ansicht einer Kombination einer multifunktionalen
Kameraeinheit und eines ersten mobilen Trägersystems.
Bevorzugte Ausführungsform der Erfindung
Figur 1 zeigt einen Programmablaufplan der internen Funktionsweise einer multifunktionalen Kameraeinheit (100). Dabei stellt Figur 1 insbesondere den Ablauf eines erfindungsgemäßen Verfahrens und/oder den Ablauf einer Verwendung einer multifunktionalen Kameraeinheit (100) zum Tracking mindestens eines interessierenden Objektes dar.
Als erster Schritt (500) erfolgt eine Bildaufnahme mittels mindestens einer Kamera (18) der multifunktionalen Kameraeinheit (100), bevorzugterweise mittels sämtlicher Kameras (18). Die Daten der Bildaufnahme, und die ursprünglich aufgenommenen Bilddaten der mindestens einen Kamera, werden in einem weiteren Schritt (501) als Rohdaten gespeichert und können für nachgelagerte Auswertungen genutzt werden. Parallel dazu findet die Bildverarbeitung (502) der aufgenommenen Daten statt.
Es schließt sich die Erkennung (503) eines interessierenden Objektes an. Dazu wird mindestens eine Kamera (18) bzw. der zugehörige Kameraschlitten (14, 15, 16, 17) im jeweiligen Arbeitsbereich (24) bewegt, insbesondere werden sämtliche Kameras (18) bzw. zugehörige Kameraschlitten (14, 15, 16, 17) im jeweiligen Arbeitsbereich (24) bewegt. Wird kein interessierendes Objekt gefunden, geht der Prozess erneut ab der Bildverarbeitung (502) weiter, wobei nun neue in der Zwischenzeit aufgenommene Bilddaten verarbeitet werden. Wurde ein interessierendes Objekt gefunden, wird in einem weiteren Schritt (504) überprüft, ob die gegebenen Eigenschaften im Hinblick auf geometrische Besonderheiten, bspw. Größenverhältnisse zwischen optischen Merkmalen, wie seitlichen Auslegern, und Korpus, Anstiege und Kurvenübergänge, und der verwendeten Oberflächentextur, der in der multifunktionalen Kameraeinheit (100) hinterlegten Systeminformationen entspricht. In einem weiteren Schritt (504a) wird ausgehend von der multifunktionalen Kameraeinheit (100) vom interessierenden Objekt eine digitale Signatur abgefragt, welche konjugiert mit der vorher stattgefundenen positiven optischen Bestätigung der Zugehörigkeit zu der in der multifunktionalen Kameraeinheit (100) bekannten weiteren mobilen Trägersysteme im Ergebnis eine Klassifizierung (505) in ein befreundetes oder nicht befreundetes Objekt ermöglicht.
In einem weiteren Schritt (506) wird das optische Tracking (506) aktiviert. Wird das interessierende Objekt als ein feindliches Objekt klassifiziert, wird in einem nächsten Schritt (507) ein Sicherheitsprogamm aktiviert, welches im Hinblick auf die übergeordnete Aufgabenstellung ein bloßes Listen dieses Objektes mit seinen gegebenen optischen Eigenschaften und seiner Position beinhaltet, oder mit Hilfe der am ersten mobilen Trägersystem (1000) angebrachten Hilfsmittel aktiv für die Deaktivierung dieses Objektes, vorzugsweise Flugobjektes sorgt, sodass keinerlei Gefahr für die planmäßige Durchführung der übergeordneten Aufgabenstellung mehr besteht.
Im Rahmen des optischen Trackings (506) werden in einem Schritt (508) die Bewegungsgrenzen der Kamera (18), die das interessierende Objekt trackt, d.h. verfolgt, bzw. des zugehörigen Kameraschlittens (14, 15, 16, 17) überwacht. Werden die örtlichen Grenzen im akquirierten Bild der Kamera (18) erreicht, wird ein mechanisches Tracking (509) aktiviert. Im Rahmen des mechanischen Tracking (509) wird die Verfolgung des interessierenden Objektes nahtlos an eine benachbarte Kamera (18) übergeben, sobald die zuvor zuständige Kamera (18) aufgrund ihres limitierten Arbeitsbereiches (24) das interessierende Objekt nicht mehr überwachen kann. Die Übergabe erfolgt dann an die Kamera (18), in dessen Arbeitsbereich (24) das interessierende Objekt nun fällt.
In einem weiteren Schritt (510) erfolgt eine Bestimmung des Abstandes zum interessierenden Objekt. Das interessierende Objekt wird in einem weiteren Schritt (511) gelistet und die 3D-Positionsdaten des interessierenden Objektes werden an das erste mobile Trägersystem (1000), auf dem die multifunktionale Kameraeinheit (100) angeordnet ist, übertragen. Abschließend wird bewertet, ob das Verfahren an dieser Stelle gestoppt werden soll oder weiterläuft. Im letzten Fall fängt das Verfahren erneut bei der Bildverarbeitung (502) von neu aufgenommenen Bilddaten an. Der oben beschriebene Stopp des Verfahrens kann bspw. durch die Notwendigkeit von Energieeinsparungsmaßnahmen zum Erreichen einer sicheren Landeposition ausgelöst werden.
Insgesamt ist aus Figur 1 somit vor allem der funktionale Zusammenhang zwischen Bildaufnahme, Bildverarbeitung, optischem und mechanischem Tracking und SD- Positionsbestimmung zu entnehmen.
Figur 2 zeigt eine Übersicht der globalen Funktionsweise der multifunktionalen Kameraeinheit (100) in Verbindung mit einem ersten mobilen Trägersystem (1000). Der multifunktionalen Kameraeinheit (100) werden insbesondere die Funktionen der Bildaufnahme, Bildverarbeitung, Bestimmung der Positionsdaten eines interessierenden Objektes, das mechanische Tracking des interessierenden Projektes, und eine Kollisionsüberwachung zugewiesen. Dem ersten mobilen Trägersystem (1000) werden die folgenden Funktionen zugewiesen: eine Überwachung der zugrundeliegenden übergeordneten Aufgabe (Mission), eine Überwachung der Navigation, eine Datensammlung und Datenfilterung, eine Überwachung der Sicherheit, eine Überwachung des Landevorgangs, eine Überwachung der Motoren des ersten mobilen Trägersystems (1000) und eine Überwachung der externen Lasten. Die multifunktionale Kameraeinheit (100) und das erste mobile Trägersystem (1000) sind über eine mechanische Schnittstelle (200), die insbesondere funktions- und prinziphybrid ausgebildet ist, verbunden. Der Schnittstelle (200) werden in Hinblick auf die Sicherheitsüberwachung des ersten mobilen Trägersystems (1000) folgende Funktionen zugewiesen: eine sichere vollautomatische Kopplung, die über ein magnetisches Feedback kontrolliert wird, sowie ein automatisches sicheres Zu- und Abschalten von Signal- und Leistungspfaden. Zur Herstellung einer sicheren Verbindung zwischen Last (300) und dem ersten mobilen Trägersystem (1000) wird während des Kopplungsvorganges ein pulsbasiertes Identifikationssignal von der Last, welche an der sogenannten Toolseite der Schnittstelle (200) befestigt ist, an die sog. Maschinenseite der Schnittstelle (200), welche am ersten mobilen Trägersystem (1000) befestigt ist, übermittelt, sodass hierdurch die grundsätzliche familiäre Zugehörigkeit zwischen der Last (300) und dem ersten mobilen Trägersystem (1000) festgestellt werden kann. Im Weiteren ist die Last (300), welche an die Toolseite der Schnittstelle (200) befestigt ist, dazu angehalten nach der Übermittlung und Auswertung des oben beschriebenen Identifikationssignales ein sogenanntes Vital Sign zu erzeugen, welches die funktionale Anwesenheit der am ersten mobilen Trägersystem (1000) gekoppelten Last (300) jederzeit signalisiert. Die Abwesenheit dieses Signales, welches innerhalb der Schnittstelle (200) permanent überprüft wird, hat unmittelbar ein Abschalten sämtlicher Signal- und Leistungspfade zur Folge und einer Fehlermeldung wird generiert, welche dem daran montierten ersten mobilen Trägersystem (1000) im Rahmen einer Fehlermeldung zur weiteren Auswertung zur Verfügung gestellt wird. Ferner weist die Schnittstelle (200) eine innere Intelligenz auf, die folgende Informationen unterscheiden und bearbeiten kann: Lasten unterscheiden, Protokolle erstellen, Anzahl der Kopplungen sowie Betriebsstunden überwachen, unnötige Kopplungen, d.h. unnötige Lasten vermeiden. Ferner kommt der Schnittstelle die Funktion zu, die vorgenannten Informationen für eine weitere spätere Auswertung statistisch zusammenzufassen.
Figur 3 zeigt eine seitliche Schnittansicht einer multifunktionalen Kameraeinheit (100) und somit den inneren Aufbau dieser. Die multifunktionale Kameraeinheit (100) ist zu beiden Stirnseiten hin trichterförmig ausgebildet. Die Kameraeinheit (100) weist ein Gehäuse (28) auf, das sich konisch in Richtung beider Stirnseiten erweitert. In einem oberen Teil des Gehäuses (28) sind die bildaufnehnnenden Teile der Kameraeinheit (100) angeordnet, während sich in dem unteren Teil die Elektronik, insbesondere eine elektronische Implementierung (22) der Bildverarbeitung und Kommunikationskanäle, befinden. Zumindest ein oberer Teil des Gehäuses (28) der Kameraeinheit (100) ist als transparente Hülle (10) ausgebildet, sodass Bildaufnahmen der innerhalb des Gehäuses angeordneten Kameras (18) erfolgen können.
Die multifunktionale Kameraeinheit (100) weist eine statische Zentralkamera (11) auf, die für die Aufnahme des darüber liegenden Luftraumes ausgebildet ist. Ferner umfasst die Kameraeinheit (100) einen Punktprojektor (12) sowie eine Ringbeleuchtung (13) für die Zentralkamera (11). In der Schnittdarstellung der Figur 3 ist ferner einer (14) von vier Kameraschlitten (14, 15, 16, 17) zu sehen, auf denen jeweils eine horizontal und vertikal bewegliche Kamera (18) angeordnet ist. Jeder Kamera (18) eines Kameraschlittens (14, 15, 16, 17) sind jeweils ein Punktprojektor (18a) sowie eine Ringbeleuchtung (18b) zugeordnet. Die Kameraschlitten (14) weisen jeweils einen Antrieb (19) für die vertikale Kreisbewegung der zugehörigen Kamera (18) auf. Ferner weist die Kameraeinheit (100) eine Inkrementalscheibe (20) für die horizontale Bewegung, das heißt Zirkularbewegung, der Kameraschlitten (14, 15, 16, 17) um den geometrischen Ursprung der Kameraeinheit (100) auf. Die Inkrementalscheibe (20) ist vierspurig ausgebildet. Für die horizontale Bewegung der Kameraschlitten (14) weist die Kameraeinheit (100) jeweils einen Antrieb (23) auf.
Für die Aufnahme der Bereiche zwischen seitlichen Auslegern (1000a) des ersten mobilen Trägersystems (1000) umfasst die multifunktionale Kameraeinheit (100) vier statische Kameras (21), von denen eine in der Schnittansicht der Figur 3 zu sehen ist. Die statischen Kameras (21) sind unterhalb der Kameraschlitten (14, 15, 16, 17) angeordnet. Die statischen Kameras (21) erlauben einen nach unten gerichteten, zwischen den seitlichen Auslegern (1000a) des ersten mobilen Trägersystems (1000) gerichteten Blick und somit eine derart gerichtete Aufnahme von Bildern. In Figur 4 ist eine Draufsicht auf die Aufteilung in Arbeitsbereiche (24) und Überlappungsbereiche (26) der Kameraschlitten (14, 15, 16, 17) der Kameraeinheit (100) zu sehen. Der Winkelbereich von 360° ist sektorial in vier Quadranten (I, II, III, IV) aufgeteilt. Jedem Kameraschlitten (14, 15, 16, 17) ist ein Arbeitsbereich (24) zugeordnet, wobei benachbarte Arbeitsbereiche (24) an ihren Enden in Überlappungsbereichen (26) überlappen können. Somit werden erweiterter Arbeitsbereiche (25) mit Überlappung geschaffen.
Figur 5 zeigt eine perspektivische Ansicht des inneren Aufbaus der Kameraeinheit (100). Neben den vier Kameraschlitten (14, 15, 16, 17) ist ein Schutzring (27) für die mechanische Abschirmung der Kameraschlitten (14, 15, 16, 17) gezeigt.
In Figur 6 ist eine perspektivische Ansicht auf die vier Kameraschlitten (14, 15, 16, 17) sowie auf das Zahnrad (29), mit dem die Kameraschlitten (14, 15, 16, 17) verbunden sind, gezeigt. Das Zahnrad (29) sorgt zusammen mit dem Antrieb (23) für die horizontale Bewegung eines Kameraschlittens (14, 15, 16, 17) für die Bewegung der Kameraschlitten (14, 15, 16, 17) in der horizontalen Ebene. Auf dem Zahnrad (29) ist die Zentralkamera (11) angeordnet.
In Figur 7 ist eine perspektivische Ansicht eines Kameraschlittens (14) dargestellt. Für die Montage aller für den kameraschlitten relevanten Bauelemente weist die Kameraeinheit (100) einen Rahmen (30) auf. Der Kameraschlitten (14) weist eine einspurige Inkrementalscheibe (31), die für die vertikale Kreisbewegung der auf dem Kameraschlitten (14) angeordneten Kamera (18) dient. Ferner ist in Figur 7 der Antrieb (23) für die horizontale Bewegung des Kameraschlittens (14) und der Antrieb (19) für die vertikale Kreisbewegung der Kamera (18) gezeigt. Die beiden Antriebe (19, 23) werden durch elektronisch kommutierende Motoren gebildet. In Figur 8 sind die Inkrementalscheiben (20, 31) der multifunktionalen Kameraeinheit (100) dargestellt. In der linken Bildhälfte ist die Inkrementalscheibe (20) für die horizontale Bewegung eines Kameraschlittens (14, 15, 16, 17) gezeigt, während in der rechten Bildhälfte die Inkrementalscheibe (31) für die vertikale Kreisbewegung einer auf dem Kameraschlitten angeordneten Kamera (18) dargestellt ist.
In der linken Bildhälfte der Figur 8 ist auf der Inkrementalscheibe (20) für die horizontale Bewegung eines Kameraschlittens (14, 15, 16, 17) eine erste Spur (32), auf der sich ein erster Kameraschlitten (14) bewegen kann, angeordnet. Ferner weist die Inkrementalscheibe (20) eine zweite Spur (33) für einen zweiten Kameraschlitten (15), eine dritte Spur (34) für einen dritten Kameraschlitten (16) und eine vierte Spur (35) für einen vierten Kameraschlitten (17) auf. Jede Spur (32, 33, 34, 35) weist einen Initialisierungsbereich (36) auf. Die Spuren sind jeweils zueinander derart versetzt angeordnet, dass Überlappungsbereiche zwischen den Spuren (32, 33, 34, 35) benachbarter Kameraschlitten (14, 15, 16, 17) entstehen. Die zweite Spur (33) ist gegenüber der ersten Spur (32) radial nach innen versetzt angeordnet. Das Gleiche gilt für die dritte Spur (34) im Vergleich zur zweiten Spur (33) sowie für die vierte Spur (35) im Vergleich zur dritten Spur (34).
In der rechten Bildhälfte ist auf der Inkrementalscheibe (31) für die vertikale Kreisbewegung einer auf dem Kameraschlitten angeordneten Kamera (18) ebenfalls eine Spur (37) für die Bewegung dieser angeordnet, die ebenfalls einen Initialisierungsbereich (38) aufweist.
Figur 9 zeigt eine perspektivische Ansicht auf die nach unten gerichteten statischen Kameras (21) der Kameraeinheit (100). In Figur 9 ist insbesondere der der statischen Kamera (21) jeweils zugeordnete Punktprojektor (21a) und die Ringbeleuchtung (21b), vor allem in der - in der rechten Bildhälfte gezeigten - vergrößerten Darstellung, zu sehen. Durch eine entsprechende Ausnehmung in dem Gehäuse (28) oder einer transparenten Ausbildung des Gehäuses (28) können die statischen Kameras (21) nach unten gerichtete Bildaufnahmen erzeugen.
Figur 10 zeigt eine perspektivische Ansicht einer Kombination einer multifunktionalen Kameraeinheit (100) und eines ersten mobilen Trägersystems (1000). Die Kombination weist ebenfalls eine Schnittstelle (200) zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) auf. Ferner umfasst das erste mobile Trägersystem (1000) eine elektronische Last (300). Das erste mobile Trägersystem (1000) wird durch eine Flugdrohne, insbesondere einem Airshark Carrier System, gebildet, das vier seitliche Ausleger (1000a) mit jeweils einem Propeller (1000b) aufweist. Die multifunktionale Kameraeinheit (100) ist in einem zentralen Bereich, nach oben gerichtet, auf dem ersten mobilen Trägersystem (1000) angeordnet.
Bezugszeichenliste
1000 Erstes mobiles Trägersystem
1000a Seitliche Ausleger
1000b Propeller
100 Multifunktionale Kameraeinheit
200 Schnittstelle
300 Elektronische Last
10 Transparente Hülle
11 Statische Zentralkamera
12 Punktprojektor für Zentralkamera
13 Ringbeleuchtung für Zentralkamera
14, 15, IS, 17 Kameraschlitten
18 Kamera auf Kameraschlitten
18a Punktprojektor für Kamera auf Kameraschlitten
18b Ringbeleuchtung für Kamera auf Kameraschlitten
19 Antrieb für die vertikale Kreisbewegung einer Kamera auf
Kameraschlitten
20 Inkrementalscheibe für die horizontale Bewegung eines
Kameraschlittens
21 Statische Kamera
21a Punktprojektor für statische Kamera
21b Ringbeleuchtung für statische Kamera
22 Elektronische Implementierung der Bildverarbeitung und
Kommunikationskanäle
23 Antrieb für die horizontale Bewegung eines Kameraschlittens
24 Arbeitsbereich Erweiterter Arbeitsbereich mit Überlappung
Überlappungsbereich
Schutzring
Gehäuse
Zahnrad
Rahmen
Inkrementalscheibe für die vertikale Kreisbewegung einer auf dem Kameraschlitten angeordneten Kamera
Erste Spur auf Inkrementalscheibe
Zweite Spur auf Inkrementalscheibe
Dritte Spur auf Inkrementalscheibe
Vierte Spur auf Inkrementalscheibe
Initialisierungsbereich
Spur auf Inkrementalscheibe Bildaufnahme
Speicherung der Rohdaten
Bildverarbeitung
Erkennung
Prüfung der Eigenschaften
Klassifizierung
Optisches Tracking
Aktivierung eines Sicherheitsprogramms
Überwachung der Bewegungsgrenzen der Kamera
Mechanisches Tracking
Listen des interessierenden Objektes
Übertragung der Daten an erstes mobiles Trägersystem

Claims

Patentansprüche
Multifunktionale Kanneraeinheit (100) zur Kopplung an einem ersten mobilen Trägersystem (1000), insbesondere einem mobilen Robotersystem, wobei die Kameraeinheit (100) statisch und/oder mobil einsetzbar ist, dadurch gekennzeichnet, dass die Kameraeinheit (100) für eine Erkennung und eine Verfolgung von statischen und dynamischen Objekten ausgebildet ist.
Multifunktionale Kameraeinheit (100) gemäß Anspruch 1, dadurch gekennzeichnet, dass die Kameraeinheit (100) für die Erkennung und die Verfolgung der statischen und dynamischen Objekte mehrere, vorzugsweise zwei, auf einer Kreisbahn beweglich angeordnete Kameraschlitten (14, 15, 16, 17) umfasst, wobei die Kameraschlitten (14, 15, 16, 17) jeweils mindestens eine Kamera (18), mindestens eine Ringbeleuchtung (18b) und mindestens einen Punktprojektor (18a) aufweisen.
Multifunktionale Kameraeinheit (100) gemäß einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Kameraeinheit (100) für die Erkennung und die Verfolgung der statischen und dynamischen Objekte eine statische Zentralkamera (11) mit mindestens einem Punktprojektor (12) und mindestens einer Ringbeleuchtung (13) aufweist.
Multifunktionale Kameraeinheit (100) gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameraeinheit (100) für die Erkennung und Verfolgung der statischen und dynamischen, Objekte mehrere, vorzugsweise vier, statische Kameras (21) mit jeweils mindestens einem Punktprojektor (21a) und mindestens einer Ringbeleuchtung (21b) aufweist.
5. Multifunktionale Kanneraeinheit (100) gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kameraeinheit (100) dazu ausgebildet ist, insbesondere dreidimensionale, Positionsdaten zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) und/oder Positionsdaten zwischen der Kameraeinheit (100) und mindestens einem interessierenden Objekt, insbesondere einem zweiten mobilen Trägersystem, zu bestimmen.
6. Multifunktionale Kameraeinheit (100) gemäß einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Kameraeinheit (100) ein Mittel zur Bildverarbeitung und Berechnung von Positionsdaten zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) und/oder Positionsdaten zwischen der Kameraeinheit (100) und mindestens einem interessierenden Objekt sowie vorzugsweise ein Mittel zur Datenübertragung der berechneten Positionsdaten, insbesondere eine Datenschnittstelle (200), zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) aufweist.
7. Multifunktionale Kameraeinheit (100) gemäß einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass mindestens eine Kamera (18) und mindestens ein Punktprojektor (18a) ein Abstands-Warnsystem ausbilden, wobei das Abstands-Warnsystem zur Bestimmung des jeweiligen Abstandes zwischen der Kamera (18), der multifunktionalen Kameraeinheit (100) und mindestens einem interessierenden Objekt dient.
8. Multifunktionale Kameraeinheit (100) gemäß einem der Ansprüche 2 bis 7, dadurch gekennzeichnet, dass die Kameraschlitten (14, 15, 16, 17) auf einer gemeinsamer Kreisbahn beweglich angeordnet sind, wobei jedem Kameraschlitten (14, 15, 16, 17) ein Arbeitsbereich (24) zugeordnet ist, wobei benachbarte Arbeitsbereiche (24) in einem Überlappungsbereich (26) überlappen und wobei die Kameraeinheit (100) derart ausgebildet ist, dass die Kameraschlitten (14, 15, 16, 17) gegen Kollision gesichert sind.
9. Multifunktionale Kameraeinheit (100) gemäß einem der vorherigen Ansprüche 5 bis 8, dadurch gekennzeichnet, dass die Kameraeinheit (100) zur Bestimmung der Positionsdaten zwischen der Kameraeinheit (100) und dem ersten mobilen Trägersystem (1000) und/oder Positionsdaten zwischen der Kameraeinheit (100) und mindestens einem interessierenden Objekt zur Bestimmung der Positionsdaten der Kameraschlitten (14 15, 16, 17) und der Positionsdaten, insbesondere der Winkelpositionen, der auf den Kameraschlitten (14, 15, 16 17) angeordneten Kameras (18) ausgebildet ist, wobei die Kameraeinheit (100) zur Bestimmung der Positionsdaten der Kameraschlitten (27, 28, 29, 30) und der Positionsdaten, insbesondere der Winkelpositionen, der auf den Kameraschlitten (14, 15, 16, 17) angeordneten Kameras (18) einen Inkrementalgeber, aufweisend einen optischen Sender, eine Inkrementalscheibe (20, 31) und einen Empfänger, aufweist.
10. Verfahren zum Bestimmen von Positionsdaten mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, unter Verwendung einer multifunktionalen Kameraeinheit (100) mit mehreren Kameras (18), wobei die multifunktionale Kameraeinheit (100) an einem ersten mobilen Trägersystem (1000) gekoppelt ist, dadurch gekennzeichnet, dass das Bestimmen von Positionsdaten des mindestens einen interessierenden Objektes, insbesondere des zweiten mobilen Trägersystems, ausschließlich auf von der Kameraeinheit (100) aufgenommenen Daten beruht.
11. Verfahren nach Anspruch 10,
dadurch gekennzeichnet, dass das Verfahren eine Kollisionsprüfung der Kameras (18) der Kameraeinheit (100) umfasst.
12. Verfahren nach einem der Ansprüche 10 oder 11,
dadurch gekennzeichnet, dass das Verfahren eine regelmäßige Abstandsüberwachung der Abstände zwischen den Kameras (18) und/oder eine regelmäßige Abstandsüberwachung des Abstandes zwischen der multifunktionalen Kameraeinheit (100) und dem interessierenden Objekt, insbesondere dem zweiten mobilen Trägersystem, umfasst.
13. Verwendung einer multifunktionalen Kameraeinheit (100) gemäß einem der Ansprüche 1 bis 9 zum Tracking mindestens eines interessierenden Objektes, insbesondere eines zweiten mobilen Trägersystems, gekennzeichnet durch die Schritte des systeminternen Listens (510) des interessierenden Objektes und das Verfolgen des interessierenden Objektes durch mechanisches und softwaretechnisches Tracking (506, 509), wobei das Listen (510) des interessierenden Objektes vorzugsweise ein Anlegen einer internen Erkennungsstatistik umfasst.
14. Verwendung einer multifunktionalen Kameraeinheit (100) gemäß Anspruch 13, dadurch gekennzeichnet, dass eine erste Kamera (18) mit einem ersten Arbeitsbereich (24) das interessierende Objekt trackt und beim Verlassen des ersten Arbeitsbereiches (24) in einen zweiten Arbeitsbereich (24) einer zweiten Kamera (18) eine nahtlose Übergabe des Trackings zu der zweiten Kamera (18) erfolgt.
PCT/EP2016/078485 2015-11-23 2016-11-23 Multifunktionale kameraeinheit zur kopplung an einem ersten mobilen trägersystem WO2017089364A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112016005353.3T DE112016005353A5 (de) 2015-11-23 2016-11-23 Multifunktionale Kameraeinheit zur Kopplung an einem ersten mobilen Trägersystem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015120256 2015-11-23
DE102015120256.5 2015-11-23

Publications (1)

Publication Number Publication Date
WO2017089364A1 true WO2017089364A1 (de) 2017-06-01

Family

ID=57421834

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/078485 WO2017089364A1 (de) 2015-11-23 2016-11-23 Multifunktionale kameraeinheit zur kopplung an einem ersten mobilen trägersystem

Country Status (2)

Country Link
DE (1) DE112016005353A5 (de)
WO (1) WO2017089364A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017119149A1 (de) 2016-09-20 2018-03-22 Mayser Holding Gmbh & Co. Kg Verfahren zur berührungslosen Erfassung relativ zueinander bewegter Objekte und Sensoreinrichtung
EP3448012A1 (de) * 2017-08-25 2019-02-27 Canon Kabushiki Kaisha Bildaufnahmevorrichtung
CN112594144A (zh) * 2020-12-10 2021-04-02 安徽农业大学 一种基于无人机搭载的智能化风电机组桨叶监测探伤机构

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090284596A1 (en) * 2008-05-19 2009-11-19 Camdeor Technology Co., Ltd. Infrared surveillance camera having detachable lighting device rotatable with camera lens
EP2348280A2 (de) * 2010-01-20 2011-07-27 Honeywell International Inc. Systeme und Verfahren zur monokularen Flugobjektserkennung
US20120242795A1 (en) * 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090284596A1 (en) * 2008-05-19 2009-11-19 Camdeor Technology Co., Ltd. Infrared surveillance camera having detachable lighting device rotatable with camera lens
EP2348280A2 (de) * 2010-01-20 2011-07-27 Honeywell International Inc. Systeme und Verfahren zur monokularen Flugobjektserkennung
US20120242795A1 (en) * 2011-03-24 2012-09-27 Paul James Kane Digital 3d camera using periodic illumination

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FLORIAN BÄTHGE: "3D-Objektverfolgung mit Stereokameras zur bildbasierten Navigation autonom fliegender Luftfahrzeuge Bachelorarbeit zur Erlangung des Grades eines Bachelor of Science (B.Sc.) im Studiengang Computervisualistik", 2 April 2012 (2012-04-02), Magdeburg, XP055349571, Retrieved from the Internet <URL:http://studios.tinytall.de/wp-content/uploads/downloads/2012/05/Florian_Baethge_2012_Bachelor_Thesis.pdf> [retrieved on 20170227] *
HANS-ARTHUR MARSISKE: "Die Macht der Drohnen", C'T MAGAZIN, 12 June 2015 (2015-06-12), XP055347234, Retrieved from the Internet <URL:https://www.heise.de/ct/ausgabe/2015-14-Das-Wettruesten-bei-bewaffneten-UAVs-hat-begonnen-2683558.html> [retrieved on 20170217] *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017119149A1 (de) 2016-09-20 2018-03-22 Mayser Holding Gmbh & Co. Kg Verfahren zur berührungslosen Erfassung relativ zueinander bewegter Objekte und Sensoreinrichtung
EP3448012A1 (de) * 2017-08-25 2019-02-27 Canon Kabushiki Kaisha Bildaufnahmevorrichtung
US10659702B2 (en) 2017-08-25 2020-05-19 Canon Kabushiki Kaisha Image capturing apparatus that matches an imaging range with an irridation range
EP3751836A1 (de) * 2017-08-25 2020-12-16 Canon Kabushiki Kaisha Bildaufnahmevorrichtung
CN112594144A (zh) * 2020-12-10 2021-04-02 安徽农业大学 一种基于无人机搭载的智能化风电机组桨叶监测探伤机构

Also Published As

Publication number Publication date
DE112016005353A5 (de) 2018-08-02

Similar Documents

Publication Publication Date Title
EP3430368B1 (de) Flugmobil zum scannen eines objekts und system zur schadensanalyse des objekts
DE112014001058T5 (de) Verfahren und System zur Steuerung autonomer Fahrzeuge
DE102015205032A1 (de) Fahrzeugverbund und Verfahren zum Bilden und Betreiben eines Fahrzeugverbundes
DE112010003000T5 (de) Sichtsystem zum Überwachen von Menschen in dynamischen Umgebungen
DE112013000947T5 (de) System und Verfahren zum Materialtransport mit einem oder mehreren Bildgebungsgeräten am übergebenden Fahrzeug und am übernehmenden Fahrzeug zur Steuerung der Materialverteilung im Laderaum des übernehmenden Fahrzeugs
EP2835973A1 (de) 3D-Kamera und Verfahren zur Erfassung von Dreidimensionalen Bilddaten
EP3876065A1 (de) Verfahren zum bestimmen eines pfades entlang eines objekts, system und verfahren zum automatischen inspizieren eines objekts
DE102011082478A1 (de) Verfahren, System sowie Vorrichtung zur Lokalisation eines Fahrzeugs relativ zu einem vordefinierten Bezugssystem
WO2017089364A1 (de) Multifunktionale kameraeinheit zur kopplung an einem ersten mobilen trägersystem
DE102020203054B4 (de) Verfahren zur Steuerung einer Formation eines zusammenwirkenden Schwarms von unbemannten mobilen Einheiten
DE102017213601A1 (de) Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung
DE112014001069T5 (de) Steuerungssystem und -verfahren zur Steuerung eines Fahrzeugs im Zusammenhang mit der Erkennung eines Hindernisses
EP3098563A2 (de) System und verfahren zur erfassung von bilddaten einer oberfläche eines objekts
EP3663252A1 (de) Verfahren zum betreiben eines autonomen flurförderzeugs und intralogistisches system mit einem autonomen flurförderzeug
WO2020053215A1 (de) System und verfahren zur funkwellenbasierten ortung und koordinatentransformation
EP4116790B1 (de) Steuer- und navigationsvorrichtung für ein autonom bewegtes system und autonom bewegtes system
DE112017008156T5 (de) Bestimmung von objektstandortkoordinaten
EP3482622A1 (de) Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems
EP3676733A1 (de) Verfahren zur raumvermessung mittels eines messfahrzeugs
WO2020002455A1 (de) Mobile vorrichtung zum inventarisieren von lagerbeständen
WO2011157723A1 (de) System und verfahren zur kollisionsvermeidung
DE102015217314A1 (de) Überwachungssystem
DE102019108256A1 (de) Anordnung und Verfahren zur Ermöglichung einer autonomen Landung
DE102018002499A1 (de) Verfahren und Vorrichtung zur Bestimmung der Position von Objekten in einer dreidimensionalen Umgebung
DE102020005763A1 (de) Verfahren zur Steuerung eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16802015

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112016005353

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112016005353

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16802015

Country of ref document: EP

Kind code of ref document: A1