EP4066226A1 - Virtual training using a real operating device - Google Patents
Virtual training using a real operating deviceInfo
- Publication number
- EP4066226A1 EP4066226A1 EP20824446.7A EP20824446A EP4066226A1 EP 4066226 A1 EP4066226 A1 EP 4066226A1 EP 20824446 A EP20824446 A EP 20824446A EP 4066226 A1 EP4066226 A1 EP 4066226A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- operating device
- crew member
- real
- training
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/003—Simulators for teaching or training purposes for military purposes and tactics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/006—Simulators for teaching or training purposes for locating or ranging of objects
Definitions
- the present invention relates to a method for training a crew member of a, in particular military, vehicle in a real training room, a purely virtual environment being generated which contains at least one virtual operating device, the crew member has a head-fixed, in the field of view of the crew member is arranged
- Display device carries and the crew member is shown the purely virtual environment on the display device, as well as a training system for performing such a method.
- the training of crew members of a particularly military vehicle can be used for initial training or for refresher and further serve to memorize already established processes in the operation of the vehicle. It usually takes place in the respective vehicle itself. Either time-consuming and costly practice drives, maneuvers or the actual operating conditions only remotely reproducing and therefore less effective dry exercises are carried out here.
- simulator cabins which completely or partially simulate an individual vehicle type and with which individual training scenarios are more realistic, i.e. H. close to the real use in the real vehicle.
- simulator booths are very expensive, complex to produce and require a lot of space.
- augmented reality Unlike environments of an augmented reality (AR), as they are known for example from DE 102010016 113 A1, in which a recording of the real vehicle interior is partially covered with artificial image information, the pure virtual Surroundings no image information that was recorded by a see-through camera connected to the display device from the real environment in the training room (video see-through).
- the purely virtual environments provide a more consistent and realistic overall impression.
- the virtual environment does not have any differences in graphic quality, as would be the case between virtual parts of the environment and parts of the environment recorded with the see-through camera in an augmented reality.
- real objects in the training room could not be covered by parts of the extended surroundings, which in this respect does not coincide with reality.
- the hand of the crew member which is shown in an extended environment and recorded with the see-through camera, could not, for example, be shown reaching behind a virtual operating device.
- the use of a purely virtual environment also avoids nausea in the crew member, which occurs due to the shifted eye point, ie the position of the see-through camera that does not match the position of the crew member's eyes, especially when the head is moved.
- the crew member can interact and move around with this purely virtual environment using an interaction device such as a mouse, keyboard, gamepad or VR controller. With these interaction devices, the crew member can operate a virtual operating device located in the virtual environment.
- the virtual operating device here is a virtual replica of a vehicle operating device as it is present in the real vehicle.
- Such operating devices can include one or more operating elements, such as switches, buttons, rotary controls, selector levers, pedals, steering wheels, which can be operated separately from one another.
- the purely virtual environment can be easily adapted to the course of a training scenario.
- such a system can be used to carry out training for different vehicle types without ever Vehicle type, a separate system must be purchased, as is the case with simulator cabins.
- the aim of the present invention is therefore to improve the transferability of training in virtual environments to real use.
- this task is achieved by displaying the crew member's hands in the correct position and orientation in the virtual environment, with a real operating device assigned to the virtual operating device in the training room providing haptic feedback when operating the virtual one Control unit there.
- haptic feedback from the real operating device can also be passive feedback, such as a tangible surface or structure that can be perceived by the user using his sense of touch, or a combination of active and passive Be feedbacks.
- active feedback such as vibration or pressure exerted by the operating device
- passive feedback such as a tangible surface or structure that can be perceived by the user using his sense of touch, or a combination of active and passive Be feedbacks.
- interaction devices such as mice, keyboards, gamepads or VR controllers during training.
- the real operating device is located in the training room in the manner of a physical manifestation of the virtual operating device.
- a representation of the hands is in the correct position and position if it correctly reproduces the position and the position of the real hands of the crew member in the training room and also relative to the crew member.
- the position of the hand is the place where the hand is relative to the crew member.
- the position can be specified, for example, using coordinates in a coordinate system.
- the position of the hand corresponds to its orientation in space, i.e. H. that spatial orientation which it assumes in its position.
- the correct positional and positional representation also includes the hand position, for example a clenched fist, a bent hand or a flat outstretched hand with fingers spread or together.
- the positional and correct representation of the hand can also extend to the position and location of individual fingers of the hand, so that a curvature of individual fingers of the hand is also shown in the correct position and orientation.
- the real operating device is arranged in the training room in a relative position and / or position to the crew member which corresponds to the relative position and / or position of the virtual operating device to the crew member in the virtual environment. It has proven to be particularly advantageous if the operating elements of the real operating device and of the virtual operating device are congruent with one another in their relative positions and / or positions. Since the hand of the crew member should interact with the real operating device, which is not visible to the crew member in the virtual environment, high demands must be placed on the precision and accuracy of the position and correct representation of the hand.
- a deviation between the position and position of the hand reproduced in the virtual environment from its actual position and position in the training room can lead to injuries, for example if the crew member wants to operate a virtual control device that is further away from the display of his hand, but against that of his hand closer real operating device comes across.
- the real operating device is positioned, in particular freely, on a carrier plate.
- the real operating device can be easily adapted to the relative position of the virtual operating device in the virtual environment.
- the carrier plate can, for example, simulate a dashboard or an operating panel of the real vehicle for training purposes.
- the carrier plate is located in the training room and / or is part of an inner wall of the training room.
- the real operating device can preferably be aligned in its position on the carrier plate, for example by one or more Several axes can be rotated or tilted. As a result of the alignability, the position of the real operating element can be adapted to the position of the virtual operating device in the virtual environment.
- a free positioning and / or alignment on the carrier plate, in which no positions are predetermined by connection means on the carrier plate side, has proven to be particularly advantageous.
- Such free positioning can take place, for example, via magnets, needles, screws or adhesives on the, in particular, wooden or metallic carrier plate.
- positioning can take place via connection elements, in particular latching, screwing and / or plug-in elements, which interact with connection points, in particular in the manner of grooves, latching, screwing and / or plug-in points, of the carrier plate.
- the carrier plate can in particular be designed in the manner of a grid plate with connection points arranged in a regular pattern.
- the carrier plate can be positioned on an adjustable gooseneck bracket, a magic arm, an articulated arm or a tripod, in its position and location in the training room.
- the real operating device can be fixed in the correct position and / or position in the training room, i. H. fixed in its position and / or location in the training room, but still detachable in the training room.
- the operating device can be positioned using a template. This can specify the position of the control unit on the carrier plate and, if several control units are used, the relative positions of the control units to one another. With the template, the real operating devices can be quickly and easily in the correct positions on the carrier, i.e. the positions of the virtual operating devices. gerplate to be positioned. Vehicle-specific templates can preferably be kept available for each type of vehicle, in particular for each crew position in the vehicle.
- the operating device can advantageously be positioned by means of the virtual environment and a detectable marking of the operating device or an initial measurement, for example with an input device of a VR display system, to which the display device belongs.
- the input device can be designed in the manner of a controller, in particular a VR controller.
- the position of the controller that can be brought into contact with the real operating device can be displayed in order to check the correct position of the real operating device.
- the detection by means of a marking can take place at regular time intervals during the training period in order to allow repositioning.
- the position of the marking can preferably be recorded as a position marking of the operating device by a 3D sensor system in the training room.
- the position of the real operating device in the training room can be determined via this detected position of the position marking and its known relative position and / or relative position relative to the entire real operating device.
- the position of the real operating device can be monitored by means of the position marking and repositioning of the operating device can be recognized, in particular quantitatively recorded, during the training period.
- the virtual environment can be adapted to a changed position of the real operating device, in particular during the course of the training.
- the training can be ended automatically, a warning message output and / or an error message output.
- the position marker can be a marker, in particular a two-dimensional marker, and / or a colored marker.
- the position marking can be provided as a marker and / or as a colored marking in a structurally simple manner.
- the marker can be designed in the manner of a QR code.
- a position marking embodied as a colored marking can be embodied in one color.
- the colored marking can cover the entire real operating device, in particular on all sides, which enables the entire real operating device to be recorded in a simple manner by a 3-D sensor system.
- a real operating device that is simulated on a vehicle operating device of the vehicle is used.
- Operating elements of the real operating device have the same arrangement with respect to one another as in the vehicle operating device.
- Real control elements of the same type e.g. B. switches, buttons, rotary controls, selector levers, pedals or steering wheels, as they can be found in the vehicle control unit, used in the same arrangement.
- the real operating device can advantageously also simulate the surface structure of the vehicle operating device, in particular between the operating elements.
- the real operating device cannot have any functional display elements such as lamps, measuring instruments or displays. These cannot be perceived by the crew member in the virtual environment, but can be replaced by corresponding virtual display elements or representations in the virtual environment.
- the virtual operator panel can convert a virtual display element grasp without the real operating device having a real display element.
- the real operating device can have electrically and / or mechanically functional operating element, such as can also be used in particular in a vehicle operating device. These functional real operating elements can be of the same manufacturer as the operating elements of the vehicle operating device or more cost-effective makes of the same type.
- the functionality of the operating elements in the real operating device can be limited to mechanical operability.
- these real operating elements cannot be incorporated into a circuit, so that when an operating element of the real operating device is operated, for example, no electrical signal is generated.
- the real operating device can also be roughly manufactured and / or visually not very appealing, since the crew member only perceives the virtual operating device visually.
- the real operating device does not have a circuit.
- the manufacture of the real control unit can be simplified.
- the operating device can have mechanical functions such as those provided by a vehicle operating device.
- the mechanical function can be an actuation function that changes an actuation position of the actuation element, and / or an adaptation function to the crew member.
- An actuation function can be, for example, the ability to flip a switch, the ability to press a button or a pedal, the ability to rotate a rotary control or a steering wheel, or the adjustability of a selector lever.
- An adaptation function can, for example, be the adaptation of the length and / or the angle of a steering wheel column to the structure of the crew member.
- a purely haptic dummy is preferably used as a real operating device.
- Such a purely haptic dummy can have a replica of a functional control element as a real control element, such as the replica of a switch, a button, a rotary control, a selector lever, a pedal or a steering wheel.
- This real operating element can easily give the crew member haptic feedback about his position.
- the real operating device, as a purely haptic dummy can preferably be mechanically functionless, ie it does not provide any further mechanical functions, in particular it cannot be actuated.
- a mechanically functionless, haptic dummy gives a passive haptic feedback.
- Such a mechanically functionless dummy can be produced in a particularly simple manner. In this context, a production of the haptic dummy from malleable plastics, in particular a thermally hardening polymer modeling compound or a polymer clay, in the manner of a dummy of a vehicle operating device has proven advantageous.
- an actuation of the real operating device is detected.
- the detection of the actuation of a real operating device, in particular a real operating element, can further improve the realism of the training.
- the further course of the training can be determined, in particular with regard to the effects of the detected actuation on the virtual environment.
- the correct and precise operation of a complex operable control device which for example includes a rotary control with several control levels or a stepless control range, can be trained more realistically.
- a change in the real operating device is detected in order to detect the actuation.
- the change in the real operating device can be achieved by monitoring the actuation position of the real operator panel.
- a sensor in the control unit can detect a change in the actuation position of a control element, such as turning a steering wheel, flipping a switch or pressing a button.
- the acquisition can take place by means located outside the operating device.
- At least one electrical signal is generated by the real operating device by actuating the real operating device.
- An electrical signal can be generated in a simple manner by operating the real operating device.
- the electrical signal can be generated in a particularly simple manner by closing an electrical circuit, for example by actuating an electrically functional, real operating element.
- the electrical cal signal can contain information about the assumed actuating position, in particular of actuating elements with more than two actuating positions. Several electrical signals can be generated at the same time from a real control unit with several control elements.
- the operating device can advantageously have touch-sensitive elements such as touch displays or membrane buttons.
- touch-sensitive elements such as touch displays or membrane buttons.
- actuation of the real operating device can be recognized.
- an actuating touch on the touch-sensitive element can be recognized in a spatially resolved manner.
- vehicle operating devices with touch-sensitive actuation elements, such as touch displays can be simulated in a cost-saving manner.
- the electrical signal is advantageously transmitted to a server in a wired and / or wireless manner.
- the server can be connected to several operating devices. Additional operating devices can be easily connected to the server to expand a training system. the.
- the server can process the electrical signal of the control unit itself and / or transmit it to a training computer. Depending on the electrical signals, the server can change the virtual environment directly or via the training computer.
- the actuating device preferably has its own power supply, in particular a capacitive power supply.
- the actuation of the real operating device is detected using gesture recognition.
- gesture recognition A structurally simpler structure can be achieved by using gesture recognition.
- the hand gestures carried out by actuating the real operating device can be recognized and processed.
- the gesture recognition takes place advantageously on the server or the training computer, in particular in the manner of a subroutine or an independent program. Circuit-free operating devices can be used to save costs.
- the virtual environment is preferably changed, in particular to adapt to the state of the real operating device.
- the change can be an update of the illustrated virtual operating device, which reproduces the actuation of the real operating device.
- a virtual operating element can be adapted to an operating position of an assigned real operating element that has been changed by the actuation. For example, after a real switch has been flipped, the assigned virtual switch can also be displayed as flipped.
- a virtual display element in particular a display element only present in the virtual environment and not in the training room, can be changed.
- the change in the virtual display element can, for example, light up or flash a lamp, the changed display of a measuring instrument, such as a moving speedometer needle or a changed one Be displayed on a virtual display.
- the change in the virtual environment can be the triggering of a virtual action, such as a firing of a weapon or a change in the virtual movement of the virtual vehicle.
- the position and the location of the hands of the crew member in an action area of the crew member is detected with a 3D sensor system.
- the 3D sensor system can be directed at the action area of the crew member, i. H. the action area is located in the center of the recording area of the 3D sensor system.
- the crew member's action area is the area of the training room which extends from the real operating device in the direction of the crew member and in which the crew member's hands move to operate the operating device. Due to the orientation towards the area of action of the crew member, the hands can be reliably detected when the operating device is operated.
- the position and the location of the unmarked hands of the crew member in an area of action of the crew member is preferably recorded. There is no need to put markings or markers on the hands of the crew member.
- An over-the-shoulder view of the crew member's area of action by the 3D sensor system has proven to be particularly advantageous. With an over-the-shoulder view, the 3-D sensor system is in the crew member's initial position at the beginning of the training behind the crew member, in particular offset to the left or right relative to the crew member's head, and above his shoulders in the training room. In a preferred manner, the 3D sensor system looks over the shoulder of the crew member obliquely downwards on the action area.
- a concealment problem, in which the hands of the crew member, for example by the arms of the crew member, are covered for the 3D sensor system, can largely be avoided by the oblique downward over-shoulder view of the 3D sensor system.
- the 3D sensor system can be fixed in its position and / or location in the training room.
- the sampling rate of the 3D sensor system can match the frame rate of the display device, in particular this can be 90 fps.
- the training system and in particular the 3D sensor system preferably has a low latency, preferably below 200 ms, more preferably below 100 ms and particularly preferably below 10 ms. In this context, a latency in the range from 5 ms to 10 ms has proven to be advantageous. Latency describes the delay between a change in the training room, in particular a change in the position and / or location of the hand, and its detection and visual display.
- the training system and in particular the 3D sensor system is preferably as free of delay as possible, that is to say with low latency, in order to enable intuitive operation. With a high latency, the representation in the virtual environment would lag behind the real conditions in the training room considerably, which can only be achieved through very slow and unrealistic movement sequences or an active comparison of the actual borrowed could be compensated by the crew member with the illustrated hand movement.
- hand gestures can be recorded in a simple manner and recognized via gesture recognition for recording the actuation of the real operating device.
- the hand gestures can advantageously be the same hand gestures as are carried out when the vehicle control unit is actuated in the real vehicle.
- the 3-D sensor system can alternatively or additionally be used as a means, which is located outside the operating device, for detecting the change in the real operating device.
- the 3D sensor system detects the hands of the crew member with a depth camera and / or a color camera.
- the 3D sensor system can be designed as a 3D camera system.
- the depth camera can be a stereo-optical camera with two partial cameras offset from one another.
- the depth information about the position and location of the hand results from the difference between the images recorded by the two sub-cameras, analogous to the human visual apparatus.
- the depth camera can be a time-of-flight camera.
- the depth information about the position and location of the hand is obtained using the transit time method, in which the time between the emission of a light pulse and the impact of the pulse reflected by the hand on a light sensor of the camera is measured.
- the time-of-flight camera can have a transmission module for transmitting a light pulse and a receiving module for receiving the reflected light pulse.
- the depth camera can be a sample camera which works according to the projection method.
- the sample camera can have a transmission module, which projects different geometric patterns into the training room with a time offset in the manner of a sample projector, and a reception module, in particular a partial camera.
- the receiving module can record the geometric patterns projected into the training room, which, however, are distorted by the objects located in the training room, such as the hand of the crew member and the training room itself. Depth information can be obtained from these recorded distortions, which are different for each pattern.
- a colored picture of the hands can be taken with the color camera. In particular, the hands can be recognized and recorded in the colored image on the basis of their color and / or the contrast to the background.
- a combination of depth camera and color camera allows color values to be assigned to each pixel of the image from the depth camera that is provided with depth information.
- the 3D sensor systems can be connected to one another, in particular via a radio connection or a cable connection, such as a sync cable.
- the 3D sensor systems can be synchronized with one another so that they can be triggered at the same time or offset in time for the measurement, in particular via the connection between them.
- the 3D sensor systems are calibrated to each other so that a point in the training room is recognized by all 3D sensor systems as being in the same position and there is no different detection of the position and position of the hands between the 3D sensor systems.
- the coordinate systems of the individual 3D sensor systems are me calibrated to a common coordinate reference system. The calibration takes place in particular in such a way that the calibrated 3D sensor systems have a common coordinate origin.
- the 3D sensor systems can be directed from different positions in the training room to the area of action of the crew member.
- individual 3D sensor systems can look at the action area from the side, from below, directly from above or from other oblique angles, such as obliquely below. Due to the different viewing angles of the 3D sensor systems, covering the hands can be avoided even more reliably, since the hands can be captured simultaneously by several 3D sensor systems from different viewing angles. Covering parts of the hand by the hand itself, for example covering the fingertips with the back of the hand, can also be avoided by the different viewing angles of the 3D sensor systems.
- the position of individual points in the action area of the crew member in the training room is measured relative to the 3D sensor system.
- the depth information of the entire action area can be recorded in a simple manner.
- To measure the position of a point in particular its distance and its solid angle relative to the 3D sensor system can be determined.
- the measurement of the position of individual points can advantageously take place by means of the 3D sensor system in the manner of a time-of-flight camera.
- the points to be measured can be marked points on the hands and / or the real operating element, which are marked, for example, with markers or in color.
- the points can also be specified by a regular or irregular scanning pattern of the 3D sensor system.
- the regular scanning pattern can correspond to the arrangement of the image points of the 3D sensor system. chen. In this way, the position of each pixel of the depth camera in the training room can be determined. Specifying the points using a regular or irregular scanning pattern of the 3D sensor system can offer the advantage that other objects can also be detected. In addition to the crew member's hands, these other objects can be used to operate the real operating device. These other objects can, for example, be the elbows of the crew member or artificial objects such as a pen or a touch pen. By measuring, detecting and displaying these other objects, the operating device can also be operated intentionally or unintentionally by the crew member by means of these other objects. In this way, the realism of the training can be increased. During the training, accidental actuation, for example by bumping into a cramped vehicle interior, can be reproduced realistically.
- the position of the hands is measured in relation to the 3D sensor system.
- the measurement of the position of the hands offers greater precision and accuracy than is possible with a method based purely on the interpretation of image information.
- the position and location of individual fingers of the hand can be precisely recorded.
- Individual features of the crew member's hands such as the exact hand size, the length of the fingers or the absence of individual finger links, can be recorded by measuring several points on the hand, taken into account and displayed accordingly in the virtual environment.
- the position of the crew member's body in addition to the hands, is measured in relation to the 3-D sensor system.
- the position of the crew member's body is measured in relation to the 3-D sensor system.
- the measured positions are preferably combined into point cloud data and displayed as a point cloud in the virtual environment.
- the point cloud data contain the position information of the measured points.
- the individual points of the point cloud data can be stored in a format containing color and position information.
- this format can, for example, contain the distance to this 3D sensor system and the color values for red, green and blue or the color values for yellow, magenta, cyan.
- the format can contain the coordinates of the respective point based on a coordinate reference system, especially when using several 3D sensor systems, as well as the color values for red, green and blue or the color values for yellow, magenta, cyan.
- the point cloud data can be passed on in a simple manner to a rendering system generating the virtual environment, in particular the server or the training computer, for display.
- a rendering system generating the virtual environment, in particular the server or the training computer
- By displaying the point cloud data as a point cloud a more error-tolerant display of the real environment and in particular of the hands in the virtual environment can be achieved than is possible with a display with a more computationally intensive, closed polygon mesh that includes the point cloud data would.
- An error-prone conversion of the point cloud data into a polygon mesh or into a reshaping of a stored closed polygon mesh can be dispensed with.
- the point cloud shown in the virtual environment can enable the crew member to visually perceive his hand in the virtual environment without seeing it directly.
- point cloud data which also contain color information, can be used to display the hand as a colored point cloud, in particular in real colors.
- the representation as point wool makes it possible to dispense with computationally intensive modeling of a replica of the crew member's hand, in particular in the manner of a graphic figure, simplified hand geometry, an avatar of the entire crew member or part of such an avatar, in a time-saving and computing power-saving manner.
- the fact that the crew member quickly gets used to the representation of his hand in the form of a point cloud does not reduce the realism of the training.
- the point cloud can occupy a virtual volume in the virtual environment, which corresponds to the location, position, size and / or shape of the hand of the crew member in the action area. In this way, the crew member can perceive his own hand in the correct position, position, size, shape and / or color in the virtual environment.
- the points of the point cloud can be represented as virtual objects of finite expansion, in particular as 2D disks, 3D ellipsoids or 3D spheres.
- the points located on the surface of the point cloud can form a closed or partially closed surface of the point cloud due to their finite extent. For education On a closed or partially closed surface, individual points can adjoin one another or overlap.
- the individual measured points and the points of the point cloud can be arranged in an irregular pattern. Nevertheless, the individual measured points and the points of the point cloud can be arranged in a regular pattern.
- the points of the point cloud corresponding to the real operating device are covered by the virtual operating device.
- the points of the point cloud corresponding to the real operating device are those points whose point cloud data can be traced back to measurements of points on the real operating device. Since the points of the point cloud corresponding to the real operating device are covered, the crew member does not become irritated because they cannot see the virtual operating device and the points of the point cloud corresponding to the real operating device at the same time.
- the concealment can advantageously take place by means of a display of the virtual operating device with dimensions that are slightly larger than those of the vehicle operating device.
- the slightly larger dimensions can preferably be in a size range imperceptible to the crew member, in particular below the millimeter range and / or in the range of individual pixels of the display device.
- the point cloud data are filtered, in particular with regard to the points corresponding to the real operating device.
- the filtering is preferably carried out before the point cloud is displayed.
- the point cloud data can be displayed as a point cloud in the virtual environment, except for the points that have been filtered out, or only the points that have been filtered out. the.
- a display of points in the virtual environment which are not visible to the crew member can be avoided in a computationally efficient manner.
- a segregation area of the action area in the manner of a no-draw volume can preferably be defined in the server, the training computer or the rendering system. Points corresponding to this scrap area can be filtered out.
- the points of the point cloud data corresponding to this separation area are advantageously not displayed.
- the real operating device in particular, can belong to this segregation area.
- each point in the point cloud data can be checked to see whether it corresponds to a point from this rejection area.
- the definition can advantageously take place after and / or during a previous calibration of the positions of the operating device.
- a marking on the real operating device is advantageously recognized and points in the virtual environment assigned to the real operating device are not displayed.
- points corresponding to the real control device can be easily recognized.
- the marking can advantageously be a flat and / or monochrome marking. Particularly in the case of a single-colored marking, a particularly simple and fast filtering of point cloud data based on the color information of the individual points can ensue.
- the disposal area is defined relative to a recognizable marker of the real operating device.
- a recognizable marker an in particular volumetric separation area can be defined in a simple manner relative to the position and / or location of the marker in the action area.
- the disposal area is defined by means of a colored marking of the real operating device.
- the colored marking can in particular be recognized by means of a color camera.
- the real operating device can be coated flat and monochrome with a previously defined color or made from a material of a defined color. All points of the point cloud data which have a color value corresponding to this color can be recognized in a simple manner as belonging to this segregation area.
- a deep learning method is used to detect the position and the location of the crew member's hands.
- an artificial neural network is trained to independently recognize hands in images through repeated attempts to recognize hands.
- the deep learning process can increase the recognition accuracy of hands during ongoing training.
- the deep learning process can easily be extended to the recognition of the rest of the body of the crew member.
- only those points of the point cloud data recognized by the deep learning method and corresponding to the hands and / or body of the crew member are further used, in particular for displaying in the virtual environment and / or for recognizing an actuation of the operating device.
- image areas are recognized with the crew member's hands in 2D images, in particular the color camera.
- the hands can be recognized by analyzing differences in 2D images following one another over time. After recognition, the image areas containing the hands can be marked in the 2D images for further processing.
- corresponding points of the point cloud data are assigned to the image areas with the crew member's hands. By assigning the points to the point cloud data, the position and location of the hands can be easily determined. In the virtual environment, these points of the point cloud data can be displayed without the crew member being irritated by other points measured and displayed in the action area.
- An intrinsic calibration of the 3D sensor system in which the image points of the depth camera are assigned to the image points of the 2D camera, in particular the color camera, preferably takes place before the assignment of the image areas.
- An extrinsic calibration of the 3D sensor system, in which the depth camera is calibrated with regard to its spatial position and orientation, in particular to a coordinate reference system, in the training room is also advantageously carried out before the assignment of the image areas.
- a background image of the training room and the control unit is created.
- the training room can otherwise be empty except for the operating device (s), in particular neither the crew member nor any other person is in the training room during the recording.
- This one-time created background depth recording can be used to subtract the background in the manner of a “background subtraction” method. In this way, points in space are recognized that lie in front of this background depth recording. This makes it easy to identify the crew member, their hands and anything that has changed since the background depth view was taken. What lies in front of the background depth recording is determined within a tolerance threshold, which is selected to be sufficiently large to reliably filter potentially noisy sensor data.
- the depth information functions together with the color information that form the point cloud data, a display can be achieved without the irritation caused by the display of points on the control unit.
- the resulting reduction in point cloud data is particularly advantageous. Only the points that have changed compared to the background depth survey are processed, transferred and displayed.
- At least one signal transmitter is used as an active signal transmitter for determining the position of the display device in the training room.
- the position of the display device in the training room can be determined in a simple manner by the signal transmitter.
- the signal transmitter can emit position signals which can be picked up by the display device for determining the position.
- the position signals can be designed in the manner of scanning pulses which the signal transmitter emits into the training room. These sampling pulses are preferably synchronized with the display device, in particular with regard to a common time. By means of the time difference between the transmission of the position signal by the signal transmitter and the reception of the position signal by the display device, the position of the display device relative to the signal transmitter can be determined.
- the signal generator can scan the training room with position signals that follow one another in time.
- the position of the display device can be determined with the signal transmitter.
- the display device can include sensors, in particular a gyroscope and / or an acceleration sensor. The sensor values of these sensors can be used together with the position signal to determine the position of the display device.
- the active signal transmitter is preferably arranged in a fixed position in the training room.
- the signal transmitter can be a laser source, in particular a multi-axis 120-degree laser source.
- the laser source can emit the signal in a spatially focused manner, which means that a high level of precision can be achieved when determining the position.
- a passive signal transmitter can provide position signals in the manner of a passive position detection system for determining the position of the display device.
- the passive signal transmitter can, for example, comprise one or more position cameras, the position recordings of which are forwarded as position signals for position determination by means of image recognition or are processed by the signal transmitter.
- the position signals can be used to infer the position and location of the display device in the training room by means of image recognition, for example via an optical marking of the display device.
- the passive signal transmitter can be arranged in a fixed position in the training room and / or on the display device or can be integrated into the display device.
- the passive signal transmitter can detect the display device in the training room, in particular in a position recording.
- the passive signal transmitter can also detect a VR controller of the VR display system. Alternatively, the passive signal transmitter can detect the training room from the position of the display device.
- the coordinate system of the VR display system can be defined as a coordinate system that is fixed in particular to the training room and has an unambiguous coordinate origin.
- the display device can include sensors for determining the position in the training room, in particular a gyroscope and / or acceleration sensors.
- a plurality of signal transmitters are preferably used to determine the position of the display device. With a plurality of signal transmitters, increased precision can be achieved when determining the position of the display device in the training room.
- the signal transmitters are advantageously spaced apart from one another at different positions arranged in the training room.
- the signal generator (s) and the 3D sensor system or the 3D sensor systems are preferably calibrated with one another. The calibration can take place in such a way that a coordinate system of the signal generator and the coordinate system of the 3D sensor system are calibrated to a common coordinate reference system. In this way it can be ensured that a point in the training room is recognized both relative to the signal transmitter and relative to the 3D sensor system as being at the same position in the training room.
- the 3D sensor system and the VR display system which includes the display device and / or the signal generator, are advantageously calibrated to one another in such a way that they cover the training room essentially congruently, i.e. H. a point in space in the training room is recognized by the VR display system and the 3-D sensor system as being at the same position.
- the positioning of the real operating device in the training room can be done interactively via the virtual representation of the vehicle interior in the virtual environment together with the superimposed, in particular unfiltered, representation of measurement points as a point cloud in the virtual environment.
- the operating device can have no markings, ie it can have no detectable markings.
- the virtual representation of the operating device can be visually perceived via the display device and the real operating device can be moved manually to the position at which it is congruent with the operating device of the virtual representation.
- the real operating device can be easily positioned and / or fixed bar, in particular via magnets, needles, screws or adhesives or via connecting elements, such as latching, screwing and / or plugging elements, which have connection points, in particular after Type of grooves, latching, screwing and / or plug-in points, interaction.
- One special simple and quick specification of a virtual representation in particular a CAD model of a vehicle interior, can be physically correctly mapped.
- a virtual operating device is preferably shown for positioning at the detected position of the real operating device in the virtual environment.
- the representation of the virtual operating device can be designed as a virtual model of the operating device, as a virtual model of the vehicle operating device or as a point cloud with several points representing the position and the outline of the real operating device.
- the position of the virtual operating device preferably corresponds to the position of the real operating device in the training room.
- the position of the real operating device presented in the virtual environment is brought into congruence with a default position displayed in the virtual environment.
- the real operating device can be brought to a position in the training room which corresponds to the virtual default position, so that the representation of the detected position of the real operating device in the virtual environment matches the default position.
- the real operating device can also be brought into a corresponding default position.
- Another embodiment according to the invention provides that the spatial restrictions of the vehicle interior are simulated via positionable obstacle elements.
- the realism of the training for the crew member can be increased even further.
- the crew member can in this way realistically perceive the restrictions of the vehicle interior of the real vehicle for which he is being trained.
- the crew member can be exposed to the same restrictions in his freedom of movement in accordance with the spatial restrictions in the vehicle interior as the crew member would also be exposed to in real operational situations in real driving. would be stuff.
- the ability to position the obstacle elements can enable the training room to be easily adapted to different vehicle types and / or crew positions on which the crew member is to be trained.
- the obstacle elements can be designed as plate-shaped elements. Such plate-shaped elements can enable a high degree of flexibility when simulating the vehicle interior of different vehicle types and / or different crew positions. At the same time, the obstacle elements can have a more complex shape and / or surface texture, with which the vehicle interior can be reproduced more faithfully.
- the obstacle elements can in particular be designed in the manner of wall elements.
- Wall elements can be designed to stand independently in the training room.
- the individual obstacle elements can be positioned in the training room on adjustable gooseneck brackets, magic arms, articulated arms or tripods, adjustable in their position and location.
- the positioning of the obstacle elements is preferably carried out in the same way as the positioning of the real operating devices.
- the obstacle elements can also be positioned on one or more carrier plates, as described above for the real operating devices.
- the obstacle element can advantageously be positioned by means of the virtual environment and a detectable marking of the obstacle element or an initial measurement, for example with an input device of a VR display system to which the display device belongs.
- the input device can be designed in the manner of a controller, in particular a VR controller.
- the position of the controller that can be brought into contact with the obstacle element can be shown to check the correct position of the obstacle element.
- the detection by means of a marking can take place at regular time intervals during the training period in order to allow repositioning.
- the position and location of the individual obstacle elements in the training room can be recorded by markings applied to them, in particular during the training period and / or at regular time intervals. These can be of an optical type and / or can be detected using the same detection principle as the hands and / or the real operating elements. Furthermore, the position and location of an obstacle element can be recorded by a measurement using a controller of the VR system.
- the obstacle element can be used for training with a visually matching, ie the vehicle interior reproducing representation in the virtual environment, in particular with calibrated 3D sensor systems and VR display systems.
- a visually matching ie the vehicle interior reproducing representation in the virtual environment, in particular with calibrated 3D sensor systems and VR display systems.
- an obstacle element made of gray foam can look like a shiny corrugated iron in the virtual environment. This is particularly advantageous if a vehicle interior is not given immediately before.
- the positioning of the real obstacle element in the training room can be done interactively via the virtual representation of the vehicle interior in the virtual environment together with the displayed, in particular unfiltered, representation of measurement points as a point cloud in the virtual environment.
- the obstacle element can be unmarked, i. H. have no detectable markings.
- the virtual representation of the vehicle interior can be visually perceived via the display device and the real obstacle element can be moved manually to the position at which it is congruent with the desired part of the virtual representation of the vehicle interior.
- the obstacle element can be easily positioned and / or fixed, in particular via magnets, needles, screws or adhesives or via connection elements, such as latching, screw and / or plug-in elements, which with connection points, in particular after Type of grooves, latching, screwing and / or plug-in points, interaction.
- a specification of a virtual representation, in particular a CAD model, of a vehicle interior can be physically and correctly simulated particularly easily and quickly.
- the above-mentioned task is achieved in a training system for carrying out the method described above by a real operating device for achieving haptic feedback and a sensor for recognizing the hands of the crew member.
- This training system has the advantages described above in connection with the method.
- the sensor used to detect the crew member's hands can be a 3-D sensor system, a radar sensor, an acoustic sensor, or some other type of sensor.
- the operating device can have a base plate on which real operating elements are arranged in an arrangement corresponding to the virtual operating device.
- the arrangement of individual controls on the base plate can be done, for example, using magnets, needles, screws or glue on the base plate.
- the base plate can preferably be a wooden or metallic plate.
- the controls can be attached to the arrangement in a simple manner, for example by screwing.
- the operating elements can be fastened to a metallic base plate, for example magnetically.
- the controls can be freely arranged on the base plate.
- connection elements in particular latching, screwing and / or plugging elements, which interact with connection points, in particular in the manner of grooves, latching, screwing and / or plugging points, of the base plate.
- the base plate can be designed in particular in the manner of a grid plate with connection points arranged in a regular pattern.
- the base plate can, together with one or more control elements attached to it, for example a control panel or a dashboard, simulate the real vehicle as a real control device in the training room.
- the operating device can advantageously be a steering wheel construction.
- a steering wheel construction can have both the actual steering wheel and a steering wheel column.
- the steering wheel construction can have an exchangeable steering wheel attachment.
- the steering wheel construction can be easily adapted to the vehicle type to be simulated by exchanging the steering wheel attachment.
- the steering wheel attachment can be produced by a 3D printing process.
- a 3D-printed steering wheel attachment can enable the steering wheel construction to be adapted quickly.
- the training system has several operating devices and / or obstacle elements in the manner of a construction kit for simulating the interior of a vehicle of different vehicle types.
- the training system can be designed to be highly modular by being designed in the manner of a building block.
- the training system can enable training for different vehicle types and / or different crew positions by selecting and positioning the operating devices and / or obstacle elements.
- the operating devices and / or obstacle elements can be positioned and aligned in the training room in accordance with the planned training. It can be provided here that not all operating devices and / or obstacle elements of the training system are used to simulate the vehicle interior of each vehicle type. In contrast to the known simulation booth, a quick and flexible adaptation to different training situations can be made possible.
- the operating devices and / or the obstacle elements are made of easy-to-work materials, in particular styrofoam, wood or plastic.
- Materials that are easy to process can enable quick adaptation to different vehicle interiors of different vehicle types.
- Real operating devices made of materials that are easier to process can be adapted in a particularly simple manner.
- the control devices can be manufactured quickly and without special machines, for example by manual processing or CNC milling.
- the real operating devices can be made entirely from easily machined materials.
- the real operating elements can have a basic structure made from the easily machined materials, in particular a special base plate, onto which real operating elements can be fastened.
- the fact that it is made from easy-to-process materials means that the real operating elements can be attached particularly quickly and easily.
- the operating devices and / or obstacle elements can combine several materials. In this way, different surface structures can be achieved to achieve a realistic haptics of the real operating device, which better reproduces the haptics of the real vehicle operating device, for example by a combination of flexible and hard materials.
- the real operating devices and / or the obstacle elements are designed as 3D printed pieces.
- 3D printed pieces can be produced in a particularly simple and fast manner using a 3D printing process.
- 3D printed pieces allow the training system to be adapted very flexibly to a planned training situation.
- operating devices for training can be produced, depending on the requirements, by means of 3D printed pieces.
- the obstacle elements can also be produced to replicate the interior of a given vehicle type according to specific requirements. the. More complex shapes of the vehicle interior can only be produced in a labor-saving manner when they are required for training.
- the 3D printed pieces can have areas with different haptic impressions, for example smooth, rough, soft, hard or flexible.
- Real operating devices manufactured as 3D printed parts can be manufactured with functional moving parts. There is no need to assemble after 3D printing.
- the real operating device can already be manufactured during 3D printing with components that interact mechanically with one another, such as a transmission with toothed wheels or switches, levers or buttons that can be moved in receptacles.
- Fig. 1 is a schematic representation of a training room from a
- 5a-d show the actuation of the real operating device and the adaptation of a virtual operating device
- 6a, b show a hand and a point cloud representation of the hand
- Fig. 1 shows a training room 200 with a crew member 100 located therein, who is to be trained in the operation of a real vehicle and in particular its vehicle operating devices.
- the training room 200 is located outside the real vehicle and can in particular be accommodated in a building of a training center.
- the crew member 100 can be trained in this way without the real vehicle itself having to be used for this purpose.
- the crew member 100 wears a display device 4, which is designed in the manner of VR glasses.
- This display device 4 is fixed to the head and is arranged in the field of view of the crew member 100, so that the crew member 100 can be shown a purely virtual environment 2 via the display device 4.
- the virtual environment 2 also contains further representations of things that are not actually in the training room 200 existing objects and items.
- the crew member 100 can thus find himself in an armored turret 2.1, for example.
- the virtual environment 2 has different dimensions than the training room 200.
- the virtual environment 2 of the armored tower 2.1 shown in FIG. 1 is larger than the training room 200, the dimensions of the virtual environment 2 can also be smaller than the training room 200.
- other objects such as a weapon 2.2 of the armored turret 2.1, can also be represented in this virtual environment 2.
- real operating devices 5 are arranged in the training room 200, which give the crew member 100 haptic feedback when operating the virtual operating device 3.
- the real operating devices 5 are arranged in the training room 200 in such a way that their position and location relative to the crew member 100 correspond to the position and location of the virtual operating device 3 relative to the crew member 100 in the virtual environment 2.
- the real operating device 5 is thus located in the training room 200 at the same position as the virtual operating device 3, which is shown to the crew member 100 in the virtual environment 2. Since the crew member 100 only perceives the virtual environment 2 visually via the display device 4, the haptic feedback of the real operating device 5 assigned to the virtual operating device 3 enables the crew member 100 to feel this virtual operating device 3 by touch.
- the crew member 100 extends his hand 101 to operate the virtual operating device 3 displayed to him in the virtual environment 2 and comes into contact with the real operating device 5, which is in the same position and location as the virtual operating device 3 relative to the crew member 100 is arranged.
- two signal transmitters 18 are arranged in the training room 200.
- this signal generator 18 the position and location of the display device 4 and thus also the position and location of the crew member
- the stationary signal generators 18 send position signals into the training room 200, which signals are received by the display device 4.
- the display device 4 and the signal transmitter 18 are synchronized with one another in such a way that the distance between the respective signal transmitters 18 and the display device 4 is determined from the received time difference between the transmission of the position signals from one of the signal transmitters 18 and the reception of that position signal by the display device 4 can.
- a triangulation of the position of the display device 4 in the training room 200 is then carried out using the known distances between the stationary signal transmitters 18 and the display device 4.
- the display device 4 also has sensors (not shown in the figure), in particular position sensors, with which the position of the display device 4 in the training room 200 can also be determined. In this way, a tilting or tilting of the display device 4, which corresponds to a corresponding tilting or tilting of the head of the crew member 100, can be detected and taken into account when the virtual environment 2 is displayed on the display device 4.
- the sensors are 3D sensor systems 7, which are designed in particular as 3D camera systems.
- sensors other than the 3D sensor systems 7 shown here can also be used for hand recognition.
- the 3D sensor system 7 can therefore also be replaced by other sensors suitable for hand recognition.
- the action area 201 of the crew member 100 in the training room 200 is monitored with the 3-D sensor system 7.
- the action area 201 is the space within the training room 200 extending from the real operating device 5 in the direction of the crew member 100. In this action area 201, the hands 101 of the crew member 100 move to operate the real operating devices 5.
- one of the 3D sensor systems 7 is behind the crew member 100 to the side and offset upwards in the training room
- This 3-D sensor system 7 throws an over-shoulder view of the action area 201 so that, if possible, covering or shading of the hands 101 in the action area 201 can be avoided. Even if the crew member 100 puts his hands 101 far into the area of action to operate the real operating device 5
- this over-the-shoulder view enables a largely undisturbed detection of the hands 101 of the crew member 100 within the limits of the sensor area 7.1, without the hands 101, for example, being covered by the arms of the crew member 100.
- a further 3D sensor system 7 is arranged in the training room 200. This is arranged below the real operating device 5 and from the crew member 100 to the side ver, so that it looks obliquely from below at the action area 201.
- Such an arrangement of the 3D sensor systems 7 has the advantage that even if the hands 101 in the action area 201 are covered or shaded from the point of view of one of the 3D sensor systems 7, the position of the hands 101 is nonetheless caused by the other 3D sensor system 7 can be recorded.
- 3D sensor systems 7 can also be arranged in the training room 200, which increases the likelihood of the hands 101 being covered from all 3D sensor systems 7 can be further reduced and the reliability of the detection of the position and location of the hands 101 is further increased.
- obstacle elements 19 that can be positioned are also arranged in the training room 200.
- obstacle elements 19 that can be positioned are also arranged in the training room 200.
- FIG. 1 For the sake of clarity, only one obstacle element 19 is shown in FIG. 1, with further obstacle elements 19 also being able to be arranged in the training room 200.
- this obstacle element 19 the spatial restrictions of the vehicle interior of a real vehicle can be reproduced. During the training, these spatial restrictions coincide with the spatial conditions as they are in the virtual environment 2 and the crew member 100 via the display device 4 is Darge. If the crew member 100 moves within the training room 2 in such a way that this leads to a collision with other elements in the Vehicle interior or the vehicle wall would result, a corresponding feedback is given to the occupation member 100 by the obstacle element 19.
- the obstacle element 19 which is in the same position relative to the crew member 100 in the training room 200 as a corresponding virtual obstacle 2.3 -
- a penetration of such a virtual obstacle realistically prevented is part of the inner wall of the armored turret 2.1 - located in the virtual environment 2, a penetration of such a virtual obstacle realistically prevented.
- training system 1 can be set up in different training rooms 200. In this way, for example, a room otherwise used as an office can be converted into a training room 200 for virtual training.
- the individual components of the training system 1 can be set up differently in the training room 200 depending on the type of vehicle to be simulated, and the training room 200 can in this way be flexibly adapted to a training to be carried out.
- the training system 1 also includes further elements that are not used in the training shown, such as further real operating devices 5 or obstacle elements 19, which have a different shape than the obstacle element 19 shown in FIG. 1.
- the training system 1 is designed in the manner of a modular system, with which the vehicle interior of different vehicle types can be modeled depending on training.
- a vehicle control device 300 is shown as it is installed in a vehicle and for its operation the crew member 100 with by means of the training system 1 is to be trained.
- this vehicle operating device 300 is used to control and display vehicle functions and vehicle states, for example to control the vehicle lighting or a weapon, to display the readiness for use of a weapon or to operate a radio device.
- the vehicle operating device 300 has at least one vehicle operating element 301, via which the crew member 100 can make a corresponding operating input by operating the vehicle operating element 301 and thus by operating the vehicle operating device 300.
- vehicle operating device 300 a total of six vehicle operating elements 301 of a total of three different types are seen before.
- These vehicle controls 301 are, on the one hand, three toggle switches 301a arranged next to one another, of which the right toggle switch 301a is shown in a lower and the other two toggle switches 301a are shown in an upper toggle position.
- a rotary control 301b which can be brought into different rotary positions, is arranged below this. So that the crew member 100 in the vehicle can recognize this rotary position of the rotary control 301b, the rotary control 301b is provided with an arrow, which enables the crew member 100 to visually perceive the rotary position of the rotary control 301b at a first glance.
- a button 301c is arranged, which can be actuated by the crew member 100 by pressing.
- a key switch 301d is arranged under the rotary control 301b and the button 301c.
- a key 301e is inserted for actuation, which is shown already inserted in FIG. 2a.
- a twist lock of the key switch 301 d is released by the key 301 e, so that the crew member 100 can actuate the key switch 301 d by turning the key 301 e.
- the illustrated vehicle operating device 300 has a plurality of vehicle display elements 302 which are designed in the manner of lamps.
- the individual vehicle display elements 302 can display different functional positions of the vehicle operating elements 301 and / or serve to display different vehicle states or states of devices installed in the vehicle, such as radios or a weapon system.
- the surface 303 of the vehicle operating device 300 extending between the vehicle operating elements 301 and the vehicle display elements 302 can have further displays, such as fixed scales for the rotary control 301b or lettering.
- the surface 303 is characterized by its structure and texture, which the crew member 100 he can touch and thus allows a practical perception of the vehicle control device 300 and also depending on the structure of the surface 303, ie its surface course in three-dimensional space, a Operation of the vehicle operating device 300 can facilitate.
- the surface 303 can have areas not shown in FIG. 2a, for example, on which the crew member 100 can support his hand 101 for more precise operation of the vehicle operating device 300.
- the vehicle operating device 300 shown in FIG. 2a represents only an exemplary example. Depending on the vehicle type and occupation position, other vehicle operating devices 300 with dimensions that differ from this, differently arranged vehicle operating elements 301 and vehicle display elements 302 or with different or further vehicle operating elements 301 and vehicle display elements 302, also of a different type, may be provided.
- the vehicle operating device 300 can also be a steering wheel or a pedal.
- a real operating device 5 is shown in FIG. 2b, as it is used according to the invention for training the crew member 100. This real one Operator control device 5 is modeled on the vehicle operator control device 300 shown in FIG. 2a, the relative position of the real operator control elements 5.1 corresponding in particular to that of the vehicle operator control elements 301.
- the real operating device 5 has a total of six real operating elements 5.1.
- the real operating device 5 Arranged under these toggle switches 5.1a, the real operating device 5 has a rotary control 5.1b, which can be brought into different positions by turning. In contrast to the rotary control 301b, this rotary control 5.1b is more simply equipped and, for example, does not have the arrow of the rotary control 301b. In addition to the rotary control 5.1b, a key 5.1c is arranged in the same position relative to the other real operating elements 5.1 as the key 301c relative to the vehicle operating elements 301. In the lower area, the real operating device 5 has a rotary switch 5.1 d, which moves to the position of the key switch 301b of the vehicle operating element 301.
- the complicated key switch 301 d of the vehicle operating device 300 which requires a key 301 e, can be simulated in a simpler manner.
- the rotary switch 5.1 d here has a handle 5.1e firmly connected to it, which takes the place of the key 301 e for actuation.
- the real operating device 5 has no display elements. Providing such display elements in the real operating device 5 is not necessary for the method according to the invention, since the crew member 100 only perceives the purely virtual environment 2 through the display device 4 and thus could not perceive any display devices present on the real operating device 5.
- the real operating device 5 also has a marker 14 attached to it as a marker, which is designed here in the manner of a QR code.
- the real operating device 5 can be recognized via this marker 14 when the method is being carried out. Due to the two-dimensional design of the marker 14, it can also enable the position and location of the real operating device 5 in the training room 200 to be determined.
- the position marking can take place via a colored marking of the real operating device 5, which can be recognized by the 3D sensor system 7.
- the real operating device 5 is coated two-dimensionally and one color with a previously defined color or is made of material of the defined color. In the simplest embodiment of the real operating device 5, this only has a planar surface 21, which is not modeled on the surface 303 of the vehicle operating device 300. This enables a structurally simple simulation of the vehicle operating device 300, in which only the relative position of the operating elements 5.1, which is primarily relevant for the training method, is reproduced according to those vehicle operating elements 301 that are simulated by the virtual operating devices 3.
- the real operating elements 5.1 and thus the entire real operating device 5 can give the crew member 100 haptic feedback that corresponds to the feedback that the crew member 100 would experience when the vehicle operating elements 301 were actuated in the real vehicle.
- the real operating device 5 can also simulate further features of the vehicle operating device 300, in particular its surface 303, as will be described in more detail below in connection with FIG. 3.
- this has connection elements 6 which, in the exemplary embodiment shown, are designed in the manner of perforated tabs. For example, a screw connection with which the real operating device 5 can be arranged in the training room 200 can be established via these connection elements 6.
- the real operating device 5 has a toggle switch 5.1a and a rotary control 5.1b.
- These two real operating elements are fastened on a base plate 20, which can be a wooden or metal plate, for example, and which enables the real operating elements 5.1 to be fastened easily.
- the real operating elements are not electrically connected here, so that they only give the crew member 100 haptic feedback.
- the individual operating elements 5.1 can either be operated mechanically, for example, they can be functional 3D displays. Prints in the manner of a purely haptic dummy or electrical functional control elements that are simply not integrated into any circuit.
- the real operating elements 5.1 can also be rigid replicas of the vehicle operating elements 301, which cannot be mechanically changed in their position and provide the crew member 100 as a purely haptic dummy with passive haptic feedback only with regard to the position and location of the real one Control element 5.1 supplies.
- Such a real operating device 5, which is also mechanically non-functional, does not allow any feedback during training with regard to an actuation position of the virtual operating element 3.1 of the virtual operating device 3 shown to the crew member 100.
- connection elements 6 are formed in the manner of plug-in pins, which can be plugged into correspondingly configured connection points in the training room 200 in order to be able to position the real operating device 5 freely.
- FIG. 3b A more complex real operating device 5 is shown in FIG. 3b.
- This also has connection elements 6 which can be used to fasten a base plate 20 in the training room 200.
- this real operating device 5 also has real operating elements 5.1, which are, on the one hand, a toggle switch 5.1a and a button 5.1c.
- these real operating elements 5.1 are not only mechanically, but also electrically functional.
- an electrical signal is generated by the real operating device 5 shown in FIG. 3b when one of the real operating elements 5.1 is actuated.
- the real operating elements 5.1 are integrated into a circuit via circuit tracks 26. These become real from a power supply 23 Control elements 5.1 supplied with energy.
- a circuit By actuating the real operating element 5.1, for example by flipping the toggle switch 5.1a, a circuit can be closed and an electrical signal can be generated. In the exemplary embodiment shown, this would be, for example, closing the circuit between the energy supply 23 and a microcontroller 25 via the toggle switch 5.1a.
- the individual electrical signals of the real operating elements 5.1 can converge and be processed in the microcontroller 25.
- the signals are then transmitted to a WLAN module 24, which enables data to be transmitted from the real operating device 5 to a server or training computer (not shown here). In this way, the change in the real operating device 5 is recorded via the electrical signal and used to influence the virtual environment 2.
- 3b shows a wireless implementation, although a wired implementation of the real operating device 5 is also possible, in which both the energy supply and the data transmission are not via the energy supply 23 and the WLAN module 24, shown here as a capacitive element, but rather takes place via a cable leading into the real operating device 5.
- the real operating device 5 of FIG. 3 b has a surface 21 which is modeled on the surface of the virtual operating device 3. Since the virtual operating device 3 itself is in turn modeled on the vehicle operating device 300, the surface 21 of the real operating device 5 thus also represents a replication of the surface 303 of the vehicle operating device 300.
- the surface 21 can provide the crew member 100 with a realistic overlay for his hand 101 when actuating the individual operating elements 5.1 of the real operating device 5 as well as providing a haptic which corresponds to that of the vehicle operating device 300. speaks.
- the surface 21 can be reproduced in particular with regard to its roughness, smoothness, strength and other structure of that surface 303 of the vehicle control device 300.
- the real operating device 5 shown both in FIG. 3a and in FIG. 3b can be made of easy-to-process materia lien, in particular plastic.
- the real operating device 5 shown in FIG. 3b can be produced by means of a 3D printing process without the need for subsequent assembly. With this 3D printing process, the electrical circuits can be inserted into the 3D printed part from the outset while it is being printed out.
- the real operating elements 5.1 can be printed out in a 3D printed part with mechanically interacting and interlocking moving parts without the need for subsequent assembly.
- the carrier plate 12 can be a simple wooden plate onto which a real operating device 5, as shown in FIG. 2b, can be screwed via tab-shaped connecting elements 6.
- the real operating device can be freely positioned on the carrier plate 12, which in turn can be freely positioned in the training room 200.
- the design of the carrier plate 12, as it is shown in Fig. 4, also has attachment points 12.1. These connection points 12.1 are arranged in a regular pattern on the carrier plate 12. In these connection points 12.1, connection elements 6 of the real operating devices 5 can intervene for fastening and thus for positioning in the training room 200. As shown in FIGS.
- connection elements 6 and the connection points 12.1 are designed in such a way that they work together in the manner of a plug-in connection. ken. Nevertheless, they can also be designed to work together in the manner of latching connections, clamping connections or groove guides.
- FIG. 5 shows the actuation of the real operating device 5 and the adaptation of the virtual operating device 3 to it.
- the structure of the real operating device 5 shown in FIG. 5 corresponds to that of the real operating device 5 shown in FIG. 2b.
- the middle toggle switch 5.1a of the real operating device 5 is in its upper tilted position in FIG. 5a.
- the crew member 100 does not see the real operating device 5 via the display device 4, but rather the virtual operating device 3 shown in FIG. 5b.
- This virtual operating device 3 is a virtual replica of the vehicle operating device 300 shown in FIG. 2a.
- this virtual operating device 3 also has virtual display elements 3.2, which are shown as types of lamps.
- the operating positions of the virtual operating elements 3.1 correspond to those operating positions of the real operating device 5.
- the crew member 100 now wants to operate the virtual operating device 3 during the training, he extends his hand 101 until it comes into contact with the real operating device 5.
- the real operating device 5 gives the crew member 100 haptic feedback, so that he can feel the virtual operating device 3, which does not actually exist, in his perception.
- the real operating device 5 is actuated by moving the middle toggle switch 5.1a from its upper tilted position to a lower tilted position, as shown in FIG. 5c. This actuation of the real operating device 5 initially only leads to a change in the real operating device 5, without this being visually displayed to the crew member 100 via the display device 4.
- the actuation of the real operating device 5 is recorded. This can either not be about one here gesture recognition shown, in which the hand movement of the crew member 100 is followed in the characteristic movement for the respective actuation rule and is recognized as a corresponding actuation of the real Be operating device.
- the actuation of the real operating device 5 can be detected by detecting the change in the real operating device 5. This can be done, for example, as described in connection with FIG. 3b, by means of an electrical signal which is generated when the real operating device 5 is actuated.
- the detected actuation of the real operating device 5, which lies in the change of the tilt position of the toggle switch 5.1a from FIG. 5a to FIG. 5c, is processed by a server or training computer, not shown here.
- the virtual environment 2 is then changed as a function of the detected actuation. This change corresponds in FIG. 5d to the adaptation of the virtual operating element 3.1 to the changed actuation position of the real operating element 5.1a, so that the virtual operating element 3.1 shown as a central toggle switch is now also shown in a lower tilted position.
- FIG. 6 shows a possible detection of the location and position of the hand 101 of the crew member 100.
- 6a shows the hand 101 of the crew member 100, which is located within the limits of the sensor area 7.1 of the 3D sensor system 7.
- the 3D sensor system 7 measures the position of a large number of individual points on the hand 101.
- the points to be measured individually are shown as points in the virtual environment 2, as shown in FIG. 6b 13.1 of a point cloud 13 is shown.
- the individual points 13.1 in FIG. 6b are arranged in an irregular pattern, the points 13.1 and the measurement points corresponding to them on the hand 101 of the crew member 100 can also be arranged in a regular pattern.
- the point cloud 13 shown in the virtual environment 2 enables the crew member 100 to visually perceive his hand 101 in the virtual environment 2 without seeing it directly.
- a virtual model of the operating device 5 for displaying the position of the real operating device 5 in the virtual environment 2 can be dispensed with. With the measured points, the recorded position of the real operating device 5 can be displayed directly in the virtual environment 2.
- the entire action area 201 can be recorded with the 3D sensor system 7, so that in addition to the measurement points corresponding to the real operating device 5, further measurement points are also recorded.
- the point cloud data 13.2 are therefore subjected to filtering in order to detect the position of the real operating device 5 and are subdivided into those points which can be assigned to the real operating device 5 and those points which can be assigned to other objects in the action area 201 or which cannot be assigned to any object .
- the assignment of the points to the real operating device 5 can take place, for example, by recognizing the mark 14 shown in FIG. 2b. Starting from the marker 14, the dimensions and / or the relative positions of the real operating device 5 or a position area in the action area 201 can be defined, which is the real Control device 5 includes. All points 13 in this position area can be assigned to the real operating device 5.
- a position area can be defined via a colored marking of the real operating device 5, which can be recognized by a color camera 9 of the 3D sensor system 7.
- the real operating device 5 is coated flat and monochrome with a previously defined color or made of material of a defined color.
- all points of the point cloud data 13.2 which have a color value corresponding to this color can then be recognized as belonging to this position area.
- the points 13 located in this position area thus belong to the real operating device 5 and can be displayed as such in the virtual environment 2 and / or used to determine the position of the real operating device 5 in the training room 200.
- FIGS. 7a and 7b Two possible embodiments of the 3D sensor system 7 and the determination of the position of the hand 101 with this is shown in FIGS. 7a and 7b.
- the 3D sensor systems 7 shown not only can the position and location of the hand 101 of the crew member 100 be recorded, but they are also more suitable for detecting other objects in the action area 201, such as his arms 102 or the entire body or the real operating device 5 to be recorded. The position and location of the real operating device 5 can also be recorded.
- the 3-D sensor system 7 shown in FIG. 7 a comprises a color camera 9, which is arranged between two partial cameras 8.1 of a stereo-optical depth camera 8.
- the color camera 9 can capture a two-dimensional color image within the limits of the sensor area 7.1.
- a respective color value can be assigned to the points 13.1 of the point cloud 13 which corresponds to that color value of the corresponding points in the training room 200.
- the distance A between the hand 101 and the 3D sensor system 7 can be measured with the two partial cameras 8.1 of the stereo-optical depth camera 8.
- each of the partial cameras 8.1 simultaneously records an independent image of the hand 101. Since the hand 101 in the training room 200 from the two partial cameras
- the distance A of individual points can te on the hand 101 and thus also the entire hand 101 can be determined by triangulation.
- a further 3D sensor system 7 is shown, which also has a color camera 9, which fulfills the same function as the color camera 9 shown in Fig. 7a.
- the 3 D sensor system 7 shown in FIG. 7b has a depth camera 8 in the manner of a time-of-flight camera with a transmission module 8.2 and a reception module 8.3.
- the distance A between the hand 101 and the 3D sensor system 7 is not determined via a triangulation with several recordings, but rather via the transit time of a light pulse 10.
- the transmission module 8.2 emits this light pulse 10 which is thrown back by the hand 101 as a reflected pulse 11 and hits a light sensor 8.4 of the receiving module 8.3.
- the light pulse 10 emitted by the transmission module 8.2 can be emitted as a wide-ranging pulse, which in particular lies between the limits of the sensor area
- the light pulse 10 can be a focused pulse, which the transmission module
- the transmission module 8.2 and the reception module 8.3 are synchronized with one another in such a way that the time between emitting of the light pulse 10 can be precisely determined by the transmitter module 8.2 and the detection of the reflected pulse 11 by the light sensor 8.4 of the receiver module 8.3.
- the distance A can be determined from this time difference and the known propagation speed of the light pulse 10 and the reflected pulse 11.
- short light pulses 10 in the range of a few nanoseconds and below are used, which are preferably in the infrared range.
- FIG. 8 shows the training room 200 with two 3D sensor systems 7 arranged therein.
- Each of the 3D sensor systems 7 has its own coordinate system B1, B2 in which the position of a spatial point P measured by the respective 3D sensor system 7 is determined.
- a coordinate reference system B0 to which the 3D sensor systems 7 are to be calibrated, is also shown in the training room 200.
- This coordinate reference system B0 can be a coordinate system of a third 3D sensor system 7 or, for example, a coordinate system assigned to the display device 4.
- An individual spatial point P located in the training room 200 will be referred to in each of the coordinate systems B1, B2 and the coordinates.
- Reference system BO assigned its own different coordinates.
- the spatial point P in the coordinate system B1 carries the Cartesian coordinates xi, yi and zi
- the coordinate system B2 the Cartesian coordinates X2, y2 and Z2
- the coordinate reference system BO the Cartesian coordinates xo, yo, zo. So that this individual spatial point P is assigned the same coordinates by all 3D sensor systems 7 for the further process, a calibration K to the coordinate reference system BO takes place.
- the positions and locations of the 3D sensor systems 7 and thus their respective coordinate systems B1 and B2 are determined relative to the coordinate reference system BO.
- a transformation function in particular in the form of a transformation matrix, is then determined for each of the coordinate systems B1, B2 from these relative positions and positions and applied to these coordinate systems B1, B2.
- the two 3D sensor systems 7 assign the corresponding Cartesian coordinates xo, yo, zo to the spatial point P, which correspond to the position of the spatial point P based on the coordinate reference system BO.
- a Cartesian coordinate system was described immediately, such a calibration can also be carried out in a different coordinate system, such as a spherical coordinate system or a cylindrical coordinate system.
- FIG. 9 various method sequences according to the invention are shown, from the detection of the hand 101 of the crew member 100 to its representation in the virtual environment 2.
- the hand 101 lying within the limits of the sensor area 7.1 as well as the arm 102 and the real operating device 5 are measured with regard to their positions in the training room 200 with the 3-D sensor system 7.
- the positions of individual points are measured by the 3D sensor system 7 for this purpose.
- the positions of these measured points are combined to form point cloud data 13.2.
- the individual points 13.1 of this point cloud data 13.2 are not shown in more detail, but only the outer contours of the point cloud 13 resulting from the point cloud data 13.2 are shown in dashed lines.
- the point cloud 13 with all points 13.1 in the virtual environment 2 can be displayed in a first, simple display method. Since the points 13.1 of the point cloud data 13.2 corresponding to the real operating device 5 can irritate the crew member 100, since these points 13.1 corresponding to the real operating device 5 would overlap with the virtual operating device 3, the virtual operating device 3 is In this representation variant, it is designed in such a way that it covers the points 13.1 of the point cloud 13 that correspond to the real operating device 5. For this purpose, the dimensions of the virtual operating device 3 are slightly larger than the real operating device 5 assigned to it. This is indicated in the process sequence of this representation variant shown on the left in FIG. 9 by a broader line of the virtual operating device 3.
- the point cloud data 13.2 is first filtered F.
- filtering F is first carried out with regard to measured points corresponding to the real operating device 5.
- the point cloud data 13.2 are subdivided into point cloud data of points 15, which can be assigned to the real operating device 5, and those points 16 which can be assigned to the hand 101 and arm 102 of the crew member 100.
- the assignment of the points 15 to the real operating device 5 can be done here, for example, by recognizing the The marker 14 provided, relative to which a discarding area is defined in the action area 201 and which includes the real operating device 5.
- a discarding area can be defined by means of a colored marking of the real operating device 5, which can be recognized by the color camera 9.
- the real operating device 5 is coated flat and monochrome with a previously defined color or made from material of a defined color.
- all points of the point cloud data 13.2 which have a color value corresponding to this color can then be recognized as belonging to this segregation area.
- This separation area can be designed in the manner of a no-draw volume, which indicates that all points 15 of the point cloud data 13.2 assigned to the measurement points located in this area should not be displayed in the virtual environment 2.
- both the position and location of the hands 101 and the arms 102 of the crew member 100 are recorded by means of a deep learning method 17.
- the deep learning method 17 allows self-learning and self-enhancing method of recognizing the hands 101 of the crew member 100 in an image.
- the 2D image of the color camera 9 is used here, in which the deep learning method 17 is used Recognizes image areas which contain the hands 101 of the crew member 100. Using these image areas in the 2D image, a mask 22 is created which encloses the corresponding image areas with the hands 101 of the crew member 100.
- the point cloud data 13.2 are filtered with regard to the points corresponding to the hands 101 of the crew member 100. Those points 16 of the point cloud data 13.2 which each correspond to a point located within the mask 22 are assigned to the hand 101. In this display method, only these points 16 of the point cloud data 13.2 assigned to the hands 101 are displayed as point cloud 13 in the virtual environment 2.
- FIG. 10 the calibration of a 3D sensor system 7 and a Signalge transmitter 18 is shown on top of one another.
- the calibration method of the 3D sensor system 7 and the signal transmitter 18 on one another is essentially analogous to the calibration of several 3D sensor systems 7, as described above in connection with FIG. 8.
- 10a shows the alignment of the training room 200 and the real operating devices 5 arranged therein, the 3D sensor system 7, the crew member 100 and the display device 4 worn on the head by the crew member 100 in the coordinate system B3 of the signal generator 18.
- FIG. 10b the same training room 200 is shown with the real operating devices 5, the crew member 100 and the signal transmitter 18, but based on the coordinate system B1 of the 3D sensor system 7.
- the coordinate systems B1 and B3 have to be calibrated to one another in such a way that one and the same point in the training room 200 is recognized by the 3D sensor system 7 and is recognized by the signal generator 18 as lying at the same position and location.
- a calibration to a coordinate reference system B0 also takes place, as already described in connection with FIG.
- the coordinate reference system B0 can be a fixed coordinate system in the training room 200, as shown in FIG. 10c, and / or this can coincide with one of the coordinate systems B1 or B3.
- the calibration effort can be reduced because, for example, if the coordinate reference system B0 matches the coordinate system B1 of the 3D sensor system 7, calibration of the 3D sensor system 7 to this coordinate reference system B0 would be dispensed with and only the signal transmitter 18 and whose coordinate system B3 would have to be calibrated to the coordinate reference system B0.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Entrepreneurship & Innovation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
The invention relates to a method for training a crew member (100) of a vehicle, in particular a military vehicle, in a real training room (200), wherein a purely virtual environment (2) is generated which contains at least one virtual operating device (3); the crew member (100) wears a display device (4) which is secured to the head and is arranged in the visual field of the crew member (100), and the purely virtual environment (2) is displayed to the crew member (100) on the display device (4). The hands (101) of the crew member (100) are displayed in the virtual environment (2) in the correct position, and a real operating device (5), which is assigned to the virtual operating device (3), in the training room (200) provides a haptic feedback during the operation of the virtual operating device (3).
Description
Virtuelles Training mit einem realen Bediengerät Virtual training with a real operator panel
Die vorliegende Erfindung befasst sich mit einem Verfahren zum Training eines Besatzungsmitglieds eines, insbesondere militärischen, Fahrzeugs in einem realen Trainingsraum, wobei eine rein virtuelle Umgebung erzeugt wird, welche mindestens ein virtuelles Bediengerät enthält, das Besat zungsmitglied eine kopffeste, im Sichtfeld des Besatzungsmitglieds ange ordnete Anzeigevorrichtung trägt und dem Besatzungsmitglied die rein vir tuelle Umgebung auf der Anzeigevorrichtung dargestellt wird, sowie einem Trainingssystem zur Durchführung eines solchen Verfahrens. The present invention relates to a method for training a crew member of a, in particular military, vehicle in a real training room, a purely virtual environment being generated which contains at least one virtual operating device, the crew member has a head-fixed, in the field of view of the crew member is arranged Display device carries and the crew member is shown the purely virtual environment on the display device, as well as a training system for performing such a method.
Das Training von Besatzungsmitgliedern eines insbesondere militärischen Fahrzeugs, kann zur initialen Erstausbildung oder zur Auffrischung und wei-
teren Einprägung bereits ausgebildeter Abläufe bei der Bedienung des Fahr zeugs dienen. Sie erfolgt zumeist in dem jeweiligen Fahrzeug selbst. Hier zu werden entweder aufwendige und kostspielige Übungsfahrten, Manöver oder die tatsächlichen Einsatzbedingungen nur entfernt wiedergebende und daher weniger effektive Trockenübungen durchgeführt. The training of crew members of a particularly military vehicle can be used for initial training or for refresher and further serve to memorize already established processes in the operation of the vehicle. It usually takes place in the respective vehicle itself. Either time-consuming and costly practice drives, maneuvers or the actual operating conditions only remotely reproducing and therefore less effective dry exercises are carried out here.
Eine Alternative hierzu bildet der Einsatz von Simulator-Kabinen, welche einen einzelnen Fahrzeugtyp ganz oder teilweise real nachbilden und mit denen einzelne Trainingsszenarien realitätsgetreuer, d. h. nahe an dem realen Einsatz im realen Fahrzeug, durgeführt werden können. Derartige Simulator-Kabinen sind jedoch sehr kostspielig, aufwendig in der Produktion und benötigen viel Platz. Zudem kann es erforderlich sein, dass für jede Besatzungsposition im realen Fahrzeug, wie Kommandant, Fahrer oder Richtschütze, eine eigene Simulator-Kabinen angeschafft werden muss. An alternative to this is the use of simulator cabins, which completely or partially simulate an individual vehicle type and with which individual training scenarios are more realistic, i.e. H. close to the real use in the real vehicle. However, such simulator booths are very expensive, complex to produce and require a lot of space. In addition, it may be necessary to purchase a separate simulator cabin for each crew position in the real vehicle, such as the commander, driver or gunner.
In den letzten Jahren halten daher vermehrt Trainingskonzepte unter Ein satz virtueller Realitäten (VR, Virtual Reality) Einzug. Bei diesen Trainings konzepten findet das Training des Besatzungsmitglieds in einem, verglichen mit dem Inneren einer Simulator-Kabine, einfach strukturierten realen Trainingsraum statt. Diese Trainingskonzepte lassen sich beispielsweise auch in einfachen Büro- oder Kasernenräumen umsetzen. Hierbei trägt das Besatzungsmitglied eine kopffeste, im Sichtfeld des Besatzungsmitglieds angeordnete Anzeigevorrichtung, wie beispielsweise eine kommerziell er hältliche VR-Brille. Eine rein virtuelle Umgebung, welche das Fahrzeug und die Fahrzeugumgebung nachbildet, wird auf dieser Anzeigevorrichtung dar gestellt. In recent years, therefore, training concepts using virtual realities (VR) have increasingly been introduced. In these training concepts, the crew member is trained in a real training room that is simply structured compared to the interior of a simulator cabin. These training concepts can also be implemented in simple office or barracks rooms, for example. Here, the crew member wears a head-mounted display device arranged in the crew member's field of vision, such as, for example, commercially available VR glasses. A purely virtual environment, which simulates the vehicle and the vehicle environment, is presented on this display device.
Anders als Umgebungen einer erweiterten Realität (AR, Augmented Reali ty), wie sie beispielsweise aus der DE 102010016 113 A1 bekannt sind, in welcher eine Aufnahme des realen Fahrzeuginneren teilweise mit künstli chen Bildinformationen überdeckt wird, enthalten die reinen virtuellen
Umgebungen keine Bildinformationen, welche durch eine mit der Anzeige vorrichtung verbundenen see-through-Kamera von der realen Umgebung im Trainingsraum aufgenommen wurden (Video-see-through). Die rein virtuel len Umgebungen liefern hierbei einen konsistenteren und realistischeren Gesamteindruck. So weist die virtuelle Umgebung keine Unterschiede in der graphischen Qualität auf, wie dies zwischen virtuellen und mit der see- through-Kamera aufgenommenen Teilen der Umgebung einer erweiterten Realität der Fall wäre. Auch könnte es in einer erweiterten Realität nicht zu einer Verdeckung realer Objekte im Trainingsraum durch Teile der er weiterten Umgebung kommen, was sich insoweit nicht mit der Realität deckt. Die in einer erweiterten Umgebung dargestellte und mit der see- through-Kamera aufgenommene Hand des Besatzungsmitglieds könnte bei spielsweise nicht hinter ein virtuelles Bediengerät greifend dargestellt wer den. Durch den Einsatz einer rein virtuellen Umgebung wird zudem eine Übelkeit bei dem Besatzungsmitglied vermieden, welche sich aufgrund des verschobenen Augpunkts, d. h. der nicht mit der Position der Augen des Besatzungsmitglieds übereinstimmenden Position der see-through-Kamera, insbesondere bei Kopfbewegungen einstellt. Unlike environments of an augmented reality (AR), as they are known for example from DE 102010016 113 A1, in which a recording of the real vehicle interior is partially covered with artificial image information, the pure virtual Surroundings no image information that was recorded by a see-through camera connected to the display device from the real environment in the training room (video see-through). The purely virtual environments provide a more consistent and realistic overall impression. The virtual environment does not have any differences in graphic quality, as would be the case between virtual parts of the environment and parts of the environment recorded with the see-through camera in an augmented reality. Also, in an augmented reality, real objects in the training room could not be covered by parts of the extended surroundings, which in this respect does not coincide with reality. The hand of the crew member, which is shown in an extended environment and recorded with the see-through camera, could not, for example, be shown reaching behind a virtual operating device. The use of a purely virtual environment also avoids nausea in the crew member, which occurs due to the shifted eye point, ie the position of the see-through camera that does not match the position of the crew member's eyes, especially when the head is moved.
Mit dieser rein virtuellen Umgebung kann das Besatzungsmitglied mittels eines Interaktionsgeräts, wie einer Maus, einer Tastatur, eines Gamepads oder eines VR-Controllers, interagieren und sich bewegen. Mit diesen Inter aktionsgeräten kann das Besatzungsmitglied ein in der virtuellen Umgebung befindliches virtuelles Bediengerät bedienen. Das virtuelle Bediengerät ist hierbei eine virtuelle Nachbildung eines Fahrzeug-Bediengeräts, wie es in dem realen Fahrzeug vorhanden ist. Solche Bediengeräte können ein oder mehrere Bedienelemente, wie Schalter, Tasten, Drehregler, Wählhebel, Pedale, Lenkräder umfassen, welche getrennt voneinander bedienbar sind. Die rein virtuelle Umgebung kann einfach an den Ablauf eines Trainings szenarios angepasst werden. Zudem lassen sich mit einem derartigen Sys tem Trainings für verschiedene Fahrzeugtypen durchführen, ohne dass je
Fahrzeugtyp ein gesondertes System angeschafft werden muss, wie dies bei Simulator-Kabinen der Fall ist. The crew member can interact and move around with this purely virtual environment using an interaction device such as a mouse, keyboard, gamepad or VR controller. With these interaction devices, the crew member can operate a virtual operating device located in the virtual environment. The virtual operating device here is a virtual replica of a vehicle operating device as it is present in the real vehicle. Such operating devices can include one or more operating elements, such as switches, buttons, rotary controls, selector levers, pedals, steering wheels, which can be operated separately from one another. The purely virtual environment can be easily adapted to the course of a training scenario. In addition, such a system can be used to carry out training for different vehicle types without ever Vehicle type, a separate system must be purchased, as is the case with simulator cabins.
Nachteilig an den bisherigen Trainingskonzepten unter Einsatz virtueller Realitäten ist es, dass mit den Interaktionsgeräten Bewegungsabläufe ein trainiert werden, welche von den für die Bedienung des realen Fahrzeugs und dessen Fahrzeug-Bediengeräten erforderlichen Bewegungsabläufen ab weichen. So werden bei derartigen Trainingskonzepten beispielsweise Kipp schalter des virtuellen Bediengeräts durch Anvisieren mit dem VR-Con- troller und Betätigen einer entsprechenden Taste auf dem VR-Controller betätigt, während die Fahrzeug- Bediengeräte des realen Fahrzeugs ein An heben oder Herunterdrücken des entsprechenden Kipp-Schalters mit einem Finger erfordern. Dies führt zu einem Bruch der Übertragbarkeit des Trai nings auf den realen Einsatz. The disadvantage of previous training concepts using virtual realities is that the interaction devices are used to train movement sequences which differ from the movement sequences required for operating the real vehicle and its vehicle operating devices. In such training concepts, for example, toggle switches of the virtual control device are actuated by aiming at the VR controller and pressing a corresponding button on the VR controller, while the vehicle control devices of the real vehicle raise or lower the corresponding toggle switch require with a finger. This leads to a break in the transferability of the training to real use.
Die A u f g a b e der vorliegenden Erfindung liegt daher darin, die Über tragbarkeit des Trainings in virtuellen Umgebungen auf den realen Einsatz zu verbessern. The aim of the present invention is therefore to improve the transferability of training in virtual environments to real use.
Diese Aufgabe wird bei einer Vorrichtung der eingangs genannten Art da durch g e l ö s t , dass die Hände des Besatzungsmitglieds positions- und lagerichtig in der virtuellen Umgebung dargestellt werden, wobei ein dem virtuellen Bediengerät zugeordnetes reales Bediengerät im Trainingsraum ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts gibt. In a device of the type mentioned at the outset, this task is achieved by displaying the crew member's hands in the correct position and orientation in the virtual environment, with a real operating device assigned to the virtual operating device in the training room providing haptic feedback when operating the virtual one Control unit there.
Durch die positions- und lagerichtige Darstellung der Hände in der virtuel len Umgebung und das haptische Feedback durch das dem virtuellen Be diengerät zugeordnete reale Bediengerät kann das Besatzungsmitglied mit dem virtuellen Bediengerät realitätsgetreu, d. h. nahe an dem realen Ein satz im realen Fahrzeug, unter Einsatz seiner Hände trainiert werden. Das
haptische Feedback des realen Bediengeräts kann neben einem aktiven Feedback, wie ein Vibrieren oder ein vom Bediengerät ausgeübter Druck, auch ein passives Feedback, wie eine erfühlbare Oberfläche oder Struktur, welche vom Benutzer mittels seines Tastsinns wahrgenommen werden kann, oder eine Kombination aus aktiven und passiven Feedbacks sein. Auf die Nutzung von Interaktionsgeräten, wie Mäusen, Tastaturen, Gamepads oder VR-Controllern, kann während des Trainings verzichtet werden. Das reale Bediengerät befindet sich nach Art einer physischen Manifestation des virtuellen Bediengeräts in dem Trainingsraum. Positions- und lagerichtig ist eine Darstellung der Hände, wenn sie die Lage und die Position der realen Hände des Besatzungsmitglieds im Trainingsraum als auch relativ zum Be satzungsmitglied richtig wiedergibt. Die Position der Hand ist dabei jener Ort, an welchem sich die Hand relativ zum Besatzungsmitglied befindet.Due to the correct position and orientation of the hands in the virtual environment and the haptic feedback from the real control device assigned to the virtual control device, the crew member can use the virtual control device realistically, i.e. close to the real use in the real vehicle, using his Hands are trained. The In addition to active feedback, such as vibration or pressure exerted by the operating device, haptic feedback from the real operating device can also be passive feedback, such as a tangible surface or structure that can be perceived by the user using his sense of touch, or a combination of active and passive Be feedbacks. There is no need to use interaction devices such as mice, keyboards, gamepads or VR controllers during training. The real operating device is located in the training room in the manner of a physical manifestation of the virtual operating device. A representation of the hands is in the correct position and position if it correctly reproduces the position and the position of the real hands of the crew member in the training room and also relative to the crew member. The position of the hand is the place where the hand is relative to the crew member.
Die Position kann beispielsweise über Koordinaten in einem Koordinaten system angegeben werden. Die Lage der Hand entspricht hingegen ihrer Orientierung im Raum, d. h. jener räumlichen Ausrichtung, welche sie an ihrer Position einnimmt. Die positions- und lagerichtige Darstellung bein haltet auch die Handstellung, beispielsweise eine geballte Faust, eine ge krümmte Hand oder eine flach ausgestreckte Hand mit gespreizten oder zusammenliegenden Fingern. Insbesondere kann sich die positions- und la gerichtige Darstellung der Hand auch auf die Position und Lage einzelner Finger der Hand erstrecken, so dass auch eine Krümmung einzelner Finger der Hand positions- und lagerichtig dargestellt wird. The position can be specified, for example, using coordinates in a coordinate system. The position of the hand, on the other hand, corresponds to its orientation in space, i.e. H. that spatial orientation which it assumes in its position. The correct positional and positional representation also includes the hand position, for example a clenched fist, a bent hand or a flat outstretched hand with fingers spread or together. In particular, the positional and correct representation of the hand can also extend to the position and location of individual fingers of the hand, so that a curvature of individual fingers of the hand is also shown in the correct position and orientation.
Insbesondere für militärische Fahrzeuge, in welchen zumeist komplexe Be diengeräte verbaut sind, kann eine einfache, präzise und dem realen Ein satz besser wiedergebende Bedienung während des Trainings ermöglicht werden. Beispielsweise kann die Betätigung eines von mehreren eng bei einanderliegenden Bedienelementen des Bediengeräts oder die gleichzeiti ge Betätigung mehrerer Bedienelemente trainiert werden. Das Verfahren kann auch zum Training mit mehreren virtuellen Bediengeräten durchge-
führt werden, wobei jedem virtuellen Bediengerät jeweils ein reales Be diengerät zugeordnet ist. In particular for military vehicles, in which mostly complex operating devices are installed, simple, precise and real-world operation better reproducing operation can be made possible during training. For example, the actuation of one of several closely spaced control elements of the control device or the simultaneous actuation of several control elements can be trained. The method can also be used for training with several virtual operating devices. leads, with each virtual operating device being assigned a real operating device.
In einer vorteilhaften Weiterbildung der Erfindung wird das reale Bedien- gerät im Trainingsraum in einer relativen Position und/oder Lage zum Be satzungsmitglied angeordnet, welche der relativen Position und/oder Lage des virtuellen Bediengeräts zum Besatzungsmitglied in der virtuellen Um gebung entspricht. Es hat sich als besonders vorteilhaft erwiesen, wenn die Bedienelemente des realen Bediengeräts und des virtuellen Bediengeräts zueinander deckungsgleich in ihren relativen Positionen und/oder Lagen sind. Da die Hand des Besatzungsmitglieds mit dem realen, für das Besat zungsmitglied in der virtuellen Umgebung nicht sichtbare Bediengerät in teragieren soll, sind hohe Anforderungen an die Präzision und die Genauig keit der positions- und lagerichtigen Darstellung der Hand zu stellen. Eine Abweichung zwischen der in der virtuellen Umgebung wiedergegebenen Position und Lage der Hand von ihrer tatsächlichen Position und Lage im Trainingsraum kann zu Verletzungen führen, beispielsweise wenn das Be satzungsmitglied ein zur Darstellung seiner Hand ferner liegendes virtuelles Bediengerät bedienen möchte, hierbei jedoch gegen das seiner Hand näher- liegende reale Bediengerät stößt. In an advantageous further development of the invention, the real operating device is arranged in the training room in a relative position and / or position to the crew member which corresponds to the relative position and / or position of the virtual operating device to the crew member in the virtual environment. It has proven to be particularly advantageous if the operating elements of the real operating device and of the virtual operating device are congruent with one another in their relative positions and / or positions. Since the hand of the crew member should interact with the real operating device, which is not visible to the crew member in the virtual environment, high demands must be placed on the precision and accuracy of the position and correct representation of the hand. A deviation between the position and position of the hand reproduced in the virtual environment from its actual position and position in the training room can lead to injuries, for example if the crew member wants to operate a virtual control device that is further away from the display of his hand, but against that of his hand closer real operating device comes across.
Weiter vorteilhaft ist es, wenn das reale Bediengerät, insbesondere frei, auf einer Trägerplatte positioniert wird. Durch die Positionierung auf der Trägerplatte kann das reale Bediengerät auf einfache Weise an die relative Position des virtuellen Bediengeräts in der virtuellen Umgebung angepasst werden. Zusammen mit einem oder mehreren auf ihr positionierten Bedi engeräten kann die Trägerplatte beispielsweise ein Armaturenbrett oder ein Bedienpanel des realen Fahrzeugs zum Training nachbilden. Die Träger platte befindet sich hierzu im Trainingsraum und/oder ist Teil einer Innen- wand des Trainingsraums. Vorzugsweise ist das reale Bediengerät auf der Trägerplatte in seiner Lage ausrichtbar, beispielsweise um eine oder meh-
rere Achsen drehbar oder kippbar. Durch die Ausrichtbarkeit kann die Lage des realen Bedienelements an die Lage des virtuellen Bediengeräts in der virtuellen Umgebung angepasst werden. Eine freie Positionierung und/oder Ausrichtung auf der Trägerplatte, bei welcher keine Positionen durch trä- gerplattenseitige Verbindungsmittel vorgegeben sind, hat sich als besonders vorteilhaft erwiesen. Eine solche freie Positionierung kann beispielsweise über Magnete, Nadeln, Schrauben oder Klebemittel auf der insbesondere hölzernen oder metallischen Trägerplatte, erfolgen. Alternativ kann eine Positionierung über Anbindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbe sondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Trägerplatte Zusammenwirken. Die Trägerplatte kann hierzu insbesondere nach Art einer Rasterplatte mit in einem regelmäßigen Muster angeordne ten Anbindungsstellen ausgebildet sein. It is further advantageous if the real operating device is positioned, in particular freely, on a carrier plate. By positioning it on the carrier plate, the real operating device can be easily adapted to the relative position of the virtual operating device in the virtual environment. Together with one or more operating devices positioned on it, the carrier plate can, for example, simulate a dashboard or an operating panel of the real vehicle for training purposes. For this purpose, the carrier plate is located in the training room and / or is part of an inner wall of the training room. The real operating device can preferably be aligned in its position on the carrier plate, for example by one or more Several axes can be rotated or tilted. As a result of the alignability, the position of the real operating element can be adapted to the position of the virtual operating device in the virtual environment. A free positioning and / or alignment on the carrier plate, in which no positions are predetermined by connection means on the carrier plate side, has proven to be particularly advantageous. Such free positioning can take place, for example, via magnets, needles, screws or adhesives on the, in particular, wooden or metallic carrier plate. Alternatively, positioning can take place via connection elements, in particular latching, screwing and / or plug-in elements, which interact with connection points, in particular in the manner of grooves, latching, screwing and / or plug-in points, of the carrier plate. For this purpose, the carrier plate can in particular be designed in the manner of a grid plate with connection points arranged in a regular pattern.
Die Trägerplatte kann zur Positionierung im Trainingsraum an einer ver stellbaren Schwanenhalshalterung, einem Magie-Arm, einem Gelenkarm oder einem Stativ, im Trainingsraum in ihrer Position und Lage verstellbar positioniert werden. For positioning in the training room, the carrier plate can be positioned on an adjustable gooseneck bracket, a magic arm, an articulated arm or a tripod, in its position and location in the training room.
Das reale Bediengerät kann nach der Positionierung positions- und/oder lagerichtig im Trainingsraum fixiert werden, d. h. in seiner Position und/oder Lage im Trainingsraum fest, aber dennoch lösbar im Trainings raum angeordnet werden. After positioning, the real operating device can be fixed in the correct position and / or position in the training room, i. H. fixed in its position and / or location in the training room, but still detachable in the training room.
Die Positionierung des Bediengeräts kann mittels einer Schablone erfolgen. Diese kann die Position des Bediengeräts auf der Trägerplatte und bei der Verwendung mehrerer Bediengeräte auch die relativen Positionen der Bedi engeräte zueinander vorgeben. Die realen Bediengeräte können mit der Schablone auf schnelle und einfache Weise in den richtigen, d. h. die Posi tionen der virtuellen Bediengeräte wiedergebenden Positionen auf der Trä-
gerplatte positioniert werden. Vorzugsweise könne für jeden Fahrzeugtyp, insbesondere für jede Besatzungsposition im Fahrzeug, fahrzeugspezifische Schablonen vorgehalten werden. Vorteilhafter Weise kann die Positionierung des Bediengeräts mittels der virtuellen Umgebung und einer erfassbaren Markierung des Bediengeräts oder einem initialen Einmessen, beispielsweise mit einem Eingabegerät ei nes VR-Anzeigesystems, erfolgen, zu welchem die Anzeigevorrichtung ge hört. Das Eingabegerät kann nach Art eines Controllers, insbesondere eines VR-Controllers, ausgebildet sein. In der virtuellen Umgebung kann die Posi tion des mit dem realen Bediengeräts in Berührung bringbaren Controllers zur Überprüfung der korrekten Position des realen Bediengeräts angezeigt werden. Die Erfassung mittels einer Markierung kann dabei in regelmäßigen zeitlichen Abständen zur Laufzeit des Trainings erfolgen, um eine Umposi- tionierung zu erlauben. The operating device can be positioned using a template. This can specify the position of the control unit on the carrier plate and, if several control units are used, the relative positions of the control units to one another. With the template, the real operating devices can be quickly and easily in the correct positions on the carrier, i.e. the positions of the virtual operating devices. gerplate to be positioned. Vehicle-specific templates can preferably be kept available for each type of vehicle, in particular for each crew position in the vehicle. The operating device can advantageously be positioned by means of the virtual environment and a detectable marking of the operating device or an initial measurement, for example with an input device of a VR display system, to which the display device belongs. The input device can be designed in the manner of a controller, in particular a VR controller. In the virtual environment, the position of the controller that can be brought into contact with the real operating device can be displayed in order to check the correct position of the real operating device. The detection by means of a marking can take place at regular time intervals during the training period in order to allow repositioning.
Hierzu kann vorzugsweise die Position der Markierung als Positionsmarkie rung des Bediengeräts von einem 3D-Sensorsystem im Trainingsraum erfasst werden. Über diese erfasste Position der Positionsmarkierung und deren bekannte Relativposition und/oder Relativlage relativ zum gesamten realen Bediengerät kann die Position des realen Bediengeräts im Trainingsraum bestimmt werden. For this purpose, the position of the marking can preferably be recorded as a position marking of the operating device by a 3D sensor system in the training room. The position of the real operating device in the training room can be determined via this detected position of the position marking and its known relative position and / or relative position relative to the entire real operating device.
Mittels der Positionsmarkierung kann die Position des realen Bediengeräts überwacht und eine Umpositionierung des Bediengeräts zur Laufzeit des Trainings erkannt, insbesondere quantitativ erfasst, werden. Die virtuelle Umgebung kann an eine geänderte Position des realen Bediengeräts, insbe sondere während der Laufzeit des Trainings, angepasst werden. Alternativ oder zusätzlich kann bei einer erkannten Umpositionierung des Bedienge- räts das Training automatisch beendet, eine Warnmeldung ausgegeben und/oder eine Fehlermeldung ausgegeben werden.
Die Positionsmarkierung kann ein, insbesondere zweidimensionaler, Marker und/oder eine farbliche Markierung sein. Die Positionsmarkierung kann als Marker und/oder als farbliche Markierung auf konstruktiv einfache Weise bereitgestellt werden. Der Marker kann nach Art eines QR-Codes ausgebil det sein. Eine als farbliche Markierung ausgebildete Positionsmarkierung kann einfarbig ausgestaltet sein. Die farbliche Markierung kann alternativ oder zusätzlich das gesamte reale Bediengerät, insbesondere allseitig, be decken, wodurch eine Erfassung des gesamten realen Bediengeräts durch ein 3 D- Sensorsystem auf einfache Art ermöglicht wird. The position of the real operating device can be monitored by means of the position marking and repositioning of the operating device can be recognized, in particular quantitatively recorded, during the training period. The virtual environment can be adapted to a changed position of the real operating device, in particular during the course of the training. Alternatively or additionally, if repositioning of the operating device is recognized, the training can be ended automatically, a warning message output and / or an error message output. The position marker can be a marker, in particular a two-dimensional marker, and / or a colored marker. The position marking can be provided as a marker and / or as a colored marking in a structurally simple manner. The marker can be designed in the manner of a QR code. A position marking embodied as a colored marking can be embodied in one color. As an alternative or in addition, the colored marking can cover the entire real operating device, in particular on all sides, which enables the entire real operating device to be recorded in a simple manner by a 3-D sensor system.
Weiter vorteilhaft ist es, wenn ein einem Fahrzeug- Bediengerät des Fahr zeugs nachgebildetes reales Bediengerät verwendet wird. Bedienelemente des realen Bediengeräts weisen die gleiche Anordnung zueinander auf, wie bei dem Fahrzeug-Bediengerät. Vorzugsweise werden reale Bedienelemente des gleichen Typs, z. B. Schalter, Tasten, Drehregler, Wählhebel, Pedale oder Lenkräder, wie sie bei dem Fahrzeug-Bediengerät zu finden sind, in der gleichen Anordnung verwendet. Das reale Bediengerät kann vorteilhaf terweise auch die, insbesondere zwischen den Bedienelementen liegende, Oberflächenstruktur des Fahrzeug-Bediengeräts nachbilden. Mit einem dem Fahrzeug- Bediengerät des Fahrzeugs, für welches das Training des Besat zungsmitglieds durchführt wird, nachgebildetes reales Bediengerät kann eine Kostenersparnis erzielt werden. Denn bei dem realen Bediengerät kann auf Funktionen verzichtet werden, wie sie bei dem in realen Fahr zeugen zum Einsatz kommenden Fahrzeug-Bediengerät anzutreffen sind. Beispielsweise kann das reale Bediengerät keine funktionstüchtigen Anzei geelemente, wie Lampen, Messinstrumente oder Displays, aufweisen. Diese können von dem Besatzungsmitglied in der virtuellen Umgebung nicht wahrgenommen werden, sondern können durch entsprechende virtuelle Anzeigeelemente oder Darstellungen in der virtuellen Umgebung ersetzt werden. Das virtuelle Bediengerät kann ein virtuelles Anzeigeelement um-
fassen, ohne dass das reale Bediengerät ein reales Anzeigeelement auf weist. Gleichwohl kann das reale Bediengerät elektrisch und/oder mecha nisch funktionstüchtige Bedienelement aufweisen, wie sie insbesondere auch bei einem Fahrzeug-Bediengerät zum Einsatz kommen können. Diese funktionstüchtigen realen Bedienelement können fabrikatgleich zu den Be dienelementen des Fahrzeug- Bediengeräts oder kostengünstigere Fabrikate des gleichen Typs sein. Die Funktionstüchtigkeit der Bedienelemente im realen Bediengerät kann sich auf die mechanische Betätigbarkeit beschrän ken. Insbesondere können diese realen Bedienelemente nicht in einen Schaltkreis eingebracht sein, so dass bei Betätigung eines Bedienelements des realen Bediengeräts beispielsweise kein elektrisches Signal erzeugt wird. Zudem kann das reale Bediengerät auch grob gefertigt und /oder op tisch nicht sehr ansprechend ausgeführt sein, da das Besatzungsmitglied nur das virtuelle Bediengerät visuell wahrnimmt. It is also advantageous if a real operating device that is simulated on a vehicle operating device of the vehicle is used. Operating elements of the real operating device have the same arrangement with respect to one another as in the vehicle operating device. Real control elements of the same type, e.g. B. switches, buttons, rotary controls, selector levers, pedals or steering wheels, as they can be found in the vehicle control unit, used in the same arrangement. The real operating device can advantageously also simulate the surface structure of the vehicle operating device, in particular between the operating elements. With a real operating device that is simulated on the vehicle operating device of the vehicle for which the training of the crew member is carried out, a cost saving can be achieved. This is because the real operating device can do without functions such as those found in the vehicle operating device used in real vehicles. For example, the real operating device cannot have any functional display elements such as lamps, measuring instruments or displays. These cannot be perceived by the crew member in the virtual environment, but can be replaced by corresponding virtual display elements or representations in the virtual environment. The virtual operator panel can convert a virtual display element grasp without the real operating device having a real display element. At the same time, the real operating device can have electrically and / or mechanically functional operating element, such as can also be used in particular in a vehicle operating device. These functional real operating elements can be of the same manufacturer as the operating elements of the vehicle operating device or more cost-effective makes of the same type. The functionality of the operating elements in the real operating device can be limited to mechanical operability. In particular, these real operating elements cannot be incorporated into a circuit, so that when an operating element of the real operating device is operated, for example, no electrical signal is generated. In addition, the real operating device can also be roughly manufactured and / or visually not very appealing, since the crew member only perceives the virtual operating device visually.
In besonders vorteilhafter Weise weist das reale Bediengerät keinen Schalt kreis auf. Durch den Verzicht auf Schaltkreise im Bediengerät kann die Her stellung des realen Bediengeräts vereinfacht werden. In a particularly advantageous manner, the real operating device does not have a circuit. By dispensing with circuits in the control unit, the manufacture of the real control unit can be simplified.
Es ist möglich, dass das Bediengerät mechanische Funktionen aufweist, wie sie ein Fahrzeug-Bediengerät bereitstellt. Die mechanische Funktion kann eine Betätigungsfunktion, welche eine Betätigungsstellung des Betätigungs elements verändert, und/oder eine Anpassungsfunktion an das Besatzungs mitglied sein. Eine Betätigungsfunktion kann beispielsweise die Umlegbar- keit eines Schalters, die Drückbarkeit einer Taste oder eines Pedals, die Drehbarkeit eines Drehreglers oder eines Lenkrads oder die Verstellbarkeit eines Wahlhebels sein. Eine Anpassungsfunktion kann beispielsweise die Anpassung der Länge und/oder des Winkels einer Lenkradsäule an die Sta tur des Besatzungsmitglieds sein.
Bevorzugt wird ein rein haptischer Dummy als reales Bediengerät verwen det. Ein solcher rein haptischer Dummy kann eine Nachbildung eines funk tionstüchtigen Bedienelements als reales Bedienelement aufweisen, wie beispielsweise die Nachbildung eines Schalters, einer Taste, eines Drehreg lers, eines Wahlhebels, eines Pedals oder eines Lenkrads. Dieses reale Be dienelement kann dem Besatzungsmitglied auf einfache Weise ein hapti sches Feedback über seine Position geben. Vorzugsweise kann das reale Bediengerät als rein haptischer Dummy mechanisch funktionslos sein, d. h. es stellt keine weiteren mechanischen Funktionen bereit, insbesondere ist es nicht betätigbar. Ein mechanisch funktionsloser, haptischer Dummy gibt hierbei ein passives haptisches Feedback. Solche ein mechanisch funktions loser Dummy lässt sich auf besonders einfache Art und Weise herstellen. In diesem Zusammenhang hat sich eine Herstellung des haptischen Dummys aus formbaren Kunststoffen, insbesondere einer thermisch aushärtendem Polymer-Modelliermasse oder einem Polymer-Lehm, nach Art einer Attrap pe eines Fahrzeug-Bediengeräts als vorteilhaft erwiesen. It is possible for the operating device to have mechanical functions such as those provided by a vehicle operating device. The mechanical function can be an actuation function that changes an actuation position of the actuation element, and / or an adaptation function to the crew member. An actuation function can be, for example, the ability to flip a switch, the ability to press a button or a pedal, the ability to rotate a rotary control or a steering wheel, or the adjustability of a selector lever. An adaptation function can, for example, be the adaptation of the length and / or the angle of a steering wheel column to the structure of the crew member. A purely haptic dummy is preferably used as a real operating device. Such a purely haptic dummy can have a replica of a functional control element as a real control element, such as the replica of a switch, a button, a rotary control, a selector lever, a pedal or a steering wheel. This real operating element can easily give the crew member haptic feedback about his position. The real operating device, as a purely haptic dummy, can preferably be mechanically functionless, ie it does not provide any further mechanical functions, in particular it cannot be actuated. A mechanically functionless, haptic dummy gives a passive haptic feedback. Such a mechanically functionless dummy can be produced in a particularly simple manner. In this context, a production of the haptic dummy from malleable plastics, in particular a thermally hardening polymer modeling compound or a polymer clay, in the manner of a dummy of a vehicle operating device has proven advantageous.
Gemäß einem Ausführungsbeispiel der Erfindung wird eine Betätigung des realen Bediengeräts erfasst. Die Erfassung der Betätigung eines realen Be diengeräts, insbesondere eines realen Bedienelements, kann die Realitäts getreue des Trainings weiter verbessern. Abhängig von der erfassten Betä tigung des realen Bediengeräts, kann der weitere Verlauf des Trainings be stimmt werden, insbesondere hinsichtlich Auswirkungen der erfassten Betä tigung auf die virtuelle Umgebung. Die richtige und genaue Bedienung eines komplex bedienbaren Bediengeräts, welches beispielsweise einen Drehreg ler mit mehreren Regelstufen oder einem stufenlosen Regelbereich um fasst, kann realitätsgetreuer trainiert werden. According to an exemplary embodiment of the invention, an actuation of the real operating device is detected. The detection of the actuation of a real operating device, in particular a real operating element, can further improve the realism of the training. Depending on the detected actuation of the real operating device, the further course of the training can be determined, in particular with regard to the effects of the detected actuation on the virtual environment. The correct and precise operation of a complex operable control device, which for example includes a rotary control with several control levels or a stepless control range, can be trained more realistically.
Ferner kann es vorteilhaft sein, wenn zur Erfassung der Betätigung eine Veränderung des realen Bediengeräts erfasst wird. Die Veränderung des realen Bediengeräts kann durch eine Überwachung der Betätigungsstellung
des realen Bediengeräts erfasst werden. Beispielsweise kann ein Sensor in dem Bediengerät eine Änderung der Betätigungsstellung eines Bedienele ments erfassen, wie das Drehen eines Lenkrads, das Umlegen eines Schal ters oder das Drücken einer Taste. Die Erfassung kann durch außerhalb des Bediengeräts liegende Mittel erfolgen. Furthermore, it can be advantageous if a change in the real operating device is detected in order to detect the actuation. The change in the real operating device can be achieved by monitoring the actuation position of the real operator panel. For example, a sensor in the control unit can detect a change in the actuation position of a control element, such as turning a steering wheel, flipping a switch or pressing a button. The acquisition can take place by means located outside the operating device.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn durch die Betätigung des realen Bediengeräts mindestens ein elektrisches Signal vom realen Bediengerät erzeugt wird. Ein elektrisches Signal kann auf ein fache Weise durch Betätigung des realen Bediengeräts erzeugt werden. Auf besonders einfache Weise kann das elektrische Signal durch Schließen eines elektrischen Schaltkreises, beispielsweise durch Betätigung eines elektrisch funktionstüchtigen, realen Bedienelements, erzeugt werden. Das elektri sche Signal kann Informationen über die eingenommene Betätigungsstellung enthalten, insbesondere von Betätigungselementen mit mehr als zwei Betä tigungsstellungen. Von einem realen Bediengerät mit mehreren Bedienele menten können zugleich mehrere elektrische Signale erzeugt werden. In this context, it has proven to be advantageous if at least one electrical signal is generated by the real operating device by actuating the real operating device. An electrical signal can be generated in a simple manner by operating the real operating device. The electrical signal can be generated in a particularly simple manner by closing an electrical circuit, for example by actuating an electrically functional, real operating element. The electrical cal signal can contain information about the assumed actuating position, in particular of actuating elements with more than two actuating positions. Several electrical signals can be generated at the same time from a real control unit with several control elements.
Das Bediengerät kann vorteilhafterweise berührungssensitive Elemente, wie Touch-Displays oder Folientaster, aufweisen. Durch berührungssensitive Elemente kann, ohne ein mechanisch funktionstüchtiges, reales Bedienele ment zu verwenden, eine Betätigung des realen Bediengeräts erkannt wer den. Insbesondere kann eine betätigende Berührung auf dem berührungs sensitiven Element ortsaufgelösten erkannt werde. Auf diese Weise lassen sich Fahrzeug-Bediengeräte mit berührungssensitiven Betätigungselemen ten, wie Touch -Displays, kostensparend nachbilden. The operating device can advantageously have touch-sensitive elements such as touch displays or membrane buttons. By means of touch-sensitive elements, without using a mechanically functional, real operating element, actuation of the real operating device can be recognized. In particular, an actuating touch on the touch-sensitive element can be recognized in a spatially resolved manner. In this way, vehicle operating devices with touch-sensitive actuation elements, such as touch displays, can be simulated in a cost-saving manner.
In vorteilhafter Weise wird das elektrische Signal kabelgebunden und/oder kabellos an einen Server übertragen. Der Server kann mit mehreren Bedi engeräten verbunden sein. Mit dem Server können weitere Bediengeräte auf einfache Weise zur Erweiterung eines Trainingssystems verbunden wer-
den. Der Server kann das elektrische Signal des Bediengeräts selbst verar beiten und/oder an einen Trainingsrechner übermitteln. Abhängig von den elektrischen Signalen kann der Server direkt oder über den Trainingsrech ner die virtuelle Umgebung verändern. Zur kabellosen Übertragung weist das Betätigungsgerät vorzugsweise eine eigene Energieversorgung auf, ins besondere eine kapazitive Energieversorgung. The electrical signal is advantageously transmitted to a server in a wired and / or wireless manner. The server can be connected to several operating devices. Additional operating devices can be easily connected to the server to expand a training system. the. The server can process the electrical signal of the control unit itself and / or transmit it to a training computer. Depending on the electrical signals, the server can change the virtual environment directly or via the training computer. For wireless transmission, the actuating device preferably has its own power supply, in particular a capacitive power supply.
In einer weiteren Ausgestaltung erfolgt die Erfassung der Betätigung des realen Bediengeräts über eine Gestenerkennung. Durch Verwendung einer Gestenerkennung kann ein konstruktiv einfacherer Aufbau erzielt werden. Bei der Gestenerkennung können die durch Betätigung des realen Bedien geräts ausgeführten Handgesten erkannt und verarbeitet werden. Die Ges tenerkennung erfolgt vorteilhafter Weise auf dem Server oder dem Trai ningsrechner, insbesondere nach Art einer Subroutine oder eines eigen- ständigen Programms. Es können kostensparend schaltkreislose Bedien geräte verwendet werden. In a further embodiment, the actuation of the real operating device is detected using gesture recognition. A structurally simpler structure can be achieved by using gesture recognition. In the case of gesture recognition, the hand gestures carried out by actuating the real operating device can be recognized and processed. The gesture recognition takes place advantageously on the server or the training computer, in particular in the manner of a subroutine or an independent program. Circuit-free operating devices can be used to save costs.
Bevorzugt wird nach einer Betätigung des realen Bediengeräts die virtuelle Umgebung, insbesondere zur Anpassung an den Zustand des realen Bedien- geräts, verändert. Die Veränderung kann eine Aktualisierung des dargestell ten virtuellen Bediengeräts sein, welches die Betätigung des realen Bedien geräts reproduziert. Ein virtuelles Bedienelement kann an eine durch die Betätigung veränderte Betätigungsstellung eines zugeordneten realen Be dienelements angepasst werden. Beispielsweise kann nach einem Umlegen eines realen Schalters der zugeordnete virtuelle Schalter ebenfalls umge legt dargestellt werden. Alternativ oder zusätzlich kann ein virtuelles An zeigeelement, insbesondere ein nur in der virtuellen Umgebung und nicht im Trainingsraum vorhandenes Anzeigeelement, verändert werden. Die Veränderung des virtuellen Anzeigeelements kann zum Beispiel ein Auf- leuchten oder Blinken einer Lampe, die geänderte Darstellung eines Mess instruments, wie eine sich bewegende Tachonadel oder eine veränderte
Anzeige auf einem virtuellen Display sein. Die Veränderung der virtuellen Umgebung kann die Auslösung einer virtuellen Aktion sein, wie ein Abfeu ern einer Waffe oder eine Änderung der virtuellen Bewegung des virtuellen Fahrzeugs. After actuation of the real operating device, the virtual environment is preferably changed, in particular to adapt to the state of the real operating device. The change can be an update of the illustrated virtual operating device, which reproduces the actuation of the real operating device. A virtual operating element can be adapted to an operating position of an assigned real operating element that has been changed by the actuation. For example, after a real switch has been flipped, the assigned virtual switch can also be displayed as flipped. Alternatively or additionally, a virtual display element, in particular a display element only present in the virtual environment and not in the training room, can be changed. The change in the virtual display element can, for example, light up or flash a lamp, the changed display of a measuring instrument, such as a moving speedometer needle or a changed one Be displayed on a virtual display. The change in the virtual environment can be the triggering of a virtual action, such as a firing of a weapon or a change in the virtual movement of the virtual vehicle.
In einer vorteilhaften Ausgestaltung der Erfindung wird die Position und die Lage der Hände des Besatzungsmitglieds in einem Aktionsbereich des Be satzungsmitglieds mit einem 3D-Sensorsystem erfasst. Zur Erfassung der Position und der Lage der Hände kann das 3D-Sensorsystem auf den Akti- onsbereich des Besatzungsmitglieds gerichtet sein, d. h. der Aktionsbereich befindet sich im Zentrum des Aufnahmebereichs des 3D-Sensorsystems. Bei dem Aktionsbereich des Besatzungsmitglieds handelt es sich um den Be reich des Trainingsraums, welcher sich von dem realen Bediengerät in Rich tung des Besatzungsmitglieds erstreckt und in welchem sich die Hände des Besatzungsmitglieds zur Betätigung des Bediengeräts bewegen. Durch die Ausrichtung auf den Aktionsbereich des Besatzungsmitglieds können die Hände zuverlässig bei der Betätigung des Bediengeräts erfasst werden. In an advantageous embodiment of the invention, the position and the location of the hands of the crew member in an action area of the crew member is detected with a 3D sensor system. In order to detect the position and the location of the hands, the 3D sensor system can be directed at the action area of the crew member, i. H. the action area is located in the center of the recording area of the 3D sensor system. The crew member's action area is the area of the training room which extends from the real operating device in the direction of the crew member and in which the crew member's hands move to operate the operating device. Due to the orientation towards the area of action of the crew member, the hands can be reliably detected when the operating device is operated.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn eine direkte Erfassung der Position und der Lage der Hände des Besatzungsmit glieds erfolgt. Auf die Verwendung von Sensorhandschuhen, Markierungs handschuhen und/oder eines Simulationsanzugs, welche die Erfassung des Besatzungsmitglieds und insbesondere der Position und der Lage der Hände erst ermöglichen, kann auf die Realitätsgetreue des Trainings verbessernde Weise verzichtet werden. In this context, it has proven to be advantageous if a direct detection of the position and the location of the hands of the crew member takes place. The use of sensor gloves, marking gloves and / or a simulation suit, which enable the crew member and in particular the position and location of the hands to be detected in the first place, can be dispensed with in a way that improves the realisticness of the training.
Bevorzugt wird die Position und die Lage der markierungslosen Hände des Besatzungsmitglieds in einem Aktionsbereich des Besatzungsmitglieds er fasst. Auf ein Anbringen von Markierungen oder Markern auf den Händen des Besatzungsmitglieds kann verzichtet werden.
Als besonders vorteilhaft hat sich ein Über- Schulter-Blick des 3D-Sensor- systems auf den Aktionsbereich des Besatzungsmitglieds erwiesen. Bei ei nem Über-Schulter-Blick ist das 3 D- Sensorsystem in der initialen Ausgangs haltung des Besatzungsmitglieds zu Beginn des Trainings hinter dem Besat zungsmitglied, insbesondere relativ zum Kopf des Besatzungsmitglieds nach links oder rechts versetzt, und oberhalb seiner Schultern im Trainingsraum angeordnet. In bevorzugter Weise blickt das 3D-Sensorsystem über die Schulter des Besatzungsmitglieds schräg nach unten auf den Aktionsbe reich. Ein Verdeckungsproblem, bei welchem die Hände des Besatzungsmit glieds, beispielsweise durch die Arme des Besatzungsmitglieds, für das 3D- Sensorsystem verdeckt werden, kann durch den schräg nach unten verlau fenden Über-Schulter-Blick des 3D-Sensorsystems weitgehend vermieden werden. Ferner kann das 3D-Sensorsystem im Trainingsraum in seiner Posi tion und /oder Lage fixiert sein. The position and the location of the unmarked hands of the crew member in an area of action of the crew member is preferably recorded. There is no need to put markings or markers on the hands of the crew member. An over-the-shoulder view of the crew member's area of action by the 3D sensor system has proven to be particularly advantageous. With an over-the-shoulder view, the 3-D sensor system is in the crew member's initial position at the beginning of the training behind the crew member, in particular offset to the left or right relative to the crew member's head, and above his shoulders in the training room. In a preferred manner, the 3D sensor system looks over the shoulder of the crew member obliquely downwards on the action area. A concealment problem, in which the hands of the crew member, for example by the arms of the crew member, are covered for the 3D sensor system, can largely be avoided by the oblique downward over-shoulder view of the 3D sensor system. Furthermore, the 3D sensor system can be fixed in its position and / or location in the training room.
Die Abtastrate des 3D-Sensorsystems kann mit der Bildwiederholrate der Anzeigevorrichtung übereinstimmen, insbesondere kann diese 90 fps be tragen. Das Trainingssystem und insbesondere das 3D-Sensorsystem weist vorzugsweise eine niedrige Latenz auf, bevorzugt unterhalb von 200 ms, weiter bevorzugt unterhalb von 100 ms und insbesondere bevorzugt von unter 10 ms. In diesem Zusammenhang hat sich eine Latenz im Bereich vom 5 ms bis 10 ms als vorteilhaft erwiesen. Die Latenz beschreibt die Verzöge rung zwischen einer Änderung im Trainingsraum, insbesondere einer Ände rung der Position und/oder Lage der Hand, und deren Erfassung und visuel len Darstellung. Das Trainingssystem und insbesondere das 3D-Sensorsystem ist vorzugsweise möglichst verzögerungsfrei, d. h. latenzarm, um eine intu itive Bedienung zu ermöglichen. Bei einer hohen Latenz würde die Darstel lung in der virtuellen Umgebung hinter den realen Gegebenheiten im Trai ningsraum erheblich Zurückbleiben, was nur durch sehr langsam und reali tätsferne Bewegungsabläufe oder einem aktiven Abgleichen der tatsäch-
liehen mit der dargestellten Handbewegung durch das Besatzungsmitglied kompensiert werden könnte. The sampling rate of the 3D sensor system can match the frame rate of the display device, in particular this can be 90 fps. The training system and in particular the 3D sensor system preferably has a low latency, preferably below 200 ms, more preferably below 100 ms and particularly preferably below 10 ms. In this context, a latency in the range from 5 ms to 10 ms has proven to be advantageous. Latency describes the delay between a change in the training room, in particular a change in the position and / or location of the hand, and its detection and visual display. The training system and in particular the 3D sensor system is preferably as free of delay as possible, that is to say with low latency, in order to enable intuitive operation. With a high latency, the representation in the virtual environment would lag behind the real conditions in the training room considerably, which can only be achieved through very slow and unrealistic movement sequences or an active comparison of the actual borrowed could be compensated by the crew member with the illustrated hand movement.
Mit dem 3D-Sensorsystem können auf einfache Weise Handgesten erfasst und über eine Gestenerkennung zur Erfassung der Betätigung des realen Bediengeräts erkannt werden. Bei den Handgesten kann es sich vorteil hafterweise um die gleichen Handgesten handeln, wie sie bei einer Betäti gung des Fahrzeug-Bediengeräts im realen Fahrzeug durchgeführt werden. With the 3D sensor system, hand gestures can be recorded in a simple manner and recognized via gesture recognition for recording the actuation of the real operating device. The hand gestures can advantageously be the same hand gestures as are carried out when the vehicle control unit is actuated in the real vehicle.
Ferner kann das 3D-Sensorsystems alternativ oder zusätzlich als außerhalb des Bediengeräts liegendes Mittel zur Erfassung der Veränderung des realen Bediengeräts genutzt werden. Furthermore, the 3-D sensor system can alternatively or additionally be used as a means, which is located outside the operating device, for detecting the change in the real operating device.
In einer vorteilhaften Ausgestaltung erfasst das 3D-Sensorsystem die Hände des Besatzungsmitglieds mit einer Tiefenkamera und/oder einer Farbkame ra. Das 3D-Sensorsystem kann auf diese Weise als 3D-Kamerasystem ausge bildet sein. Mit einer Tiefenkamera können die Position und die Lage der Hand des Besatzungsmitglieds auf einfache Weise auch in der Tiefe erfasst werden. Vorzugsweise liegt die Auflösung der Tiefenkamera unterhalb eines Millimeters. Die Tiefenkamera kann eine stereo-optische Kamera mit zwei zueinander versetzten Teilkameras sein. Bei einer stereo-optische Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand aus dem Unterschied der von den beiden Teilkameras aufgenommenen Bil der, analog zum menschlichen Sehapparats. Alternativ kann die Tiefenka mera eine time-of-flight Kamera sein. Bei einer time-of-flight Kamera ergibt sich die Tiefeninformation über die Position und die Lage der Hand über das Laufzeitverfahren, bei welchem die Zeit zwischen dem Aussenden eines Lichtpulses und dem Auftreffen des von der Hand reflektierten Pulses auf einen Lichtsensor der Kamera gemessen wird. Die time-of-flight-Kamera kann hierzu ein Sende-Modul zur Aussendung eines Lichtpulses und ein Emp fangs-Modul zum Empfang des reflektierten Lichtpulses aufweisen. Weiter
alternativ kann die Tiefenkamera eine Muster-Kamera sein, welche gemäß dem Projektionsverfahren arbeitet. Die Muster-Kamera kann hierzu ein Sende-Modul, welches nach Art eines Musterprojektors zeitlich versetzt un terschiedliche geometrische Muster in den Trainingsraum projiziert, und ein Empfangs-Modul, insbesondere eine Teilkamera, aufweisen. Das Empfangs- Modul kann die in den Trainingsraum projizierten geometrischen Muster aufnehmen, welche jedoch durch die sich im Trainingsraum befindlichen Objekte, wie die Hand des Besatzungsmitglieds, sowie den Trainingsraum selbst verzerrt werden. Aus diesen aufgenommenen und für jedes Muster unterschiedlichen Verzerrungen können Tiefeninformation gewonnen wer den. Mit der Farbkamera kann ein farbiges Bild der Hände aufgenommen werden. Insbesondere können die Hände anhand ihrer Farbe und/oder dem Kontrast zum Hintergrund in dem farbigen Bild erkannt und erfasst werden. Eine Kombination von Tiefenkamera und Farbkamera erlaubt eine Farb wertzuordnung zu jedem mit einer Tiefeninformation versehenen Bildpunkt des Bildes der Tiefenkamera. In an advantageous embodiment, the 3D sensor system detects the hands of the crew member with a depth camera and / or a color camera. In this way, the 3D sensor system can be designed as a 3D camera system. With a depth camera, the position and the location of the hand of the crew member can also be recorded in a simple manner in the depth. The resolution of the depth camera is preferably below one millimeter. The depth camera can be a stereo-optical camera with two partial cameras offset from one another. In the case of a stereo-optical camera, the depth information about the position and location of the hand results from the difference between the images recorded by the two sub-cameras, analogous to the human visual apparatus. Alternatively, the depth camera can be a time-of-flight camera. With a time-of-flight camera, the depth information about the position and location of the hand is obtained using the transit time method, in which the time between the emission of a light pulse and the impact of the pulse reflected by the hand on a light sensor of the camera is measured. For this purpose, the time-of-flight camera can have a transmission module for transmitting a light pulse and a receiving module for receiving the reflected light pulse. Further alternatively, the depth camera can be a sample camera which works according to the projection method. For this purpose, the sample camera can have a transmission module, which projects different geometric patterns into the training room with a time offset in the manner of a sample projector, and a reception module, in particular a partial camera. The receiving module can record the geometric patterns projected into the training room, which, however, are distorted by the objects located in the training room, such as the hand of the crew member and the training room itself. Depth information can be obtained from these recorded distortions, which are different for each pattern. A colored picture of the hands can be taken with the color camera. In particular, the hands can be recognized and recorded in the colored image on the basis of their color and / or the contrast to the background. A combination of depth camera and color camera allows color values to be assigned to each pixel of the image from the depth camera that is provided with depth information.
Weiter vorteilhaft ist es, wenn mehrere, insbesondere drei, aufeinander kalibrierte 3D-Sensorsysteme verwendet werden. Zur besseren Vermeidung einer Verdeckung der Hände hat sich die Verwendung von zwei oder mehre ren 3D-Sensorsystemen, insbesondere drei, vier oder fünf 3D-Sensorsyste- men als vorteilhaft erwiesen. Die 3D-Sensorsysteme können miteinander in Verbindung stehen, insbesondere über eine Funkverbindung oder eine Ka belverbindung, wie ein Sync-Kabel. Die 3D-Sensorsysteme können aufeinan der synchronisiert sein, so dass sie zeitgleich oder zeitlich versetzt zur Mes sung ausgelöst werden können, insbesondere über die Verbindung zwischen ihnen. Damit ein Punkt im Trainingsraum von allen 3D-Sensorsystemen als an der gleichen Position befindlich erkannt wird und es zu keiner zwischen den 3D-Sensorsystemen abweichenden Erfassung der Position und Lage der Hände kommt, sind die 3D-Sensorsysteme aufeinander kalibriert. Bei der Kalibration werden die Koordinatensysteme der einzelnen 3D-Sensorsyste-
me auf ein gemeinsames Koordinaten referenzsystem kalibriert. Die Kalib rierung erfolgt insbesondere so, dass die kalibrierten 3D-Sensorsysteme ei nen gemeinsamen Koordinatenursprung aufweisen. It is also advantageous if several, in particular three, 3D sensor systems calibrated to one another are used. To better avoid covering the hands, the use of two or more 3D sensor systems, in particular three, four or five 3D sensor systems, has proven to be advantageous. The 3D sensor systems can be connected to one another, in particular via a radio connection or a cable connection, such as a sync cable. The 3D sensor systems can be synchronized with one another so that they can be triggered at the same time or offset in time for the measurement, in particular via the connection between them. The 3D sensor systems are calibrated to each other so that a point in the training room is recognized by all 3D sensor systems as being in the same position and there is no different detection of the position and position of the hands between the 3D sensor systems. During the calibration, the coordinate systems of the individual 3D sensor systems are me calibrated to a common coordinate reference system. The calibration takes place in particular in such a way that the calibrated 3D sensor systems have a common coordinate origin.
Die 3D-Sensorsysteme können von unterschiedlichen Positionen im Trai ningsraum auf den Aktionsbereich des Besatzungsmitglieds gerichtet sein. Neben einem Über- Schulter-Blick können einzelne 3D-Sensorsysteme von der Seite, von unten, direkt von obenauf oder aus anderen schrägen Blick winkeln, wie von schräg unten, auf den Aktionsbereich blicken. Durch die unterschiedlichen Blickwinkel der 3D-Sensorsysteme kann ein Verdecken der Hände noch zuverlässiger vermieden werden, da die Hände gleichzeitig von mehreren 3D-Sensorsystemen aus unterschiedlichen Blickwinkeln er fasst werden können. Auch kann ein Verdecken von Teilen der Hand durch die Hand selbst, beispielsweise ein Verdecken der Fingerspitzen durch den Handrücken, durch die unterschiedlichen Blickwinkel der 3D-Sensorsysteme vermeiden werden. The 3D sensor systems can be directed from different positions in the training room to the area of action of the crew member. In addition to an over-the-shoulder view, individual 3D sensor systems can look at the action area from the side, from below, directly from above or from other oblique angles, such as obliquely below. Due to the different viewing angles of the 3D sensor systems, covering the hands can be avoided even more reliably, since the hands can be captured simultaneously by several 3D sensor systems from different viewing angles. Covering parts of the hand by the hand itself, for example covering the fingertips with the back of the hand, can also be avoided by the different viewing angles of the 3D sensor systems.
Ferner ist es vorteilhaft, wenn die Position einzelner Punkte im Aktionsbe reich des Besatzungsmitglieds im Trainingsraum relativ zum 3D-Sensor- system gemessen wird. Die Tiefeninformationen des gesamten Aktionsbe reichs können auf einfache Art und Weise erfasst werden. Zur Messung der Position eines Punktes kann insbesondere dessen Abstand und dessen Raumwinkel relativ zum 3D-Sensorsystem bestimmt werden. Die Messung der Position einzelner Punkte kann vorteilhafterweise mittels des 3D- Sensorsystems nach Art einer time-of-flight Kamera erfolgen. Bei den zu messenden Punkten kann es sich um markierte Punkte auf den Händen und/oder dem realen Bedienelement handeln, welche beispielsweise mit Markern oder farblich gekennzeichnet werden. Alternativ können die Punk te auch durch ein regelmäßiges oder unregelmäßiges Abtast-Muster des 3D- Sensorsystems vorgegeben werden. Insbesondere kann das regelmäßige Ab- tast-Muster der Anordnung der Bildpunkte des 3D-Sensorsystems entspre-
chen. Auf diese Weise kann die Position jeden Bildpunkts der Tiefenkamera im Trainingsraum bestimmt werden. Die Vorgabe der Punkte durch ein re gelmäßiges oder unregelmäßiges Abtast-Muster des 3D-Sensorsystems kann den Vorteil bieten, dass auch andere Objekte erfasst werden können. Diese anderen Objekte können neben den Händen des Besatzungsmitglieds zur Betätigung des realen Bediengeräts genutzt werden. Bei diesen anderen Objekten kann es sich beispielsweise um die Ellenbogen des Besatzungsmit glieds oder künstliche Objekte, wie einen Stift oder einen Touch-Pen, han deln. Durch ein Messen, Erfassen und Darstellen dieser anderen Objekte kann das Bediengerät ebenfalls mittels dieser anderen Objekte von dem Besatzungsmitglied absichtlich oder unabsichtlich bedient werden. Auf die se Weise kann die Realitätsgetreue des Trainings gesteigert werden. Bei dem Training kann ein versehentliches Betätigen, beispielsweise durch ein Anstoßen in einem beengten Fahrzeuginneren, realitätsgetreu wiedergege- ben werden. It is also advantageous if the position of individual points in the action area of the crew member in the training room is measured relative to the 3D sensor system. The depth information of the entire action area can be recorded in a simple manner. To measure the position of a point, in particular its distance and its solid angle relative to the 3D sensor system can be determined. The measurement of the position of individual points can advantageously take place by means of the 3D sensor system in the manner of a time-of-flight camera. The points to be measured can be marked points on the hands and / or the real operating element, which are marked, for example, with markers or in color. Alternatively, the points can also be specified by a regular or irregular scanning pattern of the 3D sensor system. In particular, the regular scanning pattern can correspond to the arrangement of the image points of the 3D sensor system. chen. In this way, the position of each pixel of the depth camera in the training room can be determined. Specifying the points using a regular or irregular scanning pattern of the 3D sensor system can offer the advantage that other objects can also be detected. In addition to the crew member's hands, these other objects can be used to operate the real operating device. These other objects can, for example, be the elbows of the crew member or artificial objects such as a pen or a touch pen. By measuring, detecting and displaying these other objects, the operating device can also be operated intentionally or unintentionally by the crew member by means of these other objects. In this way, the realism of the training can be increased. During the training, accidental actuation, for example by bumping into a cramped vehicle interior, can be reproduced realistically.
In einer vorteilhaften Weiterbildung wird die Position der Hände, insbeson dere einer Vielzahl einzelner Punkte auf den Händen, zum 3D-Sensorsystem gemessen. Die Messung der Position der Hände, insbesondere deren Ab- stand zum 3D-Sensorsystem, bietet eine höhere Präzision und Genauigkeit, als dies bei einem rein auf Interpretation von Bildinformationen basieren den Verfahren möglich ist. Durch die Messung der Vielzahl einzelner Punkte auf den Händen lassen sich die Position und die Lage einzelner Finger der Hand, insbesondere auch ein leichtes Krümmen einzelner Finger, genau erfassen. Individuelle Merkmale der Hände des Besatzungsmitglieds, wie die genaue Handgroßen, die Längen der Finger oder ein Fehlen einzelner Fin gerglieder, können durch die Messung mehrerer Punkte auf der Hand er fasst, berücksichtigt und in der virtuellen Umgebung entsprechend darge stellt werden.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, dass neben den Händen auch die Position des Körpers des Besatzungsmitglieds, insbe sondere die Position der Arme und/oder der Beine, zum 3 D- Sensorsystem gemessen wird. Durch ein Messen des restlichen Körpers, insbesondere der Arme und/oder der Beine des Besatzungsmitglieds, relativ zum 3D-Sensor- system kann dieser positions- und lagerichtig in der virtuellen Umgebung dargestellt werden. Für das Besatzungsmitglied kann sich ein noch reali tätsgetreueres Trainingserlebnis einstellen, da dieses seinen Körper auch in der virtuellen Umgebung sieht. In an advantageous development, the position of the hands, in particular a large number of individual points on the hands, is measured in relation to the 3D sensor system. The measurement of the position of the hands, in particular their distance to the 3D sensor system, offers greater precision and accuracy than is possible with a method based purely on the interpretation of image information. By measuring the large number of individual points on the hands, the position and location of individual fingers of the hand, in particular also a slight curvature of individual fingers, can be precisely recorded. Individual features of the crew member's hands, such as the exact hand size, the length of the fingers or the absence of individual finger links, can be recorded by measuring several points on the hand, taken into account and displayed accordingly in the virtual environment. In this context, it has proven to be advantageous that, in addition to the hands, the position of the crew member's body, in particular the position of the arms and / or the legs, is measured in relation to the 3-D sensor system. By measuring the rest of the body, in particular the arms and / or legs of the crew member, relative to the 3D sensor system, the latter can be displayed in the correct position and orientation in the virtual environment. For the crew member, a more realistic training experience can result, as he can also see his body in the virtual environment.
Vorzugsweise werden die gemessenen, insbesondere die mit den Händen korrespondierenden, Positionen zu Punktwolkendaten zusammengefasst und als Punktwolke in der virtuellen Umgebung dargestellt. Die Punktwol kendaten enthalten die Positionsinformationen der gemessenen Punkte. Zusammen mit den von der Farbkamera aufgenommenen Farbinformationen können die einzelnen Punkte der Punktwolkendaten in einem Färb- und Po sitionsinformationen enthaltenen Format gespeichert werden. Bei der Ver wendung eines einzigen 3D-Sensorsystems kann dieses Format beispiels weise den Abstand zu diesem 3D-Sensorsystem sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan enthalten. Al ternativ kann das Format die Koordinaten des jeweiligen Punktes bezogen auf ein Koordinaten referenzsystem, insbesondere bei der Verwendung meh rerer 3D-Sensorsysteme, sowie die Farbwerte für Rot, Grün und Blau oder die Farbwerte für Gelb, Magenta, Cyan enthalten. Die Punktwolkendaten können auf einfache Weise an eine die virtuelle Umgebung erzeugendes Rendersystem, insbesondere des Servers oder des Trainingsrechners, zur Darstellung weitergegeben werden. Durch die Darstellung der Punktwol kendaten als Punktwolke kann eine fehlertolerantere Darstellung der realen Umgebung und insbesondere der Hände in der virtuellen Umgebung erzielt werden, als dies bei einer Darstellung mit einem rechenintensiveren, die Punktwolkendaten umfassenden und geschlossenen Polygon-Mesh möglich
wäre. Auf eine fehleranfällige Umrechnung der Punktwolkendaten in ein Polygon-Mesh oder in eine Umformung eines hinterlegten geschlossenen Polygon-Meshs kann verzichtet werden. The measured positions, in particular those corresponding with the hands, are preferably combined into point cloud data and displayed as a point cloud in the virtual environment. The point cloud data contain the position information of the measured points. Together with the color information recorded by the color camera, the individual points of the point cloud data can be stored in a format containing color and position information. When using a single 3D sensor system, this format can, for example, contain the distance to this 3D sensor system and the color values for red, green and blue or the color values for yellow, magenta, cyan. Alternatively, the format can contain the coordinates of the respective point based on a coordinate reference system, especially when using several 3D sensor systems, as well as the color values for red, green and blue or the color values for yellow, magenta, cyan. The point cloud data can be passed on in a simple manner to a rendering system generating the virtual environment, in particular the server or the training computer, for display. By displaying the point cloud data as a point cloud, a more error-tolerant display of the real environment and in particular of the hands in the virtual environment can be achieved than is possible with a display with a more computationally intensive, closed polygon mesh that includes the point cloud data would. An error-prone conversion of the point cloud data into a polygon mesh or into a reshaping of a stored closed polygon mesh can be dispensed with.
Die in der virtuellen Umgebung dargestellte Punktwolke kann es dem Be satzungsmitglied ermöglichen, seine Hand in der virtuellen Umgebung visu ell wahrzunehmen, ohne diese unmittelbar zu sehen. Insbesondere mittels Punktwolkendaten, welche auch Farbinformationen enthalten, kann eine Darstellung der Hand als farbige Punktwolke erfolgen, insbesondere in Echt farben. Durch die Darstellung als Punktwolle kann auf eine rechenintensive Modellierung einer Nachbildung der Hand des Besatzungsmitglieds, insbe sondere nach Art einer Grafikfigur, einer vereinfachten Handgeometrie, eines Avatars des gesamten Besatzungsmitglieds oder eines Teils eines sol chen Avatars, auf zeitsparende und rechenleistungssparende Weise verzich tet werden. Durch eine sich schnell einstellende Gewöhnung des Besat zungsmitglieds an die Darstellung seiner Hand in Form einer Punktwolke wird die Realitätsgetreue des Trainings nicht gemindert. The point cloud shown in the virtual environment can enable the crew member to visually perceive his hand in the virtual environment without seeing it directly. In particular, point cloud data, which also contain color information, can be used to display the hand as a colored point cloud, in particular in real colors. The representation as point wool makes it possible to dispense with computationally intensive modeling of a replica of the crew member's hand, in particular in the manner of a graphic figure, simplified hand geometry, an avatar of the entire crew member or part of such an avatar, in a time-saving and computing power-saving manner. The fact that the crew member quickly gets used to the representation of his hand in the form of a point cloud does not reduce the realism of the training.
Die Punktwolke kann ein virtuelles Volumen in der virtuellen Umgebung einnehmen, welches der Lage, der Position, der Größe und/oder der Form der Hand des Besatzungsmitglieds im Aktionsbereich entspricht. Das Besat zungsmitglied kann auf diese Weise seine eigene Hand in der korrekten La ge, Position, Größe, Form und/oder Farbe in der virtuellen Umgebung wahrnehmen. The point cloud can occupy a virtual volume in the virtual environment, which corresponds to the location, position, size and / or shape of the hand of the crew member in the action area. In this way, the crew member can perceive his own hand in the correct position, position, size, shape and / or color in the virtual environment.
Die Punkte der Punktwolke können als virtuelle Objekte endlicher Ausdeh nung, insbesondere als 2D-Scheiben, 3D-Ellipsoide oder 3D-Sphären, darge stellt werden. Die sich an der Oberfläche der Punktwolke befindenden Punkte können durch ihre endliche Ausdehnung eine geschlossene oder be reichsweise geschlossene Oberfläche der Punktwolke bilden. Zur Bildung
einer geschlossenen oder bereichsweise geschlossenen Oberfläche können einzelne Punkte aneinander angrenzen oder sich überlappen. The points of the point cloud can be represented as virtual objects of finite expansion, in particular as 2D disks, 3D ellipsoids or 3D spheres. The points located on the surface of the point cloud can form a closed or partially closed surface of the point cloud due to their finite extent. For education On a closed or partially closed surface, individual points can adjoin one another or overlap.
Die einzelnen gemessenen Punkte sowie die Punkte der Punktwolke können in einem unregelmäßigen Muster angeordnet sein. Gleichwohl können die einzelnen gemessenen Punkte sowie die Punkte der Punktwolke in einem regelmäßigen Muster angeordnet sein. The individual measured points and the points of the point cloud can be arranged in an irregular pattern. Nevertheless, the individual measured points and the points of the point cloud can be arranged in a regular pattern.
In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke durch das virtuelle Bediengerät verdeckt werden. Die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke sind jene Punkte, deren Punkt wolkendaten auf Messungen von Punkten auf dem realen Bediengerät zu rückgehen. Indem die mit dem realen Bediengerät korrespondierenden Punkte der Punktwolke verdeckt werden, kommt es nicht zu einer opti schen Irritation des Besatzungsmitglieds, da es nicht zugleich das virtuelle Bediengerät und die mit dem realen Bediengerät korrespondierenden Punk te der Punktwolke sieht. Die Verdeckung kann vorteilhafterweise durch ei ne Darstellung des virtuellen Bediengeräts mit im Vergleich zum Fahrzeug- Bediengerät leicht größeren Abmessungen erfolgen. Die leicht größeren Abmessungen können vorzugsweise in einem für das Besatzungsmitglied nicht wahrnehmbaren Größenbereich liegen, insbesondere unterhalb des Millimeterbereichs und/oder im Bereich einzelner Bildpunkte der Anzeige vorrichtung. In this context, it has proven to be advantageous if the points of the point cloud corresponding to the real operating device are covered by the virtual operating device. The points of the point cloud corresponding to the real operating device are those points whose point cloud data can be traced back to measurements of points on the real operating device. Since the points of the point cloud corresponding to the real operating device are covered, the crew member does not become irritated because they cannot see the virtual operating device and the points of the point cloud corresponding to the real operating device at the same time. The concealment can advantageously take place by means of a display of the virtual operating device with dimensions that are slightly larger than those of the vehicle operating device. The slightly larger dimensions can preferably be in a size range imperceptible to the crew member, in particular below the millimeter range and / or in the range of individual pixels of the display device.
In einer weiteren Ausführungsform der Erfindung werden die Punktwolken daten, insbesondere hinsichtlich den mit dem realen Bediengerät korres pondierenden Punkten, gefiltert. Vorzugsweise erfolgt die Filterung vor dem Darstellen der Punktwolke. Nach der Filterung können die Punkt wolkendaten bis auf die herausgefilterten Punkte oder nur die herausgefil terten Punkte als Punktwolke in der virtuellen Umgebung dargestellt wer-
den. Eine Darstellung von Punkten in der virtuellen Umgebung, welche für das Besatzungsmitglied nicht sichtbar sind, kann rechen leistungssparend vermieden werden. Vorzugsweise kann in dem Server, dem Trainingsrech ner oder dem Rendersystem ein Aussonderungs- Bereich des Aktionsbereichs nach Art eines no-draw-Volumens festgelegt werden. Mit diesem Aussonde rungs-Bereich korrespondierende Punkte können herausgefiltert werden.In a further embodiment of the invention, the point cloud data are filtered, in particular with regard to the points corresponding to the real operating device. The filtering is preferably carried out before the point cloud is displayed. After filtering, the point cloud data can be displayed as a point cloud in the virtual environment, except for the points that have been filtered out, or only the points that have been filtered out. the. A display of points in the virtual environment which are not visible to the crew member can be avoided in a computationally efficient manner. A segregation area of the action area in the manner of a no-draw volume can preferably be defined in the server, the training computer or the rendering system. Points corresponding to this scrap area can be filtered out.
Die mit diesem Aussonderungs-Bereich korrespondierenden Punkte der Punktwolkendaten werden vorteilhafterweise nicht dargestellt. Zu diesem Aussonderungs-Bereich kann insbesondere das reale Bediengerät gehören. Bei der Filterung kann jeder Punkt der Punktwolkendaten darauf geprüft werden, ob er mit einem Punkt aus diesem Aussonderungs-Bereich korres pondiert. Vorteilhafterweise kann die Festlegung nach und/oder bei einem vorherigen Einmessen der Positionen des Bediengeräts erfolgen. The points of the point cloud data corresponding to this separation area are advantageously not displayed. The real operating device, in particular, can belong to this segregation area. During the filtering, each point in the point cloud data can be checked to see whether it corresponds to a point from this rejection area. The definition can advantageously take place after and / or during a previous calibration of the positions of the operating device.
In vorteilhafter Weise wird eine Markierung auf dem realen Bediengerät erkannt und dem realen Bediengerät zugeordnete Punkte in der virtuellen Umgebung werden nicht dargestellt. Durch eine Markierung auf dem realen Bediengerät können mit dem realen Bediengerät korrespondierende Punkte einfach erkannt werden. Die Markierung kann vorteilhafterweise eine flä chige und/oder einfarbige Markierung sein. Insbesondere bei einer einfarbi gen Markierung kann eine besonders einfache und schnelle Filterung von Punktwolkendaten anhand der Farbinformationen der einzelnen Punkte er folgen. A marking on the real operating device is advantageously recognized and points in the virtual environment assigned to the real operating device are not displayed. By marking on the real control device, points corresponding to the real control device can be easily recognized. The marking can advantageously be a flat and / or monochrome marking. Particularly in the case of a single-colored marking, a particularly simple and fast filtering of point cloud data based on the color information of the individual points can ensue.
In einer Ausführungsform wird der Aussonderungs-Bereich relativ zu einem erkennbaren Marker des realen Bediengeräts definiert. Mit dem erkennba ren Marker kann auf einfache Weise ein, insbesondere volumetrischer, Aus sonderungs-Bereich relativ zur Position und/oder Lage des Markers im Akti onsbereich definiert werden.
In einer weiteren Ausführungsform wird der Aussonderungs-Bereich über eine farbliche Markierung des realen Bediengeräts definiert. Die farbliche Markierung kann insbesondere mittels einer Farbkamera erkannt werden. Beispielsweise kann das reale Bediengerät flächig und einfarbig mit einer zuvor definierten Farbe bestrichen oder aus einem Material einer definier ten Farbe gefertigt sein. Sämtliche Punkte der Punktwolkendaten, welche einen dieser Farbe entsprechenden Farbwert aufweisen, können auf einfa che Weise als zu diesem Aussonderungsbereich gehörend erkannt werden. In einer weiteren Ausgestaltung der Erfindung wird zur Erfassung der Positi on und der Lage der Hände des Besatzungsmitglieds ein Deep-Learning- Verfahren genutzt. Bei dem Deep-Learning-Verfahren wird ein künstliches neuronales Netz durch wiederholtes Versuchen einer Handerkennung auf die selbstständige Erkennung von Händen in Bildern geschult. Durch das Deep-Learning-Verfahren kann im laufenden Trainingsbetrieb eine Steige rung der Erkennungsgenauigkeit von Händen erzielt werden. Das Deep- Learning-Verfahren kann auf einfache Weise auf die Erkennung des restli chen Körpers des Besatzungsmitglieds erweitert werden. Vorzugsweise werden nur die durch das Deep-Learning-Verfahren erkannten und mit den Händen und/oder dem Körper des Besatzungsmitglieds korrespondierenden Punkte der Punktwolkendaten weiterverwendet, insbesondere zur Darstel lung in der virtuellen Umgebung und/oder zur Erkennung einer Betätigung des Bediengeräts. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, wenn bei dem Deep-Learning-Verfahren Bildbereiche mit den Händen des Besat zungsmitglieds in 2D-Bildern, insbesondere der Farbkamera, erkannt wer den. Eine Erkennung der Hände kann mit einer Analyse von Unterschieden zeitlich aufeinander folgender 2D-Bilder erfolgen. Nach dem Erkennen kön- nen die die Hände beinhaltende Bildbereiche in den 2D-Bildern für eine weitere Verarbeitung markiert werden.
Weiter vorteilhaft hat es sich erwiesen, wenn den Bildbereichen mit den Händen des Besatzungsmitglieds korrespondierende Punkte der Punktwol kendaten zugeordnet werden. Durch die Zuordnung der Punkte der Punkt wolkendaten können die Position und die Lage der Hände einfach bestimmt werden. In der virtuellen Umgebung können diese Punkte der Punktwolken daten dargestellt werden, ohne dass es zu einer Irritation des Besatzungs mitglieds durch andere im Aktionsbereich gemessene und dargestellte Punkte kommt. Vorzugsweise erfolgt vor der Zuordnung der Bildbereiche eine intrinsische Kalibrierung des 3D-Sensorsystems, bei welchem eine Zu ordnung der Bildpunkte der Tiefenkamera zu den Bildpunkten der 2D- Kamera, insbesondere der Farbkamera, erfolgt. Ebenfalls vorteilhaft erfolgt vor der Zuordnung der Bildbereiche eine extrinsische Kalibrierung des 3D- Sensorsystems, bei welchem die Tiefenkamera hinsichtlich ihrer räumlichen Lage und Orientierung, insbesondere auf ein Koordinatenreferenzsystem, im Trainingsraum kalibriert wird. In one embodiment, the disposal area is defined relative to a recognizable marker of the real operating device. With the recognizable marker, an in particular volumetric separation area can be defined in a simple manner relative to the position and / or location of the marker in the action area. In a further embodiment, the disposal area is defined by means of a colored marking of the real operating device. The colored marking can in particular be recognized by means of a color camera. For example, the real operating device can be coated flat and monochrome with a previously defined color or made from a material of a defined color. All points of the point cloud data which have a color value corresponding to this color can be recognized in a simple manner as belonging to this segregation area. In a further embodiment of the invention, a deep learning method is used to detect the position and the location of the crew member's hands. In the deep learning process, an artificial neural network is trained to independently recognize hands in images through repeated attempts to recognize hands. The deep learning process can increase the recognition accuracy of hands during ongoing training. The deep learning process can easily be extended to the recognition of the rest of the body of the crew member. Preferably, only those points of the point cloud data recognized by the deep learning method and corresponding to the hands and / or body of the crew member are further used, in particular for displaying in the virtual environment and / or for recognizing an actuation of the operating device. In this context, it has proven to be advantageous if, in the deep learning method, image areas are recognized with the crew member's hands in 2D images, in particular the color camera. The hands can be recognized by analyzing differences in 2D images following one another over time. After recognition, the image areas containing the hands can be marked in the 2D images for further processing. It has also proven to be advantageous if corresponding points of the point cloud data are assigned to the image areas with the crew member's hands. By assigning the points to the point cloud data, the position and location of the hands can be easily determined. In the virtual environment, these points of the point cloud data can be displayed without the crew member being irritated by other points measured and displayed in the action area. An intrinsic calibration of the 3D sensor system, in which the image points of the depth camera are assigned to the image points of the 2D camera, in particular the color camera, preferably takes place before the assignment of the image areas. An extrinsic calibration of the 3D sensor system, in which the depth camera is calibrated with regard to its spatial position and orientation, in particular to a coordinate reference system, in the training room is also advantageously carried out before the assignment of the image areas.
Weiterhin hat es sich als vorteilhaft erwiesen, wenn eine Hintergrund tiefenaufnahme vom Trainingsraum und dem Bediengerät erstellt wird. In der Hintergrundtiefenaufnahme kann der Trainingsraum bis auf das oder die Bediengeräte ansonsten leer sein, insbesondere hält sich während der Auf nahme weder das Besatzungsmitglied noch eine andere Person im Trai ningsraum auf. Diese einmalig erstellte Hintergrundtiefenaufnahme kann zur Subtraktion des Hintergrundes nach Art eines „Background subtrac- tion“-Verfahrens genutzt werden. Auf diese Weise werden Raumpunkte er kannt, die vor dieser Hintergrundtiefenaufnahme liegen. Hierdurch wird das Besatzungsmitglied, seine Hände und alles, was sich seit der Aufnahme der Hintergrundtiefenaufnahme verändert hat, auf einfache Weise erkannt. Was vor der Hintergrundtiefenaufnahme liegt, wird innerhalb einer Tole ranzschwelle bestimmt, welche ausreichend groß gewählt wird, um poten tiell rauschende Sensordaten zuverlässig zu filtern. Da die Tiefeninforma-
tionen zusammen mit den Farbinformationen, die Punktwolkendaten bil den, kann eine Darstellung ohne die Irritationen durch die Darstellung von Punkten des Bediengeräts erreicht werden. Besonders vorteilhaft ist die sich ergebende Reduktion der Punktwolkendaten. Nur noch die sich gegen über der Hintergrundtiefenaufnahme veränderten Punkte werden prozes siert, übertragen und dargestellt. Furthermore, it has proven to be advantageous if a background image of the training room and the control unit is created. In the background depth recording, the training room can otherwise be empty except for the operating device (s), in particular neither the crew member nor any other person is in the training room during the recording. This one-time created background depth recording can be used to subtract the background in the manner of a “background subtraction” method. In this way, points in space are recognized that lie in front of this background depth recording. This makes it easy to identify the crew member, their hands and anything that has changed since the background depth view was taken. What lies in front of the background depth recording is determined within a tolerance threshold, which is selected to be sufficiently large to reliably filter potentially noisy sensor data. Since the depth information functions together with the color information that form the point cloud data, a display can be achieved without the irritation caused by the display of points on the control unit. The resulting reduction in point cloud data is particularly advantageous. Only the points that have changed compared to the background depth survey are processed, transferred and displayed.
In einer weiteren vorteilhaften Ausgestaltung wird mindestens ein Signal geber als aktiver Signalgeber zur Positionsbestimmung der Anzeigevorrich tung im Trainingsraum genutzt. Durch den Signalgeber kann die Position der Anzeigevorrichtung im Trainingsraum auf einfache Art und Weise bestimmt werden. Der Signalgeber kann Positionssignale emittieren, welche von der Anzeigevorrichtung zur Positionsbestimmung aufgenommen werden können. Die Positionssignale können hierbei nach Art von Abtastpulsen, welche der Signalgeber in den Trainingsraum emittiert, ausgebildet sein. Vorzugsweise sind diese Abtastpulse mit der Anzeigevorrichtung synchronisiert, insbeson dere hinsichtlich einer gemeinsamen Zeit. Mittels der Zeitdifferenz zwi schen dem Aussenden des Positionssignals durch den Signalgeber und das Empfangen des Positionssignals durch die Anzeigevorrichtung kann die Posi tion der Anzeigevorrichtung relativ zum Signalgeber bestimmt werden. Der Signalgeber kann hierzu eine Abtastung des Trainingsraums mit zeitlich aufeinanderfolgenden Positionssignalen durchführen. Zusätzlich kann mit dem Signalgeber eine Lagebestimmung der Anzeigevorrichtung erfolgen. Insbesondere kann die Anzeigevorrichtung Sensoren, insbesondere ein Gyro skop und/oder einen Beschleunigungssensor, umfassen. Die Sensorwerte dieser Sensoren können zusammen mit dem Positionssignal zur Lagebe stimmung der Anzeigevorrichtung genutzt werden. Der aktive Signalgeber ist vorzugsweise positionsfest im Trainingsraum angeordnet. In a further advantageous embodiment, at least one signal transmitter is used as an active signal transmitter for determining the position of the display device in the training room. The position of the display device in the training room can be determined in a simple manner by the signal transmitter. The signal transmitter can emit position signals which can be picked up by the display device for determining the position. The position signals can be designed in the manner of scanning pulses which the signal transmitter emits into the training room. These sampling pulses are preferably synchronized with the display device, in particular with regard to a common time. By means of the time difference between the transmission of the position signal by the signal transmitter and the reception of the position signal by the display device, the position of the display device relative to the signal transmitter can be determined. For this purpose, the signal generator can scan the training room with position signals that follow one another in time. In addition, the position of the display device can be determined with the signal transmitter. In particular, the display device can include sensors, in particular a gyroscope and / or an acceleration sensor. The sensor values of these sensors can be used together with the position signal to determine the position of the display device. The active signal transmitter is preferably arranged in a fixed position in the training room.
Bei dem Signalgeber kann es sich um eine Laserquelle, insbesondere eine mehrachsige 120-Grad-Laserquelle handeln. Die Laserquelle kann das Posi-
tionssignal räumlich fokussiert emittieren, wodurch eine hohe Präzisions genauigkeit bei der Positionsbestimmung erzielt werden kann. The signal transmitter can be a laser source, in particular a multi-axis 120-degree laser source. The laser source can emit the signal in a spatially focused manner, which means that a high level of precision can be achieved when determining the position.
Ein passiver Signalgeber kann Positionssignale nach Art eines passiven Posi tionserfassungssystems zur Positionsbestimmung der Anzeigevorrichtung bereitstellen. Der passive Signalgeber kann beispielsweise eine oder mehre re Positionskameras umfassen, deren Positionsaufnahmen als Positionssig nale zur Positionsbestimmung mittels einer Bilderkennung weitergeleitet oder vom Signalgeber verarbeitet werden. Über die Positionssignale kann mittels der Bilderkennung auf die Position und Lage der Anzeigevorrichtung im Trainingsraum geschlossen werden, beispielsweise über eine optische Markierung der Anzeigevorrichtung. Der passive Signalgeber kann positions fest im Trainingsraum und/oder an der Anzeigevorrichtung angeordnet oder in die Anzeigevorrichtung integriert sein. Der passive Signalgeber kann die Anzeigevorrichtung im Trainingsraum erfassen, insbesondere in einer Posi tionsaufnahme. Ebenso kann der passive Signalgeber einen VR-Controller des VR-Anzeigesystems erfassen. Alternativ kann der passive Signalgeber den Trainingsraum von der Position der Anzeigevorrichtung aus erfassen.A passive signal transmitter can provide position signals in the manner of a passive position detection system for determining the position of the display device. The passive signal transmitter can, for example, comprise one or more position cameras, the position recordings of which are forwarded as position signals for position determination by means of image recognition or are processed by the signal transmitter. The position signals can be used to infer the position and location of the display device in the training room by means of image recognition, for example via an optical marking of the display device. The passive signal transmitter can be arranged in a fixed position in the training room and / or on the display device or can be integrated into the display device. The passive signal transmitter can detect the display device in the training room, in particular in a position recording. The passive signal transmitter can also detect a VR controller of the VR display system. Alternatively, the passive signal transmitter can detect the training room from the position of the display device.
Das Koordinatensystem des VR-Anzeigesystems kann bei der Einrichtung des VR- Anzeigesystem als insbesondere trainingsraumfestes Koordinatensystem mit einem eindeutigen Koordinatenursprung festgelegt werden. When setting up the VR display system, the coordinate system of the VR display system can be defined as a coordinate system that is fixed in particular to the training room and has an unambiguous coordinate origin.
Die Anzeigevorrichtung kann Sensoren zur Lagebestimmung im Trainings raum umfassen, insbesondere ein Gyroskop und/oder Beschleunigungs sensoren. The display device can include sensors for determining the position in the training room, in particular a gyroscope and / or acceleration sensors.
Vorzugsweise werden mehrere Signalgeber, insbesondere zwei Signalgeber, zur Positionsbestimmung der Anzeigevorrichtung genutzt. Mit mehreren Signalgebern kann eine erhöhte Präzision bei der Positionsbestimmung der Anzeigevorrichtung im Trainingsraum erzielt werden. Die Signalgeber sind vorteilhafterweise an unterschiedlichen Positionen zueinander beabstandet
im Trainingsraum angeordnet. Vor dem Trainingsbeginn werden der oder die Signalgeber sowie das 3D-Sensorsystem bzw. die 3D-Sensorsysteme vor zugsweise aufeinander kalibriert. Die Kalibrierung kann derart erfolgen, dass ein Koordinatensystem des Signalgebers und das Koordinatensystem des 3D-Sensorsystems auf ein gemeinsames Koordinatenreferenzsystem ka libriert werden. Auf diese Weise kann sichergestellt werden, dass ein Punkt im Trainingsraum sowohl relativ zum Signalgeber als auch relativ zum 3D- Sensorsystem als an der gleichen Position im Trainingsraum liegend erkannt wird. A plurality of signal transmitters, in particular two signal transmitters, are preferably used to determine the position of the display device. With a plurality of signal transmitters, increased precision can be achieved when determining the position of the display device in the training room. The signal transmitters are advantageously spaced apart from one another at different positions arranged in the training room. Before the start of the training, the signal generator (s) and the 3D sensor system or the 3D sensor systems are preferably calibrated with one another. The calibration can take place in such a way that a coordinate system of the signal generator and the coordinate system of the 3D sensor system are calibrated to a common coordinate reference system. In this way it can be ensured that a point in the training room is recognized both relative to the signal transmitter and relative to the 3D sensor system as being at the same position in the training room.
Das 3D-Sensorsystem und das VR-Anzeigesystem, welches die Anzeigevor richtung und/oder den Signalgeber umfasst, sind vorteilhafterweise derart aufeinander kalibriert, dass sie den Trainingsraum im Wesentlichen de ckungsgleich erfassen, d. h. einen Raumpunkt im Trainingsraum wird von dem VR-Anzeigesystems und dem 3 D- Sensorsystem als an der gleichen Posi tion liegend erkannt. The 3D sensor system and the VR display system, which includes the display device and / or the signal generator, are advantageously calibrated to one another in such a way that they cover the training room essentially congruently, i.e. H. a point in space in the training room is recognized by the VR display system and the 3-D sensor system as being at the same position.
Die Positionierung des realen Bediengeräts im Trainingsraum kann interak tiv über die virtuelle Darstellung des Fahrzeuginneren in der virtuellen Um gebung zusammen mit der eingeblendeten, insbesondere ungefilterten, Darstellung von Messpunkten als Punktwolke in der virtuellen Umgebung erfolgen. Hierbei kann das Bediengerät markierungslos sein, d. h. keine erfassbaren Markierungen aufweisen. Über die Anzeigevorrichtung kann die virtuelle Darstellung des Bediengeräts visuell wahrgenommen und das reale Bediengerät händisch an die Position, an der es mit dem Bediengerät der virtuellen Darstellung deckungsgleich ist, bewegt werden. Hierzu ist es vor teilhaft, wenn das reale Bediengerät leicht positionierbar und/oder fixier bar ist, insbesondere über Magnete, Nadeln, Schrauben oder Klebemittel oder über Anbindungselemente, wie Rast-, Schraub- und/oder Steckele mente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, Zusammenwirken. Eine besonders
einfache und schnelle Vorgabe einer virtuellen Darstellung, insbesondere eines CAD-Modells eines Fahrzeuginneren kann physisch korrekt abgebildet werden. Bevorzugt wird zur Positionierung an der erfassten Position des realen Be diengeräts in der virtuellen Umgebung ein virtuelles Bediengerät darge stellt. Die Darstellung des virtuellen Bediengeräts kann als virtuelles Modell des Bediengeräts, als virtuelles Modell des Fahrzeug-Bediengeräts oder als eine Punktwolke mit mehreren, die Position und die Umrisse des realen Be- diengeräts darstellenden Punkten ausgebildet sein. Die Lage des virtuellen Bediengeräts entspricht vorzugsweise der Lage der realen Bediengeräts im Trainingsraum. Zur Positionierung wird die in der virtuellen Umgebung dar gestellte Position des realen Bediengeräts mit einer in der virtuellen Umge bung angezeigten Vorgabeposition in Deckung gebracht. Hierzu kann das reale Bediengerät an eine Position im Trainingsraum gebracht werden, wel che der virtuellen Vorgabeposition entspricht, so dass die Darstellung der erfassten Position des realen Bediengeräts in der virtuellen Umgebung mit der Vorgabeposition übereinstimmt. Ferner kann das reale Bediengerät auch in eine entsprechende Vorgabelage gebracht werden. The positioning of the real operating device in the training room can be done interactively via the virtual representation of the vehicle interior in the virtual environment together with the superimposed, in particular unfiltered, representation of measurement points as a point cloud in the virtual environment. In this case, the operating device can have no markings, ie it can have no detectable markings. The virtual representation of the operating device can be visually perceived via the display device and the real operating device can be moved manually to the position at which it is congruent with the operating device of the virtual representation. For this purpose, it is advantageous if the real operating device can be easily positioned and / or fixed bar, in particular via magnets, needles, screws or adhesives or via connecting elements, such as latching, screwing and / or plugging elements, which have connection points, in particular after Type of grooves, latching, screwing and / or plug-in points, interaction. One special simple and quick specification of a virtual representation, in particular a CAD model of a vehicle interior, can be physically correctly mapped. A virtual operating device is preferably shown for positioning at the detected position of the real operating device in the virtual environment. The representation of the virtual operating device can be designed as a virtual model of the operating device, as a virtual model of the vehicle operating device or as a point cloud with several points representing the position and the outline of the real operating device. The position of the virtual operating device preferably corresponds to the position of the real operating device in the training room. For positioning, the position of the real operating device presented in the virtual environment is brought into congruence with a default position displayed in the virtual environment. For this purpose, the real operating device can be brought to a position in the training room which corresponds to the virtual default position, so that the representation of the detected position of the real operating device in the virtual environment matches the default position. Furthermore, the real operating device can also be brought into a corresponding default position.
Eine weitere erfindungsgemäße Ausgestaltung sieht vor, dass die räumli chen Beschränkungen des Fahrzeuginneren über positionierbare Hindernis- Elemente nachgebildet werden. Durch eine Nachbildung der räumlichen Beschränkung des Fahrzeuginneren kann die Realitätsgetreue des Trainings für das Besatzungsmitglied noch weiter gesteigert werden. Während des Trainings kann das Besatzungsmitglied auf diese Weise realitätsgetreu die Beschränkungen des Fahrzeuginneren jenes realen Fahrzeuges, für welches es trainiert wird, physisch wahrnehmen. Hierbei kann das Besatzungsmit glied entsprechend der räumlichen Beschränkung im Fahrzeuginneren den gleichen Einschränkungen in seiner Bewegungsfreiheit ausgesetzt sein, wie es das Besatzungsmitglied auch in realen Einsatzsituationen im realen Fahr-
zeug wäre. Die Positionierbarkeit der Hindernis-Elemente kann eine einfa che Anpassung des Trainingsraums an unterschiedliche Fahrzeugtypen und/oder Besatzungspositionen, auf welchen das Besatzungsmitglied trai niert werden soll, ermöglichen. Another embodiment according to the invention provides that the spatial restrictions of the vehicle interior are simulated via positionable obstacle elements. By simulating the spatial limitation of the vehicle interior, the realism of the training for the crew member can be increased even further. During the training, the crew member can in this way realistically perceive the restrictions of the vehicle interior of the real vehicle for which he is being trained. In this case, the crew member can be exposed to the same restrictions in his freedom of movement in accordance with the spatial restrictions in the vehicle interior as the crew member would also be exposed to in real operational situations in real driving. would be stuff. The ability to position the obstacle elements can enable the training room to be easily adapted to different vehicle types and / or crew positions on which the crew member is to be trained.
Die Hindernis-Elemente können als plattenförmige Elemente ausgebildet sein. Derartige plattenförmige Elemente können eine hohe Flexibilität bei der Nachbildung des Fahrzeuginneren unterschiedlicher Fahrzeugtypen und/oder unterschiedlicher Besatzungspositionen ermöglichen. Gleichwohl können die Hindernis-Elemente eine komplexere Form und/oder Oberflä chenbeschaffenheit aufweisen, mit welchen das Fahrzeuginnere detail getreuer nachgebildet werden kann. The obstacle elements can be designed as plate-shaped elements. Such plate-shaped elements can enable a high degree of flexibility when simulating the vehicle interior of different vehicle types and / or different crew positions. At the same time, the obstacle elements can have a more complex shape and / or surface texture, with which the vehicle interior can be reproduced more faithfully.
Die Hindernis- Elemente können insbesondere nach Art von Wandelementen ausgebildet sein. Wandelemente können im Trainingsraum selbstständig stehend ausgebildet sein. The obstacle elements can in particular be designed in the manner of wall elements. Wall elements can be designed to stand independently in the training room.
Die einzelnen Hindernis-Elemente können zur Positionierung im Trainings raum an verstellbaren Schwanenhalshalterungen, Magie-Arms, Gelenkarmen oder Stativen, in ihrer Position und Lage verstellbar positioniert werden.The individual obstacle elements can be positioned in the training room on adjustable gooseneck brackets, magic arms, articulated arms or tripods, adjustable in their position and location.
Die Positionierung der Hindernis- Elemente erfolgt vorzugsweise auf die gleiche Art und Weise wie die Positionierung der realen Bediengeräte. Ins besondere können die Hindernis- Elemente auch auf einer oder mehreren Trägerplatten positioniert werden, wie dies obenstehend für die realen Be- diengeräte beschrieben ist. The positioning of the obstacle elements is preferably carried out in the same way as the positioning of the real operating devices. In particular, the obstacle elements can also be positioned on one or more carrier plates, as described above for the real operating devices.
In einer bevorzugten Ausgestaltung wird nur ein Teil der räumlichen Be schränkungen des Fahrzeuginneren über die positionierbaren Hindernis- Elemente nachgebildet. Insbesondere kann die Nachbildung der räumlichen Beschränkung des Fahrzeuginneren auf jene Beschränkungen reduziert wer den, welche die Bewegungsfreiheit des Besatzungsmitglieds einschränken
können. Auf diese Weise lassen sich die für das Training neuralgischen Stel len im Fahrzeuginneren nachbilden, ohne dass für das Training nicht rele vante räumliche Beschränkungen aufwendig nachgebildet werden müssten. Vorteilhafterweise kann die Positionierung des Hindernis-Elements mittels der virtuellen Umgebung und einer erfassbaren Markierung des Hindernis- Elements oder einem initialen Einmessen, beispielsweise mit einem Einga begerät eines VR- Anzeigesystems erfolgen, zu welchem die Anzeigevorrich tung gehört. Das Eingabegerät kann nach Art eines Controllers, insbesonde- re eines VR-Controllers, ausgebildet sein. In der virtuellen Umgebung kann die Position des mit dem Hindernis-Element in Berührung bringbaren Con trollers zur Überprüfung der korrekten Position des Hindernis-Elements an gezeigt werden. Die Erfassung mittels einer Markierung kann dabei in re gelmäßigen zeitlichen Abständen zur Laufzeit des Trainings erfolgen, um eine Umpositionierung zu erlauben. In a preferred embodiment, only some of the spatial restrictions of the vehicle interior are simulated via the positionable obstacle elements. In particular, the simulation of the spatial restriction of the interior of the vehicle can be reduced to those restrictions which restrict the freedom of movement of the crew member can. In this way, the critical points in the vehicle interior for training can be reproduced without the need to laboriously reproduce spatial restrictions that are not relevant for training. The obstacle element can advantageously be positioned by means of the virtual environment and a detectable marking of the obstacle element or an initial measurement, for example with an input device of a VR display system to which the display device belongs. The input device can be designed in the manner of a controller, in particular a VR controller. In the virtual environment, the position of the controller that can be brought into contact with the obstacle element can be shown to check the correct position of the obstacle element. The detection by means of a marking can take place at regular time intervals during the training period in order to allow repositioning.
Die Position und Lage der einzelnen Hindernis-Elemente im Trainingsraum kann durch darauf angebrachte Markierungen, insbesondere zur Laufzeit des Trainings und/oder in regelmäßigen zeitlichen Abständen, erfasst wer- den. Diese können optischer Art sein und/oder mit dem gleichen Erfas sungsprinzip erfasst werden, wie die Hände und/oder die realen Bedien elemente. Weiterhin kann die Erfassung der Position und der Lage eines Hindernis- Elements durch eine Messung mittels eines Controllers des VR- Systems erfolgen. The position and location of the individual obstacle elements in the training room can be recorded by markings applied to them, in particular during the training period and / or at regular time intervals. These can be of an optical type and / or can be detected using the same detection principle as the hands and / or the real operating elements. Furthermore, the position and location of an obstacle element can be recorded by a measurement using a controller of the VR system.
Analog zum Bediengerät kann das Hindernis-Element mit einer visuell pas senden, d. h. das Fahrzeuginnere wiedergebenden, Repräsentation in der virtuellen Umgebung zum Training genutzt werden, insbesondere bei aufei nander kalibrierten 3D-Sensorsystemen und VR-Anzeigesystemen. Beispiels- weise kann ein aus grauem Schaumstoff gefertigtes Hindernis-Element in der virtuellen Umgebung wie ein glänzendes Wellblech aussehen. Dies ist
insbesondere vorteilhaft, wenn ein Fahrzeuginneres nicht unmittelbar vor gegeben ist. Analogous to the control unit, the obstacle element can be used for training with a visually matching, ie the vehicle interior reproducing representation in the virtual environment, in particular with calibrated 3D sensor systems and VR display systems. For example, an obstacle element made of gray foam can look like a shiny corrugated iron in the virtual environment. This is particularly advantageous if a vehicle interior is not given immediately before.
Die Positionierung des realen Hindernis-Elements im Trainingsraum kann interaktiv über die virtuelle Darstellung des Fahrzeuginneren in der virtuel len Umgebung zusammen mit der eingeblendeten, insbesondere ungefilter ten, Darstellung von Messpunkten als Punktwolke in der virtuellen Umge bung erfolgen. Hierbei kann das Hindernis-Element markierungslos sein, d. h. keine erfassbaren Markierungen aufweisen. Über die Anzeigevorrich tung kann die virtuelle Darstellung des Fahrzeuginneren visuell wahrge nommen und das reale Hindernis-Element händisch an die Position, an der es mit dem gewünschten Teil der virtuellen Darstellung des Fahrzeuginne ren deckungsgleich ist, bewegt werden. Hierzu ist es vorteilhaft, wenn das Hindernis-Element leicht positionierbar und/oder fixierbar ist, insbesondere über Magnete, Nadeln, Schrauben oder Klebemittel oder über Anbindungs elemente, wie Rast-, Schraub- und/oder Steckelemente, welche mit Anbin dungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, Zusammenwirken. Eine Vorgabe einer virtuellen Darstellung, insbesondere eines CAD-Modells, eines Fahrzeuginneren kann besonders einfach und schnell physisch korrekt nachgebildet werden. The positioning of the real obstacle element in the training room can be done interactively via the virtual representation of the vehicle interior in the virtual environment together with the displayed, in particular unfiltered, representation of measurement points as a point cloud in the virtual environment. Here, the obstacle element can be unmarked, i. H. have no detectable markings. The virtual representation of the vehicle interior can be visually perceived via the display device and the real obstacle element can be moved manually to the position at which it is congruent with the desired part of the virtual representation of the vehicle interior. For this purpose, it is advantageous if the obstacle element can be easily positioned and / or fixed, in particular via magnets, needles, screws or adhesives or via connection elements, such as latching, screw and / or plug-in elements, which with connection points, in particular after Type of grooves, latching, screwing and / or plug-in points, interaction. A specification of a virtual representation, in particular a CAD model, of a vehicle interior can be physically and correctly simulated particularly easily and quickly.
Die oben genannte Aufgabe wird bei einem Trainingssystem zur Durchfüh rung des vorangehend beschriebenen Verfahrens durch ein reales Bedienge rät zur Erzielung eines haptischen Feedbacks und einen Sensor zum Erken nen der Hände des Besatzungsmitglieds g e l ö s t . The above-mentioned task is achieved in a training system for carrying out the method described above by a real operating device for achieving haptic feedback and a sensor for recognizing the hands of the crew member.
Bei diesem Trainingssystem ergeben sich die oben im Zusammenhang mit dem Verfahren beschriebenen Vorteile. This training system has the advantages described above in connection with the method.
Die im Zusammenhang mit dem Verfahren beschriebenen Merkmale können einzeln oder in Kombination auch bei dem Trainingsverfahren zum Einsatz
kommen. Es ergeben sich die gleichen Vorteile, welche bereits beschrieben wurden. The features described in connection with the method can also be used individually or in combination in the training method come. The same advantages result which have already been described.
Bei dem zur Erkennung der Hände des Besatzungsmitglieds genutzten Sen sor kann es sich um ein 3D-Sensorsystem, ein Radarsensor, einen akusti schen Sensor oder eine andere Art eines Sensors handeln. The sensor used to detect the crew member's hands can be a 3-D sensor system, a radar sensor, an acoustic sensor, or some other type of sensor.
Auf konstruktive einfache Art und Weise kann das Bediengerät eine Basis platte aufweisen, auf welche reale Bedienelemente in einer dem virtuellen Bediengerät entsprechenden Anordnung angeordnet sind. Auf diese Weise kann kostengünstig und fertigungstechnisch einfach ein reales Bediengerät hergestellt werden. Die Anordnung einzelner Bedienelemente auf der Ba sisplatte kann beispielsweise über Magnete, Nadeln, Schrauben oder Kle bemittel auf der Basisplatte erfolgen. Bevorzugt kann es sich bei der Basis platte um eine hölzerne oder metallische Platte handeln. Auf einer hölzer nen Platte können die Bedienelemente auf einfache Art und Weise, bei spielsweise durch ein Verschrauben, zur Anordnung befestigt werden. Auf einer metallischen Basisplatte kann die Befestigung der Bedienelemente, beispielsweise magnetisch, erfolgen. Die Bedienelemente können insbeson dere frei auf der Basisplatte angeordnet werden. Alternativ kann die An ordnung über Anbindungselemente erfolgen, insbesondere Rast-, Schraub- und/oder Steckelemente, welche mit Anbindungsstellen, insbesondere nach Art von Nuten, Rast-, Schraub- und/oder Steckstellen, der Basisplatte Zusammenwirken. Die Basisplatte kann hierzu insbesondere nach Art einer Rasterplatte mit in einem regelmäßigen Muster angeordneten Anbindungs stellen ausgebildet sein. Die Basisplatte kann zusammen mit einem oder mehreren an ihr befestigten Bedienelementen, beispielsweise ein Bedien panel oder ein Armaturenbrett, des realen Fahrzeugs als reales Bediengerät im Trainingsraum nachbilden.
Bei dem Bediengerät kann es sich vorteilhafterweise um eine Lenkrad- Konstruktion handeln. Eine Lenkrad-Konstruktion kann sowohl das eigentli che Lenkrad als auch eine Lenkrad-Säule aufweisen. In vorteilhafter weise kann die Lenkrad-Konstruktion einen austauschbaren Lenkrad -Aufsatz auf weisen. Mit einem austauschbaren Lenkrad -Aufsatz kann die Lenkrad- Konstruktion an den jeweils zu simulierenden Fahrzeugtyp auf einfache Art und Weise durch Austausch des Lenkrad-Aufsatzes angepasst werden. In besonders vorteilhafter weise kann der Lenkrad-Aufsatz durch ein 3D- Druckverfahren hergestellt werden. Ein 3D-gedruckter Lenkrad -Aufsatz kann eine schnelle Anpassung der Lenkrad- Konstruktion ermöglichen. In a structurally simple manner, the operating device can have a base plate on which real operating elements are arranged in an arrangement corresponding to the virtual operating device. In this way, a real operating device can be produced inexpensively and in a simple manner in terms of production technology. The arrangement of individual controls on the base plate can be done, for example, using magnets, needles, screws or glue on the base plate. The base plate can preferably be a wooden or metallic plate. On a wood NEN plate, the controls can be attached to the arrangement in a simple manner, for example by screwing. The operating elements can be fastened to a metallic base plate, for example magnetically. In particular, the controls can be freely arranged on the base plate. Alternatively, the arrangement can take place via connection elements, in particular latching, screwing and / or plugging elements, which interact with connection points, in particular in the manner of grooves, latching, screwing and / or plugging points, of the base plate. For this purpose, the base plate can be designed in particular in the manner of a grid plate with connection points arranged in a regular pattern. The base plate can, together with one or more control elements attached to it, for example a control panel or a dashboard, simulate the real vehicle as a real control device in the training room. The operating device can advantageously be a steering wheel construction. A steering wheel construction can have both the actual steering wheel and a steering wheel column. Advantageously, the steering wheel construction can have an exchangeable steering wheel attachment. With an exchangeable steering wheel attachment, the steering wheel construction can be easily adapted to the vehicle type to be simulated by exchanging the steering wheel attachment. In a particularly advantageous manner, the steering wheel attachment can be produced by a 3D printing process. A 3D-printed steering wheel attachment can enable the steering wheel construction to be adapted quickly.
In einer vorteilhaften Ausgestaltung weist das Trainingssystem mehrere Be diengeräte und/oder Hindernis-Elemente nach Art eines Baukastens zur Nachbildung eines Fahrzeuginneren verschiedener Fahrzeugtypen auf. Das Trainingssystem kann durch eine Ausbildung nach Art eines Baukastens hochmodular ausgebildet sein. Abhängig von dem geplanten Training kann das Trainingssystem durch Auswahl und Positionierung der Bediengeräte und/oder Hindernis-Elemente ein Training für unterschiedliche Fahrzeug typen und/oder unterschiedliche Besatzungspositionen ermöglichen. Die Bediengeräte und/oder Hindernis-Elemente können hierbei in dem Trai ningsraum entsprechend dem geplanten Training positioniert und ausge richtet werden. Hierbei kann es vorgesehen sein, dass nicht sämtliche Be diengeräte und/oder Hindernis-Elemente des Trainingssystems zur Nach bildung des Fahrzeuginneren eines jeden Fahrzeugtyps verwendet werden. Im Unterschied zur bekannten Simulationskabine kann eine schnelle und flexible Anpassung an unterschiedliche Trainingssituationen ermöglicht werden. In an advantageous embodiment, the training system has several operating devices and / or obstacle elements in the manner of a construction kit for simulating the interior of a vehicle of different vehicle types. The training system can be designed to be highly modular by being designed in the manner of a building block. Depending on the planned training, the training system can enable training for different vehicle types and / or different crew positions by selecting and positioning the operating devices and / or obstacle elements. The operating devices and / or obstacle elements can be positioned and aligned in the training room in accordance with the planned training. It can be provided here that not all operating devices and / or obstacle elements of the training system are used to simulate the vehicle interior of each vehicle type. In contrast to the known simulation booth, a quick and flexible adaptation to different training situations can be made possible.
In einer konstruktiv vorteilhaften Ausgestaltung der Erfindung sind die Be diengeräte und/oder die Hindernis-Elemente aus leicht zu bearbeitenden Materialien, insbesondere Styropor, Holz oder Kunststoff, hergestellt.
Leicht zu bearbeitende Materialien können eine schnelle Anpassung an un terschiedliche Fahrzeuginnere verschiedener Fahrzeugtypen ermöglichen. Reale Bediengeräte aus leichter zu bearbeitenden Materialien können auf besonders einfache Art und Weise angepasst werden. Durch die Verwen dung von leicht zu bearbeitenden Materialien kann eine schnelle und keine Spezialmaschine erfordernde Herstellung der Bediengeräte, beispielsweise durch manuelles Bearbeiten oder CNC-Fräsen, erzielt werden. Die realen Bediengeräte können gänzlich aus den leicht zu bearbeitenden Materialien hergestellt sein. Alternativ können die realen Bedienelemente eine aus den leicht zu bearbeitenden Materialien hergestellte Grundkonstruktion, insbe sondere eine Basisplatte, aufweisen, auf welche reale Bedienelemente be festigt werden können. Durch die Herstellung aus leicht zu bearbeitenden Materialien kann die Befestigung der realen Bedienelemente besonders ein fach und schnell erfolgen. Die Bediengeräte und/oder Hindernis-Elemente können mehrere Materialien kombinieren. Auf diese Weise können unter schiedliche Oberflächenstrukturen zu einer Erzielung einer realitätsge treuen Haptik des realen Bediengeräts, welche die Haptik des realen Fahr zeug-Bediengeräts besser wiedergibt, beispielsweise durch eine Kombinati on flexibler und harter Materialien, erzielt werden. In a structurally advantageous embodiment of the invention, the operating devices and / or the obstacle elements are made of easy-to-work materials, in particular styrofoam, wood or plastic. Materials that are easy to process can enable quick adaptation to different vehicle interiors of different vehicle types. Real operating devices made of materials that are easier to process can be adapted in a particularly simple manner. By using easy-to-process materials, the control devices can be manufactured quickly and without special machines, for example by manual processing or CNC milling. The real operating devices can be made entirely from easily machined materials. Alternatively, the real operating elements can have a basic structure made from the easily machined materials, in particular a special base plate, onto which real operating elements can be fastened. The fact that it is made from easy-to-process materials means that the real operating elements can be attached particularly quickly and easily. The operating devices and / or obstacle elements can combine several materials. In this way, different surface structures can be achieved to achieve a realistic haptics of the real operating device, which better reproduces the haptics of the real vehicle operating device, for example by a combination of flexible and hard materials.
In besonders vorteilhafter Art und Weise sind die realen Bediengeräte und/oder die Hindernis-Elemente als 3D- Druck-Stücke ausgebildet. 3D- Druck-Stücke lassen sich auf besonders einfache und schnelle Art und Weise mittels eines 3D- Druckverfahrens herstellen. 3D- Druck-Stücke ermöglichen eine sehr flexible Anpassung des Trainingssystems an eine geplante Trai ningssituation. Insbesondere lassen sich mittels 3D-Druck-Stücken anforde rungsabhängig Bediengeräte für ein Training herstellen. Auf eine umfang reiche Vorratshaltung einer Vielzahl von Bediengeräten für unterschiedliche Trainingssituationen kann verzichtet werden. Durch 3D-Druck-Stücke kön nen auch die Hindernis-Elemente anforderungsspezifisch zur Nachbildung eines Fahrzeuginneren eines vorgegebenen Fahrzeugtyps hergestellt wer-
den. Kompliziertere Formen des Fahrzeuginneren können auf arbeitsspa rende Art und Weise erst dann hergestellt werden, wenn sie für ein Trai ning benötigt werden. Die 3D- Druck-Stücke können Bereiche mit unter schiedlichen haptischen Eindrücken aufweisen, beispielsweise glatt, rau, weich, hart oder flexibel. Als 3D-Druck-Stücke hergestellte reale Bedien geräte können mit funktionstüchtigen beweglichen Teilen hergestellt wer den. Auf ein Zusammenbauen nach dem 3D-Druck kann auf einfache Art und Weise verzichtet werden. Beispielsweise kann das reale Bediengerät während des 3D-Drucks bereits mit miteinander mechanisch zusammenwir kenden Komponenten, wie beispielsweise ein Getriebe mit Zahnrädern oder in Aufnahmen bewegliche Schalter, Hebel oder Knöpfe, hergestellt werden. In a particularly advantageous manner, the real operating devices and / or the obstacle elements are designed as 3D printed pieces. 3D printed pieces can be produced in a particularly simple and fast manner using a 3D printing process. 3D printed pieces allow the training system to be adapted very flexibly to a planned training situation. In particular, operating devices for training can be produced, depending on the requirements, by means of 3D printed pieces. There is no need to keep a large number of operating devices in stock for different training situations. Using 3D printed pieces, the obstacle elements can also be produced to replicate the interior of a given vehicle type according to specific requirements. the. More complex shapes of the vehicle interior can only be produced in a labor-saving manner when they are required for training. The 3D printed pieces can have areas with different haptic impressions, for example smooth, rough, soft, hard or flexible. Real operating devices manufactured as 3D printed parts can be manufactured with functional moving parts. There is no need to assemble after 3D printing. For example, the real operating device can already be manufactured during 3D printing with components that interact mechanically with one another, such as a transmission with toothed wheels or switches, levers or buttons that can be moved in receptacles.
Weitere Einzelheiten und Vorteile eines erfindungsgemäßen Verfahrens so wie eines Trainingssystems sollen nachfolgend anhand der in den Figuren schematisch dargestellten Ausführungsbespiele der Erfindung exemplarisch erläutert werden. Darin zeigt: Further details and advantages of a method according to the invention and a training system are to be explained below using the exemplary embodiments of the invention shown schematically in the figures. It shows:
Fig. 1 eine schematische Darstellung eines Trainingsraums aus einerFig. 1 is a schematic representation of a training room from a
Draufsicht und einer Seitenansicht sowie eine Draufsicht auf eine virtuelle Umgebung, Top view and a side view as well as a top view of a virtual environment,
Fig. 2a ein Fahrzeugbediengerät, 2a shows a vehicle control unit,
Fig. 2b ein reales Bediengerät, 2b shows a real operating device,
Fig. 3a, b zwei Ausführungsbeispiele eines realen Bediengeräts, 3a, b two exemplary embodiments of a real operating device,
Fig. 4 eine Trägerplatte, 4 shows a carrier plate,
Fig. 5a-d die Betätigung des realen Bediengeräts und die Anpassung eines virtuellen Bediengeräts,
Fig. 6a, b eine Hand sowie eine Punktwolkendarstellung der Hand, 5a-d show the actuation of the real operating device and the adaptation of a virtual operating device, 6a, b show a hand and a point cloud representation of the hand,
Fig. 7a, b zwei Ausführungsbeispiele eines 3D-Sensorsystems, 7a, b two exemplary embodiments of a 3D sensor system,
Fig. 8 eine Kalibrierung mehrerer 3D-Sensorsysteme aufeinander, 8 shows a calibration of several 3D sensor systems on top of one another,
Fig. 9 erfindungsgemäße Verfahrensabläufe von einer Erfassung der Hände zu deren Darstellung in einer virtuellen Umgebung und 9 shows method sequences according to the invention from a detection of the hands to their representation in a virtual environment and
Fig. 10 eine Kalibrierung des 3D-Sensorsystems und des Signalgebers aufeinander. 10 shows a calibration of the 3D sensor system and the signal transmitter with respect to one another.
Fig. 1 zeigt einen Trainingsraum 200 mit einem darin befindlichen Besat zungsmitglied 100, welches in der Bedienung eines realen Fahrzeugs und insbesondere dessen Fahrzeug-Bediengeräten trainiert werden sollen. Der Trainingsraum 200 befindet sich außerhalb des realen Fahrzeugs und kann insbesondere in einem Gebäude eines Trainingscenters untergebracht sein. Das Besatzungsmitglied 100 kann auf diese Weise trainiert werden, ohne dass das reale Fahrzeug selbst hierfür genutzt werden müsste. Fig. 1 shows a training room 200 with a crew member 100 located therein, who is to be trained in the operation of a real vehicle and in particular its vehicle operating devices. The training room 200 is located outside the real vehicle and can in particular be accommodated in a building of a training center. The crew member 100 can be trained in this way without the real vehicle itself having to be used for this purpose.
Zum Durchführen des Trainings trägt das Besatzungsmitglied 100 eine An zeigevorrichtung 4, welche nach Art einer VR-Brille ausgebildet ist. Diese Anzeigevorrichtung 4 ist kopffest und im Sichtbereich des Besatzungsmit glieds 100 angeordnet, so dass dem Besatzungsmitglied 100 über die Anzei gevorrichtung 4 eine rein virtuelle Umgebung 2 dargestellt werden kann. Ohne dass das Besatzungsmitglied 100 den Trainingsraum 200 verlassen müsste, kann in der virtuellen Umgebung 2 ein Training hinsichtlich der Be dienung der Fahrzeug-Bediengeräte 300 erfolgen, welche als virtuelle Bedi engeräte 3 dargestellt werden. Hierüber hinaus enthält die virtuelle Umge bung 2 auch weitere Darstellungen von nicht real im Trainingsraum 200
vorhandenen Objekten und Gegenständen. In der gezeigten virtuellen Um gebung 2 kann sich das Besatzungsmitglied 100 so beispielsweise in einem Panzerturm 2.1 wiederfinden. Die virtuelle Umgebung 2 weist andere Ab messungen als der Trainingsraum 200 auf. Zwar ist die in Fig. 1 gezeigte virtuelle Umgebung 2 des Panzerturms 2.1 größer als der Trainingsraum 200, gleichwohl können die Abmessungen der virtuellen Umgebung 2 auch kleiner als der Trainingsraum 200 ausfallen. Zudem lassen sich auch andere Objekte, wie beispielsweise eine Waffe 2.2 des Panzerturms 2.1 , in dieser virtuellen Umgebung 2 darstellen. To carry out the training, the crew member 100 wears a display device 4, which is designed in the manner of VR glasses. This display device 4 is fixed to the head and is arranged in the field of view of the crew member 100, so that the crew member 100 can be shown a purely virtual environment 2 via the display device 4. Without the crew member 100 having to leave the training room 200, training can take place in the virtual environment 2 with regard to the operation of the vehicle operating devices 300, which are represented as virtual operating devices 3. In addition, the virtual environment 2 also contains further representations of things that are not actually in the training room 200 existing objects and items. In the virtual environment 2 shown, the crew member 100 can thus find himself in an armored turret 2.1, for example. The virtual environment 2 has different dimensions than the training room 200. Although the virtual environment 2 of the armored tower 2.1 shown in FIG. 1 is larger than the training room 200, the dimensions of the virtual environment 2 can also be smaller than the training room 200. In addition, other objects, such as a weapon 2.2 of the armored turret 2.1, can also be represented in this virtual environment 2.
Zur Steigerung der Realitätsgetreue des Trainings sind in dem Trainings raum 200 reale Bediengeräte 5 angeordnet, welche dem Besatzungsmitglied 100 ein haptisches Feedback bei der Bedienung des virtuellen Bediengeräts 3 geben. Die realen Bediengeräte 5 sind derart in dem Trainingsraum 200 angeordnet, so dass ihre relative Position und Lage zum Besatzungsmitglied 100 jener Position und Lage des virtuellen Bediengeräts 3 zum Besatzungs mitglied 100 in der virtuellen Umgebung 2 entsprechen. Das reale Bedien gerät 5 befindet sich somit im Trainingsraum 200 an der gleichen Position, wie das virtuelle Bediengerät 3, welches dem Besatzungsmitglied 100 in der virtuellen Umgebung 2 dargestellt wird. Da das Besatzungsmitglied 100 über die Anzeigevorrichtung 4 visuell lediglich die virtuelle Umgebung 2 wahrnimmt, ermöglicht das haptische Feedback des dem virtuellen Bedien gerät 3 zugeordneten realen Bediengeräts 5, in der Wahrnehmung des Be satzungsmitglieds 100 dieses virtuelle Bediengerät 3 zu ertasten. Das Besat zungsmitglied 100 streckt hierzu seine Hand 101 zur Betätigung des ihm in der virtuellen Umgebung 2 angezeigten virtuellen Bediengeräts 3 aus und kommt mit dem realen Bediengerät 5 in Kontakt, welches relativ zum Be satzungsmitglied 100 an der gleichen Position und Lage wie das virtuelle Bediengerät 3 angeordnet ist.
Um dem Besatzungsmitglied 100 ein Umsehen in der virtuellen Umgebung 2 zu ermöglichen, sind in dem Trainingsraum 200 zwei Signalgeber 18 ange ordnet. Über diese Signalgeber 18 kann die Position und Lage der Anzeige vorrichtung 4 und somit auch die Position und Lage des BesatzungsmitgliedsTo increase the realism of the training, real operating devices 5 are arranged in the training room 200, which give the crew member 100 haptic feedback when operating the virtual operating device 3. The real operating devices 5 are arranged in the training room 200 in such a way that their position and location relative to the crew member 100 correspond to the position and location of the virtual operating device 3 relative to the crew member 100 in the virtual environment 2. The real operating device 5 is thus located in the training room 200 at the same position as the virtual operating device 3, which is shown to the crew member 100 in the virtual environment 2. Since the crew member 100 only perceives the virtual environment 2 visually via the display device 4, the haptic feedback of the real operating device 5 assigned to the virtual operating device 3 enables the crew member 100 to feel this virtual operating device 3 by touch. The crew member 100 extends his hand 101 to operate the virtual operating device 3 displayed to him in the virtual environment 2 and comes into contact with the real operating device 5, which is in the same position and location as the virtual operating device 3 relative to the crew member 100 is arranged. In order to enable the crew member 100 to look around the virtual environment 2, two signal transmitters 18 are arranged in the training room 200. About this signal generator 18, the position and location of the display device 4 and thus also the position and location of the crew member
100 im Trainingsraum 200 bestimmt werden. Hierzu senden die ortsfesten Signalgeber 18 Positionssignale in den Trainingsraum 200 aus, welche von der Anzeigevorrichtung 4 empfangen werden. Die Anzeigevorrichtung 4 und die Signalgeber 18 sind derart aufeinander synchronisiert, dass aus der empfangenen Zeitdifferenz zwischen dem Aussenden der Positionssignale von einem der Signalgeber 18 bis zum Empfangen jenes Positionssignals durch die Anzeigevorrichtung 4 der Abstand zwischen den jeweiligen Sig nalgebern 18 und der Anzeigevorrichtung 4 bestimmt werden kann. Über die bekannten Abstände zwischen den ortsfesten Signalgebern 18 und der Anzeigevorrichtung 4 wird anschließend eine Triangulation der Position der Anzeigevorrichtung 4 im Trainingsraum 200 durchgeführt. Die Anzeigevor richtung 4 verfügt hierüber hinaus über in der Figur nicht dargestellte Sen soren, insbesondere Lagesensoren, mit welchen auch die Bestimmung der Lage der Anzeigevorrichtung 4 im Trainingsraum 200 möglich ist. Auf diese Weise kann ein Verkippen oder Neigen der Anzeigevorrichtung 4, welche in einem entsprechenden Kippen oder Neigen des Kopfes des Besatzungsmit glieds 100 entspricht, detektiert und bei der Anzeige der virtuellen Umge bung 2 auf der Anzeigevorrichtung 4 berücksichtigt werden. 100 can be determined in the training room 200. For this purpose, the stationary signal generators 18 send position signals into the training room 200, which signals are received by the display device 4. The display device 4 and the signal transmitter 18 are synchronized with one another in such a way that the distance between the respective signal transmitters 18 and the display device 4 is determined from the received time difference between the transmission of the position signals from one of the signal transmitters 18 and the reception of that position signal by the display device 4 can. A triangulation of the position of the display device 4 in the training room 200 is then carried out using the known distances between the stationary signal transmitters 18 and the display device 4. The display device 4 also has sensors (not shown in the figure), in particular position sensors, with which the position of the display device 4 in the training room 200 can also be determined. In this way, a tilting or tilting of the display device 4, which corresponds to a corresponding tilting or tilting of the head of the crew member 100, can be detected and taken into account when the virtual environment 2 is displayed on the display device 4.
Da das Besatzungsmitglied 100 über die Anzeigevorrichtung 4 lediglich die virtuelle Umgebung 2 und nicht das Innere des realen Trainingsraums 200 sieht, kann das Besatzungsmitglied 100 auch nicht die Position und Lage seiner eigenen Hände 101 unmittelbar optisch wahrnehmen. Um die HändeSince the crew member 100 only sees the virtual environment 2 and not the interior of the real training room 200 via the display device 4, the crew member 100 cannot directly visually perceive the position and location of his own hands 101 either. To the hands
101 des Besatzungsmitglieds 100 in der virtuellen Umgebung 2 darstellen zu können, um so ein realitätsgetreueres Trainingserlebnis für das Besat zungsmitglied 100 bereitzustellen, sind in dem Trainingsraum 200 mehrere Sensoren zur Erkennung der Hände 101 des Besatzungsmitglieds 100 ange-
ordnet. In den hier dargestellten Ausführungsbeispielen handelt es sich bei den Sensoren um 3D-Sensorsysteme 7, welche insbesondere als 3D-Kamera- systeme ausgebildet sind. Gleichwohl können für die Handerkennung auch andere Sensoren als die hier dargestellten 3D-Sensorsysteme 7 verwendet werden. Bei den nachfolgend weiter beschriebenen Ausführungsbeispielen kann das 3D-Sensorsystem 7 daher auch durch andere zur Handerkennung geeignete Sensoren ersetzt werden. 101 of the crew member 100 in the virtual environment 2 in order to provide a more realistic training experience for the crew member 100, several sensors for recognizing the hands 101 of the crew member 100 are in the training room 200. arranges. In the exemplary embodiments shown here, the sensors are 3D sensor systems 7, which are designed in particular as 3D camera systems. At the same time, sensors other than the 3D sensor systems 7 shown here can also be used for hand recognition. In the exemplary embodiments described further below, the 3D sensor system 7 can therefore also be replaced by other sensors suitable for hand recognition.
Mit dem 3D-Sensorsystem 7 wird der Aktionsbereich 201 des Besatzungsmit glieds 100 im Trainingsraum 200 überwacht. Bei dem Aktionsbereich 201 handelt es sich um den sich vom realen Bediengerät 5 aus in Richtung des Besatzungsmitglieds 100 erstreckenden Raumbereich innerhalb des Trai ningsraums 200. In diesem Aktionsbereich 201 bewegen sich die Hände 101 des Besatzungsmitglieds 100 zur Betätigung der realen Bediengeräte 5. The action area 201 of the crew member 100 in the training room 200 is monitored with the 3-D sensor system 7. The action area 201 is the space within the training room 200 extending from the real operating device 5 in the direction of the crew member 100. In this action area 201, the hands 101 of the crew member 100 move to operate the real operating devices 5.
Wie in Fig. 1 zu erkennen ist, ist eines der 3D-Sensorsysteme 7 hinter dem Besatzungsmitglied 100 seitlich und nach oben versetzt im TrainingsraumAs can be seen in FIG. 1, one of the 3D sensor systems 7 is behind the crew member 100 to the side and offset upwards in the training room
200 angeordnet. Dieses 3D-Sensorsystem 7 wirft hierbei einen Über- Schulter- Blick auf den Aktionsbereich 201 , so dass nach Möglichkeit eine Verdeckung oder Abschattung der Hände 101 im Aktionsbereich 201 ver mieden werden kann. Auch wenn das Besatzungsmitglied 100 seine Hände 101 zur Betätigung des realen Bediengeräts 5 weit in den Aktionsbereich200 arranged. This 3-D sensor system 7 throws an over-shoulder view of the action area 201 so that, if possible, covering or shading of the hands 101 in the action area 201 can be avoided. Even if the crew member 100 puts his hands 101 far into the area of action to operate the real operating device 5
201 ausstreckt, ermöglicht dieser Über-Schulter-Blick eine weitgehend un gestörte Erfassung der Hände 101 des Besatzungsmitglieds 100 innerhalb der Grenzen des Sensorbereichs 7.1 , ohne dass die Hände 101 , beispiels weise durch die Arme des Besatzungsmitglieds 100, verdeckt werden. 201 extends, this over-the-shoulder view enables a largely undisturbed detection of the hands 101 of the crew member 100 within the limits of the sensor area 7.1, without the hands 101, for example, being covered by the arms of the crew member 100.
Da sich das Besatzungsmitglied 100 im Trainingsraum 200 weitgehend frei bewegen kann, ist es trotz dieses Über- Schulter- Blicks nicht ausgeschlos sen, dass es zu einem Verdecken der Hände 101 des Besatzungsmitglieds 100 kommt, wenn dieses beispielsweise eine andere als die in Fig. 1 darge-
stellte und der Ausgangsposition zum Beginn des Trainings entsprechende Position einnimmt. Um dennoch die Position und die Lage der Hände 101 des Besatzungsmitglieds 100 erfassen zu können, ist in dem Trainingsraum 200 noch ein weiteres 3D-Sensorsystem 7 angeordnet. Dieses ist unterhalb des realen Bediengeräts 5 und vom Besatzungsmitglied 100 zur Seite ver setzt angeordnet, so dass es von schräg unten auf den Aktionsbereich 201 blickt. Eine solche Anordnung der 3D-Sensorsysteme 7 bringt den Vorteil mit sich, dass auch, wenn die Hände 101 im Aktionsbereich 201 aus Sicht eines der 3D-Sensorsysteme 7 verdeckt oder abgeschattet werden, die Posi tion der Hände 101 gleichwohl durch das andere 3D-Sensorsystem 7 erfasst werden kann. Since the crew member 100 can move largely freely in the training room 200, despite this over-the-shoulder view, it cannot be ruled out that the hands 101 of the crew member 100 will be covered if, for example, they are different from those in FIG. 1 presented and assumes the position corresponding to the starting position at the beginning of the training. In order to nevertheless be able to detect the position and the location of the hands 101 of the crew member 100, a further 3D sensor system 7 is arranged in the training room 200. This is arranged below the real operating device 5 and from the crew member 100 to the side ver, so that it looks obliquely from below at the action area 201. Such an arrangement of the 3D sensor systems 7 has the advantage that even if the hands 101 in the action area 201 are covered or shaded from the point of view of one of the 3D sensor systems 7, the position of the hands 101 is nonetheless caused by the other 3D sensor system 7 can be recorded.
Wenngleich die hier dargestellten Ausführungen dieses Beispiels lediglich mit zwei 3D-Sensorsystemen 7 dargestellt sind, so können in dem Trainings raum 200 gleichwohl auch darüber hinaus weitere 3D-Sensorsysteme 7 an geordnet werden, wodurch die Wahrscheinlichkeit einer Verdeckung der Hände 101 gegenüber sämtlichen 3D-Sensorsystemen 7 weiter verringert werden kann und die Zuverlässigkeit der Erfassung von Position und Lage der Hände 101 weiter gesteigert wird. Although the embodiments of this example shown here are only shown with two 3D sensor systems 7, further 3D sensor systems 7 can also be arranged in the training room 200, which increases the likelihood of the hands 101 being covered from all 3D sensor systems 7 can be further reduced and the reliability of the detection of the position and location of the hands 101 is further increased.
Zudem sind in dem Trainingsraum 200 auch positionierbare Hindernis- Elemente 19 angeordnet. Aus Gründen der Übersichtlichkeit ist in Fig. 1 lediglich ein Hindernis-Element 19 dargestellt, wobei auch weitere Hinder nis-Elemente 19 in dem Trainingsraum 200 angeordnet sein können. Mit die sem Hindernis-Element 19 können die räumlichen Beschränkungen des Fahrzeuginneren eines realen Fahrzeugs wiedergegeben werden. Bei dem Training stimmen diese räumlichen Beschränkungen dabei mit den räumli chen Gegebenheiten überein, wie sie in der virtuellen Umgebung 2 vorhan den und dem Besatzungsmitglied 100 über die Anzeigevorrichtung 4 darge stellt werden. Bewegt sich das Besatzungsmitglied 100 innerhalb des Trai ningsraums 2 derart, dass dies zu einer Kollision mit weiteren Elementen im
Fahrzeuginneren oder der Fahrzeugwand führen würde, so wird durch das Hindernis-Element 19 ein entsprechendes Feedback an das Besatzungsmit glied 100 gegeben. Anders als bei anderen rein virtuellen Simulationen, bei welchen virtuelle Wände auf einfache Weise durchdrungen werden können, wird durch ein Anstoßen an das Hindernis-Element 19, welches sich an der gleichen Position relativ zum Besatzungsmitglied 100 im Trainingsraum 200 wie ein entsprechendes virtuelles Hindernis 2.3 - hier ein Teil der Innen wand des Panzerturms 2.1 - in der virtuellen Umgebung 2 befindet, ein Durchdringen eines solchen virtuellen Hindernisses realitätsgetreu verhin dert. In addition, obstacle elements 19 that can be positioned are also arranged in the training room 200. For the sake of clarity, only one obstacle element 19 is shown in FIG. 1, with further obstacle elements 19 also being able to be arranged in the training room 200. With this obstacle element 19, the spatial restrictions of the vehicle interior of a real vehicle can be reproduced. During the training, these spatial restrictions coincide with the spatial conditions as they are in the virtual environment 2 and the crew member 100 via the display device 4 is Darge. If the crew member 100 moves within the training room 2 in such a way that this leads to a collision with other elements in the Vehicle interior or the vehicle wall would result, a corresponding feedback is given to the occupation member 100 by the obstacle element 19. In contrast to other purely virtual simulations, in which virtual walls can be penetrated in a simple manner, the obstacle element 19, which is in the same position relative to the crew member 100 in the training room 200 as a corresponding virtual obstacle 2.3 - Here part of the inner wall of the armored turret 2.1 - located in the virtual environment 2, a penetration of such a virtual obstacle realistically prevented.
Wie in der Fig. 1 dargestellt, bildet die Kombination aus Anzeigevorrichtung 4, realem Bedienelement 5, 3D-Sensorsystem 7 und Signalgeber 18 ein kon struktiv einfaches Trainingssystem 1. Je nach Anwendungsfall kann das Trainingssystem 1 in unterschiedlichen Trainingsräumen 200 eingerichtet werden. Auf diese Weise lässt sich beispielsweise ein ansonsten als Büro genutzter Raum zu einem Trainingsraum 200 für ein virtuelles Training um funktionieren. Die einzelnen Komponenten des Trainingssystems 1 können je nach zu simulierendem Fahrzeugtyp anders in dem Trainingsraum 200 eingerichtet werden und der Trainingsraum 200 auf diese Weise flexibel an ein durchzuführendes Training angepasst werden. Das Trainingssystem 1 umfasst darüber hinaus noch weitere, nicht in dem dargestellten Training zum Einsatz kommende Elemente, wie weitere reale Bediengeräte 5 oder Hindernis-Elemente 19, welche eine andere Form als das in Fig. 1 darge stellte Hindernis-Element 19 aufweisen. Das Trainingssystem 1 ist nach Art eines Baukastens ausgebildet, mit welchem variabel das Fahrzeuginnere verschiedener Fahrzeugtypen trainingsabhängig nachgebildet werden kön nen. As shown in FIG. 1, the combination of display device 4, real operating element 5, 3D sensor system 7 and signal transmitter 18 forms a structurally simple training system 1. Depending on the application, training system 1 can be set up in different training rooms 200. In this way, for example, a room otherwise used as an office can be converted into a training room 200 for virtual training. The individual components of the training system 1 can be set up differently in the training room 200 depending on the type of vehicle to be simulated, and the training room 200 can in this way be flexibly adapted to a training to be carried out. The training system 1 also includes further elements that are not used in the training shown, such as further real operating devices 5 or obstacle elements 19, which have a different shape than the obstacle element 19 shown in FIG. 1. The training system 1 is designed in the manner of a modular system, with which the vehicle interior of different vehicle types can be modeled depending on training.
In Fig. 2a ist ein Fahrzeug-Bediengerät 300 gezeigt, wie es in einem Fahr zeug verbaut ist und für dessen Bedienung das Besatzungsmitglied 100 mit-
tels des Trainingssystems 1 trainiert werden soll. Im realen Fahrzeug dient dieses Fahrzeug-Bediengerät 300 der Steuerung sowie der Anzeige von Fahrzeugfunktionen und Fahrzeugzuständen, beispielsweise die Steuerung der Fahrzeugbeleuchtung oder einer Waffe, die Anzeige der Einsatzbereit schaft einer Waffe oder der Bedienung eines Funkgerätes. Hierzu weist das Fahrzeug- Bediengerät 300 mindestens ein Fahrzeug-Bedienelement 301 auf, über welches das Besatzungsmitglied 100 durch Betätigung des Fahrzeug- Bedienelements 301 und damit durch Betätigung des Fahrzeug-Bediengeräts 300 eine entsprechende Bedienungseingabe tätigen kann. In Fig. 2a, a vehicle control device 300 is shown as it is installed in a vehicle and for its operation the crew member 100 with by means of the training system 1 is to be trained. In the real vehicle, this vehicle operating device 300 is used to control and display vehicle functions and vehicle states, for example to control the vehicle lighting or a weapon, to display the readiness for use of a weapon or to operate a radio device. For this purpose, the vehicle operating device 300 has at least one vehicle operating element 301, via which the crew member 100 can make a corresponding operating input by operating the vehicle operating element 301 and thus by operating the vehicle operating device 300.
Bei dem dargestellten Fahrzeug-Bediengerät 300 sind insgesamt sechs Fahr zeug-Bedienelemente 301 von insgesamt drei unterschiedlichen Typen vor gesehen. Bei diesen Fahrzeug-Bedienelementen 301 handelt es sich zum einen um drei nebeneinander angeordnete Kippschalter 301a, von denen der rechte Kippschalter 301a in einer unteren und die beiden anderen Kipp schalter 301a in einer oberen Kippstellung dargestellt sind. Hierunter ist ein Drehregler 301b angeordnet, welcher in unterschiedliche Drehstellungen gebracht werden kann. Damit das Besatzungsmitglied 100 im Fahrzeug die se Drehstellung des Drehreglers 301b erkennen kann, ist der Drehregler 301b mit einem Pfeil versehen, welcher es dem Besatzungsmitglied 100 er möglicht, auf einen ersten Blick die Drehstellung des Drehreglers 301b visu ell wahrzunehmen. Neben dem Drehregler 301b ist eine Taste 301c ange ordnet, welche von dem Besatzungsmitglied 100 durch Drücken betätigt werden kann. Unter dem Drehregler 301b und der Taste 301c ist ein Schlüs selschalter 301 d angeordnet. In diesen Schlüsselschalter 301 d wird zur Be tätigung ein Schüssel 301e eingesteckt, welcher in Fig. 2a bereits einge steckt dargestellt ist. Durch den Schlüssel 301 e wird eine Drehverriegelung des Schlüsselschalters 301 d freigegeben, so dass das Besatzungsmitglied 100 über ein Drehen des Schlüssels 301 e den Schlüsselschalter 301 d betäti gen kann.
Oberhalb der Fahrzeug-Bedienelemente 301 weist das dargestellte Fahr zeug-Bediengerät 300 mehrere Fahrzeug-Anzeigeelemente 302 auf, welche nach Art von Lampen ausgebildet sind. Die einzelnen Fahrzeug-Anzeigeele mente 302 können unterschiedliche Funktionsstellungen der Fahrzeug- Bedienelemente 301 anzeigen und/oder zur Darstellung unterschiedlicher Fahrzeugzustände oder Zuständen von fahrzeugverbauten Geräten, wie Funkgeräten oder einem Waffensystem, dienen. Die sich zwischen den Fahrzeug- Bedienelementen 301 sowie den Fahrzeug-Anzeigeelementen 302 erstreckende Oberfläche 303 des Fahrzeug-Bediengeräts 300 kann weitere Anzeigen, wie beispielsweise feste Skalen für den Drehregler 301b oder Be schriftungen aufweisen. Darüber hinaus zeichnet sich die Oberfläche 303 durch ihre Struktur und Textur aus, welche das Besatzungsmitglied 100 er tasten kann und so eine praktische Wahrnehmung des Fahrzeug-Bedien geräts 300 gestattet und zudem je nach Struktur der Oberfläche 303, d. h. deren Oberflächenverlauf im dreidimensionalen Raum, eine Bedienung des Fahrzeug- Bediengeräts 300 erleichtern kann. Hierzu kann die Oberfläche 303 beispielsweise in Fig. 2a nicht dargestellte Bereiche aufweisen, an wel chen das Besatzungsmitglied 100 seine Hand 101 zur präziseren Bedienung des Fahrzeug-Bediengeräts 300 abstützen kann. In the vehicle operating device 300 shown, a total of six vehicle operating elements 301 of a total of three different types are seen before. These vehicle controls 301 are, on the one hand, three toggle switches 301a arranged next to one another, of which the right toggle switch 301a is shown in a lower and the other two toggle switches 301a are shown in an upper toggle position. A rotary control 301b, which can be brought into different rotary positions, is arranged below this. So that the crew member 100 in the vehicle can recognize this rotary position of the rotary control 301b, the rotary control 301b is provided with an arrow, which enables the crew member 100 to visually perceive the rotary position of the rotary control 301b at a first glance. In addition to the rotary control 301b, a button 301c is arranged, which can be actuated by the crew member 100 by pressing. A key switch 301d is arranged under the rotary control 301b and the button 301c. In this key switch 301d, a key 301e is inserted for actuation, which is shown already inserted in FIG. 2a. A twist lock of the key switch 301 d is released by the key 301 e, so that the crew member 100 can actuate the key switch 301 d by turning the key 301 e. Above the vehicle operating elements 301, the illustrated vehicle operating device 300 has a plurality of vehicle display elements 302 which are designed in the manner of lamps. The individual vehicle display elements 302 can display different functional positions of the vehicle operating elements 301 and / or serve to display different vehicle states or states of devices installed in the vehicle, such as radios or a weapon system. The surface 303 of the vehicle operating device 300 extending between the vehicle operating elements 301 and the vehicle display elements 302 can have further displays, such as fixed scales for the rotary control 301b or lettering. In addition, the surface 303 is characterized by its structure and texture, which the crew member 100 he can touch and thus allows a practical perception of the vehicle control device 300 and also depending on the structure of the surface 303, ie its surface course in three-dimensional space, a Operation of the vehicle operating device 300 can facilitate. For this purpose, the surface 303 can have areas not shown in FIG. 2a, for example, on which the crew member 100 can support his hand 101 for more precise operation of the vehicle operating device 300.
Das in der Fig. 2a dargestellte Fahrzeug-Bediengerät 300 stellt lediglich ein exemplarisches Beispiel dar. Je nach Fahrzeugtyp und Besatzungsposition können auch andere Fahrzeug-Bediengeräte 300 mit hiervon abweichenden Abmessungen, anders angeordneten Fahrzeug-Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302 oder mit anderen oder weiteren Fahrzeug- Bedienelementen 301 und Fahrzeug-Anzeigeelementen 302, auch eines an deren Typs, vorgesehen sein. Beispielsweise kann es sich bei dem Fahrzeug- Bediengerät 300 auch um ein Lenkrad oder ein Pedal handeln. In Fig. 2b ist ein reales Bediengerät 5 dargestellt, wie es zum Training des Besatzungsmitglieds 100 erfindungsgemäß verwendet wird. Dieses reale
Bediengerät 5 ist dem in Fig. 2a dargestellten Fahrzeug-Bediengerät 300 nachgebildet, wobei insbesondere die relative Position der realen Bedien elemente 5.1 jenen der Fahrzeug-Bedienelementen 301 entspricht. Wie auch bei den Fahrzeug-Bediengerät 300 weist das reale Bediengerät 5 ins gesamt sechs reale Bedienelemente 5.1 auf. Auch beim realen Bediengerät 5 sind dies drei nebeneinander angeordnete Kippschalter 5.1a, wobei der linke Kippschalter 5.1a in einer unteren und die übrigen beiden Kippschal ter 5.1a in einer oberen Kippstellung dargestellt sind, welche den Kipp stellungen der Kippschalter 301a entsprechen. The vehicle operating device 300 shown in FIG. 2a represents only an exemplary example. Depending on the vehicle type and occupation position, other vehicle operating devices 300 with dimensions that differ from this, differently arranged vehicle operating elements 301 and vehicle display elements 302 or with different or further vehicle operating elements 301 and vehicle display elements 302, also of a different type, may be provided. For example, the vehicle operating device 300 can also be a steering wheel or a pedal. A real operating device 5 is shown in FIG. 2b, as it is used according to the invention for training the crew member 100. This real one Operator control device 5 is modeled on the vehicle operator control device 300 shown in FIG. 2a, the relative position of the real operator control elements 5.1 corresponding in particular to that of the vehicle operator control elements 301. As with the vehicle operating device 300, the real operating device 5 has a total of six real operating elements 5.1. In the real operating device 5, too, these are three toggle switches 5.1a arranged next to one another, the left toggle switch 5.1a being shown in a lower and the other two toggle switches 5.1a in an upper toggle position, which correspond to the toggle positions of the toggle switches 301a.
Da die Anforderungen an das reale Bediengerät 5 geringer sind als jene an das Fahrzeug-Bediengerät 300, da dieses beispielsweise keinen Einsatz wäh rend einer rauen Geländefahrt wie das Fahrzeug-Bediengerät 300 ohne Funktionseinschränkungen überstehen muss, kann ein anderes Kippschalter fabrikat für die Kippschalter 5.1a verwendet werden als dies beim Kipp schalter 301a des Fahrzeug-Bediengeräts 300 der Fall ist. Dieses einfachere Fabrikat eines Bedienelements 5.1 kann beispielsweise weniger robust aus gebildet sein, so dass sich hierdurch Kosten in der Anschaffung des realen Bedienelements 5.1 einsparen lassen. Dieser Fabrikatunterschied ist in der Fig. 2b durch das Fehlen des schematischen Kastens, wie er in Fig. 2a um die Kippschalter 301a gezeigt ist, um den Kippschaltern 5.1a angedeutet. Since the requirements placed on the real control device 5 are lower than those placed on the vehicle control device 300, since it does not have to withstand use during rough terrain like the vehicle control device 300 without functional restrictions, for example, another toggle switch can be manufactured for the toggle switch 5.1a are used than is the case with the toggle switch 301a of the vehicle operating device 300. This simpler make of a control element 5.1 can be made less robust, for example, so that costs in the acquisition of the real control element 5.1 can be saved as a result. This difference in make is indicated in FIG. 2b by the lack of the schematic box, as shown in FIG. 2a around the toggle switches 301a, around the toggle switches 5.1a.
Unter diesen Kippschaltern 5.1a angeordnet, weist das reale Bediengerät 5 einen Drehregler 5.1b auf, welcher durch ein Drehen in unterschiedlichen Stellungen gebracht werden kann. Im Unterschied zum Drehregler 301b ist dieser Drehregler 5.1b jedoch einfacher ausgestattet und weist beispiels weise nicht den Pfeil des Drehreglers 301b auf. Neben dem Drehregler 5.1b ist eine Taste 5.1c in der gleichen relativen Position zu den übrigen realen Bedienelementen 5.1 angeordnet, wie die Taste 301c relativ zu den Fahr zeug-Bedienelementen 301.
Im unteren Bereich weist das reale Bediengerät 5 einen Drehschalter 5.1 d auf, welcher an die Position des Schlüsselschalters 301b des Fahrzeug- Bedienelements 301 tritt. Auf diese Weise kann der komplizierte und einen Schlüssel 301 e erfordernde Schlüsselschalter 301 d des Fahrzeug-Bedien geräts 300 auf einfachere Weise nachgebildet werden. Der Drehschalter 5.1 d weist hierbei einen fest mit ihm verbundenen Griff 5.1e auf, welcher an die Stelle des Schlüssels 301 e zur Betätigung tritt. Arranged under these toggle switches 5.1a, the real operating device 5 has a rotary control 5.1b, which can be brought into different positions by turning. In contrast to the rotary control 301b, this rotary control 5.1b is more simply equipped and, for example, does not have the arrow of the rotary control 301b. In addition to the rotary control 5.1b, a key 5.1c is arranged in the same position relative to the other real operating elements 5.1 as the key 301c relative to the vehicle operating elements 301. In the lower area, the real operating device 5 has a rotary switch 5.1 d, which moves to the position of the key switch 301b of the vehicle operating element 301. In this way, the complicated key switch 301 d of the vehicle operating device 300, which requires a key 301 e, can be simulated in a simpler manner. The rotary switch 5.1 d here has a handle 5.1e firmly connected to it, which takes the place of the key 301 e for actuation.
Anders als das Fahrzeug- Bediengerät 300 mit seinen Fahrzeug-Anzeige- elementen 302 weist das reale Bediengerät 5 keine Anzeigeelemente auf. Derartige Anzeigeelemente bei dem realen Bediengerät 5 vorzusehen, ist für das erfindungsgemäße Verfahren nicht erforderlich, da das Besatzungs mitglied 100 durch die Anzeigevorrichtung 4 ohnehin lediglich die rein vir tuelle Umgebung 2 wahrnimmt und somit etwaig an dem realen Bedienge rät 5 vorhandene Anzeigevorrichtungen nicht wahrnehmen könnte. Unlike the vehicle operating device 300 with its vehicle display elements 302, the real operating device 5 has no display elements. Providing such display elements in the real operating device 5 is not necessary for the method according to the invention, since the crew member 100 only perceives the purely virtual environment 2 through the display device 4 and thus could not perceive any display devices present on the real operating device 5.
Das reale Bediengerät 5 weist in der in der Fig. 2b dargestellten Ausfüh rungsform zusätzlich einen als Markierung an ihm angebrachten Marker 14 auf, welcher hier nach Art eines QR-Codes ausgebildet ist. Über diesen Marker 14 kann das reale Bediengerät 5 bei der Durchführung des Verfah rens erkannt werden. Durch die zweidimensionale Ausgestaltung des Mar kers 14 kann dieser zusätzlich auch eine Bestimmung der Position und Lage des realen Bediengeräts 5 im Trainingsraum 200 ermöglichen. In the embodiment shown in FIG. 2b, the real operating device 5 also has a marker 14 attached to it as a marker, which is designed here in the manner of a QR code. The real operating device 5 can be recognized via this marker 14 when the method is being carried out. Due to the two-dimensional design of the marker 14, it can also enable the position and location of the real operating device 5 in the training room 200 to be determined.
Alternativ kann die Positionsmarkierung über eine farbliche Markierung des realen Bediengeräts 5 erfolgen, welche von dem 3D-Sensorsystem 7 er kennbar ist. So wird beispielsweise das reale Bediengerät 5 flächig und ein farbig mit einer zuvor definierten Farbe bestrichen oder aus Material der definierten Farbe gefertigt.
In der einfachsten Ausgestaltung des realen Bediengeräts 5 weist dieses lediglich eine plane Oberfläche 21 auf, welche nicht der Oberfläche 303 des Fahrzeug-Bediengeräts 300 nachgebildet ist. Die ermöglicht eine kon struktiv einfache Nachbildung des Fahrzeug-Bediengeräts 300, in dem ledig lich die in erster Linie für das Trainingsverfahren relevante relative Lage der Bedienelemente 5.1 gemäß jenen Fahrzeug-Bedienelementen 301 nach gebildet werden, welche durch die virtuellen Bediengeräte 3 simuliert wer den. Hierbei können die realen Bedienelemente 5.1 und somit das gesamte reale Bediengerät 5 dem Besatzungsmitglied 100 ein haptisches Feedback geben, welches jenem Feedback entspricht, welches das Besatzungsmit glied 100 bei einer Betätigung der Fahrzeug-Bedienelemente 301 im realen Fahrzeug erfahren würde. Gleichwohl kann das reale Bediengerät 5 auch weitere Merkmale des Fahrzeug-Bediengeräts 300 insbesondere dessen Oberfläche 303 nachbilden, wie dies im Zusammenhang mit den Fig. 3 nachfolgend näher beschrieben wird. Um das reale Bediengerät 5 im Trai ningsraum 200 positionieren zu können, weist dieses Anbindungselemente 6 auf, welche im dargestellten Ausführungsbeispiel nach Art von gelochten Laschen ausgebildet sind. Über diese Anbindungselemente 6 kann bei spielsweise eine Schraubverbindung hergestellt werden, mit welcher das reale Bediengerät 5 im Trainingsraum 200 angeordnet werden kann. Alternatively, the position marking can take place via a colored marking of the real operating device 5, which can be recognized by the 3D sensor system 7. For example, the real operating device 5 is coated two-dimensionally and one color with a previously defined color or is made of material of the defined color. In the simplest embodiment of the real operating device 5, this only has a planar surface 21, which is not modeled on the surface 303 of the vehicle operating device 300. This enables a structurally simple simulation of the vehicle operating device 300, in which only the relative position of the operating elements 5.1, which is primarily relevant for the training method, is reproduced according to those vehicle operating elements 301 that are simulated by the virtual operating devices 3. The real operating elements 5.1 and thus the entire real operating device 5 can give the crew member 100 haptic feedback that corresponds to the feedback that the crew member 100 would experience when the vehicle operating elements 301 were actuated in the real vehicle. Nevertheless, the real operating device 5 can also simulate further features of the vehicle operating device 300, in particular its surface 303, as will be described in more detail below in connection with FIG. 3. In order to be able to position the real operating device 5 in the training room 200, this has connection elements 6 which, in the exemplary embodiment shown, are designed in the manner of perforated tabs. For example, a screw connection with which the real operating device 5 can be arranged in the training room 200 can be established via these connection elements 6.
Die Fig. 3a zeigt eine einfache Ausgestaltung des realen Bediengeräts 5 in einer Seitenansicht. Wie zu erkennen ist, weist das reale Bediengerät 5 ei nen Kippschalter 5.1a sowie einen Drehregler 5.1b auf. Diese beiden realen Bedienelemente sind auf einer Basisplatte 20 befestigt, bei welcher es sich beispielsweise um eine Holz- oder Metallplatte handeln kann, und die eine einfache Befestigung der realen Bedienelemente 5.1 ermöglicht. Die realen Bedienelemente sind hierbei nicht elektrisch verbunden, so dass diese dem Besatzungsmitglied 100 lediglich ein haptisches Feedback geben. Die ein zelnen Bedienelemente 5.1 können hierbei entweder mechanisch betätig bar sein, beispielsweise kann es sich hier um funktionstüchtige 3D-Aus-
drucke nach Art eines rein haptischen Dummys oder auch elektrische funk tionstüchtige Bedienelemente handeln, welche lediglich in keinem Schalt kreis eingebunden sind. Alternativ kann es sich bei den realen Bedienele menten 5.1 auch um starre Nachbildungen der Fahrzeug-Bedienelemente 301 handeln, welche mechanisch nicht in ihrer Stellung veränderbar sind und dem Besatzungsmitglied 100 so als rein haptischer Dummy ein passives haptisches Feedback lediglich hinsichtlich der Position und Lage des realen Bedienelements 5.1 liefert. Ein derartiges, auch mechanisch nicht funkti onstüchtiges reales Bediengerät 5 ermöglicht bei dem Training jedoch kein Feedback hinsichtlich einer Betätigungsstellung des dem Besatzungsmit glieds 100 dargestellten virtuellen Bedienelements 3.1 des virtuellen Be diengeräts 3. 3a shows a simple embodiment of the real operating device 5 in a side view. As can be seen, the real operating device 5 has a toggle switch 5.1a and a rotary control 5.1b. These two real operating elements are fastened on a base plate 20, which can be a wooden or metal plate, for example, and which enables the real operating elements 5.1 to be fastened easily. The real operating elements are not electrically connected here, so that they only give the crew member 100 haptic feedback. The individual operating elements 5.1 can either be operated mechanically, for example, they can be functional 3D displays. Prints in the manner of a purely haptic dummy or electrical functional control elements that are simply not integrated into any circuit. Alternatively, the real operating elements 5.1 can also be rigid replicas of the vehicle operating elements 301, which cannot be mechanically changed in their position and provide the crew member 100 as a purely haptic dummy with passive haptic feedback only with regard to the position and location of the real one Control element 5.1 supplies. Such a real operating device 5, which is also mechanically non-functional, does not allow any feedback during training with regard to an actuation position of the virtual operating element 3.1 of the virtual operating device 3 shown to the crew member 100.
Auf der den realen Bedienelementen 5.1 gegenüberliegenden Seite der Ba sisplatte 20 sind zwei Anbindungselemente 6 nach Art von Steckstiften aus gebildet, welche in korrespondierend ausgebildeten Anbindungsstellen im Trainingsraum 200 eingesteckt werden können, um so das reale Bediengerät 5 frei positionieren zu können. On the side of the base plate 20 opposite the real operating elements 5.1, two connection elements 6 are formed in the manner of plug-in pins, which can be plugged into correspondingly configured connection points in the training room 200 in order to be able to position the real operating device 5 freely.
In Fig. 3b ist ein aufwendigeres reales Bediengerät 5 gezeigt. Auch dieses weist Anbindungselemente 6 auf, welche zur Befestigung einer Basisplatte 20 im Trainingsraum 200 genutzt werden können. Wie auch das in Fig. 3a gezeigte einfache reale Bediengerät 5, weist auch dieses reale Bediengerät 5 reale Bedienelemente 5.1 auf, bei welchen es sich zum einen um einen Kippschalter 5.1a und eine Taste 5.1c handelt. Anders als bei dem kon struktiv einfachen Ausführungsbeispiel in Fig. 3a sind diese realen Bedien elemente 5.1 nicht nur mechanisch, sondern auch elektrisch funktionsfähig. So wird von dem in Fig. 3b gezeigten realen Bediengerät 5 ein elektrisches Signal bei Betätigung eines der realen Bedienelemente 5.1 erzeugt. Hierzu sind die realen Bedienelemente 5.1 über Schaltkreisbahnen 26 in einen Schaltkreis integriert. Von einer Energieversorgung 23 werden diese realen
Bedienelemente 5.1 mit Energie versorgt. Durch Betätigung des realen Be dienelements 5.1, beispielsweise durch ein Umlegen des Kippschalters 5.1a, kann ein Stromkreis geschlossen und so ein elektrisches Signal erzeugt werden. Im dargestellten Ausführungsbeispiel wäre dies beispielsweise ein Schließen des Stromkreises zwischen der Energieversorgung 23 und einem Mikrocontroller 25 über den Kippschalter 5.1a. A more complex real operating device 5 is shown in FIG. 3b. This also has connection elements 6 which can be used to fasten a base plate 20 in the training room 200. Like the simple real operating device 5 shown in FIG. 3a, this real operating device 5 also has real operating elements 5.1, which are, on the one hand, a toggle switch 5.1a and a button 5.1c. Unlike the structurally simple embodiment in Fig. 3a, these real operating elements 5.1 are not only mechanically, but also electrically functional. Thus, an electrical signal is generated by the real operating device 5 shown in FIG. 3b when one of the real operating elements 5.1 is actuated. For this purpose, the real operating elements 5.1 are integrated into a circuit via circuit tracks 26. These become real from a power supply 23 Control elements 5.1 supplied with energy. By actuating the real operating element 5.1, for example by flipping the toggle switch 5.1a, a circuit can be closed and an electrical signal can be generated. In the exemplary embodiment shown, this would be, for example, closing the circuit between the energy supply 23 and a microcontroller 25 via the toggle switch 5.1a.
In dem Mikrocontroller 25 können die einzelnen elektrischen Signale der realen Bedienelemente 5.1 zusammenlaufen und verarbeitet werden. An- schließend werden die Signale an ein WLAN-Modul 24 übermittelt, welche eine Datenübertragung von dem realen Bediengerät 5 zu einem hier nicht dargestellten Server oder Trainingsrechner ermöglicht. Über das elektrische Signal wird auf diese Weise die Veränderung des realen Bediengeräts 5 er fasst und zur Beeinflussung der virtuellen Umgebung 2 weiterverwendet. The individual electrical signals of the real operating elements 5.1 can converge and be processed in the microcontroller 25. The signals are then transmitted to a WLAN module 24, which enables data to be transmitted from the real operating device 5 to a server or training computer (not shown here). In this way, the change in the real operating device 5 is recorded via the electrical signal and used to influence the virtual environment 2.
In Fig. 3b ist eine kabellose Umsetzung dargestellt, wobei gleichwohl auch eine kabelgebundene Umsetzung des realen Bediengeräts 5 möglich ist, bei welchem sowohl die Energieversorgung als auch die Datenübertragung nicht über die hier als kapazitives Element dargestellte Energieversorgung 23 und das WLAN-Modul 24, sondern je über ein in das reale Bediengerät 5 hinein führendes Kabel erfolgt. 3b shows a wireless implementation, although a wired implementation of the real operating device 5 is also possible, in which both the energy supply and the data transmission are not via the energy supply 23 and the WLAN module 24, shown here as a capacitive element, but rather takes place via a cable leading into the real operating device 5.
Hierüber hinaus weist das reale Bediengerät 5 der Fig. 3b eine Oberfläche 21 auf, welcher der Oberfläche des virtuellen Bediengeräts 3 nachgebildet ist. Da das virtuelle Bediengerät 3 selbst wiederum dem Fahrzeug-Bedien gerät 300 nachgebildet ist, stellt somit auch die Oberfläche 21 des realen Bediengeräts 5 eine Nachbildung der Oberfläche 303 des Fahrzeug-Bedien geräts 300 dar. Die Oberfläche 21 kann dem Besatzungsmitglied 100 sowohl eine realitätsgetreue Auflage für seine Hand 101 bei der Betätigung der einzelnen Bedienelemente 5.1 des realen Bediengeräts 5 bieten als auch eine Haptik bereitstellen, welche jener des Fahrzeug-Bediengeräts 300 ent-
spricht. Die Oberfläche 21 kann insbesondere hinsichtlich ihrer Rauigkeit, Glätte, Festigkeit und sonstiger Struktur jener Oberfläche 303 des Fahr zeug-Bediengeräts 300 nachgebildet sein. In addition, the real operating device 5 of FIG. 3 b has a surface 21 which is modeled on the surface of the virtual operating device 3. Since the virtual operating device 3 itself is in turn modeled on the vehicle operating device 300, the surface 21 of the real operating device 5 thus also represents a replication of the surface 303 of the vehicle operating device 300. The surface 21 can provide the crew member 100 with a realistic overlay for his hand 101 when actuating the individual operating elements 5.1 of the real operating device 5 as well as providing a haptic which corresponds to that of the vehicle operating device 300. speaks. The surface 21 can be reproduced in particular with regard to its roughness, smoothness, strength and other structure of that surface 303 of the vehicle control device 300.
Wie auch das Hindernis-Element 19 kann das sowohl in Fig. 3a als auch in Fig. 3b gezeigte reale Bediengerät 5 aus leicht zu bearbeitenden Materia lien hergestellt sein, insbesondere aus Kunststoff. Insbesondere das in Fig. 3b dargestellte reale Bediengerät 5 kann mittels eines 3D-Druckverfahrens hergestellt werden, ohne dass ein späteres Zusammensetzen erforderlich ist. Bei diesem 3D- Druckverfahren können die elektrischen Schaltkreise von vornherein in das 3D-Druck-Stück während des Ausdruckens eingefügt wer den. Insbesondere die realen Bedienelemente 5.1 können bei einem 3D- Druck-Stück mit mechanisch zusammenwirkenden und ineinandergreifenden beweglichen Teilen ohne die Notwendigkeit eines späteren Zusammenbaus ausgedruckt werden. Like the obstacle element 19, the real operating device 5 shown both in FIG. 3a and in FIG. 3b can be made of easy-to-process materia lien, in particular plastic. In particular, the real operating device 5 shown in FIG. 3b can be produced by means of a 3D printing process without the need for subsequent assembly. With this 3D printing process, the electrical circuits can be inserted into the 3D printed part from the outset while it is being printed out. In particular, the real operating elements 5.1 can be printed out in a 3D printed part with mechanically interacting and interlocking moving parts without the need for subsequent assembly.
In Fig. 4 ist eine Trägerplatte 12 gezeigt, auf welche das reale Bediengerät 5 positioniert werden kann. Bei der Trägerplatte 12 kann sich um eine ein fache Holzplatte handeln, auf welche ein reales Bediengerät 5, wie in Fig. 2b dargestellt, über laschenförmige Anbindungselemente 6 verschraubt werden kann. Hierbei ist das reale Bediengerät frei auf der Trägerplatte 12 positionierbar, welche wiederum frei im Trainingsraum 200 positioniert werden kann. Die Ausgestaltung der Trägerplatte 12, wie sie in Fig. 4 dar gestellt ist, weist hierüber hinaus zusätzlich Anbindungsstellen 12.1 auf. Diese Anbindungsstellen 12.1 sind in einem regelmäßigen Muster auf der Trägerplatte 12 angeordnet. In diesen Anbindungsstellen 12.1 können An bindungselemente 6 der realen Bediengeräte 5 zur Befestigung und somit zur Positionierung im Trainingsraum 200 eingreifen. Wie in den Fig. 3 und 4 dargestellt, sind die Anbindungselemente 6 und die Anbindungsstellen 12.1 derart ausgestaltet, dass sie nach Art einer Steckverbindung zusammenwir-
ken. Gleichwohl können sie auch nach Art von Rastverbindungen, Klemm verbindungen oder Nutenführungen zusammenwirkend ausgebildet sein. 4 shows a carrier plate 12 on which the real operating device 5 can be positioned. The carrier plate 12 can be a simple wooden plate onto which a real operating device 5, as shown in FIG. 2b, can be screwed via tab-shaped connecting elements 6. Here, the real operating device can be freely positioned on the carrier plate 12, which in turn can be freely positioned in the training room 200. The design of the carrier plate 12, as it is shown in Fig. 4, also has attachment points 12.1. These connection points 12.1 are arranged in a regular pattern on the carrier plate 12. In these connection points 12.1, connection elements 6 of the real operating devices 5 can intervene for fastening and thus for positioning in the training room 200. As shown in FIGS. 3 and 4, the connection elements 6 and the connection points 12.1 are designed in such a way that they work together in the manner of a plug-in connection. ken. Nevertheless, they can also be designed to work together in the manner of latching connections, clamping connections or groove guides.
In Fig. 5 ist die Betätigung des realen Bediengeräts 5 sowie die Anpassung des virtuellen Bediengeräts 3 hieran dargestellt. Der Aufbau des in Fig. 5 dargestellten realen Bediengeräts 5 entspricht jenen des in Fig. 2b darge stellten realen Bediengeräts 5. Der mittlere Kippschalter 5.1a des realen Bediengeräts 5 befindet sich in Fig. 5a in seiner oberen Kippstellung. Wäh rend des Trainings sieht das Besatzungsmitglied 100 über die Anzeigevor- richtung 4 nicht das reale Bediengerät 5, sondern das in Fig. 5b dargestellte virtuelle Bediengerät 3. Dieses virtuelle Bediengerät 3 ist eine virtuelle Nachbildung des in Fig. 2a dargestellten Fahrzeug-Bediengeräts 300. Neben virtuellen Bedienelementen 3.1 weist dieses virtuelle Bediengerät 3 auch virtuelle Anzeigeelemente 3.2 auf, welche als Art von Lampen dargestellt sind. Die Betätigungsstellungen der virtuellen Bedienelemente 3.1 entspre chen jenen Betätigungsstellungen des realen Bediengeräts 5. 5 shows the actuation of the real operating device 5 and the adaptation of the virtual operating device 3 to it. The structure of the real operating device 5 shown in FIG. 5 corresponds to that of the real operating device 5 shown in FIG. 2b. The middle toggle switch 5.1a of the real operating device 5 is in its upper tilted position in FIG. 5a. During the training, the crew member 100 does not see the real operating device 5 via the display device 4, but rather the virtual operating device 3 shown in FIG. 5b. This virtual operating device 3 is a virtual replica of the vehicle operating device 300 shown in FIG. 2a. In addition to virtual operating elements 3.1, this virtual operating device 3 also has virtual display elements 3.2, which are shown as types of lamps. The operating positions of the virtual operating elements 3.1 correspond to those operating positions of the real operating device 5.
Will das Besatzungsmitglied 100 nun während des Trainings das virtuelle Bediengerät 3 betätigen, so streckt es seine Hand 101 aus, bis diese mit dem realen Bediengerät 5 in Kontakt kommt. Das reale Bediengerät 5 gibt dem Besatzungsmitglied 100 auf diese Weise ein haptisches Feedback, so dass dieser in seiner Wahrnehmung das real nicht vorhandene virtuelle Be diengerät 3 ertasten kann. Im hier dargestellten Beispiel erfolgt die Betäti gung des realen Bediengeräts 5 durch das Umlegen des mittleren Kippschal- ters 5.1a von seiner oberen Kippstellung in eine untere Kippstellung, wie dies in Fig. 5c dargestellt ist. Diese Betätigung des realen Bediengeräts 5 führt zunächst lediglich zu einer Änderung des realen Bediengeräts 5, ohne dass dies dem Besatzungsmitglied 100 visuell über die Anzeigevorrichtung 4 dargestellt wird. Um dem Besatzungsmitglied 100 auch eine visuelle Rück- meldung über die durchgeführte Betätigung zu geben, wird die Betätigung des realen Bediengeräts 5 erfasst. Dies kann entweder über eine hier nicht
dargestellte Gestenerkennung erfolgen, bei welcher die Handbewegung des Besatzungsmitglieds 100 bei der für die jeweilige Betätigung charakteristi schen Bewegung verfolgt und als entsprechende Betätigung des realen Be diengeräts erkannt wird. Alternativ oder zusätzlich kann die Erfassung der Betätigung des realen Bediengeräts 5 durch die Erfassung der Veränderung des realen Bediengeräts 5 erfolgen. Dies kann beispielsweise, wie im Zu sammenhang mit Fig. 3b beschrieben, mittels eines elektrischen Signals erfolgen, welches bei der Betätigung des realen Bediengeräts 5 erzeugt wird. If the crew member 100 now wants to operate the virtual operating device 3 during the training, he extends his hand 101 until it comes into contact with the real operating device 5. In this way, the real operating device 5 gives the crew member 100 haptic feedback, so that he can feel the virtual operating device 3, which does not actually exist, in his perception. In the example shown here, the real operating device 5 is actuated by moving the middle toggle switch 5.1a from its upper tilted position to a lower tilted position, as shown in FIG. 5c. This actuation of the real operating device 5 initially only leads to a change in the real operating device 5, without this being visually displayed to the crew member 100 via the display device 4. In order to also give the crew member 100 visual feedback on the actuation carried out, the actuation of the real operating device 5 is recorded. This can either not be about one here gesture recognition shown, in which the hand movement of the crew member 100 is followed in the characteristic movement for the respective actuation rule and is recognized as a corresponding actuation of the real Be operating device. As an alternative or in addition, the actuation of the real operating device 5 can be detected by detecting the change in the real operating device 5. This can be done, for example, as described in connection with FIG. 3b, by means of an electrical signal which is generated when the real operating device 5 is actuated.
Die erfasste Betätigung des realen Bediengeräts 5, welche von Fig. 5a zur Fig. 5c in der Veränderung der Kippstellung des Kippschalters 5.1a liegt, wird durch einen hier nicht dargestellten Server oder Trainingsrechner ver arbeitet. Hieran anschließend wird abhängig von der erfassten Betätigung die virtuelle Umgebung 2 verändert. Diese Veränderung entspricht in der Fig. 5d der Anpassung des virtuellen Bedienelements 3.1 an die geänderte Betätigungsstellung des realen Bedienelements 5.1a, so dass auch das als mittlerer Kippschalter dargestellte virtuelle Bedienelement 3.1 nunmehr in einer unteren Kippstellung dargestellt wird. Hierüber hinaus erfolgt mit dem Aufleuchten des virtuellen Anzeigeelements 3.2 eine weitere Verände rung der virtuellen Umgebung 2, was einer Reaktion auf die Betätigung ent spricht, wie sie auch in einem realen Fahrzeug bei Betätigung eines Fahr zeug-Bedienelements 301 eines Fahrzeug-Bediengeräts 300 erfolgen würde. The detected actuation of the real operating device 5, which lies in the change of the tilt position of the toggle switch 5.1a from FIG. 5a to FIG. 5c, is processed by a server or training computer, not shown here. The virtual environment 2 is then changed as a function of the detected actuation. This change corresponds in FIG. 5d to the adaptation of the virtual operating element 3.1 to the changed actuation position of the real operating element 5.1a, so that the virtual operating element 3.1 shown as a central toggle switch is now also shown in a lower tilted position. In addition, when the virtual display element 3.2 lights up, there is a further change in the virtual environment 2, which corresponds to a reaction to the actuation, as would also take place in a real vehicle when a vehicle control element 301 of a vehicle control device 300 is actuated .
In Fig. 6 ist eine mögliche Erfassung der Lage und Position der Hand 101 des Besatzungsmitglieds 100 dargestellt. Fig. 6a zeigt hierbei die Hand 101 des Besatzungsmitglieds 100, welche sich innerhalb der Grenzen des Sensorbe reichs 7.1 des 3D-Sensorsystems 7 befindet. Um die Position und Lage der Hand 101 zu erfassen, misst das 3D-Sensorsystem 7 die Position einer Viel zahl einzelner Punkte auf der Hand 101. Die einzeln zu messenden Punkte werden in der virtuellen Umgebung 2, wie in Fig. 6b gezeigt, als Punkte
13.1 einer Punktwolke 13 dargestellt. Wenngleich die einzelnen Punkte 13.1 in Fig. 6b in einem unregelmäßigen Muster angeordnet sind, können die Punkte 13.1 sowie die mit ihnen korrespondierenden Messpunkte auf der Hand 101 des Besatzungsmitglieds 100 auch in einem regelmäßigen Muster angeordnet sein. Die in der virtuellen Umgebung 2 dargestellte Punktwolke 13 ermöglicht es, dem Besatzungsmitglied 100 seine Hand 101 in der virtuellen Umgebung 2 visuell wahrzunehmen, ohne diese unmittel bar zu sehen. FIG. 6 shows a possible detection of the location and position of the hand 101 of the crew member 100. 6a shows the hand 101 of the crew member 100, which is located within the limits of the sensor area 7.1 of the 3D sensor system 7. In order to detect the position and posture of the hand 101, the 3D sensor system 7 measures the position of a large number of individual points on the hand 101. The points to be measured individually are shown as points in the virtual environment 2, as shown in FIG. 6b 13.1 of a point cloud 13 is shown. Although the individual points 13.1 in FIG. 6b are arranged in an irregular pattern, the points 13.1 and the measurement points corresponding to them on the hand 101 of the crew member 100 can also be arranged in a regular pattern. The point cloud 13 shown in the virtual environment 2 enables the crew member 100 to visually perceive his hand 101 in the virtual environment 2 without seeing it directly.
Auf gleiche Weise ist auch eine Erfassung der Lage und Position des realen Bediengeräts 5 möglich, insbesondere bei der interaktiven Positionierung des realen Bediengeräts 5 im Trainingsraum 200. In the same way, it is also possible to detect the location and position of the real operating device 5, in particular during the interactive positioning of the real operating device 5 in the training room 200.
Bei der Positionierung im Trainingsraum 200 kann auf ein virtuelles Modell des Bediengeräts 5 zur Darstellung der Position des realen Bediengeräts 5 in der virtuellen Umgebung 2 verzichtet werden. Mit den gemessenen Punkten kann die erfasste Position des realen Bediengeräts 5 direkt in der virtuellen Umgebung 2 dargestellt werden. When positioning in the training room 200, a virtual model of the operating device 5 for displaying the position of the real operating device 5 in the virtual environment 2 can be dispensed with. With the measured points, the recorded position of the real operating device 5 can be displayed directly in the virtual environment 2.
Mit dem 3D-Sensorsystem 7 kann der gesamten Aktionsbereich 201 erfasst werden, so dass neben den mit dem realen Bediengerät 5 korrespondieren den Messpunkten auch weitere Messpunkte erfasst werden. Die Punkt wolkendaten 13.2 werden zur Erfassung der Position des realen Bedienge räts 5 daher einer Filterung unterzogen und in solche Punkte unterteilt, welche dem realen Bediengerät 5 zugeordnet werden können, und jene Punkte, welche anderen Objekten im Aktionsbereich 201 oder die keinem Objekt zugeordnet werden können. Die Zuordnung der Punkte zum realen Bediengerät 5 kann beispielsweise über die Erkennung des in Fig. 2b darge stellten Markes 14 erfolgen. Ausgehend von dem Marker 14 können die Ab messungen und /oder die Relativpositionen des realen Bediengeräts 5 oder ein Positionsbereich im Aktionsbereich 201 definiert sein, welcher das reale
Bediengerät 5 umfasst. Alle Punkte 13 in diesem Positionsbereich können dabei dem realen Bediengerät 5 zuzuordnen werden. The entire action area 201 can be recorded with the 3D sensor system 7, so that in addition to the measurement points corresponding to the real operating device 5, further measurement points are also recorded. The point cloud data 13.2 are therefore subjected to filtering in order to detect the position of the real operating device 5 and are subdivided into those points which can be assigned to the real operating device 5 and those points which can be assigned to other objects in the action area 201 or which cannot be assigned to any object . The assignment of the points to the real operating device 5 can take place, for example, by recognizing the mark 14 shown in FIG. 2b. Starting from the marker 14, the dimensions and / or the relative positions of the real operating device 5 or a position area in the action area 201 can be defined, which is the real Control device 5 includes. All points 13 in this position area can be assigned to the real operating device 5.
Alternativ kann ein Positionsbereich über eine farbliche Markierung des rea- len Bediengeräts 5 definiert werden, welche durch eine Farbkamera 9 des 3D-Sensorsystems 7 erkannt werden kann. So wird beispielsweise das reale Bediengerät 5 flächig und einfarbig mit einer zuvor definierten Farbe be strichen oder aus Material einer definierten Farbe gefertigt. Während der Erfassung des realen Bediengeräts 5 und der Messung der einzelnen Punkte können dann sämtliche Punkte der Punktwolkendaten 13.2, welche einen dieser Farbe entsprechenden Farbwert aufweisen, als zu diesem Positions bereich gehörend erkannt werden. Die in diesem Positionsbereich liegenden Punkte 13 gehören somit zum realen Bediengerät 5 und können als solche in der virtuellen Umgebung 2 dargestellt werden und/oder zur Positionsbe- Stimmung der realen Bediengeräts 5 im Trainingsraum 200 genutzt werden. Alternatively, a position area can be defined via a colored marking of the real operating device 5, which can be recognized by a color camera 9 of the 3D sensor system 7. For example, the real operating device 5 is coated flat and monochrome with a previously defined color or made of material of a defined color. During the acquisition of the real operating device 5 and the measurement of the individual points, all points of the point cloud data 13.2 which have a color value corresponding to this color can then be recognized as belonging to this position area. The points 13 located in this position area thus belong to the real operating device 5 and can be displayed as such in the virtual environment 2 and / or used to determine the position of the real operating device 5 in the training room 200.
Zwei mögliche Ausführungsformen des 3D-Sensorsystems 7 sowie die Be stimmung der Position der Hand 101 mit diesen ist in den Fig. 7a und 7b dargestellt. Mit den dargestellten 3D-Sensorsystemen 7 lässt sich hierbei nicht nur die Position und Lage der Hand 101 des Besatzungsmitglieds 100 erfassen, sondern sie eignen sich auch vielmehr dazu, auch andere Objekte im Aktionsbereich 201, wie beispielsweise dessen Arme 102 oder gesamten den Körper oder das reale Bediengerät 5, zu erfassen. Ebenso kann auch die Position und Lage des realen Bediengeräts 5 erfasst werden. Two possible embodiments of the 3D sensor system 7 and the determination of the position of the hand 101 with this is shown in FIGS. 7a and 7b. With the 3D sensor systems 7 shown, not only can the position and location of the hand 101 of the crew member 100 be recorded, but they are also more suitable for detecting other objects in the action area 201, such as his arms 102 or the entire body or the real operating device 5 to be recorded. The position and location of the real operating device 5 can also be recorded.
Das in Fig. 7a dargestellte 3D-Sensorsystem 7 umfasst eine Farbkamera 9, welche zwischen zwei Teilkameras 8.1 einer stereo-optischen Tiefenkamera 8 angeordnet ist. Die Farbkamera 9 kann ein zweidimensionales Farbbild innerhalb der Grenzen des Sensorbereichs 7.1 erfassen. Mittels der Farbka- mera 9 kann den Punkten 13.1 der Punktwolke 13 ein jeweiliger Farbwert
zugeordnet werden, welcher jenem Farbwert der korrespondierenden Punkte im Trainingsraum 200 entspricht. The 3-D sensor system 7 shown in FIG. 7 a comprises a color camera 9, which is arranged between two partial cameras 8.1 of a stereo-optical depth camera 8. The color camera 9 can capture a two-dimensional color image within the limits of the sensor area 7.1. By means of the color camera 9, a respective color value can be assigned to the points 13.1 of the point cloud 13 which corresponds to that color value of the corresponding points in the training room 200.
Mit den beiden Teilkameras 8.1 der stereo-optischen Tiefenkamera 8 lässt sich der Abstand A der Hand 101 zu dem 3D-Sensorsystem 7 messen. Hierzu nimmt jede der Teilkameras 8.1 simultan ein eigenständiges Bild der Hand 101 auf. Da die Hand 101 im Trainingsraum 200 von den beiden TeilkamerasThe distance A between the hand 101 and the 3D sensor system 7 can be measured with the two partial cameras 8.1 of the stereo-optical depth camera 8. For this purpose, each of the partial cameras 8.1 simultaneously records an independent image of the hand 101. Since the hand 101 in the training room 200 from the two partial cameras
8.1 jeweils in einem anderen Raumwinkel a, ß relativ zu ihrer jeweiligen Geradeausrichtung R gesehen wird und der Abstand der beiden Teilkameras8.1 is seen in a different solid angle α, β relative to their respective straight-ahead direction R and the distance between the two partial cameras
8.1 zueinander konstruktiv bekannt ist, kann der Abstand A einzelner Punk te auf der Hand 101 und somit auch der gesamten Hand 101 durch Triangu lation ermittelt werden. 8.1 is known structurally to one another, the distance A of individual points can te on the hand 101 and thus also the entire hand 101 can be determined by triangulation.
In Fig. 7b ist ein weiteres 3D-Sensorsystem 7 gezeigt, welches ebenfalls eine Farbkamera 9 aufweist, welche die gleiche Funktion wie die in Fig. 7a gezeigte Farbkamera 9 erfüllt. Hierüber hinaus weist das in Fig. 7b darge stellte 3 D- Sensorsystem 7 eine Tiefenkamera 8 nach Art einer time-of- flight- Kamera mit einem Sende-Modul 8.2 und einem Empfangs-Modul 8.3 auf. Anders als bei einer stereo-optischen Kamera erfolgt die Bestimmung des Abstands A der Hand 101 zum 3D-Sensorsystem 7 nicht über eine Trian gulation mit mehreren Aufnahmen, sondern über die Laufzeit eines Licht pulses 10. Hierbei emittiert das Sende-Modul 8.2 diesen Lichtpuls 10, wel cher von der Hand 101 als reflektierter Puls 11 zurückgeworfen wird und auf einen Lichtsensor 8.4 des Empfangs-Moduls 8.3 trifft. Der vom Sende- Modul 8.2 emittierte Lichtpuls 10 kann als breitgefächerter Puls emittiert werden, welcher insbesondere zwischen den Grenzen des SensorbereichsIn Fig. 7b, a further 3D sensor system 7 is shown, which also has a color camera 9, which fulfills the same function as the color camera 9 shown in Fig. 7a. In addition, the 3 D sensor system 7 shown in FIG. 7b has a depth camera 8 in the manner of a time-of-flight camera with a transmission module 8.2 and a reception module 8.3. In contrast to a stereo-optical camera, the distance A between the hand 101 and the 3D sensor system 7 is not determined via a triangulation with several recordings, but rather via the transit time of a light pulse 10. Here, the transmission module 8.2 emits this light pulse 10 which is thrown back by the hand 101 as a reflected pulse 11 and hits a light sensor 8.4 of the receiving module 8.3. The light pulse 10 emitted by the transmission module 8.2 can be emitted as a wide-ranging pulse, which in particular lies between the limits of the sensor area
7.1 liegenden Bereichs abdecken kann. Alternativ kann es sich bei dem Lichtpuls 10 um einen fokussierten Puls handeln, welchen das Sende-Modul7.1 can cover the lying area. Alternatively, the light pulse 10 can be a focused pulse, which the transmission module
8.2 zur Abrasterung des sich zwischen den Grenzen des Sensorbereichs 7.1 erstreckenden Bereichs jeweils zeitlich versetzt entlang einer anderen Raumrichtung emittiert.
Um über die Laufzeit des Lichtpulses 10 und des reflektierten Pulses 11 den Abstand A der Hand von dem 3D-Sensorsystem 7 bestimmen zu können, sind das Sende-Modul 8.2 und das Empfangs-Modul 8.3 derart miteinander syn chronisiert, dass die Zeit zwischen dem Emittieren des Lichtpulses 10 durch das Sende-Modul 8.2 und das Detektieren des reflektierten Pulses 11 durch den Lichtsensor 8.4 des Empfangs-Moduls 8.3 genau bestimmt werden kann. Aus dieser Zeitdifferenz sowie der bekannten Ausbreitungsgeschwindigkeit des Lichtpulses 10 sowie des reflektierten Pulses 11 lässt sich der Abstand A bestimmen. Hierbei werden insbesondere kurze Lichtpulse 10 im Bereich von wenigen Nanosekunden und darunter verwendet, welches vorzugsweise im Infrarotbereich liegen. 8.2 for scanning the area extending between the boundaries of the sensor area 7.1 is emitted in a time offset along a different spatial direction. In order to be able to determine the distance A of the hand from the 3-D sensor system 7 over the transit time of the light pulse 10 and the reflected pulse 11, the transmission module 8.2 and the reception module 8.3 are synchronized with one another in such a way that the time between emitting of the light pulse 10 can be precisely determined by the transmitter module 8.2 and the detection of the reflected pulse 11 by the light sensor 8.4 of the receiver module 8.3. The distance A can be determined from this time difference and the known propagation speed of the light pulse 10 and the reflected pulse 11. Here, in particular, short light pulses 10 in the range of a few nanoseconds and below are used, which are preferably in the infrared range.
Wie im Zusammenhang mit Fig. 1 beschrieben, werden zur Steigerung der Genauigkeit mehrere 3D-Sensorsysteme 7 verwendet. Um mit diesen 3D- Sensorsystemen 7 eine möglichst genaue Erfassung der Position und Lage der Hände 101 des Besatzungsmitglieds 100 zu ermöglichen, werden die 3D- Sensorsysteme 7 vor dem Trainingsbeginn aufeinander kalibriert, wie dies in Fig. 8 dargestellt ist. Im oberen Teil der Fig. 8 ist der Trainingsraum 200 mit zwei darin angeordneten 3D-Sensorsystemen 7 gezeigt. Jedes der 3D- Sensorsysteme 7 weist ein eigenes Koordinatensystem B1 , B2 auf, in wel chem die Position eines durch das jeweilige 3D-Sensorsystem 7 gemessenen Raumpunktes P bestimmt wird. Hierüber hinaus ist in dem Trainingsraum 200 auch ein Koordinatenreferenzsystem B0 dargestellt, auf welches die 3D-Sensorsysteme 7 kalibriert werden sollen. Dieses Koordinatenreferenz system B0 kann hierbei ein Koordinatensystem eines dritten 3D-Sensor- systems 7 sein oder auch beispielsweise ein der Anzeigevorrichtung 4 zuge ordnetes Koordinatensystem sein. As described in connection with FIG. 1, several 3D sensor systems 7 are used to increase the accuracy. In order to enable the position and location of the hands 101 of the crew member 100 to be recorded as precisely as possible with these 3D sensor systems 7, the 3D sensor systems 7 are calibrated with one another before the start of training, as shown in FIG. The upper part of FIG. 8 shows the training room 200 with two 3D sensor systems 7 arranged therein. Each of the 3D sensor systems 7 has its own coordinate system B1, B2 in which the position of a spatial point P measured by the respective 3D sensor system 7 is determined. In addition, a coordinate reference system B0, to which the 3D sensor systems 7 are to be calibrated, is also shown in the training room 200. This coordinate reference system B0 can be a coordinate system of a third 3D sensor system 7 or, for example, a coordinate system assigned to the display device 4.
Einem einzelnen sich im Trainingsraum 200 befindenden Raumpunkt P wer den in jedem der Koordinatensysteme B1 , B2 sowie dem Koordinaten refe-
renzsystem BO eigene, unterschiedliche Koordinate zugewiesen. So trägt der Raumpunkt P in dem Koordinatensystem B1 die kartesischen Koordina ten xi, yi und zi, in dem Koordinatensystem B2 die kartesischen Koordina ten X2, y2 und Z2 sowie im Koordinatenreferenzsystem BO die kartesischen Koordinaten xo, yo, zo. Damit diesem einzelnen Raumpunkt P für das weite re Verfahren von sämtlichen 3D-Sensorsystemen 7 die gleichen Koordinaten zugewiesen werden, erfolgt eine Kalibrierung K auf das Koordinaten refe- renzsystem BO. Bei dieser Kalibrierung K werden die Positionen und Lagen der 3D-Sensorsysteme 7 und somit ihrer jeweiligen Koordinatensysteme B1 und B2 relativ zu dem Koordinatenreferenzsystem BO bestimmt. Aus diesen relativen Lagen und Positionen wird nun jeweils eine Transformationsfunk tion, insbesondere in Form einer Transformationsmatrix für jedes der Koor dinatensysteme B1 , B2 bestimmt und auf diese Koordinatensysteme B1 , B2 angewandt. Nach erfolgreicher Kalibrierung K wird dem Raumpunkt P von beiden 3D-Sensorsystemen 7 jeweils die übereinstimmenden kartesischen Koordinaten xo, yo, zo zugewiesen, welche der Position des Raumpunktes P, ausgehend von dem Koordinaten referenzsystem BO, entsprechen. Wenn gleich die vollständige Kalibrierung für ein kartesisches Koordinatensystem beschrieben wurde, kann eine derartige Kalibrierung aber auch in einem anderen Koordinatensystem, wie beispielsweise einem Kugelkoordinaten system oder Zylinderkoordinatensystem erfolgen. An individual spatial point P located in the training room 200 will be referred to in each of the coordinate systems B1, B2 and the coordinates. Reference system BO assigned its own different coordinates. Thus, the spatial point P in the coordinate system B1 carries the Cartesian coordinates xi, yi and zi, in the coordinate system B2 the Cartesian coordinates X2, y2 and Z2 and in the coordinate reference system BO the Cartesian coordinates xo, yo, zo. So that this individual spatial point P is assigned the same coordinates by all 3D sensor systems 7 for the further process, a calibration K to the coordinate reference system BO takes place. During this calibration K, the positions and locations of the 3D sensor systems 7 and thus their respective coordinate systems B1 and B2 are determined relative to the coordinate reference system BO. A transformation function, in particular in the form of a transformation matrix, is then determined for each of the coordinate systems B1, B2 from these relative positions and positions and applied to these coordinate systems B1, B2. After successful calibration K, the two 3D sensor systems 7 assign the corresponding Cartesian coordinates xo, yo, zo to the spatial point P, which correspond to the position of the spatial point P based on the coordinate reference system BO. Although the full calibration for a Cartesian coordinate system was described immediately, such a calibration can also be carried out in a different coordinate system, such as a spherical coordinate system or a cylindrical coordinate system.
In der Fig. 9 sind verschiedene erfindungsgemäße Verfahrensabläufe von der Erfassung der Hand 101 des Besatzungsmitglieds 100 bis hin zu ihrer Darstellung in der virtuellen Umgebung 2 gezeigt. Zunächst wird mit dem 3D-Sensorsystem 7 die in den Grenzen des Sensorbereichs 7.1 liegende Hand 101 sowie der Arm 102 und das reale Bediengerät 5 hinsichtlich ihrer Positionen im Trainingsraum 200 gemessen. Wie bereits voranstehend be schrieben, werden durch das 3D-Sensorsystem 7 hierzu die Positionen ein zelner Punkte gemessen. Die Positionen dieser gemessenen Punkte werden in einem nächsten Schritt zu Punktwolkendaten 13.2 zusammengefasst. Aus
Gründen der Übersichtlichkeit der Fig. 9 werden die einzelnen Punkte 13.1 dieser Punktwolkendaten 13.2 nicht näher dargestellt, sondern lediglich die äußeren Konturen der sich aus den Punktwolkendaten 13.2 ergebenden Punktwolke 13 gestrichelt dargestellt. In FIG. 9, various method sequences according to the invention are shown, from the detection of the hand 101 of the crew member 100 to its representation in the virtual environment 2. First of all, the hand 101 lying within the limits of the sensor area 7.1 as well as the arm 102 and the real operating device 5 are measured with regard to their positions in the training room 200 with the 3-D sensor system 7. As already described above, the positions of individual points are measured by the 3D sensor system 7 for this purpose. In a next step, the positions of these measured points are combined to form point cloud data 13.2. Out For the sake of clarity in FIG. 9, the individual points 13.1 of this point cloud data 13.2 are not shown in more detail, but only the outer contours of the point cloud 13 resulting from the point cloud data 13.2 are shown in dashed lines.
Ausgehend von diesen Punktwolkendaten 13.2 kann in einem ersten, einfa chen Darstellungsverfahren die Punktwolke 13 mit sämtlichen Punkten 13.1 in der virtuellen Umgebung 2 dargestellt werden. Da es durch die mit dem realen Bediengerät 5 korrespondierenden Punkten 13.1 der Punktwolken- daten 13.2 zu Irritierungen des Besatzungsmitglieds 100 kommen kann, da diese mit dem realen Bediengerät 5 korrespondierenden Punkte 13.1 sich mit dem virtuellen Bediengerät 3 überlagern würden, ist das virtuelle Be diengerät 3 bei dieser Darstellungsvariante derart gestaltet, dass es die mit dem realen Bediengerät 5 korrespondierenden Punkte 13.1 der Punktwolke 13 verdeckt. Hierzu ist das virtuelle Bediengerät 3 in seinen Abmessungen leicht größer ausgebildet als das ihm zugeordnete reale Bediengerät 5. Dies ist in dem links in Fig. 9 dargestellten Verfahrensablauf dieser Darstellungs variante durch eine breitere Linienführung des virtuellen Bediengeräts 3 angedeutet. Starting from this point cloud data 13.2, the point cloud 13 with all points 13.1 in the virtual environment 2 can be displayed in a first, simple display method. Since the points 13.1 of the point cloud data 13.2 corresponding to the real operating device 5 can irritate the crew member 100, since these points 13.1 corresponding to the real operating device 5 would overlap with the virtual operating device 3, the virtual operating device 3 is In this representation variant, it is designed in such a way that it covers the points 13.1 of the point cloud 13 that correspond to the real operating device 5. For this purpose, the dimensions of the virtual operating device 3 are slightly larger than the real operating device 5 assigned to it. This is indicated in the process sequence of this representation variant shown on the left in FIG. 9 by a broader line of the virtual operating device 3.
Bei den beiden anderen Varianten der Darstellungsverfahren erfolgt zu nächst eine Filterung F der Punktwolkendaten 13.2. In the case of the other two variants of the display method, the point cloud data 13.2 is first filtered F.
Bei der in Fig. 9 mittig dargestellten Darstellungsvariante erfolgt zunächst eine Filterung F hinsichtlich mit dem realen Bediengerät 5 korrespondie renden gemessenen Punkten. Die Punktwolkendaten 13.2 werden bei dieser Filterung F unterteilt in Punktwolkendaten von Punkten 15, welche dem realen Bediengerät 5 zugeordnet werden können, und jenen Punkten 16, welche der Hand 101 und dem Arm 102 des Besatzungsmitglieds 100 zuge- ordnet werden können. Die Zuordnung der Punkte 15 zum realen Bedienge rät 5 kann hierbei beispielsweise über die Erkennung des in Fig. 2b darge-
stellten Markers 14 erfolgen, relativ zu welchem ein Aussonderungsbereich im Aktionsbereich 201 definiert ist und welcher das reale Bediengerät 5 umfasst. Alternativ kann ein Aussonderungsbereich über eine farbliche Mar kierung des realen Bediengeräts 5 definiert werden, welche durch die Farb kamera 9 erkannt werden kann. So wird beispielsweise das reale Bedien gerät 5 flächig und einfarbig mit einer zuvor definierten Farbe bestrichen oder aus Material einer definierten Farbe gefertigt. Während des Darstel lungsverfahrens können dann sämtliche Punkte der Punktwolkendaten 13.2, welche einen dieser Farbe entsprechenden Farbwert aufweisen, als zu die sem Aussonderungsbereich gehörend erkannt werden. Dieser Aussonde rungsbereich kann nach Art eines no-draw- Volumens ausgebildet sein, wel ches angibt, dass sämtliche den in diesem Bereich liegenden Messpunkten zugeordneten Punkten 15 der Punktwolkendaten 13.2 nicht in der virtuellen Umgebung 2 dargestellt werden sollen. In the representation variant shown in the center in FIG. 9, filtering F is first carried out with regard to measured points corresponding to the real operating device 5. In this filtering F, the point cloud data 13.2 are subdivided into point cloud data of points 15, which can be assigned to the real operating device 5, and those points 16 which can be assigned to the hand 101 and arm 102 of the crew member 100. The assignment of the points 15 to the real operating device 5 can be done here, for example, by recognizing the The marker 14 provided, relative to which a discarding area is defined in the action area 201 and which includes the real operating device 5. Alternatively, a discarding area can be defined by means of a colored marking of the real operating device 5, which can be recognized by the color camera 9. For example, the real operating device 5 is coated flat and monochrome with a previously defined color or made from material of a defined color. During the presentation process, all points of the point cloud data 13.2 which have a color value corresponding to this color can then be recognized as belonging to this segregation area. This separation area can be designed in the manner of a no-draw volume, which indicates that all points 15 of the point cloud data 13.2 assigned to the measurement points located in this area should not be displayed in the virtual environment 2.
Bei dieser zweiten Darstellungsvariante werden an die Filterung F anschlie ßend, die dem realen Bediengerät 5 zugeordneten Punkte 15 der Punktwol kendaten 13.2 in der virtuellen Umgebung 2 nicht dargestellt. Lediglich die den Händen 101 und Armen 102 des Besatzungsmitglieds 100 zugeordneten Punkte 16 der Punktwolkendaten 13.2 werden in der virtuellen Umgebung 2 als Punktwolke 13 dargestellt. In this second display variant, after the filtering F, the points 15 of the point cloud data 13.2 assigned to the real operating device 5 are not displayed in the virtual environment 2. Only the points 16 of the point cloud data 13.2 assigned to the hands 101 and arms 102 of the crew member 100 are represented in the virtual environment 2 as point cloud 13.
Auch in der dritten Darstellungsvariante, welche in Fig. 9 auf der rechten Seite dargestellt ist, erfolgt zunächst eine Filterung F der Punktwolkenda ten 13.2. Im Unterschied zur zweiten Darstellungsvariante erfolgt hierbei sowohl die Erfassung der Position und Lage der Hände 101 als auch die der Arme 102 des Besatzungsmitglieds 100 mittels eines Deep-Learning-Ver- fahrens 17. Das Deep-Learning-Verfahren 17 gestattet es, als selbstlernen des und sich selbst verbesserndes Verfahren die Erkennung der Hände 101 des Besatzungsmitglieds 100 in einem Bild. Hierbei wird das 2D-Bild der Farbkamera 9 verwendet, in welchem das Deep-Learning-Verfahren 17 jene
Bildbereiche erkennt, welche die Hände 101 des Besatzungsmitglieds 100 enthalten. Anhand dieser Bildbereiche in dem 2D- Bild wird eine Maske 22 erstellt, welche die entsprechenden Bildbereiche mit den Händen 101 des Besatzungsmitglieds 100 umschließt. Mittels dieser Maske 22 werden die Punktwolkendaten 13.2 hinsichtlich der mit den Händen 101 des Besat zungsmitglieds 100 korrespondierenden Punkte gefiltert. Jene Punkte 16 der Punktwolkendaten 13.2, welche je einen sich innerhalb der Maske 22 liegendem Punkt entsprechen, werden der Hand 101 zugeordnet. Bei die sem Darstellungsverfahren werden lediglich diese den Händen 101 zugeord nete Punkte 16 der Punktwolkendaten 13.2 als Punktwolke 13 in der virtu ellen Umgebung 2 dargestellt. In the third representation variant, which is shown on the right-hand side in FIG. 9, filtering F of the point cloud data 13.2 takes place first. In contrast to the second representation variant, both the position and location of the hands 101 and the arms 102 of the crew member 100 are recorded by means of a deep learning method 17. The deep learning method 17 allows self-learning and self-enhancing method of recognizing the hands 101 of the crew member 100 in an image. The 2D image of the color camera 9 is used here, in which the deep learning method 17 is used Recognizes image areas which contain the hands 101 of the crew member 100. Using these image areas in the 2D image, a mask 22 is created which encloses the corresponding image areas with the hands 101 of the crew member 100. By means of this mask 22, the point cloud data 13.2 are filtered with regard to the points corresponding to the hands 101 of the crew member 100. Those points 16 of the point cloud data 13.2 which each correspond to a point located within the mask 22 are assigned to the hand 101. In this display method, only these points 16 of the point cloud data 13.2 assigned to the hands 101 are displayed as point cloud 13 in the virtual environment 2.
In Fig. 10 ist die Kalibrierung eines 3D-Sensorsystems 7 und eines Signalge bers 18 aufeinander dargestellt. Das Kalibrierungsverfahren des 3D-Sensor- systems 7 und des Signalgebers 18 aufeinander erfolgt im Wesentlichen analog zu der Kalibrierung mehrerer 3D-Sensorsysteme 7, wie dies im Zu sammenhang mit Fig. 8 obenstehend beschrieben ist. Fig. 10a zeigt hierbei die Ausrichtung des Trainingsraums 200 sowie der hierin angeordneten rea len Bediengeräte 5, des 3D-Sensorsysteme 7, des Besatzungsmitglieds 100 sowie der vom Besatzungsmitglied 100 am Kopf getragenen Anzeigevorrich tung 4 im Koordinatensystem B3 des Signalgebers 18. In Fig. 10b ist der gleiche Trainingsraum 200 mit den realen Bediengeräten 5, dem Besat zungsmitglied 100 und dem Signalgeber 18 gezeigt, jedoch ausgehend vom Koordinatensystem B1 des 3D-Sensorsystems 7. In Fig. 10, the calibration of a 3D sensor system 7 and a Signalge transmitter 18 is shown on top of one another. The calibration method of the 3D sensor system 7 and the signal transmitter 18 on one another is essentially analogous to the calibration of several 3D sensor systems 7, as described above in connection with FIG. 8. 10a shows the alignment of the training room 200 and the real operating devices 5 arranged therein, the 3D sensor system 7, the crew member 100 and the display device 4 worn on the head by the crew member 100 in the coordinate system B3 of the signal generator 18. In FIG. 10b the same training room 200 is shown with the real operating devices 5, the crew member 100 and the signal transmitter 18, but based on the coordinate system B1 of the 3D sensor system 7.
Beim Vergleich der Fig. 10a und 10b ist zu erkennen, dass sich die Ausrich tungsposition des Trainingsraum 200 sowie sämtlicher hierin angeordneter Elemente, wie die realen Bediengeräte 5, das Besatzungsmitglied 100, das 3D-Sensorsystem 7 und der Signalgeber 18, ausgehend vom jeweiligen Ko ordinatensystem B1 oder B3, voneinander unterscheidet. Um die Gegeben heiten im Trainingsraum 200 und der virtuellen Umgebung 2 jedoch mög-
liehst zur Deckung zu bringen, insbesondere hinsichtlich der Position und Ausrichtung der den virtuellen Bediengeräten 3 zugeordneten realen Bedi engeräte 5, müssen die Koordinatensysteme B1 und B3 derart aufeinander kalibriert werden, dass ein und derselbe Punkt im Trainingsraum 200 so wohl vom 3 D- Sensorsystem 7 als auch vom Signalgeber 18 als an der glei chen Position und Lage liegend erkannt wird. When comparing FIGS. 10a and 10b, it can be seen that the alignment position of the training room 200 and all of the elements arranged therein, such as the real operating devices 5, the crew member 100, the 3D sensor system 7 and the signal transmitter 18, based on the respective Ko ordinate system B1 or B3, different from each other. However, in order to meet the conditions in the training room 200 and the virtual environment 2 lent to coincide, in particular with regard to the position and orientation of the real operating devices 5 assigned to the virtual operating devices 3, the coordinate systems B1 and B3 have to be calibrated to one another in such a way that one and the same point in the training room 200 is recognized by the 3D sensor system 7 and is recognized by the signal generator 18 as lying at the same position and location.
Hierzu erfolgt ebenfalls eine Kalibrierung auf ein Koordinaten referenzsys- tem B0, wie bereits im Zusammenhang mit Fig. 8 beschrieben. Dies ist in Fig. 10c dargestellt, wobei es sich bei dem Koordinaten referenzsystem B0 um ein festes Koordinatensystem im Trainingsraum 200 handeln kann, wie in Fig. 10c gezeigt, und/oder dies mit einem der Koordinatensysteme B1 oder B3 übereinstimmen kann. Im letzten Fall kann der Kalibrierungsauf wand reduziert werden, da beispielsweise, wenn das Koordinatenreferenz system B0 mit dem Koordinatensystem B1 des 3D-Sensorsystems 7 überein stimmt, eine Kalibrierung des 3D-Sensorsystems 7 auf dieses Koordinaten re ferenzsystem B0 entfallen würde und lediglich der Signalgeber 18 und des sen Koordinatensystem B3 auf das Koordinatenreferenzsystem B0 kalibriert werden müsste. For this purpose, a calibration to a coordinate reference system B0 also takes place, as already described in connection with FIG. This is shown in FIG. 10c, wherein the coordinate reference system B0 can be a fixed coordinate system in the training room 200, as shown in FIG. 10c, and / or this can coincide with one of the coordinate systems B1 or B3. In the latter case, the calibration effort can be reduced because, for example, if the coordinate reference system B0 matches the coordinate system B1 of the 3D sensor system 7, calibration of the 3D sensor system 7 to this coordinate reference system B0 would be dispensed with and only the signal transmitter 18 and whose coordinate system B3 would have to be calibrated to the coordinate reference system B0.
Mit Hilfe des voranstehend beschriebenen Verfahrens sowie des Trainings systems 1 kann die Übertragbarkeit des Trainings in der virtuellen Umge bung 2 auf den realen Einsatz verbessert werden.
With the help of the method described above and the training system 1, the transferability of the training in the virtual environment 2 to real use can be improved.
Bezugszeichen: Reference number:
1 Trainingssystem 1 training system
2 virtuelle Umgebung 2 virtual environment
2.1 Panzerturm 2.1 tank turret
2.2 Waffe 2.2 weapon
2.3 virtuelles Hindernis 2.3 virtual obstacle
3 virtuelles Bediengerät 3 virtual operator panel
3.1 virtuelles Bedienelement3.1 virtual control element
3.2 virtuelles Anzeigeelement3.2 virtual display element
4 Anzeigevorrichtung 4 display device
5 reales Bediengerät 5 real operator panel
5.1 reales Bedienelement5.1 real control element
5.1a Kippschalter 5.1a toggle switch
5.1b Drehregler 5.1b rotary control
5.1c Taste 5.1c button
5.1 d Drehschalter 5.1 d rotary switch
5.1e Griff 5.1e handle
6 Anbindungselement 6 connection element
7 3D-Sensorsystem 7 3D sensor system
7.1 Grenzen des Sensorbereichs7.1 Limits of the sensor range
8 Tiefenkamera 8 depth camera
8.1 Teilkamera 8.1 Partial camera
8.2 Sende-Modul 8.2 Transmitter module
8.3 Empfangs-Modul 8.3 Reception module
8.4 Lichtsensor 8.4 Light sensor
9 Farbkamera 9 color camera
10 Lichtpuls 10 light pulse
11 reflektierter Puls 11 reflected pulse
12 Trägerplatte
12.1 Anbindungsstelle 12 support plate 12.1 Connection Point
13 Punktwolke 13 point cloud
13.1 Punkt 13.1 point
13.2 Punktwolkendaten 13.2 Point cloud data
14 Marker 14 markers
15 zugeordnete Punkte (zum Bediengerät)15 assigned points (to the control unit)
16 zugeordnete Punkte (zur Hand) 16 assigned points (at hand)
17 Deep-Learning-Verfahren 17 Deep Learning Process
18 Signalgeber 18 signal heads
19 Hindernis- Element 19 obstacle element
20 Basisplatte 20 base plate
21 Oberfläche 21 surface
22 Maske 22 mask
23 Energieversorgung 23 Energy supply
24 WLAN-Modul 24 WLAN module
25 Mikrocontroller 25 microcontrollers
26 Schaltkreisbahn 26 circuit path
100 Besatzungsmitglied 100 crew member
101 Hand 101 hand
102 Arm 102 arm
200 Trainingsraum 200 training room
201 Aktionsbereich 201 Area of action
300 Fahrzeug-Bediengerät 300 vehicle control unit
301 Fahrzeug-Bedienelement 301 vehicle control element
301a Kippschalter 301a toggle switch
301b Drehregler 301b rotary control
301c Taste 301c button
301 d Schlüsselschalter 301 d key switch
301 e Schlüssel 301 e key
302 Fahrzeug-Anzeigeelement
303 Oberfläche 302 vehicle display element 303 surface
A Abstand A distance
BO Koordinaten referenzsystem B1 Koordinatensystem BO coordinates reference system B1 coordinate system
B2 Koordinatensystem B2 coordinate system
B3 Koordinatensystem B3 coordinate system
F Filterung F filtering
K Kalibrierung P Raumpunkt K calibration P space point
R Geradeausrichtung a, ß Raumwinkel
R straight direction a, ß solid angle
Claims
1. Verfahren zum Training eines Besatzungsmitglieds (100) eines, insbe sondere militärischen, Fahrzeugs in einem realen Trainingsraum (200), wobei eine rein virtuelle Umgebung (2) erzeugt wird, welche mindestens ein virtuelles Bediengerät (3) enthält, wobei das Besat zungsmitglied (100) eine kopffeste, im Sichtfeld des Besatzungsmit glieds (100) angeordnete Anzeigevorrichtung (4) trägt und wobei dem Besatzungsmitglied (100) die rein virtuelle Umgebung (2) auf der An zeigevorrichtung (4) dargestellt wird, d a d u rc h g e k e n n z e i c h n e t , dass die Hände (101 ) des Besatzungsmitglieds (100) positions- und la gerichtig in der virtuellen Umgebung (2) dargestellt werden, wobei ein dem virtuellen Bediengerät (3) zugeordnetes reales Bediengerät (5) im Trainingsraum (200) ein haptisches Feedback bei der Bedie nung des virtuellen Bediengeräts (3) gibt. 1. A method for training a crew member (100) of a, in particular special military, vehicle in a real training room (200), a purely virtual environment (2) is generated which contains at least one virtual control device (3), the crew member (100) carries a head-mounted display device (4) arranged in the field of view of the crew member (100) and the purely virtual environment (2) is shown on the display device (4) to the crew member (100), indicating that the Hands (101) of the crew member (100) are displayed correctly in position and position in the virtual environment (2), with a real operating device (5) assigned to the virtual operating device (3) in the training room (200) providing haptic feedback during operation of the virtual operator panel (3).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das reale Bediengerät (5) im Trainingsraum (200) in einer relativen Position und/oder Lage zum Besatzungsmitglied (100) angeordnet wird, wel che der relativen Position und/oder Lage des virtuellen Bediengeräts (3) zum Besatzungsmitglied (100) in der virtuellen Umgebung (2) ent spricht. 2. The method according to claim 1, characterized in that the real operating device (5) in the training room (200) is arranged in a relative position and / or location to the crew member (100), wel che the relative position and / or location of the virtual operating device (3) corresponds to the crew member (100) in the virtual environment (2).
3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeich net, dass das reale Bediengerät (5), insbesondere frei, auf einer Trä gerplatte (12) positioniert wird. 3. The method according to any one of claims 1 or 2, characterized in that the real operating device (5), in particular freely, is positioned on a Trä gerplatte (12).
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass ein rein haptischer Dummy als reales Bediengerät
(5) verwendet wird. 4. The method according to any one of the preceding claims, characterized in that a purely haptic dummy as a real operating device (5) is used.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass eine Betätigung des realen Bediengeräts (5) er fasst wird. 5. The method according to any one of the preceding claims, characterized in that an actuation of the real operating device (5) it is detected.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die Position und die Lage der Hände (101 ) des Be satzungsmitglieds (100) in einem Aktionsbereich (201 ) des Besat zungsmitglieds (100) mit einem 3D-Sensorsystem (7) erfasst wird. 6. The method according to any one of the preceding claims, characterized in that the position and the location of the hands (101) of the crew member (100) in an action area (201) of the crew member (100) with a 3D sensor system (7) is captured.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Positi on einzelner Punkte (13.1 ) im Aktionsbereich (201 ) des Besatzungs mitglieds (100) im Trainingsraum (200) relativ zum 3D-Sensorsystem (7) gemessen wird. 7. The method according to claim 6, characterized in that the position of individual points (13.1) in the action area (201) of the crew member (100) in the training room (200) is measured relative to the 3D sensor system (7).
8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeich net, dass die Position der Hände (101 ), insbesondere einer Vielzahl einzelner Punkte (13.1 ) auf den Händen (101 ), zum 3 D- Sensorsystem (7) gemessen wird. 8. The method according to any one of claims 6 or 7, characterized in that the position of the hands (101), in particular a plurality of individual points (13.1) on the hands (101), is measured for the 3-D sensor system (7).
9. Verfahren nach einem der Ansprüche 7 oder 8, dadurch gekennzeich net, dass die gemessenen, insbesondere die mit den Händen (101 ) korrespondierenden, Positionen zu Punktwolkendaten (13.2) zusam mengefasst und als Punktwolke (13) in der virtuellen Umgebung (2) dargestellt werden. 9. The method according to any one of claims 7 or 8, characterized in that the measured positions, in particular those corresponding to the hands (101), are grouped together to form point cloud data (13.2) and as a point cloud (13) in the virtual environment (2) being represented.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mit dem realen Bediengerät (5) korrespondierende Punkte der Punktwolke (13) durch das virtuelle Bediengerät (2) verdeckt werden.
10. The method according to claim 9, characterized in that points of the point cloud (13) corresponding to the real operating device (5) are covered by the virtual operating device (2).
11 . Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Punktwolkendaten (13.2), insbesondere hinsichtlich den mit dem realen Bediengerät (5) korrespondierenden Punkte (15), gefiltert werden. 11. Method according to Claim 9, characterized in that the point cloud data (13.2) are filtered, in particular with regard to the points (15) corresponding to the real operating device (5).
12. Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeich net, dass eine Markierung auf dem realen Bediengerät (5) erkannt wird und dem realen Bediengerät (5) zugeordnete Punkte (15) in der virtuellen Umgebung (2) nicht dargestellt werden. 12. The method according to any one of claims 9 to 11, characterized in that a marking on the real operating device (5) is recognized and points (15) assigned to the real operating device (5) are not displayed in the virtual environment (2).
13. Verfahren nach einem der Ansprüche 6 bis 12, dadurch gekennzeich net, dass zur Erfassung der Position und der Lage der Hände (101 ) des Besatzungsmitglieds (100) ein Deep-Learning-Verfahren (17) ge nutzt wird. 13. The method according to any one of claims 6 to 12, characterized in that a deep learning method (17) is used to detect the position and the location of the hands (101) of the crew member (100).
14. Verfahren nach einem der vorangehenden Ansprüche, dadurch ge kennzeichnet, dass räumliche Beschränkungen des Fahrzeuginneren über positionierbare Hindernis-Elemente (19) nachgebildet werden. 14. The method according to any one of the preceding claims, characterized in that spatial restrictions of the vehicle interior are simulated via positionable obstacle elements (19).
15. Trainingssystem zur Durchführung eines Verfahrens nach Anspruch 1, g e k e n n z e i c h n e t d a d u r c h ein reales Bediengerät (5) zur Erzielung eines haptischen Feedbacks und einen Sensor (7, 8, 9) zum Erkennen der Hände (101 ) des Besat zungsmitglieds (100). 15. Training system for carrying out a method according to claim 1, g e k e n n z e i c h n e t d a d u r c h a real operating device (5) for achieving haptic feedback and a sensor (7, 8, 9) for recognizing the hands (101) of the crew member (100).
16. Trainingssystem nach Anspruch 15, gekennzeichnet durch mehrere reale Bediengeräte (5) und/oder Hindernis-Elemente (19) nach Art eines Baukastens zur Nachbildung eines Fahrzeuginneren verschiede ner Fahrzeugtypen.
16. Training system according to claim 15, characterized by several real operating devices (5) and / or obstacle elements (19) in the manner of a construction kit for simulating a vehicle interior of various types of vehicles.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019132286 | 2019-11-28 | ||
DE102019132277.4A DE102019132277A1 (en) | 2019-11-28 | 2019-11-28 | Virtual training with a real operator panel |
PCT/DE2020/101004 WO2021104580A1 (en) | 2019-11-28 | 2020-11-27 | Virtual training using a real operating device |
Publications (1)
Publication Number | Publication Date |
---|---|
EP4066226A1 true EP4066226A1 (en) | 2022-10-05 |
Family
ID=73835302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP20824446.7A Pending EP4066226A1 (en) | 2019-11-28 | 2020-11-27 | Virtual training using a real operating device |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP4066226A1 (en) |
WO (1) | WO2021104580A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114187802B (en) * | 2022-01-20 | 2022-08-26 | 徐州九鼎机电总厂 | Virtual reality high-simulation training system |
CN114743423A (en) * | 2022-03-28 | 2022-07-12 | 湖南铁道职业技术学院 | Training method based on rail transit vehicle electrical training device |
CN115660909B (en) * | 2022-10-18 | 2023-07-04 | 广州远程教育中心有限公司 | Digital school platform immersion type digital learning method and system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010016113A1 (en) | 2010-03-24 | 2011-09-29 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Method for training a crew member of a particular military vehicle |
US10269159B2 (en) * | 2017-07-27 | 2019-04-23 | Rockwell Collins, Inc. | Neural network foreground separation for mixed reality |
-
2020
- 2020-11-27 EP EP20824446.7A patent/EP4066226A1/en active Pending
- 2020-11-27 WO PCT/DE2020/101004 patent/WO2021104580A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2021104580A1 (en) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4066226A1 (en) | Virtual training using a real operating device | |
DE102019009313B4 (en) | Robot control, method and computer program using augmented reality and mixed reality | |
DE69636703T2 (en) | METHOD AND DEVICE FOR CONTROLLING FORCED FEEDBACK INTERFACES USING A MAIN COMPUTER | |
DE102009058802B4 (en) | Arrangement for the combined representation of a real and a virtual model | |
EP3067874A1 (en) | Method and device for testing a device operated in an aircraft | |
DE102019120861A1 (en) | INPUT DEVICE FOR USE IN AN ADVANCED / VIRTUAL REALITY ENVIRONMENT | |
EP3709133B1 (en) | Virtual object haptic interaction system for virtual reality applications | |
EP1579406B1 (en) | Interactive teaching and learning device with three-dimensional model | |
CN104656890A (en) | Virtual realistic intelligent projection gesture interaction all-in-one machine | |
DE102014113453A1 (en) | Lighting controller and lighting control system | |
DE69710566T2 (en) | DEVICE FOR INTERACTION AND NAVIGATION IN A VIRTUAL ENVIRONMENT | |
WO2014037127A1 (en) | System and method for simulating operation of a non-medical tool | |
WO2017153305A1 (en) | Simulator for training a team of a helicopter crew | |
DE20203367U1 (en) | System for early visualization of a vehicle design model in three dimensional form | |
DE102019132277A1 (en) | Virtual training with a real operator panel | |
EP4066228A1 (en) | Control unit with position marking, simulation system and method for configuring the simulation system | |
WO2003038587A2 (en) | Control device | |
DE102015003881B4 (en) | Method for providing a simulation of a virtual environment with at least a part of a motor vehicle and motor vehicle simulation arrangement | |
WO2021104582A1 (en) | Calibrating a training system | |
DE102021212928B4 (en) | Method, computer program and device for testing an installation or removal of at least one component | |
EP3867736B1 (en) | Method and device for training an artificial neural network and method for position tracking of an input device | |
DE102018000968A1 (en) | Device for simulating moving real or fictitious objects | |
AT525369B1 (en) | Test environment for urban human-machine interaction | |
AT505672A4 (en) | COMPUTER-ASSISTED INTERFACE SYSTEM | |
Alesani | XR application for remote operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20220622 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) |