DE102022209257A1 - Synthesis data based on real operation of an image data device - Google Patents

Abstract

Eine Syntheseanordnung (6) enthält einen Eingang (34) für Realdaten (20) eines Produzenten (16), gewonnen aus Realbilddaten (12), ein Statistikmodul (40) zur Erzeugung von Statistikdaten (42) aus den Realdaten (20), ein Zufallsmodul (44) für Zufallswerte (46) und ein Generatormodul (52) zur Erzeugung von Synthesedaten (30) an einem Ausgang (32) aus den Statistikdaten (42) und Zufallswerten (46), wobei die Synthesedaten (30) in statistischen Eigenschaften den Realdaten (20) entsprechen.Eine Gerätekomponente (60) enthält die Syntheseanordnung (6) und den Produzenten (16).Eine Geräteanordnung (2) enthält ein Gerät (4) und die Syntheseanordnung (6) oder Gerätekomponente, und eine Umgebung (8) für Applikationen (10) in Form von zumindest Teilen des Produzenten (16) / der Syntheseanordnung (6).Bei einem Verfahren zum Betreiben der Syntheseanordnung (6) / Gerätekomponente (60) / Geräteanordnung (2) werden einem Testkonsumenten (26') nur die Synthesedaten (30), jedoch keine Realdaten (20) / Realbilddaten (12) zugeführt.A synthesis arrangement (6) contains an input (34) for real data (20) from a producer (16), obtained from real image data (12), a statistics module (40) for generating statistics data (42) from the real data (20), and a random module (44) for random values (46) and a generator module (52) for generating synthesis data (30) at an output (32) from the statistical data (42) and random values (46), the synthesis data (30) having statistical properties similar to the real data (20).A device component (60) contains the synthesis arrangement (6) and the producer (16).A device arrangement (2) contains a device (4) and the synthesis arrangement (6) or device component, and an environment (8) for Applications (10) in the form of at least parts of the producer (16) / the synthesis arrangement (6). In a method for operating the synthesis arrangement (6) / device component (60) / device arrangement (2), a test consumer (26 ') is only provided with the Synthesis data (30), but no real data (20) / real image data (12) is supplied.

Description

Stand der TechnikState of the art

Aus der US 2020/0364468 A1 ist ein intelligentes Videoüberwachungssystem bekannt, das Echtzeitanalysen an einem Live-Videostream durchführt. Das System umfasst eine Trainingsdatenbank, die Einzelbilder tatsächlicher Videos von interessierenden Objekten enthält, die in einer relevanten Umgebung aufgenommen wurden. Eine Teilmenge der Einzelbilder enthält Begrenzungsrahmen und/oder Begrenzungspolygone, die angepasst werden können. Die Trainingsdatenbank umfasst auch die Klassifizierung / Anmerkung von Daten / Etiketten, die für das interessierende Objekt, eine Person, die das interessierende Objekt trägt, und/oder den Hintergrund oder die Umgebung relevant sind. Die Trainingsdatenbank ist nach der Klassifizierung / Anmerkung von Daten / Etiketten durchsuchbar.From the US 2020/0364468 A1 is an intelligent video surveillance system that performs real-time analysis on a live video stream. The system includes a training database containing frames of actual videos of objects of interest captured in a relevant environment. A subset of the frames contains bounding boxes and/or bounding polygons that can be adjusted. The training database also includes classification/annotation of data/labels relevant to the object of interest, a person carrying the object of interest, and/or the background or environment. The training database is searchable by data/label classification/annotation.

Offenbarung der ErfindungDisclosure of the invention

Ein Gegenstand der Erfindung ist eine Syntheseanordnung nach Anspruch 1. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung sowie anderer Erfindungskategorien ergeben sich aus den weiteren Ansprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.One object of the invention is a synthesis arrangement according to claim 1. Preferred or advantageous embodiments of the invention and other categories of invention result from the further claims, the following description and the attached figures.

Die Syntheseanordnung dient bzw. ist eingerichtet zur Bereitstellung von Synthesedaten. Die Synthesedaten weisen einen Bezug zu Testbilddaten auf. Diese Testbilddaten sind insbesondere Bilddaten zum Testen eines Konsumenten. Für den Konsumenten sind jedoch diesbezüglich lediglich die Synthesedaten wichtig. Im einfachsten Fall müssen keine tatsächlichen Testbilddaten vorhanden sein oder dem Konsumenten angeboten werden. Der Bezug stellt sich zum Beispiel insofern dar, dass die Synthesedaten hypothetische Eigenschaften virtueller Testbilddaten beschreiben, zum Beispiel einen bestimmten Ort oder Bereich in Bilddaten angeben. Relevant für den Konsumenten ist dabei lediglich der Ort an sich, nicht das zugrundeliegende Bild bzw. irgendwelcher Bildinhalt. Testbilddaten müssen also nicht zwangsweise vorliegen, entscheidend für die vorliegende Erfindung ist lediglich, dass Synthesedaten, zum Beispiel in Form von Ortsdaten, bereitgestellt werden. Insofern kann hinsichtlich der Synthesedaten auch nur ein „virtueller“ Bezug zu Testbilddaten bestehen. Ein entsprechender Wert/ Inhalt von Synthesedaten, also ein Synthesewert, ist dann zum Beispiel eine Ortsangabe von Bildkoordinaten, zum Beispiel eine X-/Y-Position eines Bildpixels in (virtuellen) Testbilddaten.The synthesis arrangement serves or is set up to provide synthesis data. The synthesis data is related to test image data. This test image data is in particular image data for testing a consumer. For the consumer, however, only the synthesis data is important in this regard. In the simplest case, no actual test image data needs to be available or offered to the consumer. The reference occurs, for example, in that the synthesis data describes hypothetical properties of virtual test image data, for example specifying a specific location or area in image data. Only the location itself is relevant for the consumer, not the underlying image or any image content. Test image data does not necessarily have to be available; the only decisive factor for the present invention is that synthesis data, for example in the form of location data, is provided. In this respect, there can only be a “virtual” reference to test image data with regard to the synthesis data. A corresponding value/content of synthesis data, i.e. a synthesis value, is then, for example, a location specification of image coordinates, for example an X/Y position of an image pixel in (virtual) test image data.

Die Syntheseanordnung weist einen Eingang auf. Der Eingang dient dazu, eine Mehrzahl bzw. eine Folge von Realdaten in die Syntheseanordnung einzuspeisen. Die Erfindung geht dabei davon aus, dass die Realdaten bestimmungsgemäß von einem Produzenten in einem Realbetrieb des Produzenten ermittelt sind bzw. werden. In diesem Realbetrieb ermittelt der Produzent anhand eines Bildkriteriums aus einer Mehrzahl bzw. Folge von Realbilddaten die Realdaten. Entsprechend oben weisen auch die Realdaten einen entsprechenden Bezug zu den nun jedoch tatsächlich vorhandenen Realbilddaten auf. Zum Beispiel beschreiben die Realdaten ebenfalls einen Ort oder Bereich in den Realbilddaten. Das Bildkriterium lautet z.B. „Ort eines erkannten Nummernschilds eines Kraftfahrzeuges in den Bilddaten“ Der „Ort“ wird dabei in Form eines Begrenzungsrahmens (bounding box) in den Bilddaten geliefert.The synthesis arrangement has an input. The input serves to feed a plurality or a sequence of real data into the synthesis arrangement. The invention assumes that the real data is or is determined as intended by a producer in a real operation of the producer. In this real operation, the producer determines the real data from a plurality or sequence of real image data based on an image criterion. According to the above, the real data also has a corresponding relationship to the real image data that is actually present. For example, the real data also describes a location or area in the real image data. The image criterion is, for example, “Location of a recognized license plate of a motor vehicle in the image data.” The “location” is supplied in the image data in the form of a bounding box.

Produzent und Realdaten sowie Realbilddaten sind zwar nicht Bestandteil der Syntheseanordnung. „Bestimmungsgemäß“ heißt jedoch, dass die Syntheseanordnung auf einen bestimmten oder einen bestimmten Typ von Produzent, Realbilddaten, Realdaten bzw. entsprechende Randbedingungen abgestimmt ist und für den Einsatz zusammen mit diesen eingerichtet ist; z.B. für die dadurch bestimmten Datenanforderungen usw. ausgelegt ist. Mit anderen Worten wird insbesondere ein betreffender Produzent, Realbilddaten, Realdaten als bekannt hinsichtlich seiner Arbeitsweise, Datenstrukturen, Randbedingungen usw. vorausgesetzt.Producer and real data as well as real image data are not part of the synthesis arrangement. However, “intended” means that the synthesis arrangement is tailored to a specific or a specific type of producer, real image data, real data or corresponding boundary conditions and is set up for use together with these; e.g. is designed for the resulting data requirements etc. In other words, a particular producer, real image data, real data is assumed to be known in terms of its operation, data structures, boundary conditions, etc.

Der Produzent ist mit anderen Worten eine Art Analysator, welcher eine Analyse der Realbilddaten in Bezug auf das Bildkriterium durchführt und die Realdaten stellen das Analyseergebnis dar.In other words, the producer is a type of analyzer that carries out an analysis of the real image data in relation to the image criterion and the real data represents the analysis result.

Die Syntheseanordnung enthält ein Statistikmodul. Dieses ist dazu eingerichtet, Statistikdaten anhand einer statistischen Analyse der Realdaten zu ermitteln. Hierbei ist wenigstens eine statistische Eigenschaft der Realdaten in Bezug auf das Bildkriterium in den Statistikdaten repräsentiert. Das Bildkriterium ist also beispielsweise die Position / der Ort eines bestimmten Bildinhalts (Gesicht einer Person / Nummernschild) in den Realbilddaten. Gemäß obigen Beispiel geben die Statistikdaten zum Beispiel Auskunft über die Wahrscheinlichkeitsverteilung der Orte (Realdaten) in den Realbilddaten, beispielsweise Wahrscheinlichkeitsverteilungen der X- und Y-Koordinaten von Bildpunkten.The synthesis arrangement contains a statistics module. This is set up to determine statistical data based on a statistical analysis of real data. At least one statistical property of the real data is represented in the statistical data in relation to the image criterion. The image criterion is, for example, the position/location of a specific image content (face of a person/license plate) in the real image data. According to the example above, the statistical data provides, for example, information about the probability distribution of the locations (real data) in the real image data, for example probability distributions of the X and Y coordinates of image points.

Die Syntheseanordnung umfasst ein Zufallsmodul. Dieses ist dazu eingerichtet eine Mehrzahl bzw. eine Folge von Zufallswerten zu erzeugen, die auch Wertevektoren (Mehrere Werte) sein können. Die Syntheseanordnung enthält einen Ausgang zur Ausgabe der Synthesedaten.The synthesis arrangement includes a random module. This is set up to generate a plurality or a sequence of random values, which can also be value vectors (multiple values). The synthesis arrangement contains an output for outputting the synthesis data.

Die Syntheseanordnung enthält ein Generatormodul. Dieses ist dazu eingerichtet, anhand der Statistikdaten und der Zufallswerte eine Mehrzahl bzw. Folge von Synthesedaten zu erzeugen. Die Erzeugung erfolgt derart, dass die Synthesedaten hinsichtlich der in den Statistikdaten repräsentierten statistischen Eigenschaften den Realdaten entsprechen. Die erzeugten Synthesedaten sind bzw. werden dann von der Syntheseanordnung am Ausgang bereitgestellt.The synthesis arrangement contains a generator module. This is set up to generate a plurality based on the statistical data and random values or sequence of synthesis data. The generation takes place in such a way that the synthesis data corresponds to the real data with regard to the statistical properties represented in the statistical data. The generated synthesis data is or is then provided at the output by the synthesis arrangement.

Das Statistikmodul ermittelt also ausgehen vom Realbetrieb des Produzenten reale Statistikdaten über die real vorhandenen Realdaten. Mit anderen Worten werden reale Werte, zum Beispiel reale Bildorte in realen Bilddaten ermittelt und verarbeitet. Die Statistikdaten sagen also aus, welche statistischen Eigenschaften die Realwerte haben, zum Beispiel: wie sind die anhand des Bildkriteriums ermittelten Realdaten, bzw. deren Werte, zum Beispiel Ortspositionen gemäß Wahrscheinlichkeit verteilt, wie viele Orte oder Bereiche existieren, welche Gestalt haben Bildbereiche, wie groß sind entsprechende Bildbereiche, jeweils vorausgesetzt das derartige Größen Realwerte bzw. Realdaten sind.The statistics module therefore determines real statistical data based on the real operation of the producer based on the real data that actually exists. In other words, real values, for example real image locations, are determined and processed in real image data. The statistical data therefore says what statistical properties the real values have, for example: how are the real data determined based on the image criterion or their values, for example location positions distributed according to probability, how many locations or areas exist, what shape do image areas have, how Corresponding image areas are large, assuming that such sizes are real values or real data.

Lediglich der Anschaulichkeit halber wird im Folgenden die Erfindung in der Regel anhand eines Beispiels erläutert, in dem die Realdaten und Synthesedaten Ortsdaten in Bildern / Bilddaten (Realbilder/ Testbilder sind. Die Erfindung gilt jedoch generell für sämtliche Arten von mit Bildern korrelierten Realdaten und Synthesedaten, zum Beispiel auch: Art und Anzahl von in Bildern detektierten Objekten oder Personen, abgebildete Symbole oder Texte, Verkehrszeichen usw., je nach Bildkriterium. Das Bildkriterium beschreibt mit anderen Worten die Extraktion einer bestimmten Eigenschaft aus den Realbilddaten. Die extrahierte Eigenschaft wird dann in den Realdaten ausgedrückt bzw. niedergelegt. Die Statistikdaten repräsentieren also statistische Informationen über die Realwerte, und somit den statistischen Charakter der Menge der Realwerte.For the sake of clarity, the invention is generally explained below using an example in which the real data and synthesis data are location data in images / image data (real images / test images. However, the invention generally applies to all types of real data and synthesis data correlated with images, For example: type and number of objects or people detected in images, symbols or texts, traffic signs, etc., depending on the image criterion. In other words, the image criterion describes the extraction of a specific property from the real image data. The extracted property is then included in the Real data is expressed or recorded. The statistical data therefore represents statistical information about the real values, and thus the statistical character of the set of real values.

In der Regel erzeugt der Produzent entsprechende Realdaten, um diese einem Konsumenten bereitzustellen, der dann die Realdaten weiterverarbeitet bzw. nutzt. Insbesondere erhält der Konsument hierzu auch die den Realdaten zugrunde liegenden Realbilddaten. Produzent und Konsument sind beispielsweise Applikationen (sogenannte Apps), die in einer Programm-Ausführung-Umgebung eines Gerätes, zum Beispiel einer Videokamera, ausgeführt werden.As a rule, the producer generates corresponding real data in order to make it available to a consumer, who then further processes or uses the real data. In particular, the consumer also receives the real image data on which the real data is based. Producers and consumers are, for example, applications (so-called apps) that are executed in a program execution environment of a device, for example a video camera.

Gemäß der Erfindung ist es möglich, durch die Bereitstellung beliebig vieler Zufallswerte eine in diesem technischen Sinne „unendliche“ Quelle in Form der Syntheseanordnung von Synthesedaten zu realisieren, nämlich solange das Zufallsmodul Zufallswerte erzeugt. Der Zufallswert ist zum Beispiel ein Wert zwischen 0 und 1, multipliziert mit der Wahrscheinlichkeitsverteilung von Orten über einer Bildspalte oder Bildzeile. Wird dieser im Generatormodul zum Beispiel mit der Anzahl von Bild-Pixel-Spalten oder -Zeilen multipliziert, ergibt sich eine konkrete aber zufällige Bildzeile oder Bildspalte und so beispielsweise ein zufällig erzeugter Bildpunkt. Über die Gesamtheit der so erzeugten Synthesedaten ergibt sich jedoch die gleiche Wahrscheinlichkeitsverteilung der Synthesedaten (Bildorte) wie für die Realdaten.According to the invention, it is possible to realize an “infinite” source in this technical sense in the form of the synthesis arrangement of synthesis data by providing any number of random values, namely as long as the random module generates random values. The random value is, for example, a value between 0 and 1, multiplied by the probability distribution of locations over an image column or row. If this is multiplied by the number of image pixel columns or rows in the generator module, for example, the result is a concrete but random image row or image column and, for example, a randomly generated image point. However, over the entirety of the synthesis data generated in this way, the same probability distribution of the synthesis data (image locations) results as for the real data.

Im Ergebnis stellt die Syntheseanordnung daher einen „Pseudo-Produzenten“ dar, welcher Synthesedaten erzeugt, die hinsichtlich ihrer Statistikeigenschaften Realdaten entsprechen, ohne dass zugrunde liegende Realbilddaten benötigt werden. Dies ist besonders vorteilhaft, wenn die entsprechenden Realbilddaten zum Beispiel Datenschutzbestimmungen unterliegen und somit nicht beliebig verfügbar sind.As a result, the synthesis arrangement therefore represents a “pseudo-producer” which generates synthesis data whose statistical properties correspond to real data, without the need for underlying real image data. This is particularly advantageous if the corresponding real image data is subject to data protection regulations, for example, and is therefore not freely available.

Insbesondere sind bzw. werden die Statistikdaten Metadaten zugeordnet, die Angaben über die Realbilddaten, deren Herkunft, ein Aufnahmegerät zu deren Erzeugung, Datum der Aufnahme, Ort der Aufnahme usw. enthalten können. Damit erhalten die Statistikdaten eine Klassifikation. So können z.B. unterschiedliche Sätze von Statistikdaten erzeugt/ gespeichert werden, die dann wahlweise im Generatormodul genutzt werden können.In particular, the statistical data is or is assigned metadata, which can contain information about the real image data, its origin, a recording device for its generation, date of recording, location of recording, etc. This gives the statistical data a classification. For example, different sets of statistical data can be generated/saved, which can then be used in the generator module.

Mit anderen Worten wird die Arbeit des Produzenten bzw. dessen Arbeitsergebnisse in Form der Realdaten beobeachtet und in Statistikdaten überführt. Insofern erfüllt das Statistikmodul auch eine Beobachtungsfunktionalität und kann daher (bzw. dessen entsprechender Teil) auch als Beobachtungsmodul zur Beobachtung des Produzenten / der Realdaten verstanden werden.In other words, the work of the producer or his work results is observed in the form of real data and converted into statistical data. In this respect, the statistics module also fulfills an observation functionality and can therefore (or its corresponding part) also be understood as an observation module for observing the producer / the real data.

Gemäß eines Aspekts der Erfindung sind die Synthesedaten und die Realdaten jeweils Ortsdaten in den Real- und Testbilddaten. Das Bildkriterium ist dann ein Ortskriterium. „Orte" in diesem Sinne sind insbesondere Punkte, Linien oder Flächen in 2D-Bilder, insbesondere Pixelbildern, d.h. entsprechende Bildkoordinaten / Pixelwerte und/oder Bildbereiche und/oder Grenzlinien von Bildbereichen, insbesondere Begrenzungs- oder Markierungsrahmen (sogenannte bounding box). Die Ortsdaten sind dann zum Beispiel die X-, Y-Koordinaten eines bestimmten Ecks eines betreffenden viereckigen Rahmens, zum Beispiel der „linken oberen Ecke“, sowie die Ausdehnung des Rahmens in X- und Y-Richtung (Breite / Höhe). Derartige Ortsdaten werden in der Bildverarbeitung von Produzenten in entsprechenden Geräten, wie zum Beispiel einer Videokamera, besonders häufig verwendet. Sie dienen zum Beispiel dazu, detektierte Bildorte / -bereiche (Kopf einer Person, Position eines Nummernschild an einem Fahrzeug) in den Bilddaten für eine spätere Weiterbearbeitung durch einen Konsumenten zu markieren. Der Konsument analysiert dann den markierten Bereich und führt dort zum Beispiel eine Personen-Identifikation oder die numerische Ermittlung von Kennzeichendaten durch.According to one aspect of the invention, the synthesis data and the real data are location data in the real and test image data, respectively. The image criterion is then a location criterion. “Locations” in this sense are in particular points, lines or areas in 2D images, in particular pixel images, ie corresponding image coordinates/pixel values and/or image areas and/or boundary lines of image areas, in particular boundary or marking frames (so-called bounding boxes). The location data are then, for example, the Image processing is particularly frequently used by producers in corresponding devices, such as a video camera. They are used, for example, to store detected image locations/areas (head of a person, position of a license plate on a vehicle) in the image data for later further processing to be marked by a consumer. The consumer then analyzes the marked area and carries out, for example, personal identification or the numerical determination of license plate data.

Gemäß eines Aspekts der Erfindung sind daher die Ortsdaten Bildkoordinaten und / oder Werte von Bildbereichen und / oder von Grenzen von Bildbereichen der Realbilddaten / Testbilddaten.According to one aspect of the invention, the location data are image coordinates and/or values of image areas and/or boundaries of image areas of the real image data/test image data.

Gemäß eines Aspekts der Erfindung enthält das Zufallsmodul einen Pseudo-Zufallsgenerator. Das Zufallsmodul ist dazu eingerichtet, eine pseudozufällige Folge von Zufallswerten zu erzeugen. Eine derartige Folge von Zufallswerten erzeugt damit eine Folge von Synthesedaten, zum Beispiel von synthetischen Ortsdaten, welche in sich „zufällig“ ist, jedoch aber bei gleichem Startwert (Seed) des Zufallsgenerators und gleichen Statistikdaten reproduzierbar ist. Dies eignet sich insbesondere für Synthesedaten zu Testzwecken von zum Beispiel zu testenden oder noch zu entwickelnden Konsumenten, um diese wiederholt den gleichen Zufallstests zu unterziehen.According to one aspect of the invention, the random module contains a pseudo-random generator. The random module is set up to generate a pseudo-random sequence of random values. Such a sequence of random values thus creates a sequence of synthesis data, for example synthetic location data, which is “random” in itself, but is reproducible with the same starting value (seed) of the random generator and the same statistical data. This is particularly suitable for synthesis data for testing purposes, for example from consumers to be tested or yet to be developed, in order to repeatedly subject them to the same random tests.

Gemäß eines Aspekts der Erfindung weist die Syntheseanordnung eine Schnittstelle für Bildklassen auf. Die Erfindung geht dabei davon aus, dass die Bildklassen bestimmungsgemäß (siehe sinngemäß oben) von einem Klassifikatormodul erzeugt sind bzw. werden. Das Klassifikatormodul ist dazu eingerichtet, aus den Realbilddaten eine jeweilige Bildklasse zu ermitteln. Diese kann dann den Statistikdaten zugeordnet werden. Die Syntheseanordnung, insbesondere das Generatormodul, ist dann dazu eingerichtet, die Synthesedaten - in Verbindung mit den Statistikdaten - auch anhand der Bildklassen zu erzeugen. Mit anderen Worten werden auch die entsprechenden Bildklassen bei der Erzeugung der Synthesedaten berücksichtigt, so dass z.B. spezialisierte, auf Bildklassen angepasste Synthesedaten bereitgestellt werden können. Die Bildklassen sind also insbesondere den Statistikdaten zuordenbar oder zugeordnet. Eine Bildklasse ist beispielsweise eine bestimmte in Realbilddaten abgebildete Szene (Menschen, Autos, Tiere, Landschaft), ein Typ von Bild (Abbild von sichtbarem Licht, Infrarot), eine Umgebungsbedingung der Aufnahme (Tag, Nacht), eine bestimmte in den Bilddaten abgebildete Umgebung (Einkaufszentrum, Krankenhaus, Straße, Privatwohnung) usw. Insbesondere können so Statistikdaten zu jeweiligen Bildklassen erzeugt werden, welche andere statistische Eigenschaften aufweisen. Somit können je nach Bildklasse verschiedene Qualitäten von Synthesedaten bereitgestellt werden.According to one aspect of the invention, the synthesis arrangement has an interface for image classes. The invention assumes that the image classes are or are generated as intended (see above) by a classifier module. The classifier module is set up to determine a respective image class from the real image data. This can then be assigned to the statistical data. The synthesis arrangement, in particular the generator module, is then set up to generate the synthesis data - in conjunction with the statistical data - also based on the image classes. In other words, the corresponding image classes are also taken into account when generating the synthesis data, so that, for example, specialized synthesis data adapted to image classes can be provided. The image classes can therefore be assigned or assigned in particular to the statistical data. An image class is, for example, a specific scene depicted in real image data (people, cars, animals, landscape), a type of image (image of visible light, infrared), an environmental condition of the recording (day, night), a specific environment depicted in the image data (shopping center, hospital, street, private apartment), etc. In particular, statistical data can be generated for respective image classes that have other statistical properties. This means that different qualities of synthesis data can be provided depending on the image class.

Gemäß eines Aspekts der Erfindung enthält die Syntheseanordnung das Klassifikatormodul. Die Schnittstelle für die Bildklassen befindet sich dann intern in der Syntheseanordnung und kann auch insofern zu einer simplen Weiterleitung bzw. Bereitstellung der Bildklassen entarten. Die Realbilddaten stehen dem Klassifikatormodul über den Eingang ohnehin zur Verfügung.According to one aspect of the invention, the synthesis arrangement contains the classifier module. The interface for the image classes is then located internally in the synthesis arrangement and can therefore degenerate into a simple forwarding or provision of the image classes. The real image data is available to the classifier module via the input anyway.

Gemäß eines Aspekts der Erfindung ist zumindest ein Teil der oder die gesamte Syntheseanordnung als eine oder mehrere ladbare Applikationen ausgebildet. Die Applikationen sind solche für eine Programm-Ausführungs-Umgebung eines Gerätes oder eines Entwicklungssystems. In diese Umgebung des Gerätes oder des Entwicklungssystems sind die Applikationen ladbar und in dieser ausführbar. Mit anderen Worten wird die Syntheseanordnung (ein Teil dieser) als ein oder mehrere „Apps“ ausgeführt, welche in entsprechende Programmablaufumgebungen ladbar sind. Dies betrifft alle obigen Ausführungsformen, entsprechende Geräte werden weiter unten erläutert.According to one aspect of the invention, at least part of or the entire synthesis arrangement is designed as one or more loadable applications. The applications are those for a program execution environment of a device or a development system. The applications can be loaded into this environment of the device or development system and can be executed in this environment. In other words, the synthesis arrangement (part of it) is executed as one or more “apps”, which can be loaded into corresponding program execution environments. This applies to all of the above embodiments; corresponding devices are explained below.

„Mehrere“ Applikationen bedeutet, dass die Syntheseanordnung auf verschiedene Applikationen aufgeteilt wird, zum Beispiel in der Form, dass eines oder mehrere der oben erläuterten Module in einer, andere Module in einer anderen Applikation realisiert sind.“Multiple” applications means that the synthesis arrangement is divided into different applications, for example in the form that one or more of the modules explained above are implemented in one application and other modules in another application.

Ein Gegenstand der Erfindung ist eine Gerätekomponente nach Anspruch 8. Diese enthält die erfindungsgemäße Syntheseanordnung sowie den in diesem Zusammenhang genannten Produzenten. Der Produzent enthält bzw. diesem ist das Bildkriterium zugeordnet. Die Gerätekomponente und zumindest ein Teil deren möglicher Ausführungsformen sowie die jeweiligen Vorteile wurden sinngemäß bereits im Zusammenhang mit der erfindungsgemäßen Syntheseanordnung erläutert.An object of the invention is a device component according to claim 8. This contains the synthesis arrangement according to the invention and the producer mentioned in this context. The producer contains or is assigned the image criterion. The device component and at least some of its possible embodiments as well as the respective advantages have already been explained in connection with the synthesis arrangement according to the invention.

Gemäß eines Aspekts der Erfindung enthält die Gerätekomponente einen Konsumentenausgang. Die Gerätekomponente enthält außerdem ein Vorwärtsmodul. Dieses dient bzw. ist dazu eingerichtet, die realen Bilddaten und / oder die Realdaten am Konsumentenausgang bereitzustellen. Der Eingang der Syntheseanordnung sowie zumindest ein Teil des Statistikmoduls, insbesondere das gesamte Statistikmodul, ist dann im Vorwärtsmodul enthalten. Dies führt zu einer besonders kompakten bzw. synergetischen Ausführung der Bestandteile der Gerätekomponente. Insbesondere leitet im Realbetrieb die Gerätekomponente wenigstens die Realdaten an einen Konsumenten weiter, welcher diese vom Konsumentenausgang bezieht. Insbesondere werden auch zusammen mit den Realdaten die Realbilddaten, entweder durch die Gerätekomponente hindurch oder an dieser vorbei, dem Konsumenten zugeführt. In Anknüpfung zu den obigen Beispielen ist der Konsument zum Beispiel eine Applikation zur Identifikation von Personen anhand von deren Gesichtern, wobei die Gesichter bereits in einem existierenden Realbild durch einen Umgebungs-/ Auswahlrahmen markiert sind. Ähnliches gilt für einen Konsumenten, welcher die alphanumerische Auswertung eines in den Realbilddaten dargestellten Nummernschildes eines Kraftfahrzeuges erledigt, wobei das Kraftfahrzeugkennzeichen mithilfe der Realdaten durch einen entsprechenden Rahmen im Realbild markiert ist.According to one aspect of the invention, the device component includes a consumer output. The device component also contains a forward module. This serves or is set up to provide the real image data and/or the real data at the consumer output. The input of the synthesis arrangement and at least part of the statistics module, in particular the entire statistics module, is then contained in the forward module. This leads to a particularly compact or synergistic design of the components of the device component. In particular, in real operation, the device component forwards at least the real data to a consumer, which obtains it from the consumer output. In particular, the real image data is also fed to the consumer together with the real data, either through the device component or past it. Following on from the examples above, the consumer is, for example, an application for identifying people based on their faces, where the faces are already marked in an existing real image by an environment/selection frame. The same applies to a consumer who carries out the alphanumeric evaluation of a license plate of a motor vehicle shown in the real image data, the vehicle license plate being marked using the real data by a corresponding frame in the real image.

Somit ist zumindest ein Teil des Vorwärtsmoduls also auch ein Teil der Syntheseanordnung.Thus, at least part of the forward module is also part of the synthesis arrangement.

Ein Gegenstand der Erfindung ist eine Geräteanordnung gemäß Patentanspruch 10. Diese beinhaltet ein Gerät und die erfindungsgemäße Syntheseanordnung oder die erfindungsgemäße Gerätekomponente. Die Geräteanordnung, insbesondere das Gerät, weist eine Umgebung auf, die zur Ausführung von Applikationen dient bzw. eingerichtet ist, mit anderen Worten eine Software- bzw. Programmablauf-Umgebung. In die Umgebung sind der Produzent und/oder die Syntheseanordnung oder zumindest ein Teil von Produzent und/oder Syntheseanordnung als jeweils eine oder mehrere der Applikationen ladbar. Mit anderen Worten handelt es sich um ein Gerät, welches durch entsprechende Applikationen erweiterbar bzw. anpassbar ist und insofern mit der Erfindung ertüchtigt werden kann. Die Geräteanordnung und zumindest ein Teil deren möglicher Ausführungsformen sowie die jeweiligen Vorteile wurden sinngemäß bereits im Zusammenhang mit der erfindungsgemäßen Syntheseanordnung oder Gerätekomponente erläutert.One object of the invention is a device arrangement according to claim 10. This includes a device and the synthesis arrangement according to the invention or the device component according to the invention. The device arrangement, in particular the device, has an environment that is used or is set up to execute applications, in other words a software or program execution environment. The producer and/or the synthesis arrangement or at least a part of the producer and/or synthesis arrangement can be loaded into the environment as one or more of the applications. In other words, it is a device that can be expanded or adapted using appropriate applications and can therefore be upgraded with the invention. The device arrangement and at least some of its possible embodiments as well as the respective advantages have already been explained in connection with the synthesis arrangement or device component according to the invention.

Gemäß eines Aspekts der Erfindung ist das Statistikmodul als eigene Applikation ausgeführt. In der Regel können in einer derartigen Umgebung einzelne Applikationen deaktiviert werden. Somit kann die statistische Auswertung der Realbilddaten und damit die Erzeugung der Statistikdaten zentral auf dem gesamten Gerät deaktiviert werden.According to one aspect of the invention, the statistics module is designed as a separate application. As a rule, individual applications can be deactivated in such an environment. This means that the statistical evaluation of the real image data and thus the generation of statistical data can be deactivated centrally on the entire device.

Gemäß eines Aspekts der Erfindung enthält die Geräteanordnung, insbesondere das Gerät, einen Realkonsumenten, der zur Entgegennahme der Realdaten, insbesondere auch der Realbilddaten, eingerichtet ist. Somit ergibt sich eine Geräteanordnung, bei der - insbesondere in der Variante als Applikationen - Produzent und/oder Konsument frei konfigurierbar bzw. austauschbar und nachrüstbar installierbar sind.According to one aspect of the invention, the device arrangement, in particular the device, contains a real consumer which is set up to receive the real data, in particular also the real image data. This results in a device arrangement in which - particularly in the variant as applications - the producer and/or consumer can be freely configured or exchanged and installed in a retrofittable manner.

Gemäß eines weiteren Aspekts der Erfindung sind das Statistikmodul und oder das Zufallsmodul und oder das Generatormodul außerhalb des Gerätes angeordnet, mit anderen Worten sind insbesondere entsprechende Applikationen nicht auf dem Gerät, sondern auf einer anderen Hardwarekomponente der Geräteanordnung angesiedelt und lediglich daten- bzw. kommunikationstechnisch zur Zusammenarbeit mit dem Gerät verbunden.According to a further aspect of the invention, the statistics module and/or the random module and/or the generator module are arranged outside the device, in other words, in particular, corresponding applications are not located on the device, but on another hardware component of the device arrangement and are only available in terms of data or communication technology Collaboration connected to the device.

Gemäß eines weiteren Aspekts der Erfindung ist das Gerät eine Videokamera zur Aufnahme der Realbilddaten, insbesondere in Form von Einzelbildern oder einem aus aneinandergereihten Einzelbildern bestehenden Videostromes.According to a further aspect of the invention, the device is a video camera for recording the real image data, in particular in the form of individual images or a video stream consisting of individual images strung together.

Ein Gegenstand der Erfindung ist ein Verfahren gemäß Patentanspruch 15 zum Betreiben der erfindungsgemäßen Syntheseanordnung oder der erfindungsgemäßen Gerätekomponente oder der erfindungsgemäßen Geräteanordnung. Bei dem Verfahren werden einem Testkonsumenten nur die Synthesedaten, jedoch keine oder nicht alle der Realdaten und/oder Realbilddaten zugeführt. Mit anderen Worten werden zwar die Realbilddaten dazu genutzt, Statistikdaten zu erzeugen, die insofern die Eigenschaften tatsächlich realer Realbilddaten widerspiegeln. Auch werden, wie oben erläutert die Synthesedaten erzeugt, die zumindest hinsichtlich ihrer statistischen Eigenschaften den Realdaten und damit realen Verhältnissen entsprechen, jedoch gegenüber den Realbilddaten abstrahiert, insbesondere anonymisiert, sind. Zumindest sensible oder alle Realbilddaten / Realdaten werden dagegen dem Testkonsumenten nicht zugeführt. So kann dieser bedenkenlos mit die Realität abbildenden Synthesedaten, jedoch ohne bedenkliche Realbilddaten / Realdaten getestet bzw. betrieben werden.An object of the invention is a method according to claim 15 for operating the synthesis arrangement according to the invention or the device component according to the invention or the device arrangement according to the invention. In the method, only the synthesis data, but none or not all of the real data and/or real image data, is supplied to a test consumer. In other words, the real image data is used to generate statistical data that actually reflects the properties of real image data. As explained above, the synthesis data is also generated which, at least in terms of its statistical properties, corresponds to the real data and thus real conditions, but is abstracted from the real image data, in particular anonymized. However, at least sensitive or all real image data/real data is not supplied to the test consumer. This means that it can be safely tested or operated with synthesis data that reflects reality, but without any questionable real image data/real data.

Das Verfahren und zumindest ein Teil dessen möglicher Ausführungsformen sowie die jeweiligen Vorteile wurden sinngemäß bereits im Zusammenhang mit der erfindungsgemäßen Syntheseanordnung, Gerätekomponente oder Geräteanordnung erläutert.The method and at least some of its possible embodiments as well as the respective advantages have already been explained in connection with the synthesis arrangement, device component or device arrangement according to the invention.

Die Erfindung beruht auf folgenden Erkenntnissen, Beobachtungen bzw. Überlegungen und weist noch die nachfolgenden bevorzugten Ausführungsformen auf. Diese Ausführungsformen werden dabei teils vereinfachend auch „die Erfindung“ genannt. Die Ausführungsformen können hierbei auch Teile oder Kombinationen der oben genannten Ausführungsformen enthalten oder diesen entsprechen und/oder gegebenenfalls auch bisher nicht erwähnte Ausführungsformen einschließen.The invention is based on the following findings, observations and considerations and also has the following preferred embodiments. To simplify matters, these embodiments are also called “the invention”. The embodiments can also contain parts or combinations of the above-mentioned embodiments or correspond to them and/or possibly also include previously unmentioned embodiments.

Gemäß der Erfindung ergibt sich das Lernen von Synthesedaten (Test-Daten) für Konsumenten aus analytischen Ergebnissen (Analyse der Realdaten durch das Statistikmodul).According to the invention, the learning of synthesis data (test data) for consumers results from analytical results (analysis of the real data by the statistics module).

Die Erfindung beruht insbesondere auf der Grundidee, einen Konsumenten zu testen, indem diesem Realdaten eines Produzenten zur Verfügung gestellt werden. Problematisch ist hierbei, dass gegebenenfalls sensible Informationen in den Realdaten oder auch den zugrunde liegenden Realbilddaten enthalten sind, welche nicht zur Verfügung stehen.The invention is based in particular on the basic idea of testing a consumer by making real data from a producer available to him. The problem here is that sensitive information may be leaked into the real world data or the underlying real image data that are not available.

Die Erfindung beruht auf der Beobachtung, dass es für solche Zwecke aus der Praxis in ähnlicher Weise bekannt ist, zum Beispiel Android-Anwendungen durch den sogenannten Ul / Application Exerciser Monkey zu testen, siehe z.B. „Ul / Application Exerciser Monkey“, https://developer.android.com/studio/test/othertesting-tools/monkey, Internetseite, Abruf am 12.05.2022.The invention is based on the observation that it is known in practice for such purposes in a similar way, for example to test Android applications using the so-called Ul / Application Exerciser Monkey, see e.g. “Ul / Application Exerciser Monkey”, https:/ /developer.android.com/studio/test/othertesting-tools/monkey, website, accessed on May 12, 2022.

Grundgedanke der Erfindung ist das Testen eines Konsumenten in einem Produzent-Konsument-Set-up, bei dem der Produzent eine Videoanalysekomponente ist, welche eine gewisse Detektion durchführt und einen Auswahlrahmen (bounding box) oder erkannten Bildbereich erzeugt. Der Konsument ist eine Komponente, welche diesen Rahmen oder Bereich nutzt, um Aufgaben wie zum Beispiel Tracking, Zählen usw. durchzuführen.The basic idea of the invention is testing a consumer in a producer-consumer set-up, in which the producer is a video analysis component that carries out a certain detection and generates a selection frame (bounding box) or recognized image area. The consumer is a component that uses this framework or area to perform tasks such as tracking, counting, etc.

Das Problem, welches hier zu lösen ist, ist: wie der Konsument in dem genannten Set-Up getestet werden kann, ohne den Produzenten zu benötigen oder Zugriff auf den bestimmten Produzenten zu benötigen.The problem to be solved here is: how to test the consumer in the mentioned setup without needing the producer or requiring access to the specific producer.

Aus der Praxis ist es zwar bekannt, bestimmte Events dem Konsumenten eingeben zu können (Monkey, siehe oben), diese basieren jedoch typischerweise auf einer vordefinierten Interaktionsmethodik, wie zum Beispiel der Benutzung eines Smartphones (Drücken/Berühren des Bildschirms, Loslassen des Bildschirms, Bewegungen auf dem Bildschirm (streichen, wischen), definierte „Buttons“). Solche Daten sind jedoch nicht notwendigerweise verfügbar in einem generellen Produzent-Konsument-Set-up. Die Information, die vom Produzenten zum Konsumenten transportiert wird, sind Realdaten, insbesondere ein bestimmter Bildbereich oder ein Auswahlrahmen (bounding box).Although it is known in practice to be able to enter certain events to the consumer (Monkey, see above), these are typically based on a predefined interaction methodology, such as using a smartphone (pressing/touching the screen, releasing the screen, movements on the screen (swipe, swipe), defined “buttons”). However, such data is not necessarily available in a general producer-consumer set-up. The information that is transported from the producer to the consumer is real data, in particular a specific image area or a selection frame (bounding box).

Kern der Erfindung ist es, einen existierenden Produzenten „in seiner natürlichen Umgebung“ zu beobachten und die Erzeugung der Synthesedaten zu erlernen bzw. einen Weg zu erlernen, repräsentative Synthesedaten, zum Beispiel repräsentative Auswahlrahmen, zu erzeugen.The core of the invention is to observe an existing producer “in its natural environment” and to learn how to generate the synthesis data or to learn a way to generate representative synthesis data, for example representative selection frames.

Aus Anschaulichkeitsgründen wird die Erfindung im Folgenden am Beispiel einer Videokamera erläutert, jedoch ist es möglich, jedweden Schritt / Komponente von der Kamera zu entfernen und auf einem von der Kamera entfernten Gerät bzw. in einer entsprechend entfernten Umgebung auszuführen. Beispielsweise könnte der Video-Datenstrom an ein Analysegerät übertragen werden oder nur die Realdaten oder sonstige Ausgangsdaten des Produzenten könnten an einen Konsumenten / Testkonsumenten weitergeleitet werden.For reasons of clarity, the invention is explained below using the example of a video camera, but it is possible to remove any step/component from the camera and execute it on a device remote from the camera or in a correspondingly remote environment. For example, the video data stream could be transmitted to an analysis device or only the real data or other output data from the producer could be forwarded to a consumer/test consumer.

Die Erfindung beruht auf der Beobachtung, dass eine Videokamera mehrere Komponenten (Produzenten) für Videoanalyse und weitere Bearbeitung der Ergebnisse von solcher Videoanalyse (Konsumenten) ausführen kann. Vorzugsweise sind derartige Komponenten (Applikationen) als Third-Party, After-Market-Komponenten („Apps“) verfügbar.The invention is based on the observation that a video camera can execute multiple components (producers) for video analysis and further processing of the results of such video analysis (consumers). Such components (applications) are preferably available as third-party, after-market components (“apps”).

Die Analysekomponenten (Produzent) erzeugen dabei einen bekannten Datentypen (Realdaten), vorzugsweise eine Auswahlrahmen (bounding box), bestehend aus einem X- und Y-Wert, sowie Breite und Höhe, als Daten. Dieser bekannte Datentyp wird von einem Vorwärtsmodul (data forwarding component) zu einen oder mehreren Konsumenten weitergeleitet.The analysis components (producer) generate a known data type (real data), preferably a selection frame (bounding box), consisting of an X and Y value, as well as width and height, as data. This well-known data type is forwarded to one or more consumers by a data forwarding component.

Ein Beispiel eines solchen Setups ist eine Videokamera, welche Personen zählen kann: bei zunächst Detektieren (Bildkriterium) der tatsächlich im Bild (Realbilddaten) vorhandenen Personen (Produzent) und dann Weiterleiten einer Markierungsrahmen-Information (Realdaten), wobei der Rahmen die Personen im Bild markiert, an eine Komponente (Konsument), welche das eigentliche Zählen bewirkt, durch Überprüfung, ob die Auswahlrahmen eine bestimmte Linie überschreiten oder in einen bestimmten Bildbereich eintreten.An example of such a setup is a video camera that can count people: by first detecting (image criterion) the people actually present in the image (real image data) (producer) and then forwarding marking frame information (real data), whereby the frame indicates the people in the image marked, to a component (consumer), which does the actual counting, by checking whether the selection frames cross a certain line or enter a certain image area.

Da der Datentyp bekannt ist, ist das Vorwärtsmodul (darin das Statistikmodul) fähig, die Daten „zu verstehen“, die es vorwärts transportiert bzw. weiterleitet. Es kann daher die Realdaten inspizieren (statistische Analyse), um die Statistik der transportierten Daten zu ermitteln (Statistikdaten), vorzugsweise lernt es die Wahrscheinlichkeitsverteilungen der linken oberen Ecke (X, Y) und abhängig hiervon die Breite w und Höhe h des Auswahlrahmens, d.h. P(w | X, Y) und P(h | X, Y).Because the data type is known, the forward module (including the statistics module) is able to “understand” the data it transports forward. It can therefore inspect the real data (statistical analysis) to determine the statistics of the transported data (statistics data), preferably it learns the probability distributions of the upper left corner (X, Y) and, depending on this, the width w and height h of the selection frame, i.e. P(w | X, Y) and P(h | X, Y).

Diese Statistik (Statistikdaten) kann angereichert werden mit identifizierten Metadaten wie zum Beispiel: Typ der Kamera, Modell der Kamera, die Applikation welche die Daten erzeugt. Derartige Metadaten bzw. Statistikdaten können dann entweder gespeichert oder in eine Cloud übertragen werden. These statistics (statistical data) can be enriched with identified metadata such as: type of camera, model of camera, the application that generates the data. Such metadata or statistical data can then either be saved or transferred to a cloud.

Diese Statistik (Statistikdaten) kann dann genutzt werden, um einen Generator (Generatormodul) zu konfigurieren, welcher dann synthetische Daten (Synthesedaten) erzeugt, die dann zum Testen von Konsumenten genutzt werden können, welche sich in der Entwicklung befinden. Der genaue Weg, auf welchem der Entwickler des Konsumenten die Statistiken (Statistikdaten) erhält, sind für die vorliegende Erfindung irrelevant. Sie können direkt von der Kamera erhalten werden oder könnten durch einen Cloud Intermediär erhalten werden, welcher möglicherweise solche Daten für mehrere Kameras sammelt.This statistic (statistics data) can then be used to configure a generator (generator module) which then generates synthetic data (synthesis data) which can then be used to test consumers that are in development. The exact way in which the consumer's developer obtains the statistics (statistics data) is irrelevant to the present invention. You can directly from the camera or could be obtained through a cloud intermediary, which may collect such data for multiple cameras.

Der Generator bestimmt zunächst die X- und Y-Koordinaten durch Nutzung von Zufallszahlen, um diese aus den gelernten Statistiken zu „ziehen“. Er benutzt dann die abhängigen Wahrscheinlichkeiten, um Höhe und Breite zu bestimmen. Aus diesen Koordinaten wird dann ein Auswahlrahmen erzeugt und an den Konsumenten, der sich in Entwicklung befindet, weitergeleitet.The generator first determines the X and Y coordinates by using random numbers to “pull” them from the learned statistics. He then uses the dependent probabilities to determine height and width. A selection frame is then created from these coordinates and forwarded to the consumer who is in development.

Da ein Pseudo-Zufallsgenerator bzw. -Zufallszahlengenerator benutzt wird, machen die Seed eines solchen Generators und dessen Konfiguration die Auswahlrahmen, welche erzeugt werden, reproduzierbar.Since a pseudo-random number generator is used, the seeds of such a generator and its configuration make the selection frames that are generated reproducible.

Im Ergebnis kann der Generator daher „vernünftige“ Synthesedaten erzeugen. Durch Invertierten der Wahrscheinlichkeitsverteilungen (in den Statistikdaten) können zum Beispiel unwahrscheinliche Ereignisse zu wahrscheinlichen Ereignissen gemacht werden. So ist es möglich, Ausreißer zu erzeugen (in den Synthesedaten). Der Generator kann angewiesen werden, solche Ausreißer durch Invertieren irgendeiner der gelernten Wahrscheinlichkeitsverteilungen mit einer bestimmten Wahrscheinlichkeit zu erzeugen.As a result, the generator can generate “reasonable” synthesis data. For example, by inverting the probability distributions (in the statistical data), unlikely events can be turned into probable events. This makes it possible to create outliers (in the synthesis data). The generator can be instructed to generate such outliers by inverting any of the learned probability distributions with a certain probability.

Hierzu kann z.B. der Beobachter der Realwerte (Statistikmodul) mit einem neuronalen Netz ausgerüstet werden bzw. ein solches anlernen, das dann ausgehend von den Bilddaten Realwerte simuliert. Dieses erkennt dann Ausreißer (daher auch „adversarial neural network“). Das Netz kann damit auch genutzt werden, um Anomalien in die Synthesedaten einzubringen, indem z.B. solche Realwerte als Synthesewerte erlaubt / Synthesewerte erzeugt werden, die das neuronale Netz als „Ausreißer“ verwerfen würde.For this purpose, for example, the observer of the real values (statistics module) can be equipped with or trained in a neural network, which then simulates real values based on the image data. This then detects outliers (hence the “adversarial neural network”). The network can therefore also be used to introduce anomalies into the synthesis data, for example by allowing such real values as synthesis values / generating synthesis values that the neural network would reject as “outliers”.

Schließlich ist der Generator insbesondere noch dazu ausgerüstet, um erzeugte Auswahlrahmen zu korrigieren, um diese an die Parameter einer fiktiven Kamera anzupassen, welche solche Ereignisse (Synthesedaten) erzeugen würde. Daher, falls zum Beispiel eine Breite erzeugt wird, welche dazu führen würde, dass ein Auswahlrahmen außerhalb eines beobachteten Bereiches liegt, korrigiert der Generator zum Beispiel durch Begrenzen des Auswahlrahmens auf die beobachtbare Fläche oder er bewegt den Auswahlrahmen so, dass er zu der neuen Größe passt.Finally, the generator is particularly equipped to correct generated selection frames in order to adapt them to the parameters of a fictitious camera that would generate such events (synthesis data). Therefore, if, for example, a width is created that would cause a selection frame to lie outside an observed area, the generator corrects, for example, by limiting the selection frame to the observable area or moving the selection frame to the new size fits.

Es ist auch möglich, mehrere Statistiken zu erzeugen, um Synthesedaten für ein System zu erzeugen, welches mehrere Analyseapplikationen (Statistikmodul) ausführt.It is also possible to generate multiple statistics to generate synthesis data for a system running multiple analysis applications (statistics module).

Losgelöst von dem konkreten Beispiel oben (Auswahlrahmen) sieht die Erfindung Module vor, welche spezialisierte Informationen sammeln und produzieren.Detached from the specific example above (selection framework), the invention provides modules that collect and produce specialized information.

Diese allgemeine Form der Erfindung führt spezialisierte Module ein, welche die Funktionalität des Datensammelns und der Datenerzeugung erweitern. In Ergänzung zu dem Analysemodul (Statistikmodul) kann eine Applikation zusammengesetzt sein aus einem Beobachtungsmodul, welches von der Kamera ausgeführt werden kann, um Statistiken aus den produzierten analytischen Ergebnissen zu lernen. Hier ist zu bemerken, dass dies auch eine Funktion der oben genannten „klassischen“ Applikation sein kann (Statistikmodul). Jedoch ist vorzugsweise ein separates Modul hierzu benutzt, sodass das Lernen der Statistiken zentral auf der Kamera deaktiviert werden kann.This general form of the invention introduces specialized modules that extend the functionality of data collection and data generation. In addition to the analysis module (statistics module), an application can be composed of an observation module, which can be executed by the camera in order to learn statistics from the analytical results produced. It should be noted here that this can also be a function of the “classic” application mentioned above (statistics module). However, a separate module is preferably used for this so that learning the statistics can be deactivated centrally on the camera.

Die Statistiken, die bei einem solchen Beobachtungsmodul erzeugt werden, sind völlig freier Form und nicht notwendigerweise standardisiert. Dieses erlaubt die Erfindung über standardisierte Auswahlrahmen hinaus zu erweitern.The statistics produced by such an observation module are completely free form and not necessarily standardized. This allows the invention to be expanded beyond standardized selection frames.

Korrespondierend zu dem Datenbeobachtungsmodul, erweitert ein Synthesemodul den Generator, um spezialisierte Synthesedaten zu erzeugen (allgemeine Synthesedaten, die keine Ortsdaten sind). Diese Synthesemodule verstehen die Statistiken, welche vom Beobachtungsmodul erzeugt wurden.Corresponding to the data observation module, a synthesis module extends the generator to produce specialized synthesis data (general synthesis data that is not location data). These synthesis modules understand the statistics generated by the observation module.

Entscheidend ist, dass die Analyse- und Beobachtungsmodule (Statistikmodul und Weiterleitung an das Generator-Modul) grundlegend verschieden von dem Synthesemodul sind (Generatormodul), da das letztere für den Generator, also die Erzeugung der Synthesedaten, und nicht für die Kamera genutzt werden.What is crucial is that the analysis and observation modules (statistics module and forwarding to the generator module) are fundamentally different from the synthesis module (generator module), since the latter is used for the generator, i.e. the generation of the synthesis data, and not for the camera.

Daher, während ein Entwickler einer Applikation alle drei Module als ein Paket hochladen kann, werden zum Beispiel nur das Analyse- und Beobachtungsmodul auf die Kamera installiert und müssen auf der Kamera ausgeführt werden.Therefore, while an application developer can upload all three modules as one package, for example, only the analysis and observation modules are installed on the camera and must be run on the camera.

Dieser Ansatz generalisiert die Erfindung von Auswahlrahmen und somit von Kameras auf generelle Sicherheits-Geräte welche dazu ausgerüstet sind, Daten zu analysieren, unter Benutzung verschiedener Analysemodule. Für die Kameras im Besonderen, wird die Sammlung von Informationen über weiter spezialisierte Bereiche als nur Auswahlrahmen ermöglicht. Zusätzlich erlaubt es die Verfolgung von spezifischen Optionen, so zum Beispiel der Bewegung von Objekten, abhängigen Anerkennungen (zum Beispiel einer Gesichtserkennung, die eine Personenerkennung benötigt) oder der Einführung von Verzögerungen.This approach generalizes the invention of selection frames and thus cameras to general security devices equipped to analyze data using various analysis modules. For the cameras in particular, it enables the collection of information about more specialized areas than just selection frames. In addition, it allows the tracking of specific options, such as the Movement of objects, dependent recognitions (e.g. a face recognition that requires person recognition) or the introduction of delays.

Eine weitere Variante der Erfindung bezieht sich auf Szenenerkennung - Augmented Data. In dieser Variante wird eine gewöhnliche Szenenerkennungs-Analyse ausgeführt (Klassifikatormodul). Das Ergebnis dieser Analyse (Bildklassen) ist, welche Szenen wahrscheinlich waren in der Zeit, in der die Daten gesammelt wurden (Laufzeit des Statistikmoduls zur Erzeugung der Statistikdaten). Die Wahrscheinlichkeitsverteilungen werden dann gelernt je nach dem Typ von Szene, möglicherweise unter Benutzung aller möglichen Szenen als ein Ziel für das Auftreten des Auswahlrahmens.Another variant of the invention relates to scene recognition - augmented data. In this variant, a normal scene recognition analysis is carried out (classifier module). The result of this analysis (image classes) is which scenes were likely during the time in which the data was collected (runtime of the statistics module to generate the statistics data). The probability distributions are then learned depending on the type of scene, possibly using all possible scenes as a target for the occurrence of the sampling frame.

Diese Information ergänzt die Statistikdaten als Metadaten, so dass hier zum Beispiel Sätze von Statistiken (Statistikdaten) für „Straße“, „Einkaufszentrum“, etc. vorhanden sind. Dies erlaubt es, dass die Konsumenten für bestimmte Szenarien entwickelt und gegenüber bestimmten anderen Szenarien getestet werden können.This information supplements the statistical data as metadata, so that, for example, sets of statistics (statistical data) for “street”, “shopping center”, etc. are available. This allows consumers to be developed for certain scenarios and tested against certain other scenarios.

Die Erfindung befasst sich daher nicht damit, eine Analysekomponente (Produzent / Konsument) zu trainieren, da sie weder positive noch negative Ergebnisse unterscheidet und sich auch nicht mit einer Qualifizierung eines Bildes (Realbilddaten) befasst. Im Gegensatz hierzu beschreibt die Erfindung, eine Quelle für synthetische Ergebnisse (Synthesedaten) bereitzustellen, welche die Ausgabe einer Analysekomponente (Realdaten des Produzentes) nachahmt, sodass ein Konsument einer solchen nachgeahmten Ausgabe (Synthesedaten) auf Grenzfälle getestet werden kann. Daher ist der (Pseudo-)Zufallsgenerator insbesondere ein integraler Bestandteil der Erfindung, da dieser es erlaubt der Repräsentation (Syntheseanordnung Syntheseanordnung) als „unendliche“ Quelle von Testdaten in Form von Synthesedaten zu dienen, welche - dank der Statistikbeziehungen (Statistikdaten) - auch Randfälle beinhalten. Weiterhin dient die Erfindung in ihrem Kern dazu, dass sie aktuelles tatsächliches reales Videomaterial nicht benötigt, d.h. dieses muss nicht von der Videoanalyse an die Testumgebung weitergeleitet werden. Daher kann es sich dabei um zwei separate Entitäten handeln und die Entität, welche den Test ausführt, kann den Test ausführen, obwohl es ihr nicht gestattet ist (aus Privat- oder Vertraulichkeitsgründen) Zugriff auf einen tatsächlichen Videostrom (Realbilddaten) zu haben.The invention is therefore not concerned with training an analysis component (producer/consumer), since it does not distinguish between positive and negative results and is also not concerned with qualifying an image (real image data). In contrast, the invention describes providing a source for synthetic results (synthesis data) that mimics the output of an analysis component (real data from the producer), so that a consumer of such a mimicked output (synthesis data) can be tested for borderline cases. Therefore, the (pseudo) random generator is in particular an integral part of the invention, as it allows the representation (synthesis arrangement) to serve as an “infinite” source of test data in the form of synthesis data, which - thanks to the statistical relationships (statistical data) - also includes edge cases include. Furthermore, the essence of the invention is that it does not require current, real video material, i.e. this does not have to be forwarded from the video analysis to the test environment. Therefore, they can be two separate entities and the entity executing the test can execute the test even though it is not permitted (for privacy or confidentiality reasons) to have access to an actual video stream (real image data).

Weitere Merkmale, Wirkungen und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung sowie der beigefügten Figuren. Dabei zeigen, jeweils in einer schematischen Prinzipskizze:

• 1 eine Geräteanordnung mit einem sich in der Entwicklung befindenden Konsumenten,
• 2 die Geräteanordnung auf 1, bei der Komponenten in einer App zusammengefasst sind,
• 3 die Geräteanordnung aus 1, mit einem Klassifikatormodul.

Further features, effects and advantages of the invention result from the following description of a preferred exemplary embodiment of the invention and the attached figures. Show, each in a schematic principle sketch:

• 1 a device arrangement with a consumer under development,
• 2 the device arrangement 1 , where components are combined in an app,
• 3 the device arrangement 1 , with a classifier module.

1 zeigt eine Geräteanordnung 2. Diese enthält ein Gerät 4, im Beispiel eine Videokamera, sowie eine Syntheseanordnung 6. Die Geräteanordnung 2 enthält eine gesamte Umgebung 8 zur Ausführung von Applikationen 10, wobei diese streng genommen auf zwei (Teil-)Umgebungen 8, einerseits im Gerät 4, andererseits in einem Entwicklungssystem 28, aufgeteilt ist. 1 shows a device arrangement 2. This contains a device 4, in the example a video camera, and a synthesis arrangement 6. The device arrangement 2 contains an entire environment 8 for executing applications 10, which, strictly speaking, is divided into two (sub-)environments 8, on the one hand Device 4, on the other hand, is divided into a development system 28.

Das Gerät 4 dient zur Aufnahme einer Mehrzahl von Realbilddaten 12 in Form einer Folge von Digitalbildern als Videostrom, von denen exemplarisch nur drei Stück angedeutet sind. Vorliegend sind die Realbilddaten 12 rein beispielhaft Landschaftsaufnahmen, in denen jeweils eine Landschaft mit der Sonne 14 abgebildet ist.The device 4 is used to record a plurality of real image data 12 in the form of a sequence of digital images as a video stream, of which only three are shown as an example. In the present case, the real image data 12 are purely exemplary landscape images in which a landscape with the sun 14 is depicted.

Als eine der Applikationen 10 enthält das Gerät 4 einen Produzenten 16 in Form einer Applikation 10, die dazu eingerichtet ist, die Realbilddaten 12 in Bezug auf ein Bildkriterium 18 zu analysieren. Der Produzent 16 kann daher auch als Analysator bezeichnet werden. Das Bildkriterium 18 ist vorliegend das Auffinden und Lokalisieren des Mittelpunkts eines Abbilds der Sonne 14 in den Realbilddaten 12. Der Produzent erzeugt dabei die Bildkoordinaten x und y des jeweiligen Bildpixels der Realbilddaten 12 (Pixel-Zeile und -Spalte), an der der Mittelpunkt der Sonne 14 liegt.As one of the applications 10, the device 4 contains a producer 16 in the form of an application 10, which is set up to analyze the real image data 12 in relation to an image criterion 18. The producer 16 can therefore also be referred to as an analyzer. The image criterion 18 in the present case is the finding and localization of the center of an image of the sun 14 in the real image data 12. The producer generates the image coordinates x and y of the respective image pixel of the real image data 12 (pixel row and column) at which the center of the Sun 14 is located.

Das Gerät 4 befindet sich in einem Realbetrieb BR, in dem der Produzent 16 anhand des Bildkriteriums 18 die jeweiligen Realbilddaten 12 Bild für Bild analysiert bzw. auswertet, d.h. in jedem Bild die Position der Sonne 14 ermittelt und die entsprechenden Bildkoordinaten (x,y) des Mittelpunkt der Sonne 14 als Wertepaar in Form der Realdaten 20 ausgibt.The device 4 is in real operation BR, in which the producer 16 analyzes or evaluates the respective real image data 12 image by image based on the image criterion 18, i.e. determines the position of the sun 14 in each image and the corresponding image coordinates (x,y) of the center of the sun 14 as a pair of values in the form of the real data 20.

Das Gerät 4 enthält weiterhin ein Vorwärtsmodul 22, ebenfalls in Form einer Applikation 10, das die Realdaten 20 an einem Konsumentenausgang 24 bereitstellt. Das Gerät enthält einen Realkonsumenten 26 in Form einer weiteren Applikation 10. Dieser nimmt die Realdaten 20 vom Konsumentenausgang 24 entgegen und verarbeitet diese weiter. Im Beispiel führt dieser eine von der Position der Sonne 14 abhängige Belichtungssteuerung in der Kamera durch, was hier nicht näher erläutert werden soll. Der Realkonsument 26 wird so bezeichnet, da dieser ein auf realen Daten, nämlich den aufgenommenen Bildern arbeitender Konsument ist, da dieser also die Realbilddaten 12 empfängt und zu Realdaten 20 verarbeitet.The device 4 further contains a forward module 22, also in the form of an application 10, which provides the real data 20 at a consumer output 24. The device contains a real consumer 26 in the form of a further application 10. This receives the real data 20 from the consumer output 24 and processes it further. In the example, this carries out an exposure control in the camera that is dependent on the position of the sun 14, which will not be explained in more detail here. The real consumer 26 is referred to as: This is a consumer working on real data, namely the recorded images, since it receives the real image data 12 and processes it into real data 20.

Die Syntheseanordnung 6 ist Teil des von dem Gerät 4 verschiedenen Test- und Entwicklungssystems 28. Diese kann auch Pseudoproduzent genannt werden. Die Syntheseanordnung 6 dient nämlich dazu, Synthesedaten 30 an einem Ausgang 32 bereitzustellen, die in synthetischer Form Realdaten 20 nachahmen. Diese werden einem Konsumenten in Form eines Testkonsumenten 26', der sich noch in Entwicklung befindet und hierzu getestet werden soll, zur Verfügung gestellt. Die Synthesedaten 30 beschreiben - insofern identisch zu den Realdaten 20 - Bildkoordinaten (x,y) in hypothetischen Testbilddaten 36. Die Testbilddaten 36, welche in ihren Eigenschaften den Realbilddaten 12 entsprechen, sind jedoch für den Test / die Entwicklung des Testkonsumenten 26' nicht von Bedeutung und daher diesem nicht zur Verfügung gestellt werden. Die Testbilddaten 36 sind daher nur gestrichelt angedeutet, da diese in anderen Test- bzw. Entwicklungsfällen benötigt werden könnten. Der vorliegende Test bezieht sich lediglich darauf, wie der Testkonsument 26' die Bildkoordinaten (x,y) in Form der Synthesedaten 30 verarbeitet. Nach Fertigstellung soll der Testkonsument 26' als realer Konsument 26 im Realbetrieb BR dann in der Kamera 4 arbeiten und dann Realdaten 20 verarbeiten, was jedoch vorliegend nicht Gegenstand ist.The synthesis arrangement 6 is part of the test and development system 28, which is different from the device 4. This can also be called a pseudoproducer. The synthesis arrangement 6 serves to provide synthesis data 30 at an output 32, which imitates real data 20 in synthetic form. These are made available to a consumer in the form of a test consumer 26', which is still in development and is to be tested for this purpose. The synthesis data 30 describes - in this respect identical to the real data 20 - image coordinates (x, y) in hypothetical test image data 36. However, the test image data 36, which correspond in its properties to the real image data 12, are not suitable for the test/development of the test consumer 26' Meaning and therefore not made available to this. The test image data 36 are therefore only indicated by dashed lines, since these could be required in other test or development cases. The present test only relates to how the test consumer 26 'processes the image coordinates (x,y) in the form of the synthesis data 30. After completion, the test consumer 26 'should then work as a real consumer 26 in real operation BR in the camera 4 and then process real data 20, which, however, is not the subject of the present case.

Die Syntheseanordnung 6 enthält einen Eingang 34 für die Realdaten 20, die bestimmungsgemäß von dem Produzenten 16 im Realbetrieb BR ermittelt werden. Mit anderen Worten werden diese aus dem laufenden Betrieb des Geräts bzw. des Produzenten 16 zur Syntheseanordnung abgezweigt. Auch könnte man davon sprechen, dass die Syntheseanordnung 6 die Arbeit bzw. Ergebnisse des Produzenten 16 „beobachtet“.The synthesis arrangement 6 contains an input 34 for the real data 20, which are determined as intended by the producer 16 in real operation BR. In other words, these are diverted from the ongoing operation of the device or producer 16 to the synthesis arrangement. One could also say that the synthesis arrangement 6 “observes” the work or results of the producer 16.

Die Syntheseanordnung 6 enthält ein Statistikmodul 40, ebenfalls in Form einer Applikation 10, die in der Umgebung 8 des Entwicklungssystems 28 ausgeführt wird. Das Statistikmodul 40 „beobachtet“ im obigen Sinne die Realdaten 20 und unterzieht diese einer statistischen Analyse hinsichtlich statistischer Eigenschaften in Bezug auf das Bildkriterium 18. Insofern kann das Statistikmodul 40 auch als Beobachtermodul („Observer“) bezeichnet werden. Hier werden über eine Vielzahl von Realbildern 12 bzw. Realdaten 20 die Wahrscheinlichkeiten betrachtet, wie die ermittelten Orte der (x,y)-Bildkoordinaten in den Bilddaten (Realbilder 12) verteilt sind. Mit anderen Worten wird die Wahrscheinlichkeitsverteilung der Bildkoordinaten X,Y als statistische Eigenschaft des Bildkriteriums 18 ermittelt. Diese statistische Eigenschaft der Realdaten 20 ist in Statistikdaten 42 enthalten, die vom Statistikmodul 40 ermittelt werden.The synthesis arrangement 6 contains a statistics module 40, also in the form of an application 10, which is executed in the environment 8 of the development system 28. The statistics module 40 “observes” the real data 20 in the above sense and subjects it to a statistical analysis with regard to statistical properties in relation to the image criterion 18. In this respect, the statistics module 40 can also be referred to as an observer module. Here, the probabilities of how the determined locations of the (x,y) image coordinates are distributed in the image data (real images 12) are considered over a large number of real images 12 or real data 20. In other words, the probability distribution of the image coordinates X, Y is determined as a statistical property of the image criterion 18. This statistical property of the real data 20 is contained in statistical data 42, which is determined by the statistics module 40.

Die Syntheseanordnung 6 enthält weiterhin ein Zufallsmodul 44, welches fortlaufend eine Mehrzahl von Zufallswerten 46 in Form einer Wertefolge erzeugt. Im Beispiel enthält das Zufallsmodul 44 einen Pseudo-Zufallsgenerator 48, der die Zufallswerte 46 auf Basis eines Startwertes 50 als „Seed“ erzeugt. Die Zufallswerte 46 sind damit eine pseudozufällige Folge von Zufallswerten 46, welche bei gleichem Startwert 50 identisch reproduzierbar ist. Bei unveränderten Statistikdaten ist daher auch die Folge der Synthesedaten 30 reproduzierbar.The synthesis arrangement 6 further contains a random module 44, which continuously generates a plurality of random values 46 in the form of a value sequence. In the example, the random module 44 contains a pseudo-random generator 48, which generates the random values 46 based on a starting value 50 as a “seed”. The random values 46 are therefore a pseudo-random sequence of random values 46, which can be reproduced identically with the same starting value 50. With unchanged statistical data, the sequence of synthesis data 30 is therefore also reproducible.

Die Syntheseanordnung 6 enthält außerdem ein Generatormodul 52, welches anhand der Statistikdaten 42 und der Zufallswerte 46 eine Mehrzahl bzw. Folge der Synthesedaten 30 erzeugt.The synthesis arrangement 6 also contains a generator module 52, which generates a plurality or sequence of synthesis data 30 based on the statistical data 42 and the random values 46.

Statistikmodul 40, Zufallsmodul 44 und Generatormodul 52 sind somit außerhalb des Gerätes 4, nämlichen im hiervon verschiedenen Entwicklungssystem 28 angeordnet.Statistics module 40, random module 44 and generator module 52 are thus arranged outside the device 4, namely in the different development system 28.

Da die Synthesedaten 30 auf Basis der Statistikdaten 42 erzeugt werden, entsprechen diese hinsichtlich der statistischen Eigenschaften den Realdaten 20. Im Beispiel wird dies wie folgt erläutert:

• In den Realbilddaten 12 befindet sich die Sonne 14 und damit deren Mittelpunkt und damit die Realdaten 20 (x,y-Bildkoordinaten) mit hoher Wahrscheinlichkeit im oberen linken Quadranten der jeweiligen Bilder, seltener im rechten oberen Quadranten. Dies ist in der Figur durch Wahrscheinlichkeitsverteilungen Px und Py der x- und y-Bildkoordinaten angedeutet. Diese statistischen Eigenschaften der Realdaten 20 sind durch die Auswertung einer Vielzahl der Realbilddaten 12 bzw. Realdaten 20 in den Statistikdaten 42 (Wahrscheinlichkeitsverteilungen der X, Y Bildkoordinaten) abgebildet bzw. repräsentiert.

Since the synthesis data 30 is generated on the basis of the statistical data 42, these correspond to the real data 20 in terms of statistical properties. In the example, this is explained as follows:

• In the real image data 12, the sun 14 and thus its center and thus the real data 20 (x,y image coordinates) are most likely in the upper left quadrant of the respective images, less often in the upper right quadrant. This is indicated in the figure by probability distributions Px and Py of the x and y image coordinates. These statistical properties of the real data 20 are mapped or represented in the statistical data 42 (probability distributions of the X, Y image coordinates) by evaluating a large number of the real image data 12 or real data 20.

Die Synthesedaten 30 werden nunmehr zwar zufällig, jedoch gemäß dieser statistischen Eigenschaften, nämlich auf Basis der Statistikdaten 42 erzeugt. Damit liegen auch die Bildkoordinaten (x,y) in Form der Synthesedaten 30 - betrachtet über deren Vielzahl - hauptsächlich in einem oberen linken, weniger in einem oberen rechten Quadranten der gedachten Testbilddaten 36. Derartige Testbilddaten 36 sind nicht vorhanden und irrelevant, da der Testkonsument 26' nur hinsichtlich der Verarbeitung der Bildkoordinaten (x,y), jedoch in keinerlei weiterer Hinsicht bezüglich Bildinhalten oder sonstiger Informationen von Testbilddaten 36 ausgewertet / getestet / weiterentwickelt werden soll.The synthesis data 30 are now generated randomly, but according to these statistical properties, namely on the basis of the statistical data 42. This means that the image coordinates (x, y) in the form of the synthesis data 30 - viewed over their large number - lie mainly in an upper left, less in an upper right quadrant of the imaginary test image data 36. Such test image data 36 are not available and are irrelevant because the test consumer 26' should only be evaluated / tested / further developed with regard to the processing of the image coordinates (x, y), but in no other respect with regard to image content or other information from test image data 36.

Sowohl die Synthesedaten 30 als auch die Realdaten 20 sind also jeweilige Ortsdaten in den Realbilddaten 12 und den Testbilddaten 36, das Bildkriterium 18 ist also ein Ortskriterium (Ort der Sonne 14). Genauer gesagt sind die Ortsdaten die Bildkoordinaten (x,y).Both the synthesis data 30 and the real data 20 are therefore respective location data in the real image data 12 and the test image data 36, so the image criterion 18 is a location criterion (location of the sun 14). More specifically, the location data is the image coordinates (x,y).

Beim Betreiben der Geräteanordnung 2 werden also dem Testkonsumenten 26' nur die Synthesedaten 30, jedoch keine der Realdaten 20 oder Realbilddaten 12 zugeführt, auf welchen die Statistikdaten 42 beruhen. Mit Hilfe des Entwicklungssystems 28 kann den Testkonsumenten 26' also getestet werden, ohne unmittelbar auf Realdaten 20 oder Realbilddaten 12 zurückgreifen zu müssen. Insbesondere kann das Entwicklungssystem 28 autark, d.h. ohne Gerät 4 betrieben werden, z.B. sobald die Statistikdaten 42 ausreichend gefestigt sind, zum Beispiel eine ausreichende Menge von Realbilddaten 12 und damit Realdaten 20 statistisch erfasst wurde.When operating the device arrangement 2, the test consumer 26' is only supplied with the synthesis data 30, but none of the real data 20 or real image data 12 on which the statistical data 42 is based. With the help of the development system 28, the test consumer 26 'can be tested without having to resort directly to real data 20 or real image data 12. In particular, the development system 28 can be operated autonomously, i.e. without a device 4, for example as soon as the statistical data 42 has been sufficiently consolidated, for example a sufficient amount of real image data 12 and thus real data 20 has been statistically recorded.

Zusammen mit dem Produzenten 16 bildet die Syntheseanordnung 6 in systemtechnischer Hinsicht eine Gerätekomponente 60, welche in 1 gestrichelt angedeutet ist. Die Gerätekomponente 60 enthält im Beispiel auch noch das Vorwärtsmodul 22 und weist damit den Komponentenausgang 24 auf.Together with the producer 16, the synthesis arrangement 6 forms a device component 60 in terms of system technology, which in 1 is indicated by dashed lines. In the example, the device component 60 also contains the forward module 22 and thus has the component output 24.

Da das Statistikmodul 40 als eigene Applikation 10 ausgeführt ist, kann diese in Der Umgebung 8 deaktiviert werden. Hierdurch wird die Erzeugung von Statistikdaten 42 in der Geräteanordnung 2 vollständig verhindert.Since the statistics module 40 is designed as a separate application 10, it can be deactivated in the environment 8. This completely prevents the generation of statistical data 42 in the device arrangement 2.

1 zeigt also zusammenfassend:

• Die Ergebnisse der Analyseapplikation in Form des Produzenten 16, die einen standardisierten Datentyp in Form der Realdaten 20 erzeugen, werden beobachtet (von dem Statistikmodul 40), um Wahrscheinlichkeiten (statistische Eigenschaften) in Form der Statistikdaten 42 darüber zu lernen. Diese Wahrscheinlichkeiten werden dann genutzt, um den Generator in Form des Generatormoduls 52 zu speisen, welcher dann synthetische Daten in Form der Synthesedaten 30 erzeugen kann.

1 shows in summary:

• The results of the analysis application in the form of the producer 16, which generate a standardized data type in the form of the real data 20, are observed (by the statistics module 40) in order to learn probabilities (statistical properties) in the form of the statistical data 42 about them. These probabilities are then used to feed the generator in the form of the generator module 52, which can then generate synthetic data in the form of the synthesis data 30.

2 zeigt die Geräteanordnung 2 aus 1 in fast unveränderter Form. Daher gelten die Ausführungen oben zu 1 auch hier sinngemäß. Erläutert werden daher nur die vorliegenden Abweichungen: 2 shows the device arrangement 2 1 in almost unchanged form. Therefore, the statements above apply 1 also here analogously. Therefore, only the existing deviations are explained:

Hier sind die drei Applikationen 10 in Form des Produzenten 16 (auch „Analysemodul“), des Statistikmoduls 40 (auch „Beobachtermodul / Observer“) und des Generatormoduls 52 (auch „Synthesemodul“) als Teil-Applikationen 10 einer Analyseapplikation 62 zusammengefasst. Diese ist in ihrer Gesamtheit auf der Geräteanordnung 2 installierbar, insbesondere als Nachrüstlösung. Die Analyseapplikation 62 wird als verteiltes System betrieben. Hierbei werden der Produzent 16 und das Statistikmodul 40 auf dem Gerät 4 bzw. dessen Umgebung 8, das Generatormodul 52 jedoch im Entwicklungssystem 28 bzw. dessen Umgebung 8 installiert.Here the three applications 10 are summarized in the form of the producer 16 (also “analysis module”), the statistics module 40 (also “observer module”) and the generator module 52 (also “synthesis module”) as sub-applications 10 of an analysis application 62. This can be installed in its entirety on the device arrangement 2, in particular as a retrofit solution. The analysis application 62 is operated as a distributed system. Here, the producer 16 and the statistics module 40 are installed on the device 4 or its environment 8, but the generator module 52 is installed in the development system 28 or its environment 8.

Im Unterschied zu 1 ist hier außerdem das Statistikmodul 40 als Teil des Vorwärtsmoduls 22 ausgeführt und somit ein Teil der Umgebung 8 des Gerätes 4, und nicht der Umgebung 8 des Entwicklungssystems 28. Über die in 2 dargestellte gestrichelte Linie vom Gerät 4 zum Entwicklungssytem 28 werden somit nicht - wie in 1 - die Realdaten 20, sondern lediglich die Ausgaben des Statistikmoduls 40, d.h. die Statistikdaten 42 (bzw. diese konstituierende Daten) in das Entwicklungssystem 28 übertragen und dort vorgehalten. Insofern erstreckt sich hier die Syntheseanordnung 6 in das Gerät 4 hinein, ist also systemübergreifend auf Gerät 4 und Entwicklungssystem 28 verteilt.In contrast to 1 Here, the statistics module 40 is also designed as part of the forward module 22 and is therefore part of the environment 8 of the device 4, and not the environment 8 of the development system 28. About the in 2 The dashed line shown from the device 4 to the development system 28 is therefore not - as in 1 - the real data 20, but only the outputs of the statistics module 40, ie the statistics data 42 (or data constituting this) are transferred to the development system 28 and stored there. In this respect, the synthesis arrangement 6 extends into the device 4 and is therefore distributed across the system on the device 4 and the development system 28.

Der Eingang 34 befindet sich somit innerhalb der Syntheseanordnung 6 und kann schlicht zu einer in dieser internen Verbindung entarten bzw. faktisch entfallen. Daher ist der Eingang 34 in 2 auch nicht konkret dargestellt, sondern nur durch einen Pfeil symbolisch angedeutet). In dieser Ausführungsform erstreckt sich also die Syntheseanordnung 6 in das Gerät 4 hinein.The input 34 is therefore located within the synthesis arrangement 6 and can simply degenerate into an internal connection in this or can actually be omitted. Therefore the entrance is 34 in 2 also not shown concretely, but only symbolically indicated by an arrow). In this embodiment, the synthesis arrangement 6 extends into the device 4.

2 zeigt damit zusammenfassend eine Ausführungsform, in welcher spezielle, applikationsspezifische Module (Analysator in Form des Produzenten 16, Beobachter in Form des Statistikmoduls 40, Synthesemodul in Form des Generatormoduls 52) genutzt werden um die Beobachtungen am Produzenten 16 (Beobachtung und Auswertung der Realdaten 20) zu interpretieren (in Statistikdaten 42 abzubilden) und die synthetischen Daten (Synthesedaten 30) zu erzeugen. Das Statistikmodul 40 kann insofern hier auch als Beobachtungsmodul bezeichnet werden. 2 shows in summary an embodiment in which special, application-specific modules (analyzer in the form of the producer 16, observer in the form of the statistics module 40, synthesis module in the form of the generator module 52) are used to make the observations on the producer 16 (observation and evaluation of the real data 20). to interpret (to be represented in statistical data 42) and to generate the synthetic data (synthesis data 30). The statistics module 40 can therefore also be referred to here as an observation module.

3 zeigt eine Ausführungsform, welche ebenfalls nahezu der aus 1 entspricht. Jedoch enthält hier die Geräteanordnung 2 bzw. das Gerät 4 zusätzlich ein Klassifikatormodul 70. 3 shows an embodiment, which is also almost the same as in 1 corresponds. However, here the device arrangement 2 or the device 4 additionally contains a classifier module 70.

In einer alternativen Ausführungsform ist - insofern vergleichbar zu 2 in Bezug auf das Statistikmodul 40 - das Klassifikatormodul wieder Teil der Syntheseanordnung 6 (gestrichelt dargestellt). In dieser Ausführungsform erstreckt sich also die Syntheseanordnung 6 in das Gerät 4 hinein.In an alternative embodiment - is comparable to 2 with respect to the statistics module 40 - the classifier module is again part of the synthesis arrangement 6 (shown in dashed lines). In this embodiment, the synthesis arrangement 6 extends into the device 4.

Das Klassifikatormodul 70 führt hier eine Szenenerkennung in den Realbilddaten 12 durch. Gemäß der Szenenerkennung wird zu jedem der Bilder (Realbilddaten 12) eine jeweilige Bildklasse 72 ermittelt und zugeordnet. Die Syntheseanordnung 6 weist daher eine zusätzliche Schnittstelle 74 für die Bildklassen 72 auf, um diese entgegenzunehmen (die in o.g. Ausführungsform entsprechend 2 / Eingang 34 wieder zu einer reinen Weiterleitung entarten bzw. faktisch entfallen kann). Die Bildklassen 72 werden den Statistikdaten 42 zugeordnet bzw. zusammen mit diesen im Generatormodul 52 verarbeitet.The classifier module 70 carries out scene recognition in the real image data 12 here. According to the scene recognition, a respective image class 72 is determined and assigned to each of the images (real image data 12). The synthesis arrangement 6 therefore has an additional interface 74 for the image classes 72 in order to receive them (which corresponds to the above-mentioned embodiment 2 / Input 34 can degenerate again into a pure forwarding or can actually be omitted). The image classes 72 are assigned to the statistical data 42 or processed together with them in the generator module 52.

So können z.B. mehrere Sätze von Statistikdaten 42 erzeugt werden, wobei jeder der Sätze einer bestimmten Bildklasse 72 zugeordnet ist. So können insbesondere auch Synthesedaten 30 erzeugt werden, die zum Beispiel einer bestimmten Bildklasse 72 bzw. deren charakteristischen Statistikdaten 42 entsprechen. Insofern kann der Testkonsument 26' unter der Bedingung von Synthesedaten 30 bestimmter bzw. unterschiedlicher Bildklassen 72 getestet und entwickelt werden.For example, several sets of statistical data 42 can be generated, each of the sets being assigned to a specific image class 72. In particular, synthesis data 30 can be generated, which correspond, for example, to a specific image class 72 or its characteristic statistical data 42. In this respect, the test consumer 26' can be tested and developed under the condition of synthesis data 30 of specific or different image classes 72.

Zusammenfassend erläutert 3 daher die Möglichkeit, mit Hilfe einer gewöhnlichen Szenenerkennung (Klassifikatormodul 70) zu arbeiten, welche es erlaubt, mehrere bzw. unterschiedliche Statistiken bzw. Statistikdaten 42 für spezifische Szenen, zum Beispiel „Einkaufszentrum“ für die Entwicklung bzw. den Test des Testkonsumenten 26' zu verwenden.Explained in summary 3 hence the possibility of working with the help of an ordinary scene recognition (classifier module 70), which allows several or different statistics or statistical data 42 for specific scenes, for example “shopping center” for the development or testing of the test consumer 26 ' use.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• US 2020/0364468 A1 [0001]US 2020/0364468 A1 [0001]

Claims (15)

Syntheseanordnung (6) zur Bereitstellung von Synthesedaten (30) in Bezug auf Testbilddaten (36), - mit einem Eingang (34) für eine Mehrzahl von Realdaten (20), die bestimmungsgemäß von einem Produzenten (16) in einem Realbetrieb (BR) anhand eines Bildkriteriums (18) aus einer Mehrzahl von Realbilddaten (12) ermittelt sind, - mit einem Statistikmodul (40), das dazu eingerichtet ist, Statistikdaten (42) anhand einer statistischen Analyse der Realdaten (20) zu ermitteln, wobei wenigstens eine statistische Eigenschaft der Realdaten (20) in Bezug auf das Bildkriterium (18) in den Statistikdaten (42) repräsentiert ist, - mit einem Zufallsmodul (44), das dazu eingerichtet ist, eine Mehrzahl von Zufallswerten (46) zu erzeugen, - mit einem Ausgang (32) für die Synthesedaten (30), - mit einem Generatormodul (52), das dazu eingerichtet ist, anhand der Statistikdaten (42) und der Zufallswerte (46) eine Mehrzahl der Synthesedaten (30) derart zu erzeugen, dass diese hinsichtlich der statistischen Eigenschaften den Realdaten (20) entsprechen.Synthesis arrangement (6) for providing synthesis data (30) in relation to test image data (36), - with an input (34) for a plurality of real data (20), which are determined as intended by a producer (16) in real operation (BR) based on an image criterion (18) from a plurality of real image data (12), - with a statistics module (40) which is set up to determine statistical data (42) based on a statistical analysis of the real data (20), at least one statistical property of the real data (20) in relation to the image criterion (18) in the statistical data (42) is represented, - with a random module (44) which is set up to generate a plurality of random values (46), - with an output (32) for the synthesis data (30), - with a generator module (52), which is set up to generate a plurality of synthesis data (30) based on the statistical data (42) and the random values (46) in such a way that they correspond to the real data (20) in terms of statistical properties. Syntheseanordnung (6) nach Anspruch 1, dadurch gekennzeichnet, dass die Synthesedaten (30) und die Realdaten (20) jeweils Ortsdaten in den Real-(12) und Testbilddaten (36) sind, und das Bildkriterium (18) ein Ortskriterium ist.Synthesis arrangement (6) according to Claim 1 , characterized in that the synthesis data (30) and the real data (20) are each location data in the real (12) and test image data (36), and the image criterion (18) is a location criterion. Syntheseanordnung (6) nach Anspruch 2, dadurch gekennzeichnet, dass die Ortsdaten Bildkoordinaten und/oder Bildbereiche und/oder Grenzen von Bildbereichen der Real- (12) und Testbilddaten (36) sind.Synthesis arrangement (6) according to Claim 2 , characterized in that the location data are image coordinates and/or image areas and/or boundaries of image areas of the real (12) and test image data (36). Syntheseanordnung (6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Zufallsmodul (44) einen Pseudo-Zufallsgenerator (48) enthält, wobei das Zufallsmodul (44) dazu eingerichtet ist, eine pseudo-zufällige Folge von Zufallswerten (46) zu erzeugen.Synthesis arrangement (6) according to one of the preceding claims, characterized in that the random module (44) contains a pseudo-random generator (48), the random module (44) being set up to generate a pseudo-random sequence of random values (46). . Syntheseanordnung (6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Syntheseanordnung (6) eine Schnittstelle (74) für Bildklassen (72) aufweist, wobei die Bildklassen (72) bestimmungsgemäß von einem Klassifikatormodul (70) erzeugt sind, das dazu eingerichtet ist, aus den Realbilddaten (12) eine jeweilige Bildklasse (72) zu ermitteln, - wobei die Syntheseanordnung (6) dazu eingerichtet ist, die Synthesedaten (30) auch anhand der Bildklassen (72) zu erzeugen.Synthesis arrangement (6) according to one of the preceding claims, characterized in that the synthesis arrangement (6) has an interface (74) for image classes (72), the image classes (72) being generated as intended by a classifier module (70) which is set up for this purpose is to determine a respective image class (72) from the real image data (12), - the synthesis arrangement (6) being set up to generate the synthesis data (30) based on the image classes (72). Syntheseanordnung (6) nach Anspruch 5, dadurch gekennzeichnet, dass die Syntheseanordnung (6) das Klassifikatormodul (70) enthält.Synthesis arrangement (6) according to Claim 5 , characterized in that the synthesis arrangement (6) contains the classifier module (70). Syntheseanordnung (6) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest ein Teil der Syntheseanordnung (6) als eine oder mehrere ladbare Applikationen (10) für eine Umgebung (8) eines Gerätes (4) oder eines Entwicklungssystems (28) ausgebildet ist, in die Applikationen (10) ladbar und in der sie ausführbar sind.Synthesis arrangement (6) according to one of the preceding claims, characterized in that at least part of the synthesis arrangement (6) is designed as one or more loadable applications (10) for an environment (8) of a device (4) or a development system (28). , can be loaded into the applications (10) and in which they can be executed. Gerätekomponente (60), mit der Syntheseanordnung (6) nach einem der vorhergehenden Ansprüche und mit dem Produzenten (16).Device component (60), with the synthesis arrangement (6) according to one of the preceding claims and with the producer (16). Gerätekomponente (60) nach Anspruch 8, dadurch gekennzeichnet, dass die Gerätekomponente (60) enthält: - einen Konsumentenausgang (24), - ein Vorwärtsmodul (22), das dazu eingerichtet ist, die Realbilddaten (12) und /oder die Realdaten (20) am Konsumentenausgang (24) bereitzustellen, - wobei der Eingang (34) und zumindest ein Teil des Statistikmoduls (40) im Vorwärtsmodul (22) enthalten ist.Device component (60). Claim 8 , characterized in that the device component (60) contains: - a consumer output (24), - a forward module (22), which is set up to provide the real image data (12) and / or the real data (20) at the consumer output (24). , - the input (34) and at least part of the statistics module (40) being contained in the forward module (22). Geräteanordnung (2), - mit einem Gerät (4), - mit der Syntheseanordnung (6) nach einem der Ansprüche 1 bis 7 oder mit der Gerätekomponente (60) nach einem der Ansprüche 8 bis 9, - mit einer Umgebung (8) zur Ausführung von Applikationen (10), in welche der Produzent (16) und / oder die Syntheseanordnung (6) oder zumindest ein Teil dieser als jeweils eine oder mehrere der Applikationen (10) ladbar sind.Device arrangement (2), - with a device (4), - with the synthesis arrangement (6) according to one of the Claims 1 until 7 or with the device component (60) according to one of the Claims 8 until 9 , - with an environment (8) for executing applications (10), into which the producer (16) and / or the synthesis arrangement (6) or at least part of them can be loaded as one or more of the applications (10). Geräteanordnung (2) nach Anspruch 10, dadurch gekennzeichnet, dass das Statistikmodul (40) als eigene Applikation (10) ausgeführt ist.Device arrangement (2). Claim 10 , characterized in that the statistics module (40) is designed as a separate application (10). Geräteanordnung (2) nach einem der Ansprüche 10 bis 11, dadurch gekennzeichnet, dass die Geräteanordnung (2) einen Realkonsumenten (26) enthält, der zur Entgegennahme der Realdaten (20) eingerichtet ist.Device arrangement (2) according to one of the Claims 10 until 11 , characterized in that the device arrangement (2) contains a real consumer (26) which is set up to receive the real data (20). Geräteanordnung (2) nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass das Statistikmodul (40) und/oder das Zufallsmodul (44) und/oder das Generatormodul (52) außerhalb des Gerätes (4) angeordnet ist.Device arrangement (2) according to one of the Claims 10 until 12 , characterized in that the statistics module (40) and / or the random module (44) and / or the generator module (52) is arranged outside the device (4). Geräteanordnung (2) nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass das Gerät (4) eine Videokamera zur Aufnahme der Realbilddaten (12) ist.Device arrangement (2) according to one of the Claims 10 until 13 , characterized in that the device (4) is a video camera for recording the real image data (12). Verfahren zum Betreiben einer Syntheseanordnung (6) nach einem der Ansprüche 1 bis 7 oder der Gerätekomponente (60) nach einem der Ansprüche 8 bis 9 oder der Geräteanordnung (2) nach einem der Ansprüche 10 bis 14, bei dem einem Testkonsumenten (26') nur die Synthesedaten (30), jedoch keine oder nicht alle der Realdaten (20) und/oder Realbilddaten (12) zugeführt werden.Method for operating a synthesis arrangement (6) according to one of Claims 1 until 7 or the device component (60) according to one of the Claims 8 until 9 or the device arrangement (2) according to one of the Claims 10 until 14 , in which a test consumer (26') is supplied with only the synthesis data (30), but none or not all of the real data (20) and/or real image data (12).

Images