DE102021116957A1 - Method and device for the automated early detection of wildfires by means of optical detection of smoke events - Google Patents

Abstract

1. Verfahren zur automatisierten Waldbrandfrüh-erkennung mittels optischer Detektion von Rauchereignissen, wobei die Rauchergebnisse von merkmalbasierten Algorithmen und Verfahren unter Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI), die voneinander unabhängige Detektionsverfahren beinhalten, kombiniert werden.2. Vorrichtung (10) zur Durchführung des erfindungsgemäßen Verfahrens.1. Method for automated early detection of forest fires by means of optical detection of smoke events, whereby the smoke results from feature-based algorithms and methods using artificial neural networks (artificial intelligence/AI), which contain independent detection methods, are combined.2. Device (10) for carrying out the method according to the invention.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchereignissen, wobei die Rauchergebnisse von merkmalbasierten Algorithmen und Verfahren unter Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI), die voneinander unabhängige Detektionsverfahren beinhalten, kombiniert werden.The present invention relates to a method for automated early detection of forest fires by means of optical detection of smoke events, the smoke results from feature-based algorithms and methods using artificial neural networks (artificial intelligence/AI), which contain detection methods that are independent of one another, being combined.

Dabei werden die Rauchergebnisse von merkmalbasierten Algorithmen und Verfahren unter Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI), die voneinander unabhängige Detektionsverfahren beinhalten, auf neuartige Art und Weise kombiniert, so dass eine Verbesserung der Leistungsfähigkeit und Detektionssicherheit des Branderkennungsverfahrens erreicht werden kann.The smoke results from feature-based algorithms and methods using artificial neural networks (artificial intelligence/AI), which contain independent detection methods, are combined in a new way, so that an improvement in the performance and detection reliability of the fire detection method can be achieved.

Waldbrände waren schon immer ein verheerendes Ereignis mit massiven Folgen für die Natur, den Kohlendioxid-Ausstoß, die Holzwirtschaft und die menschliche Bevölkerung. Aufgrund des Klimawandels, sozioökonomischer Veränderungen und der allgemeinen Bevölkerungsentwicklung wird sich die Situation bei Waldbränden weiter verschlechtern und deren Bekämpfung an Bedeutung gewinnen. Große Brände in jüngster Zeit in Australien, den USA, Russland, Deutschland und anderen Teilen der Welt zeigen, dass man sich einem weltweiten Problem stellen muss.Forest fires have always been a devastating event with massive consequences for nature, carbon dioxide emissions, the timber industry and the human population. Due to climate change, socio-economic changes and general population development, the situation with forest fires will continue to deteriorate and fighting them will become more important. Recent large fires in Australia, USA, Russia, Germany and other parts of the world show that a global problem needs to be addressed.

Neben der Vorbeugung von Waldbränden ist die frühzeitige Erkennung von Waldbränden die beste Möglichkeit, den Schaden für die Natur, für den Erholungswert und die Gesundheit sowie die Wirtschaft zu minimieren. Je früher ein Feuer entdeckt wird, desto früher kann es gelöscht werden und desto weniger Fläche wird zerstört. Die Flammen von Waldbränden sind in einem frühen Stadium oft nicht direkt sichtbar, da ein Bodenfeuer durch das Baumwerk optisch verdeckt wird und die thermische Energie zu klein ist, um sie aus größerer Entfernung gegenüber der normalen Umgebungstemperatur sicher zu unterscheiden. Jedoch sind beginnende Bodenfeuer in der Regel mit vergleichsweise großen Rauchwolken verbunden, die noch dazu nach oben über die Wipfelhöhen hinaus aufsteigen. Rauch ist das durch die Verbrennung entstehende Aerosol in feinstverteilter Form aus Staubpartikeln (Ruß, Flugasche, Unverbranntes) und Flüssigkeitströpfchen (Wasser, Öldämpfe u.ä.) im Abgas.In addition to preventing wildfires, early detection of wildfires is the best way to minimize damage to nature, recreational and health, and the economy. The earlier a fire is discovered, the sooner it can be extinguished and the less area is destroyed. The flames of forest fires are often not directly visible in the early stages because a ground fire is optically obscured by the trees and the thermal energy is too small to be reliably distinguished from the normal ambient temperature at a greater distance. However, incipient ground fires are usually associated with comparatively large clouds of smoke, which also rise above the treetop heights. Smoke is the aerosol produced by the combustion in a very finely distributed form of dust particles (soot, fly ash, unburned matter) and liquid droplets (water, oil vapors, etc.) in the exhaust gas.

Daher ist für die frühzeitige Erkennung von Waldbränden ein Übergang zur Detektion von Rauchwolken sinnvoll und notwendig.Therefore, for the early detection of forest fires, a transition to the detection of smoke clouds makes sense and is necessary.

Traditionelle Methoden zur Waldbranderkennung sind Notrufe von Bürgern, Beobachtungen aus der Luft per Flugzeug oder eine gezielte Überwachung von brandgefährdeten Waldflächen durch Wachpersonal auf Feuerwachtürmen, die immer noch in vielen Gegenden auf der Welt weit verbreitet sind. Diese Überwachung durch den Menschen ist jedoch zeitaufwändig, ermüdend und monoton und zudem teuer und fehlerbehaftet.Traditional methods of forest fire detection include emergency calls from citizens, aerial observations from aircraft, or targeted surveillance of forest areas at risk of fire by watchmen on fire lookout towers, which are still widespread in many areas of the world. However, this human monitoring is time-consuming, tedious and monotonous, as well as expensive and error-prone.

Aus diesem Grund wurden neue Wege zur Erkennung von Waldbränden entwickelt, indem automatisierte Detektionssysteme eingesetzt werden. Stand der Technik sind stationäre Sensoren, die auf exponierten terrestrischen Standorten (Türme, Masten usw.) installiert sind und der optischen Erkennung von Rauch und/oder Feuer dienen. Die mit den Sensoren aufgenommenen Bilder oder Bildsequenzen (Sensordatensätze) von zu überwachenden Waldflächen werden computergestützt mit Bildverarbeitungsmethoden prozessiert und auf das Vorhandensein von charakteristischen Merkmalen von Rauch und/oder Feuer bewertet. Zumindest für die frühestmögliche Branderkennung nutzen die automatischen Erkennungsalgorithmen die aufsteigenden Rauchwolken, da diese meist besser als Flammen sichtbar sind.For this reason, new ways of detecting forest fires have been developed by using automated detection systems. State of the art are stationary sensors that are installed on exposed terrestrial locations (towers, masts, etc.) and are used for the optical detection of smoke and/or fire. The images or image sequences (sensor data sets) recorded with the sensors of forest areas to be monitored are processed with computer-aided image processing methods and evaluated for the presence of characteristic features of smoke and/or fire. At least for the earliest possible fire detection, the automatic detection algorithms use the rising clouds of smoke, since these are usually better visible than flames.

Ist das Ergebnis des Detektionsalgorithmus positiv, d.h. die Bewertung des Sensordatensatzes führte zu einer Interpretation als „Rauch“, wird eine entsprechende Meldung generiert und an verantwortliche Stellen (z.B. Notrufzentrale, Überwachungspersonal) für nachfolgende Aktionen weitergeleitet.If the result of the detection algorithm is positive, i.e. the evaluation of the sensor data record led to an interpretation as "smoke", a corresponding message is generated and forwarded to the responsible departments (e.g. emergency call center, monitoring staff) for subsequent actions.

So werden beispielsweise mit Kamera-Systemen und speziell geschultem Personal eine flächendeckende und effektive Überwachung gewährleistet. Erkennt ein Kamerasensor eine Rauchwolke, erfolgt an einem der Arbeitsplätze beispielsweise in einer Waldbrandzentrale eine Alarmmeldung. Erkannte Brände werden sodann an die zuständige Leitstelle der Feuerwehr bzw. der zuständigen Brandbekämpfer gemeldet.For example, camera systems and specially trained personnel ensure comprehensive and effective surveillance. If a camera sensor detects a cloud of smoke, an alarm is triggered at one of the workstations, for example in a forest fire control room. Detected fires are then reported to the responsible control center of the fire brigade or the responsible firefighters.

Dabei erkennen Sensoren die typischen Grauwerte einer Rauchwolke in der Frühphase eines Waldbrandes. Die bekannten Verfahren und Vorrichtungen detektieren automatisch eine kritische Situation und senden online über eine Breitband-Anbindung per Funk oder leitungsgebunden einen Alarm an die nächste Waldbrandzentrale. Dort erfolgt eine erneute Prüfung durch Mitarbeiter, bevor die Meldung an die Leitstellen der Feuerwehren weitergeleitet wird. Die Systeme beobachtet permanent (beispielsweise 360° in 6 Minuten) die Umgebung. Bei einem Radius von 15-20 km können mehr als 700 km2 überwacht werden. Auf einem Arbeitsplatz in den Zentralen werden mehrere Systeme überwacht und ausgewertet.Sensors recognize the typical gray values of a cloud of smoke in the early phase of a forest fire. The known methods and devices automatically detect a critical situation and send an alarm to the next one online via a broadband connection by radio or wired forest fire headquarters. There, a new check is carried out by employees before the report is forwarded to the control centers of the fire brigades. The systems continuously monitors the environment (e.g. 360° in 6 minutes). With a radius of 15-20 km, more than 700 km2 can be monitored. Several systems are monitored and evaluated at a workstation in the headquarters.

Inzwischen weisen neueste automatisierte Systeme bereits eine sehr hohe Erkennungssicherheit für beginnende Brände auf, so dass Brände in Entfernungen bis zu mehreren 10km innerhalb weniger Minuten nach Entstehung mit hoher Wahrscheinlichkeit erfolgreich detektiert werden können.In the meantime, the latest automated systems already have a very high detection reliability for incipient fires, so that fires at distances of up to several 10 km can be successfully detected with a high degree of probability within a few minutes of their occurrence.

Allerdings ist Rauch ein schwer zu erkennendes Objekt, das häufig optisch transparent ist und kaum eigene Farbanteile aufweist. Sein Abbild ist nicht starr, sondern unregelmäßig, sehr vielfältig und ist einer hohen zeitlichen Dynamik durch das Feuer selbst sowie externe Einflüsse wie Wind unterworfen. Darüber hinaus treten nur geringe Temperaturunterschiede des Rauches gegenüber der Umgebung auf. Infolgedessen ist Rauch physikalisch und mathematisch-geometrisch schwer zu beschreiben.However, smoke is a difficult object to detect, often being optically transparent and having very little color of its own. Its image is not rigid, but irregular, very diverse and is subject to a high degree of temporal dynamics due to the fire itself and external influences such as wind. In addition, there are only slight temperature differences between the smoke and the environment. As a result, smoke is difficult to describe physically and mathematically-geometrically.

Das führt im praktischen Einsatz dazu, dass die Ergebnisse der Detektionsalgorithmen fehlerhaft sein können. Prinzipiell sind Fehler zum einen dahingehend möglich, dass Sensordatensätze, die tatsächlich Rauch enthalten, kein positives Detektionsergebnis liefern. Zum anderen kann das Detektionsergebnis positiv sein, obwohl tatsächlich kein Rauch im Sensordatensatz enthalten ist. Beide Fehlerarten sind unerwünscht und zu vermeiden.In practical use, this means that the results of the detection algorithms can be incorrect. In principle, errors are possible to the extent that sensor data sets that actually contain smoke do not deliver a positive detection result. On the other hand, the detection result can be positive, although there is actually no smoke in the sensor data set. Both types of errors are undesirable and should be avoided.

Zur Evaluierung der Algorithmen lassen sich die prinzipiell möglichen Detektionsergebnisse anschaulich in Tabellenform wie folgt darstellen und quantitativ beschreiben: Detektionsergebnis Rauch im Daten- satz Kein Rauch im Datensatz positives Detektionsergeb- nis richtig positiv (A) falsch positiv (B) negatives Detektionser- gebnis falsch negativ (C) richtig negativ (D) In order to evaluate the algorithms, the detection results that are possible in principle can be presented clearly in table form as follows and described quantitatively: detection result Smoke in dataset No smoke in the record positive detection result true positive (A) false positive (B) negative detection result false negative (C) true negative (D)

Für diese grundsätzlich möglichen Detektionsergebnisse gibt es eingeführte Begriffe, die aus der mathematischen Theorie der Hypothesentests stammen. Die Rauchdetektion in einem Sensordatensatz wird dabei als Test auf die Hypothese „Ist Rauch-Inhalt im Sensordatensatz?“ mit den möglichen Entscheidungen „ja“ oder „nein“ beschrieben.There are terms introduced for these fundamentally possible detection results, which originate from the mathematical theory of hypothesis tests. The smoke detection in a sensor data set is described as a test for the hypothesis "Is there smoke in the sensor data set?" with the possible decisions "yes" or "no".

Die Sensitivität ergibt sich als Verhältnis der richtig positiven Detektionsergebnisse zur Gesamtzahl der Tests mit Datensätzen, in denen tatsächlich Rauch vorhanden ist, d.h. sie entspricht der richtig-positiv Rate A / (A + C).The sensitivity is calculated as the ratio of the true positive detection results to the total number of tests with data sets in which smoke is actually present, i.e. it corresponds to the true positive rate A / (A + C).

Die Spezifität ist das Verhältnis der richtig negativen Detektionsergebnisse zur Gesamtzahl der Tests mit Datensätzen, in denen tatsächlich kein Rauch vorhanden ist, d.h. der richtig-negativ Rate D / (B + D) .Specificity is the ratio of true negative detection results to the total number of tests with data sets in which smoke is actually absent, i.e. the true negative rate D / (B + D) .

Fehlerhafte Rauchdetektionsergebnisse werden über die falsch-negativ Rate (falls kein Rauch erkannt wird, obwohl er im Sensordatensatz vorhanden ist, d.h. C / (A + C)) und die falsch-positiv Rate (falls Rauch erkannt wird, der im Sensordatensatz aber nicht vorhanden ist, d.h. B / (B + D)) beschrieben.False smoke detection results are reported via the false-negative rate (if no smoke is detected although it is present in the sensor dataset, i.e. C/(A+C)) and the false-positive rate (if smoke is detected but not present in the sensor dataset is, i.e. B / (B + D)) described.

Der positive Vorhersagewert gibt das Verhältnis der richtig positiven Detektionsergebnisse zur Gesamtzahl aller Detektionsergebnisse mit angezeigtem Rauch-Inhalt an, wird also über A / (A + B) beschrieben.The positive prediction value indicates the ratio of the correctly positive detection results to the total number of all detection results with displayed smoke content, i.e. it is described using A / (A + B).

Zielstellung für die Rauchdetektions-Algorithmen ist eine Maximierung sowohl der Sensitivität als auch der Spezifität. Ein idealer Algorithmus hat dann die Sensitivität von 1 (= 100%) und die Spezifität von 1 (= 100%), was bedeutet, dass alle Sensordatensätze, die tatsächlich Rauch-Inhalte enthalten, zu einem positiven Rauchdetektionsergebnis (richtig-positiv / A) führen und alle Sensordatensätze, die tatsächlich kein Rauch-Inhalt haben, zu einem negativen Rauchdetektionsergebnis (richtig-negativ / D) führen.The aim of the smoke detection algorithms is to maximize both sensitivity and specificity. An ideal algorithm then has a sensitivity of 1 (= 100%) and a specificity of 1 (= 100%), which means that all sensor data sets that actually contain smoke content lead to a positive smoke detection result (true-positive / A) and all sensor data sets that actually have no smoke content lead to a negative smoke detection result (true negative / D).

Sowohl die falsch-negativ Rate als auch die falsch-positiv Rate sind dann jeweils 0 (= 0%), so dass beim idealen Algorithmus keine fehlerhaften Rauchdetektionsergebnisse auftreten.Both the false-negative rate and the false-positive rate are then each 0 (=0%), so that no erroneous smoke detection results occur with the ideal algorithm.

Die praktische Bedeutung hoher Sensitivitätswerte und insbesondere aber auch sehr hoher Spezifitätswerte soll an einem stark vereinfachten Zahlenbeispiel illustriert werden. Hierzu wird angenommen, dass eine Waldfläche auf das Auftreten von Rauch überwacht werden soll und dazu in zeitlich regelmäßigen Abständen von 1min Sensordatensätze aufgenommen und mit dem Rauchdetektionsalgorithmus prozessiert werden. Während eines zwölfstündigen täglichen Betriebs (Annahme: nur Tagbetrieb) sind dann 720 Sensordatensätze zu prozessieren und für jeden dieser Sensordatensätze die Entscheidung „Ist Rauch-Inhalt im Sensordatensatz?“ zu treffen. Typische Sensitivitätswerte seien zu 0,95 (=95%) und Spezifitätswerte seien ebenfalls zu 0,95 (=95%) angenommen (adaptiert von [Töreyin, B.U.; Cetin, A.E.: Wildfire Detection Using LMS Based Active Learning, IEEE Conference on Acoustics, Speech and Signal Processing, 2009]).The practical importance of high sensitivity values and, in particular, very high specificity values will be illustrated using a greatly simplified numerical example. For this it is assumed that a forest area is to be monitored for the occurrence of smoke and for this purpose sensor data records are recorded at regular intervals of 1 minute and processed with the smoke detection algorithm. During a twelve-hour daily operation (assuming only daytime operation), 720 sensor data sets then have to be processed and the decision “Is there smoke in the sensor data set?” made for each of these sensor data sets. Typical sensitivity values are assumed to be 0.95 (=95%) and specificity values are also assumed to be 0.95 (=95%) (adapted from [Töreyin, BU; Cetin, AE: Wildfire Detection Using LMS Based Active Learning, IEEE Conference on Acoustics , Speech and Signal Processing, 2009]).

Ferner wird für dieses Beispiel angenommen, dass täglich ein tatsächlicher Brand auftritt. Im Sensordatensatz, der nach erstmaligem Auftreten des durch den Brand verursachten Rauch aufgenommen und mit dem Rauchdetektionsalgorithmus prozessiert wird, wird mit hoher Wahrscheinlichkeit von 95%, die der konkreten Sensitivität entspricht, dieser Rauch positiv detektiert. Selbst wenn für einen ersten Sensordatensatz nach erstmaligem Auftreten des Rauches das Rauchdetektionsergebnis negativ ist, also fehlerhaft entschieden wurde, wäre spätestens mit Vorliegen der Rauchdetektionsergebnisse für die beiden zeitlich nachfolgend aufgenommenen Sensordatensätze des gleichen Waldgebiets die Wahrscheinlichkeit für eine erfolgreiche Rauchdetektion schon 99,99%, wenn man statistische Unabhängigkeit der einzelnen Detektionsprozesse voraussetzt und außerdem voraussetzt, dass der Brand und der damit zusammenhängende Rauch in allen 3 Sensordatensätzen vorhanden sind.Also, for this example, it is assumed that an actual fire occurs on a daily basis. In the sensor data set, which is recorded after the first appearance of the smoke caused by the fire and processed with the smoke detection algorithm, this smoke will be positively detected with a high probability of 95%, which corresponds to the specific sensitivity. Even if the smoke detection result for a first sensor data set after the first appearance of the smoke is negative, i.e. the decision was made incorrectly, the probability of successful smoke detection would be 99.99% at the latest when the smoke detection results are available for the two subsequent sensor data sets recorded in the same forest area, if one assumes statistical independence of the individual detection processes and also assumes that the fire and the smoke associated with it are present in all 3 sensor data sets.

Betrachtet man nunmehr die Spezifität von 95% und kalkuliert daraus die absolute Anzahl der falsch-positiven Rauchdetektionsergebnisse, so führen 100% - 95% = 5% der 720 Sensordatensätze zu positiven Rauchdetektionsergebnissen, die tatsächlich nicht vorhanden sind, insgesamt also 36 derartige fehlerhafte Ergebnisse für den Betrachtungszeitraum von 12 Stunden.If one now considers the specificity of 95% and calculates the absolute number of false-positive smoke detection results from this, then 100% - 95% = 5% of the 720 sensor data records lead to positive smoke detection results that are actually not available, i.e. a total of 36 such faulty results for the observation period of 12 hours.

Diese Anzahl von 36 Fehlern innerhalb von 12 Stunden ist für vollautomatisch arbeitende Systeme deutlich zu hoch und verdeutlicht, warum automatisierte Systeme derzeit erhebliche Einschränkungen in ihrer praktischen Einsetzbarkeit und Akzeptanz haben.This number of 36 errors within 12 hours is far too high for fully automatic systems and makes it clear why automated systems currently have significant limitations in their practical applicability and acceptance.

Um verlässliche Detektionsergebnisse zu bekommen, werden in der Praxis zusätzlich menschliche Operatoren eingesetzt, die die von den Algorithmen zunächst gelieferten Ergebnisse evaluieren und erst dann eine finale Entscheidung treffen. Neben dem personellen Aufwand bedeutet diese Verfahrensweise eine erhebliche Einschränkung für die praktische Einsetzbarkeit und Akzeptanz derartiger automatisierter Systeme.In order to get reliable detection results, human operators are also used in practice, who first evaluate the results provided by the algorithms and only then make a final decision. In addition to the personnel costs, this procedure means a considerable restriction for the practical applicability and acceptance of such automated systems.

Die Verbesserung der Rauchdetektionsalgorithmen und der Entscheidungsprozesse auf Rauch in den Sensordatensätzen ist daher von zentraler Bedeutung für die Weiterentwicklung der automatisierten Systeme zur Waldbrandfrüherkennung.The improvement of the smoke detection algorithms and the decision-making processes for smoke in the sensor data sets is therefore of central importance for the further development of automated systems for early forest fire detection.

Aufgrund dessen wurde eine Vielzahl neuer und sehr verschiedenartiger Algorithmen zur automatisierten Detektion vorgeschlagen, die sich grundsätzlich in merkmalsbasierte Methoden und Methoden der Künstlichen Intelligenz (KI) unterteilen lassen.As a result, a large number of new and very different algorithms for automated detection have been proposed, which can basically be divided into feature-based methods and artificial intelligence (AI) methods.

Merkmalsbasierte Methoden sind beispielsweise in DE 10 2013 017 395 B3 , DE 10 2009 048 739 B3 , EP 3 614 352 A2 , CN 1 07 025 753 A beschrieben. Fast alle merkmalsbasierten Methoden arbeiten mit drei Schritten bestehend aus der Definition von Kandidatenregionen (Bildbereiche, in denen potenziell Rauch erwartet wird), Merkmalsextraktion und Klassifizierung.Feature-based methods are for example in DE 10 2013 017 395 B3 , DE 10 2009 048 739 B3 , EP 3 614 352 A2 , CN 1 07 025 753 A described. Almost all feature-based methods work with three steps consisting of the definition of candidate regions (image areas where smoke is potentially expected), feature extraction and classification.

Typische spektrale Bereiche des sichtbaren Lichts und/oder Infrarotbereichs werden dabei mit Hilfe geeigneter Sensoren aufgenommen, mit Bildverarbeitungsmethoden prozessiert und geeignete Parameter (Formen, Farbkomponenten, zeitliche Änderungen usw.) extrahiert; die charakteristisch für Rauch sind.Typical spectral ranges of the visible light and/or infrared range are recorded with the help of suitable sensors, processed with image processing methods and suitable parameters (shapes, color components, changes over time, etc.) are extracted; characteristic of smoke.

Im Klassifizierungsprozess erfolgen eine Bewertung der aktuellen Ausprägung dieser individuellen Merkmale und die Entscheidung, ob das Ergebnis positiv als Rauch interpretiert wird oder nicht. Zusätzlich werden Ortsinformationen bereitgestellt, in welchem Bildbereich der Rauch detektiert wurde. Diese merkmalsbasierten Methoden zeichnen sich durch eine hohe Sensitivität aus, d.h. sie liefern frühzeitig gute Detektionsergebnisse für Rauchereignisse, die mit tatsächlichen Waldbränden verbunden sind (hohe richtig-positiv Rate).In the classification process, the current characteristics of these individual characteristics are evaluated and a decision is made as to whether the result is interpreted positively as smoke or not. In addition, location information is provided as to the image area in which the smoke was detected. These feature-based methods are characterized by high sensitivity, i.e. they provide good early detection results for smoke events associated with actual forest fires (high true-positive rate).

Merkmalsbasierte Methoden in der automatischen Raucherkennung sind aber stark abhängig von der Umgebung ihres Einsatzes. Sie unterscheiden sich nicht nur in den Landschaftsformen, wie zum Beispiel bergige, flache oder Küstenregionen, die auch mit Sichtverdeckungen einhergehen können, sondern auch in der Art der Vegetation, die sich unter Brandbedingungen unterschiedlich verhält, wie beispielsweise in der Rauchfarbe. Zusätzlich sind Wetterbedingungen wie Wolkenaufkommen, Wind, Sonneneinstrahlung und Schatten usw. zu berücksichtigen. Diese unterschiedlichen Bedingungen erfordern einen hohen Aufwand an Parametrierung und weisen trotzdem eine Spezifität auf, die mit einer vergleichsweise hohen Fehlerrate bezüglich falsch-positiver Ergebnisse verbunden ist, d.h. es treten Rauchdetektionen auf, obwohl tatsächlich kein Rauch vorhanden ist.However, feature-based methods in automatic smoke detection are highly dependent on the environment in which they are used. They differ not only in the landforms, such as mountainous, flat or coastal regions, which may also be associated with occlusions, but also in the type of vegetation that behaves differently under fire conditions, such as smoke color. In addition, weather conditions such as clouds, wind, solar radiation and shade etc. must be taken into account. These different conditions require a great deal of effort in terms of parameterization and nevertheless have a specificity that is associated with a comparatively high error rate with regard to false-positive results, ie smoke is detected although no smoke is actually present.

Künstliche-Intelligenz-basierte Verfahren nutzen prinzipiell die gleiche Sensorik wie merkmalsbasierte Methoden. Die weiteren Prozesse zur Datenverarbeitung und Klassifizierung werden aber innerhalb von Künstlichen Neuronalen Netzen ausgeführt, die speziell dafür ausgelegt und angelernt werden.In principle, artificial intelligence-based methods use the same sensors as feature-based methods. However, the further processes for data processing and classification are carried out within artificial neural networks, which are specially designed and trained for this.

Künstliche Neuronale Netze sind bekannter Stand der Technik und verwenden mehrere miteinander verbundene aus künstlichen Neuronen bestehenden Ebenen. Die teils lokalen Verbindungen entstehen beispielsweise mittels diskreter Faltungen (über das Bild bewegende Faltungsmatrizen zur Merkmalsabbildung), Zusammenfassungen (über das Bild bewegende Maxima-Matrizen zur Datenreduktion) oder Voll-Verbindungen (diese dienen zur Klassifizierung. Die Anzahl der Neuronen auf der letzten Ebene entspricht in der Regel der Anzahl der Klassen).Artificial neural networks are well known in the art and use multiple interconnected layers of artificial neurons. The partly local connections are created, for example, by means of discrete convolutions (convolution matrices moving over the image for feature mapping), summaries (maximum matrices moving over the image for data reduction) or full connections (these are used for classification. The number of neurons on the last level corresponds usually the number of classes).

Beispiele für derartige Verfahren zur Nutzung der Künstlichen Intelligenz in der automatischen Rauchdetektion sind hier zu finden: US 2019/362126 A1 , CN 110070106 A , CN 111681385 A , [Frizzi, S. et al.: Convolutional neural network for video fire and smoke detection. In: Proc. Annual Conf. of the IEEE Industrial Electronics Society. 2016.], [Son GY. et al.: Video Based Smoke and Flame Detection Using Convolutional Neural Network. In: Proc. Int'1 Conf. on Signal-Image Technology and Internet-Based Systems. 2018.], [Gu K. et al.: Deep Dual-Channel Neural Network for Image-Based Smoke Detection. IEEE Transactions on Multimedia 22.2 (2020), pp. 311-323.1, [Zhang Y.; Hu Y.: Video Smoke Detection Based on Convolution Neural Network. In: Proc. Int'1 Conf. on Computer Technology, Electronics and Communication. 2017.], [Zhang D. et al.: An Attention Convolutional Neural Network for Forest Fire Smoke Recognition. In: Proc. Int'1 Conf. on Systems and Informatics. 2019.1, [Yin H.; Wei Y.: An Improved Algorithm Based on Convolutional Neural Network for Smoke Detection. In: Proc. IEEE Int'1 Conf. on Ubiquitous Computing Communications and Data Science and Computational Intelligence and Smart Computing, Networking and Services. 2019.], [Tao C.; Zhang J.; Wang P.: Smoke Detection Based on Deep Convolutional Neural Networks. In: Proc. Int'1 Conf. on Industrial Informatics - Computing Technology, Intelligent Technology, Industrial Information Integration. 2016.1 .Examples of such methods for using artificial intelligence in automatic smoke detection can be found here: U.S. 2019/362126 A1 , CN 110070106A , CN 111681385A , [Frizzi, S. et al.: Convolutional neural network for video fire and smoke detection. In: Proc. Annual Conf. of the IEEE Industrial Electronics Society. 2016.], [Son GY. et al.: Video Based Smoke and Flame Detection Using Convolutional Neural Network. In: Proc. Int'1 Conf. on Signal-Image Technology and Internet-Based Systems. 2018.], [Gu K. et al.: Deep Dual-Channel Neural Network for Image-Based Smoke Detection. IEEE Transactions on Multimedia 22.2 (2020), pp. 311-323.1, [Zhang Y.; Hu Y. Video Smoke Detection Based on Convolution Neural Network. In: Proc. Int'1 Conf. on Computer Technology, Electronics and Communication. 2017.], [Zhang D et al.: An Attention Convolutional Neural Network for Forest Fire Smoke Recognition. In: Proc. Int'1 Conf. on Systems and Informatics. 2019.1, [Yin H.; Wei Y.: An Improved Algorithm Based on Convolutional Neural Network for Smoke Detection. In: Proc. IEEE Int'1 Conf. on Ubiquitous Computing Communications and Data Science and Computational Intelligence and Smart Computing, Networking and Services. 2019.], [Tao C.; Zhang J.; Wang P. Smoke Detection Based on Deep Convolutional Neural Networks. In: Proc. Int'1 Conf. on Industrial Informatics - Computing Technology, Intelligent Technology, Industrial Information Integration. 2016.1 .

Die eigentlichen Algorithmen und Prozesse zur Entscheidungsfindung dieser KI-Verfahren sind implizit in der Struktur und Verknüpfung der Künstlichen Neuronalen Netze implementiert und werden im Rahmen von Lernprozessen adaptiert und optimiert.The actual algorithms and processes for decision-making in these AI methods are implemented implicitly in the structure and linking of the artificial neural networks and are adapted and optimized as part of learning processes.

Sie sind jedoch schwer nachvollziehbar und ähnlich einer Blackbox zu betrachten. Dennoch sind Künstliche-Intelligenz-basierte Ansätze auch in der automatisierten Rauchdetektion derzeit Stand der Technik und liefern ebenfalls gute Detektionsergebnisse mit hoher Sensitivität.However, they are difficult to understand and can be viewed like a black box. Nevertheless, approaches based on artificial intelligence are also state of the art in automated smoke detection and also deliver good detection results with high sensitivity.

Jedoch benötigen sie große Datenmengen und sind sehr rechenaufwändig zu trainieren (insbesondere „Deep Learning“ -Prozesse mit tiefen Künstlichen Neuronalen Netzen).However, they require large amounts of data and are very computationally expensive to train (especially "deep learning" processes with deep artificial neural networks).

Die beschriebenen mathematisch-physikalisch und technisch bedingten Einschränkungen, die sich aus der Natur des Rauches und der Umgebung, in der er detektiert werden soll, führen in der Praxis auch bei KI-Verfahren zu einer nicht tolerierten Fehlerrate in Bezug auf die Spezifität der Rauchdetektion, so dass häufig falsch-positive Meldungen generiert wird, obwohl tatsächlich kein Rauch vorhanden ist.The mathematical, physical and technical limitations described, which result from the nature of the smoke and the environment in which it is to be detected, lead in practice to an unacceptable error rate with regard to the specificity of the smoke detection, even with AI methods. so that false-positive reports are often generated even though no smoke is actually present.

Nunmehr konzentrieren sich viele neue technische Systemansätze und Lösungsvorschläge darauf, diese unzureichende Spezifität (hohe falsch-positiv Rate) der Algorithmen zu verbessern und die hohe Sensitivität möglichst beizubehalten, da sie wichtig für eine frühzeitige Erkennung der beginnenden Brände ist.Many new technical system approaches and proposed solutions are now concentrating on improving this insufficient specificity (high false-positive rate) of the algorithms and maintaining the high sensitivity as far as possible, since it is important for early detection of incipient fires.

Hierzu werden jeweils unterschiedliche Merkmale des Rauchs (Form, Farbe, Dynamik etc.) und zusätzliche Parameter (z.B. Temperatur, Feuchtigkeit) ausgewertet, verschiedene spektrale Bereiche detektiert und/oder unterschiedliche Detektions-Algorithmen prozessiert. Die Einzelergebnisse werden sodann zusammengeführt und bewertet. Diese inhärente Diversität wird für eine Verbesserung der Klassifizierung und der resultierenden Detektionsentscheidung genutzt, so dass eine verbesserte Sensitivität und/oder Spezifität des kombinierten Verfahrens gegenüber der jeweiligen Sensitivität und/oder Spezifität der Algorithmen der einzelnen Verfahren erreicht werden soll.For this purpose, different characteristics of the smoke (shape, color, dynamics, etc.) and additional parameters (e.g. temperature, humidity) are evaluated, different spectral ranges are detected and/or different detection algorithms are processed. The individual results are then combined and evaluated. This inherent diversity is used to improve classification and the resulting detection decision, resulting in improved sensitivity and/or spe accuracy of the combined method in relation to the respective sensitivity and/or specificity of the algorithms of the individual methods is to be achieved.

In der Literatur gibt es verschiedene Ansätze zur Kombination der individuellen Detektionsergebnisse. Die naiven Kombinationsansätze folgen den einfachen UND- oder ODER-Verknüpfungsregeln. Obwohl sie weit verbreitet sind, sind ihre Nachteile offensichtlich.In the literature there are different approaches to combining the individual detection results. The naive combination approaches follow the simple AND or OR linking rules. Although they are widely used, their disadvantages are obvious.

Bei der UND-Verknüpfung wird ein positives Rauchdetektionsergebnis des kombinierten Detektionsalgorithmus genau dann generiert, wenn alle individuellen Detektionsergebnisse ein positives Rauchdetektionsergebnis für den gleichen Sensordatensatz haben. Die UND-Verknüpfungsregel verringert die Rate der falsch-positiven Rauchdetektionen, aber auch die Rate der richtigpositiven Rauchdetektionen, so dass die Wahrscheinlichkeit erhöht wird, einen tatsächlichen Brand zu übersehen. Damit wird die Sensitivität zugunsten einer höheren Spezifität reduziert.With the AND operation, a positive smoke detection result of the combined detection algorithm is generated precisely when all individual detection results have a positive smoke detection result for the same sensor data set. The AND operation rule reduces the rate of false-positive smoke detections, but also the rate of true-positive smoke detections, so that the probability of overlooking an actual fire is increased. This reduces the sensitivity in favor of a higher specificity.

Bei der ODER-Verknüpfung wird ein positives Rauchdetektionsergebnis des kombinierten Detektionsalgorithmus genau dann generiert, wenn mindestens ein individuelles Detektionsergebnis ein positives Rauchdetektionsergebnis für den Sensordatensatz hat. Die ODER-Verknüpfungsregel erhöht dadurch sowohl die Sensitivität als auch die falsch-positiv Rate und führt damit zur Reduzierung der Spezifität. Damit besteht eine höhere Chance, das Feuer zu erkennen; es wird aber auch die Anzahl der falsch-positiven Rauchdetektionen erhöht.With the OR link, a positive smoke detection result of the combined detection algorithm is generated precisely when at least one individual detection result has a positive smoke detection result for the sensor data set. The OR linking rule thus increases both the sensitivity and the false-positive rate and thus leads to a reduction in specificity. This gives a higher chance of spotting the fire; however, the number of false-positive smoke detections is also increased.

Ein verbesserter Ansatz [Töreyin, B.U.; Cetin, A.E: : Wildfire Detection Using LMS Based Active Learning, IEEE Conference on Acoustics, Speech and Signal Processing, 2009] nutzt für den finalen Entscheidungsprozess auf Rauch anstelle von binären ja (= 1) und nein (= 0) Ausgangswerten bereits pragmatisch abgestufte Zahlenwerte zwischen 0 und + 1 je nach individueller Ergebnishöhe der verschiedenen Algorithmen als Maß für die Sicherheit (Konfidenz) des Detektionsergebnisses. Weiterhin wird eine Lernphase beschrieben, in der die Gewichtsfaktoren der einzelnen Algorithmen für das Gesamtergebnis unter Nutzung eines menschlichen Supervisors adaptiert und optimiert werden.An improved approach [Töreyin, B.U.; Cetin, A.E: : Wildfire Detection Using LMS Based Active Learning, IEEE Conference on Acoustics, Speech and Signal Processing, 2009] uses for the final decision-making process for smoke instead of binary yes (= 1) and no (= 0) initial values Numerical values between 0 and +1 depending on the individual result level of the various algorithms as a measure of the certainty (confidence) of the detection result. Furthermore, a learning phase is described in which the weighting factors of the individual algorithms for the overall result are adapted and optimized using a human supervisor.

In [ByoungChul KO et al: Method of Detecting Smoke of Forest Fire using Spatiotemporal BOF of Smoke and Random Forest, US 2015/8983180 B2 ] werden temporale und räumliche Bildmerkmale in einem System kombiniert und für den Entscheidungsprozess genutzt. Basierend auf einem Supervisor gestützten Anlernprozess werden dabei die Ereigniswahrscheinlichkeiten in Bezug auf individuelle Merkmale in Form von Entscheidungsbäumen bestimmt. Im Wirkbetrieb zur Raucherkennung werden dann die konkreten Wahrscheinlichkeiten jedes vollständig prozessierten Entscheidungsbaumes berechnet und anhand der Ergebnisse die finale Entscheidung auf Rauch gefällt.In [ByoungChul KO et al: Method of Detecting Smoke of Forest Fire using Spatiotemporal BOF of Smoke and Random Forest, U.S. 2015/8983180 B2 ] temporal and spatial image features are combined in one system and used for the decision-making process. Based on a supervisor-supported learning process, the probabilities of events are determined in relation to individual characteristics in the form of decision trees. In active operation for smoke detection, the concrete probabilities of each fully processed decision tree are then calculated and the final decision on smoke is made based on the results.

In DE 196 03 828 Al wird eine Vorrichtung zum Erzeugen eines Alarmes beschrieben, welches Alarmmeldungen mittels auf neuronalen Netzen basierten Detektionen auf Kamerabildern und Alarmmeldungen aus anderweitigen Sensoren, wie Rauchdetektoren oder Luftmessungen, mit Hilfe von Fuzzy-Logik-Einheiten miteinander kombiniert, um Fehlerraten zu reduzieren. Ein systematisch ähnlicher Ansatz wird in [Begona C. ARrue et al: An Intelligent System for False Alarm Reduction in Infrared Forest-Fire Detection, IEEE 2000] verfolgt. Auch hier werden die Ergebnisse von verschiedenen Algorithmen bzw. Eingangsgrößen mit Fuzzy-Logik zusammengeführt und bewertet. Die Konfiguration eines Fuzzy-Logik Systems gestaltet sich allerdings selbst mit Expertenwissen als aufwändig und schwer. Zudem ist die Logik an sich äußerst fragil und bedarf regelmäßiger Veränderungen bei sich verändernden Systemen.DE 196 03 828 A1 describes a device for generating an alarm, which combines alarm messages by means of neural network-based detections on camera images and alarm messages from other sensors, such as smoke detectors or air measurements, with the help of fuzzy logic units in order to reduce error rates to reduce. A systematically similar approach is followed in [Begona C. ARrue et al: An Intelligent System for False Alarm Reduction in Infrared Forest-Fire Detection, IEEE 2000]. Here, too, the results of various algorithms and input variables are combined and evaluated using fuzzy logic. However, the configuration of a fuzzy logic system is complex and difficult, even with expert knowledge. In addition, the logic itself is extremely fragile and requires regular changes as the systems change.

CN 104408898 A verwendet ein System und Regelwerk zur Kombination der Ergebnisse von verschiedenen Geräten zur Rauchdetektion. Ein entsprechend positives Detektionsergebnis gilt erst dann als bestätigt, wenn von mehreren Geräten dasselbe positive Ergebnis gemeldet wird. Dadurch sind die Nachteile der einfachen UND-Kombination inhärent; zudem bedarf es unterschiedlicher Geräte, um ein endgültiges positives Detektionsergebnis zu generieren. CN 104408898A uses a system and rules for combining the results of different smoke detection devices. A correspondingly positive detection result is only considered confirmed if the same positive result is reported by several devices. As a result, the disadvantages of the simple AND combination are inherent; moreover, different devices are required to generate a final positive detection result.

All den geschilderten Verfahren ist gemeinsam, dass zwar eine deutliche Verbesserung gegenüber der Anwendung von nur einzelnen Verfahren erzielt wird. Jedoch ist die erforderliche Leistungsfähigkeit des verbesserten Rauchdetektionsverfahrens für den beschriebenen Anwendungsfall immer noch nicht hinreichend.What all the methods described have in common is that a significant improvement is achieved compared to the use of only individual methods. However, the required performance of the improved smoke detection method is still not sufficient for the application described.

In neuesten Entscheidungsalgorithmen werden Verfahren der Künstlichen Intelligenz (KI) nicht nur für die Datenprozessierung im Rahmen des Rauchdetektionsverfahrens angewendet, sondern auch für die Zusammenführung der Ergebnisse verschiedener derartiger Verfahren genutzt.In the latest decision-making algorithms, methods of artificial intelligence (AI) are not only used for data processing as part of the smoke detection method, but also for combining the results of various such methods.

CN 110070106 A verwendet ein zweistufiges Detektionsverfahren mittels Algorithmen auf Basis von Künstlicher Intelligenz innerhalb einer Sequenz. Im ersten Schritt werden die einzelnen Sensordatensätze einer Sequenz mit Hilfe eines Künstlichen Neuronalen Netzes detektiert. Im zweiten Schritt wird ein weiteres Mal mit Hilfe eines Künstlichen Neuronalen Netzes über die komplette Sequenz detektiert. Erst wenn der zweite Schritt positive Rauchdetektionen aus dem ersten Schritt bestätigt, wird ein positives Detektionsergebnis gemeldet. Dieses Verfahren ist allerdings nur anwendbar für solche Einzelverfahren, die alle auf Basis von Künstlicher Intelligenz arbeiten. Weiterhin wird nur dann ein positives Detektionsergebnis gemeldet, wenn das Resultat des zweiten Algorithmus das Resultat des ersten Algorithmus beinhaltet - insofern ist die Sensitivität nach Kombination geringer und es werden tatsächliche Brände mit geringerer Wahrscheinlichkeit erkannt als beim Einzelalgorithmus. CN 110070106A uses a two-stage detection method using algorithms based on artificial intelligence within a sequence. In the first step, the individual sensor data records of a sequence are detected using an artificial neural network. In the second step, the entire sequence is detected once more with the help of an artificial neural network. A positive detection result is only reported if the second step confirms positive smoke detections from the first step. However, this method can only be used for those individual methods that all work on the basis of artificial intelligence. Furthermore, a positive detection result is only reported if the result of the second algorithm includes the result of the first algorithm - in this respect, the sensitivity after the combination is lower and actual fires are less likely to be detected than with the individual algorithm.

Auch bei Kombination von einzelnen Verfahren verwenden alle bisher bekannten Systeme alternativ lediglich eines der beiden Grundverfahren, d.h. entweder sind sie alle merkmalsbasiert oder alle basieren auf Künstlicher Intelligenz. Da die beiden Grundverfahren im statistischen Mittel quantitativ ähnliche Detektionsergebnisse sowohl in Bezug auf Sensitivität als auch Spezifität der Rauchdetektionsergebnisse aufweisen, wurde deren Kombination bisher nicht angewendet. Es wären keine besseren Detektionsergebnisse, aber ein erhöhter Systemaufwand zu erwarten. Zum anderen ist die nichttriviale Aufgabe zu lösen, welchen Detektionsergebnissen höhere Priorität und Validität beigemessen wird, wenn beide Verfahren unterschiedliche Detektionsergebnisse in Bezug auf den gleichen Sensordatensatz aufweisen.Even when combining individual methods, all systems known to date use only one of the two basic methods as an alternative, i.e. either they are all feature-based or all are based on artificial intelligence. Since the two basic methods have quantitatively similar detection results on statistical average, both in terms of sensitivity and specificity of the smoke detection results, their combination has not been used up to now. Better detection results would not be expected, but increased system effort. On the other hand, the non-trivial task to be solved is which detection results are given higher priority and validity if the two methods have different detection results in relation to the same sensor data set.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Verfügung zu stellen bei dem durch die Kombination beider unterschiedlicher Verfahren sowohl die Stärken eben dieser ausgenutzt werden als auch die Schwächen verringert werden, um hierdurch eine Verbesserung der Detektionssicherheit des Branderkennungsverfahrens sicherstellen zu können.The object of the present invention is to provide a method in which the combination of the two different methods exploits their strengths and reduces their weaknesses in order to be able to ensure an improvement in the detection reliability of the fire detection method.

Diese Aufgabe wird durch die im Anspruch 1 angegebenen Maßnahmen gelöst, insbesondere dadurch, dass in einer Anlernphase zur Systemkonfiguration, die zur Festlegung und Optimierung verschiedener Schwellenwerte anhand einer Auswertung von Rauchdetektionsergebnissen bezüglich einer Vielzahl von Sensordatensätzen bzw. Sequenzen dienen, d.h. repräsentativen Sensordatensätzen mit „Rauch“- und „kein Rauch“-Inhalten und die unter Anleitung eines Operators durchgeführt wird, der anhand einer statistischen Auswertung dieser Rauchdetektionsergebnisse die Parameter zur Konfiguration des Kombinationsverfahrens definiert, wobei die mittels der merkmalbasierten Algorithmen erzeugten Rauchdetektionsergebnisse in merkmalsbasierte Detektionsboxen (a) und die mittels Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI) erzeugten Rauchdetektionsergebnisse in KI-basierte Detektionsboxen (b) abgelegt und gespeichert werden; wobei in einem Wirkbetrieb, in dem unter Nutzung der Systemkonfiguration operationell die erzeugten Rauchdetektionsergebnisse der merkmal-basierten Algorithmen und die unter Nutzung von Künstlichen Neuronalen Netzwerken erzeugten Rauchdetektionsergebnisse der Detektionsboxen (a) und der Detektionsboxen (b) zusammengeführt, prozessiert und ausgegeben werden.This object is achieved by the measures specified in claim 1, in particular in that in a training phase for the system configuration, which is used to define and optimize various threshold values based on an evaluation of smoke detection results with regard to a large number of sensor data sets or sequences, i.e. representative sensor data sets with "smoke "- and "no smoke" content and is carried out under the guidance of an operator, who uses a statistical evaluation of these smoke detection results to define the parameters for configuring the combination method, with the smoke detection results generated using the feature-based algorithms in feature-based detection boxes (a) and the using Smoke detection results generated using artificial neural networks (artificial intelligence/AI) are stored and saved in AI-based detection boxes (b); wherein in an active operation, in which the smoke detection results generated by the feature-based algorithms and the smoke detection results generated using artificial neural networks of the detection boxes (a) and the detection boxes (b) are combined, processed and output using the system configuration.

Durch diese Maßnahmen ist es erstmals möglich, die Teilergebnisse der Rauchdetektionsverfahren von merkmalsbasierten Verfahren und von Verfahren auf Basis Künstlicher Neuronaler Netzwerke (KI), die beide zur Waldbrandfrüherkennung mittels optischer Detektion von Rauch dienen, auf geeignete Art und Weise zu kombinieren, um sowohl eine höhere Sensitivität als auch eine verbesserte Spezifität gegenüber den Sensitivitätswerten und Spezifitätswerten der Einzelverfahren zu erreichen und damit die Gesamtleistung der Rauchdetektionsverfahrens substantiell zu erhöhen.These measures make it possible for the first time to combine the partial results of the smoke detection methods from feature-based methods and methods based on artificial neural networks (AI), both of which are used for early forest fire detection using optical smoke detection, in order to achieve both a higher To achieve sensitivity as well as an improved specificity compared to the sensitivity values and specificity values of the individual methods and thus to increase the overall performance of the smoke detection method substantially.

In umfangreichen Untersuchungen zur Evaluierung beider Grundverfahren anhand einer Vielzahl von unterschiedlichen Sensordatensätzen und praktischen Einsatzszenarien wurde herausgefunden, dass beide Grundverfahren vergleichbare durchschnittliche Sensitivitätswerte bei der Rauchdetektion von beginnenden Waldbrände aufweisen, aber die aktuelle Sensitivität der Rauchdetektionsergebnisse sehr unterschiedlich unter Berücksichtigung der konkreten Sensordatensätze bzw. detaillierten Umgebungsbedingungen sein kann.In extensive investigations to evaluate both basic methods using a large number of different sensor data sets and practical application scenarios, it was found that both basic methods have comparable average sensitivity values for smoke detection from incipient forest fires, but the current sensitivity of the smoke detection results is very different, taking into account the specific sensor data sets and detailed environmental conditions can be.

Sehr ähnlich verhalten sich die Rauchdetektionsergebnisse beider Grundverfahren auch in Bezug auf die Spezifität, d.h. in Bezug auf richtignegative Ergebnisse, wenn tatsächlich kein Rauch im Sensordatensatz vorhanden ist. Obwohl durchschnittlich ähnliche Spezifitätswerte bezüglich der Rauchdetektionsergebnisse über eine Vielzahl von Sensordatensätzen und Szenarien zu beobachten sind, treten konkrete fehlerhafte falsch-positive Rauchdetektionsergebnisse beider Verfahren, die diese Spezifität reduzieren, häufig in unterschiedlichen konkreten Sensordatensätzen und unter unterschiedlichen Umgebungsbedingungen auf.The smoke detection results of both basic methods are very similar with regard to specificity, ie with regard to correctly negative results when there is actually no smoke in the sensor data set. Although on average similar specificity values regarding the smoke detection results can be observed over a variety of sensor data sets and scenarios, concrete erroneous false-positive smoke detection results of both methods, which reduce this specificity, often occur in different concrete sensor data sets and under different environmental conditions.

Das neue Verfahren wird beispielhaft an einem kombinierten System mit einem merkmalsbasierten Algorithmus zur Rauchdetektion und einem KI-Verfahren zur Rauchdetektion beschrieben, kann aber auch auf allgemeine Fälle mit mehreren parallel und unabhängig voneinander arbeitenden Algorithmen zur Rauch- und/oder Feuerdetektion angewendet werden. Eine Implementierung des erfindungsgemäßen Verfahrens kann in einer geeigneten Vorrichtung in Form einer Datenverarbeitungsanlage wie z.B. einem Computer erfolgen, die über Datenschnittstellen für die Eingabe und Ausgabe von Daten, Recheneinheiten zur Ausführung von Additions- und Multiplikationsaufgaben, zur Ausführung von logischen Vergleichen und Speicher zur Speicherung der Daten verfügt.The new method is described as an example using a combined system with a feature-based smoke detection algorithm and an AI method for smoke detection, but can also be applied to general cases with several smoke and/or fire detection algorithms working in parallel and independently of one another. The method according to the invention can be implemented in a suitable device in the form of a data processing system such as a computer, which has data interfaces for inputting and outputting data, arithmetic units for performing addition and multiplication tasks, for performing logical comparisons and memory for storing the data.

Hierzu wird vorausgesetzt, dass die individuellen Rauchdetektionsalgorithmen folgende Ausgangsdatensätze liefern. Diese Ausgangsdatensätze werden über die Datenschnittstellen in die benannte Datenverarbeitungsanlage eingespeist. Sie werden nachfolgend als Detektionsstapel bezeichnet und umfassen folgende Informationen als Dateninhalte:

• - Eine Meldung, ob in einem bestimmten Sensordatensatz bzw. einer Datensequenz Rauch positiv detektiert wurde als qualitative ja/nein-Aussage
• - Eine Koordinatenbeschreibung der Bildbereiche (Flächen) im Sensordatensatz, in denen der Rauch detektiert wurde, d.h. die Bildkoordinaten für diejenigen Pixelbereiche des Sensordatensatzes, die vom Detektionsalgorithmus als Rauchpixel klassifiziert wurden. Diese Bildbereiche werden nachfolgend als Detektionsboxen bezeichnet.
• - Eine Wichtungszahl, die nachfolgend als Scoring-Wert bezeichnet wird, aus dem reellen Zahlenbereich [0,1], die ein quantitatives Maß für die Sicherheit (Konfidenz) bzw. Wahrscheinlichkeit für die Richtigkeit des Detektionsergebnisses darstellt.

For this it is assumed that the individual smoke detection algorithms supply the following initial data sets. These output data sets are fed into the designated data processing system via the data interfaces. They are referred to below as the detection stack and include the following information as data content:

• - A message as to whether smoke was positively detected in a specific sensor data set or a data sequence as a qualitative yes/no statement
• - A coordinate description of the image areas (areas) in the sensor data set in which the smoke was detected, ie the image coordinates for those pixel areas of the sensor data set that were classified as smoke pixels by the detection algorithm. These image areas are referred to below as detection boxes.
• - A weighting number, which is referred to below as the scoring value, from the real number range [0,1], which represents a quantitative measure of the certainty (confidence) or probability of the correctness of the detection result.

Entsprechende Scoring-Werte werden von vielen Detektionsalgorithmen ausgegeben. Falls diese Scoring-Werte (s) in einem anderen Zahlenbereich ausgegeben werden, kann eine lineare Umrechnung auf den reellen Zahlenbereich [0,1] erfolgen, wobei der höchste Wert s_max für eine sichere Entscheidung steht und entsprechend s_max → 1 abgebildet wird. Unsichere bzw. unwahrscheinliche Detektionsergebnisse sind entsprechend abgestuft, wobei der kleinste Wert s_min entsprechend s_min → 0 festgelegt sei. Alle anderen Werte s_i werden linear umgerechnet entsprechend der Formel s_i → (s_i - s_min) / (s_max - s_min).Corresponding scoring values are output by many detection algorithms. If these scoring values (s) are output in a different number range, a linear conversion to the real number range [0,1] can take place, with the highest value s _max standing for a safe decision and s _max → 1 being mapped accordingly. Uncertain or improbable detection results are graded accordingly, with the smallest value s _min corresponding to s _min →0 being specified. All other values s _i are converted linearly according to the formula s _i → (s _i −s _min )/(s _max −s _min ).

Liegt nur eine verbale Beschreibung zur Detektionssicherheit vor, kann eine lineare Umwandlung in konkrete Zahlenwerte anhand der Anzahl der möglichen Ausgabekategorien vorgenommen werden. Allgemein erfolgt eine Umrechnung, wenn N die Anzahl der Ausgabekategorien ist, wie folgt:

• Die sicherste, d.h. höchste Kategorie N erhält den Scoring-Wert (2*N-1) / (2*N). Der unsichersten, d.h. niedrigsten Kategorie 1 wird der Scoring-Wert 1 / (2*N) zugeordnet. Eine dazwischen eingestufte Kategorie n erhält den Scoring-Wert (2*N-1)/(2*N).

If there is only a verbal description of the detection reliability, a linear conversion into concrete numerical values can be carried out based on the number of possible output categories. In general, when N is the number of expense categories, a conversion occurs as follows:

• The safest, ie highest category N receives the scoring value (2*N-1) / (2*N). The most uncertain, ie lowest category 1 is assigned the scoring value 1/(2*N). A category n classified in between receives the scoring value (2*N-1)/(2*N).

Falls beispielsweise 5 derartige Kategorien „sehr unsicher“, „unsicher“, „mittel“, „sicher“, „sehr sicher“ in Bezug auf die Richtigkeit der Rauchdetektionsergebnisse existieren, erfolgt eine entsprechende Zuordnung zu den Scoring-Werten 0.1, 0.3, 0.5, 0.7 und 0.9.If, for example, 5 such categories "very uncertain", "uncertain", "moderate", "certain", "very certain" exist with regard to the correctness of the smoke detection results, a corresponding assignment to the scoring values 0.1, 0.3, 0.5, 0.7 and 0.9.

Gibt der Algorithmus keinen solchen abgestuften Scoring-Wert aus, wird jedem positiven Rauchdetektionsergebnis der Scoring-Wert 1 zugeordnet.If the algorithm does not output such a graded scoring value, the scoring value 1 is assigned to each positive smoke detection result.

Grundsätzlich sind - basierend auf Untersuchungsergebnissen mit konkreten Detektionsalgorithmen und deren Ausgaben - auch andere Zuordnungen möglich, indem beispielweise nichtlineare Zahlenzuordnungen erfolgen, falls diese eine geeignete Zuordnung von verbalen Beschreibungen der Kategorien zu den Scoring-Werten sind oder zusätzliche Parameter ausgewertet werden und in den konkreten Scoring-Wert einfließen sollen.Basically - based on examination results with concrete detection algorithms and their outputs - other assignments are also possible, for example by non-linear number assignments, if these are a suitable assignment of verbal descriptions of the categories to the scoring values or additional parameters are evaluated and included in the concrete scoring -Value should be included.

Das weitere Kombinationsverfahren bleibt dabei aber unverändert.However, the further combination process remains unchanged.

Dieses neue Kombinationsverfahren beinhaltet im Wesentlichen zwei Verfahrensschritte:

• - eine Anlernphase, die zur Festlegung und Optimierung verschiedener Schwellenwerte anhand einer Auswertung der Rauchdetektionsergebnisse bezüglich einer Vielzahl von Sensordatensätzen bzw. Sequenzen dienen, d.h. repräsentativen Sensordatensätzen mit „Rauch“- und „kein Rauch“-Inhalten und die unter Anleitung eines Operators durchgeführt wird, der anhand einer statistischen Auswertung dieser Rauchdetektionsergebnisse sodann die Parameter zur Konfiguration des Kombinationsverfahrens definiert
• - der Wirkbetrieb, in dem unter Nutzung dieser Systemkonfiguration operationell die Rauchdetektionsergebnisse von verschiedenen Rauchdetektionsalgorithmen zusammengeführt, prozessiert und ausgegeben werden.

This new combination process essentially consists of two process steps:

• - a training phase, which is used to define and optimize various threshold values based on an evaluation of the smoke detection results with regard to a large number of sensor data sets or sequences, i.e. representative sensor data sets with "smoke" and "no smoke" content and which is carried out under the guidance of an operator, which then defines the parameters for configuring the combination method on the basis of a statistical evaluation of these smoke detection results
• - the active operation, in which the smoke detection results of different smoke detection algorithms are operationally combined, processed and output using this system configuration.

Mittels der Vorrichtung werden Ergebnisdatensätze des Kombinationsverfahrens über die Datenschnittstellen ausgegeben, die an angeschlossene Geräte wie Telekommunikationseinheiten (z.B. Computer, Monitore, Faxgeräte, Alarmgeber) von Operatoren (z.B. Überwachungspersonal, Brandmelder, Feuerwehrkräfte) für weitergehende Aktivitäten übergeben, gespeichert und/oder angezeigt werden. Diese Ergebnisdatensätze umfassen vorzugsweise folgende Informationen als Dateninhalte:

• - Eine Meldung, ob in einem bestimmten Sensordatensatz bzw. einer Datensequenz Rauch positiv detektiert wurde. Diese Meldung wird als endgültiger Alarm bezeichnet.
• - Eine Koordinatenbeschreibung der Bildbereiche (Flächen) im Sensordatensatz, in denen der Rauch detektiert wurde, d.h. die Bildkoordinaten für diejenigen Pixelbereiche des Sensordatensatzes, die vom Detektionsalgorithmus als Rauchpixel klassifiziert wurden.
• - Weitere Metadaten zum Sensordatensatz wie z.B. Datum, Uhrzeit, Darstellung des Ortes des detektierten Rauches auf geographischen Karten einschließlich Lieferung detaillierten Koordinaten u. Ä..
• - Eine Liste für Verdachtsfälle falsch-positiver Detektionsboxen samt einer Kennzeichnung des zugrundeliegenden Sensordatensatzes (z.B. mittels dessen laufender Nummerierung) für nachfolgende, weiterführende Analysen und Untersuchungen.

The device is used to output result data records of the combination method via the data interfaces, which are transferred to connected devices such as telecommunications units (e.g. computers, monitors, fax machines, alarm devices) by operators (e.g. monitoring personnel, fire alarms, fire brigades) for further activities, stored and/or displayed. These result data records preferably include the following information as data content:

• - A message as to whether smoke was positively detected in a specific sensor data set or a data sequence. This message is called a final alarm.
• - A coordinate description of the image areas (areas) in the sensor data set in which the smoke was detected, ie the image coordinates for those pixel areas of the sensor data set that were classified as smoke pixels by the detection algorithm.
• - Additional metadata for the sensor dataset such as date, time, representation of the location of the detected smoke on geographical maps including delivery of detailed coordinates, etc..
• - A list of suspected cases of false-positive detection boxes together with an identification of the underlying sensor data set (e.g. by means of its consecutive numbering) for subsequent, more detailed analyzes and investigations.

In der Anlernphase des Kombinationsverfahrens werden die eingesetzten Detektionsalgorithmen individuell mit bekannten Sensordatensätzen bzw. -sequenzen einer umfangreichen Bibliothek von Sensordatensätzen prozessiert. Diese Sensordatensätze sollen repräsentativ für die Anwendung sein (z.B. Kiefernwald) und sowohl Sensordatensätze mit „Rauch“-Inhalten als auch „kein Rauch“-Inhalten enthalten. Diese Sensordatensätze werden zur Verifizierung der Detektionsergebnisse in dieser Anlernphase genutzt, da a-priori bekannt ist, ob die Sensordatensätze „Rauch“ oder „kein Rauch“ beinhalten.In the training phase of the combination method, the detection algorithms used are processed individually with known sensor data sets or sequences from an extensive library of sensor data sets. These sensor data sets should be representative of the application (e.g. pine forest) and contain both sensor data sets with "smoke" content and "no smoke" content. These sensor data sets are used to verify the detection results in this training phase, since it is known a priori whether the sensor data sets contain "smoke" or "no smoke".

Im Weiteren werden die Zielkriterien definiert, die geeignet sind, die Leistungsfähigkeit des Kombinationsverfahrens zu charakterisieren. In diese Kriterien fließen die Sensitivität und Spezifität ein, die beide so groß wie möglich sein sollen, also so nahe wie möglich am Idealwert 1 (=100%) liegen sollen, wobei bestimmte vorgegebene Werte für jeden der beiden Kenngrößen nicht unterschritten werden dürfen. Weitere Nebenbedingungen, wie z.B. die mittlere Genauigkeit der genannten Detektionsboxen können einbezogen werden. Die mittlere Genauigkeit ist geeignet die gegenseitige Beeinflussung zwischen Sensitivität und positivem Vorhersagewert in einer einzigen Zahl darstellen zu können. Diese mittlere Genauigkeit wird als gewichtetes Mittel an positiven Vorhersagewerten für die nachfolgend zu bestimmenden Schwellenwerte berechnet. Als Gewicht wird die gesteigerte Sensitivität, also die Differenz zwischen der vorhergehenden und der aktuellen Sensitivität des jeweils vorangehenden Schwellenwertes benutzt.In the following, the target criteria are defined that are suitable for characterizing the performance of the combination method. These criteria include sensitivity and specificity, both of which should be as high as possible, i.e. as close as possible to the ideal value of 1 (=100%), whereby certain specified values for each of the two parameters must not be undershot. Other constraints, such as the average accuracy of the detection boxes mentioned, can be included. The medium accuracy is suitable for showing the mutual influence between sensitivity and positive predictive value in a single number. This average accuracy is calculated as the weighted average of positive prediction values for the threshold values to be determined below. The increased sensitivity, i.e. the difference between the previous and the current sensitivity of the respective previous threshold value, is used as the weight.

Für jeden Schwellenwert werden die positiven Vorhersagewerte sowie die Sensitivität berechnet. Der optimale Schwellenwert entspricht demjenigen Schwellenwert, der den höchsten Wert der mittleren Genauigkeit liefert, was den besten Testergebnissen entspricht.The positive predictive values and the sensitivity are calculated for each threshold. The optimal threshold corresponds to the threshold that gives the highest mean accuracy value, which corresponds to the best test results.

Ein erstes Kriterium - nachfolgend Kriterium 1 genannt - nutzt das Produkt von falsch-negativ Rate und falsch-positiv Rate, das möglichst klein sein soll. Hierbei darf aber die Sensitivität einen vorgegebenen Wert von beispielsweise 0.8 nicht unterschreiten. Ebenso darf die Spezifität einen vorgegebenen Wert von beispielsweise 0.9 nicht unterschreiten. Dieses Kriterium sucht nach dem optimalen Verhältnis der falsch-negativ Rate und der falsch-positiv Rate nach einer Überschneidungsüberprüfung, die in den folgenden Ausführungen beschrieben wird. Diese Nebenbedingungen sind nötig, weil sonst die falsch-positiv Rate auf Kosten der Sensitivität und die falsch-negativ Rate auf Kosten der Spezifität gesenkt werden könnte. Die falsch-negativ Rate ergibt sich aus der Differenz der Sensitivität zu 100%, also 1 - Sensitivität (=100% x [1-Sensitivität]). Die falsch-positiv Rate ergibt sich aus der Differenz der Spezifität zu 100%, also 1 - Spezifität (=100% x [1-Spezifität]). Gehen nun beide Raten gegen 0 (=0 %) und damit auch das Produkt beider, dann gehen die angestrebten Werte von Sensitivität und Spezifität gegen die Idealwerte von 100%. Durch die Nebenbedingungen wird der Fall ausgeschlossen, dass nur eine der beiden Raten gegen 0 (= 0%) geht und damit einhergehend auch das Produkt der beiden. Durch die nachfolgende Überschneidungsüberprüfung, also dem Wegfallen der nicht überlappenden Detektionsboxen, erreicht man einen stärkeren Senkungsverlauf der falsch-positiv Rate im Vergleich zum Steigerungsverlauf der falsch-negativ Rate. Infolgedessen sinkt dann das Produkt. Das Minimum dieses Produkts ist nun für das Kriterium 1 ausschlaggebend.A first criterion—referred to below as criterion 1—uses the product of the false-negative rate and the false-positive rate, which should be as small as possible. In this case, however, the sensitivity must not fall below a specified value of, for example, 0.8. Likewise, the specificity must not fall below a predetermined value of, for example, 0.9. This criterion looks for the optimal ratio of the false negative rate and the false positive rate after a cross check, which is described in the following. These constraints are necessary because otherwise the false-positive rate could be reduced at the expense of sensitivity and the false-negative rate at the expense of specificity. The false-negative rate results from the difference between the sensitivity and 100%, i.e. 1 - sensitivity (=100% x [1-sensitivity]). The false-positive rate results from the difference between the specificity and 100%, i.e. 1 - specificity (=100% x [1-specificity]). If both rates now approach 0 (=0%) and thus also the product of both, then they go target values of sensitivity and specificity against the ideal values of 100%. The secondary conditions rule out the case that only one of the two rates approaches 0 (= 0%) and with it the product of the two. The subsequent overlap check, i.e. the omission of the non-overlapping detection boxes, results in a stronger reduction in the false-positive rate compared to the increase in the false-negative rate. As a result, the product then sinks. The minimum of this product is now decisive for criterion 1.

Ein zweites Kriterium - nachfolgend Kriterium 2 genannt - definiert eine sehr sichere Entscheidung, dass Rauch detektiert wurde, über die Spezifität, die einen vorgegebenen hohen Wert erreichen muss (z.B. 0.95). Je höher die Spezifität, desto niedriger ist die statistische Wahrscheinlichkeit, falsch-positive Rauchdetektionsergebnisse zu erzielen, d.h. als Detektionsergebnis „Rauch ist im Sensordatensatz“ zu haben, obwohl tatsächlich der Sensordatensatz keinen Rauch enthält. Demnach zeigt bei einem Detektor mit sehr hoher Spezifität eine positive Detektion eine statistisch sicherere Entscheidung für einen tatsächlich vorhandenen Rauch im Sensordatensatz an als eine positive Detektion bei einem Detektor mit niedriger Spezifität. Für Kriterium 2 ist nun das Maximum der Sensitivität unter der Erfüllung der definierten Spezifität ausschlaggebend.A second criterion - hereinafter referred to as criterion 2 - defines a very reliable decision that smoke has been detected via the specificity, which must reach a predetermined high value (e.g. 0.95). The higher the specificity, the lower the statistical probability of achieving false-positive smoke detection results, i.e. having “smoke is in the sensor dataset” as the detection result, although the sensor dataset actually contains no smoke. Accordingly, in the case of a detector with a very high specificity, a positive detection indicates a statistically more reliable decision for smoke actually present in the sensor data set than a positive detection in the case of a detector with a low specificity. For criterion 2, the maximum sensitivity under the fulfillment of the defined specificity is decisive.

Nunmehr werden alle Sensordatensätze der Bibliothek prozessiert und mittels Histogramm-Analyse, Zählverfahren oder anderen geeigneten Techniken ein Schwellenwert 1 des merkmalsbasierten Verfahrens für den Scoring-Wert ermittelt. Dieser Schwellenwert 1 ist gleichbedeutend mit der qualitativen ja/nein-Entscheidung über Vorhandensein von Rauch: Alle Scoring-Werte, die größer als der Schwellenwert sind, werden als ja-Entscheidung und alle, die kleiner als der Schwellenwert sind, werden als nein-Entscheidung interpretiert. Als Schwellenwert 1 des merkmalsbasierten Verfahrens gilt der Schwellenwert, für den die besten Testergebnisse in Bezug auf die definierten Kriterien ermittelt wurden. Auf diese Art und Weise werden die Rauchdetektionsergebnisse mit den gleichen Sensordatensätzen der Bibliothek bezüglich des Kriteriums 1 ermittelt und ein Schwellenwert 1 definiert.Now all sensor data records of the library are processed and a threshold value 1 of the feature-based method for the scoring value is determined by means of histogram analysis, counting methods or other suitable techniques. This threshold 1 is equivalent to the qualitative yes/no decision on the presence of smoke: all scoring values greater than the threshold value are taken as a yes decision and all values less than the threshold value are taken as a no decision interpreted. Threshold 1 of the feature-based method is the threshold for which the best test results were determined in relation to the defined criteria. In this way, the smoke detection results are determined with the same sensor data records from the library with regard to criterion 1 and a threshold value 1 is defined.

In gleicher Weise wird ein Schwellenwert 2 bezüglich des Kriteriums 1 für den KI-Algorithmus definiert. Auch hier werden die Rauchdetektionsergebnisse mit den gleichen Sensordatensätzen der benannten Bibliothek ermittelt und auf gleiche Art und Weise ein optimaler Schwellenwert 2 definiert, für den die besten Testergebnisse entsprechend des definierten Kriteriums 1 erreicht werden.In the same way, a threshold 2 is defined with respect to criterion 1 for the AI algorithm. Here, too, the smoke detection results are determined using the same sensor data records from the named library and an optimal threshold value 2 is defined in the same way, for which the best test results are achieved in accordance with the defined criterion 1.

Sodann werden für den merkmalsbasierten Algorithmus gleichartige Tests bezüglich des Kriteriums 2 durchgeführt und ein Schwellenwert 3 bestimmt. Weiterhin wird ein gleichartiger Test für den KI-basierten Algorithmus bezüglich des Kriteriums 2 durchgeführt und auf diese Art und Weise ein Schwellenwert 4 bestimmt.Similar tests are then carried out for the feature-based algorithm with regard to criterion 2 and a threshold value 3 is determined. Furthermore, a similar test is carried out for the AI-based algorithm with regard to criterion 2 and a threshold value 4 is determined in this way.

Aufgrund der gewählten Kriterien ist sichergestellt, dass Schwellenwert 3 ≥ Schwellenwert 1 und Schwellenwert 4 ≥ Schwellenwert 2 gelten.The selected criteria ensure that threshold 3 ≥ threshold 1 and threshold 4 ≥ threshold 2 apply.

Alle 4 ermittelten Schwellenwerte werden für die Konfiguration des Kombinationsverfahrens zur Zusammenführung der Ergebnisse beider Algorithmen genutzt. Das so konfigurierte Kombinationsverfahren kann dann für den Wirkbetrieb genutzt werden.All 4 determined threshold values are used for the configuration of the combination method to combine the results of both algorithms. The combination procedure configured in this way can then be used for real operation.

Ein Blockschaltbild zum Ablauf der Prüfung auf Rauch für den Wirkbetrieb ist in dargestellt.A block diagram of the process of checking for smoke for active operation is in shown.

Im Wirkbetrieb werden für jeden aufgenommenen Sensordatensatz die Detektionsboxen und Scoring-Werte für jeden der beiden Algorithmen ausgewertet, ob für den merkmalsbasierten Algorithmus der Schwellenwert 1 oder für den KI-basierten Algorithmus der Schwellenwert 2 überschritten wurden.In live operation, the detection boxes and scoring values for each of the two algorithms are evaluated for each recorded sensor data set to determine whether threshold 1 has been exceeded for the feature-based algorithm or threshold 2 for the AI-based algorithm.

Falls mindestens einer der beiden Algorithmen eine entsprechende Schwellenwertüberschreitung anzeigt, wird eine Überschneidungsprüfung der Detektionsboxen beider Algorithmen mittels Intersection of Union (IoU) durchgeführt. In der Überschneidungsüberprüfung wird für den gleichen Sensordatensatz jede Detektionsbox des merkmalsbasierten Algorithmus' mit jeder Detektionsbox des KI-Algorithmus` verglichen. IoU ist eine Metrik zur Bestimmung der Überdeckung der Fläche einer erkannten Detektionsbox A mit einer erkannten Detektionsbox B. Mathematisch beschrieben ist sie über den Quotienten der Fläche der Überschneidung der beiden Detektionsboxen und der Fläche, die die Vereinigung der beiden Detektionsboxen beschreibt. Je größer der IoU-Wert ist, desto präziser stimmen die beiden Detektionsboxen überein. Der IoU-Wert kann maximal 1 werden, wenn beide Detektionsboxen vollständig übereinstimmen. Haben beide Detektionsboxen keine flächenmäßige Überschneidung, ist der IoU-Wert 0. Der IoU-Wert ist auch dann 0, wenn nur ein Algorithmus eine Detektionsbox in einem entsprechenden Bilddatensatz meldet.If at least one of the two algorithms indicates that a corresponding threshold value has been exceeded, the detection boxes of both algorithms are checked for overlapping using an Intersection of Union (IoU). In the overlap check, each detection box of the feature-based algorithm is compared with each detection box of the AI algorithm for the same sensor data set. IoU is a metric for determining the coverage of the area of a detected detection box A with a detected detection box B. It is described mathematically using the quotient of the area of the intersection of the two detection boxes and the area that describes the union of the two detection boxes. The larger the IoU value, the more precisely the two detection boxes match. The IoU value can be a maximum of 1 if both detection boxes fully match. If the two detection boxes do not overlap in terms of area, the IoU value is 0. The IoU value is also 0 if only one algorithm reports a detection box in a corresponding image data set.

Je nach ermitteltem IoU-Wert werden dann verschiedene weitere Verfahrensschritte wie folgt angewendet.Depending on the determined IoU value, various further process steps are then applied as follows.

Ist der IoU-Wert > 0, werden die Detektionsboxen weiter prozessiert.If the IoU value is > 0, the detection boxes continue to be processed.

Ist der IoU-Wert = 0, erfolgt zunächst eine weitere Prüfung auf Überschreiten des Schwellenwerts 3 für den merkmalsbasierten Algorithmus und auf Überschreiten des Schwellenwertes 4 für den KI-Algorithmus. Wird ein solcher Schwellenwert 3 oder 4 überschritten, werden die entsprechenden Detektionsboxen ebenfalls weiterprozessiert.If the IoU value = 0, a further check is first carried out to determine whether threshold value 3 for the feature-based algorithm has been exceeded and whether threshold value 4 for the AI algorithm has been exceeded. If such a threshold value 3 or 4 is exceeded, the corresponding detection boxes are also processed further.

Diese Schritte nutzen die Unterschiede in den Detektionsboxen beider Detektoren aus. Durch Einbeziehung und Auswertung von Position und Fläche der Detektionsboxen beider Algorithmen werden falsche Detektionen weitestgehend unterdrückt und die falsch-positiv Rate gesenkt. Trotzdem ermöglichen diese Schritte die Sensitivität auf einem hohen Wert zu halten.These steps exploit the differences in the detection boxes of both detectors. By including and evaluating the position and area of the detection boxes of both algorithms, false detections are largely suppressed and the false positive rate is reduced. Nevertheless, these steps allow the sensitivity to be kept at a high value.

Im letzten Schritt wird eine Non-Maximum Suppression (NMS) auf die Liste angewendet. Die Non-Maximum Suppression erhält bei überlappenden Detektionsboxen in der Liste der als wahr angenommenen Detektionsboxen jene mit dem höchsten Scoring-Wert. Die verbleibenden Detektionsboxen werden als endgültige Alarme angezeigt. Hierdurch werden Duplikate entfernt und nur die optimalen Detektionsboxen in Hinsicht auf Größe und Scoring behalten. Dies ermöglicht eine bessere Übersicht für den Operator. Mehrere überlappende Detektionsboxen für ein und dieselbe Meldung behindern die Übersicht.In the last step, a Non-Maximum Suppression (NMS) is applied to the list. In the case of overlapping detection boxes in the list of detection boxes assumed to be true, non-maximum suppression receives those with the highest scoring value. The remaining detection boxes are displayed as final alarms. This removes duplicates and keeps only the optimal detection boxes in terms of size and scoring. This enables a better overview for the operator. Several overlapping detection boxes for one and the same message impede the overview.

Alle Detektionsboxen, die aufgrund einer Nichtüberschreitung des Schwellenwertes 1 des merkmalsbasierten Detektors (a) oder einer Nichtüberschreitung des Schwellenwertes 2 des KI-basierten Detektors (b) nicht in die Überschneidungsüberprüfung gehen, werden auf einer Liste für Verdachtsfälle falsch-positiver Detektionsboxen samt einer Kennzeichnung des zugrundeliegenden Sensordatensatzes (z.B. mittels dessen laufender Nummerierung) gespeichert. Weiterhin werden alle Detektionsboxen, die aufgrund der Überschreitung des Schwellenwertes 1 des merkmalsbasierten Detektors (a) oder Überschreitung des Schwellenwertes 2 des KI-basierten Detektors (b) in die Überschneidungsüberprüfung gehen und bei einem IoU-Wert = 0 aufgrund der Nichtüberschreitung des Schwellenwertes 3 des merkmalsbasierten Detektors (a) oder des Schwellenwertes 4 des KI-basierten Detektors (b) nicht weiter prozessiert werden, ebenfalls auf der Liste für Verdachtsfälle falsch-positiver Detektionsboxen samt einer Kennzeichnung des zugrundeliegenden Sensordatensatzes (z.B. mittels dessen laufender Nummerierung) gespeichert. Diese Liste kann ebenso wie die Liste der als wahr angenommenen Alarme als Metainformation und Vorklassifizierung für zukünftige Trainingsprozesse im KI-Bereich verwendet werden. Dieser Prozess kann für das Training notwendige Informationen der Lokalisierung der Detektionsbox, also eine Koordinatenbeschreibung der Bildbereiche (Flächen) im Sensordatensatz, sowie eine Erstklassifizierung eben dieser Fläche abbilden, also ob in der Fläche Rauch enthalten ist oder nicht.All detection boxes that do not go into the overlap check due to not exceeding threshold 1 of the feature-based detector (a) or not exceeding threshold 2 of the AI-based detector (b) are placed on a suspected false-positive detection box list with a label of the underlying sensor data set (e.g. by means of its consecutive numbering). Furthermore, all detection boxes that go into the overlap check due to exceeding threshold value 1 of the feature-based detector (a) or exceeding threshold value 2 of the AI-based detector (b) and with an IoU value = 0 due to non-exceeding of threshold value 3 of the feature-based detector (a) or the threshold value 4 of the AI-based detector (b) are not processed further, are also stored on the list for suspected cases of false-positive detection boxes together with an identification of the underlying sensor data set (e.g. by means of its consecutive numbering). Like the list of alarms assumed to be true, this list can be used as meta information and pre-classification for future training processes in the field of AI. This process can map the information required for the training of the localization of the detection box, i.e. a coordinate description of the image areas (areas) in the sensor data set, as well as an initial classification of this area, i.e. whether the area contains smoke or not.

Eine weitere Aufgabe der vorliegenden Erfindung besteht darin eine Vorrichtung zum Durchführen des Verfahrens zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchereignissen zur Verfügung zu stellen, wobei die Rauchergebnisse von merkmalbasierten Algorithmen und Verfahren unter Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI), die voneinander unabhängige Detektionsverfahren beinhalten, kombiniert werden können.A further object of the present invention is to provide a device for carrying out the method for automated early forest fire detection by means of optical detection of smoke events, the smoke results from feature-based algorithms and methods using artificial neural networks (artificial intelligence / AI) that are different from each other include independent detection methods can be combined.

Diese Aufgabe wird durch die Merkmale des Anspruchs 13 gelöst, insbesondere durch mindestens eine Sensoreinheit als optischer Sensor mit Vorverarbeitung und Recheneinheit zur Prozessierung von Rauchdetektionsalgorithmen, eine Stromversorgung, eine Steuereinheit für Belichtung, Ausrichtung und Kommunikationstechnik zur Anbindung an eine Zentrale.This object is achieved by the features of claim 13, in particular by at least one sensor unit as an optical sensor with preprocessing and arithmetic unit for processing smoke detection algorithms, a power supply, a control unit for exposure, alignment and communication technology for connection to a control center.

Gemäß einer weiteren besonders vorteilhaften Ausführungsform umfasst die erfindungsgemäßen Vorrichtung mindestens eine Zentrale Recheneinheit (Server) zur Zusammenfassung der Sensordaten verschiedener Sensoreinheiten und umfasst eine Verknüpfung mit geographischen Kartenmaterial und ein Operatorenmenü sowie bildhafte Darstellung auf Monitoren (GUI) und Datenschnittstellen zu den Sensoreinheiten einerseits und zentraler Kommunikationstechnik (LAN, Emailserver, Fax) andererseits.According to a further particularly advantageous embodiment, the device according to the invention comprises at least one central processing unit (server) for summarizing the sensor data from different sensor units and comprises a link to geographical map material and an operator menu as well as pictorial representation on monitors (GUI) and data interfaces to the sensor units on the one hand and central communication technology (LAN, email server, fax) on the other hand.

Durch diese Maßnahmen wird eine komplexe Vorrichtung geschaffen, mit der große Flächen von einem als Zentrale eingerichteten Punkt überwacht werden können und bei gegebenem Anlass ein Alarm zur Brandbekämpfung an einen von der Zentrale entfernten Punkt ausgegeben werden kann.These measures create a complex device with which large areas can be monitored from a point set up as a central point and, if the occasion arises, a fire-fighting alarm can be issued at a point remote from the central point.

Weitere vorteilhafte Maßnahmen sind in den Unteransprüchen beschrieben. Eine bevorzugte Ausführungsform der Erfindung wird in den beiliegenden Zeichnungen dargestellt und näher beschrieben. Es zeigen die Figuren:

• 1 Ein Ablaufdiagramm des erfindungsgemäßen Verfahrens in einem Wirkbetrieb;
• 2 Eine schematische Darstellung der Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens.

Further advantageous measures are described in the dependent claims. A preferred embodiment of the invention is illustrated and described in more detail in the accompanying drawings. The figures show:

• 1 A flowchart of the method according to the invention in an active operation;
• 2 A schematic representation of the device for carrying out the method according to the invention.

Die 1 zeigt den Ablauf des Verfahrens in seinem wirkbetrieb. Dabei zeigt (a) einen Detektionsstapel eines ersten Detektors, der in diesem konkreten Beispiel als merkmalsbasierter Detektor angenommen wird. Und (b) zeigt einen Detektionsstapel eines zweiten Detektors, der in diesem konkreten Beispiel als KIbasierter Detektor (Künstliches Neuronales Netz) angenommen wird. Beide Detektionsstapel (a) und (b)werden für jeden Sensordatensatz in Form von Ausgangsdatensätzen in eine Datenverarbeitungsanlage für das Kombinationsverfahren eingespeist.the 1 shows the course of the process in actual operation. (a) shows a detection stack of a first detector, which in this specific example is assumed to be a feature-based detector. And (b) shows a detection stack of a second detector, which in this concrete example is assumed to be an AI-based detector (Artificial Neural Network). Both detection stacks (a) and (b) are fed into a data processing system for the combination method for each sensor data set in the form of output data sets.

Das Kombinationsverfahren führt nunmehr folgende Schritte aus:

• Die Detektionsboxen beider Detektionsstapel (a) und (b) werden in einem ersten Verfahrensschritt (101) in Bezug auf die aktuellen Scoring-Werte vermessen und geprüft, ob der Schwellenwert 1 des merkmalsbasierten Detektors
  1. (a) oder der Schwellenwert 2 des KI-basierten Detektors
  2. (b) überschritten werden.

The combination process now performs the following steps:

• The detection boxes of both detection stacks (a) and (b) are measured in a first method step (101) in relation to the current scoring values and checked whether the threshold value 1 of the feature-based detector
  1. (a) or the threshold 2 of the AI-based detector
  2. (b) be exceeded.

Ist der aktuelle Scoring-Wert unter oder höchstens gleich dem jeweiligen Schwellenwert 1 für den merkmalsbasierten Detektor (a) oder dem Schwellenwert (2) für den KI-basierten Detektor (b), wird die Detektionsbox auf die Liste der Verdachtsfälle falsch-positiver Detektionsboxen (e) gelegt. Liegt der aktuelle Scoring-Wert des merkmalsbasierten Detektors (a) über dem Schwellenwert 1 oder liegt der aktuelle Scoring-Wert des KI-basierten Detektors (b) über dem Schwellenwert 2, dann werden in einem zweiten Verfahrensschritt die Detektionsboxen mittels Überschneidungsüberprüfung bewertet.If the current scoring value is below or at most equal to the respective threshold 1 for the feature-based detector (a) or the threshold (2) for the AI-based detector (b), the detection box is added to the list of suspected cases of false-positive detection boxes ( e) laid. If the current scoring value of the feature-based detector (a) is above threshold 1 or if the current scoring value of the AI-based detector (b) is above threshold 2, then in a second process step the detection boxes are evaluated by means of an overlap check.

In diesem zweiten Verfahrensschritt (102) wird die Überschneidungsüberprüfung durchgeführt und der IoU-Wert berechnet. Diese Berechnung des IoU-Wertes kann soweit vereinfacht werden, dass nur eine Überprüfung des IoU-Wertes auf IoU-Wert>0 oder IoU-Wert=0 durchgeführt werden muss. Liegt keine Überschneidung der beiden Detektionsboxen vor (IoU-Wert = 0), dann werden die Detektionsboxen ebenfalls zurückgestellt. Dies bewirkt eine Reduktion der Anzahl der Detektionsboxen. Nur wenn die Detektoren einen IoU-Wert >0 liefern, werden diese in diesem Schritt weiter prozessiert.In this second method step (102), the overlap check is carried out and the IoU value is calculated. This calculation of the IoU value can be simplified to such an extent that the IoU value only has to be checked for IoU value>0 or IoU value=0. If the two detection boxes do not overlap (IoU value = 0), then the detection boxes are also reset. This causes a reduction in the number of detection boxes. Only if the detectors deliver an IoU value >0 are they further processed in this step.

Liegt in der Überschneidungsüberprüfung eine Überschneidung einer Detektionsbox des Detektionsstapels des merkmalsbasierten Detektors (a) mit einer Detektionsbox des Detektionsstapels des KI-basierten Detektors vor (IoU-Wert > 0), werden beide Detektionsboxen in die Liste der als wahr angenommenen Alarme (c) hinzugefügt.If there is an overlap of a detection box of the detection stack of the feature-based detector (a) with a detection box of the detection stack of the AI-based detector in the overlap check (IoU value > 0), both detection boxes are added to the list of alarms assumed to be true (c). .

Wenn in der Überschneidungsüberprüfung keine Überschneidung der Detektionsbox des einen Detektionsstapels mit einer Detektionsbox des anderen Detektionsstapels vorliegt, d.h. es wurde der IoU-Wert = 0 berechnet, wird ein dritter Verfahrensschritt (103) durchgeführt.If the detection box of one detection stack does not overlap with a detection box of the other detection stack in the overlap check, i.e. the IoU value = 0 was calculated, a third method step (103) is carried out.

Dazu wird der aktuelle Scoring-Wert der Detektionsbox des merkmalsbasierten Detektors (a) auf Überschreiten des Schwellenwertes 3 und der aktuelle Scoring-Wert der Detektionsbox des KI-basierten Detektors (b) auf Überschreiten des Schwellenwertes 4 überprüft. Liegt der aktuelle Scoring-Wert der Detektionsbox des merkmalsbasierten Detektors (a) über dem Schwellenwert 3, wird diese Detektionsbox zur Liste der als wahr angenommenen Alarme (c) hinzugefügt. Liegt der aktuelle Scoring-Wert der Detektionsbox des KI-basierten Detektors (b) über dem Schwellenwert 4, wird diese Detektionsbox zur Liste der als wahr angenommenen Alarme (c) hinzugefügt.For this purpose, the current scoring value of the detection box of the feature-based detector (a) is checked for exceeding threshold value 3 and the current scoring value of the detection box of the AI-based detector (b) is checked for exceeding threshold value 4. If the current scoring value of the detection box of the feature-based detector (a) is above threshold 3, this detection box is added to the list of presumed true alarms (c). If the current scoring value of the detection box of the AI-based detector (b) is above the threshold 4, this detection box is added to the list of alarms assumed to be true (c).

Ist der aktuelle Scoring-Wert der Detektionsbox des merkmalsbasierten Detektors (a) unter oder höchstens gleich dem Schwellenwert 3, dann wird diese Detektionsbox auf die Liste der Verdachtsfälle falsch-positiver Detektionsboxen (e) gelegt. Ist der aktuelle Scoring-Wert der Detektionsbox des KI-basierten Detektors (b) unter oder höchstens gleich dem Schwellenwert 4, wird diese Detektionsbox auf die Liste der Verdachtsfälle falsch-positiver Detektionsboxen (e) gelegt.If the current scoring value of the detection box of the feature-based detector (a) is below or at most equal to the threshold value 3, then this detection box is placed on the list of suspected cases of false-positive detection boxes (e). If the current scoring value of the detection box of the AI-based detector (b) is below or at most equal to the threshold value 4, this detection box is placed on the list of suspected cases of false positive detection boxes (e).

Wurden alle Detektionsboxen beider Detektionsstapel abgearbeitet, wird auf die Liste der als wahr angenommenen Alarme (c) als vierter Verfahrensschritt (104) eine Non-Maxima-Suppression (NMS) angewendet, um überflüssige Alarme und Duplikate von Rauchdetektionsergebnissen zu entfernen. Es entsteht daraus eine Liste endgültiger Alarme (d). In diesem vierten Verfahrensschritt (104) wird zunächst die Detektionsbox mit dem höchsten Scoring-Wert in der Liste als wahr angenommener Alarme (c) ausgewählt, aus dieser entfernt und zur Liste endgültiger Alarme (d) hinzugefügt.If all detection boxes of both detection stacks have been processed, a non-maxima suppression (NMS) is applied to the list of alarms assumed to be true (c) as a fourth method step (104) in order to remove superfluous alarms and duplicate smoke detection results. This results in a list of final alarms (d). In this fourth method step (104), the detection box with the highest scoring value in the list of alarms assumed to be true (c) is first selected, removed from this list and added to the list of final alarms (d).

Nun überprüft man diese Detektionsbox auf Überschneidung mit jeder anderen Detektionsbox aus der Liste der als wahr angenommenen Alarme (c), indem man den IoU-Wert berechnet. Ist dieser IoU-Wert größer als der beispielhaft gewählte IoU-Schwellenwert 0.4, wird die so überprüfte Detektionsbox mit dem niedrigeren Scoring-Wert aus der Liste der als wahr angenommener Alarme (c) entfernt. Je niedriger dieser IoU-Schwellenwert gewählt wird, desto weniger Überschneidung der Detektionsboxen ist notwendig, damit überprüfte Detektionsboxen entfernt werden.Now check this detection box for overlap with any other detection box from the list of presumed true alarms (c) by calculating the IoU value. If this IoU value is greater than the IoU threshold value 0.4 selected as an example, the detection box checked in this way with the lower scoring value is removed from the list of alarms assumed to be true (c). The lower this IoU threshold value is selected, the less overlapping of the detection boxes is necessary for checked detection boxes to be removed.

Das heißt je niedriger dieser IoU-Schwellenwert ist, desto mehr überschneidende Detektionsboxen werden entfernt. Andererseits werden weniger überschneidende Detektionsboxen entfernt, je höher dieser IoU-Schwellenwert ist. Ein ToU-Schwellenwert zwischen 0.3 und 0.5 hat sich dahingehend bewährt, weil er ein gutes Verhältnis zwischen der Entfernung überflüssiger Detektionsboxen, die identisch zu anderen Detektionsboxen sind, und der Beibehaltung von Zusatzinformationen zur Ausbreitung des Rauches bietet. Hat man jede Detektionsbox aus der Liste als wahr angenommener Alarme (c) auf Überschneidung überprüft, wird dieser vierte Verfahrensschritt (104) wiederholt, indem die Detektionsbox mit dem nunmehr höchsten Scoring-Wert aus der Liste als wahr angenommener Alarme (c) ausgewählt wird und die Überschneidungsprüfung mit allen verbliebenen Detektionsboxen durchgeführt wird. Die Wiederholung des vierten Verfahrensschrittes (104) wird so oft durchgeführt, bis keine Detektionsboxen mehr in der Liste als wahrangenommener Alarme (c) vorhanden sind. In der Liste endgültiger Alarme (d) verbleiben nach Abschluss aller Wiederholungen des vierten Verfahrensschrittes (104) nur noch Detektionsboxen, die eine Überschneidung mit einem IoU-Wert, der kleiner oder höchstens gleich dem gewählten IoU-Schwellenwert ist, aufweisen.That is, the lower this IoU threshold is, the more overlapping detection boxes are removed. On the other hand, the higher this IoU threshold is, fewer overlapping detection boxes are removed. A ToU threshold between 0.3 and 0.5 has been found to provide a good balance between removing superfluous detection boxes that are identical to other detection boxes and retaining additional information about the smoke's propagation. Once each detection box from the list of alarms assumed to be true (c) has been checked for overlap, this fourth method step (104) is repeated by selecting the detection box with the now highest scoring value from the list of alarms assumed to be true (c) and the overlap check is performed with all remaining detection boxes. The fourth method step (104) is repeated until there are no more detection boxes in the list of perceived alarms (c). After all repetitions of the fourth method step (104) have been completed, only detection boxes that overlap with an IoU value that is less than or at most equal to the selected IoU threshold value remain in the list of final alarms (d).

Die Liste endgültiger Alarme enthält folgende Informationen als Dateninhalte als für die weitere Verarbeitung in der Datenverarbeitungsanlage:

• - Eine Meldung, ob in einem bestimmten Sensordatensatz bzw. einer Datensequenz Rauch positiv detektiert wurde als qualitative ja/nein-Aussage. Diese Meldung wird als endgültiger Alarm bezeichnet.
• - Die Detektionsboxen, also eine Koordinatenbeschreibung der Bildbereiche (Flächen) im Sensordatensatz, in denen der Rauch detektiert wurde, d.h. die Bildkoordinaten für diejenigen Pixelbereiche des Sensordatensatzes, die vom Detektionsalgorithmus als Rauchpixel klassifiziert wurden.
• - Weitere Metadaten zum Sensordatensatz wie z.B. Datum, Uhrzeit, Darstellung des Ortes des detektierten Rauches auf geographischen Karten einschließlich Lieferung detaillierten Koordinaten und ähnliches.

The list of final alarms contains the following information as data content for further processing in the data processing system:

• - A message as to whether smoke was positively detected in a specific sensor data set or a data sequence as a qualitative yes/no statement. This message is called a final alarm.
• - The detection boxes, i.e. a coordinate description of the image areas (areas) in the sensor data set in which the smoke was detected, ie the image coordinates for those pixel areas of the sensor data set that were classified as smoke pixels by the detection algorithm.
• - Additional metadata for the sensor dataset such as date, time, representation of the location of the detected smoke on geographic maps including delivery of detailed coordinates and the like.

Die Vorrichtung 10 umfasst mindestens eine Sensoreinheit 11, die als ein optischer Sensor ausgebildet ist. Die Sensoreinheit 11 kann ein Monochrome-Sensor oder ein Polychrome-Sensor sein, der in einer Bildaufnahmeeinheit beispielsweise einer hierzu geeigneten Videokamera angeordnet ist.The device 10 comprises at least one sensor unit 11, which is designed as an optical sensor. The sensor unit 11 can be a monochrome sensor or a polychrome sensor, which is arranged in an image recording unit, for example a video camera suitable for this purpose.

Die Aufgenommenen Bilddaten werden in einer Vorverarbeitungs- und Recheneinheit 12 zur Prozessierung von Rauchdetektionsalgorithmen verarbeitet. Des Weiteren verfügt die Vorrichtung 10 über eine Stromversorgung, eine Steuereinheit für Belichtung, Ausrichtung und Kommunikationstechnik zur Anbindung an eine Zentrale (nicht dargestellt).The recorded image data are processed in a pre-processing and computing unit 12 for processing smoke detection algorithms. Furthermore, the device 10 has a power supply, a control unit for exposure, alignment and communication technology for connection to a control center (not shown).

Die erfassten Daten sind mit einer zentralen Recheneinheit 13 (Server) zur Zusammenfassung der Sensordaten verschiedener Sensoreinheiten 11 verbunden. Mittels eines Operatorenmenüs sowie einer bildhaften Darstellung auf Monitoren 14 (Graphical User Interface, GUI) und Datenschnittstellen zu den Sensoreinheiten 11 und einer zentralen Kommunikationstechnik (LAN, Emailserver, Fax) kann jede Sensoreinheit 11 angesteuert werden.The recorded data are connected to a central processing unit 13 (server) to combine the sensor data from different sensor units 11 . Each sensor unit 11 can be controlled by means of an operator menu and a graphic display on monitors 14 (graphical user interface, GUI) and data interfaces to the sensor units 11 and a central communication system (LAN, email server, fax).

BezugszeichenlisteReference List

101101

erster Verfahrensschrittfirst step in the process

102102

zweiter Verfahrensschrittsecond process step

103103

dritter Verfahrensschrittthird step

104104

vierter verfahrensschrittfourth step

(a)(a)

Detektionsboxen des merkmalsbasierten DetektorsDetection boxes of the feature-based detector

(b)(b)

Detektionsboxen des KI-basierten Detektors (Künstliches Neuronales Netzwerk)Detection boxes of the AI-based detector (Artificial Neural Network)

(c)(c)

Liste der als wahr angenommenen DetektionsboxenList of detection boxes assumed to be true

(d)(d)

Liste der ungültigen AlarmeList of invalid alarms

(e)(e)

Liste der Verdachtsfälle falsch positiver DetektionsboxenList of suspected cases of false positive detection boxes

(1)(1)

Scoring-Schwellenwert 1 des merkmalsbasierten Detektors (a)Feature-based detector scoring threshold 1 (a)

(2)(2)

Scoring-Schwellenwert 2 des KI-basierten Detektors (b)[Künstliches Neuronales Netzwerk]AI-based detector scoring threshold 2 (b)[Artificial Neural Network]

(3)(3)

Scoring-Schwellenwert 3 des merkmalsbasierten Detektors (a)Feature-based detector scoring threshold 3 (a)

(4)(4)

Scoring-Schwellenwert 4 des KI-basierten Detektors (b) [Künstliches Neuronales Netzwerk]AI-based detector scoring threshold 4 (b) [Artificial Neural Network]

NMSNMS

Non-Maxima SuppressionNon-Maxima Suppression

1010

Vorrichtungcontraption

1111

mindestens eine Sensoreinheitat least one sensor unit

1212

Recheneinheitunit of account

1313

zentrale Recheneinheitcentral processing unit

1414

Monitormonitor

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

• DE 102013017395 B3 [0029]DE 102013017395 B3 [0029]
• DE 102009048739 B3 [0029]DE 102009048739 B3 [0029]
• EP 3614352 A2 [0029]EP 3614352 A2 [0029]
• CN 107025753 A [0029]CN 107025753A [0029]
• US 2019362126 A1 [0035]US 2019362126 A1 [0035]
• CN 110070106 A [0035, 0051]CN 110070106A [0035, 0051]
• CN 111681385 A [0035]CN 111681385A [0035]
• US 20158983180 B2 [0046]US20158983180B2 [0046]
• CN 104408898 A [0048]CN 104408898A [0048]

Claims (14)

Verfahren zur automatisierten Waldbrandfrüh-erkennung mittels optischer Detektion von Rauchereignissen, wobei die Rauchergebnisse von merkmalbasierten Algorithmen und Verfahren unter Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI), die voneinander unabhängige Detektionsverfahren beinhalten, kombiniert werden, gekennzeichnet dadurch, dass - in einer Anlernphase zur Systemkonfiguration, die zur Festlegung und Optimierung verschiedener Schwellenwerte anhand einer Auswertung von Rauchdetektionsergebnissen bezüglich einer Vielzahl von Sensordatensätzen bzw. Sequenzen dienen, d.h. repräsentativen Sensordatensätzen mit „Rauch“- und „kein Rauch“-Inhalten und die unter Anleitung eines Operators durchgeführt wird, der anhand einer statistischen Auswertung dieser Rauchdetektionsergebnisse die Parameter zur Konfiguration des Kombinationsverfahrens definiert, wobei die mittels der merkmalbasierten Algorithmen erzeugten Rauchdetektionsergebnisse in merkmalsbasierte Detektionsboxen (a) und die mittels Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI) erzeugten Rauchdetektionsergebnisse in KI-basierte Detektionsboxen (b) abgelegt und gespeichert werden; wobei - in einem Wirkbetrieb, in dem unter Nutzung der Systemkonfiguration operationell die erzeugten Rauchdetektionsergebnisse der merkmalbasierten Algorithmen und die unter Nutzung von Künstlichen Neuronalen Netzwerken erzeugten Rauchdetektionsergebnisse der Detektionsboxen (a) und der Detektionsboxen (b) zusammengeführt, prozessiert und ausgegeben werden.Method for automated early forest fire detection by means of optical detection of smoke events, the smoke results from feature-based algorithms and methods using artificial neural networks (artificial intelligence / AI), which contain independent detection methods, are combined, characterized in that - in a training phase for the system configuration, which serves to define and optimize various threshold values based on an evaluation of smoke detection results with regard to a large number of sensor data sets or sequences, i.e. representative sensor data sets with "smoke" and "no smoke" content and which are under the guidance of an operator is carried out, which defines the parameters for configuring the combination method based on a statistical evaluation of these smoke detection results, with the smoke detection results generated using the feature-based algorithms in feature-based detection boxes (a) and the smoke detection results generated using artificial neural networks (artificial intelligence / AI) in AI -based detection boxes (b) are filed and stored; in which - in an active operation, in which, using the system configuration, the generated smoke detection results of the feature-based algorithms and the smoke detection results generated using artificial neural networks of the detection boxes (a) and the detection boxes (b) are operationally combined, processed and output. Verfahren zur automatisierten Waldbrandfrüh-erkennung mittels optischer Detektion von Rauch- ereignissen nach Anspruch 1, dadurch gekennzeichnet, dass individuelle Rauchdetektionsalgorithmen folgende Ausgangsdatensätze liefern: - Eine Meldung, ob in einem bestimmten Sensordatensatz bzw. einer Datensequenz Rauch positiv detektiert wurde als qualitative ja/nein-Aussage; - Eine Koordinatenbeschreibung der Bildbereiche (Flächen) im Sensordatensatz, in denen der Rauch detektiert wurde, d.h. die Bildkoordinaten für diejenigen Pixelbereiche des Sensordatensatzes, die vom Detektionsalgorithmus als Rauchpixel klassifiziert wurden und diese Bildbereiche in folgenden Detektionsboxen der Detektionsstapel (a, b) bilden; - Eine Wichtungszahl, die nachfolgend den Scoring-Wert bildet, aus dem reellen Zahlenbereich [0,1], die ein quantitatives Maß für die Sicherheit (Konfidenz) bzw. Wahrscheinlichkeit für die Richtigkeit des Detektionsergebnisses darstellt.Procedure for automated early detection of forest fires using optical detection of smoke events claim 1 , characterized in that individual smoke detection algorithms deliver the following sets of output data: - A message as to whether smoke was positively detected in a specific sensor data set or a data sequence as a qualitative yes/no statement; - A coordinate description of the image areas (areas) in the sensor data set in which the smoke was detected, ie the image coordinates for those pixel areas of the sensor data set that were classified as smoke pixels by the detection algorithm and form these image areas in the following detection boxes of the detection stack (a, b); - A weighting number, which subsequently forms the scoring value, from the real number range [0,1], which represents a quantitative measure of the certainty (confidence) or probability of the correctness of the detection result. Verfahren zur automatisierten Waldbrandfrüh-erkennung mittels optischer Detektion von Rau-chereignissen nach Anspruch 2, dadurch gekennzeichnet, dass die Detektionsboxen des merkmalsbasierten Detektors (a) und die Detektionsboxen des KI-basierten Detektors (b), sprich beider Detektionsstapel (a, b) in Bezug auf die aktuellen Scoring-Werte vermessen und daraufhin geprüft werden, ob der Schwellenwert 1 des merkmalsbasierten Detektors (a) oder der Schwellenwert 2 des KI-basierten Detektors (b) überschritten werden, und wenn der aktuelle Scoring-Wert unter oder höchstens gleich dem jeweiligen Schwellenwert 1 für den merkmalsbasierten Detektor (a) oder dem Schwellenwert 2 für den KI-basierten Detektor (b) ist, wird sodann die Detektionsbox auf die Liste der Verdachtsfälle falsch-positiver Detektionsboxen (e) gelegt und wenn der aktuelle Scoring-Wert des merkmalsbasierten Detektors (a) über dem Schwellenwert 1 liegt oder der aktuelle Scoring-Wert des KI-basierten Detektors (b) über dem Schwellenwert 2, dann werden die Detektionsboxen mittels Überschneidungsüberprüfung bewertet.Procedure for automated early forest fire detection using optical detection of smoke events claim 2 , characterized in that the detection boxes of the feature-based detector (a) and the detection boxes of the AI-based detector (b), i.e. both detection stacks (a, b) are measured in relation to the current scoring values and then checked whether the threshold value 1 of the feature-based detector (a) or threshold 2 of the AI-based detector (b) are exceeded, and if the current scoring value is below or at most equal to the respective threshold 1 for the feature-based detector (a) or threshold 2 for the AI-based detector (b), then the detection box is placed on the list of suspected false-positive detection boxes (e) and if the current scoring value of the feature-based detector (a) is above threshold 1 or the current scoring value of the AI-based detector (b) above threshold 2, then the detection boxes are evaluated using overlap checking. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Überschneidungsüberprüfung durchgeführt und der IoU-Wert berechnet wird.procedure after claim 3 , characterized in that the overlap check is carried out and the IoU value is calculated. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Berechnung des IoU-Wertes soweit vereinfacht wird, dass nur eine Überprüfung des IoU-Wertes auf IoU-Wert > 0 oder IoU-Wert = 0 durchgeführt wird und wenn keine Überschneidung der Detektionsboxen der Detektionsstapel (a, b) vorliegt (IoU-Wert = 0), dann werden die Detektionsboxen (a, b) ebenfalls zurückgestellt, wobei dies eine Reduktion der Anzahl der Detektionsboxen (a, b) bewirkt und nur wenn die Detektoren einen IoU-Wert > 0 liefern, diese weiter prozessiert werden.procedure after claim 4 , characterized in that the calculation of the IoU value is simplified to the extent that the IoU value is only checked for IoU value > 0 or IoU value = 0 and if there is no overlapping of the detection boxes of the detection stack (a, b) is present (IoU value = 0), then the detection boxes (a, b) are also reset, whereby this causes a reduction in the number of detection boxes (a, b) and only if the detectors deliver an IoU value > 0, these further be processed. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass sobald in der Überschneidungsüberprüfung eine Überschneidung einer Detektionsbox des Detekti-onsstapels des merkmalsbasierten Detektors (a) mit einer Detektionsbox des Detektionsstapels des KI-basierten Detektors (b) (IoU-Wert > 0) vorliegt, diese beiden Detektionsboxen (a und b) sodann in die Liste der als wahr angenommenen Alarme (c) hinzugefügt werden.procedure after claim 5 , characterized in that as soon as there is an overlap of a detection box of the detection stack of the feature-based detector (a) with a detection box of the detection stack of the AI-based detector (b) (IoU value > 0) in the overlap check, these two detection boxes (a and b) then added to the list of presumed true alarms (c). Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass wenn der aktuelle Scoring-Wert der Detektionsbox des merkmalsbasierten Detektors (a) unter oder höchstens gleich dem Schwellenwert 3 ist, dann wird diese Detektionsbox auf die Liste der Verdachtsfälle falsch-positiver Detektionsboxen (e) gelegt und wenn der aktuelle Scoring-Wert der Detektionsbox des merkmalsbasierten Detektors (a) größer als der Schwellenwert 3 ist, dann wird diese Detektionsbox in die Liste der als wahr angenommenen Alarme (c) hinzugefügt.procedure after claim 6 , characterized in that if the current scoring value of the detection box of the feature-based detector (a) is below or at most equal to the threshold 3, then this detection box is placed on the list of suspected cases of false-positive detection boxes (e) and if the current scoring -Value of the detection box of the feature-based detector (a) is greater than threshold 3, then this detection box is added to the list of presumed true alarms (c). Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass wenn der aktuelle Scoring-Wert der Detektionsbox des KI-basierten Detektors (b) unter oder höchstens gleich dem Schwellenwert 4 ist, wird diese Detektionsbox auf die Liste der Verdachtsfälle falsch-positiver Detektionsboxen (e) gelegt und wenn der aktuelle Scoring-Wert der Detektionsbox des KI-basierten Detektors (b) größer als der Schwellenwert 4 ist, dann wird diese Detektionsbox in die Liste der als wahr angenommenen Alarme (c) hinzugefügt.procedure after claim 6 , characterized in that if the current scoring value of the detection box of the AI-based detector (b) is below or at most equal to the threshold value 4, this detection box is placed on the list of suspected cases of false-positive detection boxes (e) and if the current If the scoring value of the detection box of the AI-based detector (b) is greater than the threshold 4, then this detection box is added to the list of alarms assumed to be true (c). Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass sobald alle Detektionsboxen beider Detek-tionsstapel (a, b) abgearbeitet worden sind, auf die Liste der als wahr angenommenen Alarme (c) eine Non-Maxima-Suppression (NMS) angewendet wird, um überflüssige Alarme und Duplikate von Rauchdetektionsergebnissen zu entfernen, wobei daraus eine Liste endgültiger Alarme (d) erzeugt wird, wobei hierzu zunächst die Detektionsbox mit dem höchsten Scoring-Wert in der Liste als wahr angenommener Alarme (c) ausgewählt, aus dieser entfernt und zur Liste endgültiger Alarme (d) hinzugefügt wird und diese Detektionsbox auf Überschneidungen mit jeder anderen Detektionsbox aus der Liste als wahr angenommenen Alarme (c) überprüft wird, indem der IoU-Wert berechnet wird.procedure after claim 7 , characterized in that as soon as all detection boxes of both detection stacks (a, b) have been processed, a non-maximum suppression (NMS) is applied to the list of alarms assumed to be true (c) in order to eliminate unnecessary alarms and duplicates of remove smoke detection results from which a final alarm list (d) is generated, for which purpose first the detection box with the highest scoring value in the list of alarms assumed to be true (c) is selected, removed from it and added to the list of final alarms (d) is added and this detection box is checked for overlaps with any other detection box from the list of presumed true alarms (c) by calculating the IoU value. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass wenn dieser IoU-Wert größer als der IoU-Schwellenwert ist, die so überprüfte Detektionsbox mit dem niedrigeren Scoring-Wert aus der Liste als wahr angenommener Alarme (c) entfernt wird.procedure after claim 9 , characterized in that if this IoU value is greater than the IoU threshold value, the detection box thus checked with the lower scoring value is removed from the list of alarms assumed to be true (c). Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass sobald jede Detektionsbox aus der Liste als wahr angenommener Alarme (c) auf Überschneidung überprüft worden ist, der Verfahrensschritt gemäß Anspruch 10 wiederholt wird, indem die Detektionsbox mit dem nunmehr höchsten Scoring-Wert aus der Liste als wahr angenommener Alarme (c) ausgewählt wird und die Überschneidungsprüfung mit allen verbliebenen Detektionsboxen durchgeführt wird und die Wiederholung dieses Verfahrensschrittes so oft durchgeführt wird, bis keine Detektionsboxen mehr in der Liste als wahr angenommener Alarme (c) vorhanden sind.procedure after claim 10 , characterized in that as soon as each detection box from the list of alarms assumed to be true (c) has been checked for overlap, the method step according to claim 10 is repeated by selecting the detection box with the now highest scoring value from the list of alarms assumed to be true (c) and performing the overlap check with all remaining detection boxes and repeating this procedural step until there are no more detection boxes in the List of presumed true alarms (c) are present. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass nach Abschluss aller Wiederholungen gemäß Anspruch 11 in der Liste endgültiger Alarme (d) nur noch Detektionsboxen verbleiben, die eine Überschneidung mit einem IoU-Wert aufweisen, der kleiner oder höchstens gleich dem ToU-Schwellenwert ist.procedure after claim 11 , characterized in that after completion of all repetitions according to claim 11 in the list of final alarms (d) only detection boxes remain that have an overlap with an IoU value that is less than or at most equal to the ToU threshold. Vorrichtung (10) zum Durchführen des Verfahrens zur automatisierten Waldbrandfrüherkennung mittels optischer Detektion von Rauchereignissen, wobei die Rauchergebnisse von merkmalbasierten Algorithmen und Verfahren unter Nutzung von Künstlichen Neuronalen Netzwerken (Künstliche Intelligenz/KI), die voneinander unabhängige Detektionsverfahren beinhalten, kombiniert werden nach einem oder mehreren der vorangegangenen Ansprüche 1 bis 12, gekennzeichnet durch mindestens eine Sensoreinheit (11) als optischer Sensor mit Vorverarbeitung und Recheneinheit (12) zur Prozessierung von Rauchdetektionsalgorithmen, eine Stromversorgung, eine Steuereinheit für Belichtung, Ausrichtung und Kommunikationstechnik zur Anbindung an eine Zentrale.Device (10) for carrying out the method for automated forest fire early detection by means of optical detection of smoke events, the smoke results from feature-based algorithms and methods using artificial neural networks (artificial intelligence / AI), which contain independent detection methods, are combined according to one or more the previous one Claims 1 until 12 , characterized by at least one sensor unit (11) as an optical sensor with pre-processing and computing unit (12) for processing smoke detection algorithms, a power supply, a control unit for exposure, alignment and communication technology for connection to a control center. Vorrichtung nach Anspruch 13, gekennzeichnet durch mindestens eine zentrale Recheneinheit (13) (Server) zur Zusammenfassung der Sensordaten verschiedener Sensoreinheiten (11), Verknüpfung mit geographischen Kartenmaterial und Operatorenmenü sowie bildhafter Darstellung auf Monitoren (14) (GUI) und Datenschnittstellen zu den Sensoreinheiten (11) und einer zentralen Kommunikationstechnik (LAN, Emailserver, Fax).device after Claim 13 , characterized by at least one central processing unit (13) (server) for summarizing the sensor data from different sensor units (11), linking to geographic map material and operator menu as well as pictorial representation on monitors (14) (GUI) and data interfaces to the sensor units (11) and a central communication technology (LAN, email server, fax).

Images