DE112021007535T5

DE112021007535T5 - Einstellung des Verschlusswerts einer Überwachungskamera über KI-basierte Objekterkennung

Info

Publication number: DE112021007535T5
Application number: DE112021007535.7T
Authority: DE
Inventors: Youngje JUNG; Sangwook Lee; Jeongeun LIM; Jaewoon BYUN; Eunjeong KIM; Kibum PARK; Sangwon Lee; Eunji Choi; Seungin NOH
Original assignee: Hanwha Vision Co Ltd
Current assignee: Hanwha Vision Co Ltd
Priority date: 2021-04-19
Filing date: 2021-08-11
Publication date: 2024-06-27
Also published as: WO2022225102A1; KR20230173667A; CN117280708A; SE2351197A1; US20240048672A1

Abstract

Offenbart ist eine Verarbeitungsvorrichtung für ein Bild einer Überwachungskamera. Die Verarbeitungsvorrichtung für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Patentschrift kann: ein Objekt in einem Bild, welches über eine Bilderfassungseinheit erfasst worden ist, erkennen; einen Zielverschlusswert, welcher der Bewegungsgeschwindigkeit des Objekts entspricht, berechnen; und auf der Grundlage des Zielverschlusswerts einen Verschlusswert an einem Ausgangspunkt einer Sensorverstärkungssteuerungsdauer in einem automatischen Belichtungssteuerungsschritt bestimmen. Falls die Bewegung eines Objekts schnell ist, wird ein Hochgeschwindigkeitsverschluss angewendet, und falls kein Objekt vorhanden ist oder die Bewegung eines Objekts langsam ist, wird ein Verschluss mit niedriger Geschwindigkeit angewendet. Demzufolge können Rauschen und Bewegungsunschärfe im Einklang mit dem Grad von Beleuchtung im automatischen Belichtungssteuerungsschritt minimiert werden. Ein oder mehrere Elemente aus der Gruppe umfassend eine Überwachungskamera, ein autonomes Fahrzeug, ein Benutzerterminal und einen Server der vorliegenden Patentschrift kann/können mit einem künstlichen Intelligenzmodul, einem Roboter, einer Vorrichtung erweiterter Realität (AR-Vorrichtung), einer Vorrichtung virtueller Realität (VR-Vorrichtung), einer Vorrichtung in Zusammenhang mit einem 5G-Dienst, und dergleichen verbunden sein.

Description

STAND DER TECHNIK
Fachgebiet
Die vorliegende Offenbarung betrifft ein Verarbeitungsverfahren für ein Bild einer Überwachungskamera.
Verwandte Technik
Hochgeschwindigkeitsverschlüsse, welche dazu verwendet werden, Nachbilder in Überwachungskameras zu verringern, weisen sogar in Umgebungen mit schwacher Beleuchtung unweigerlich ein hohes Maß an Sensorverstärkung auf, was zu starkem Rauschen auf dem Bildschirm führt.
Um das Auftreten eines solchen Rauschens zu verringern, kann ein Verfahren unter Verwendung eines Verschlusses mit langsamer Geschwindigkeit in Betracht gezogen werden. Wird der Verschluss mit langsamer Geschwindigkeit verwendet, kann sich das Rauschen auf dem Bildschirm zwar verringern, während eine Bewegungsunschärfe bei Personen und Objekten (zum Beispiel Fahrzeugen, etc.), welche die wichtigsten Ziele von Überwachungskameras sind, jedoch zunehmen kann. Bilddaten, bei welchen eine solche Bewegungsunschärfe verstärkt auftritt, weisen ein Problem dahingehend auf, dass Personen und Objekte nicht erkannt werden können.
Darüber hinaus müssen Überwachungskameras die Intensität der Rauschentfernung entsprechend senken, um ein Bewegungsnachbild eines Überwachungszielobjekts zu minimieren. Falls die Intensität der Rauschentfernung jedoch geringer ist, kann das Bewegungsnachbild zwar zurückgehen, während sich das Rauschen jedoch verstärken kann, wobei Rauschen auf dem Bildschirm immer besonders stark auftreten kann, was zu Problemen mit dem Erhöhen einer Bildübertragungsbandbreite führen kann.
Daher ist ein Verfahren zum Minimieren des Nachbildeffekts erforderlich, während eine Erkennungsrate für Personen und Objekte, welche das wichtigste Ziel einer Überwachung darstellen, zugleich erhöht wird.
KURZDARSTELLUNG
Die vorliegende Offenbarung stellt ein Verarbeitungsverfahren für ein Bild einer Überwachungskamera bereit, welches in der Lage ist, Bewegungsunschärfe zu minimieren, indem es eine Verschlussgeschwindigkeit in Abhängigkeit vom Vorhandensein oder Nichtvorhandensein von Objekten auf einem Bildschirm automatisch steuert.
Die vorliegende Offenbarung stellt auch ein Verarbeitungsverfahren für ein Bild einer Überwachungskamera bereit, welches in der Lage ist, Bewegungsnachbilder und Rauschen in Abhängigkeit davon, ob sich Objekte auf einem Bildschirm bei schwacher Beleuchtung bewegen, zu minimieren.
Die durch die vorliegende Offenbarung zu lösenden technischen Probleme sind nicht auf die oben erwähnten technischen Probleme beschränkt, und andere, nicht angeführte technische Probleme können für ausgebildete Fachleute aus der folgenden ausführlichen Beschreibung der Erfindung offensichtlich sein.
In einem Aspekt weist eine Verarbeitungsvorrichtung für ein Bild einer Überwachungskamera auf eine Bilderfassungseinheit; und einen Prozessor, welcher dafür eingerichtet ist, eine Steuerung auszuführen, um ein Objekt in einem Bild, welches durch die Bilderfassungseinheit erlangt worden ist, zu erkennen, einen Zielverschlusswert entsprechend einer Bewegungsgeschwindigkeit des Objekts zu berechnen, und einen Verschlusswert an einem Ausgangspunkt eines Sensorverstärkungssteuerungsbereichs in einem automatischen Belichtungssteuerungsprozesses basierend auf dem berechneten Zielverschlusswert zu bestimmen, wobei festgelegt ist, dass der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs zwischen einem ersten Verschlusswert und einem zweiten Verschlusswert, welcher in Abhängigkeit von der Bewegungsgeschwindigkeit des Objekts niedriger ist als der erste Verschlusswert, variiert.
Der Prozessor kann den Verschlusswert auf einen Hochgeschwindigkeitsverschlusswert setzen, wenn die Bewegungsgeschwindigkeit des Objekts höher als eine oder gleich einer ersten Schwellwertgeschwindigkeit ist, und den Verschlusswert auf einen Niedriggeschwindigkeitsverschlusswert setzen, wenn die Bewegungsgeschwindigkeit des Objekts niedriger als eine zweite Schwellwertgeschwindigkeit ist, wobei die zweite Schwellwertgeschwindigkeit niedriger ist als die erste Schwellwertgeschwindigkeit.
Der Prozessor kann das Objekt erkennen, indem er einen auf Deep-Learning-Verfahren basierenden YOLO-Algorithmus (You Only Look Once-Algorithmus) anwendet.
Der Prozessor kann jedem erkannten Objekt eine ID (Identifikation) zuweisen, extrahiert Koordinaten des Objekts und kann basierend auf Koordinateninformationen des Objekts, welche in einem ersten Einzelbild, und mit geringerer Priorität als für das erste Einzelbild in einem zweiten Einzelbild, enthalten sind, eine durchschnittliche Bewegungsgeschwindigkeit des Objekts berechnen.
Der Zielverschlusswert kann basierend auf einem Bewegungsausmaß des Objekts während einer Einzelbildzeit in Bezug auf eine Mindestverschlussgeschwindigkeit der Überwachungskamera und einer Auflösung des Bilds der Überwachungskamera berechnet werden.
Das Bewegungsausmaß während eines Einzelbilds kann basierend auf der durchschnittlichen Bewegungsgeschwindigkeit des Objekts berechnet werden.
Die Auflösung des Bilds der Überwachungskamera kann sich auf die visuelle Empfindlichkeit, welche für eine hochauflösende Kamera und/oder eine Kamera mit geringer Auflösung anwendbar ist, beziehen.
Der Prozessor kann ein Lernmodell trainieren, indem Leistungsinformationen, welche der Auflösung des Bilds der Überwachungskamera entsprechen, und Geschwindigkeitsinformationen des Objekts, welches ohne Bewegungsunschärfe erkennbar ist, eingestellt werden, und kann den Zielverschlusswert basierend auf dem Lernmodell, welches die Bewegungsgeschwindigkeit des Objekts als Eingabedaten verwendet, berechnen, wobei er automatisch den Zielverschlusswert im Einklang mit der Bewegungsgeschwindigkeit des Objekts berechnet.
Der Prozessor kann den Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs derart steuern, dass dieser in einem Bereich zwischen dem Verschlusswert niedriger Geschwindigkeit und dem Hochgeschwindigkeitsverschlusswert in Abhängigkeit von der Bewegungsgeschwindigkeit des Objekts variiert.
Der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs kann derart festgelegt werden, dass er mit dem ersten Verschlusswert konvergiert, wenn die Bewegungsgeschwindigkeit des Objekts höher ist, und kann derart festgelegt werden, dass er mit dem zweiten Verschlusswert konvergiert, wenn die Bewegungsgeschwindigkeit des Objekts niedriger ist.
Der erste Verschlusswert kann 1/300 Sek. oder mehr betragen, und der zweite Verschlusswert kann 1/30 Sek. betragen.
Beim automatischen Belichtungssteuerungsprozess kann die Verschlussgeschwindigkeit in einem schwach ausgeleuchteten Bereich, welcher dem Sensorverstärkungssteuerungsbereich entspricht, und in einem gut ausgeleuchteten Bereich unter Verwendung einer Blende und eines Verschlusses gesteuert werden, wobei der Zielverschlusswert im Einklang mit einem automatischen Belichtungssteuerungsplan, welcher umgekehrt proportional ist, gesteuert werden kann, wenn ein Ausmaß der Sensorverstärkung zunimmt, indem es den Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs weitergibt, und der automatische Belichtungssteuerungsplan kann derart festgelegt sein, dass sich der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs erhöht, wenn sich die Bewegungsgeschwindigkeit des Objekts erhöht.
Demgemäß kann der Verschlusswert erhöht werden, um nicht im Bereich schwacher Beleuchtung, sondern auch im Bereich guter Beleuchtung im Einklang mit der Bewegungsgeschwindigkeit des Objekts angewendet zu werden.
Die Verarbeitungsvorrichtung kann ferner aufweisen: eine Kommunikationseinheit, wobei der Prozessor Bilddaten, welche durch die Bilderfassungseinheit erlangt wurden, durch die Kommunikationseinheit zu einem externen Server übertragen kann, und Objekterkennungsergebnisse basierend auf künstlicher Intelligenz durch die Kommunikationseinheit vom externen Server empfangen kann.
In einem weiteren Aspekt weist eine Bildverarbeitungsvorrichtung für eine Überwachungskamera auf eine Bilderfassungseinheit; und einen Prozessor, welcher dafür eingerichtet ist, ein Objekt in einem Bild, welches durch die Bilderfassungseinheit erlangt worden ist, zu erkennen, eine Bewegungsgeschwindigkeit des erkannten Objekts zu berechnen, und einen Verschlusswert im Einklang mit der Bewegungsgeschwindigkeit des Objekts variabel zu steuern, wobei der Prozessor das von der Bilderfassungseinheit erlangte Bild als Eingabedaten festlegt, die Objekterkennung als Ausgabedaten festlegt, und zum Erkennen des Objekts ein zuvor trainiertes neuronales Netzwerkmodell anwendet.
Wenn kein Objekt vorhanden ist, kann der Prozessor einen ersten Verschlusswert, welcher einem Mindestverschlusswert (oder einer Mindestverschlussgeschwindigkeit) entspricht, anwenden, und wenn mindestens ein Objekt erkannt wird und eine durchschnittliche Bewegungsgeschwindigkeit des Objekts einen vorher festgelegten Schwellwert übersteigt, kann der Prozessor einen zweiten Verschlusswert, welcher einem Maximalverschlusswert entspricht, anwenden.
Der Prozessor kann einen Verschlusswert in einem Bereich zwischen dem ersten Verschlusswert und dem zweiten Verschlusswert im Einklang mit einer durchschnittlichen Bewegungsgeschwindigkeit des Objekts variabel anwenden.
In einem weiteren Aspekt weist ein Überwachungskamerasystem auf: eine Überwachungskamera, welche dafür eingerichtet ist, ein Bild eines Überwachungsbereichs zu erfassen; und eine Datenverarbeitungsvorrichtung, welche dafür eingerichtet ist, das durch die Überwachungskamera erfasste Bild durch eine Kommunikationseinheit zu empfangen, ein Objekt im Bild durch einen auf künstlicher Intelligenz basierenden Objekterkennungsalgorithmus zu erkennen, einen Verschlusswert entsprechend einer Bewegungsgeschwindigkeit des erkannten Objekts zu berechnen, und den berechneten Verschlusswert zu Überwachungskamera zu übertragen, wobei der Verschlusswert in einem Bereich zwischen einem ersten Verschlusswert und einem zweiten Verschlusswert entsprechend einem Mindestverschlusswert (oder einer Mindestverschlussgeschwindigkeit) im Einklang mit einer durchschnittlichen Bewegungsgeschwindigkeit des Objekts variiert.
In einem weiteren Aspekt umfasst ein Verarbeitungsverfahren für ein Bild einer Überwachungskamera: Erkennen eines Objekts in einem durch eine Bilderfassungseinheit erlangten Bild; Berechnen eines Zielverschlusswerts entsprechend einer Bewegungsgeschwindigkeit des erkannten Objekts; und Bestimmen eines Verschlusswerts an einem Ausgangspunkt eines Sensorverstärkungssteuerungsbereichs in einem automatischen Belichtungssteuerungsprozess basierend auf dem berechneten Zielverschlusswert, wobei der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs derart festgelegt wird, dass er in Abhängigkeit von der Bewegungsgeschwindigkeit des Objekts zwischen einem ersten Verschlusswert und einem zweiten Verschlusswert, welcher niedriger ist als der erste Verschlusswert, variiert.
Beim Erkennen des Objekts kann das Objekt erkannt werden, indem ein auf Deep-Learning-Verfahren basierender YOLO-Algorithmus (You Only Look Once-Algorithmus) angewendet wird.
Das Verarbeitungsverfahren kann ferner umfassen: Zuweisen einer ID (Identifikation) zu jedem erkannten Objekt und Extrahieren von Koordinaten des Objekts; und, basierend auf den Koordinateninformationen des Objekts, welche in einem ersten Einzelbild, und mit geringerer Priorität als für das erste Einzelbild in einem zweiten Einzelbild, enthalten sind, Berechnen einer durchschnittlichen Bewegungsgeschwindigkeit des Objekts.
Der Zielverschlusswert kann basierend auf einem Bewegungsausmaß des Objekts während einer Einzelbildzeit in Bezug auf eine Mindestverschlussgeschwindigkeit der Überwachungskamera und einer Auflösung des Bilds der Überwachungskamera berechnet werden.
Das Berechnen des Zielverschlusswerts kann umfassen: Trainieren eines Lernmodells, indem Leistungsinformationen, welche der Auflösung des Bilds der Überwachungskamera entsprechen, und Geschwindigkeitsinformationen des Objekts, welches ohne Bewegungsunschärfe erkennbar ist, als Lerndaten eingestellt werden, und Berechnen des Zielverschlusswerts basierend auf dem Lernmodell, welches die Bewegungsgeschwindigkeit des Objekts als Eingabedaten verwendet und den Zielverschlusswert gemäß der Bewegungsgeschwindigkeit des Objekts automatisch berechnet.
Der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs kann derart festgelegt werden, dass er mit dem ersten Verschlusswert konvergiert, wenn die Bewegungsgeschwindigkeit des Objekts höher ist, und kann derart festgelegt werden, dass er mit dem zweiten Verschlusswert konvergiert, wenn die Bewegungsgeschwindigkeit des Objekts niedriger ist.
Der erste Verschlusswert kann 1/300 Sek. oder mehr betragen, und der zweite Verschlusswert kann 1/30 Sek. betragen.
In einem weiteren Aspekt umfasst ein Verarbeitungsverfahren für ein Bild einer Überwachungskamera: Erkennen eines Objekts in einem durch eine Bilderfassungseinheit erlangten Bild; Berechnen eines Zielverschlusswerts entsprechend einer Bewegungsgeschwindigkeit des erkannten Objekts; und Bestimmen eines Verschlusswerts an einem Ausgangspunkt eines Sensorverstärkungssteuerungsbereichs in einem automatischen Belichtungssteuerungsprozess basierend auf dem berechneten Zielverschlusswert, wobei der Verschlusswert auf einen Hochgeschwindigkeitsverschlusswert gesetzt wird, wenn die Bewegungsgeschwindigkeit des Objekts größer als eine oder gleich einer ersten Schwellwertgeschwindigkeit ist, und auf einen Verschlusswert niedriger Geschwindigkeit gesetzt wird, wenn die Bewegungsgeschwindigkeit des Objekts geringer ist als eine zweite Schwellwertgeschwindigkeit, welcher niedriger ist als die erste Schwellwertgeschwindigkeit.
In einem weiteren Aspekt umfasst ein Verarbeitungsverfahren für ein Bild einer Überwachungskamera: Erkennen eines Objekts in einem durch eine Bilderfassungseinheit erlangten Bild; Berechnen einer Bewegungsgeschwindigkeit des erkannten Objekts; und variables Steuern des Verschlusswerts im Einklang mit der Bewegungsgeschwindigkeit des Objekts; wobei beim Erkennen des Objekts das durch die Bilderfassungseinheit erlangte Bild als Eingabedaten festgelegt wird, und die Objekterkennung als Ausgabedaten festgelegt werden, und das Objekt durch Anwenden eines zuvor trainierten neuronalen Netzwerkmodells erkannt wird.
Das Verarbeitungsverfahren einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung kann Bewegungsnachbilder minimieren und zugleich die Klarheit des Bildes bewahren, indem eine Verschlussgeschwindigkeit in Abhängigkeit vom Vorhandensein oder Nichtvorhandensein von Objekten auf dem Bildschirm entsprechend gesteuert wird.
Darüber hinaus kann das Bildverarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung Probleme mit verstärktem Rauschen und Übertragungsbandbreite lösen, welche auftreten, wenn gemäß den Merkmalen von Überwachungskameras, welche durchgehend Hochgeschwindigkeitsverschlüsse betreiben müssen, bei geringer Beleuchtung ein Hochgeschwindigkeitsverschluss betrieben wird.
Die Wirkungen, welche durch die vorliegende Offenbarung erlangt werden können, sind nicht auf die oben erwähnten Wirkungen beschränkt, und andere, nicht erwähnte Wirkungen können für ausgebildete Fachleute aus der nachfolgenden Beschreibung klar ersichtlich sein.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die begleitenden Zeichnungen, welche einen Bestandteil der ausführlichen Beschreibung darstellen, um das Verständnis der vorliegenden Offenbarung zu unterstützen, stellen Ausführungsformen der vorliegenden Offenbarung bereit und beschreiben zusammen mit der ausführlichen Beschreibung technische Merkmale der vorliegenden Offenbarung.

1 ist ein Diagramm, welches ein Überwachungskamerasystem zum Umsetzen eines Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
2 ist ein schematisches Blockdiagramm einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung.
3 ist ein Diagramm, welches eine KI-Vorrichtung (KI-Modul) darstellt, welche für die Analyse von Bildern einer Überwachungskamera im Einklang mit einer Ausführungsformen der vorliegenden Offenbarung angewendet wird.
4 ist ein Flussdiagramm eines Verarbeitungsverfahrens für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung.
5 ist ein Diagramm, welches ein Beispiel eines Objekterkennungsverfahrens im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
6 ist ein Diagramm, welches ein weiteres Beispiel eines Objekterkennungsverfahrens im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
7 ist ein Diagramm, welches einen Objekterkennungsprozess unter Verwendung eines Algorithmus künstlicher Intelligenz im Einklang mit einer Ausführungsformen der vorliegenden Offenbarung darstellt.
8 ist ein Diagramm, welches einen Prozess zum Berechnen einer durchschnittlichen Bewegungsgeschwindigkeit eines in 7 erkannten Objekts darstellt.
9 ist ein Diagramm, welches eine Beziehung zwischen einer durchschnittlichen Bewegungsgeschwindigkeit eines Objekts, welches automatischer Belichtung unterzogen werden soll, und einer Verschlussgeschwindigkeit im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
10 ist ein Diagramm, welches einen automatischen Belichtungssteuerungsplan darstellt, welcher unabhängig davon, ob ein Objekt vorhanden ist, nur das Objektnachbild (Bewegungsunschärfe) berücksichtigt.
11 ist ein Diagramm, welches einen Prozessor zum Anwenden einer Verschlussgeschwindigkeit im Einklang mit einer Bewegungsgeschwindigkeit eines Objekts auf die automatische Belichtungssteuerung im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
12 ist ein Flussdiagramm eines Verfahrens zum Steuern einer Verschlussgeschwindigkeit in einem Bereich schwacher Beleuchtung in einem Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung.
13 ist ein Flussdiagramm eines automatischen Belichtungssteuerungsverfahrens in einem Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung.
14 und 15 sind Diagramme, welche einen automatischen Belichtungsplan darstellen, welcher einen ursprünglichen Verschlusswert eines Sensorverstärkungssteuerungsbereichs in Abhängigkeit vom Vorhandensein oder Nichtvorhandensein eines Objekts im Einklang mit einer Ausführungsform der vorliegenden Offenbarung variabel anwendet.
16 ist ein Diagramm, welches automatische Belichtungssteuerung in Abhängigkeit davon, ob sich ein Objekt in einem Bereich schwacher Beleuchtung bewegt, im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt, und 17 ist ein Diagramm, welches automatische Belichtungssteuerung in Abhängigkeit davon, ob sich ein Objekt in einem Bereich guter Beleuchtung bewegt, darstellt.
18 ist ein Diagramm, welches automatische Belichtungssteuerung, wenn kein Objekt vorhanden ist oder eine Bewegungsgeschwindigkeit des Objekts niedrig ist, im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
19 vergleicht Bilder, welche erfasst werden, wenn ein allgemeiner Verschlusswert angewendet wird, und als ein Ergebnis des Verwendens auf KI-basierter automatischer Objekterkennung und eines Hochgeschwindigkeitsverschlusses im Einklang mit einer Ausführungsform der vorliegenden Offenbarung.
Die begleitenden Zeichnungen, welche einen Bestandteil der ausführlichen Beschreibung darstellen, um das Verständnis der vorliegenden Offenbarung zu unterstützen, stellen Ausführungsformen der vorliegenden Offenbarung bereit und beschreiben zusammen mit der ausführlichen Beschreibung technische Merkmale der vorliegenden Offenbarung.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Nachfolgend werden Ausführungsformen der Offenbarung unter Bezugnahme auf die angefügten Zeichnungen im Detail beschrieben. Dieselben oder ähnliche Komponenten sind mit denselben Bezugsziffern gekennzeichnet, und auf eine wiederholte Beschreibung derselben wurde verzichten. Die hierin verwendeten Suffixe „Modul“ und „Einheit“ von Elementen dienen der Vereinfachung der Beschreibung, können somit austauschbar verwendet werden und weisen keine unterschiedlichen Bedeutungen oder Funktionen auf. Falls ferner in der folgenden Beschreibung eine ausführliche Beschreibung bekannter Techniken in Zusammenhang mit der vorliegenden Offenbarung den Kern der vorliegenden Erfindung unnötig verschleiern würde, wird auf eine ausführliche Beschreibung derselben verzichtet. Darüber hinaus sind die angefügten Zeichnungen für ein einfaches Verständnis von Ausführungsformen der Offenbarung bereitgestellt und schränken den technischen Gedanken der Offenbarung in keiner Weise ein, und die Ausführungsformen sollten derart aufgefasst werden, als enthielten sie sämtliche Modifikationen, Äquivalente und Alternativen, welche innerhalb des Gedankens und des Umfangs der Ausführungsformen liegen.
Obwohl Begriffe wie „erste/erster/erstes“, „zweite/zweiter/zweites“ etc. verwendet werden können, um verschiedene Komponenten zu beschreiben, schränken die obengenannten Begriffe solche Komponenten keinesfalls ein. Die obengenannten Begriffe dienen ausschließlich dazu, eine Komponente von einer anderen zu unterscheiden.
Wenn ein Element mit einem anderen Element „gekoppelt“ oder „verbunden“ ist, versteht sich, dass ein drittes Element zwischen den beiden Elementen angeordnet sein kann, andererseits das Element aber auch direkt mit dem anderen Element gekoppelt oder verbunden sein kann. Wenn ein Element mit einem anderen Element „direkt gekoppelt“ oder „direkt verbunden“ ist, versteht sich, dass kein Element zwischen den beiden Elementen angeordnet ist.
Singularformen sind dazu bestimmt, auch die Pluralformen einzuschließen, sofern der Kontext nicht eindeutig etwas anderes angibt.
Darüber hinaus versteht sich ferner, dass in der Patentschrift die Begriffe „aufweisen“ und „umfassen“ das Vorhandensein der genannten Merkmale, ganzen Zahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Kombinationen derselben angeben, das Vorhandensein oder das Hinzufügen einer/eines oder mehrerer anderer Merkmale, ganzen Zahlen, Schritte, Vorgänge, Elemente, Komponenten und/oder Kombinationen jedoch nicht ausschließen.
Die oben beschriebene vorliegende Offenbarung kann als ein computerlesbarer Code in einem Medium, in welchem ein Programm aufgezeichnet ist, umgesetzt sein. Das computerlesbare Medium umfasst jede beliebige Art von Aufzeichnungsvorrichtung, in welcher Daten, welche durch ein Computersystem ausgelesen werden können, gespeichert sind. Das computerlesbare Medium kann zum Beispiel ein Festplattenlaufwerk (HDD), eine Solid-State-Festplatte (SSD), ein Siliziumscheibenlaufwerk (SDD), ein ROM, ein RAM, eine CD-ROM, ein Magnetband, eine Diskette, eine optische Datenspeichervorrichtung und dergleichen sein. Das computerlesbare Medium kann auch Umsetzungen in der Form von Trägerwellen (zum Beispiel Übertragung über das Internet) umfassen. Ferner kann der Computer auch die Steuerung 180 des Terminals aufweisen. Somit ist die vorstehende ausführliche Beschreibung in keinem ihrer Aspekte als einschränkend auszulegen und sollte als veranschaulichend betrachtet werden. Der Umfang der vorliegenden Offenbarung sollte durch eine sinnvolle Auslegung der beigefügten Ansprüche festgelegt werden, und sämtliche Modifikationen innerhalb eines gleichwertigen Bereichs sind im Umfang der vorliegenden Offenbarung eingeschlossen.
Automatische Belichtungssteuerungstechnologie (AE-Steuerungstechnologie) ist eine Technologie, welche die Bildhelligkeit von Kameras konstant hält, und bezieht sich auf eine Technologie des Steuerns der Helligkeit unter Verwendung einer Verschlussgeschwindigkeit/Blende im Fall großer Helligkeit (helle Beleuchtung im Freien) und des Korrigierens der Helligkeit von Bildern durch Verstärkung der Aufnahme eines Bildsensors bei schwacher Beleuchtung (dunkler Beleuchtung).
Ferner bezieht sich die Verschlussgeschwindigkeit auf eine Zeit, für welche eine Kamera dem Licht ausgesetzt ist. Wenn die Verschlussgeschwindigkeit niedrig ist (1/30 Sek.), ist eine Belichtungszeit lange und ein Bild ist heller, wobei dabei jedoch das Problem entsteht, dass Bewegungsunschärfe auftritt, da sich die Bewegung von Objekten während der Belichtungszeit akkumuliert. Ist die Verschlussgeschwindigkeit hingegen hoch (1/200 Sek. oder mehr), so ist die Kamerabelichtungszeit kurz und ein Bild kann dunkel sein, wobei auch die Akkumulation der Bewegung von Objekten verkürzt ist, wodurch weniger Bewegungsunschärfe auftritt.
Da Überwachungskameras Personen und Objekte ohne Bewegungsunschärfe überwachen sollten, welche die wichtigsten Überwachungsziele sind, ist es vorteilhaft, einen Hochgeschwindigkeitsverschluss zu betreiben. Wenn die Verschlussgeschwindigkeit hoch ist, werden Bilder aufgrund einer kurzen Belichtungszeit jedoch dunkel, und bei schwacher Beleuchtung sollte eine Verstärkung des Bildsensors erhöht werden, um die Helligkeit zu korrigieren, was relativ gesehen mehr Rauschen verursachen kann. Wenn die Verstärkung eines Bildsensors zunimmt, nimmt in der Regel auch das Rauschen auf dem Bildschirm zu. Letzten Endes kann das Verwenden einer hohen Verschlussgeschwindigkeit bei schwacher Beleuchtung zwar Bewegungsunschärfe verringern, zugleich jedoch ein verstärktes Rauschen auf dem Bildschirm verursachen.
Indes befinden sich in einem Überwachungsbereich, welcher durch tatsächliche Überwachungskameras abgebildet wird, nicht immer zu überwachende Objekte, wobei es jedoch notwendig ist, zufällig auftauchende Objekte zu jeder Zeit ohne Bewegungsunschärfe überwachen zu können, weswegen unweigerlich ein Hochgeschwindigkeitsverschluss betrieben werden muss. Natürlich verursacht das Betreiben des Hochgeschwindigkeitsverschlusses bei schwacher Beleuchtung ein hohes Maß an Rauschen, und kann somit aufgrund des Rauschens auch zahlreiche Nebeneffekte mit sich bringen. Wenn das Rauschen zunimmt, kann sich zum Beispiel die Menge an komprimierten und übertragenen Bilddaten erhöhen, wodurch eine Bildübertragungsbandbreite zunimmt, und der Umriss von Objekten kann aufgrund des Rauschens verschwommen sein.
In einem Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung muss eine Verschlussgeschwindigkeit in Abhängigkeit vom Vorhandensein oder Nichtvorhandensein eines Objekts auf dem Bildschirm automatisch gesteuert werden, um den Zweck der Überwachungskamera zu erfüllen. Obwohl in der verwandten Technik jedoch häufig Bewegungsinformationen dazu verwendet wurden, zu ermitteln, ob ein Objekt vorhanden ist, bestand jedoch das Problem, dass aufgrund der natürlichen Umgebung (Wind, sich bewegende Blätter, etc.) häufig Fehlalarme auftraten. Demzufolge werden in der vorliegenden Offenbarung Objekte durch KI-Bildanalyse erkannt, jedem Objekt wird eine ID zugewiesen, und eine durchschnittliche Bewegungsgeschwindigkeit für die Objekte, welchen eine ID zugewiesen worden ist, wird berechnet. Die berechnete durchschnittliche Bewegungsgeschwindigkeit der Objekte kann dazu verwendet werden, eine geeignete Verschlussgeschwindigkeit zu berechnen, welche keine Bewegungsunschärfe verursacht.
Bei sehr hellen Bedingungen (im Freien oder bei guter Beleuchtung) tritt in der Regel selten eine Bewegungsunschärfe von Objekten auf, da die Helligkeit unter Verwendung eines Hochgeschwindigkeitsverschlusses korrigiert wird. Daher kann das Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung dazu angewendet werden, einen Verschluss bei schwacher Beleuchtung zu steuern, bei welcher eine Bildsensorverstärkung aufgrund der Verwendung eines Hochgeschwindigkeitsverschlusses unweigerlich verstärkt wird, wodurch aufgrund der Tatsache, dass die Bildsensorverstärkung verstärkt worden ist, das Rauschen zunimmt.
1 ist ein Diagramm, welches ein Überwachungskamerasystem zum Umsetzen eines Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung veranschaulicht.
Bezugnehmend auf 1 kann ein Bildverwaltungssystem 10 im Einklang mit einer Ausführungsform der vorliegenden Offenbarung eine Bilderfassungsvorrichtung 100 und einen Bildverwaltungsserver 20 aufweisen. Die Bilderfassungsvorrichtung 100 kann eine elektronische Bildgebungsvorrichtung sein, welche in einer festen Position an einem bestimmten Standort angeordnet ist, kann eine elektronische Bildgebungsvorrichtung sein, welche automatisch oder manuell entlang eines vorgegebenen Pfads bewegt werden kann, oder kann eine elektronische Bildgebungsvorrichtung sein, welche durch eine Person oder einen Roboter bewegt werden kann. Die Bilderfassungsvorrichtung 100 kann eine IP-Kamera (Internetprotokollkamera) sein, welche mit dem kabelgebundenen/drahtlosen Internetzugang verbunden ist und verwendet wird. Die Bilderfassungsvorrichtung 100 kann eine PTZ-Kamera (Schwenk-Neige-Zoom-Kamera) sein, welche Schwenk-, Neigungs- und Zoomfunktionen aufweist. Die Bilderfassungsvorrichtung 100 kann eine Funktion zum Aufzeichnen eines überwachten Bereichs oder zum Aufnehmen eines Fotos aufweisen. Die Bilderfassungsvorrichtung 100 kann eine Funktion zum Aufzeichnen eines Tons, welcher in einem überwachten Bereich entsteht, aufweisen. Wenn eine Änderung, wie zum Beispiel eine Bewegung oder ein Ton im überwachten Bereich auftritt, kann die Bilderfassungsvorrichtung 100 eine Funktion zum Erzeugen einer Benachrichtigung oder zum Aufzeichnen oder Fotografieren aufweisen. Die Bilderfassungsvorrichtung 100 kann das trainierte Objekterkennungslernmodell vom Bildverwaltungsserver 200 empfangen und speichern. Demgemäß kann die Bilderfassungsvorrichtung 100 unter Verwendung des Objekterkennungslernmodells einen Objekterkennungsvorgang ausführen.
Der Bildverwaltungsserver 20 kann eine Vorrichtung sein, welche ein Bild derart empfängt und speichert, wie es durch die Bilderfassungsvorrichtung 100 erfasst wird, und/oder ein Bild empfängt und speichert, indem sie das erlangte Bild bearbeitet. Um seinem Zweck zu entsprechen, kann der Bildverwaltungsserver 20 das empfangene Bild analysieren. Zum Beispiel kann der Bildverwaltungsserver 20 unter Verwendung eines Objekterkennungsalgorithmus ein Objekt in dem Bild finden. Auf den Objekterkennungsalgorithmus kann ein KI-basierter Algorithmus angewendet werden, und ein Objekt kann erkannt werden, indem ein vortrainiertes künstliches neuronales Netzwerkmodell angewendet wird.
Der Bildverwaltungsserver 20 kann gleichzeitig verschiedene Lernmodelle speichern, welche für den Zweck der Bildanalyse geeignet sind. Zusätzlich zum oben erwähnten Lernmodell für Objekterkennung kann auch ein Modell gespeichert sein, welches in der Lage ist Informationen zu Objektmerkmalen zu erlangen, welche es ermöglichen, das erfasste Objekt zu verwenden. Der Bildverwaltungsserver 20 kann einen Trainingsvorgang für das oben beschriebene Lernmodell zur Objekterkennung durchführen.
Darüber hinaus kann der Bildverwaltungsserver 20 das empfangene Bild analysieren, um Metadaten und Indexinformationen für die entsprechenden Metadaten zu erzeugen. Der Bildverwaltungsserver 20 kann Bildinformationen und/oder im empfangenen Bild enthaltene Toninformationen gemeinsam oder getrennt voneinander analysieren, um Metadaten und Indexinformationen für die Metadaten zu erzeugen.
Das Bildverwaltungssystem 10 kann ferner eine externe Vorrichtung 30 aufweisen, welche in der Lage ist, kabelgebundene/drahtlose Kommunikation mit der Bilderfassungsvorrichtung 100 und/oder dem Bildverwaltungsserver 20 herzustellen.
Die externe Vorrichtung 30 kann ein Informationsbereitstellungsanfragesignal übertragen, um ein Bereitstellen eines gesamten Bildes oder eines Teils davon am Bildverwaltungsserver 20 anzufordern. Die externe Vorrichtung 30 kann ein Informationsbereitstellungsanfragesignal zum Bildverwaltungsserver 20 übertragen, um anzufragen, ob ein Objekt als Bildanalyseergebnis vorhanden ist, oder nicht. Darüber hinaus kann die externe Vorrichtung 30 dem Bildverwaltungsserver 20 Metadaten, welche durch Analysieren eines Bilds erlangt worden sind, und/oder ein Informationsbereitstellungsanfragesignal zum Anfordern von Indexinformationen für die Metadaten übertragen.
Das Bildverwaltungssystem 10 kann ferner ein Kommunikationsnetzwerk 40 aufweisen, welches ein kabelgebundener/drahtloser Kommunikationspfad zwischen der Bilderfassungsvorrichtung 100, dem Bildverwaltungsserver 20 und/oder der externen Vorrichtung 30 ist. Das Kommunikationsnetzwerk 40 kann zum Beispiel ein kabelgebundenes Netzwerk, wie zum Beispiel LANs (lokale Netzwerke), WANs (Weitbereichsnetzwerke), MANs (Stadtnetze), ISDNs (diensteintegrierende Digitalnetze), und ein drahtloses Netzwerk, wie zum Beispiel drahtlose LANs, CDMA, Bluetooth und Satellitenkommunikation, sein, wobei der Umfang der vorliegenden Offenbarung jedoch nicht darauf beschränkt ist.
2 ist ein Blockdiagramm, welches eine Konfiguration der in 1 gezeigten Überwachungskamera darstellt.
Bezugnehmend auf 3 ist eine Kamera 200 zum Beispiel eine Netzwerkkamera, welche eine intelligente Bildanalysefunktion ausführt und ein Signal der Bildanalyse erzeugt, wobei der Betrieb des Netzwerküberwachungskamerasystems im Einklang mit einer Ausführungsform der vorliegenden Offenbarung jedoch nicht darauf beschränkt ist.
Die Kamera 200 weist einen Bildsensor 210, einen Kodierer 220, einen Speicher 230, eine Kommunikationsschnittstelle 240, einen KI-Prozessor 250, einen Prozessor 260 auf.
Der Bildsensor 210 führt eine Funktion zum Erlangen eines Bilds durch Fotografieren eines Überwachungsbereichs aus und kann zum Beispiel mittels eines CCD-Sensors (Ladungsverschiebevorrichtungssensors), eines CMOS-Sensors (Komplementär-Metalloxid-Halbleiter-Sensor) und dergleichen umgesetzt sein.
Der Kodierer 220 führt einen Vorgang zum Kodieren des durch den Bildsensor 210 erlangten Bilds in ein digitales Signal durch, zum Beispiel basierend auf den Standards H.264, H.265, MPEG (Moving Picture Experts Group), M-JPEG (Motion Joint Photographic Experts Group) oder dergleichen.
Der Speicher 230 kann Bilddaten, Audiodaten, Standbilder, Metadaten und dergleichen speichern. Wie oben erwähnt, können die Metadaten textbasierte Daten sein, welche Objekterkennungsinformationen (Bewegung, Ton, Eindringen in einen ausgewiesenen Bereich, etc.) und Objektidentifikationsinformationen (Person, Auto, Gesicht, Hut, Kleidung, etc.), welche im Überwachungsbereich fotografiert worden sind, sowie erfasste Standortinformationen (Koordinaten, Größe, etc.) aufweisen.
Darüber hinaus wird das Standbild zusammen mit den textbasierten Metadaten erzeugt und im Speicher 230 gespeichert, und kann durch das Erfassen von Bildinformationen für einen bestimmten Analysebereich aus den Bildanalyseinformationen erzeugt werden. Zum Beispiel kann das Standbild als eine JPEG-Bilddatei umgesetzt sein.
Zum Beispiel kann das Standbild erzeugt werden, indem ein bestimmter Bereich der Bilddaten, für welchen ermittelt worden ist, dass es sich um ein identifizierbares Objekt aus den für einen bestimmten Bereich und einen bestimmten Zeitraum erfassten Bilddaten der Überwachungskamera handelt, ausgeschnitten wird, und kann in Echtzeit zusammen mit den textbasierten Metadaten übertragen werden.
Die Kommunikationseinheit 240 überträgt die Bilddaten, Audiodaten, das Standbild und/oder die Metadaten zur Bildempfangsvorrichtung/Suchvorrichtung. Die Kommunikationseinheit 240 im Einklang mit einer Ausführungsform kann die Bilddaten, Audiodaten, Standbilder und/oder Metadaten in Echtzeit zur Bildempfangsvorrichtung 30 übertragen. Die Kommunikationsschnittstelle kann mindestens eine Kommunikationsfunktion aus der Gruppe umfassend verkabeltes und drahtloses LAN (lokales Netzwerk), Wi-Fi, ZigBee, Bluetooth und Nahfeldkommunikation ausführen.
Der KI-Prozessor 250 ist für eine Bildverarbeitung basierend auf künstlicher Intelligenz ausgelegt, und wendet einen auf Deep-Learning-Verfahren basierenden Objekterkennungsalgorithmus an, welcher in dem durch das Überwachungskamerasystem im Einklang mit einer Ausführungsform der vorliegenden Offenbarung erlangten Bild eingelernt wird. Der KI-Prozessor 250 kann als ein in den Prozessor 260, welcher das gesamte System steuert, integriertes Modul oder als ein eigenständiges Modul umgesetzt sein. Die Ausführungsformen der vorliegenden Offenbarung können zur Obj ekterkennung einen YOLO-Algorithmus (You Only Lock Once-Algorithmus) anwenden. Aufgrund seiner raschen Objekterkennungsgeschwindigkeit ist YOLO ein KI-Algorithmus, welcher für Überwachungskameras zum Verarbeiten von Echtzeitvideo geeignet ist. Im Unterschied zu anderen objektbasierten Algorithmen (faster R-CNN, R_FCN, FPN-FRCN, etc.) gibt der YOLO-Algorithmus nach der Größenanpassung einen Begrenzungsrahmen aus, welcher eine Position jedes der Objekte und eine Klassifikationswahrscheinlichkeit, um was für ein Objekt es sich handelt, als ein Ergebnis eines einzigen Durchlaufs durch ein einziges neuronales Netzwerk angibt. Am Schluss wird ein Objekt durch nichtmaximale Unterdrückung einmal erkannt.
Es sei darauf hingewiesen, dass der in der vorliegenden Offenbarung offenbarte Objekterkennungsalgorithmus nicht auf das zuvor erwähnte YOLO beschränkt ist und mittels verschiedenster Deep-Learning-Algorithmen umgesetzt werden kann.
Indes kann ein Lernmodell zur Objekterkennung, welches auf die vorliegende Offenbarung angewendet wird, ein Modell sein, welches durch Definieren von Kameraleistung, Bewegungsgeschwindigkeitsinformationen von Objekten, welche in einer Überwachungskamera ohne Bewegungsunschärfe erkannt werden können, etc. als Lerndaten trainiert wird. Demgemäß kann das trainierte Modell Eingabedaten, welche eine Bewegungsgeschwindigkeit eines Objekts sind, aufweisen, und eine für die Bewegungsgeschwindigkeit des Objekts optimierte Verschlussgeschwindigkeit als Ausgabedaten aufweisen.
3 ist ein Diagramm, welches eine KI-Vorrichtung (Vorrichtung für künstliche Intelligenz) bzw. ein entsprechendes Modul darstellt, welches dafür verwendet wird, das Objekterkennungsmodell im Einklang mit einer Ausführungsformen der vorliegenden Offenbarung zu trainieren.
Bezugnehmend auf 3 kann die KI-Vorrichtung 20 eine elektronische Vorrichtung, welche ein KI-Modul aufweist, welches in der Lage ist, KI-Verarbeitung durchzuführen, oder einen Server, welcher ein KI-Modul aufweist, aufweisen. Darüber hinaus kann die KI-Vorrichtung 20 mindestens als ein Teil davon in der Bilderfassungsvorrichtung 100 oder dem Bildverwaltungsserver 200 aufgenommen sein, um mindestens einen Teil der KI-Verarbeitung gemeinsam vorzunehmen.
Die KI-Verarbeitung kann sämtliche Vorgänge in Zusammenhang mit einer Steuerung der Bilderfassungsvorrichtung 100 oder des Bildverwaltungsservers 200 umfassen. Zum Beispiel können die Bilderfassungsvorrichtung 100 oder der Bildverwaltungsserver 200 das erlangte Bildsignal mittels KI verarbeiten, um Verarbeitungs-/Bestimmungsvorgänge und Signalerzeugungsvorgänge durchzuführen.
Die KI-Vorrichtung 20 kann eine Client-Vorrichtung sein, welche das KI-Verarbeitungsergebnis direkt verwendet, oder eine Vorrichtung in einer Cloud-Umgebung, welche anderen Vorrichtungen das KI-Verarbeitungsergebnis bereitstellt. Die KI-Vorrichtung 20 ist eine Datenverarbeitungsvorrichtung, welche in der Lage ist, ein neuronales Netzwerk einzulernen, und kann in verschiedenen elektronischen Vorrichtungen, wie zum Beispiel einem Server, einem Desktop-PC, einem Notebook-PC und einem Tablet-PC, umgesetzt sein.
Die KI-Vorrichtung 20 kann einen KI-Prozessor 21, einen Speicher 25 und/oder eine Kommunikationseinheit 27 aufweisen.
Hierbei kann das neuronale Netzwerk zum Erkennen von Daten in Zusammenhang mit der Bilderfassungsvorrichtung (100) dafür ausgelegt sein, die Gehirnstruktur eines Menschen auf einem Computer zu simulieren und kann eine Vielzahl von Netzwerkknoten, welche Gewichtungen aufweisen und die Neuronen des menschlichen neuronalen Netzwerks simulieren, aufweisen. Die Mehrzahl von Netzwerkknoten können Daten im Einklang mit jeder Verbindungsbeziehung übertragen und empfangen, um die synaptische Aktivität von Neuronen zu simulieren, bei welcher Neuronen Signale durch Synapsen übertragen und empfangen. Hierbei kann das neuronale Netzwerk ein Deep-Learning-Modell, welches aus einem neuronalen Netzwerkmodell entwickelt worden ist, aufweisen. Im Deep-Learning-Modell ist eine Mehrzahl von Netzwerkknoten in verschiedenen Schichten angeordnet und kann Daten im Einklang mit einem Faltungsverbindungsverhältnis übertragen und empfangen. Das neuronale Netzwerk umfasst zum Beispiel verschiedene Deep-Learning-Techniken, wie zum Beispiel Deep-Learning-Netzwerke (DNN), tiefe neuronale Faltungsnetzwerke (CNN), rekurrente neuronale Netzwerke (RNN), eine eingeschränkte Boltzmann-Maschine (RBM), Deep-Belief-Netzwerke (DBN) und ein Deep Q-Netzwerk, und kann auf Gebiete wie zum Beispiel maschinelles Sehen, Stimmerkennung, natürliche Sprachverarbeitung und Stimmen-/Signal-Verarbeitung angewendet werden.
Indessen kann ein Prozessor, welcher die oben beschriebenen Funktionen ausführt, ein Universalprozessor (zum Beispiel eine CPU) sein, kann jedoch auch ein Prozessor ausschließlich für KI (zum Beispiel eine GPU) für das Einlernen künstlicher Intelligenz sein.
Der Speicher 25 kann verschiedene Programme und Daten für den Betrieb der KI-Vorrichtung 20 speichern. Der Speicher 25 kann ein nichtflüchtiger Speicher, ein flüchtiger Speicher, ein Flash-Speicher, ein Festplattenlaufwerk (HDD), ein Solid-State-Festplattenlaufwerk (SDD) oder dergleichen sein. Der KI-Prozessor 21 greift auf den Speicher 25 zu, und Auslesen/Aufzeichnen/Korrigieren/Löschen/Aktualisieren etc. von Daten kann durch den KI-Prozessor 21 vorgenommen werden.Ferner kann der Speicher 25 ein neuronales Netzwerkmodell (zum Beispiel ein Deep-Learning-Modell 26) speichern, welches durch einen Lernalgorithmus für Datenklassifikation/Datenerkennung im Einklang mit einer Ausführungsform der vorliegenden Offenbarung erzeugt wird.
Indessen kann der KI-Prozessor 21 eine Datenlerneinheit 22 aufweisen, welche ein neuronales Netzwerk für Datenklassifikation/Datenerkennung einlernt. Die Datenlerneinheit 22 kann Referenzen darüber, welche Lerndaten verwendet werden und wie Daten unter Verwendung der Lerndaten zu klassifizieren und zu erkennen sind, erlernen, um eine Datenklassifikation/Datenerkennung zu bestimmen. Die Datenlerneinheit 22 kann ein Deep-Learning-Modell erlernen, indem sie Lerndaten erfasst, welche für das Lernen verwendet werden, und indem sie die erfassten Lerndaten auf das Deep-Learning-Modell anwendet.
Die Datenlerneinheit 22 kann in Form mindestens eines Hardwarechips hergestellt und auf der KI-Vorrichtung 20 angebracht werden. Zum Beispiel kann die Datenlerneinheit 22 in Form eines Hardwarechips ausschließlich für künstliche Intelligenz hergestellt werden, und kann als ein Teil eines Universalprozessors (CPU) oder einer Grafikverarbeitungseinheit (GPU) hergestellt und auf der KI-Vorrichtung 20 angebracht werden. Ferner kann die Datenlerneinheit 22 als ein Softwaremodul umgesetzt sein. Wenn die Datenlerneinheit 22 als ein Softwaremodul (oder ein Programmmodul, welches Anweisungen aufweist) umgesetzt ist, kann das Softwaremodul in nichtflüchtigen computerlesbaren Medien gespeichert sein, welche von einem Computer ausgelesen werden können. In diesem Fall kann mindestens ein Softwaremodul durch ein OS (Betriebssystem) bereitgestellt sein, oder es kann durch eine Anwendung bereitgestellt sein.
Die Datenlerneinheit 22 kann eine Lemdatenerfassungseinheit 23 und eine Modelllerneinheit 24 aufweisen.
Die Lemdatenerfassungseinheit 23 kann Lerndaten erfassen, welche für ein neuronales Netzwerkmodell zum Klassifizieren und Erkennen von Daten erlangt werden.
Unter Verwendung der erlangten Lerndaten kann die Modelllerneinheit 24 ein Lernen derart vornehmen, dass ein neuronales Netzwerkmodell eine Bestimmungsreferenz darüber aufweist, wie vorher festgelegte Daten zu klassifizieren sind. In diesem Fall kann die Modelllerneinheit 24 ein neuronales Netzwerkmodell durch überwachtes Lernen, bei welchem mindestens einige der Lerndaten als eine Bestimmungsreferenz verwendet werden, trainieren. Alternativ dazu können die Modelllerndaten 24 ein neuronales Netzwerkmodell durch nicht überwachtes Lernen trainieren, welches eine Bestimmungsreferenz herausfindet, indem es ein selbstständiges Lernen unter Verwendung von Lerndaten ohne Überwachung ausführt. Ferner kann die Modelllerneinheit 24 ein neuronales Netzwerkmodell durch Verstärkungslernen unter Verwendung einer Rückmeldung darüber, ob das Ergebnis einer Situationsbestimmung im Einklang mit dem Lernen korrekt ist, trainieren. Ferner kann die Modelllerneinheit 24 ein neuronales Netzwerkmodell unter Verwendung eines Lernalgorithmus, welcher Fehlerrückwärtsausbreitung oder Gradientenverfahren umfasst, trainieren.
Wenn das neuronale Netzwerkmodell trainiert worden ist, kann die Modelltrainingseinheit 24 das trainierte neuronale Netzwerkmodell in einem Speicher abspeichern. Die Modelltrainingseinheit 24 kann das trainierte neuronale Netzwerkmodell im Speicher des Servers, welcher durch ein kabelgebundenes oder drahtloses Netzwerk mit der KI-Vorrichtung 20 verbunden ist, speichern.
Die Datenlerneinheit 22 kann ferner einen Lerndatenvorprozessor (nicht gezeigt) und einen Lerndatenauswahlassistenten (nicht gezeigt) aufweisen, um das Analyseergebnis eines Erkennungsmodells zu verbessern oder um Ressourcen oder Zeit zum Erzeugen eines Erkennungsmodells zu verringern.
Der Lerndatenvorprozessor kann erlangte Daten derart vorverarbeiten, dass die erlangten Daten zum Lernen für eine Situationsbestimmung verwendet werden können. Zum Beispiel kann der Lerndatenvorprozessor erlangte Daten in einem vorher festgelegten Format derart verarbeiten, dass die Modelllerneinheit 24 erlangte Lerndaten zum Lernen für eine Bilderkennung verwenden kann.
Ferner kann der Lerndatenauswahlassistent Daten zum Lernen aus den durch die Lerndatenerfassungseinheit 23 erlangten Daten oder die durch den Vorprozessor vorverarbeiteten Lerndaten auswählen. Die ausgewählten Lerndaten können der Modelllerneinheit 24 bereitgestellt werden. Zum Beispiel kann der Lerndatenauswahlassistent nur Daten für Objekte, welche in einem bestimmten Bereich angeordnet sind, als Lerndaten auswählen, indem er den bestimmten Bereich in einem durch eine Kamera eines Fahrzeugs erlangten Bild erfasst.
Ferner kann die Datenlerneinheit 22 weiters eine Modellkalkulationsvorrichtung (nicht gezeigt) aufweisen, um das Analyseergebnis eines neuronalen Netzwerkmodells zu verbessern.
Die Modellkalkulationsvorrichtung gibt Kalkulationsdaten in ein neuronales Netzwerkmodell ein, und kann, wenn eine Analyseergebnisausgabe aus den Kalkulationsdaten eine vorher festgelegte Referenz nicht erfüllt, veranlassen, dass die Modelllerneinheit 22 ein neuerliches Lernen vornimmt. In diesem Fall können die Kalkulationsdaten Daten sein, welche zum Kalkulieren eines Erkennungsmodells im Vorhinein definiert sind. Wenn zum Beispiel die Anzahl oder das Verhältnis von Kalkulationsdaten mit einem inkorrekten Analyseergebnis des Analyseergebnisses eines Erkennungsmodells, welches in Bezug auf Kalkulationsdaten erlernt worden ist, einen vorher festgelegten Schwellwert übersteigt, kann die Modellkalkulationsvorrichtung errechnen, dass eine vorher festgelegte Referenz nicht erfüllt worden ist.
Die Kommunikationseinheit 27 kann das KI-Verarbeitungsergebnis des KI-Prozessors 21 zu einer externen elektronischen Vorrichtung übertragen. Zum Beispiel kann die externe elektronische Vorrichtung eine Überwachungskamera, eine Bluetooth-Vorrichtung, ein autonomes Fahrzeug, einen Roboter, eine Drohne, eine AR-Vorrichtung (Vorrichtung erweiterter Realität), eine mobile Vorrichtung, ein Haushaltsgerät und dergleichen umfassen.
Zwar ist die KI-Vorrichtung 20, welche in 3 gezeigt ist, funktionell in den KI-Prozessor 21, den Speicher 25, die Kommunikationseinheit 27 und dergleichen aufgeteilt worden, dennoch sind die vorgenannten Komponenten als ein Modul ausgebildet, welches auch als ein KI-Modul bezeichnet werden kann.
In der vorliegenden Offenbarung kann mindestens eine der Vorrichtungen aus der Gruppe umfassend eine Überwachungskamera, ein autonomes Fahrzeug, ein Benutzerterminal und einen Server mit einem KI-Modul, einem Roboter, einer Vorrichtung erweiterter Realität (AR-Vorrichtung), einer Vorrichtung virtueller Realität (VR-Vorrichtung), einer Vorrichtung in Zusammenhang mit einem 5G-Dienst, und dergleichen verbunden sein.
4 ist ein Flussdiagramm eines Verarbeitungsverfahrens für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung. Das in 4 gezeigte Bildverarbeitungsverfahren kann durch das Überwachungskamerasystem, die Überwachungskameravorrichtung und den Prozessor oder die Steuerung, welche/n die oben unter Bezugnahme auf die 1 bis 3 beschriebene Überwachungskameravorrichtung aufweist, umgesetzt werden. Für eine einfachere Beschreibung ist das Bildverarbeitungsverfahren unter der Voraussetzung beschrieben, dass verschiedene Funktionen durch den Prozessor 260 der Überwachungskamera 200, welche in 2 gezeigt ist, gesteuert werden können, wobei die vorliegende Offenbarung jedoch nicht darauf beschränkt ist.
Bezugnehmend auf 4 erfasst der Prozessor 260 ein Bild einer Überwachungskamera (S400). Das Bild der Überwachungskamera kann ein Video aufweisen.
Der Prozessor 260 kann steuern, dass ein KI-Bildanalysesystem einen Objekterkennungsvorgang am erfassten Bild ausführt (S410).
Das KI-Bildanalysesystem kann ein Bildverarbeitungsmodul sein, welches eine Überwachungskamera aufweist. In diesem Fall kann der KI-Prozessor, welchen das Bildverarbeitungsmodul aufweist, bestimmen, dass er ein Objekt in einem Bild erkennt, indem er einen vorher definierten Objekterkennungsalgorithmus auf ein Eingabebild (Video) anwendet, wobei er ermittelt, ob ein Objekt vorhanden ist. Darüber hinaus kann das KI-Videoanalysesystem ein Bildverarbeitungsmodul, welches an einem kommunikativ mit der Überwachungskamera verbundenen externen Server bereitgestellt ist, sein. In diesem Fall kann der Prozessor 260 der Überwachungskamera einen Objekterkennungsanfragebefehl und/oder einen Bewegungsgrad (eine Bewegungsgeschwindigkeit des Objekts, eine durchschnittliche Bewegungsgeschwindigkeitsinformation des Objekts, etc.) anfordern, während er das Eingabebild durch die Kommunikationseinheit zum externen Server überträgt.
Der Prozessor 260 kann eine durchschnittliche Bewegungsgeschwindigkeit des erfassten Objekts berechnen (S420). Der Prozess des Berechnens der durchschnittlichen Bewegungsgeschwindigkeit des erkannten Objekts wird unter Bezugnahme auf die 7 und 8 ausführlich beschrieben.
Der Prozessor 260 kann eine Verschlussgeschwindigkeit entsprechend der berechneten durchschnittlichen Bewegungsgeschwindigkeit des Objekts berechnen (S430). Da sich der Nachbildeffekt verschlimmert, wenn sich die Bewegungsgeschwindigkeit des Objekts erhöht, bleibt keine andere Wahl als die Verschlussgeschwindigkeit zu erhöhen. Hier wird der Prozess des Berechnens eines optimalen Verschlussgeschwindigkeitswerts zum Minimieren des Grads der Erhöhung der Verschlussgeschwindigkeit oder des Minimierens des Nachbildeffekts bei einer bestimmten Bewegungsgeschwindigkeit des Objekts unter Bezugnahme auf 9 ausführlich beschrieben.
Der Prozessor 260 kann eine automatische Belichtungssteuerung (AE-Steuerung) vornehmen, indem er den berechneten Verschlussgeschwindigkeitswert berücksichtigt (S440).
Das Bildverarbeitungsverfahren im Einklang mit einer Ausführungsform der vorliegenden Offenbarung kann in einer Umgebung mit relativ schwacher Beleuchtung vorteilhaft angewendet werden. Insbesondere in einer Umgebung mit guter Beleuchtung werden üblicherweise Hochgeschwindigkeitsverschlüsse verwendet, sodass Nachbildeffekte aufgrund von Objektbewegung eher kein besonderes Problem darstellen. In einer Umgebung mit schwacher Beleuchtung kann jedoch eine automatische Belichtungssteuerung durch Sensorverstärkungssteuerung in einem Bereich, welcher empfindlicher auf Sensorverstärkung als auf Belichtungszeit reagiert, erzielt werden. Demgemäß kann in Umgebungen mit schwacher Beleuchtung ein Rauschen aufgrund der Sensorverstärkungssteuerung zum Problem werden. Um dieses Rauschen zu verringern, sollte eine maximale Helligkeit sichergestellt werden, und letzten Endes kann das Betreiben eines Verschlusses mit niedriger Geschwindigkeit von Vorteil sein. Im Unterschied zu Universalkameras kann im Fall von Überwachungskameras aufgrund der Notwendigkeit, Objekte, welche sich mit einer hohen Geschwindigkeit bewegen, sogar in Umgebungen mit schwacher Beleuchtung klar zu erkennen, das Betreiben eines Hochgeschwindigkeitsverschlusses zum möglichst vollständigen Entfernen des Nachbildeffekts von Objekten unweigerlich als Priorität betrachtet werden. Daher ist es für Überwachungskameras in Umgebungen mit schwacher Beleuchtung am wichtigsten, einen optimalen Verschlusswert im Einklang mit der Helligkeit und dem Grad an Objektbewegung zu ermitteln.
Durch die Ausführungsformen der vorliegenden Offenbarung ist vorstehend die Reihenfolge, in welcher das Objekt in einem Bild einer Überwachungskamera erkannt wird, der optimale Verschlusswert basierend darauf, ob sich das erkannte Objekt bewegt, der Grad der Bewegung des Objekts (die durchschnittliche Bewegungsgeschwindigkeit des Objekts) und die Objektgeschwindigkeit berechnet wird und dadurch die automatische Belichtungssteuerung vorgenommen wird, beschrieben worden.
Nachstehend werden eine Objekterkennung, eine Berechnung einer durchschnittlichen Bewegungsgeschwindigkeit eines Objekts, eine Berechnung einer Verschlussgeschwindigkeit im Einklang mit der Bewegungsgeschwindigkeit des Objekts an einem Ausgangspunkt eines schwach beleuchteten Bereichs ausführlich beschrieben.
5 ist ein Diagramm, welches ein Beispiel eines Objekterkennungsverfahrens im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt. 6 ist ein Diagramm, welches ein weiteres Beispiel eines Objekterkennungsverfahrens im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt. 7 ist ein Diagramm, welches einen Objekterkennungsprozess unter Verwendung eines Algorithmus künstlicher Intelligenz im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt. 8 ist ein Diagramm, welches einen Prozess des Berechnens einer durchschnittlichen Bewegungsgeschwindigkeit eines in 7 erkannten Objekts darstellt. Nachstehend wird der Prozess des Erkennens von Objekten und des Berechnens einer durchschnittlichen Bewegungsgeschwindigkeit von Objekten unter Verwendung eines KI-Algorithmus unter Bezugnahme auf die 5 bis 8 beschrieben.
Bezugnehmend auf 5 gibt der Prozessor 260 der Überwachungskamera ein Einzelbild in ein künstliches neuronales Netzwerkmodell ein (S500).
Das neuronale Netzwerkmodell kann ein Modell sein, welches darauf trainiert ist, Kamerabilder als Eingabedaten zu verwenden und Objekte (Personen, Autos, etc.), welche in den Eingabebilddaten angeordnet sind, zu erkennen. Wie oben beschrieben kann im Einklang mit einer Ausführungsform der vorliegenden Offenbarung der YOLO-Algorithmus auf das neuronale Netzwerkmodell angewendet werden.
Der Prozessor 260 kann einen Objekttyp und einen Standort des Objekts durch Ausgabedaten des neuronalen Netzwerkmodells erkennen (S510). Bezugnehmend auf 7 können ein Ausgabeergebnis des neuronalen Netzwerkmodells und ein Objekterkennungsergebnis des neuronalen Netzwerkmodells in Begrenzungsrahmen (B1 und B2) angezeigt werden, und können Koordinatenwerte der Ecken C 11 und C12/C21 und C22) jedes der Begrenzungsrahmen aufweisen. Der Prozessor 260 kann Mittelpunktkoordinaten jedes der Begrenzungsrahmen durch die Kanteninformationen der Begrenzungsrahmen berechnen.
Der Prozessor 260 kann die Koordinaten des erfassten Objekts sowohl im ersten als auch im zweiten Einzelbild erkennen (S520). Der Prozessor 260 kann das erste Einzelbild und das zweite Einzelbild, welches nach dem ersten Einzelbild erlangt worden ist, analysieren, um eine Bewegungsgeschwindigkeit des Objekts zu berechnen.
Der Prozessor 530 kann eine Veränderung der Koordinaten eines bestimmten Objekts in jedem Einzelbild erfassen, eine Bewegung des Objekts erfassen und die Bewegungsgeschwindigkeit berechnen (S530).
Während 5 den Prozess des Erkennens eines Objekts durch KI-Verarbeitungsergebnisse in einer Überwachungskamera darstellt, stellt 6 einen Fall dar, in welchem der KI-Verarbeitungsvorgang durch ein Netzwerk, das bedeutet einem externen Server, ausgeführt wird.
Wenn bezugnehmend auf 6 eine Überwachungskamera ein Bild erfasst, überträgt die Überwachungskamera die erfassten Bilddaten auf ein Netzwerk (externen Server, etc.) (S600). Hierbei kann zusammen mit der Übertragung der Bilddaten die Überwachungskamera auch Informationen über das Vorhandensein oder Nichtvorhandensein eines Objekts, welches im Bild angeordnet ist, und über eine durchschnittliche Bewegungsgeschwindigkeit eines Objekts, falls das Objekt vorhanden ist, anfordern.
Der externe Server kann durch den KI-Prozessor das Einzelbild, welches von den Bilddaten, welche von der Überwachungskamera empfangen worden sind, in das neuronale Netzwerkmodell einzugeben ist, überprüfen, und der KI-Prozessor kann das Einzelbild steuern, welches auf das neuronale Netzwerkmodell angewendet werden soll (S610). Darüber hinaus kann der KI-Prozessor, welchen der externe Server aufweist, durch die Ausgabedaten des neuronalen Netzwerkmodells den Typ und den Standort des Objekts erkennen (S620).
Der externe Server kann durch den Ausgabewert des neuronalen Netzwerkmodells eine durchschnittliche Bewegungsgeschwindigkeit für das erkannte Objekt berechnen (S630). Objekterkennung und Berechnung der durchschnittlichen Bewegungsgeschwindigkeit des Objekts entsprechen der vorstehenden Beschreibung.
Die Überwachungskamera kann Objekterkennungsergebnisse und/oder Informationen über die durchschnittliche Bewegungsgeschwindigkeit des Objekts von einem externen Server (S650) empfangen.
Die Überwachungskamera wendet eine Zielverschlussgeschwindigkeits-Berechnungsfunktion basierend auf den Informationen über die durchschnittliche Bewegungsgeschwindigkeit des Objekts an und berechnet den Zielverschlusswert (S650).
Die Überwachungskamera kann eine automatische Belichtungssteuerung im Einklang mit der berechneten Verschlussgeschwindigkeit ausführen (S660).
Wenn durch ein neuronales Netzwerkmodell ein Objekt erkannt wird, kann der Prozessor 260 bezugnehmend auf (a) von 8 einen Begrenzungsrahmen am Rand des erkannten Objekts anzeigen und jedem der Objekte eine ID zuweisen. Demgemäß kann der Prozessor 260 ein Objekterkennungsergebnis durch die ID jedes erkannten Objekts und die Mittelpunktkoordinaten des Begrenzungsrahmens überprüfen. Das Objekterkennungsergebnis kann für das erste und das zweite Einzelbild bereitgestellt werden. Falls hierbei im Fall eines zweiten Einzelbilds anstatt des im ersten Standbild, welches das vorherige Bild ist, erkannten Objekts ein neues Objekt erkannt wird, wird eine neue ID zugewiesen, und die Mittelpunkkoordinaten des Objekts können durch die Begrenzungsrahmenkoordinaten erlangt werden.
Wenn die Mittelpunktkoordinaten eines Objekts, welche von mindestens zwei Einzelbildern erlangt worden sind, erlangt werden, kann der Prozessor 260 bezugnehmend auf (b) von 8 eine Bewegungsgeschwindigkeit des erkannten Objekts basierend auf einer Änderung der Mittelpunktkoordinaten berechnen.
Hier sind (X₁, Y₁) die Mittelpunktkoordinaten des ersten Objekts ID1, und (X₂, Y₂) sind die Mittelpunkkoordinaten des zweiten Objekts ID2.
Darüber hinaus kann der Prozessor 260 eine durchschnittliche Bewegungsgeschwindigkeit des Objekts durch Anwenden eines Mittelwertfilters auf die berechnete Bewegungsgeschwindigkeit jedes der Objekte berechnen (siehe die nachstehende Formel). $\begin{array}{l} Durchschnittliche \\ Objektgeschwinidgkeit \end{array} = \frac{\sum_{k = 0}^{n} \begin{matrix} Objekt - \\ geschw . \end{matrix} I D = k}{Gesamtanzahl an Objekten}$
Der Prozessor 260 erkennt Objekte und berechnet die durchschnittliche Bewegungsgeschwindigkeit der erkannten Objekte durch den vorstehenden Prozess für jede Einzelbildeingabe von der Überwachungskamera. Die berechnete durchschnittliche Objektgeschwindigkeit kann dazu verwendet werden, eine Zielverschlussgeschwindigkeit zu berechnen, wie in 9 beschrieben.
Indessen überprüft der Prozessor 260 jedes aufeinanderfolgende Einzelbild, wie zum Beispiel ein aktuelles Bild, ein vorheriges Bild und ein nächstes Bild, und löscht die zugewiesene Objekt-ID, wenn die erkannte Objekt-ID vom Bildschirm verschwindet. Demgemäß kann sich auch die Gesamtanzahl von Objekten verringern. Wenn im Gegensatz dazu ein Objekt, welches im vorherigen Einzelbild noch nicht vorhanden war, neu erkannt wird, weist der Prozessor 260 eine neue Objekt-ID zu, nimmt das Objekt in die durchschnittliche Bewegungsgeschwindigkeit des Objekts auf, und erhöht die Gesamtanzahl von Objekten. Falls die im Einzelbild vorhandene Objekt-ID 0 ist, so bestimmt der Prozessor 260, dass im erfassten Bild kein Objekt vorhanden ist.
9 ist ein Diagramm, welches eine Beziehung zwischen der durchschnittlichen Bewegungsgeschwindigkeit eines Objekts und der Verschlussgeschwindigkeit, welche automatischer Belichtung unterzogen werden soll, im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
Bezugnehmend auf 9 ist eine Grafik im Zusammenhang mit der Verschlussgeschwindigkeitsberechnungsfunktion offenbart.
Hierbei kann sich die Verschlussgeschwindigkeit, welche der durchschnittlichen Bewegungsgeschwindigkeit des Objekts entspricht, auf die Zielverschlussgeschwindigkeit beziehen, welche tatsächlich für die automatische Belichtung (AE) anzuwenden ist. Wenn sich die durchschnittliche Bewegungsgeschwindigkeit des Objekts erhöht, nimmt die Bewegungsunschärfe zu. Darüber hinaus tritt Bewegungsunschärfe in der Regel in dem Umfang auf, welcher einer Entfernung entspricht, über welche sich ein Objekt während eines Bildes bewegt, wenn eine Mindestverschlussgeschwindigkeit verwendet wird. Um den Grad der Bewegungsunschärfe zu überprüfen, ist es daher notwendig das „durchschnittliche Ausmaß der Objektbewegung pro Bild“ zu überprüfen, welches unter Verwendung der nachstehenden Formel (Gleichung 3) überprüft werden kann. $Durchschn . Ausmaß an Objektbewegung / pro 1 Einzelbild = Objektbewegungsgeschwinidgkeit * Einzelbildausgabezeit$
(Einheit: Pixel)
Bei der Mindestverschlussgeschwindigkeit entspricht ein Bild jedoch 1 Bild, wenn 30 Videos ausgegeben werden.
Ein Zielverschlusswert kann berechnet werden, indem eine Belichtungszeit des Verschlusses mit niedriger Geschwindigkeit basierend auf dem „durchschnittlichen Ausmaß der Objektbewegung pro Bild“ in der obigen Gleichung 3 verringert wird, wie in Gleichung 4 gezeigt. Es ist ersichtlich, dass die Verschlussbelichtungszeit umso kürzer wird, je größer die durchschnittliche Bewegungsgeschwindigkeit des Objekts ist, und letztendlich wird der Hochgeschwindigkeitsverschluss der Zielverschlusswert. $\begin{array}{r} V e r s c h l u s s g e s c h w i n d i g k e i t \\ Z i e l \end{array} = \frac{M i n d e s t v e r s c h l u s s g e s c h w i n d i g k e i t}{\begin{matrix} Ausmaß an Objektbewegung \\ pro 1 Einzelbildzeit \end{matrix}} \times \begin{matrix} V i s u e l l e \\ E m p f i n d l i c h k e i t \end{matrix}$
Hierbei ist die Mindestverschlussgeschwindigkeit eine Mindestverschlussgeschwindigkeit (zum Beispiel 1/30 Sek.), und visuelle Empfindlichkeit bezieht sich auf die visuelle Empfindlichkeit im Einklang mit der Auflösung des Bildes.
Indessen kann der Zielverschlussgeschwindigkeits-Berechnungsprozess im Einklang mit der vorstehenden Gleichung 4 auf einen Fall angewendet werden, in welchem ein Objekt erkannt wird, sowie auf einen Fall, in welchem eine Bewegungsgeschwindigkeit des erkannten Objekts eine bestimmte Geschwindigkeit übersteigt.
Falls ein Objekt jedoch nicht erkannt wird oder eine durchschnittliche Bewegungsgeschwindigkeit des erkannten Objekts unter einer bestimmten Geschwindigkeit liegt, kann das Ausmaß der Objektbewegung gesenkt werden, sodass der Mindestverschlussgeschwindigkeitswert auf den Verschluss angewendet werden kann.
Indessen kann ein Mindestverschlusswert (oder eine Mindestverschlussgeschwindigkeit) in Abhängigkeit der Leistung der Überwachungskamera variieren, und im Einklang mit einer Ausführungsform der vorliegenden Offenbarung wird ein Faktor, welcher die Leistung der Überwachungskamera widerspiegelt, in der Verschlussgeschwindigkeitsberechnungsfunktion berücksichtigt. Mit anderen Worten kann im Fall einer High-Pixel-Kamera die visuelle Empfindlichkeit der Bewegungsunschärfe niedriger sein als bei einer Low-Pixel-Kamera, sodass ein einheitlicher visueller Empfindlichkeitswert einer Kamera angewendet wird. In der Realität wird ein Bewegungsausmaß eines Objekts im selben Blickwinkel derart berechnet, dass es für eine Einzelbildzeit in einem High-Pixel-Kamerabild größer ist als in einem Low-Pixel-Kamerabild. Dies rührt daher, dass High-Pixel-Kameras Bilder mit mehr Pixeln ausdrücken als Low-Pixel-Kameras, sogar wenn der Blickwinkel derselbe ist. Wenn das Ausmaß der Objektbewegung groß ist, wird ein Zielverschluss berechnet, welcher größer ist als jener einer Low-Pixel-Kamera, sodass es notwendig ist, einen visuellen Empfindlichkeitswert anzuwenden.
Das Vorstehende betrifft den Prozess des Berechnens des Verschlussgeschwindigkeitswerts im Einklang mit einer Bewegungsgeschwindigkeit (einer durchschnittlichen Bewegungsgeschwindigkeit) des erkannten Objekts. Die berechnete Verschlussgeschwindigkeit kann auf automatische Belichtungssteuerung angewendet werden, und nachfolgend wird eine automatische Belichtungssteuerung im Einklang mit dem Vorhandensein oder Nichtvorhandensein eines Objekts und/oder einer Bewegungsgeschwindigkeit des Objekts durch Widerspiegeln der Überwachungskameraeigenschaften ausführlich beschrieben.
10 ist ein Diagramm, welches einen automatischen Belichtungssteuerungsplan darstellt, welcher unabhängig davon, ob ein Objekt vorhanden ist, nur das Objektnachbild (Bewegungsunschärfe) berücksichtigt. 11 ist ein Diagramm, welches einen Prozess zum Anwenden einer Verschlussgeschwindigkeit im Einklang mit einer Bewegungsgeschwindigkeit eines Objekts auf die automatische Belichtungssteuerung im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt.
Bezugnehmend auf 10 wird eine automatische Belichtungssteuerung in der Regel durch ein Verschluss- und Blendensteuerungsverfahren und ein Sensorverstärkungssteuerungsverfahren in Abhängigkeit von der Helligkeit der Beleuchtung durchgeführt. Bei hellen Beleuchtungsbedingungen wird die Steuerung unter Verwendung des Verschlusses und der Blende durchgeführt (1001 Verschluss-/Blenden-Steuerungsbereich, nachfolgend als ein erster Bereich bezeichnet), und in diesem Fall wird üblicherweise ein Hochgeschwindigkeitsverschluss verwendet, sodass selten Probleme mit Bewegungsunschärfe (Nachbildern) auftreten. Im Fall eines Bereichs, in welchem die Beleuchtung relativ schwach ist (1002 Sensorverstärkungsteuerungsbereich, nachfolgend als ein zweiter Bereich bezeichnet), erfolgt die Steuerung jedoch unter Verwendung einer Sensorverstärkung, und der zweite Bereich ist ein Bereich, in welchem Rauschen im Einklang mit der Sensorverstärkung auftritt. Wird ausschließlich das Rauschen berücksichtigt, könnte somit das Beibehalten einer möglichst niedrigen Verschlussgeschwindigkeit (zum Beispiel 1/30 Sek.) im Sensorverstärkungsbereich in Bezug auf die Bildqualität durch Helligkeitsverbesserung und Rauschunterdrückung vorteilhaft sein. Jedoch kann im Fall von Überwachungskameras die Objekterkennung nur durchgeführt werden, wenn die Bewegungsunschärfe von Objekten sogar bei schwacher Beleuchtung minimiert ist, weswegen so weit wie möglich unbedingt ein Hochgeschwindigkeitsverschluss beizubehalten ist.
10 zeigt einen AE-Steuerungsplan, welcher in einer konventionellen Kamera in Verwendung ist. In einem Fall, in welchem unter Berücksichtigung der Bewegungsunschärfe im zweiten Bereich 1002 eher ein Hochgeschwindigkeitsverschluss 1010 (1/200 Sek.) als ein Verschluss mit niedriger Geschwindigkeit (1/30 Sek.) verwendet wird, und wenn sich zugleich das Ausmaß der Verstärkung des Bildsensors erhöht, wird die Geschwindigkeit allmählich bis zu einem Verschluss mit niedriger Geschwindigkeit (1/30 Sek.) verringert, wobei in der Regel trotzdem soweit wie möglich der Hochgeschwindigkeitsverschlussbereich beibehalten wird. Da dieser jedoch einen Hochgeschwindigkeitsverschluss (1/200 Sek.) vom Beginn des zweiten Bereichs an verwendet, besteht das Problem, dass die Sensorverstärkung hinzugefügt wird und auf dem Bild ein verstärktes Rauschen auftritt. Dies rührt daher, dass die Mindestverschlussgeschwindigkeit vom Ausgangspunkt des zweiten Bereichs 1002 an, wo unabhängig davon, ob ein Objekt vorhanden ist, nur die Bewegungsunschärfe oberste Priorität hat, auf einen Hochgeschwindigkeitsverschluss (1/200 Sek.) beschränkt ist.
Indessen wendet der Prozessor 260 der Überwachungskamera unter Bezugnahme auf 11 variabel einen Zielverschlusswert (siehe 9), welcher im Einklang mit einer durchschnittlichen Objektbewegungsgeschwindigkeit berechnet wird, auf einen ursprünglichen Startverschlusswert eines Startbereichs des zweiten Bereichs 1002 an, um die Probleme des Rauschens und der Bewegungsunschärfe im zweiten Bereich 1002 gleichzeitig zu lösen.
Wenn, bezugnehmend auf 11, ein Objekt vorhanden ist und eine Menge an Bewegung stattfindet, so kann der Prozessor 260 die Zielverschlussgeschwindigkeit in Richtung einer hohen Verschlussgeschwindigkeit (zum Beispiel 1/300 Sek. oder mehr) variieren, und wenn kein Objekt vorhanden ist oder wenig Bewegung stattfindet, kann der Prozessor 260 die Zielverschlussgeschwindigkeit in Richtung einer niedrigen Verschlussgeschwindigkeit (1/30 Sek.) variieren und diese variierte Verschlussgeschwindigkeit ab dem Start der zweiten Bereichssteuerung anwenden. Der Hochgeschwindigkeitsverschlusswert von 1/300 Sek. und der Verschlusswert mit niedriger Geschwindigkeit von 1/30 Sek. sind Beispielwerte, und der Verschlusswert kann im Bereich von 1/300 Sek. und 1/30 Sek. in Abhängigkeit von der Bewegungsgeschwindigkeit des Objekts dynamisch variiert werden.
Wenn demgemäß ein Objekt vorhanden ist oder die durchschnittliche Bewegungsgeschwindigkeit des Objekts hoch ist, so kann das Objekt ohne Bewegungsunschärfe überwacht werden, da der Hochgeschwindigkeitsverschluss vom Start der Sensorverstärkungssteuerung an angewendet wird. Wenn darüber hinaus kein Objekt vorhanden ist oder die durchschnittliche Bewegungsgeschwindigkeit des Objekts niedrig ist, wird ab dem Start der Sensorverstärkungssteuerung der Verschluss mit niedriger Geschwindigkeit angewendet, welcher den Vorteil aufweist, dass er in der Lage ist, eine Bildqualität der Überwachung mit geringem Rauschen bereitzustellen. Das bedeutet, im Einklang mit einer Ausführungsform der vorliegenden Offenbarung wird die Zielverschlussgeschwindigkeit am Ausgangspunkt der Sensorverstärkungssteuerung im Einklang mit dem Vorhandensein oder Nichtvorhandensein des Objekts und dem Bewegungsausmaß des erkannten Objekts (einer Bewegungsgeschwindigkeit des Objekts), falls das Objekt vorhanden ist, variabel angewendet, wodurch ein Überwachen mit verringertem Rauschen und minimierter Bewegungsunschärfe erfolgt.
12 ist ein Flussdiagramm eines Verfahrens zum Steuern einer Verschlussgeschwindigkeit in einem Bereich mit schwacher Beleuchtung in einem Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung.
Im Einklang mit einer Ausführungsform steuert der Prozessor 260 der Überwachungskamera die Verschlussgeschwindigkeit basierend auf dem Vorhandensein oder Nichtvorhandensein eines Objekts und/oder dem Bewegungsausmaß des Objekts, und kann im Einklang mit einer Beleuchtungsumgebung, in welcher das Objekt erkannt wird, ein anderes Verfahren zum Berechnen der Verschlussgeschwindigkeit anwenden.
Bezugnehmend auf 12 erkennt der Prozessor 260 ein Objekt in einem Einzelbild durch KI-Bildanalyse (S1210). Der Prozessor 260 erfasst eine durchschnittliche Bewegungsgeschwindigkeit des Objekts basierend auf Objektinformationen, welche sowohl im ersten Einzelbild als auch im zweiten Einzelbild erkannt werden (S1220). Darüber hinaus kann der Prozessor 260 einen Zielverschlusswert entsprechend der durchschnittlichen Bewegungsgeschwindigkeit des Objekts berechnen (S1230). S1210 bis S1230 können auf dieselbe Weise angewendet werden, wie oben unter Bezugnahme auf die 5 bis 9 beschrieben.
Der Prozessor 260 analysiert eine Beleuchtungsumgebung zu dem Zeitpunkt, an welchem die Überwachungskamera ein Bild erfasst (oder ein Objekt in dem Bild erkennt), und wenn bestimmt worden ist, dass das Objekt im Bereich schwacher Beleuchtung erkannt worden ist (S1240: Y), kann der Prozessor 260 einen Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs als einen ersten Verschlusswert festlegen (S1250). Hierbei ist der erste Verschlusswert ein Hochgeschwindigkeitsverschlusswert, und der Prozessor 260 kann zum Beispiel festlegen, dass ein Verschlusswert von 1/300 Sek. oder mehr anzuwenden ist. Natürlich kann sogar in diesem Fall der Prozessor 260 den Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs im Einklang mit der Bewegungsgeschwindigkeit des Objekts variabel festlegen, indem der Verschlusswert auf 1/200 Sek. als einen Mindestverschlusswert festgelegt wird.
Falls darüber hinaus ermittelt wird, dass die Beleuchtungsumgebung in einem Bereich hoher Intensität angeordnet ist, wenn die Überwachungskamera das Bild erfasst (oder ein Objekt im Bild erkennt), so kann der Prozessor 260 den Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs als einen zweiten Verschlusswert festlegen (S1260). Hierbei ist der zweite Verschlusswert ein niedrigerer Verschlusswert als der erste Verschlusswert, aber da ein Objekt (oder eine Bewegung eines Objekts) vorhanden ist, kann der Verschlusswert derart festgelegt werden, dass er Bewegungsunschärfe minimiert (zum Beispiel auf 1/200 Sek.).
13 ist ein Flussdiagramm eines automatischen Belichtungssteuerungsverfahrens in einem Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung.
Bezugnehmend auf 13 erkennt der Prozessor 260 ein Objekt in einem Einzelbild durch KI-Bildanalyse (S1310). Der Prozessor 260 erfasst eine durchschnittliche Bewegungsgeschwindigkeit des Objekts basierend auf Objektinformationen, welche sowohl im ersten Einzelbild als auch im zweiten Einzelbild erkannt werden (S1320). Darüber hinaus kann der Prozessor 260 einen Zielverschlusswert entsprechend der durchschnittlichen Bewegungsgeschwindigkeit des Objekts berechnen (S1330). S 1310 bis S1330 können auf dieselbe Weise angewendet werden, wie oben unter Bezugnahme auf die 5 bis 9 beschrieben.
Indessen kann der Prozessor 260 ermitteln, ob der Sensorverstärkungssteuerungsbereich bereits erreicht worden ist (S 1340). Das Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung kann den Grad, bis zu welchem der Verschluss mit einer hohen Geschwindigkeit betrieben wird, im Einklang mit der Bewegung von Objekten in einer schwach beleuchteten Umgebung variieren. Wenn der Prozessor 260 durch Überprüfen der Beleuchtung ermittelt hat, dass der Sensorverstärkungssteuerungsbereich bereits erreicht worden ist, steuert der Prozessor 260 demgemäß die ursprüngliche Verschlussgeschwindigkeit am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs, um diese im Einklang mit der Bewegungsgeschwindigkeit des Objekts variabel anzuwenden (S1350).
Indessen kann der Prozessor 260 wirksam das Rauschen und die Bewegungsunschärfe steuern, indem er einen Verschluss mit niedriger Geschwindigkeit verwendet, wenn die Bewegungsgeschwindigkeit des Objekts sehr niedrig ist (was dem Fall entspricht, in welchem gar kein Objekt vorhanden ist).
14 und 15 sind Diagramme, welche einen automatischen Belichtungsplan darstellen, welcher den ursprünglichen Verschlusswert des Sensorverstärkungssteuerungsbereichs in Abhängigkeit vom Vorhandensein oder Nichtvorhandensein eines Objekts im Einklang mit einer Ausführungsform der vorliegenden Offenbarung variabel anwendet.
14 zeigt ein erste automatische Belichtungssteuerungskurve 1430, wenn eine Bewegung des Objekts vorhanden ist, und eine zweite automatische Belichtungssteuerungskurve 1440, wenn kein Objekt vorhanden ist (beziehungsweise eine Bewegungsgeschwindigkeit des Objekts auf oder unter einem bestimmten Wert liegt), wobei die beiden Kurven ein Ergebnis des Erkennens eines Objekts durch KI-Bildanalyse im Einklang mit einer Ausführungsform der vorliegenden Offenbarung sind. In der automatischen Belichtungssteuerungsgrafik ist somit die horizontale Achse die Beleuchtung, und die vertikale Achse ist eine Verschlussgeschwindigkeit, welche für die automatische Belichtungssteuerung angewendet wird. In Abhängigkeit von der Beleuchtung ist die horizontale Achse in einen Verschluss-/Blenden-Steuerungsbereich 1001 und einen Sensorverstärkungssteuerungsbereich 1002 unterteilt. Das Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung kann sowohl auf den Sensorverstärkungssteuerungsbereich 1002 als auch auf den Verschluss-/Blenden-Steuerungsbereich 1001 angewendet werden, kann jedoch besonders nützlich sein, wenn es dafür angewendet wird, eine Verschlussgeschwindigkeit am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs 1002 zu bestimmten, um Rauschen und Bewegungsunschärfe im Sensorverstärkungssteuerungsbereich 1002 zu minimieren.
Die Verschlussgeschwindigkeit am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs kann durch die oben beschriebene erste automatische Belichtungsteuerungskurve 1430 und zweite automatische Belichtungssteuerungskurve 1440 erlangt werden. Falls ein Bild einer Überwachungskamera kein Objekt aufweist, wird der Mindestverschlusswert (1420, zum Beispiel 1/30 Sek.) für die Verschlussgeschwindigkeit am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs im Einklang mit der zweiten automatischen Belichtungsteuerungskurve (1440) angewendet. Falls das Bild der Überwachungskamera ein Objekt aufweist, kann der maximale Hochgeschwindigkeitsverschlusswert (1410, zum Beispiel 1/300 Sek. oder mehr) als die Verschlussgeschwindigkeit am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs im Einklang mit der ersten automatischen Belichtungsteuerungskurve (1430) angewendet werden.
Die durchschnittliche Bewegungsgeschwindigkeit des Objekts, welches im Bild der Überwachungskamera angeordnet ist, kann indes variieren, und der Prozessor 260 kann einen Bereich zwischen der ersten automatischen Belichtungsteuerungskurve 1430 und der zweiten automatischen Belichtungsteuerungskurve 1440 als einen variablen Bereich für die Verschlussgeschwindigkeit des Ausgangspunkts des Sensorverstärkungssteuerungsbereichs im Einklang mit der variablen durchschnittlichen Bewegungsgeschwindigkeit des Objekts festlegen und die Verschlussgeschwindigkeit derart steuern, dass sie variiert, wenn die Bewegungsgeschwindigkeit des Objekts variiert.
1510 in 15 kann ein Verschlusswert erlangt durch Anwenden der Objekterkennung und der durchschnittlichen Bewegungsgeschwindigkeit des Objekts auf die automatische Belichtungssteuerung durch KI-Bildanalyse im Einklang mit einer Ausführungsform der vorliegenden Offenbarung sein, und 1520 kann ein Verschlusswert sein, welcher erlangt wird, wenn ein Objekt durch einen allgemeinen Objekterkennungsalgorithmus anstatt der KI-Bildanalyse erkannt wird. Das bedeutet, wenn die durchschnittliche Bewegungsgeschwindigkeit eines erkannten Objekts im Einklang mit einer Ausführungsform der vorliegenden Offenbarung in Echtzeit über das Konzept der Objekterkennung hinaus variiert, können Rauschen und Bewegungsunschärfe minimiert werden, indem der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs präzise angepasst wird.
Falls darüber hinaus die Verschlussgeschwindigkeit am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs hoch ist, kann eine relativ hohe Verschlussgeschwindigkeit für Bedingungen mit extrem schwacher Beleuchtung in einer schwach beleuchteten Umgebung beibehalten werden. Da im Verschluss-/Blenden-Steuerungsbereich 1001 ein Verschluss mit relativ hoher Geschwindigkeit verwendet wird, kann die Bewegungsunschärfe darüber hinaus weiter verbessert werden.
16 ist ein Diagramm, welches automatische Belichtungssteuerung in Abhängigkeit davon, ob sich ein Objekt in einem Bereich mit geringer Beleuchtung bewegt, im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt, und 17 ist ein Diagramm, welches automatische Belichtungssteuerung in Abhängigkeit davon, ob sich ein Objekt in einem Bereich mit guter Beleuchtung bewegt, darstellt.
Wenn, bezugnehmend auf 16, der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs 1/300 Sek. beträgt, steuert der Prozessor 260 eher den Hochgeschwindigkeitsverschluss (1620, 1/200 Sek.) als den Verschlusswert mit niedriger Geschwindigkeit (1610, 1/30 Sek.), damit dieser beibehalten wird, sogar wenn die Sensorverstärkung auf 40 dB verstärkt wird.
Bezugnehmend auf 17 ist 1710 ein Verschlusswert (1/300 Sek.) am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs, wenn sich das Objekt schnell bewegt, 1720 ist ein Verschlusswert, wenn sich das Objekt im Bereich mit guter Beleuchtung schnell bewegt, und 1730 ist ein Verschlusswert, wenn sich im hell beleuchteten Bereich wenig Bewegung des Objekts zeigt. Mit anderen Worten kann der Prozessor 260 verschiedene Verschlusswerte in Abhängigkeit vom Grad der Bewegung des Objekts nicht nur im Bereich schwacher Beleuchtung, sondern auch im Bereich guter Beleuchtung anwenden, und wenn sich das Objekt bewegt, wird der Hochgeschwindigkeitsverschluss im entsprechenden Verhältnis angewendet, wodurch ein klares Bild ohne Bewegungsunschärfe erlangt werden kann.
18 ist ein Diagramm, welches automatische Belichtungssteuerung im Einklang mit einer Ausführungsform der vorliegenden Offenbarung darstellt, wenn kein Objekt vorhanden ist oder eine Bewegungsgeschwindigkeit des Objekts niedrig ist.
Bezugnehmend auf 18 ist 1810 ein Verschlusswert (1/200 Sek.) am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs, wenn das Verarbeitungsverfahren für ein Bild einer Überwachungskamera im Einklang mit einer Ausführungsform der vorliegenden Offenbarung nicht angewendet wird. Das bedeutet, in der Regel ist der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs unabhängig vom Vorhandensein oder Nichtvorhandensein eines Objekts und/oder einer Bewegungsgeschwindigkeit des Objekts unter Berücksichtigung der Eigenschaften der Überwachungskamera auf einen festen Wert eines Verschlusswerts mit relativ hoher Geschwindigkeit (1/200 Sek.) eingestellt. Falls jedoch gemäß KI-Bildanalyse kein Objekt vorhanden ist oder falls eine Geschwindigkeit eines vorhandenen Objekts sehr niedrig ist, wird der Verschlusswert am Ausgangspunkt der Sensorverstärkung im Einklang mit einer Ausführungsform der vorliegenden Offenbarung auf einem Verschlusswert mit niedriger Geschwindigkeit gehalten (1820, 1/30 Sek.). Demzufolge ist das Ausmaß der Verstärkung relativ gering, was den Vorteil mit sich bringt, dass weniger Rauschen verursacht wird, sowie eine Bandbreite beim Übertragen eines Bilds gesenkt wird.
Im Unterschied zur herkömmlichen automatischen Belichtungssteuerung, welche den Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs unabhängig vom Vorhandensein eines Objekts und/oder dem Grad der Bewegung des Objekts als einen festen Wert anwendet, ist der Verschlusswert am Ausgangspunkt des Sensorverstärkungsteuerungsbereichs daher im Einklang mit einer Ausführungsform der vorliegenden Offenbarung derart festgelegt, dass er höher ist als der feste Wert, wenn die Bewegungsgeschwindigkeit des Objekts zunimmt, und ferner kann der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs derart festgelegt werden, dass er niedriger ist als der feste Wert, falls kein Objekt vorhanden ist (einschließlich jener Fälle, in welchen die Bewegung des Objekts sehr gering ist).
19 zeigt einen Vergleich zwischen einem Fall (a), in welchem ein allgemeiner Verschlusswert angewendet wird, und einem Bild (b), welches als ein Ergebnis der Verwendung automatischer KI-Objekterkennung und eines Hochgeschwindigkeitsverschlusses im Einklang mit einer Ausführungsform der vorliegenden Offenbarung erfasst worden ist. Wobei (b) im Verhältnis weniger Bewegungsunschärfe aufweist als (a) und aufgrund des minimierten Rauschens ein klareres Bild sein kann.
Vorstehend wurde der automatische Belichtungssteuerungsprozess beschrieben, welcher Rauscheffekte und Bewegungsunschärfeeffekte durch variables Steuern der Verschlussgeschwindigkeit im Einklang mit dem Vorhandensein oder Nichtvorhandensein eines Objekts und der Bewegungsgeschwindigkeit des Objekts mittels auf künstlicher Intelligenz basierender Objekterkennung minimiert. Obwohl in der vorliegenden Offenbarung die Anwendung eines KI-basierten Objekterkennungsalgorithmus beschrieben ist, kann künstliche Intelligenz auch im Prozess des Berechnens eines Zielverschlusswerts im Einklang mit einer durchschnittlichen Bewegungsgeschwindigkeit des erkannten Objekts angewendet werden. Im Einklang mit einer Ausführungsform weist eine Zielverschlusswertberechnungsfunktion im Einklang mit der durchschnittlichen Bewegungsgeschwindigkeit des Objekts wie oben beschrieben die Leistungsinformationen der Kamera (visuelle Empfindlichkeit im Einklang mit einer Auflösung eines Bilds) und das Bewegungsausmaß des Objekts während einer Einzelbildzeit (eine Bewegungsgeschwindigkeit des Objekts) als Variablen auf. Demgemäß kann die Überwachungskamera, welche auf eine Ausführungsformen der vorliegenden Offenbarung angewendet wird, ein Lernmodell erzeugen, indem das Lernmodell durch Festlegen der Kameraleistungsinformationen und der Geschwindigkeitsinformationen des Objekts, welches ohne Bewegungsunschärfe erkannt werden kann, als Lerndaten trainiert wird. Wenn der Bewegungsgeschwindigkeitswert eines Objekts als Eingabedaten eingegeben wird, kann das Lernmodell automatisch einen Zielverschlusswert im Einklang mit der Bewegungsgeschwindigkeit berechnen, und der Zielverschlusswert ist ein Verschlusswert, welcher Rauschen und Bewegungsunschärfe in Abhängigkeit von den Beleuchtungsbedingungen minimiert.
Darüber hinaus steuert der Prozessor der Überwachungskamera im Einklang mit einer Ausführungsform den Echtzeitverschlusswert, indem er die automatische Belichtungssteuerungsfunktion (eine automatische Belichtungsteuerungskurve), welche auf das Festlegen des Verschlusswerts in Echtzeit angewendet wird, verändert, wenn sich auch die oben beschriebene durchschnittliche Bewegungsgeschwindigkeit des Objekts in Echtzeit verändert.
Die oben beschriebene vorliegende Offenbarung kann als ein computerlesbarer Code in einem Medium, in welchem ein Programm aufgezeichnet ist, umgesetzt sein. Das computerlesbare Medium umfasst jede beliebige Art von Aufzeichnungsvorrichtung, in welcher Daten, welche durch ein Computersystem ausgelesen werden können, gespeichert sind. Das computerlesbare Medium kann zum Beispiel ein Festplattenlaufwerk (HDD), eine Solid-State-Festplatte (SSD), ein Siliziumscheibenlaufwerk (SDD), ein ROM, ein RAM, eine CD-ROM, ein Magnetband, eine Diskette, eine optische Datenspeichervorrichtung und dergleichen sein. Das computerlesbare Medium kann auch Umsetzungen in der Form von Trägerwellen (zum Beispiel Übertragung über das Internet) umfassen. Ferner kann der Computer auch die Steuerung 180 des Terminals aufweisen. Somit ist die vorstehende ausführliche Beschreibung in keinem ihrer Aspekte als einschränkend auszulegen und sollte als veranschaulichend betrachtet werden. Der Umfang der vorliegenden Offenbarung sollte durch eine sinnvolle Auslegung der beigefügten Ansprüche festgelegt werden, und sämtliche Modifikationen innerhalb eines gleichwertigen Bereichs sind im Umfang der vorliegenden Offenbarung eingeschlossen.
[Industrielle Anwendbarkeit]
Diese Patentschrift kann auf Dienstleistungsbereiche angewendet werden, in welchen Überwachungsvideokameras, Überwachungsvideokamerasysteme und sonstige Überwachungsvideovorrichtungen etc. verwendet werden.

Claims

Verarbeitungsvorrichtung für ein Bild einer Überwachungskamera, die Verarbeitungsvorrichtung aufweisend: eine Bilderfassungseinheit; und einen Prozessor, welcher dafür eingerichtet ist, eine Steuerung durchzuführen, um ein Objekt in einem durch die Bilderfassungseinheit erlangten Bild zu erkennen, einen Zielverschlusswert entsprechend einer Bewegungsgeschwindigkeit des Objekts zu berechnen, und einen Verschlusswert an einem Ausgangspunkt eines Sensorverstärkungssteuerungsbereichs in einem automatischen Belichtungssteuerungsprozess basierend auf dem berechneten Zielverschlusswert zu bestimmen, wobei der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs derart festgelegt ist, dass er in Abhängigkeit von der Bewegungsgeschwindigkeit des Objekts zwischen einem ersten Verschlusswert und einem zweiten Verschlusswert, welcher niedriger ist als der erste Verschlusswert, variiert.
Verarbeitungsvorrichtung nach Anspruch 1, wobei der Prozessor das Objekt durch Anwenden eines auf Deep-Learning-Verfahren basierenden YOLO-Algorithmus (You Only Look Once-Algorithmus) erkennt.
Verarbeitungsvorrichtung nach Anspruch 2, wobei der Prozessor jedem erkannten Objekt eine ID (Identifikation) zuweist, Koordinaten des Objekts extrahiert, und basierend auf den Koordinateninformationen des Objekts, welche in einem ersten Einzelbild enthalten sind, und mit geringerer Priorität als für das erste Einzelbild in einem zweiten Einzelbild enthalten sind, eine durchschnittlichen Bewegungsgeschwindigkeit des Objekts berechnet.
Verarbeitungsvorrichtung nach Anspruch 3, wobei der Zielverschlusswert basierend auf einem Bewegungsausmaß des Objekts während einer Einzelbildzeit in Bezug auf eine Mindestverschlussgeschwindigkeit der Überwachungskamera und einer Auflösung des Bilds der Überwachungskamera berechnet wird.
Verarbeitungsvorrichtung nach Anspruch 4, wobei der Prozessor ein Lernmodell trainiert, indem er Leistungsinformationen, welche der Auflösung des Bilds der Überwachungskamera entsprechen, und Geschwindigkeitsinformationen des Objekts, welches ohne Bewegungsunschärfe erkennbar ist, als Lerndaten festlegt, und den Zielverschlusswert basierend auf dem Lernmodell, welches die Bewegungsgeschwindigkeit des Objekts als Eingabedaten verwendet und den Zielverschlusswert im Einklang mit der Bewegungsgeschwindigkeit des Objekts automatisch berechnet, berechnet.
Verarbeitungsvorrichtung nach Anspruch 1, wobei der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs derart festgelegt ist, dass er mit dem ersten Verschlusswert konvergiert, wenn die Bewegungsgeschwindigkeit des Objekts höher ist, und derart festgelegt ist, dass er mit dem zweiten Verschlusswert konvergiert, wenn die Bewegungsgeschwindigkeit des Objekts niedriger ist.
Verarbeitungsvorrichtung nach Anspruch 1, wobei der erste Verschlusswert 1/300 Sek. oder mehr beträgt, und der zweite Verschlusswert 1/30 Sek. beträgt.
Verarbeitungsvorrichtung nach Anspruch 1, wobei im automatischen Belichtungssteuerungsprozess die Verschlussgeschwindigkeit in einem Bereich mit schwacher Beleuchtung, welcher dem Sensorverstärkungssteuerungsbereich entspricht, und einem Bereich mit guter Beleuchtung unter Verwendung einer Blende und eines Verschlusses gesteuert wird, der Zielverschlusswert im Einklang mit einem automatischen Belichtungssteuerungsplan gesteuert wird, welcher umgekehrt proportional ist, wenn ein Ausmaß der Sensorverstärkung zunimmt, indem es den Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs weitergibt, und der automatische Belichtungssteuerungsplan derart festgelegt ist, dass sich der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs erhöht, wenn die Bewegungsgeschwindigkeit des Objekts zunimmt.
Verarbeitungsvorrichtung nach Anspruch 1, ferner aufweisend: eine Kommunikationseinheit, wobei der Prozessor Bilddaten, welche durch die Bilderfassungseinheit erlangt werden, durch die Kommunikationseinheit zu einem externen Server überträgt, und Objekterkennungsergebnisse basierend auf künstlicher Intelligenz durch die Kommunikationseinheit vom externen Server empfängt.
Verarbeitungsvorrichtung für ein Bild einer Überwachungskamera, wobei die Verarbeitungsvorrichtung umfasst: eine Bilderfassungseinheit; und einen Prozessor, der so konfiguriert ist, dass er ein Objekt in einem von der Bilderfassungseinheit erfassten Bild erkennt, eine Bewegungsgeschwindigkeit des erkannten Objekts berechnet und einen Verschlusswert entsprechend der Bewegungsgeschwindigkeit des Objekts variabel steuert, wobei der Prozessor das von der Bilderfassungseinheit erfasste Bild als Eingabedaten festlegt, die Objekterkennung als Ausgabedaten festlegt und ein zuvor trainiertes neuronales Netzwerkmodell anwendet, um das Objekt zu erkennen.
Die Verarbeitungsvorrichtung nach Anspruch 10, wobei wenn mindestens ein Objekt erkannt wird und eine durchschnittliche Bewegungsgeschwindigkeit des Objekts einen vorbestimmten Schwellenwert überschreitet, der Prozessor einen ersten Verschlusswert anwendet, der einem maximalen Verschlusswert entspricht, und wenn kein Objekt vorhanden ist, der Prozessor einen zweiten Verschlusswert anwendet, der einem minimalen Verschlusswert entspricht.
Verarbeitungsvorrichtung nach Anspruch 11, wobei der Prozessor einen Verschlusswert in einem Abschnitt zwischen dem ersten Verschlusswert und dem zweiten Verschlusswert gemäß einer durchschnittlichen Bewegungsgeschwindigkeit des Objekts variabel anwendet.
Ein Überwachungskamerasystem, das Folgendes umfasst: eine Überwachungskamera, die so konfiguriert ist, dass sie ein Bild eines Überwachungsbereichs aufnimmt; und eine Datenverarbeitungsvorrichtung, die so konfiguriert ist, dass sie das von der Überwachungskamera aufgenommene Bild über eine Kommunikationseinheit empfängt, ein Objekt in dem Bild durch einen auf künstlicher Intelligenz basierenden Objekterkennungsalgorithmus erkennt, einen Verschlusswert berechnet, der einer Bewegungsgeschwindigkeit des erkannten Objekts entspricht, und den berechneten Verschlusswert an die Überwachungskamera überträgt, wobei der Shutterwert in einem Abschnitt zwischen einem ersten Shutterwert und einem zweiten Shutterwert, der einem minimalen Shutterwert entspricht, gemäß einer durchschnittlichen Bewegungsgeschwindigkeit des Objekts variiert.
Verarbeitungsverfahren für ein Bild einer Überwachungskamera, das Verarbeitungsverfahren umfassend: Erkennen eines Objekts in einem Bild, welches durch eine Bilderfassungseinheit erlangt worden ist; Berechnen eines Zielverschlusswerts, welcher einer Bewegungsgeschwindigkeit des erkannten Objekts entspricht; und Bestimmen eines Verschlusswert an einem Ausgangspunkt eines Sensorverstärkungssteuerungsbereichs in einem automatischen Belichtungssteuerungsprozess basierend auf dem berechneten Zielverschlusswert, wobei der Verschlusswert am Ausgangspunkt des Sensorverstärkungssteuerungsbereichs derart festgelegt wird, dass er in Abhängigkeit von der Bewegungsgeschwindigkeit des Objekts zwischen einem ersten Verschlusswert und einem zweiten Verschlusswert, welcher niedriger ist als der erste Verschlusswert, variiert.
Das Verarbeitungsverfahren nach Anspruch 14, wobei, bei der Erkennung des Objekts, das Objekt durch Anwendung eines auf tiefem Lernen basierenden YOLO-Algorithmus (You Only Look Once) erkannt wird.
Das Verarbeitungsverfahren nach Anspruch 15, ferner umfassend: Zuordnen einer ID zu jedem erkannten Objekt und Extrahieren von Koordinaten des Objekts; und Berechnen einer durchschnittlichen Bewegungsgeschwindigkeit des Objekts auf der Grundlage der Koordinateninformationen des Objekts, die in einem ersten Bildrahmen und einem zweiten Bildrahmen mit niedrigerer Priorität als der erste Bildrahmen enthalten sind.
Verarbeitungsverfahren nach Anspruch 16, wobei der Zielverschlusswert auf der Grundlage eines Bewegungsbetrags des Objekts während einer Bildzeit in Bezug auf eine minimale Verschlussgeschwindigkeit der Überwachungskamera und die Auflösung des Bildes der Überwachungskamera berechnet wird.
Das Verarbeitungsverfahren nach Anspruch 17, wobei das Berechnen des Zielverschlusswertes umfasst Trainieren eines Lernmodells durch Einstellen von Leistungsinformationen, die der Auflösung des Überwachungskamerabildes entsprechen, und von Geschwindigkeitsinformationen des ohne Bewegungsunschärfe erkennbaren Objekts als Lerndaten, und Berechnen des Zielverschlusswerts auf der Grundlage des Lernmodells, das die Bewegungsgeschwindigkeit des Objekts als Eingabedaten verwendet und den Zielverschlusswert automatisch entsprechend der Bewegungsgeschwindigkeit des Objekts berechnet.
Verarbeitungsverfahren nach Anspruch 14, wobei der Verschlusswert am Startpunkt des Sensorverstärkungssteuerungsabschnitts so bestimmt wird, dass er auf den ersten Verschlusswert konvergiert, wenn die Bewegungsgeschwindigkeit des Objekts schneller ist, und so bestimmt wird, dass er auf den zweiten Verschlusswert konvertiert, wenn die Bewegungsgeschwindigkeit des Objekts langsamer ist.
Verarbeitungsverfahren nach Anspruch 14, wobei der erste Verschlusswert 1/300 s oder mehr und der zweite Verschlusswert 1/30 s beträgt.