DE112016005412T5

DE112016005412T5 - Überwachungsvorrichtung, Überwachungssystem und Überwachungsverfahren

Info

Publication number: DE112016005412T5
Application number: DE112016005412.2T
Authority: DE
Inventors: Yuichi Matsumoto; Yoshiyuki Kamino; Takeshi Watanabe
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2015-11-27
Filing date: 2016-11-11
Publication date: 2018-09-06
Also published as: US20180359449A1; WO2017090238A1; JP2017098879A; GB2557847A; CN108293105A; GB201806567D0; SG11201803937TA; CN108293105B; JP6504364B2

Abstract

Zusätzlich zum Schützen der Privatsphäre von Individuen ist es möglich, ein Überwachungsbild anzuzeigen, aus welchem eine Überfüllungssituation in einer Einrichtung intuitiv erfasst werden kann. Die Überwachungsvorrichtung der vorliegenden Offenbarung umfasst eine erste Verarbeitungseinheit (42), die Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf einem aufgenommenen Bild erscheint, am aufgenommenen Bild durchführt, das von der Abbildungseinheit (21) aufgenommen wird, eine zweite Verarbeitungsvorrichtung (43), die ein sich bewegendes Objekt aus dem aufgenommenen Bild detektiert, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und eine Bildausgabesteuerung (44), die das Überwachungsbild erzeugt und ausgibt, auf welchem das durch die zweite Verarbeitungsvorrichtung (43) erzeugte Maskenbild auf das durch die erste Verarbeitungseinheit (42) erzeugte identifizierbarkeitsreduzierte aufgesetzt ist.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Überwachungsvorrichtung, ein Überwachungssystem und ein Überwachungsverfahren zum Erzeugen und Ausgeben eines Überwachungsbildes, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird.
STAND DER TECHNIK
In einer Einrichtung, wie beispielsweise einem Bahnhof und einer Veranstaltungshalle, wurde ein Kontrollsystem eingesetzt, das mit Kameras Bilder in der Einrichtung macht und die Situation in der Einrichtung mit den Bildern der Kameras überwacht, aber wenn die durch die in der Einrichtung installierten Kameras aufgenommenen Bilder an allgemeine Benutzer im Internet verteilt werden, können die Benutzer die Überfüllungssituation in der Einrichtung und dergleichen bestätigen, ohne den Ort zu besuchen, so dass der Komfort der Benutzer verbessert werden kann.
Hierbei ist es kein Problem, wenn Bilder von Kameras für Überwachungszwecke zur Verbrechensbekämpfung und Katstrophenverhütung verwendet werden, aber wenn die Bilder der Kameras an allgemeine Benutzer verteilt werden, ist es wünschenswert, die Privatsphäre von Menschen zu schützen.
In Reaktion auf solch einen Wunsch, die Privatsphäre von Menschen zu schützen, ist im Stand der Technik eine Technik zum Durchführen von Bildverarbeitung (Privatsphärenmaskenverarbeitung), wie beispielsweise Mosaikverarbeitung und Unschärfeverarbeitung, an einem Bereich, in welchem das Gesicht der Person auf den Bildern der Kamera erkannt wird, oder der ganzen Bilder der Kamera bekannt (siehe PTL 1).
Zitationsliste
Patentliteratur
PTL 1: Ungeprüfte japanische Patentschrift Nr. 5088161
KURZDARSTELLUNG DER ERFINDUNG
Die Überwachungsvorrichtung der vorliegenden Offenbarung umfasst einen Prozessor, wobei die Überwachungsvorrichtung ein Überwachungsbild erzeugt und ausgibt, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, und der Prozessor Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild durchführt, ein sich bewegendes Objekt aus dem aufgenommenen Bild detektiert, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und das Überwachungsbild erzeugt und ausgibt, auf welchem das Maskenbild auf das identifizierbarkeitsreduzierte Bild aufgesetzt ist.
Außerdem ist das Überwachungssystem der vorliegenden Offenbarung ein Überwachungssystem, das ein Überwachungsbild erzeugt, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, um das Bild an eine Benutzerendgerätevorrichtung zu verteilen, und eine Kamera, die den Zielbereich abbildet, eine Servervorrichtung, die das Überwachungsbild an die Benutzerendgerätevorrichtung verteilt, und eine Benutzerendgertevorrichtung umfasst, wobei entweder die Kamera oder die Servervorrichtung Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild durchführt, ein sich bewegendes Objekt aus dem aufgenommenen Bild detektiert, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und das Überwachungsbild erzeugt und ausgibt, auf welchem das Maskenbild auf das identifizierbarkeitsreduzierte Bild aufgesetzt ist.
Außerdem ist das Überwachungsverfahren der vorliegenden Offenbarung ein Überwachungsverfahren zum Veranlassen einer Informationsverarbeitungsvorrichtung, ein Überwachungsbild zu erzeugen und auszugeben, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, und umfasst ein Durchführen von Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild, Detektieren eines sich bewegenden Objekts aus dem aufgenommenen Bild, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und Detektieren eines sich bewegenden Objekts aus dem aufgenommenen Bild, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und Erzeugen und Ausgeben des Überwachungsbildes, auf welchem das Maskenbild auf das identifizierbarkeitsreduzierte Bild aufgesetzt ist.
Gemäß der vorliegenden Offenbarung ist es möglich, den Zustand des sich bewegenden Objekts klar zu erfassen, da das sich bewegende Objekt, beispielsweise eine Person und dergleichen, klar vom Hintergrund unterschieden und durch das Maskenbild visuell erkannt werden kann. Es ist daher möglich, die Überfüllungssituation in der Einrichtung und dergleichen intuitiv zu erfassen. Außerdem erscheint das sich bewegende Objekt, dessen Bewegtobjekt-Detektion fehlschlug, auf einem identifizierbarkeitsreduzierten Bild, aber da es bei diesem identifizierbarkeitsreduzierten Bild nicht möglich ist, das sich bewegende Objekt zu identifizieren, ist es möglich, die Privatsphäre von Individuen zuverlässig zu schützen.
Figurenliste

1 ist eine Gesamtkonfigurationsansicht eines Überwachungssystems gemäß einer ersten Ausführungsform.
2 ist eine Draufsicht eines Inneren eines Bahnhofgebäudes, die ein Beispiel des Installationszustands einer Kamera 1 darstellt.
3A ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von einer Kamera 1 durchgeführt wird.
3B ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
3C ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
4A ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
4B ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
4C ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
5A ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
5B ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
5C ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
6A ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
6B ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
6C ist eine erläuternde Ansicht zum Erläutern einer Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
7 ist eine Blockansicht, die eine Hardwarekonfiguration der Kamera 1 und einer Servervorrichtung 3 darstellt.
8 ist eine Funktionsblockansicht der Kamera 1.
9 ist eine erläuternde Ansicht, die einen Überwachungsbildschirm darstellt, der auf einer Benutzerendgerätevorrichtung 4 angezeigt wird.
10 ist eine erläuternde Ansicht, die eine Übersicht über die Bildverarbeitung darstellt, die von der Kamera 1 durchgeführt wird.
11 ist eine Funktionsblockansicht einer Kamera 101 und einer Servervorrichtung 102 gemäß einer zweiten Ausführungsform.
12 ist eine erläuternde Ansicht, die einen Maskenbedingungseinstellbildschirm darstellt, der auf der Benutzerendgerätevorrichtung 4 angezeigt wird.

BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
Vor der Beschreibung der Ausführungsformen werden die Probleme des Standes der Technik kurz beschrieben. Bei der Technik des Standes der Technik wird in einem Fall, in welchem Privatsphärenmaskenverarbeitung an einem Bereich durchgeführt wird, in welchem das Gesicht einer Person erkannt wird, der Bildbereich der Person von der Privatsphärenmaskenverarbeitung ausgeschlossen, falls Gesichtsdetektion fehlschlägt, und das Bild, auf welchem die Person erscheint, wird im Istzustand ausgegeben. Aus diesem Grund kann die Privatsphäre einer Person nicht sicher geschützt werden, und es ist gibt ein praktisches Problem, dass das Bild der Kamera nicht offengelegt werden kann. Bei der Technik des Standes der Technik ist es in einem Fall, in welchem Privatsphärenmaskenverarbeitung an ganzen Bildern der Kamera durchgeführt wird, außerdem möglich, den Umriss des Abbildungsbereichs, das heißt, wo etwas und was angeordnet ist, grob zu erkennen, aber es gibt ein Problem, dass es nicht möglich ist, die Überfüllungssituation und dergleichen der Einrichtung intuitiv zu erfassen, da es nicht möglich ist, den Zustand der Person leicht zu erkennen.
Demnach besteht die Hauptaufgabe der vorliegenden Offenbarung, eine Überwachungsvorrichtung darin, ein Überwachungssystem und ein Überwachungsverfahren bereitzustellen, die zum zuverlässigen Schützen der Privatsphäre von Individuen und Anzeigen von Überwachungsbildern, aus welchen eine Überfüllungssituation in einer Einrichtung intuitiv erfasst werden kann, im Stande sind.
Eine erste Offenbarung, die zum Lösen des vorstehenden Problems gemacht wird, umfasst einen Prozessor, wobei die Überwachungsvorrichtung ein Überwachungsbild erzeugt und ausgibt, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, und der Prozessor Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild durchführt, ein sich bewegendes Objekt aus dem aufgenommenen Bild detektiert, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und das Überwachungsbild erzeugt und ausgibt, auf welchem das erzeugte Maskenbild auf das identifizierbarkeitsreduzierte Bild aufgesetzt ist.
Demgemäß ist es möglich, den Zustand des sich bewegenden Objekts klar zu erfassen, da das sich bewegende Objekt, beispielsweise eine Person und dergleichen, klar vom Hintergrund unterschieden und durch das Maskenbild visuell erkannt werden kann. Es ist daher möglich, die Überfüllungssituation in der Einrichtung und dergleichen intuitiv zu erfassen. Außerdem erscheint das sich bewegende Objekt, dessen Bewegtobjekt-Detektion fehlschlug, auf einem identifizierbarkeitsreduzierten Bild, aber da es bei diesem identifizierbarkeitsreduzierten Bild nicht möglich ist, das sich bewegende Objekt zu identifizieren, ist es möglich, die Privatsphäre von Individuen zuverlässig zu schützen.
In diesem Fall kann Bildverarbeitung zum Reduzieren von Identifizierbarkeit am ganzen aufgenommenen Bild durchgeführt werden, aber ein Bereich, wie beispielsweise die Decke eines Gebäudes, wo klarerweise kein sich bewegendes Objekt, wie beispielsweise eine Person, erscheint, kann von den Zielen der Bildverarbeitung zum Reduzieren von Identifizierbarkeit ausgeschlossen werden.
Außerdem führt der Prozessor in einer zweiten Offenbarung Mosaikverarbeitung, Unschärfeverarbeitung oder Mischverarbeitung als Bildverarbeitung zum Reduzieren von Identifizierbarkeit aus.
Demgemäß ist es möglich, die Identifizierbarkeit des Objekts, das auf dem aufgenommenen Bild erscheint, zu reduzieren.
Außerdem erzeugt der Prozessor in einer dritten Offenbarung ein transparentes Maskenbild, das eine Konturform eines sich bewegenden Objekts darstellt.
Da demgemäß das Maskenbild Transparenz aufweist, und ein Hintergrundbild durch einen Maskenbildabschnitt auf einem Überwachungsbild erkennbar wird, ist es leicht, den Zustand des sich bewegenden Objekts zu erfassen.
Außerdem erzeugt der Prozessor in einer vierten Ausführungsform ein Maskenbild gemäß Maskenbedingungen, die gemäß einer Bedieneingabe durch einen Benutzer eingestellt werden, wobei gemäß den Maskenbedingungen mindestens ein Anzeigeelement von Farbe, Durchlässigkeit, Vorhandensein/Nichtvorhandensein einer Konturlinie des Maskenbildes geändert werden kann.
Da demgemäß die Anzeigeelemente des Maskenbildes geändert werden können, ist es möglich, ein Überwachungsbild anzuzeigen, das für den Benutzer leicht zu erkennen ist.
Außerdem erzeugt der Prozessor in einer fünften Offenbarung ein Maskenbild gemäß Maskenbedingungen, die gemäß einer Operationseinabe durch einen Benutzer eingestellt werden, wobei als die Maskenbedingung ein Überfüllungszustandsanzeigemodus eingestellt sein kann, in welchem das Maskenbild mit der Farbe erzeugt wird, die durch einen Überfüllungsgrad oder kontrastierende Dichte und Durchlässigkeit mit dem gleichen Farbton spezifiziert wird.
Demgemäß ändert sich die Farbe des Maskenbildes und dergleichen gemäß der Überfüllungssituation dynamisch, und es ist möglich, die reale Situation eines Zielbereichs zu erfassen. Wenn außerdem Überwachungsbilder für jeden einer Vielzahl von Zielbereichen nebeneinander angezeigt werden, ist es möglich, den Überfüllungsgrad in jedem Zielbereich zu vergleichen und den Zustand der Vielzahl von Zielbereichen unverzüglich zu erfassen.
Außerdem wird in einer sechsten Offenbarung ein Überwachungssystem bereitgestellt, das ein Überwachungsbild erzeugt, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, um das Bild an eine Benutzerendgerätevorrichtung zu verteilen, und eine Kamera, die den Zielbereich abbildet, eine Servervorrichtung, die das Überwachungsbild an die Benutzerendgerätevorrichtung verteilt, und eine Benutzerendgertevorrichtung umfasst, wobei entweder die Kamera oder die Servervorrichtung Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild durchführt, ein sich bewegendes Objekt aus dem aufgenommenen Bild detektiert, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und das Überwachungsbild erzeugt und ausgibt, auf welchem das Maskenbild auf das identifizierbarkeitsreduzierte Bild aufgesetzt ist.
Zusätzlich zum verlässigen Schützen der Privatsphäre von Individuen ist es demgemäß wie bei der ersten Offenbarung möglich, ein Überwachungsbild anzuzeigen, aus welchem eine Überfüllungssituation und dergleichen in einer Einrichtung intuitiv erfasst werden können.
Außerdem wird in einer siebten Offenbarung ein Überwachungsverfahren zum Veranlassen einer Informationsverarbeitungsvorrichtung, ein Überwachungsbild zu erzeugen und auszugeben, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, bereitgestellt, das ein Durchführen von Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild, Detektieren eines sich bewegenden Objekts aus dem aufgenommenen Bild, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und Detektieren eines sich bewegenden Objekts aus dem aufgenommenen Bild, um ein Maskenbild zu erzeugen, das dem Bildbereich des sich bewegenden Objekts entspricht, und Erzeugen und Ausgeben des Überwachungsbildes umfasst, auf welchem das Maskenbild auf das identifizierbarkeitsreduzierte Bild aufgesetzt ist.
Zusätzlich zum zuverlässigen Schützen der Privatsphäre von Individuen ist es demgemäß wie bei der ersten Offenbarung möglich, ein Überwachungsbild anzuzeigen, aus welchem eine Überfüllungssituation und dergleichen in einer Einrichtung intuitiv erfasst werden können.
Im Folgenden wird eine Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben.
(Erste Ausführungsform)
1 ist eine Gesamtkonfigurationsansicht eines Überwachungssystems gemäß der ersten Ausführungsform.
Dieses Überwachungssystem ist ein System für einen Beobachter zum Überwachen der Situation der Räumlichkeiten durch Bilder (Bewegtbilder) jedes Bereichs der Räumlichkeiten des Bahnhofs (der Einrichtung) und Verteilen der Bilder jedes Bereichs an allgemeine Benutzer, das eine Kamera (Überwachungsvorrichtung) 1, eine Überwachungsendgerätevorrichtung 2, eine Servervorrichtung 3, eine Benutzerendgerätevorrichtung (Browservorrichtung) 4 umfasst.
Die Kamera 1 ist in jedem Zielbereich, beispielsweise in einem Heim oder an einem Fahrkartenentwerter in einem Bahnhofsgebäude, installiert und bildet jeden Bereich ab. Die Kamera 1 ist über ein lokales Netzwerk und einen Router 6 mit einem Netzwerk eines geschlossenen Bereichs, wie beispielsweise einem virtuellen lokalen Netzwerk (VLAN - Virtual Local Area Network), verbunden. Außerdem wird in der Kamera 1 Bildverarbeitung (Privatsphärenmaskenverarbeitung) zum Schützen der Privatsphäre einer Person durchgeführt, und ein Überwachungsbild (verarbeitetes Bild), das ein Bewegtbild ist, das durch diese Bildverarbeitung erhalten wird, und ein unverarbeitetes Bild werden von der Kamera 1 ausgeben.
Die Überwachungsendgerätevorrichtung 2 ist durch einen PC ausgebildet und in einem Überwachungsraum im Bahnhofsgebäude installiert. Die Überwachungsendgerätevorrichtung 2 ist über ein lokales Netzwerk mit der Kamera 1 verbunden. Diese Überwachungsendgerätevorrichtung 2 ist eine Vorrichtung für den Beobachter zum Betrachten von Bildern der Kamera 1 zum Zwecke des Überwachens für Sicherheit oder Katastrophenverhütung, wobei unverarbeitete Bilder von jeder Kamera 1 an die Überwachungsendgerätevorrichtung 2 gesendet werden, die unverarbeiteten Bilder jeder Kamera 1 werden auf der Überwachungsendgerätevorrichtung 2 angezeigt werden, und der Beobachter die unverarbeiteten Bilder betrachtet, so dass es möglich ist, die Situation im Bahnhof zu überwachen.
Die Servervorrichtung 3 ist über das Netzwerk des geschlossenen Bereichs mit jeder Kamera 1 in jedem Bahnhofsgebäude verbunden und empfängt ein Überwachungsbild, das von jeder Kamera 1 in jedem Bahnhofsgebäude gesendet wird. Außerdem ist die Servervorrichtung 3 über das Internet mit der Benutzerendgerätevorrichtung 4 verbunden, erzeugt einen Bildschirm, der durch einen Benutzer betrachtet werden soll, um den Bildschirm an die Benutzerendgerätevorrichtung 4 zu verteilen, und ruft Informationen ab, die durch den Benutzer auf dem Bildschirm eingegeben werden.
Die Benutzerendgerätevorrichtung 4 ist durch ein Smartphone, ein Tablet-Endgerät und einen PC ausgebildet. In dieser Benutzerendgerätevorrichtung 4 wird ein Überwachungsbild angezeigt, das von der Servervorrichtung 3 verteilt wird. Der Benutzer betrachtet dieses Überwachungsbild, so dass es möglich ist, die Überfüllungssituation im Bahnhofsgebäude und die Fahrsituation des Zuges zu erfassen.
In der Servervorrichtung 3 ist es möglich, Live-Verteilung durchzuführen, wobei ein aktuelles Überwachungsbild von der Kamera 1 im Istzustand gesendet wird. Außerdem ist es in der Servervorrichtung 3 möglich, das von der Kamera 1 gesendete Überwachungsbild zu sammeln und das Überwachungsbild des von der Benutzerendgerätevorrichtung 4 spezifizierten Datums zu verteilen.
Da die Kamera 1 und die Servervorrichtung 3 über das Netzwerk des geschlossenen Bereichs verbunden sind, ist es in solch einem Überwachungssystem möglich, die Sicherheit einer Ausgabe eines unverarbeiteten Bildes von der Kamera 1 zu gewährleisten. Da außerdem die Servervorrichtung 3 und die Benutzerendgerätevorrichtung 4 über das Internet verbunden sind, ist es möglich, überall von der Benutzerendgerätevorrichtung 4 auf die Servervorrichtung 3 zuzugreifen.
Als Nächstes wird die Installationssituation der Kamera 1 im Bahnhofsgebäude beschrieben. 2 ist eine Draufsicht eines Inneren des Bahnhofgebäudes, die ein Beispiel des Installationszustands von der Kamera 1 darstellt.
In dem Beispiel, das in 2 dargestellt ist, ist die Kamera 1 auf einer Plattform im Bahnhofsgebäude installiert. Die Kamera 1 ist an einer Decke oder einem Mast der Plattform installiert, und eine Person, die sich auf der Plattform oder einer Treppe befindet, wird abgebildet. Konkret wird in dem Beispiel, das in 2 dargestellt ist, eine Kamera mit einem vorbestimmten Kamerawinkel, eine sogenannte Boxkamera, als die Kamera 1 eingesetzt, aber es ist auch die Verwendung einer omnidirektionalen Kamera mit einem Abbildungsbereich von 360 Grad möglich, die ein Fischaugenobjektiv verwendet.
2 stellt ein Beispiel der Plattform dar, aber die Kamera 1 ist installiert, um einen entsprechend festgelegten Zielbereich, wie beispielsweise einen Fahrkartenentwerter oder eine Rolltreppe, im Bahnhofsgebäude abzubilden.
Als Nächstes wird eine Übersicht über eine Bildverarbeitung beschrieben, die von der Kamera 1 durchgeführt wird. FIG. 3A bis 3C, FIG. 4A bis 4C, FIG. 5A bis 5C und 6A bis 6C sind erläuternde Ansichten zum Erläutern der Übersicht über die Bildverarbeitung, die von der Kamera 1 durchgeführt wird.
In der Kamera 1 wird jeder Bereich im Bahnhofsgebäude abgebildet, und es wird ein unverarbeitetes aufgenommenes Bild erhalten, das in 3A dargestellt ist. Auf diesem unverarbeiteten aufgenommenen Bild kann die Privatsphäre einer Person nicht geschützt werden, da eine Person im Istzustand aufgenommen wird, und Individuen identifiziert werden können.
Daher wird in der vorliegenden Ausführungsform Bildverarbeitung (Privatsphärenmaskenverarbeitung) zum Schützen der Privatsphäre einer Person durchgeführt.
Hierbei ist es denkbar, als die Privatsphärenmaskenverarbeitung, wie in 3B dargestellt, Bildverarbeitung zum Reduzieren der Identifizierbarkeit des Objekts an den ganzen aufgenommenen Bildern durchzuführen. Außerdem ist es denkbar, Bewegtobjekt-Detektion und Personendetektion am aufgenommenen Bild durchzuführen, um Positionsinformationen des Bildbereichs der durch diese Bewegtobjekt-Detektion und Personendetektion detektierten Person zu erhalten, und Bildverarbeitung zum Reduzieren von Identifizierbarkeit am Bildbereich der Person (innerhalb der Kontur der Person) durchzuführen, wie in 3C dargestellt. In dem Beispiel, das in 3B und 3C dargestellt ist, wird Mosaikverarbeitung als Bildverarbeitung zum Reduzieren von Identifizierbarkeit durchgeführt.
Da es bei einer derartigen Durchführung von Bildverarbeitung zum Reduzieren von Identifizierbarkeit unmöglich wird, Individuen zu identifizieren, ist es somit möglich, die Privatsphäre einer Person zuverlässig zu schützen. Auf dem Bild, an welchem Bildverarbeitung zum Reduzieren von Identifizierbarkeit durchgeführt wird, ist es jedoch möglich, den Umriss des Abbildungsbereichs, das heißt, wo etwas und was angeordnet ist, grob zu erkennen, aber da es unmöglich wird, den Zustand einer Person leicht zu erkennen, die kommt und geht, gibt es ein Problem, dass es nicht möglich ist, die Überfüllungssituation, das heißt, ob es viele Menschen gibt oder nicht, intuitiv zu erfassen.
Andererseits ist es denkbar, als Privatsphärenmaskenverarbeitung Bewegtobjekt-Detektion und Personendetektion am aufgenommenen Bild durchzuführen und Maskenverarbeitung, das heißt, Verarbeitung zum Ändern (Ersetzen) des Bildbereichs der Person (innerhalb der Kontur der Person) in ein Maskenbild auf der durch diese Bewegtobjekt-Detektion und Personendetektion detektierten Person, durchzuführen.
Konkret wird, wie in 4A dargestellt, ein Hintergrundbild durch Bewegtobjekt-Entfernungsverarbeitung (Hintergrundbilderzeugungsverarbeitung) zum Entfernen eines Bildes eines sich bewegenden Objekts (Vordergrundbild) aus einer Vielzahl von aufgenommenen Bildern erzeugt. Wie außerdem in 4B dargestellt, wird ein Maskenbild, das den Bildbereich einer Person abdeckt, basierend auf den Detektionsergebnissen der Bewegtobjekt-Detektion und Personendetektion erzeugt. Dann wird durch Aufsetzen des Maskenbildes, das in 4B dargestellt ist, auf das Hintergrundbild, das in 4A dargestellt ist, ein maskiertes Bild erzeugt, das in 4C dargestellt ist. Mit diesem maskierten Bild kann die Privatsphäre einer Person geschützt werden, da es unmöglich wird, Individuen zu identifizieren.
Wie jedoch in 5A dargestellt, kann auf einem Hintergrundbild, das durch Bewegtobjekt-Entfernungsverarbeitung erzeugt wird, eine Person mit weniger Bewegung im Istzustand bleiben. Da in diesem Fall die Person mit weniger Bewegung selbst durch Bewegtobjekt-Detektion nicht detektiert wird, wie in 5B dargestellt, wird nur ein Maskenbild der Personen mit Ausnahme dieser Person erzeugt. Wenn dann das Maskenbild, das in 5B dargestellt ist, auf das Hintergrundbild aufgesetzt wird, das in 5A dargestellt ist, wird ein maskiertes Bild erhalten, das in 5C dargestellt ist. Auf diesem maskierten Bild wird die Person, die durch die Bewegtobjekt-Entfernungsverarbeitung nicht entfernt werden konnte, im Istzustand angezeigt, und die Privatsphäre der Person kann nicht geschützt werden.
Wie außerdem in 3C dargestellt, bleibt die Person, deren Detektion fehlschlug, selbst im Falle des Durchführens der Bildverarbeitung zum Reduzieren von Identifizierbarkeit am Bildbereich einer Person auf dem Hintergrundbild, wenn Unterlassung von Detektion bei der Bewegtobjekt-Detektion und Personendetektion erfolgt.
Daher wird in der vorliegenden Ausführungsform, wie in 6A dargestellt, ein Bild (das gleiche wie in 3B), an welchem Bildverarbeitung zum Reduzieren von Identifizierbarkeit durchgeführt wird, als ein Hintergrundbild verwendet, und ein maskiertes Bild, das in 6C dargestellt ist, wird durch Aufsetzen des Maskenbildes (gleich wie 5B), das in 6B dargestellt ist, auf dieses Hintergrundbild erzeugt.
Demgemäß ist es möglich, den Zustand des sich bewegenden Objekts klar zu erfassen, da das sich bewegende Objekt, beispielsweise eine Person und dergleichen, klar vom Hintergrund unterschieden und durch das Maskenbild visuell erkannt werden kann. Es ist daher möglich, die Überfüllungssituation in der Einrichtung und dergleichen intuitiv zu erfassen. Außerdem erscheint eine Peron, deren Bewegungsdetektion oder Personendetektion fehlschlug, auf dem Hintergrundbild, aber da durch Bildverarbeitung zum Reduzieren von Identifizierbarkeit an diesem Hintergrundbild keine Individuen identifiziert werden können, kann die Privatsphäre einer Person zuverlässig geschützt werden.
Ein Personenrahmen, der das Gesicht oder den oberen Körperbereich der Person darstellt, kann auf dem maskierten Bild basierend auf den Detektionsergebnissen der Bewegtobjekt-Detektion und der Personendetektion angezeigt werden. Falls eine Vielzahl von Menschen erscheint, die einander überlappen, ist es beim Anzeigen eines Maskenbildes zum Abdecken des Bildbereichs der Vielzahl von Menschen schwierig, einzelne Personen voneinander zu unterscheiden, und es ist manchmal unmöglich, leicht zu erfassen, wie viele Menschen anwesend sind, und, wenn in solch einem Fall ein Personenrahmen angezeigt wird, ist es möglich, die Anzahl von Menschen leicht zu erfassen.
Außerdem kann die Farbe des Maskenbildes gemäß dem Überfüllungsgrad geändert werden. Zum Beispiel wird das Maskenbild in einem Fall, in welchem der Überfüllungsgrad hoch ist, in Rot angezeigt, und in einem Fall, in welchem der Überfüllungsgrad niedrig ist, wird das Maskenbild in Blau angezeigt. Außerdem kann der Überfüllungsgrad durch kontrastierende Dichte und Durchlässigkeit mit dem gleichen Farbton ausgedrückt werden.
Auf diese Weise ändert sich die Farbe des Maskenbildes und dergleichen gemäß der Überfüllungssituation dynamisch, und es ist möglich, die reale Situation eines Zielbereichs zu erfassen. Wenn außerdem Überwachungsbilder für jeden einer Vielzahl von Zielbereichen nebeneinander angezeigt werden, ist es möglich, den Überfüllungsgrad in jedem Zielbereich zu vergleichen und den Zustand der Vielzahl von Zielbereichen unverzüglich zu erfassen. Der Überfüllungsgrad kann basierend auf dem Detektionsergebnis der Personendetektion (entsprechend der Anzahl von Personenrahmen) erhalten werden.
Als Nächstes wird eine schematische Konfiguration der Kamera 1 und der Servervorrichtung 3 beschrieben. 7 ist eine Blockansicht, die eine Hardwarekonfiguration der Kamera 1 und der Servervorrichtung 3 darstellt. 8 ist eine Funktionsblockansicht der Kamera 1.
Wie in 7 dargestellt, umfasst die Kamera 1 eine Abbildungseinheit 21, einen Prozessor 22, eine Speichervorrichtung 23 und einen Kommunikator 24.
Die Abbildungseinheit 21 umfasst einen Bildsensor und gibt der Reihe nach aufgenommene Bilder (Frames), die zeitlich kontinuierlich sind, das heißt sogenannte Bewegtbilder, aus. Der Prozessor 22 führt Bildverarbeitung am aufgenommenen Bild durch und erzeugt ein Überwachungsbild und gibt es aus. Die Speichervorrichtung 23 speichert ein Programm, das vom Prozessor 22 ausgeführt wird, oder das aufgenommene Bild, das von der Abbildungseinheit 21 ausgegeben wird. Der Kommunikator 24 sendet das vom Prozessor 22 ausgegebene Bild über das Netzwerk an die Servervorrichtung 3. Außerdem sendet der Kommunikator 24 das von der Abbildungseinheit 21 ausgegebene unverarbeitete Bild über das Netzwerk an die Überwachungsendgerätevorrichtung 2.
Die Servervorrichtung 3 umfasst einen Prozessor 31, eine Speichervorrichtung 32 und einen Kommunikator 33.
Der Kommunikator 33 empfängt das von jeder Kamera 1 gesendete Überwachungsbild. Außerdem verteilt der Kommunikator 33 einen Bildschirm, der ein Überwachungsbild umfasst, das durch den Benutzer betrachtet werden soll, an die Benutzerendgerätevorrichtung 4. In der Speichervorrichtung 32 werden das Überwachungsbild für jede Kamera 1, das durch den Kommunikator 33 empfangen wird, und ein Programm gespeichert, das vom Prozessor 31 ausgeführt wird. Der Prozessor 31 erzeugt einen Bildschirm, der an die Benutzerendgerätevorrichtung 4 verteilt werden soll.
Wie außerdem in 8 dargestellt, umfasst die Kamera 1 eine Bildabrufeinheit 41, eine erste Verarbeitungseinheit 42, eine zweite Verarbeitungseinheit 43 und eine Bildausgabesteuerung 44. Die Bildabrufeinheit 41, die erste Verarbeitungseinheit 42, die zweite Verarbeitungseinheit 43 und die Bildausgabesteuerung 44 sind dadurch realisiert, dass der Prozessor 22 veranlasst wird, ein Überwachungsprogramm (Anweisungen) auszuführen, das in der Speichervorrichtung 23 gespeichert ist.
In der Bildabrufeinheit 41 wird das aufgenommene Bild, das durch die Abbildungseinheit 21 aufgenommen wird, von der Abbildungseinheit 21 und der Speichervorrichtung (Bildspeicher) 23 abgerufen.
Die erste Verarbeitungseinheit 42 umfasst einen ersten Hintergrundbildgenerator 51. Im ersten Hintergrundbildgenerator 51 wird ein erstes Hintergrundbild (identifizierbarkeitsreduziertes Bild) durch Durchführen von Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines auf einem aufgenommenen Bild aufgenommen Objekts an den ganzen aufgenommenen Bildern erzeugt. In der vorliegenden Ausführungsform kann eine beliebige Bildverarbeitung, wie beispielsweise Mosaikverarbeitung, Unschärfeverarbeitung und Mischverarbeitung, als Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts durchgeführt werden. Außerdem kann ein erstes Hintergrundbild (identifizierbarkeitsreduziertes Bild) erzeugt werden, indem die Auflösung des Bildes dermaßen verringert wird, dass die Identifizierbarkeit des Objekts ohne Durchführen solch einer speziellen Bildverarbeitung verloren geht. Da es in diesem Fall unnötig ist, eine spezielle Bildverarbeitungsfunktion zu montieren, kann der erste Hintergrundbildgenerator 51 kostengünstig gebildet werden, die Menge von Bilddaten kann reduziert werden, und die Kommunikationslast im Netzwerk kann verringert werden.
Die Mosaikverarbeitung besteht darin, dass ein aufgenommenes Bild in eine Vielzahl von Blöcken geteilt und die Pixelwerte aller Pixel in den Blöcken durch einen einzigen Pixelwert, wie beispielsweise den Pixelwert eines Pixels im Block oder den Durchschnittswert der Pixelwerte jedes Pixels im Block, ersetzt werden.
Die Unschärfeverarbeitung ist Filterverarbeitung durch verschiedene Arten von Filterungsverarbeitung, wie beispielswiese Unscharf-Filter, Gauss-Filter, Medianfilter, bilateraler Filter und dergleichen. Außerdem ist es möglich, verschiedene Arten von Bildverarbeitung zu verwenden, wie beispielsweise Negativ-Positiv-Umkehrung, Farbtonkorrektur (Helligkeitsänderung, RGB-Farbgleichgewichtsänderung, Kontraständerung, Gammakorrektur, Sättigungsanpassung und dergleichen) Binarisation, Kantenfilter und dergleichen.
Die Mischverarbeitung synthetisiert (mischt) zwei Bilder in einem halbtransparenten Zustand und synthetisiert ein Bild für eine vorbestimmte Synthese und ein aufgenommenes Bild basierend auf einem α-Wert, der den Grad von Synthese angibt.
De zweite Verarbeitungseinheit 43 umfasst einen zweiten Hintergrundbildgenerator 53, eine Positionsinformationsabrufeinheit 54 und einen Maskenbildgenerator 55.
Im zweiten Hintergrundbildgenerator 53 wird Verarbeitung zum Erzeugen eines zweiten Hintergrundbildes durchgeführt, wobei ein Bild (Vordergrundbild) einer Person aus dem aufgenommenen Bild entfernt wird. Bei dieser Verarbeitung wird ein zweites Hintergrundbild aus einer Vielzahl von aufgenommenen Bildern (Frames) in einer nächstgelegenen vorbestimmten Lernperiode erzeugt, und das zweite Hintergrundbild wird gemäß einem neuen aufgenommenen Bild, das abgerufen werden soll, der Reihe nach aktualisiert. Für die Verarbeitung, die durch den zweiten Hintergrundbildgenerator 53 durchgeführt wird, kann eine öffentlich bekannte Technik verwendet werden.
In der Positionsinformationsabrufeinheit 54 wird Verarbeitung zum Detektieren einer Person aus dem aufgenommenen Bild und Abrufen von Positionsinformationen des Bildbereichs der auf dem aufgenommenen Bild befindlichen Person durchgeführt. Diese Verarbeitung wird basierend auf dem zweiten Hintergrundbild durchgeführt, das vom zweiten Hintergrundbildgenerator 53 erzeugt wird und in dem der Bildbereich des sich bewegenden Objekts aus dem Unterschied zwischen dem aufgenommenen Bild zum Zeitpunkt von Interesse (aktuelle Zeit bei Echtzeitverarbeitung) und dem zweiten Hintergrundbild spezifiziert wird, das in der vorherigen Lernperiode abgerufen wurde. Wenn eine Ω-Form, die mit dem Gesicht oder dem Kopf oder dem Schulterabschnitt einer Person gebildet wird, im Bildbereich des sich bewegenden Objekts detektiert wird, wird das sich bewegende Objekt als Person bestimmt (Personendetektion). Für die Verarbeitung, die durch die zweite Positionsinformationsabrufeinheit 54 durchgeführt wird, kann eine öffentlich bekannte Technik verwendet werden.
Das zweite Hintergrundbild in der vorliegenden Ausführungsform umfasst ein sogenanntes „Hintergrundmodell“, und durch Bilden des Hintergrundmodells aus einer Vielzahl von aufgenommenen Bildern in der Lernperiode im zweiten Hintergrundbildgenerator 53 und durch Vergleichen des aufgenommenen Bildes zum Zeitpunkt von Interesse mit dem Hintergrundmodell in der Positionsinformationsabrufeinheit 54 werden der Bildbereich (Vordergrundbereich) des sich bewegenden Objekts und der Hintergrundbereich geteilt, um die Positionsinformationen des Bildbereichs des sich bewegenden Objekts zu erhalten.
Außerdem wird bevorzugt, dass das zweite Hintergrundbild der Reihe nach aktualisiert wird, wie zuvor erwähnt, aber ein aufgenommenes Bild ohne Personen, zum Beispiel ein vor Arbeitsbeginn aufgenommenes Bild, kann in der Kamera im Voraus als ein weites Hintergrundbild gehalten werden.
Im Maskenbildgenerator 55 wird basierend auf den durch die Positionsinformationsabrufeinheit 54 abgerufenen Positionsinformationen des Bildbereichs der Person Verarbeitung zum Erzeugen eines Maskenbildes mit einer Kontur durchgeführt, die dem Bildbereich der Person entspricht. Bei dieser Verarbeitung werden Informationen über die Kontur des Bildbereichs der Person aus den Positionsinformationen des Bildbereichs der Person erzeugt, und ein Maskenbild, das die Konturform der Person darstellt, wird basierend auf den Informationen über die Kontur erzeugt. Dieses Maskenbild wird durch Ausfüllen des Inneren der Kontur einer Person mit einer vorbestimmten Farbe (zum Beispiel Blau) erhalten und weist Transparenz auf.
In der Bildausgabesteuerung 44 wird Verarbeitung zum Erzeugen eines Überwachungsbildes (maskiertes Bild) durch Aufsetzen des durch den Maskenbildgenerator 55 erzeugten Maskenbildes auf das durch den ersten Hintergrundbildgenerator 51 erzeugte erste Hintergrundbild durchgeführt. In der vorliegenden Ausführungsform weist das Maskenbild Transparenz auf, und auf dem Überwachungsbild ist das Hintergrundbild durch den Maskenbildabschnitt erkennbar.
Als Nächstes wird ein Überwachungsbildschirm beschrieben, der auf der Benutzerendgerätevorrichtung 4 angezeigt wird. 9 ist eine erläuternde Ansicht, die den Überwachungsbildschirm darstellt, der auf der Benutzerendgerätevorrichtung 4 angezeigt wird. 9 stellt ein Beispiel eines Smartphones als die Benutzerendgerätevorrichtung 4 dar. Der auf der Benutzerendgerätevorrichtung 4 angezeigte Überwachungsbildschirm kann für Inhalte für digitale Beschilderung bearbeitet und auf einem Beschilderungsendgerät (großes Display), die im Bahnhof, einer kommerziellen Einrichtung und dergleichen installiert wird, angezeigt werden, um die aktuelle Überfüllungssituation darzustellen.
Wenn die Benutzerendgerätevorrichtung 4 eine vorbestimmte Anwendung aktiviert und auf die Servervorrichtung 3 zugreift, wird der Überwachungsbildschirm angezeigt, der in 9 dargestellt ist. Wenn dieser Überwachungsbildschirm vom Benutzer betrachtet wird, ist es möglich, die Überfüllungssituation im Bahnhof zu erfassen.
Der Überwachungsbildschirm weist eine Hauptmenüanzeige-Schaltfläche 61, eine Bahnhofauswahl-Schaltfläche 62, eine Datums- und Zeiteingabeeinheit 63, ein Wiedergabebedienfeld 64 und eine Bildlistenanzeige 65 auf.
Wenn die Hauptmenüanzeige-Schaltfläche 61 betätigt wird, wird das Hauptmenü angezeigt. Durch Verwenden dieses Hauptmenüs ist es möglich, Bahnhofsüberwachung, Benutzereinstellungen und dergleichen auszuwählen. Wenn Überwachen im Bahnhofsgebäude ausgewählt wird, wird der Überwachungsbildschirm angezeigt, der in 9 dargestellt ist.
In der Bildlistenanzeige 65 werden Überwachungsbilder für jeden Zielbereich, wie beispielsweise eine Plattform, einen Fahrkartenentwerter oder dergleichen, im Bahnhofsgebäude nebeneinander angezeigt.
Auf der Bahnhofsauswahl-Schaltfläche 62 ist es möglich, einen Bahnhof auszuwählen, der ein Ziel des Überwachungsbildes sein soll, das auf der Bildlistenanzeige 65 angezeigt werden soll. Auf der Bahnhofsauswahl-Schaltfläche 62 wird der gegenwärtig eingestellte Bahnhof angezeigt. Wenn die Bahnhofsauswahl-Schaltfläche 62 betätigt wird, wird ein Bahnhofauswahlmenü angezeigt, so dass der Bahnhof gewechselt werden kann.
Die Datums- und Zeiteingabeeinheit 63 wird zum Eingeben des Anzeigedatums und der Anzeigezeit des Überwachungsbildes verwendet, das auf der Bildlistenanzeige 65 dargestellt werden soll. Im Datums- und Zeiteingabeabschnitt 63 sind eine NOW-Schaltfläche 71, eine Datumsänderungs-Schaltfläche 72 und eine Zeitänderungs-Schaltfläche 73 vorgesehen.
Mit der NOW-Schaltfläche 71 können das Anzeigedatum und die Anzeigezeit auf die aktuelle Zeit umgestellt werden. Auf der Datumsänderungs-Schaltfläche 72 kann das Anzeigedatum geändert werden. Auf der Datumsänderungs-Schaltfläche 72 wird das gegenwärtig eingestellte Anzeigedatum angezeigt. Wenn die Datumsänderungs-Schaltfläche 72 betätigt wird, wird ein Kalenderbildschirm (nicht dargestellt) angezeigt, und auf diesem Kalenderbildschirm kann ein Datum ausgewählt werden. Auf der Zeitänderungs-Schaltfläche 73 kann die Anzeigezeit geändert werden. Die gegenwärtig eingestellte Anzeigezeit wird auf der Zeitänderungs-Schaltfläche 73 angezeigt. Wenn die Zeitänderungs-Schaltfläche 73 betätigt wird, wird ein Zeitauswahlmenü angezeigt, und mit diesem Zeitauswahlmenü kann die Anzeigezeit geändert werden. In einem Anfangszustand wird das Überwachungsbild der aktuellen Zeit angezeigt.
Das Wiedergabebedienfeld 64 führt Operationen in Bezug auf die Wiedergabe der Überwachungsbilder durch, die auf der Bildlistenanzeige 65 angezeigt werden, und ist mit Bedienschaltflächen für normale Wiedergabe, Schnellvorlaufwiedergabe, Rückspulwiedergabe und Stopp versehen, und durch Betätigen dieser Bedienschaltflächen ist es möglich, die Überwachungsbilder effektiv zu durchsuchen.
Außerdem kann dieser Überwachungsbildschirm durch eine Auseinanderziehbewegung (Spreizbewegung zweier Finger, die den Bildschirm berühren) vergrößert und angezeigt werden. Dann kann durch Bewegen des Bildschirms durch Durchführen einer Wischbewegung (Verschiebebewegung des Fingers, der den Bildschirm berührt) in einem vergrößerten Zustand der Anzeige auch das Überwachungsbild eines anderen Bereichs in der vergrößerten Anzeige betrachtet werden. Wenn ein Überwachungsbild angetippt wird (kurzzeitige Berührung des Bildschirms mit einem einzigen Finger), kann ein Bildschirm zum Vergrößern des Überwachungsbildes angezeigt werden.
In der vorliegenden Ausführungsform werden die Überwachungsbilder jedes Bereichs im Bahnhof, der durch den Benutzer ausgewählt wird, nebeneinander in der Bildlistenanzeige 65 angezeigt, aber es kann eine Bereichsauswahl-Schaltfläche vorgesehen sein, so dass das Überwachungsbild des Bereichs angezeigt werden kann, der durch die Bereichsauswahl-Schaltfläche ausgewählt wird.
Als Nächstes wird eine Übersicht über eine Bildverarbeitung beschrieben, die von der Kamera 1 durchgeführt wird. 10 ist eine erläuternde Ansicht, die eine Übersicht über die Bildverarbeitung darstellt, die von Kamera 1 durchgeführt wird.
In dieser Ausführungsform wird im zweiten Hintergrundbildgenerator 53 ein zweites Hintergrundbild aus einer Vielzahl von aufgenommenen Bildern (Frames) in einer vorbestimmten Lernperiode unter Bezugnahme auf die Anzeigezeit (aktuelle Zeit bei Echtzeitanzeige) erzeugt. Diese Verarbeitung wird jedes Mal wiederholt, wenn ein neu aufgenommenes Bild von der Abbildungseinheit 21 ausgegeben wird, und das zweite Hintergrundbild wird jedes Mal aktualisiert.
Als Nächstes werden in der Positionsinformationsabrufeinheit 54 Positionsinformationen für jede Person aus dem aufgenommenen Bild und dem zweiten Hintergrundbild zur Anzeigezeit abgerufen. Dann wird im Maskenbildgenerator 55 ein Maskenbild aus Positionsinformationen für jede Person erzeugt.
Außerdem wird im ersten Hintergrundbildgenerator 51 Bildverarbeitung zum Reduzieren von Identifizierbarkeit am Hintergrundbild zum Anzeigezeitpunkt durchgeführt, um ein erstes Hintergrundbild zu erzeugen. Dann wird in der Bildausgabesteuerung 44 ein Überwachungsbild erzeugt, auf welchem das Maskenbild auf das erste Hintergrundbild aufgesetzt ist.
Auf diese Weise werden, während die Anzeigezeit fortschreitet, das zweite Hintergrundbild, die Positionsinformationen, die Maskenbilder und das erste Hintergrundbild zu jedem der Ausgabezeit des aufgenommenen Bildes entsprechenden Zeitpunkt abgerufen, und die Überwachungsbilder werden zum jeweiligen Zeitpunkt der Reihe nach von der Kamera 1 ausgegeben.
Das erste Hintergrundbild kann aus einem aufgenommenen Bild zu jedem Zeitpunkt erzeugt werden, aber ein erstes Hintergrundbild kann durch Auswählen eines aufgenommenen Bildes erzeugt werden, das die Basis des ersten Hintergrundbildes ist, während die aufgenommenen Bilder in einem vorbestimmten Zeitintervall sortiert werden.
Außerdem wird in der vorliegenden Ausführungsform ein Bild, das durch Durchführen von Bildverarbeitung zum Reduzieren von Identifizierbarkeit an einem aufgenommenen Bild erhalten wird, als das erste Hintergrundbild festgelegt, aber es ist auch möglich, ein erstes Hintergrundbild durch Durchführen von Bildverarbeitung zum Reduzieren von Identifizierbarkeit am zweiten Hintergrundbild zu erzeugen, das zur Bewegtobjekt-Detektion erzeugt wird.
Wie bereits erwähnt, wird in der vorliegenden Ausführungsform ein Überwachungsbild erzeugt und ausgegeben, auf welchem ein Maskenbild auf das erste Hintergrundbild (identifizierbarkeitsreduziertes Bild) aufgesetzt ist, an welchem Bildverarbeitung zum Reduzieren von Identifizierbarkeit durchgeführt wird. Auf diesem Überwachungsbild ist es möglich, den Zustand des sich bewegenden Objekts klar zu erfassen, da das sich bewegende Objekt, beispielsweise eine Person und dergleichen, klar vom Hintergrund unterschieden und durch das Maskenbild visuell erkannt werden kann. Es ist daher möglich, die Überfüllungssituation im Bahnhofsgebäude und dergleichen intuitiv zu erfassen. Außerdem erscheint die Person, deren Bewegungsdetektion fehlschlug, auf dem ersten Hintergrundbild, aber da auf diesem ersten Hintergrundbild keine Individuen identifiziert werden können, kann die Privatsphäre einer Person zuverlässig geschützt werden.
(Zweite Ausführungsform)
Als Nächstes wird eine zweite Ausführungsform beschrieben. Die hier nicht speziell erwähnten Punkte sind gleich wie die der vorhergehenden Ausführungsform.
11 ist eine Funktionsblockansicht, die eine schematische Konfiguration einer Kamera 101 und einer Servervorrichtung 102 gemäß der zweiten Ausführungsform darstellt.
In der ersten Ausführungsform werden ein erstes Hintergrundbild und ein Maskenbild in der Kamera 1 erzeugt, und ein Überwachungsbild, auf welchem das Maskenbild auf das erste Hintergrundbild aufgesetzt ist, wird erzeugt und ausgegeben, aber in der zweiten Ausführungsform werden das erste Hintergrundbild und die Positionsinformationen des Bildbereichs der Person von der Kamera 101 an die Servervorrichtung 102 gesendet, so dass die Anzeigeelemente des Maskenbildes für jeden Benutzer geändert werden können, und in der Servervorrichtung 102 wird ein Maskenbild gemäß den Inhalten der durch den Benutzer spezifizierten Anzeigeelemente erzeugt, und es wird ein Überwachungsbild erzeugt, auf welchem das Maskenbild auf das erste Hintergrundbild aufgesetzt ist.
Wie bei der vorhergehenden Ausführungsform umfasst die Kamera 101 eine Bildabrufeinheit 41, eine erste Verarbeitungseinheit 42 und eine zweite Verarbeitungseinheit 104, aber in der zweiten Verarbeitungseinheit 104 ist der Maskenbildgenerator 55, der in der zweiten Verarbeitungseinheit 43 in der ersten Ausführungsform vorgesehen ist (siehe 8), weggelassen. Außerdem ist auch die in der ersten Ausführungsform vorgesehene Bildausgabesteuerung 44 weggelassen.
Die Servervorrichtung 102 umfasst eine Maskenbedingungseinstelleinheit 106, einen Maskenbildgenerator 107 und eine Bildausgabesteuerung 108. Die Maskenbedingungseinstelleinheit 106, der Maskenbildgenerator 107 und die Bildausgabesteuerung 108 sind dadurch realisiert, dass der Prozessor 31 veranlasst wird, ein Überwachungsprogramm (Anweisungen) auszuführen, das in der Speichervorrichtung 32 gespeichert ist.
In der Maskenbedingungseinstelleinheit 106 werden verschiedenen Bedingungen in Bezug auf das Maskenbild gemäß dem Eingabevorgang des Benutzers an der Benutzerendgerätevorrichtung 4 eingestellt. Im Bildmaskengenerator 107 wird ein Maskenbild basierend auf den für jeden Benutzer in der Maskenbedingungseinstelleinheit eingestellten Maskenbedingungen und den von der Kamera 1 abgerufenen Positionsinformationen erzeugt. In der vorliegenden Ausführungsform werden in der Maskenbedingungseinstelleinheit 106 Maskenbedingungen in Bezug auf die Anzeigeelemente des Maskenbildes für jeden Benutzer eingestellt, und im Maskenbildgenerator 107 wird ein Maskenbild gemäß den Inhalten der durch den Benutzer spezifizierten Anzeigeelemente erzeugt.
In der Bildausgabesteuerung 108 wird Verarbeitung zum Erzeugen eines Überwachungsbildes (maskiertes Bild) durch Aufsetzen des durch den Maskenbildgenerator 107 erzeugten Maskenbildes auf das von der Kamera 1 abgerufene erste Hintergrundbild durchgeführt. Als Ergebnis wird das Überwachungsbild, auf dem das Maskenbild gemäß den Inhalten der durch den Benutzer spezifizierten Anzeigeelemente erscheint, auf der Benutzerendgerätevorrichtung 4 angezeigt.
In der vorliegenden Ausführungsform wird ein Maskenbild in der Servervorrichtung 102 erzeugt, aber ein Maskenbild kann vorübergehend in der Kamera 101 erzeugt werden, und das Maskenbild kann durch Bildbearbeitung in der Servervorrichtung 102 gemäß den Inhalten der durch den Benutzer spezifizierten Anzeigeelemente angepasst werden.
Als Nächstes wird die Einstellung der Maskenbedingungen beschrieben. 12 ist eine erläuternde Ansicht, die einen Maskenbedingungseinstellbildschirm darstellt, der auf der Benutzerendgerätevorrichtung 4 angezeigt wird.
Wenn die Benutzereinstellung auf dem Hauptmenü ausgewählt wird, das durch die Hauptmenüanzeige-Schaltfläche 61 des Überwachungsbildschirms angezeigt wird, der in 9 dargestellt ist, wird ein Benutzereinstellungsmenü angezeigt, und, wenn die Maskenbedingungseinstellung in diesem Benutzereinstellungsmenü ausgewählt wird, wird der Maskenbedingungseinstellbildschirm angezeigt, der in 12 dargestellt ist. Mit diesem Maskenbedingungseinstellbildschirm kann der Benutzer de Anzeigeelemente des Maskenbildes ändern.
Auf dem Maskenbedingungseinstellbildschirm sind ein Füllungsselektor 111, eine Durchlässigkeitsselektor 112, ein Konturlinienzeichenselektor 113 und eine Einstell-Schaltfläche 114 vorgesehen.
Auf dem Füllungsselektor 111 wählt der Benutzer ein Füllverfahren (Farbe, Muster und dergleichen) innerhalb der Konturlinie im Maskenbild aus einem Kachelmenü. Auf dem Durchlässigkeitsselektor 112 wählt der Benutzer die Durchlässigkeit des Maskenbildes aus einem Pulldown-Menü aus. Die Durchlässigkeit kann im Bereich von 0 % bis 100 % ausgewählt werden. Das heißt, dass in einem Fall, in dem die Durchlässigkeit 0 % beträgt, das erste Hintergrundbild vollkommen unsichtbar ist, und in einem Fall, in dem die Durchlässigkeit 100 % beträgt, das erste Hintergrundbild im Istzustand erscheint. Auf dem Konturlinienzeichenselektor 113 wählt der Benutzer aus einem Pull-down-Menü aus, ob eine Konturlinie auf dem Maskenbild gezeichnet werden soll oder nicht. Hierbei wird in einem Fall, in dem die Durchlässigkeit 100 % beträgt und keine Konturlinie ausgewählt wird, das Überwachungsbild angezeigt, auf dem die Person gelöscht ist.
Wenn das Füllverfahren des Maskenbildes, die Durchlässigkeit und das Vorhandensein/Nichtvorhandensein der Konturlinienzeichnung mit dem Füllungsselektor 111, dem Durchlässigkeitsselektor 112 und dem Konturlinienzeichenselektor 113 ausgewählt sind und die Einstell-Schaltfläche 114 betätigt wird, werden die eingegebenen Inhalte an die Servervorrichtung 102 gesendet, und die Verarbeitung der Einstellungen der Maskenbedingungen des Benutzers wird in der Maskenbedingungseinstelleinheit 106 durchgeführt.
Wie außerdem bereits erwähnt, kann im Falle des Änderns der Farbe des Maskenbildes in die gemäß dem Überfüllungsgrad spezifizierte Farbe (entsprechend der Anzahl von Personenrahmen) (im Modus, in welchem das Maskenbild in Rot angezeigt wird, falls der Überfüllungsgrad hoch ist, und das Maskenbild in Blau angezeigt wird, falls der Überfüllungsgrad niedrig ist, oder dem Modus, in welchem der Überfüllungsgrad durch kontrastierende Dichte und Durchlässigkeit mit dem gleichen Farbton dargestellt wird) anstelle der Auswahl des Maskenbildes auf dem Füllungselektor 111 ein Überfüllungszustandsanzeigemodus auf dem Maskenbedingungseinstellbildschirm vorgesehen sein, so dass der Benutzer Ein/Aus des Modus auswählten kann.
Wie bereits erwähnt, ist es in der vorliegenden Ausführungsform möglich, ein Überwachungsbild anzuzeigen, das für den Benutzer leicht zu erkennen ist, da der Benutzer mindestens eines der Anzeigeelemente von Farbe, Durchlässigkeit und Vorhandensein/Nichtvorhandensein der Konturlinie des Maskenbildes ändern kann.
In der vorliegenden Erfindung ist die Maskenbedingungseinstelleinheit 106 in der Servervorrichtung 102 vorgesehen, so dass die Anzeigeelemente des Maskenbildes für jeden Benutzer geändert werden können, aber eine Maskenbedingungseinstelleinheit kann in der Kamera 1 (siehe 8) der ersten Ausführungsform vorgesehen sein, und in dieser Maskenbedingungseinstelleinheit können Maskenbedingungen gemäß der Bedieneingabe durch den Benutzer eingestellt werden, und der Maskenbildgenerator 55 kann ein Maskenbild basierend auf den Maskenbedingungen erzeugen. Auf diese Weise kann zum Beispiel ein Benutzer, wie beispielsweise ein Administrator, das Anzeigeelement des Maskenbildes für jede Kamera 1 frei ändern.
Wie bereits erwähnt, wurde die Ausführungsform als ein Beispiel der in der vorliegenden Anmeldung offenbarten Technik beschrieben. Die Technik in der vorliegenden Offenbarung ist jedoch nicht darauf beschränkt und kann auch auf Ausführungsformen angewendet werden, in welchen Änderung, Ersetzung, Hinzufügung, Weglassung und dergleichen durchgeführt werden. Außerdem ist es möglich die in den vorstehenden Ausführungsformen beschriebenen Bestandselemente zu einer neuen Ausführungsform zu kombinieren.
Als eine Modifikation der vorstehenden Ausführungsform kann anstelle des Maskenbildes der Konturform der Person ein rechteckiges Maskenbild, das einem Personenrahmen entspricht, basierend auf den Detektionsergebnissen der Bewegtobjekt-Detektion und der Personendetektion verwendet werden. In diesem Fall ändert sich nur die Form des Maskenbildes, die dem Bildbereich der Person entspricht, und es können die vom Benutzer gewünschten Einstellungen, wie beispielsweise die in der vorstehenden Ausführungsform beschriebenen Maskenbedingungen, durchgeführt werden.
Außerdem wurde in der vorstehenden Ausführungsform ein Beispiel eines Bahnhofs beschrieben, aber die Ausführungsform ist nicht auf solch einen Bahnhof beschränkt, sondern sie kann auf verschiedene Einrichtungen, wie beispielsweise einen Themenpark, eine Veranstaltungshalle und dergleichen, allgemein angewendet werden. Außerdem sind auch eine Bushaltestelle, ein Gehsteig, eine Straße und dergleichen, wo eine Kamera (Überwachungsvorrichtung 1) installiert ist, in einer Zieleinrichtung enthalten, und die Technik gemäß der vorliegenden Offenbarung kann auch auf diese Zieleinrichtungen angewendet werden.
Außerdem wurde in der vorstehenden Ausführungsform ein Beispiel beschrieben, in welchem ein sich bewegendes Objekt, das maskiert werden soll, eine Person ist, aber es kann auch ein anderes sich bewegendes Objekt als eine Person, beispielsweise ein Fahrzeug, zum Beispiel ein Auto, ein Fahrrad und dergleichen, als Ziel verwendet werden. Selbst für ein anderes sich bewegendes Objekt als solch eine Person ist es notwendig, in Betracht zu ziehen, dass die persönliche Privatsphäre nicht verletzt wird, falls es möglich ist, den Eigentümer oder Benutzer davon zu identifizieren.
Außerdem wird in der vorstehenden Ausführungsform Bildverarbeitung zum Reduzieren von Identifizierbarkeit an ganzen aufgenommenen Bildern durchgeführt, aber ein Bereich, in dem klarerweise keine Person erscheint, wie beispielsweise eine Decke eines Gebäudes und dergleichen, kann vom Ziel der Bildverarbeitung zum Reduzieren von Identifizierbarkeit ausgeschlossen werden. Auf diese Weise wird es leichter, die Situation des Zielbereichs zu erfassen.
In diesem Fall kann ein Administrator oder dergleichen manuell einen Bereich festlegen, der von der Bildverarbeitung zum Reduzieren von Identifizierbarkeit ausgeschlossen werden soll, aber ein Bereich, der von der Bildverarbeitung zum Reduzieren von Identifizierbarkeit ausgeschlossen werden soll, kann basierend auf dem Detektionsergebnis der Bewegtobjekt-Detektion festgelegt werden. Das heißt, ein Bereich, in dem für einen bestimmten Zeitraum oder mehr kein sich bewegendes Objekt detektiert wird, kann vom Ziel der Bildverarbeitung zum Reduzieren von Identifizierbarkeit ausgeschlossen werden. Außerdem kann die Wirkung der Bildverarbeitung zum Reduzieren von Identifizierbarkeit schrittweise reduziert werden, wenn die Zeit, während der kein sich bewegendes Objekt detektiert wird, andauert.
Außerdem werden in der vorstehenden Ausführungsform in der Kamera eine erste Verarbeitung zum Erzeugen eines ersten Hintergrundbildes, auf welchem die Identifizierbarkeit eines Objekts reduziert ist, eine zweite Verarbeitung zum Erzeugen eines Maskenbildes und Bildausgabesteuerung zum Aufsetzen des Maskenbildes auf das Hintergrundbild durchgeführt, aber die Gesamtheit oder ein Teil dieser Arten von erforderlicher Verarbeitung durch den PC durchgeführt werden. Außerdem kann sogar die Gesamtheit oder ein Teil der erforderlichen Verarbeitung durch eine Aufzeichnungseinrichtung (Bildspeichervorrichtung), welche die von der Kamera ausgegebenen Bilder sammelt, oder einen Adapter (Bildausgabesteuerungsvorrichtung), der die von der Kamera ausgegebenen Bilder steuert, durchgeführt werden.
GEWERBLICHE VERWERTBARKEIT
Die Überwachungsvorrichtung, das Überwachungssystem und das Überwachungsverfahren gemäß der vorliegenden Offenbarung haben die Wirkung des zuverlässigen Schützens der Privatsphäre einer Person und Anzeigens eines Überwachungsbildes, aus welchem eine Überfüllungssituation und dergleichen in einer Einrichtung intuitiv erfasst werden kann, und können als eine Überwachungsvorrichtung, ein Überwachungssystem und ein Überwachungsverfahren und dergleichen verwendet werden, die ein Überwachungsbild erzeugen und ausgeben, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild eines Zielbereichs durchgeführt wird.
Bezugszeichenliste

1: KAMERA (ÜBERWACHUNGSVORRICHTUNG)
3: SERVERVORRICHTUNG
4: BENUTZERENDGERÄTEVORRICHTUNG
21: ABBILDUNGSEINHEIT
22: PROZESSOR
23: SPEICHERVORRICHTUNG
24: KOMMUNIKATOR
41: BILDABRUFEINHEIT
42: ERSTE VERARBEITUNGSEINHEIT
43: ZWEITE VERARBEITUNGSEINHEIT
44: BILDAUSGABESTEUERUNG
51: ERSTER HINTERGRUNDBILDGENERATOR
53: ZWEITER HINTERGRUNDBILDGENERATOR
54: POSITIONSINFORMATIONSABRUFEINHEIT
55: MASKENBILDGENERATOR
101: KAMERA
102: SERVERVORRICHTUNG
104: ZWEITE VERARBEITUNGSEINHEIT
106: MASKENBEDINGUNGSEINSTELLEINHEIT
107: MASKENBILDGENERATOR
108: BILDAUSGABESTEUERUNG
111: FÜLLUNGSSELEKTOR
112: DURCHLÄSSIGKEITSSELEKTOR
113: KONTURLINIENZEICHENSELEKTOR

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 5088161 [0005]

Claims

Überwachungsvorrichtung, umfassend: einen Prozessor, wobei die Überwachungsvorrichtung ein Überwachungsbild erzeugt und ausgibt, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, und der Prozessor Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild durchführt, ein sich bewegendes Objekt aus dem aufgenommenen Bild detektiert, um ein Maskenbild zu erzeugen, das einem Bildbereich des sich bewegenden Objekts entspricht, und das Überwachungsbild erzeugt und ausgibt, auf welchem das Maskenbild auf ein identifizierbarkeitsreduziertes Bild aufgesetzt ist.
Überwachungsvorrichtung nach Anspruch 1, wobei der Prozessor Mosaikverarbeitung, Unschärfeverarbeitung oder Mischverarbeitung als Bildverarbeitung zum Reduzieren der Identifizierbarkeit des Objekts ausführt.
Überwachungsvorrichtung nach Anspruch 1, wobei der Prozessor ein transparentes Maskenbild erzeugt, das eine Konturform des sich bewegenden Objekts darstellt.
Überwachungsvorrichtung nach Anspruch 1, wobei der Prozessor das Maskenbild gemäß einer Maskenbedingung erzeugt, die gemäß einer Bedieneingabe durch einen Benutzer eingestellt wird, und gemäß der Maskenbedingung mindestens ein Anzeigeelement von Farbe, Durchlässigkeit und Vorhandensein/Nichtvorhandensein einer Konturlinie des Maskenbildes geändert werden kann.
Überwachungsvorrichtung nach Anspruch 1, wobei der Prozessor das Maskenbild gemäß einer Maskenbedingung erzeugt, die gemäß einer Bedieneingabe durch einen Benutzer eingestellt wird, und als die Maskenbedingung ein Überfüllungszustandsanzeigemodus eingestellt werden kann, in welchem das Maskenbild mit einer Farbe erzeugt wird, die durch einen Überfüllungsgrad oder kontrastierende Dichte und Durchlässigkeit mit dem gleichen Farbton spezifiziert wird.
Überwachungssystem, das ein Überwachungsbild erzeugt, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, um das Bild an eine Benutzerendgerätevorrichtung zu verteilen, wobei das System umfasst: eine Kamera, die den Zielbereich abbildet; eine Servervorrichtung, die das Überwachungsbild an die Benutzerendgerätevorrichtung verteilt; und die Benutzerendgerätevorrichtung, wobei entweder die Kamera oder die Servervorrichtung Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, am aufgenommenen Bild durchführt, ein sich bewegendes Objekt aus dem aufgenommenen Bild detektiert, um ein Maskenbild zu erzeugen, das einem Bildbereich des sich bewegenden Objekts entspricht, und das Überwachungsbild erzeugt und ausgibt, auf welchem das Maskenbild auf ein identifizierbarkeitsreduziertes Bild aufgesetzt ist.
Überwachungsverfahren zum Veranlassen einer Informationsverarbeitungsvorrichtung, Verarbeitung zum Erzeugen und Ausgeben eines Überwachungsbildes durchzuführen, auf welchem Privatsphärenmaskenverarbeitung an einem aufgenommenen Bild durchgeführt wird, das durch Abbilden eines Zielbereichs erhalten wird, wobei das Verfahren umfasst: Durchführen von Bildverarbeitung zum Reduzieren der Identifizierbarkeit eines Objekts, das auf dem aufgenommenen Bild erscheint, um ein identifizierbarkeitsreduziertes Bild zu erzeugen; Detektieren eines sich bewegenden Objekts aus dem aufgenommenen Bild, um ein Maskenbild zu erzeugen, das einem Bildbereich des sich bewegenden Objekts entspricht, und Erzeugen und Ausgeben des Überwachungsbildes, auf welchem das Maskenbild auf ein identifizierbarkeitsreduziertes Bild aufgesetzt ist.