DE3687789T2 - Bildsignalverarbeitungsgeraet. - Google Patents

Description

• Diese Erfindung betrifft ein Bildsignalbearbeitungsgerät und insbesondere einen Aufbau eines Bildsignalbearbeitungsgerätes (Prozessors), bei der örtliche Bildbearbeitung wie räumliche Faltung, nichtlineare Nachbararithmetik-Betätigungsvorgänge mit hoher Geschwindigkeit ausgeführt werden können und auch eine Erweiterung eines örtlichen Bildbereichs und eine Parallelbearbeitung durch Verwendung eines Mehrfach-Prozessors leicht durchgeführt werden kann.
• Allgemein gesprochen enthält eine Bildbearbeitung die nachfolgenden fünf Schritte, die sequentiell ausgeführt werden. Das ist (i) Beobachtung, (ii) Abtastung/Quantisierung/Kodierung, (iii) Vorbearbeitung, (iv) Merkmal-Ausziehung, (v) Objekterkennung. Ein Objekt wird allgemein durch eine Videokamera beobachtet, deren Bildausgangssignal dann digitalisiert wird. In diesem Fall enthält das digitalisierte Bild Zufallsrauschen infolge von Kamera-Charakteristiken und Lichtreflexion. Aus diesem Grunde wird Vorbearbeitung eingesetzt, um die unerwünschte Rauschkomponente zu entfernen. Nach dieser Bearbeitung werden Merkmale aus dem vorbearbeiteten Bildsignal extrahiert und danach werden die extrahierten Merkmale benutzt, um das durch eine Videokamera beobachtete Objekt zu identifizieren.
• Bei solcher Bildbearbeitung verbraucht die Vorbearbeitung die meiste Zeit, da sie eine gewaltige Menge digitaler Daten behandelt, welche ein Bild darstellen. Gegenwärtige von Neumann - Computer sind für eine derartige Bearbeitung nicht gut geeignet.
• Dann wurden verschiedene Versuche durchgeführt, um eine Bildsignalbearbeitung mit hoher Geschwindigkeit durch Parallelbearbeitung von Bildsignaldaten zu realisieren, aber es ist extrem schwierig, jeweils gesamte Datenmengen eines Bildrahmens parallel zu bearbeiten. Örtliche Parallelbildbearbeitungen, welche örtliche Bilddaten von m·n Bildelementen (Pixeln) eines Bildrahmens bearbeiten, sind auf breitere Bearbeitungen anwendbar, wie Durchschnittsbildung, Differentialbetätigung, Datentransformation usw., und die Größe der dafür benutzten Schaltung ist relativ gering. Deswegen wird die Entwicklung von LSI zur Verwendung bei solcher örtlicher Parallelbildbearbeitung aktiv ausgeführt.
• Ein übliches Bildsignalbearbeitungsgerät vom örtlichen Parallelbild-Bearbeitungstyp besitzt einen spezifischen Aufbau, der exklusiv für jede Bildbearbeitungsfunktion benutzt wird und deswegen im allgemeinen keine Allgemeinverwendungs-Struktur und Erweiterungsfunktion besitzt.
• Allgemein gesprochen ist ein örtliches Bildsignalverarbeitungsgerät eines, das Ortsbereichs-Bilddaten einer bestimmten angemessenen Größe aus eingehenden Bilddaten aufnimmt und eine Berechnung auf derartige Ortsbereichs-Bilddaten anwendet. D.h. ein Ortsbildsignal-Prozessor behandelt eine Bildbearbeitung eines ganzen Bildrahmens durch Abtasten eines Fensters, das einfach einen Ortsbildbereich über den Gesamtbereich eines Bildrahmens deckt.
• Unter Bildsignalverarbeitungs-Verfahren gibt es viele Arten von Bearbeitungen, die durch Ortsbildbearbeitung wie Durchschnittsbildung, Differentialbetrieb, Merkmal-Extrahierung usw. ausgeführt werden. Diese Arten von Bearbeitungen sind untereinander unterschiedlich kompliziert entsprechend der Gestaltung und Größe des Ortsbildbereichs. Allgemein wird eine solche Bildbearbeitung in einem Ortsbereich von etwa 3 ·3 bis 16·16 Pixeln ausgeführt.
• Ein Beispiel eines herkömmlichen Ortsbildsignalverarbeitungsgerätes ist beschrieben in "Image signal processor computes fast enough for gray-scale video" von Tadashi Fukushima, in Electronic Design, 4. Oktober 1984, Seiten 209 bis 215. Der in Electronic Design beschriebene Bildsignal-Prozessor besitzt eine bestimmte Exklusivverwendungsstruktur und hat keine allgemeine Verwendungsstruktur und erfordert weiter viele periphere/zusätzliche Schaltungen zur Realisierung von Expansionsbearbeitung.
• Der Aufsatz "Comparison of parallel architectures for image processing circuits" von Ruetz u. a. (IEEE International Symposium on Circuits and Systems, San Jose, 5.-7. Mai 1986, Bd. 2, Seiten 732-7) vergleicht derartige Spezialverwendungs-Prozessoren mit programmierbaren Allgemeinverwendungs- Prozessoren für Bildbearbeitungszwecke, und seine Schlüsse begünstigen Spezialverwendungs-Prozessoren wegen der hier geringeren Hardware-Kompliziertheit.
• Ein Allgemeinverwendungs-Bildprozessor ist in EP-A-0189943 (Hitachi, Ltd.) beschrieben. Dieser Bildprozessor kann als eine LSI-Schaltung ausgeführt werden und ist in der Lage, die Größe des bearbeiteten Ortsbereichs zu ändern (insbesondere zu erweitern). Für erweiterte Ortsbereichsbearbeitung werden eine Anzahl von Ortsbereichs-Prozessoren gemeinsam benutzt und anschließende Nebenbereiche werden gleichzeitig durch die jeweiligen Prozessoren vorgeschlagen. Die Ergebnisse der Bearbeitungsschritte werden dann seriell von einem Prozessor zum nächsten weitergeleitet, wobei jeder Prozessor sein Ergebnis zu dem von dem (den) vorhergehenden Prozessor(en) empfangenen Wert addiert.
• Die vorliegende Erfindung hat als grundsätzliches Ziel die Schaffung eines verbesserten Bildsignal-Prozessors, der insbesonders Erweiterung eines Ortsbildbereichs realisiert mit hochschneller Bearbeitung und eine für LSI geeignete einfache Architektur besitzt.
• Dieses Ziel der Erfindung wird erreicht durch ein Bildsignalverarbeitungsgerät entsprechend der vorliegenden Erfindung, welches umfaßt:
• m Bilddaten-Eingabekanäle zum Empfang von Ortsbereich-Bilddaten;
• ein Ortsbereich-Bildregister, das aus m Reihen sequentieller Speicher besteht, wobei jede Reihe der sequentiellen Speicher Daten von einem entsprechenden Bildeingabekanal empfängt und jede Reihe der sequentiellen Speicher sich auf n Pixel beziehende Bilddaten speichert; und
• eine Recheneinheit, die an das Ortsbereich-Bildregister gekoppelt ist, und Berechnungen aufgrund von Ortsbereich-Bilddaten daraus ausführt, wobei die Recheneinheit (m ·n) Ortsbereich-Bilddaten vom Ortsbereich-Bildregister empfängt und einen Eingabeanschluß zum Empfang externer Daten besitzt;
• dadurch gekennzeichnet, daß weiterhin vorgesehen sind:
• ein Register für Erweiterungseinsatz, das m Reihen von Speichern umfaßt, wobei jede Registerreihe für Erweiterungseinsatz Daten vom Ausgang einer entsprechenden Reihe sequentieller Speicher des Ortsbereich-Bildregisters empfängt und den Ausgang der Reihe sequentieller Speicher verzögert, und jedes Register für den Erweiterungseinsatz sich auf ein Pixel bezogene Bilddaten hält; und
• m Bilddaten-Ausgabekanäle zur Ausgabe von Ortsbereich-Bilddaten, die aufgrund des Durchgangs durch das Ortsbereich-Bildregister und das Register für den Erweiterungseinsatz verzögert sind.
• Bei einer besonderen Ausführung umfaßt das Ortsbereich-Bildregister (m·n) Einpixel-Schieberegister, wobei m gleich 3 und n gleich 3 sein kann. Das Register für Erweiterungseinsatz umfaßt m 1Bit-Schieberegister. In diesem Fall kann m gleich 3 sein.
• Entsprechend der vorliegenden Erfindung, wie sie hier beschrieben ist, werden u. a. folgende Vorteile erhalten.
• (1) Es ist möglich, ein Bildsignalbearbeitungsgerät zu erhalten, das hochschnelle Ortsbereich-Bilddatenbearbeitung realisieren kann.
• (2) Es ist möglich, ein Bildsignalbearbeitungsgerät zu erhalten, das auf einfache Weise Erweiterungsbearbeitung von Ortsbildbereichen unter Benutzung einer außerordentlich einfachen Struktur realisieren kann.
• (3) Es ist möglich, ein Bildsignalverarbeitungsgerät zu erhalten, das eine Allgemeinverwendungsstruktur durch Programmsteuerung besitzt.
• Die Merkmale und Vorteile der vorliegenden Erfindung werden klarer verstanden aus der nachfolgenden Beschreibung von Ausführungen derselben, die beispielsweise angegeben werden, in Zusammenhang mit den beigefügten Zeichnungen genommen, in welchen:
• Fig. 1 ein Prinzip einer Ortsbildbearbeitung zeigt, auf das sich die vorliegende Erfindung gründet;
• Fig. 2 ein Blockschaltbild einer Ausführung eines Ortsbereichs-Bildprozessors nach der Erfindung ist;
• Fig. 3 ein Blockschaltbild eines Ortsbildbearbeitungssystems ist, das einen Prozessor nach der einen Ausführung benutzt, der eine Ortsbereich-Bildexpansions-Funktion besitzt;
• Fig. 4 den Betrieb des Ortsbildprozessors aus Fig. 3 illustriert;
• Fig. 5 ein detailliertes Blockschaltbild eines Ortsbildprozessors einer Ausführung ist;
• Fig. 6 ein Blockschaltbild eines Ortsbildbearbeitungssystems ist, das eine weitere Anwendung eines Prozessors der einen Ausführung darstellt;
• Fig. 7 ein Zeitschaubild zur Erläuterung des Betriebs des Ortsbereich-Bildprozessors aus Fig. 6 ist;
• Fig. 8 ein Blockschaltbild eines Ortsbildbearbeitungssystems ist, das noch eine weitere Anwendung des Bildprozessors der einen Ausführung darstellt;
• Fig. 9 den Betrieb des in Fig. 8 gezeigten Ortsbildprozessors illustriert; und
• Fig. 10 ein Zeitschaubild zum Erklären des Betriebs des in Fig. 8 gezeigten Ortsbildprozessors ist.
Detaillierte Beschreibung der Erfindung
• Die Erfindung wird mit Bezug auf die Zeichnungen erklärt. Fig. 1 stellt ein Prinzip einer örtlichen Bildbearbeitung dar.
• Ortsbildbearbeitungsverfahren werden meistens bei Digitalbildbearbeitungssystemen wie Kantenerfassung, Glättung usw. eingesetzt. Die Daten jedes Pixels und seiner benachbarten Pixel in dem Ortsfenster 10 werden gesammelt und durch den Prozessor 12 so bearbeitet, daß ein Ausgabepixel 14 eines Ausgabebildes 16 erzielt wird, wie in Fig. 1 gezeigt. Das Ortsbereichs-Fenster 10 tastet sequentiell über das Rahmenbild eines Eingangsbildes 18 eins nach dem anderen ab, gesteuert durch die Abtaststeuerung 20.
• Für Realzeit-Bildbearbeitung ist ein Prozessor mit sehr hoher Geschwindigkeit unerläßlich. In dem Fall des NTSC-Systems mit 512·512 Pixeln in einem Rahmen ist die Abtastrate der Bildsignale etwa 90 ns pro Pixel. In diesem Fall muß der Prozessor die Berechnung aller Daten eines Ortsbereich-Fensters innerhalb 90 ns fertigstellen. Das Ortsbereich-Fenster bedeckt allgemein 3·3 bis 16·16 Bildelemente. Je größer wir das Ortsbereich-Fenster wählen, umso höhere Bearbeitungs-Geschwindigkeit brauchen wir.
• Die vorliegende Erfindung ist ein einfacher, jedoch mächtiger Realzeit-Bildsignalprozessor.
• Wegen der Entwicklung der neuartigen Ortsbereich-Bildregister und der Pipeline-Register kann der Bildsignalprozessor dieser Erfindung im Multichip-Betrieb bei solchen Bildbearbeitungsanwendungen betrieben werden, die eine viel höhere Geschwindigkeit des vergrößerten Ortsbereich-Fensters erfordern. Die Geschwindigkeit kann leicht auf das Doppelte oder Mehrfache erhöht werden, wenn zwei oder mehr Bildsignalprozessoren benutzt werden, und gleichzeitig kann das Ortsbereich-Fenster ohne irgendwelchen Zeitverlust vergrößert werden.
• Fig. 2 zeigt eine Ausführung eines Ortsbereich-Bildsignalprozessors zur Behandlung einer Ortsbereich-Bildfläche der Größe von 3 zu 3 Pixeln oder 3 Zeilen ·3 Spalten nach der Erfindung. Eingehende Bildsignale 18 werden direkt oder indirekt durch Einzeilen-Schieberegister 22, 24 an den Ortsbereich-Bildsignalprozessor 12 angelegt, der Eingangsklemmen 26, 28, 30, Ausgangsklemmen 32, 34, 36, eine Eingangsklemme 38 für externe Daten und eine Rechenergebnis-Ausgangsklemme 40 besitzt. 1Pixel-Schieberegister 42 58 erhalten Bilddaten von Klemmen 26 36 und speichern Orts-Bilddaten von (m) Zeilen ·(n) Spalten oder (m)·(n) Pixeln. 1Pixel-Bilddaten umfassen 8 Bit. Eine weitere Reihe von 1Pixel-Schieberegistern 60 64 erhält die Ausgangssignale von den in Reihe verbundenen Registern 42 46, 48 52, 54 58, um jeweils Ausgangssignale derselben an Klemmen 32 36 zu erzeugen. Ausgangssignale von Schieberegistern 42 58 und externe Daten von der Klemme 38 werden an die Recheneinheit 66 zur Berechnung angelegt. Das Ausgangssignal der Recheneinheit 66 ist an die Klemme 40 angelegt.
• Bilddaten 18 werden sequentiell Pixel um Pixel durch das Abtasten eines Eingangsbildes gelesen und werden dem Schieberegister 42 angelegt. Schieberegister 48 erhält Daten, die durch Einzeilen-Schieberegister 22 um eine Zeile verzögert sind im Vergleich zu den Daten, die am Schieberegister 42 anliegen. Schieberegister 54 erhält Daten, die um zwei Zeilen verzögert sind durch die Einzeilen-Schieberegister 22, 24 im Vergleich zu den Daten, die am Schieberegister 42 anliegen. Wie vorher festgestellt, werden drei Arten von Daten, die jeweils um eine Zeile verzögert sind, an die Schieberegister 42, 48, 54 angelegt und dann zu den Schieberegistern 44, 50, 56 bzw. 46, 52, 58 jeweils so übertragen, daß Bilddaten Pixel um Pixel übertragen werden. Durch einen solchen Betrieb werden die Bilddaten von dem Eingangsbild durch Schieberegister 42 58 als Ortsbereichs-Bilddaten von 3 zu 3 Pixeln oder 3 Zeilen·3 Spalten rekonstruiert. Diese Schieberegister 42 58 werden als Orts-Bildregister 59 bezeichnet. Ortsbereich-Daten werden bearbeitet durch die Recheneinheit 66, so daß Bildbearbeitung des gesamten Bereichs möglich ist.
• Schieberegister 60, 62, 64 werden als Erweiterungseinsatz- Register 65 bezeichnet.
• Es besteht eine relevante US-Patentanmeldung, Ser. Nr. 682 321, eingereicht am 17. Dezember 1984, jetzt US-PS 4 635 292, die eine ähnliche Schaltungsstruktur wie die Struktur der Fig. 2 enthält, jedoch keine Erweiterungseinsatz-Register 65 enthält.
• Fig. 3 zeigt einen Fall, bei dem die Bildbearbeitung eines erweiterten Ortsbereichs durchgeführt wird durch Verwendung einer Vielzahl von Orts-Bildsignalprozessoren 12. In dieser Ausführung nach Fig. 3 ist eine erweiterte Orts-Bildbearbeitung von 6 zu 6 Pixeln oder 6 Zeilen·6 Spalten möglich durch Verwendung von 4 Prozessoren 12A 12D mit je 3 Zeilen·3 Spalten. Die Struktur jedes Prozessors ist gleich der in Fig. 2 gezeigten.
• Eingangs-Bildsignal 18 wird durch den Bildsignal-Eingangsanschluß an den Bildsignalprozessor 12A angelegt. Die Struktur des Prozessors 12A und seiner Peripherien ist die gleiche, wie in Fig. 2 gezeigt. Ausgangsklemmen 32, 34, 36, 40 des Prozessors 12A sind mit Eingangsklemmen 26, 28, 30, 38 des Prozessors 12B verbunden. Die Ausgangsklemme 40 des Prozessors 12B ist mit der Externsignal-Eingangsklemme 38 des Prozessors 12C verbunden. Das Ausgangssignal des EinZeilen- Schieberegisters 24 wird durch Zwei-Pixel-Schieberegister 70, EinZeilen-Schieberegister 72 an die Eingangsklemme 26 des Prozessors 12C angelegt. Der Ausgang des EinZeilen- Schieberegisters 72 wird durch EinZeilen-Schieberegister 74 an die Eingangsklemme 28 des Prozessors 12C angelegt. Das Ausgangssignal des EinZeilen-Schieberegisters 74 wird durch EinZeilen-Schieberegister 76 an die Eingangsklemme 30 des Prozessors 12C angelegt. Das Ausgangssignal des EinZeilen- Schieberegisters 74 wird durch Einzeilen-Schieberegister 76 an die Eingangsklemme 30 des Prozessors 12C angelegt. Die Ausgangsklemmen 32, 34, 36, 40 des Prozessors 12C sind mit Eingangsklemmen jeweiligen 26, 28, 30, 38 des Prozessors 12D verbunden. Der Abschlußausgang 78 wird von der Ausgangsklemme 40 des Prozessors 12D erzeugt.
• In Fig. 4 ist ein zu bearbeitendes Bild mit Bezugszeichen 80 bezeichnet. Ortsbereiche 82D 82A werden Ortsbereich-Signalprozessoren 12A 12D gleichzeitig mit willkürlicher Zeitgabe zugeführt und in ihnen gespeichert. Ortsbereiche 82A, 82B besitzen einen Zwischenraum von einem Pixel in Horizontalrichtung. Wie in Fig. 3 gezeigt, werden Rechenergebnis-Ausgangssignale der Prozessoren 12A 12C durch Ausgangsklemmen 40 an externe Dateneingangsklemmen 38 der Prozessoren 12B 12D der nächsten Stufe angelegt. Deswegen werden im Falle von räumlicher Faltungsrechnung usw. die Faltungsrechenergebnisse eines Prozessors einer bestimmten Stufe bei der nächsten Zeitgabe mit dem Faltungsrechenergebnis des Prozessors der nächsten Stufe geUNDet. Durch Übertragen des Rechenergebnisses jedes Prozessors zu dem Prozessor der nächsten Stufe in Abtastrichtung wird das Ausgangssignal 78 des Endstufen- Prozessors 12D das Rechenergebnis des erweiterten Ortsbereiches (in diesem Fall 6 Zeilen·6 Spalten). Die Bitzahl für Schieberegister 70 unterscheidet sich entsprechend der Anzahl von verwendeten Ortsbereich-Bildsignalprozessoren.
• In dem Aufbau nach Fig. 3 erzeugen vier Orts-Bildprozessoren 12A 12D ihre Ausgangssignale nicht gleichzeitig. D.h., die Ausgangssignale von den Klemmen 32, 34, 36 des Prozessors 12A werden durch Erweiterungseinsatz-Schieberegister 60, 62, 64 (s. Fig. 2) um ein Pixel (ein Bit) verzögert. Das Ausgangssignal von Klemme 40 des Prozessors 12A wird auch durch die Rechenoperation der Recheneinheit 66 verzögert. Deshalb ist das Ausgangssignal von Klemme 40 des Prozessors 12B im Vergleich mit dem Ausgangssignal von Klemme 40 des Prozessors 12A verzögert. In gleicher Weise wird das Ausgangssignal von Klemme 40 des Prozessors 12C verzögert im Vergleich mit dem Ausgangssignal von Klemme 40 des Prozessors 128, und das Ausgangssignal von Klemme 40 des Prozessors 12D ist verzögert im Vergleich mit dem Ausgangssignal von Klemme 40 des Prozessors 12C. Wie vorher festgestellt, werden die vier Ausgangssignale der Prozessoren 12A 12D mit unterschiedlicher Zeitgebung ausgegeben. Deswegen wird z. B. das Ausgangssignal des Prozessors 12A mit den Ausgangssignalen vom örtlichen Bildregister 59 (s. Fig. 2) des Prozessors 128 in der Recheneinheit 86 des Prozessors 128 geUNDet. Das bedeutet, daß es nicht nötig ist, eine periphere Schaltung zur Orts-Bildbearbeitung vorzusehen.
• Wie vorstehend erklärt, kann die Erweiterungsbearbeitung eines Ortsbereichs realisiert werden ohne externe zusätzliche Schaltungen durch Verwendung einer Vielzahl von Bildsignalprozessoren, von denen jeder Ortsbereich-Register von (m) Zeilen·(n) Spalten und Erweiterungseinsatz-Register von (m) Zeilen·(n) Spalten enthält.
• Fig. 5 zeigt ein Ausführungsbeispiel einer Architektur eines Bildsignalprozessors nach der vorliegenden Erfindung. Das Orts-Bildregister 84, an das Bilddaten 18 in paralleler Weise angelegt werden, speichert Ortsbereich-Bilddaten von (m) Zeilen·(n) Spalten. Erweiterungseinsatz-Bildregister 86 erhält das Ausgangssignal des Orts-Bildregisters 84 und schiebt die Bilddaten in der Reihenfolge und erzeugt Bilddatenausgang 88. Das Orts-Bildregister 84 und das Erweiterungseinsatz-Bildregister 86 werden durch den Bildeinlesetakt 90 von der Taktsteuerschaltung 92 angesteuert. Der Schiebebetrieb des Erweiterungseinsatz-Bildregisters 86 wird durch das Erweiterungssteuersignal 94 von der Eingangsklemme 96 gesteuert. Wenn das Erweiterungssteuersignal zugeführt wird, wird das Erweiterungseinsatz-Bildregister 86 in einen Schiebemodus gesetzt, wobei Erweiterungsbearbeitung eines Ortsbildbereichs in einer Pipeline-Weise ausgeführt wird. Wenn das Erweiterungssteuersignal nicht angelegt wird, wird das Erweiterungseinsatz-Bildregister 86 in Durchgangsbetrieb oder Durchmodus gesetzt, wobei kein Schiebebetrieb ausgeführt wird. Die arithmetische Einheit (Addierer und Subtrahierer) 98 und der Multiplexierer 100 erhalten durch Wähler 102, 104, 106 ausgewählte Signale und führen ihre Berechnungsvorgänge durch. Datenregister 108, 110 speichern das Rechenergebnis der arithmetischen Einheit 98. Datenregister 112 speichert Eingangsdaten 114 von der Dateneingangsklemme. Datenregister 116 speichert das Rechenergebnis des Multiplizierers 100. Datenregister 118 speichert die Ausgangsdaten von dem Datenregister 110. Ausgangssteuerschaltung 110 läßt Datensignalausgang 122 nur während einer festgelegten Zeitdauer durchgehen entsprechend dem Steuersignal 124 von der Taktsteuerschaltung 92. Ausgangstaktsignal 126, das von der Taktsteuerschaltung 92 erzeugt wird, wird dazu benutzt, den Datensignalausgang 122 in externes Register (nicht dargestellt) eingelesen zu haben. Programmspeicher 128 speichert Bildbearbeitungsprogramm. Wenn Bildbearbeitung durchgeführt wird, wird das Programm durch Programm-Steuerschaltung 130 ausgelesen und dann wird jeder Block durch ein solches Ausleseprogramm gesteuert. Jeder Block wird betätigt durch Taktsignale von der Taktsteuerschaltung 92. Die Taktsteuerschaltung 92 erhält Systemtaktsignal 132, Programmstartsignal 134, Parallelsteuersignal 136 und erzeugt das vorstehend genannte Ausgangstaktsignal 126 und Steuertaktsignal für jeden Block.
• Es ist möglich, in den Programmspeicher 128 ein Adreßsignal zum Auslesen von Daten eines willkürlichen Einzelpixels im Orts-Bildregister 84 einzuschreiben, der Ortsbereichsdaten von m Zeilen·n Spalten speichert, Rechensteuersignal der arithmetischen Einheit (Addierer und Subtrahierer) 98, Steuersignale für Wähler 102, 104, 106, Einschreibe-Steuersignale für Register 112, 110, 116, Multiplizierungs-Zahl für den Multiplizierer 100 usw. Wenn diese kombiniert werden, um dadurch ein Bildbearbeitungsprogramm vorzubereiten, können willkürliche Berechnungen an Ortsbereich-Bilddaten, die in das Orts-Bildregister 84 eingelesen werden, mit hoher Geschwindigkeit ausgeführt werden.
• Wie vorstehend erklärt, wird ein Bildbearbeitungsprogramm, das in den Programmspeicher 128 geschrieben ist, an den Daten eines Ortsbildbereichs ausgeführt. Das Rechenergebnis, das im Register 110 gespeichert ist, wird zum Ausgangsregister 118 übertragen und dann durch die Ausgabesteuerschaltung 120 als Datenausgangssignal 122 ausgegeben. Dann werden neue Ortsbereichs-Bilddaten in das Orts-Bildregister 84 gelesen. Durch Wiederholen solcher Vorgänge der Reihen nach wird die Orts-Parallelbildbearbeitung eines ganzen Bildes durchgeführt.
• In dem Fall, daß die Architektur nach Fig. 5 als LSI hergestellt wird, ist die Größe des Orts-Bildregisters 84 vom Standpunkt der Integrationsdichte auf annähernd 3·3 5· 5 begrenzt. Andererseits wird im Falle der Orts-Parallelbearbeitung eines Bildes allgemein ein Orts-Bildregister von annähernd 3·3 16·16 Pixeln benutzt. Wenn ein Bildsignalprozessor mit einem Ortsbildregister von 3·3 Pixeln für Orts-Parallelbearbeitung benutzt wird, welche einen Ortsbildbereich von 12·12 Pixen behandelt, ist außer den 16 Bildsignalprozessoren eine komplexe externe Verschaltung erforderlich. In dieser Erfindung ist eine solche externe Schaltung nicht nötig zum Ausführen der vorher angeführten Bearbeitung.
• Weiter besitzt ein Bildsignalprozessor nach der Erfindung eine Struktur, die leicht eine Parallel-Bildbearbeitung durch Verwendung von Multiprozessoren ermöglicht. In dem Falle, daß Orts-Parallelbearbeitung während eines bestimmten Zeitraums ausgeführt wird und die Bildbearbeitungsgeschwindigkeit über dem Verhalten eines Bildsignalprozessors liegt, muß Parallelbearbeitung ausgeführt werden durch Verwendung einer Vielzahl von Prozessoren. In diesem Falle ist allgemein komplexe externe Schaltung erforderlich, jedoch kann bei dieser Erfindung eine Parallelbearbeitung ohne externe Verschaltung realisiert werden.
• Fig. 6 zeigt ein Beispiel, bei dem Parallelbearbeitung ausgeführt wird durch Benutzung von zwei Bildsignalprozessoren der vorliegenden Erfindung. Bilddaten werden von der Eingangsklemme 68 direkt und indirekt durch EinZeilen-Register 22 und EinZeilenregister 22, 24 zu Bildsignalprozessor 12X als Eingangsdaten 18a 18c angelegt. Programmstartsignal 134 von der Eingangsklemme 138 und Parallelsteuersignal 136 von der Eingangsklemme 140 werden an den Bildsignalprozessor 12X angelegt. Bilddaten 18a 18c und Programmstartsignal 134 werden ebenfalls an Bildsignalprozessor 12Y angelegt. Parallelsteuersignal 136 von der Eingangsklemme 142 wird auch an Bildsignalprozessor 12Y angelegt. Die Ausgangsdaten 122 der Bildsignalprozessoren 12X, 12Y werden an ODER-Glieder 144 bzw. 146 angelegt. Diese ODER-Glieder 144, 146 empfangen auch Ausgangstaktsignale 126 der Bildsignalprozessoren 12X, bzw. 12Y. Die Ausgangssignale 148, 150 der ODER- Glieder 144, 146 werden an das externe Register 152 angelegt, welches dann das Ausgangssignal 154 erzeugt.
• Jeder Bildsignalprozessor 12X, 12Y enthält ein Orts-Bildregister 84 von 3·3 Pixeln (s. Fig. 5).
• Die Bilddaten-Eingangsklemmen von Bildsignalprozessoren 12X, 12Y erhalten Bilddaten von 3 Zeilen gleichzeitig durch Verwendung von EinZeilen-Registern 22, 24. Obwohl die gleichen Bilddaten an die Bildsignalprozessoren 12X, 12Y angelegt werden, werden Ortsbereichs-Bilddaten in jedes Orts-Bildregister 84 jedes Bildsignalprozessors 12X (12Y) einzeln nacheinander eingelesen.
• Fig. 7 zeigt Spannungswellenformen der hauptsächlichen Abschnitte der Struktur nach Fig. 6. In Fig. 7(a) ist ein Programmstartsignal 134 gezeigt. Der Bearbeitungsbetrieb der Bildsignalprozessoren 12X, 12Y wird eingeleitet und das Einlesen von Bildeingangsdaten 18 [s.(b) von Fig. 7] in das Orts-Bildregister 84 wird synchron mit dem Programmstartsignal 134 eingeleitet. (c), (d) zeigen parallele Steuersignale 134 zum Anlegen an Bildsignalprozessoren 12X, 12Y. Diese beiden parallelen Steuersignale 134 haben einander entgegengesetzte Phase. Diese parallelen Steuersignale 136 werden an Taktsteuerschaltungen 92 der Bildsignalprozessoren 12X bzw. 12Y angelegt und steuern den Einlesetakt des Orts-Bildregisters 84, Taktsignale für Programmstart-Zeitgebung, Ausgangssteuerschaltung und externe Register. Das bedeutet, Bilddateneinlesen in Orts-Bildregister 84 wird nacheinander durchgeführt, wie in (e), (f) gezeigt. Dementsprechend wird das Programm jedes Prozessors 12X (12Y) einzeln eingeleitet und ausgeführt, so daß die Berechnung zum Einlesen von Ortbereichs-Bilddaten ausgeführt wird. Das Rechenergebnis jedes Bildsignalprozessors wird einzeln synchron mit Programmvollendung ausgegeben. Die Ausgangsdaten werden während eines bestimmten Zeitraums durch die Ausgangssteuerschaltung 120 so ausgegeben, daß die Wellenformen (g), (i) erhalten werden. Datenausgangssignale 122 werden durch ODER-Glieder 144 addiert. (h), (i) zeigen Taktsignale 126, die von den Bildsignalprozessoren ausgegeben und zum Einlesen in ein externes Register 152 benutzt werden. Die Taktsignale 126 werden auch durch ODER-Glied 146 addiert. Das addierte Rechenergebnis 148 und das addierte Taktsignal 150 werden an externes Register 152 angelegt, um dadurch bearbeitete Daten 154 zu erzeugen, die fortlaufend sind. Fig. 7 (k) zeigt ein Signal 154 (s. Fig. 6), das in das externe Register 152 eingegeben wird. Falls der Bildsignalprozessor durch ein ECL- Gate gebildet ist, kann ein ODER-Glied durch ein verdrahtetes ODER gebildet werden, das durch einfache Verdrahtung aufgebaut ist, so daß die ODER-Glieder 144, 146 nicht notwendig sind.
• Wie vorstehend erklärt, ist Parallelbearbeitung unter Benutzung eines einfachen Aufbaus möglich.
• Fig. 8 zeigt ein Orts-Bildbearbeitungssystem, das noch eine weitere Anwendung der Erfindung darstellt. Bei manchen Anwendungen besteht eine Notwendigkeit, die Daten eines vergrößerten Ortsfensters zu behandeln; z. B. eine Anordnung aus 12· 12 Pixeln, wie in Fig. 9 gezeigt. Der Prozessor kann in diesem Fall wegen seiner neuartigen Pipeline-Architektur benutzt werden.
• Z.B. ist der Raumfilter mit dem expandierten Ortsfenster von 12·12 Pixeln
• Diese gefaltete Gleichung wird darunter mit 16 partiellen Faltungen geschrieben als
• Das vergrößerte Ortsfenster wird weiter in Teilfenster a, b, c, . . ., p unterteilt. Jedes Teilfenster besitzt eine Datengröße von 3·3, die gleiche wie das Orts-Bildregister des Prozessors. 16 Einheiten A, B, C, . . ., P bearbeiten die Teilfensterdaten je einzeln. Wie in Fig. 8 gezeigt, sind 16 Einheiten seriell verbunden.
• Die Einheit A behandelt die Bilddaten des Teilfensters a und errechnet die partielle Faltung; G&sub1;. Die partielle Faltung G&sub1; wird beim nächsten Taktzyklus einer Eingangszeitgebung der Bilddaten herausgenommen. Die Bilddaten durch das Orts- Bildregister sind intern durch das Pipeline-Register um einen Taktzyklus verzögert und werden zu der nächsten Einheit übertragen. Dann werden die Bilddaten der Teilfenster mit Verschiebung um einen Taktzyklus gegeneinander in jede Einheit genommen. So werden die Daten der partiellen Mitfaltung; G&sub1; und die Bilddaten des Teilfensters p der Einheit B mit derselben Zeitgebung zugeführt. Dann kann die Einheit B gleichzeitig die Faltung von G&sub2; und die Summierung von G&sub1; und G&sub2; erreichen. Mit dem gleichen Verfahren erreicht die Einheit C die Faltung von G&sub3; und die Summierung von (G&sub1; + G&sub2;) und G&sub3;. Die Einheit P erzielt die Faltung von G&sub1;&sub6; und die Summierung von (G&sub1; + G&sub2; + . . . + G&sub1;&sub5;) und G&sub1;&sub6;. Diese Datenausgabe von der Einheit P ist gerade G (X, Y).
• Diese Pipeline-Technologie macht es möglich, das Ortsfenster ohne Zeitverlust oder die Verwendung einer anderen Bildbearbeitungseinheit zu erweitern. Pipelinen und der Parallelismus des Prozessors kann gleichzeitig benutzt werden.

Claims (7)

1. Bildsignalverarbeitungsgerät, das umfaßt:

m Bilddaten-Eingabekanäle (26, 28, 30) zum Empfang von Ortsbereich-Bilddaten;

ein Ortsbereich-Bildregister, das aus m Reihen sequentieller Speicher (42-46, 48-52, 54-58) besteht, wobei jede Reihe der sequentiellen Speicher Daten von einem entsprechenden Bilddaten- Eingabekanal (26, 28, 30) empfängt und jede Reihe der sequentiellen Speicher sich auf n Pixel beziehende Bilddaten speichert; und

eine Recheneinheit (66), die an das Ortsbbreich-Bildregister gekoppelt ist, und Berechnungen auf der Grundlage von Ortsbereich-Bilddaten davon ausführt, wobei die Recheneinheit (66) (m·n) Ortsbereich-Bilddaten vom Ortsbereich-Bildregister empfängt und einen Eingabeanschluß (38) zum Empfang externer Daten hat;

dadurch gekennzeichnet, daß weiterhin vorhanden sind:

ein Register für den Erweiterungseinsatz, das m Reihen Speicher umfaßt, wobei jede Registerreihe für den Erweiterungseinsatz

Daten vom Ausgang einer entsprechenden Reihe sequentieller Speicher des Ortsbereich-Bildregisters empfängt und den Ausgang der Reihe sequentieller Speicher verzögert, und jedes Register für den Erweiterungseinsatz sich auf ein Pixel beziehende Bilddaten speichert; und

m Bilddaten-Ausgabekanäle zur Ausgabe von Ortsbereich-Bilddaten, die aufgrund des Durchgangs durch das Ortsbereich-Bildregister und das Register für den Erweiterungseinsatz verzögert sind.

2. Bildsignalverarbeitungsgerät nach Anspruch 1, wobei das Ortsbereich-Bildregister (m·n) Ein-Pixel-Schieberegister umfaßt.

3. Bildsignalverarbeitungsgerät nach Anspruch 2, wobei m = 3 und n = 3.

4. Bildsignalverarbeitungsgerät nach Anspruch 1, wobei das Register für den Erweiterungseinsatz m Ein-Pixel-Schieberegister umfaßt.

5. Bildsignalverarbeitungsgerät nach Anspruch 4, wobei m = 3.

6. Bildsignalverarbeitungsgerät nach einem der vorangehenden Ansprüche, wobei die Recheneinheit (66) ein Rechenwerk (98) umfaßt, und das Verarbeitungsgerät weiterhin umfaßt:

eine erste Steuereinrichtung (92) zur Zuführung von Taktsignalen (90) zum Ortsbereich-Bildregister (84) und zum Register für den Erweiterungseinsatz (86) entsprechend einem parallelen Steuersignal (136);

ein Register (118), das mit der Recheneinheit (66) gekoppelt ist und die Ausgabe des Rechenwerkes (98) speichert; und

eine zweite Steuereinrichtung (120) zum Durchgang der Ausgabe des Registers (118) in einem vorgegebenen Zeitraum, wobei dieser Zeitraum von der ersten Steuereinrichtung entsprechend dem parallelen Steuersignal (136) bestimmt wird.

7. Bildsignalverarbeitungssystem, das umfaßt:

wenigstens ein erstes und ein zweites Bildsignalverarbeitungsgerät nach einem der Ansprüche 1 bis 6, wobei das erste Signalverarbeitungsgerät Bilddaten empfängt, die an das Ortsbereich- Bildregister des ersten Bildsignalverarbeitungsgerätes angelegt werden, und das zweite Bildsignalverarbeitungsgerät die Ausgaben des Registers für den Erweiterungseinsatz (32, 34, 36) und der Recheneinheit (40) des ersten Bildsignalverarbeitungsgerätes (32, 34, 36) empfängt, wobei die Ausgabe (32, 34, 36) des Registers für den Erweiterungseinsatz des ersten Bildsignalverarbeitungsgerätes an das Ortsbereich-Bildregister des zweiten Bildsignalverarbeitungsgerätes angelegt wird, und die Ausgabe der Recheneinheit des ersten Bildsignalverarbeitungsgerätes an die Recheneinheit des zweiten Bildsignalverarbeitungsgerätes angelegt wird, wodurch die Ausgabe der Recheneinheit des ersten Bildsignalverarbeitungsgerätes und die Ausgabe des Ortsbereich- Bildregisters des zweiten Bildsignalverarbeitungsgerätes an die Recheneinheit des zweiten Bildsignalverarbeitungsgerätes angelegt und dort in Berechnungen verwendet wird.