DE102011000689B4 - Control method and arrangement - Google Patents

Control method and arrangement Download PDF

Info

Publication number
DE102011000689B4
DE102011000689B4 DE201110000689 DE102011000689A DE102011000689B4 DE 102011000689 B4 DE102011000689 B4 DE 102011000689B4 DE 201110000689 DE201110000689 DE 201110000689 DE 102011000689 A DE102011000689 A DE 102011000689A DE 102011000689 B4 DE102011000689 B4 DE 102011000689B4
Authority
DE
Germany
Prior art keywords
command
control
digital
software
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE201110000689
Other languages
German (de)
Other versions
DE102011000689A1 (en
Inventor
Henning Mergard
Jannes Menck
Knut Langhans
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to DE201110000689 priority Critical patent/DE102011000689B4/en
Publication of DE102011000689A1 publication Critical patent/DE102011000689A1/en
Application granted granted Critical
Publication of DE102011000689B4 publication Critical patent/DE102011000689B4/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/23Pc programming
    • G05B2219/23386Voice, vocal command or message
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2637Vehicle, car, auto, wheelchair
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B10/00Integration of renewable energy sources in buildings
    • Y02B10/30Wind power

Abstract

Steuerungsverfahren zur Steuerung eines oder mehrerer Systeme (8, 8', 8'') und/oder einer oder mehrerer Einzelkomponenten eines zugeordneten Systems, wobei die Steuerungseingabe durch optische, akustische und/oder neuronale Signale (3) eines Bedieners erfolgt, mit den Prozessschritten: – Erfassen eines optischen, akustischen und/oder neuronalen Befehls (3) eines Bedieners; – Umwandeln des erfassten optischen, akustischen und/oder neuronalen Befehls (3) durch Erkennung in einen digitalen Wert (41); – Einordnen des digitalen Wertes (41) mittels Vergleichen des digitalen Wertes (41) mit Werten einer ersten Datenbank (231) in eine Gerätekennung, einen Steuerbefehl und/oder einen dritten Wert; – Erstellen und Bereitstellen eines digitalen Befehls (42) umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer ersten Schnittstelle; – Auslesen oder Empfangen des digitalen Befehls (42) der ersten Schnittstelle und Umsetzung des digitalen Befehls (42) in eine neue Datenstruktur zu einer digitalen Anweisung (43); – Ablegen und Bereitstellen der digitalen Anweisung (43) in einer zweiten Schnittstelle; – Auslesen oder Empfangen der in der zweiten Schnittstelle bereitgelegten digitalen Anweisung (43) durch eine oder mehrere Steuerungseinheiten (60, 60'); – Verarbeiten der digitalen Anweisung (43) durch die jeweilige(n) Steuerungseinheit(en) (60, 60') durch Umsetzen der digitalen Anweisung (43) in einen Maschinensteuerungsbefehl oder eine Maschinensteuerungsbefehlskette durch Vergleichen der digitalen Anweisung (43) mit einer Maschinensteuerungsbefehlsdatenbank (61) und – Ausführen des Maschinensteuerungsbefehls oder der Maschinensteuerungsbefehlskette durch Ansteuerung des gesamten zugeordneten Systems (8, 8', 8'') oder einer Einzelkomponente des zugeordneten Systems, wobei das Kommunizieren über die zweite Schnittstelle mittels einer Socket-Verbindung erfolgt, wobei eine TCP/IP Server-Client Socket-Verbindung (52-51) realisiert wird und die Socket-Verbindung (52-51) durch Senden eines vollständig leeren, oder mit ”0” gefüllten Befehls aufrecht erhalten wird, solange keine neuen Befehle erkannt und übertragen werden.Control method for controlling one or more systems (8, 8 ', 8 ") and / or one or more individual components of an assigned system, the control input being made by optical, acoustic and / or neural signals (3) from an operator, with the process steps - Detection of an optical, acoustic and / or neural command (3) from an operator; - Conversion of the detected optical, acoustic and / or neural command (3) by recognition into a digital value (41); - Classifying the digital value (41) by comparing the digital value (41) with values in a first database (231) in a device identifier, a control command and / or a third value; - creating and providing a digital command (42) comprising the device identifier, the control command and / or the third value in a first data structure in a first interface; - Reading out or receiving the digital command (42) of the first interface and converting the digital command (42) into a new data structure to form a digital instruction (43); - filing and making available the digital instruction (43) in a second interface; - Reading out or receiving of the digital instruction (43) provided in the second interface by one or more control units (60, 60 '); - Processing of the digital instruction (43) by the respective control unit (s) (60, 60 ') by converting the digital instruction (43) into a machine control command or a machine control command chain by comparing the digital instruction (43) with a machine control command database ( 61) and - Execution of the machine control command or the machine control command chain by controlling the entire assigned system (8, 8 ', 8' ') or an individual component of the assigned system, with communication via the second interface using a socket connection, with a TCP / IP server-client socket connection (52-51) is implemented and the socket connection (52-51) is maintained by sending a completely empty command or a command filled with “0” as long as no new commands are recognized and transmitted .

Description

Die Erfindung betrifft ein Steuerungsverfahren zur Steuerung eines oder mehrerer Systeme und/oder einer oder mehrerer Einzelkomponenten eines zugeordneten Systems und eine Steuerungsanordnung für das Steuerungsverfahren, wobei die Steuerung durch optische, akustische und/oder neuronale Signale eines Bedieners erfolgt.The invention relates to a control method for controlling one or more systems and / or one or more individual components of an associated system and a control arrangement for the control method, wherein the control is performed by optical, acoustic and / or neural signals of an operator.

Derartige Systeme können sowohl elektrisch ansteuerbare, mechatronische, elektronische und/oder mechanische Systeme sein.Such systems can be both electrically controllable, mechatronic, electronic and / or mechanical systems.

Aus dem Stand der Technik sind unterschiedliche Anordnungen und Verfahren bekannt, um mittels akustischen oder optischen Signalen, Sprache oder Bewegungen eines Bedieners elektrische Geräte zu steuern.Various arrangements and methods are known from the prior art for controlling electrical devices by means of acoustic or optical signals, speech or movements of an operator.

Als Sprachsteuerung bezeichnet man die Übermittlung von Befehlen an technische Geräte, die per Stimme erfolgen. Das Prinzip der Sprachsteuerung kann grundsätzlich bei einer Vielzahl von Gerätetypen zum Einsatz kommen. Hierzu muss ein Modul für Spracherkennung vorgesehen sein, das sprachliche Äußerungen aufnehmen und interpretieren kann. Beispielsweise gibt es Software, mit der ein Betriebssystem eines PCs alternativ zu der Steuerung über gewöhnliche Eingabegeräte wie Maus oder Tastatur auch durch Sprachbefehle gesteuert werden kann. Sprachsteuerung wird außerdem bei Navigationssystemen in Pkws und LKWs eingesetzt. Der Fahrer des Fahrzeugs muss nicht mehr händisch per Tasten, Touchscreen oder Scrollrad ein Ziel eingeben, sondern kann die Befehle sowie die Straßen- und Ortsnamen per Spracheingabe an das Gerät übermitteln.Voice control refers to the transmission of commands to technical devices that are made by voice. The principle of voice control can basically be used in a variety of device types. For this purpose, a module for speech recognition must be provided that can record and interpret linguistic utterances. For example, there is software that allows an operating system of a PC to be controlled by voice commands as an alternative to control over ordinary input devices such as a mouse or keyboard. Voice control is also used in navigation systems in cars and trucks. The driver of the vehicle no longer needs to manually enter a destination via the keys, touchscreen or scroll wheel, but can transmit the commands as well as the street and place names to the device by voice input.

Zur optischen Befehlseingabe kann exemplarisch auf eine Vielzahl von im Stand der Technik bekannten Spielekonsolen verwiesen werden, die über eingebaute Bewegungssensoren verfügen. Diese registrieren die Position und die Bewegungen eines Bedieners, teilweise in Verbindung mit einem Controller, im Raum und setzen diese in entsprechende Bewegungen von Spielfiguren oder -elementen auf dem Bildschirm um. Weiter sind Gesichtserkennungsprogramme im Stand der Technik bekannt, die beispielsweise die Augenbewegung oder den Augenschlag erfassen können.For optical command input, reference may be made, by way of example, to a multiplicity of game consoles known in the prior art, which have built-in motion sensors. These register the position and movements of an operator, sometimes in conjunction with a controller, in space and translate them into corresponding movements of game characters or elements on the screen. Further, facial recognition programs are known in the art, which can detect, for example, the eye movement or the eye strike.

Des Weiteren sind im Stand der Technik sogenannte Softwareprogrammierbare Steuerungen (SPS) bekannt, mit Hilfe derer Maschinen, Systeme oder Teile davon gesteuert werden können. Hierzu sind genau vorbestimmte Programme in der SP abgelegt, die über eine Eingabekonsole aufgerufen werden können und so eine Maschine gemäß Vorgaben ansteuert.Furthermore, so-called software programmable controllers (PLC) are known in the prior art, with the aid of which machines, systems or parts thereof can be controlled. For this purpose, precisely predetermined programs are stored in the SP, which can be accessed via an input console and thus controls a machine according to specifications.

Aus der DE 19715099 A1 ist ein Spracherkennungs- und Sprachsteuerungssystem für die sprachgesteuerte Bedienung von Druckmaschinen bekannt, wobei die Bedienung mittels akustischer Kommunikationshardware sowie einem Spracherkennungs- und Maschinensteuerungssystem erfolgt, wobei überprüft wird, ob die Signale weggefallen sind, wodurch keine weitere Steuerung möglich wäre.From the DE 19715099 A1 a voice recognition and voice control system for the voice-controlled operation of printing presses is known, wherein the operation by means of acoustic communication hardware and a speech recognition and machine control system is carried out, wherein it is checked whether the signals have been eliminated, whereby no further control would be possible.

Aus der DE 10026263 A1 ist eine Steuerungseinrichtung für eine industrielle technische Anlage offenbart, wobei ein Bediener mittels vorgebbaren Ansteuerbefehlen in akustischer Form die technische Anlage steuern kann. Hier erfolgt nach der Erfassung des Sprachbefehls eine Umwandlung in ein Transmissionssignal, welches an die Steuerungseinrichtung der technischen Anlage übermittelt wird und woraus ein Ansteuerbefehl für die Anlage ermittelt wird. Das übermittelte Transmissionssignal enthält hierbei zwei bevorzugt unabhängig erfasste akustische Steuerbefehle, die miteinander abgeglichen werden, um zu verifizieren, ob die Erkennung des akustischen Befehls richtig gewesen ist.From the DE 10026263 A1 a control device for an industrial technical system is disclosed, wherein an operator can control the technical system by means of predefinable control commands in acoustic form. Here after the acquisition of the voice command, a conversion into a transmission signal, which is transmitted to the control device of the technical system and from which a control command for the system is determined. The transmitted transmission signal in this case contains two preferably independently detected acoustic control commands, which are compared with each other to verify whether the detection of the acoustic command has been correct.

Weiter ist im Stand der Technik das OSI-Schichtemodell bekannt, welches auf einem ISO-Standard beruht und als Designgrundlage von Kommunikationsprotokollen in Rechnernetzen entwickelt wurde. Hierbei erfolgt das Senden von Anwenderdaten in Verbindung mit weiteren zum Transport und Übermittlung notwendigen Daten, wobei diese in mehreren Schichten aufgeteilt sind.Furthermore, in the state of the art, the OSI layer model is known, which is based on an ISO standard and has been developed as a design basis for communication protocols in computer networks. In this case, the transmission of user data in conjunction with other necessary for transport and transmission data, which are divided into several layers.

Problematisch an den bisher im Stand der Technik bekannten Anordnungen und Verfahren ist die sehr spezielle Auslegung von Sprachsteuerung auf ein spezielles System. Sprachgesteuerte Maschinen können das Alltags- und Arbeitsleben sehr erleichtern und insbesondere körperlich eingeschränkten Personen das Leben und den Alltag deutlich erleichtern. Statt permanentem betätigen von Knöpfen einer Fernbedienung, Waschmaschine, Mikrowelle oder dgl., könnte dies mit einer Steuerung per Sprache, Mimik, Gestik oder einer optischen Körperbewegung erreicht werden. Insbesondere für Menschen mit Handicap, die von sich aus keine „normalen” Haushaltsabläufe bewerkstelligen könnten oder Menschen, deren Hemmschwelle zu hoch liegt, um sich helfen zu lassen, wären derart ansteuerbare mechanische Hilfsmittel und Systeme eine große Erleichterung im Leben.A problem with the previously known in the prior art arrangements and methods is the very special interpretation of voice control on a special system. Speech-controlled machines can greatly facilitate everyday and working life and, in particular, make life and everyday life much easier for physically handicapped people. Instead of permanently pressing buttons of a remote control, washing machine, microwave or the like, this could be achieved with a control by voice, facial expressions, gestures or an optical body movement. Especially for people with disabilities who are on their own could not do "normal" household operations, or people whose inhibitions are too high to be helped, such controllable mechanical aids and systems would be a great relief in life.

Jedes mechanische System, Maschine, Roboter oder Hilfsmittel soll dabei keine eigene Sprachsteuerung aufweisen, da diese in der Regel nur mit dem einen Gerät funktionsfähig und kompatibel ist, da insbesondere die Verwendung sowohl in der Programmierung, als auch in der darauffolgenden Verwendung dieser Systeme sehr umständlich und teuer wäre. Es bedarf einer sehr kostspieligen Hardware, um alle Systeme parallel laufen zu lassen. Also wäre es, aufgrund dieses Problems, doch nur sinnvoll und vor allen Dingen hilfreich, eine gemeinsame Sprachsteuerung fur unterschiedliche Systeme anzugeben. Diese sollte zu möglichst geringen Kosten produzierbar sein und universell einsetzbar sein.Each mechanical system, machine, robot or tool should not have its own voice control, as this is usually functional and compatible only with one device, especially as the use both in programming, as well as in the subsequent use of these systems very cumbersome and expensive. It takes a very expensive hardware to run all systems in parallel. So, because of this problem, it would only be useful and above all helpful to specify a common voice control for different systems. This should be producible at the lowest possible cost and universally applicable.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Anordnung aufzuzeigen, die es ermöglichen, mittels Sprache, Mimik, Gestik und/oder Körperbewegungen sowie neuronalen Signalen, beispielsweise Gehirnströme, -impulse oder Nervensignale ein System, beispielsweise eine Maschine, ein Fahrzeug, eine Anlage oder dgl. zu steuern.The present invention has for its object to provide a method and an arrangement which make it possible by means of speech, facial expressions, gestures and / or body movements and neuronal signals, such as brain waves, impulses or nerve signals, a system, such as a machine, a vehicle, to control a plant or the like.

Gelöst wird diese Aufgabe mit einem Verfahren nach Anspruch 1 und einer Anordnung nach Anspruch 14.This object is achieved by a method according to claim 1 and an arrangement according to claim 14.

Das Steuerungsverfahren zur Steuerung eines oder mehrerer Systeme und/oder einer oder mehrerer Einzelkomponenten eines zugeordneten Systems, wobei die Steuerungseingabe durch optische, akustische und/oder neuronale Signale eines Bedieners erfolgt, weist die folgenden Prozessschritte auf:The control method for controlling one or more systems and / or one or more individual components of an associated system, wherein the control input is performed by optical, acoustic and / or neuronal signals of an operator, comprises the following process steps:

  • – Erfassen eines optischen, akustischen und/oder neuronalen Befehls eines Bedieners;- detecting an optical, acoustic and / or neural command of an operator;
  • – Umwandeln des erfassten optischen, akustischen und/oder neuronalen Befehls durch Erkennung in einen digitalen Wert;- converting the detected optical, acoustic and / or neural command by recognition into a digital value;
  • – Einordnen des digitalen Wertes mittels Vergleichen des digitalen Wertes mit Werten einer ersten Datenbank in eine Gerätekennung, einen Steuerbefehl oder einen dritten Wert;- classifying the digital value by comparing the digital value with values of a first database in a device identifier, a control command or a third value;
  • – Erstellen und Bereitstellen eines digitalen Befehls umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer ersten Schnittstelle; - Creating and providing a digital command comprising the device identifier, the control command and / or the third value in a first data structure in a first interface;
  • – Auslesen oder Empfangen des digitalen Befehls der ersten Schnittstelle und Umsetzung des digitalen Befehls in eine neue Datenstruktur zu einer digitalen Anweisung;- reading or receiving the digital command of the first interface and converting the digital command into a new data structure to a digital instruction;
  • – Ablegen und Bereitstellen der digitalen Anweisung in einer zweiten Schnittstelle;- storing and providing the digital instruction in a second interface;
  • – Auslesen oder Empfangen der in der zweiten Schnittstelle bereitgelegten digitalen Anweisung durch eine oder mehrere Steuerungseinheiten;Reading out or receiving the digital instruction provided in the second interface by one or more control units;
  • – Verarbeiten der digitalen Anweisung durch die jeweilige(n) Steuerungseinheit(en) durch Umsetzen der digitalen Anweisung in einen Maschinensteuerungsbefehl oder eine Maschinensteuerungsbefehlskette durch Vergleichen der digitalen Anweisung mit einer Maschinensteuerungsbefehlsdatenbank undProcessing the digital instruction by the respective control unit (s) by translating the digital instruction into a machine control command or a machine control command string by comparing the digital instruction with a machine control command database and
  • – Ausführen des Maschinensteuerungsbefehls oder der Maschinensteuerungsbefehlskette durch Ansteuerung des gesamten zugeordneten Systems oder einer Einzelkomponente des zugeordneten Systems.- Execute the machine control command or the machine control command chain by driving the entire associated system or a single component of the associated system.
  • Als Systeme kommen sämtliche Geräteanordnungen in Frage, die Motoren und andere steuerbare Elemente aufweisen, die durch eine Steuerungseinheit, wie schaltbare Relais oder dgl., steuerbar sind. Als Beispiele können ein Hochregallager, ein Rollstuhl, ein Krankenbett oder dgl. Systeme oder aber auch Haushaltsgeräte, steuerbare Solaranlagen oder Windkraftanlagen genannt werden. Insbesondere Fahrzeuge aller Art, bevorzugt mit elektrischen Steuerungskomponenten und vorgesehenen Netzwerkinterfacen können gesteuert werden. Weiter sind Applikationen im militärischen Bereich denkbar, bspw. zur Steuerung von Kettenfahrzeugen, Panzern, Flugzeugen, Schiffen oder unmanned aircraft vehicles sowie weiteren Flugkörpern und -geräten.Suitable systems are all device arrangements which have motors and other controllable elements that can be controlled by a control unit, such as switchable relays or the like. As examples, a high-bay warehouse, a wheelchair, a hospital bed or the like. Systems or even household appliances, controllable solar systems or wind turbines can be mentioned. In particular, vehicles of all kinds, preferably with electrical control components and provided Netzwerkinterfacen can be controlled. Furthermore, applications in the military field are conceivable, for example for the control of tracked vehicles, tanks, aircraft, ships or unmanned aircraft vehicles and other missiles and equipment.

Pro erkanntem neuronalen, optischen oder akustischen Befehl wird ein digitaler Wert generiert wird, wobei entweder die Komponente Gerätekennung, Steuerbefehl oder dritter Wert mit einem entsprechenden Wert ausgefüllt wird und die anderen Werte leer gelassen werden, oder mit einem vorbestimmten Wert, bevorzugt mit „0”, gefüllt werden.A digital value is generated for each detected neural, optical or acoustic command, whereby either the component identifier, control command or third value is filled with a corresponding value and the other values are left blank, or with a predetermined value, preferably with "0". to be filled.

In die digitale Anweisung werden mindestens die Geratekennung und der Steuerbefehl eingespeichert.At least the device identifier and the control command are stored in the digital instruction.

Ein weiterer besonderer Vorteil ist es, wenn die Gerätekennung in der digitalen Anweisung solange beibehalten wird, bis eine neue Gerätekennung erkannt wird und diese kommuniziert wird, da hierdurch nur noch einzelne Kommandos gegeben werden müssen ohne dabei das Gerät zu nennen.Another particular advantage is that the device identifier is retained in the digital statement until a new device identifier is detected and this is communicated, as this only single commands must be given without mentioning the device.

Dadurch, dass das Erstellen und Bereitstellen des digitalen Befehls umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer Schnittstelle erfolgt, die ähnlich einem Postfach ausgebildet ist, wobei die digitalen Befehle chronologisch abgelegt werden und entsprechend dem First-In-First-Out Prinzip entnommen werden, können mehrere Befehle hintereinander eingegeben und erkannt werden. By virtue of the fact that the creation and provision of the digital command comprising the device identifier, the control command and / or the third value takes place in a first data structure in an interface that is similar to a mailbox, wherein the digital commands are stored chronologically and corresponding to the first data structure. In-first-out principle, several commands can be entered and recognized in succession.

Das Kommunizieren über die zweite Schnittstelle erfolgt mittels einer Socket-Verbindung, wobei bevorzugt eine TCP/IP Server-Client Socket-Verbindung realisiert wird. Die Kommunikation über Sockets, ein Softwarelink zwischen zwei oder mehreren Programmen, erfolgt in der Regel bidirektional, wodurch über das Socket sowohl Daten empfangen als auch gesendet werden können. Sockets können ebenfalls verwendet werden, um zwischen zwei oder auch mehreren Prozessen auf demselben rechnergestützten System Daten auszutauschen (Interprozesskommunikation). Das TCP Protokoll ist insbesondere sehr verlässlich und wird bevorzugt mit Stream Sockets verwendet.The communication via the second interface is carried out by means of a socket connection, wherein preferably a TCP / IP server-client socket connection is realized. Sockets communication, a software link between two or more programs, is typically bidirectional, which allows both data to be received and sent over the socket. Sockets can also be used to exchange data between two or more processes on the same computerized system (interprocess communication). In particular, the TCP protocol is very reliable and is preferably used with stream sockets.

In einer Server-Client Umgebung muss ein Server auf Anfragen von unbekannten Clients warten können. Bei Verwendung des TCP/IP kann unter Verwendung einer Wildcard-Adresse nur die Port-Nummer relevant sein, es wird eine spezielle (ungültige) IP-Adresse angegeben, um zu signalisieren, dass Verbindungen auf allen IP-Adressen akzeptiert werden sollen.In a server-client environment, a server must be able to service requests from unknown clients. When using TCP / IP, using only a wildcard address, only the port number can be relevant; a special (invalid) IP address is specified to signal that connections on all IP addresses should be accepted.

Java als plattformunabhängige Programmiersprache unterstützt im Paket java.net unmittelbar die Socket-Programmierung. Die Implementierung der Sockets für die verschiedenen Plattformen (Linux, Windows, Spezialsysteme) erfolgt in der Klassenbibliothek der virtuellen Maschine. Daher wird bevorzugt Java als Programmiersprache für die Socket-Verbindung genommen.Java as a platform-independent programming language directly supports socket programming in the java.net package. The implementation of the sockets for the various platforms (Linux, Windows, special systems) takes place in the class library of the virtual machine. Therefore, it is preferred to use Java as the programming language for the socket connection.

Dadurch, dass die Socket-Verbindung durch Senden eines vollständig leeren, bevorzugt mit ”0” gefüllten Befehls aufrecht erhalten wird, solange keine neuen Befehle erkannt und übertragen werden, ist ein sofortiges Ansteuern der Maschine oder eines Teils davon möglich ohne zuvor wieder eine neue Socket-Verbindung zu etablieren. Die Socket-Verbindung wird aufrecht erhalten ohne jedoch dabei konkrete Steuerbefehle zu senden. Die Socket-Verbindung würde getrennt werden, sobald der Client/Server keine weiteren Daten mehr senden muss.By maintaining the socket connection by sending a completely empty instruction, preferably filled with "0", as long as no new instructions are detected and transmitted, an immediate activation of the machine or a part thereof is possible without first a new socket Establish connection. The socket connection is maintained without, however, sending specific control commands. The socket connection would be disconnected as soon as the client / server no longer needs to send any more data.

Insbesondere wird das letzte angesteuerte bzw. ausgewählte Gerät bis zum nächsten Gerätewechsel beibehalten, so dass nicht immer ein Gerät neu an- bzw. ausgewählt werden muss, um mehrere Befehle des Bedieners hintereinander einzugeben.In particular, the last activated or selected device is retained until the next device change, so that a device does not always have to be newly selected or selected in order to enter several commands of the operator in succession.

Wenn die Prozessschritte

  • – Erstellen und Bereitstellen eines digitalen Befehls umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer ersten Schnittstelle;
  • – Auslesen oder Empfangen des digitalen Befehls der ersten Schnittstelle und Umsetzung des digitalen Befehls in eine neue Datenstruktur zu einer digitalen Anweisung und
  • – Ablegen und Bereitstellen der digitalen Anweisung in einer zweiten Schnittstelle in einer geschlossenen Prozesskette erfolgen, erfolgt die Programmierung in einer eigenständigen und abgeschlossenen Prozedur.
When the process steps
  • - Creating and providing a digital command comprising the device identifier, the control command and / or the third value in a first data structure in a first interface;
  • Reading out or receiving the digital command of the first interface and translating the digital command into a new data structure into a digital statement and
  • If the digital instruction is stored and made available in a second interface in a closed process chain, the programming takes place in a separate and completed procedure.

Dadurch, dass vor dem Ausführen einer Bewegung des Systems oder Teilen davon überprüft wird, ob eine Bewegung des Systems oder Teilen davon möglich ist, wird eine Sicherung eingebaut, die verhindert, dass das System oder Teile davon beschädigt werden oder aber Personen zu Schaden kommen. Beispielsweise kann es vorgegebene Maximalwerte geben, die ein weiteres Bewegen unmöglich machen bzw. dieses verbieten. Hierzu werden zum Überprüfen Sensoren ausgelesen, wobei die Sensoren Positionen und/oder Zustände des Systems oder von Teilen des Systems detektieren.Verifying that movement of the system or parts thereof is possible prior to making a movement of the system or parts thereof, a fuse is installed that prevents the system or parts thereof from being damaged or causing personal injury. For example, there may be predetermined maximum values that make further movement impossible or prohibit it. For this purpose, sensors are read out for checking, wherein the sensors detect positions and / or states of the system or of parts of the system.

Als dritter Wert wird eine Orts-, Richtungsangabe und/oder eine Regelgröße vorgegeben, so dass bestimmte Ansteuerungen möglich werden, wie beispielsweise die Ansteuerung eines Motors in die eine oder die andere Richtung sowie das Verfahren eines Roboters oder dgl. in einem dreidimensionalen Raum durch Angabe von Vektoren, wie z. B. der Fachnummer eines Hochregallagers, die entsprechend in eine räumliche Bewegung umgesetzt werden kann. Als Regelgrößen können beispielsweise Temperaturangaben oder Differenzen sowie Längen oder dgl. angegeben werden, die dann entsprechend umgesetzt werden.As a third value, a location, direction and / or a controlled variable is given, so that certain controls are possible, such as the control of a motor in one or the other direction and the method of a robot or the like. In a three-dimensional space by stating of vectors, such as. B. the subject number of a high-bay warehouse, which can be implemented accordingly in a spatial movement. For example, temperature data or differences as well as lengths or the like can be specified as controlled variables, which are then converted accordingly.

Zur weiteren Verbesserung werden Arbeitsabläufe in Schrittketten vordefiniert und entsprechend in einer Maschinensteuerungsbefehlsdatenbank hinterlegt. So können Befehlseingaben eine Abfolge von konkreten Schritten auslösen, die durch ein System ausgeführt werden.For further improvement, workflows are predefined in step sequences and stored accordingly in a machine control command database. Thus, command input can trigger a sequence of concrete steps performed by a system.

Besonders vorteilhaft ist es, wenn der momentane Gesamt- oder Teilsystemzustand visualisiert wird. Hierdurch erhält der Bediener eine optische oder akustische Rückmeldung des Systems, so dass der Bediener sicher sein kann, dass sein Befehl richtig umgesetzt wurde. It is particularly advantageous if the current overall or subsystem state is visualized. This gives the operator a visual or audible feedback of the system so that the operator can be sure that his command has been properly implemented.

Dadurch, dass der optische, akustische und/oder neuronale Befehl entsprechend „Notaus”, „Stopp”, „Handfläche entgegenstrecken” oder dgl. alle vorangehenden Befehle sofort überschreibt und dass das oder die Systeme oder Teile des Systems sofort in einen Halt-Modus gestellt werden, ist die Sicherheit des Bedieners und des Umfeldes gewährleistet, so dass keine Schäden entstehen können.In that the visual, acoustic and / or neural command corresponding to "emergency stop", "stop", "palm out" or the like immediately overrides all previous commands and that the system (s) or parts of the system are immediately put into a halt mode the safety of the operator and the environment is guaranteed, so that no damage can occur.

Anordnungsgemäß umfasst die Steuerungsanordnung für ein Steuerungsverfahren eine Hard- und Software zur Erfassung und Umwandlung von optischen, akustischen und/oder neuronalen Signalen mit einer Erkennungssoftware für Sprache, Mimik, Gestik, Handzeichen und/oder Bewegungen eines Bedieners, vorgesehen auf einem rechnergestützten System, bevorzugt einem eingebetteten System, eine Steuerungssoftware für ein System oder einen Teil des Systems mit einer Verbindung zu diesem System oder einem Teil des Systems, eine Datenverbindung zur Übertragung der erkannten optischen, akustischen und/oder neuronalen Signale in weiterverarbeiteter Form in die Steuerungssoftware, einer ersten Datenbank und einer Maschinensteuerungsbefehlsdatenbank. In der ersten Datenbank werden entsprechende Befehle des Bedieners hinterlegt, die mit Hilfe der Erkennungssoftware in entsprechenden Variablen bereitgestellt werden.According to the arrangement, the control arrangement for a control method comprises hardware and software for detecting and converting optical, acoustic and / or neuronal signals with recognition software for speech, facial expressions, gestures, hand signals and / or movements of an operator provided on a computer-aided system an embedded system, control software for a system or a part of the system with a connection to this system or a part of the system, a data connection for transmitting the detected optical, acoustic and / or neuronal signals in a further processed form into the control software, a first database and a machine control command database. In the first database corresponding commands of the operator are deposited, which are provided by means of the recognition software in corresponding variables.

Hardwaretechnisch sind eingebettete Systeme (embedded Systems) vorzuziehen, die speziell auf die unterschiedlichen Anwendungen abgestimmt werden können und so kostengünstig produziert und vertrieben werden können. Gleichwohl können auch handelsübliche Computer oder Industrie-PCs verwendet werden.In terms of hardware, embedded systems are preferred, which can be specially adapted to the different applications and thus can be produced and distributed cost-effectively. Nevertheless, commercially available computers or industrial PCs can also be used.

Die Steuerungssoftware ist eine Softwareprogrammierbare Steuerung (SPS) oder eine mittels einer Software modellierte Softwareprogrammierbare Steuerung auf einem rechnergestützten System (SoftSPS). Diese sind im Stand der Technik bekannt. Üblicherweise sind in dieser Steuerungssoftware unterschiedliche Programme hinterlegt, die jeweils abgefahren werden können. Eine Steuerung von Einzelbefehlen ist nicht üblich. Jedoch sind diese Steuerungen in der Lage mittels einer Schnittstelle ausgerüstet zu werden, die eine Eingabe an das System ermöglicht.The control software is a software programmable controller (PLC) or software modeled software programmable controller on a computerized system (SoftPLC). These are known in the art. Usually, different programs are stored in this control software, which can each be traversed. Control of single commands is not common. However, these controllers are able to be equipped by means of an interface which allows input to the system.

Zur Erfassung der akustischen Signale ist ein Mikrofon oder Akustikempfänger vorgesehen, das der Bediener mit seiner Stimme erreicht. Hierzu können Funkmikrofone in drahtloser Bauweise verwendet werden. Selbstverständlich können auch Raumüberwachungen oder dgl. verwendet werden. Die Erkennung erfolgt über eine Spracherkennungssoftware.To detect the acoustic signals, a microphone or acoustic receiver is provided, which the operator reaches with his voice. For this wireless microphones can be used in wireless design. Of course, room monitors or the like can be used. Recognition is via a speech recognition software.

Zur Erfassung der optischen Signale ist ein optischer Sensor, ein Video und/oder Kamerasystem vorgesehen, das die Mimik, Gestik, Zeichen, beispielsweise der Hand und/oder Bewegungen des Körpers oder der Extremitäten des Bedieners erfasst und diese an die Erkennungssoftware weiterleitet, wo entsprechend mit Hilfe einer Datenbank die Umsetzung in Befehle erfolgt.For detecting the optical signals, an optical sensor, a video and / or camera system is provided, which detects the facial expressions, gestures, signs, for example the hand and / or movements of the body or the extremities of the operator and forwards them to the recognition software, where appropriate with the help of a database the conversion into commands takes place.

Neuronale Signale können beispielsweise Gehirnströme oder -impulse sein, aber auch andere Nervensignale der Extremitäten, z. B. Hand, Arm, Finger, Beine, etc. Diese Signale können analog einer Spracherkennungssoftware verarbeitet werden, entsprechende Algorithmen sowie Datenbanken können entsprechend analog zur Spracherkennung vorgesehen werden. Die Erfassung derartiger neuronaler Signale wird über entsprechende Sensoren am Körper, beispielsweise integriert in einem Helm oder dgl., realisiert.Neuronal signals can be, for example, brain waves or impulses, but also other nerve signals of the extremities, e.g. As hand, arm, fingers, legs, etc. These signals can be processed analogously to a speech recognition software, appropriate algorithms and databases can be provided analogously to the speech recognition. The detection of such neuronal signals is realized via corresponding sensors on the body, for example integrated in a helmet or the like.

Die Verbindung zwischen Steuerungssoftware und System ist als Bus-System ausgebildet, so dass insbesondere ein Feldbussystem wie das CAN-Bus System verwendet werden können, um unterschiedliche Motoren und Aggregate anzusteuern. Andere Bus-Systeme sind ebenfalls möglich.The connection between control software and system is designed as a bus system, so that in particular a fieldbus system such as the CAN bus system can be used to control different engines and units. Other bus systems are also possible.

Zur Verbindung der Erkennungssoftware mit der Steuerungssoftware ist eine zwischengeschaltete Softwarebridge mit einer Eingangsseite und einer Ausgangsseite vorgesehen, die die Verarbeitung der Befehle der Erkennungssoftware in der Steuerungseinheit gewährleistet. Hierzu werden insbesondere die vorgesehenen Variablen entsprechend angepasst und übertragen. Bevorzugt ist die Softwarebridge in Java programmiert, da gleichzeitig eine Socket-Verbindung mit Hilfe dieser Programmiersprache realisiert werden kann, die systemunabhängig ist.To connect the recognition software with the control software, an intermediate software bridge is provided with an input side and an output side, which ensures the processing of the commands of the detection software in the control unit. In particular, the intended variables are adapted and transmitted accordingly. Preferably, the Softwarebridge is programmed in Java, since at the same time a socket connection can be realized using this programming language, which is system-independent.

Eine weitere mögliche Ausgestaltung ist gegeben, wenn die Hard- und Software zur Erfassung der optischen, akustischen und/oder neuronalen Signale mit der Erkennungssoftware für Sprache, Mimik, Gestik, Handzeichen und/oder Bewegungen eines Bedieners, vorgesehen auf einem rechnergestützten System, bevorzugt einem eingebetteten System, als Kommandoeinheit ausgebildet ist. Hierzu kann eine tragbare oder kleinstmögliche Einheit derart am System vorgesehen werden, dass eine einfache Bedienung möglich ist.A further possible embodiment is provided when the hardware and software for detecting the optical, acoustic and / or neural signals with the recognition software for speech, facial expressions, gestures, hand signals and / or movements of an operator, provided on a computerized system, preferably an embedded system, is designed as a command unit. For this purpose, a portable or smallest possible unit can be provided on the system in such a way that simple operation is possible.

Dadurch, dass die Steuerungssoftware auf einem zweiten rechnergestützten System, bevorzugt einem eingebetteten System abläuft und mit diesem eine Steuerungseinheit bildet, kann diese Einheit separat an dem System angeordnet werden. Es können insbesondere mehrere Steuerungseinheiten und/oder mehrere Kommandoeinheiten vorgesehen werden, wobei die Verbindung zwischen den Einheiten als Netzwerk ausgebildet ist, wobei bevorzugt die Verbindung eine TCP/IP Socket-Verbindung ist. Die Netzwerkverbindung kann kabelgebunden sein oder aber über eine Funk-Verbindung realisiert werden.Since the control software runs on a second computer-aided system, preferably an embedded system, and forms a control unit with it, this unit can be arranged separately on the system. In particular, a plurality of control units and / or a plurality of command units may be provided, wherein the connection between the units is formed as a network, wherein preferably the connection is a TCP / IP socket connection. The network connection can be wired or realized via a radio connection.

Bei einer Ansteuerung von mehreren Systemen erfolgt zunächst eine Ansteuerung eines bestimmten Systems durch einen ersten Befehl mit Hilfe dessen das System ermittelt wird. Solange kein neues System angewählt wird, erfolgen alle weiteren Befehle oder Angaben für dieses ausgewählte System, so dass nunmehr vom Bediener lediglich die Steuer-, Fahr- und/oder Regelbefehle bzw. Richtungs- und/oder Regelgrößen gesprochen oder signalisiert werden müssen.When a plurality of systems are actuated, a system is initially controlled by a first command with the aid of which the system is determined. As long as no new system is selected, all other commands or information for this selected system, so that now only the control, driving and / or control commands or direction and / or controlled variables must be spoken or signaled by the operator.

Als mögliche Einsatzgebiete sind als Systeme beispielsweise ein Krankenfahrstuhl, ein Krankenbett oder ein Fahrstuhl denkbar. Aber auch ein Hochregallager kann mit einem derartigen Verfahren und einer entsprechenden Anordnung bedient werden. Die Ansteuerung mehrerer Geräte in einem Krankenhauszimmer, nämlich Fernseher, Radio, Krankenbett und dgl. kann über eine Kommandoeinheit erfolgen.As possible applications as systems, for example, a hospital elevator, a hospital bed or an elevator conceivable. But even a high-bay warehouse can be operated with such a method and a corresponding arrangement. The control of several devices in a hospital room, namely television, radio, hospital bed and the like. Can be done via a command unit.

Aber insbesondere können auch CNC-Fräsmaschinen oder gar Kraftfahrzeuge auf einfachste Weise durch akustische und/oder optische Befehle gesteuert werden.But especially CNC milling machines or even motor vehicles can be controlled in the simplest way by acoustic and / or optical commands.

Als weitere Ausgestaltung ist eine zwingende Kombination eines optischen Befehls mit einem akustischen Befehl gleichzeitig oder kurz nacheinander sinnvoll, um sicher zu stellen, dass der Bediener tatsächlich den Befehl ausführen will. Hierzu kann nach der Erfassung des ersten Befehls eine Visualisierung des zweiten Befehls auf einem Display oder dgl. erfolgen, wobei der Bediener nunmehr diesen Befehl angeben muss, damit der Befehl insgesamt ausgeführt werden kann. Zum Beispiel wird der akustische Befehl ”hoch” ausgesprochen und als Bestätigungssignal wird der Daumen nach oben gezeigt. Dies kann selbstverständlich gleichzeitig geschehen, da entsprechend hohe Abtastraten denkbar sind, so dass beide Befehle quasi gleichzeitig detektiert werden können.As a further embodiment, a compelling combination of an optical command with an acoustic command simultaneously or in quick succession makes sense to ensure that the operator actually wants to execute the command. For this purpose, after the detection of the first command, a visualization of the second command can take place on a display or the like, whereby the operator now has to specify this command so that the command can be executed in its entirety. For example, the audible command is pronounced "high" and the thumb signal is shown as a confirmation signal. This can of course be done simultaneously, since correspondingly high sampling rates are conceivable, so that both commands can be detected virtually simultaneously.

Zur Absicherung von Bedieneingaben ist es weiter sinnvoll, wenn bei der Erfassung und Erkennung/Verarbeitung eine Sicherheitsüberprüfung erfolgt. Diese Sicherheitsüberprüfung umfasst die Prüfung, ob der gewählte Befehl tatsächlich ausgeführt werden soll. Dies kann beispielsweise durch wiederholtes Signalisieren des Befehls, sowohl optisch, akustisch und/oder neuronal, auch in einer anderen als der ersten Eingabeart, erfolgen. Weiter konnte als Sicherheitsmaßnahme vorgesehen sein, dass vor Beginn einer Eingabe ein spezielles Signal durch den Benutzer erfolgt und/oder dass die Eingabe durch ein spezielles Signal beendet wird.To safeguard operator inputs, it is also useful if a security check is carried out during the detection and detection / processing. This security check involves checking whether the selected command should actually be executed. This can be done, for example, by repeatedly signaling the command, both optically, acoustically and / or neuronally, also in a form other than the first input type. Furthermore, it could be provided as a safety measure that before the beginning of an input, a special signal is given by the user and / or that the input is terminated by a special signal.

Nachfolgend wird ein Ausführungsbeispiel der Erfindung anhand der beiliegenden 1 detailliert beschrieben. Darin zeigt:Hereinafter, an embodiment of the invention with reference to the accompanying 1 described in detail. It shows:

1 eine schematische Darstellung eines Ausführungsbeispiels der erfindungsgemäßen Anordnung bzw. des Steuerungsverfahrens. 1 a schematic representation of an embodiment of the inventive arrangement or the control method.

In 1 ist eine schematische eines Ausführungsbeispiels der erfindungsgemäßen Anordnung bzw. des Steuerungsverfahrens dargestellt.In 1 a schematic of an embodiment of the inventive arrangement or the control method is shown.

Die Steuerungsanordnung besteht aus einer Kommandoeinheit 2 und einer Steuerungseinheit 60. Zwischen der Kommandoeinheit 2 und der Steuereinheit 60 ist ein Netzwerk 5 angeordnet, wobei die Kommandoeinheit 2 und die Steuerungseinheit 60 über dieses Netzwerk 5 miteinander verbunden sind und Daten in beide Richtungen austauschen können. Das Netzwerk 5 kann als kabelgebundenes LAN oder aber als Drahtlosverbindung vorgesehen sein. Eine Standardverkabelung ist hierzu vollkommen ausreichend. Es bedarf keiner weiteren speziellen Installationen, vorhandene Netzwerkstrukturen können verwendet werden, so dass die Steuerungseinheit und die Kommandoeinheit entfernt voneinander angeordnet sein können, sogar über ein globales Netzwerk, wie dem Internet, miteinander verbunden werden können.The control arrangement consists of a command unit 2 and a control unit 60 , Between the command unit 2 and the control unit 60 is a network 5 arranged, the command unit 2 and the control unit 60 over this network 5 are interconnected and can exchange data in both directions. The network 5 can be provided as a wired LAN or as a wireless connection. Standard cabling is perfectly adequate for this purpose. There is no need for any other special installations, existing network structures can be used so that the control unit and the command unit can be remote from each other, even connected via a global network such as the Internet.

Die Steuerungseinheit 60 umfasst eine Steuerungssoftware 6 und eine Maschinensteuerungsbefehlsdatenbank 61 sowie ein TCP-Socket-Server 52, der mit dem Netzwerk 5 verbunden ist. Über den TCP-Socket-Server 52 erhält die Steuerungseinheit 60 Anweisungen, die im Weiteren beschrieben werden. The control unit 60 includes a control software 6 and a machine control command database 61 and a TCP socket server 52 that with the network 5 connected is. About the TCP socket server 52 receives the control unit 60 Instructions that are described below.

Die Kommandoeinheit 2 umfasst zum einen die Erfassungshard- und -software 20, die dem Erfassen von optischen, akustischen und/oder neuronalen Signalen 3 dient, und zum anderen Teile einer Datenverbindung 1, nämlich eine Brückensoftware 11 und einen TCP-Socket-Client 51. Der TCP-Socket-Client 51 stellt über das Netzwerk 5 die Verbindung zur Steuerungseinheit 60 her, wobei die Kommunikation über den TCP-Socket-Server 52 läuft.The command unit 2 includes on the one hand the acquisition hardware and software 20 for detecting optical, acoustic and / or neural signals 3 serves as well as parts of a data connection 1 namely a bridge software 11 and a TCP socket client 51 , The TCP socket client 51 poses over the network 5 the connection to the control unit 60 ago, whereby the communication over the TCP Socket server 52 running.

Die Erfassungshard- und -software 20 umfasst eine Erfassungshardware 21, die in diesem Ausführungsbeispiel, in dem es ausschließlich um Sprachbefehle geht, ein einfaches Mikrofon eines Headsets sein kann, eine Erkennungssoftware 22 zur Erkennung des Sprachbefehls, der über das Mikrofon analog erfasst wurde, eine Umwandlungskomponente der Erkennungssoftware 23 in Kombination mit einer ersten Datenbank 231, in der entsprechende Befehle hinterlegt sind. An dieser Stelle sei erwähnt, dass mit Hilfe künstlicher Intelligenz die Datenbank auch lernfähig ausgebildet werden kann, so dass die Datenbank permanent um neue Daten erweitert wird.The acquisition hardware and software 20 includes a detection hardware 21 in this embodiment, which is all about voice commands, may be a simple microphone of a headset, recognition software 22 for recognizing the voice command, which was detected analogously via the microphone, a conversion component of the recognition software 23 in combination with a first database 231 , in which appropriate commands are deposited. At this point, it should be mentioned that with the help of artificial intelligence, the database can also be trained to learn, so that the database is permanently extended to new data.

Das entscheidende Element ist die Datenverbindung 1, die die Brückensoftware 11 sowie die Socket-Verbindung 51-5-52 umfasst. Hierdurch kann eine herkömmliche bekannte Erkennungshard- und -software 20 mit einer herkömmlichen bekannten Steuerungssoftware 6 verbunden werden, damit steuerbare Systeme 8, 8', 8'' über Sprache, Handzeichen, Mimik und/oder Gestik sowie Bewegungen der Extremitäten gesteuert werden können.The crucial element is the data connection 1 that the bridge software 11 as well as the socket connection 51 - 5 - 52 includes. As a result, a conventional known Erkennungshard- and software 20 with a conventional known control software 6 be connected, so that controllable systems 8th . 8th' . 8th'' can be controlled by speech, hand signals, facial expressions and / or gestures as well as movements of the extremities.

An der Kommandoeinheit 60 ist ein erstes 8 und ein zweites steuerbares System 8' angeordnet, die über einen CAN-Bus 7 seriell mit einander verbunden sind und über diesen CAN-Bus 7 Steuerbefehle und Signale austauschen und miteinander kommunizieren. Die steuerbaren Systeme 8, 8', 8'' sind hier grafisch nicht weiter detailliert dargstellt, können jedoch beispielsweise ein Hochregallager mit mehreren ansteuerbaren Motoren, Greifarmen, Wagen und dgl. sein oder aber einfachere Anordnungen, wie beispielsweise ein Krankenfahrstuhl oder ein elektro-mechanisch zu öffnender Schrank oder eine Tür. Die Anwendungsgebiete sind prinzipiell nicht beschränkt, solange die Möglichkeit besteht, das steuerbare System 8, 8', 8'' mit Hilfe einer Steuerungssoftware 6 ansteuern zu können.At the command unit 60 is a first 8th and a second controllable system 8th' arranged over a CAN bus 7 are connected in series with each other and via this CAN bus 7 Exchange control commands and signals and communicate with each other. The controllable systems 8th . 8th' . 8th'' are here graphically dargstellt not detail, but may for example be a high-bay warehouse with multiple controllable motors, gripper arms, cars and the like. Or simpler arrangements, such as a hospital elevator or a cabinet or door to be opened electromechanically. The application areas are in principle not limited, as long as the possibility exists, the controllable system 8th . 8th' . 8th'' with the help of a control software 6 to be able to drive.

Über das Netzwerk 5 können neben der Steuerungseinheit 60 auch weitere Steuerungseinheiten 60' erreicht werden, wobei an dieser ein anderes steuerbares System 8'' angeordnet ist. Die Verbindung zwischen der Steuerungseinheit 60' und dem steuerbaren System 8'' ist in diesem Ausführungsbeispiel als Steuerleitung 71 ausgebildet, wodurch auf ein BUS-Systemkanal verzichtet werden kann. Die Kommunikation über die Steuerleitung 71 erfolgt bidirektional, wodurch auch Rückmeldungen des steuerbaren Systems 8'' an die Steuerungseinheit 60' zurückgemeldet werden.Over the network 5 can in addition to the control unit 60 also other control units 60 ' be achieved, where at this another controllable system 8th'' is arranged. The connection between the control unit 60 ' and the controllable system 8th'' is in this embodiment as a control line 71 trained, which can be dispensed with a BUS system channel. Communication via the control line 71 is bidirectional, which also provides feedback of the controllable system 8th'' to the control unit 60 ' be reported back.

Zunächst wird das durch einen Bediener ausgesprochene Wort, ein akustisches Signal 3, in diesem Fall das Wort „STOP” über die Erfassungshardware 21 aufgenommen und innerhalb der Erfassungshard- und software 20 weiterverarbeitet. Hierzu wird mit Hilfe einer Spracherkennungssoftware der analoge Sprachbefehl in einen digitalen Wert umgewandelt und mit Hilfe einer Datenbank 231 in Kombination mit der Erkennungssoftware 22, 23 in einen digitalen Befehl umgewandelt. Der digitale Befehl besteht in diesem Beispiel aus drei einzelnen Komponenten, nämlich einer ersten Variablen 421, einer zweiten Variablen 422 und einer dritten Variablen 423. Es können noch je nach Aufgabenstellung weitere Variablen ergänzt werden, um noch weitere Befehlskomponenten zu übermitteln.First, the word spoken by an operator becomes an audible signal 3 , in this case the word "STOP" via the acquisition hardware 21 recorded and within the detection hardware and software 20 further processed. For this purpose, the analog voice command is converted into a digital value using a voice recognition software and using a database 231 in combination with the recognition software 22 . 23 converted to a digital command. The digital command in this example consists of three separate components, namely a first variable 421 , a second variable 422 and a third variable 423 , Depending on the task, further variables can be added in order to convey further command components.

Nachfolgend wird exemplarisch eine mögliche Füllung der Variablen 421, 422 und 423 angegeben, wobei die entsprechenden Befehlszahlen aus einer vordefinierten Datenbank 231 entstammen und entsprechend referenziert wurden: Bsp. Befehl, akustisches Signal Variable 421 Variable 422 Variable 423 1 „alles Stopp” 254 0 0 2 „Bett Kopfteil hoch” 17 4 1 3 „Bett Kopfteil runter” 17 4 2 4 „Stopp” (nach Befehl 3) 17 0 0 5 „mittlere Schranktür auf” 23 2 1 6 „zu” (nach Befehl 5) 23 2 2 7 „linke Schranktür auf” 23 1 1 8 „linke Schranktür zu” 23 1 2 9 „Gang 7 Regal 42 entladen” 7 42 1 Tabelle 1: Beispiele von Schaltbefehlen und entsprechend zugeordneten Größen The following is an example of a possible filling of the variables 421 . 422 and 423 specified, with the appropriate command numbers from a predefined database 231 originated and referenced accordingly: Ex. Command, acoustic signal variable 421 variable 422 variable 423 1 "All stop" 254 0 0 2 "Bed headboard high" 17 4 1 3 "Bed headboard down" 17 4 2 4 "Stop" (after command 3) 17 0 0 5 "Middle closet door on" 23 2 1 6 "To" (after command 5) 23 2 2 7 "Left cabinet door open" 23 1 1 8th "Left closet door too" 23 1 2 9 "Gang 7 Regal 42 unloaded" 7 42 1 Table 1: Examples of switching commands and correspondingly assigned quantities

Anhand der obigen Tabelle soll die Funktion der Variablen verdeutlicht werden. Die Variablen werden entsprechend den definierten Begriffen gefüllt. Nachfolgend werden die Beispiele erläutert:Based on the above table, the function of the variables should be clarified. The variables are filled according to the defined terms. The examples are explained below:

Beispiel 1:Example 1:

Der akustische Befehl „ALLES STOP” ist ein Sonderbefehl, der alle ansteuerbaren Systeme 8, 8', 8'', symbolisiert durch die Zahl „254” in der ersten Variablen 421 ansteuert, und „0” in den beiden nächsten Variablen 422, 423, zum Stillstand bringt. Es ist ein quasi Notaus für alles.The acoustic command "ALL STOP" is a special command that covers all controllable systems 8th . 8th' . 8th'' , symbolized by the number "254" in the first variable 421 and "0" in the next two variables 422 . 423 , brings to a halt. It's a kind of emergency stop for everything.

Beispiel 2:Example 2:

Der akustische Befehl „Bett Kopfteil hoch” wird entsprechend einer vorgegebenen Datenbank, in der entsprechende erkannte Wörter mit entsprechenden Zahlen bzw. allgemein Variablenwerte in Relation gesetzt sind, in die Zahl „17” in Variable 421 umgesetzt. Damit wird das Bett angesteuert. Die nächste Variable 422 wird mit dem Wert „4” gefüllt, der bedeutet, dass das Kopfteil bzw. dessen Motor für die Höhenverstellung angesteuert werden soll. Die letzte Variable wird dann mit dem Richtungsbefehl „1” gefüllt, der ein Drehen des entsprechenden Motors in die eine Richtung bewirkt, so dass sich das Kopfteil hebt.The audible command "bed headboard high" is placed in the number "17" in variable according to a given database in which corresponding recognized words are related to corresponding numbers or generally variable values 421 implemented. This will activate the bed. The next variable 422 is filled with the value "4", which means that the head part or its motor is to be controlled for the height adjustment. The last variable is then filled with the direction command "1", which causes the corresponding motor to rotate in one direction, so that the head part rises.

Beispiel 3:Example 3:

Der akustische Befehl „Bett Kopfteil runter” im Anschluss an den Befehl aus Beispiel 2 bewirkt eine Änderung lediglich der dritten Variablen 423 in „2”, da das anzusteuernde System 8, 8', 8'' sowie der entsprechend anzusteuernde Teil davon, nämlich der Motor des Kopfteils, sich nicht geändert haben. Die „2” in der dritten Variablen und die Beibehaltung der anderen beiden 421, 422 bewirkt ein runterfahren bzw. ein Ansteuern des Motors aus Beispiel 2 in die entgegen gesetzte Richtung.The acoustic command "bed headboard down" following the command from example 2 causes only the third variable to change 423 in "2", since the system to be controlled 8th . 8th' . 8th'' and the part to be controlled accordingly, namely the engine of the head part, have not changed. The "2" in the third variable and the retention of the other two 421 . 422 causes a shutdown or driving the motor of Example 2 in the opposite direction.

Beispiel 4.Example 4.

Der akustische Befehl „Stopp” nach dem Befehl aus Beispiel 3 bewirkt, dass das Bett gestoppt wird, nämlich dadurch, dass die Variablen 422 und 423 mit „0” gefüllt werden. Eine „0” in der letzten Variablen 423 bewirkt ein sofortiges Überschreiben aller vorher erkannten Befehle, so dass selbst wenn mehrere Befehle in einer Warteschleife anliegen, diese mit „0” in der letzten Variablen 423 überschrieben werden, so dass keine Ausführung vollzogen wird. Ansonsten würden die angesammelten Befehle der Reihe nach abgearbeitet werden. Ein Kommando wie „Bett Stopp” ist diesem „Stopp” im Anschluss an den Befehl aus Beispiel 3 gleichwertig, da die Variable 421 nicht geändert wird, sondern aus dem letzten Befehl beibehalten wird.The acoustic command "Stop" following the command of Example 3 causes the bed to be stopped, namely by the variables 422 and 423 filled with "0". A "0" in the last variable 423 causes an immediate override of all previously detected commands, so that even if multiple commands are queued, they will end with "0" in the last variable 423 be overwritten, so that no execution is performed. Otherwise, the accumulated commands would be processed sequentially. A command like "bed stop" is equivalent to this "stop" following the command from example 3, since the variable 421 is not changed, but is retained from the last command.

Kommandos wie „Bett in Schlafposition”, können auch in mehrere hintereinander ausführbare Befehle abgelegt werden, so dass diese dann nacheinander die entsprechenden Motoren ansteuern. Hierzu ist ein „Postfach” sinnvoll, welches nach dem First-In-First-Out Prinzip arbeitet.Commands such as "bed in sleep position" can also be stored in several successive executable commands, so that they then successively control the corresponding engines. For this purpose, a "post office box" makes sense, which works according to the first-in-first-out principle.

Sobald eine Steuerungseinheit 60 einen Befehl erhalten hat kann sofort der nächste Befehl von derselben 60 oder einer anderen Steuerungseinheit 60' ausgelesen werden und in einem Speicher abgelegt werden oder aber sofort umgesetzt werden. Stopp-Befehle lösen sofort den Stopp aller bzw. einzelner zu steuernder System 8, 8', 8'' aus.Once a control unit 60 has received a command immediately the next command from the same 60 or another control unit 60 ' be read out and stored in a memory or be implemented immediately. Stop commands immediately release the stop of all or each system to be controlled 8th . 8th' . 8th'' out.

Beispiel 5:Example 5:

Der akustische Befehl „mittlere Schranktür auf” ändert die Variablen 431 in „23”, was die Steuerungssoftware des Schrankes symbolisiert. Die zweite Variable 422 wird in „2” entsprechend der vordefinierten Datenbank geändert, so dass nunmehr ein Stellmotor der mittleren Schranktür angesteuert wird. Die letzte Variable 423 wird dann „1” gefüllt, so dass der zuvor genannte Motor derart angesteuert wird, dass die mittlere Schranktür geöffnet wird.The acoustic command "middle cabinet door open" changes the variables 431 in "23", which symbolizes the control software of the cabinet. The second variable 422 is changed in "2" according to the predefined database, so that now a servomotor of the middle cabinet door is controlled. The last variable 423 is then filled "1", so that the aforementioned motor is driven so that the middle cabinet door is opened.

Beispiel 6:Example 6:

Der akustische Befehl „zu” im Anschluss an den Befehl aus Beispiel 5 ändert nur die letzte Variable 423 in den Wert „2”, so dass nun der Motor der mittleren Tür des Schrankes eine Bewegung vollzieht, so dass die mittlere Tür des Schrankes geschlossen wird.The audible command "to" following the command of Example 5 changes only the last variable 423 in the value "2", so that now the motor of the middle door of the cabinet makes a movement, so that the middle door of the cabinet is closed.

Beispiel 7:Example 7:

Der akustische Befehl „linke Schranktür auf” bewirkt ein entsprechendes Überschreiben aller Variablen 421, 422, 423 analog zu den zuvor genannten Beispielen. Entsprechend ergibt sich ein neuer Befehl für eine bestimmte Steuerungseinheit 60, 60' und einen entsprechenden Motor.The acoustic command "left cabinet door open" causes a corresponding overwriting of all variables 421 . 422 . 423 analogous to the examples mentioned above. Accordingly, a new command results for a particular control unit 60 . 60 ' and a corresponding engine.

Beispiel 8:Example 8:

Der akustische Befehl „linke Schranktür auf” kann sowohl alle Variablen ändern als auch nur die letzte Variable 423, die Richtung, in die der Motor der linken Schrankwand sich bewegen soll.The acoustic command "left cabinet door open" can change all variables as well as only the last variable 423 , the direction in which the motor of the left wall unit should move.

Beispiel 9:Example 9:

Der akustische Befehl „Gang 7 Regal 4 Fach 2 entladen” löst die Änderung aller drei Variablen aus. Es wird nunmehr ein Hochregallager angesteuert, das aus mehreren Gängen mit jeweils mehreren Regalen und mehreren Fächern besteht. In diesem Beispiel soll ein Fach 2 aus Regal 4 des 7. Ganges entladen werden. Hierzu werden die Variablen 421, 422, 423 entsprechend des erkannten Befehls, abgeglichen mit der ersten Datenbank 231, entsprechend der obigen Tabelle geändert. Eine Softwaresteuerung kann nun mit Hilfe einer Maschinensteuerungsbefehlsdatenbank 61 die entsprechenden Motoren eines Wagens, Läufers oder Förderers ansteuern, so dass dieser in dem siebten Gang das Fach 2 des vierten Regals entlädt und den Inhalt zu einem Ablagepunkt fährt. Hierzu wird der über die Socket-Verbindung empfangene Befehl in einzelne Befehle in einer Kette durch die Steuerungssoftware 6 mit Hilfe der Maschinensteuerungsbefehlsdatenbank 61 zusammengestellt und abgearbeitet.The acoustic command "Gear 7 Shelf 4 Tray 2 unloaded" triggers the change of all three variables. It is now controlled a high-bay warehouse, which consists of several courses, each with several shelves and several compartments. In this example, a tray 2 is to be unloaded from shelf 4 of the 7th aisle. For this, the variables 421 . 422 . 423 according to the recognized command, compared with the first database 231 , changed according to the above table. Software control can now be done using a machine control command database 61 drive the corresponding engines of a car, runner or conveyor so that it unloads the compartment 2 of the fourth shelf in the seventh gear and moves the contents to a storage point. For this purpose, the command received via the socket connection is divided into individual commands in a chain by the control software 6 using the machine control command database 61 compiled and processed.

Im Weiteren werden die obigen drei erläuterten Variablen 421, 422 und 423 mit Hilfe einer Datenverbindung 1 aus einer Schnittstelle der Erfassungssoftware 20 entnommen und zunächst auf eine für die Steuerungssoftware verarbeitbare und über eine TCP-Socketverbindung 51-5-52 übertragbare Variablentype, nämlich in eine digitale Anweisung 43 in Form eines Arrays oder dgl. übersetzt und aufbereitet. Diese digitale Anweisung wird dann über die TCP-Socketverbindung 51-5-52 an die Steuerungssoftware 6 übermittelt. In der Steuerungssoftware 6 wird bedarfsweise die empfangene digitale Anweisung 43 mit Hilfe der Maschinensteuerungsbefehlsdatenbank 61 in entsprechende SPS-Kommandos umgesetzt, womit entsprechende Maschinenkomponenten angesteuert werden können. Alle Funktion einer SPS können so mit Hilfe optischen, akustischen und/oder neuronalen Befehle 3 ausgeführt werden.Hereinafter, the above three explained variables will be explained 421 . 422 and 423 with the help of a data connection 1 from an interface of the acquisition software 20 and first on a processable for the control software and via a TCP socket connection 51 - 5 - 52 transmittable variable type, namely a digital instruction 43 translated and prepared in the form of an array or the like. This digital statement is then sent over the TCP socket connection 51 - 5 - 52 to the control software 6 transmitted. In the control software 6 If necessary, the received digital instruction 43 using the machine control command database 61 converted into appropriate PLC commands, with which appropriate machine components can be controlled. All function of a PLC can be so by means of optical, acoustic and / or neural commands 3 be executed.

Als spezielles Ausführungsbeispiel wird als Erkennungshard- und -software 20 die Software DialogOS des Herstellers CLT Sprachtechnologie GmbH auf einem embedded System vorgeschlagen, wobei dieses mit einer SoftSPS CoDeSys des Herstellers 3S-Smart Software Solutions GmbH auf einem weiteren embedded System zusammenarbeiten soll. Hier setzen die erfindungsgemäße Anordnung und das erfindungsgemäße Verfahren an, damit die beiden nicht kompatiblen Systeme miteinander verbunden werden können und so eine Maschinensteuerung per Sprachbefehl möglich wird.As a special embodiment is as recognition hardware and software 20 the software DialogOS of the manufacturer CLT Sprachtechnologie GmbH is proposed on an embedded system, whereby this is to work together with a SoftSPS CoDeSys of the manufacturer 3S Smart Software Solutions GmbH on another embedded system. This is where the inventive arrangement and the inventive method, so that the two incompatible systems can be interconnected and so a machine control by voice command is possible.

Die Steuerungsanordnung aus der Kommandoeinheit 2 und der Steuerungseinheit 60 können aber auch in einem rechnergestützten System untergebracht werden. Derartige Systeme können beispielsweise embedded Systems sein, die speziell auf die Erfordernisse der Anwendung abgestimmt sind. Die Kommunikation zwischen der Kommandoeinheit 2 und der Steuereinheit 60 würde dann nunmehr über eine interne Socket-Verbindung 51-52 realisiert werden, wobei das Netzwerk 5 eben auf diese direkte Socket-Verbindung 51-52 reduziert wird.The control arrangement from the command unit 2 and the control unit 60 but can also be accommodated in a computerized system. Such systems can be embedded systems, for example, which are specially tailored to the requirements of the application. The communication between the command unit 2 and the control unit 60 then would now have an internal socket connection 51 - 52 be realized, the network 5 just on this direct socket connection 51 - 52 is reduced.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
DatenverbindungData Connection
1111
Brückensoftwarebridge software
22
KommandoeinheitCommanders
2020
Erfassungshard- und -softwareAcquisition hardware and software
2121
Erfassungshardwareacquisition hardware
2222
Erkennungssoftware-ErkennungRecognition software recognition
2323
Erkennungssoftware-UmwandlungRecognition software conversion
231231
erste Datenbankfirst database
33
akustisches Signalacoustic signal
4141
digitaler Wertdigital value
4242
digitaler Befehldigital command
421421
erste Variablefirst variable
422422
zweite Variablesecond variable
423423
dritte Variablethird variable
4343
digitale Anweisungdigital instruction
55
Netzwerknetwork
5151
TCP-Socket-ClientTCP socket client
5252
TCP-Socket-ServerTCP socket server
66
Steuerungssoftwarecontrol software
60, 60'60, 60 '
Steuerungseinheitcontrol unit
6161
MaschinensteuerungsbefehlsdatenbankMachine control command database
77
CAN-BusCAN bus
7171
Steuerleitungcontrol line
8, 8', 8''8, 8 ', 8' '
steuerbares Systemcontrollable system

Claims (20)

Steuerungsverfahren zur Steuerung eines oder mehrerer Systeme (8, 8', 8'') und/oder einer oder mehrerer Einzelkomponenten eines zugeordneten Systems, wobei die Steuerungseingabe durch optische, akustische und/oder neuronale Signale (3) eines Bedieners erfolgt, mit den Prozessschritten: – Erfassen eines optischen, akustischen und/oder neuronalen Befehls (3) eines Bedieners; – Umwandeln des erfassten optischen, akustischen und/oder neuronalen Befehls (3) durch Erkennung in einen digitalen Wert (41); – Einordnen des digitalen Wertes (41) mittels Vergleichen des digitalen Wertes (41) mit Werten einer ersten Datenbank (231) in eine Gerätekennung, einen Steuerbefehl und/oder einen dritten Wert; – Erstellen und Bereitstellen eines digitalen Befehls (42) umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer ersten Schnittstelle; – Auslesen oder Empfangen des digitalen Befehls (42) der ersten Schnittstelle und Umsetzung des digitalen Befehls (42) in eine neue Datenstruktur zu einer digitalen Anweisung (43); – Ablegen und Bereitstellen der digitalen Anweisung (43) in einer zweiten Schnittstelle; – Auslesen oder Empfangen der in der zweiten Schnittstelle bereitgelegten digitalen Anweisung (43) durch eine oder mehrere Steuerungseinheiten (60, 60'); – Verarbeiten der digitalen Anweisung (43) durch die jeweilige(n) Steuerungseinheit(en) (60, 60') durch Umsetzen der digitalen Anweisung (43) in einen Maschinensteuerungsbefehl oder eine Maschinensteuerungsbefehlskette durch Vergleichen der digitalen Anweisung (43) mit einer Maschinensteuerungsbefehlsdatenbank (61) und – Ausführen des Maschinensteuerungsbefehls oder der Maschinensteuerungsbefehlskette durch Ansteuerung des gesamten zugeordneten Systems (8, 8', 8'') oder einer Einzelkomponente des zugeordneten Systems, wobei das Kommunizieren über die zweite Schnittstelle mittels einer Socket-Verbindung erfolgt, wobei eine TCP/IP Server-Client Socket-Verbindung (52-51) realisiert wird und die Socket-Verbindung (52-51) durch Senden eines vollständig leeren, oder mit ”0” gefüllten Befehls aufrecht erhalten wird, solange keine neuen Befehle erkannt und übertragen werden.Control method for controlling one or more systems ( 8th . 8th' . 8th'' ) and / or one or more individual components of an assigned system, wherein the control input by optical, acoustic and / or neural signals ( 3 ) of an operator, with the process steps: - detecting an optical, acoustic and / or neural command ( 3 ) of an operator; Converting the detected optical, acoustic and / or neural command ( 3 ) by recognition in a digital value ( 41 ); - classification of the digital value ( 41 ) by comparing the digital value ( 41 ) with values of a first database ( 231 ) in a device identifier, a control command and / or a third value; - Create and deploy a digital command ( 42 ) comprising the device identifier, the control command and / or the third value in a first data structure in a first interface; - reading or receiving the digital command ( 42 ) of the first interface and implementation of the digital command ( 42 ) into a new data structure to a digital statement ( 43 ); - storing and providing the digital instruction ( 43 ) in a second interface; Reading out or receiving the digital instruction provided in the second interface ( 43 ) by one or more control units ( 60 . 60 ' ); - processing the digital statement ( 43 ) by the respective control unit (s) ( 60 . 60 ' ) by converting the digital instruction ( 43 ) into a machine control command or a machine control command chain by comparing the digital instruction ( 43 ) with a machine control command database ( 61 ) and - executing the machine control command or the machine control command chain by driving the entire associated system ( 8th . 8th' . 8th'' ) or a single component of the associated system, communicating over the second interface via a socket connection using a TCP / IP server-client socket connection ( 52 - 51 ) and the socket connection ( 52 - 51 ) is maintained by sending a command completely empty or filled with "0" as long as no new commands are detected and transmitted. Steuerungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass pro erkanntem optischen oder akustischen Befehl (3) ein digitaler Wert (41) generiert wird, wobei entweder die Komponente Gerätekennung, Steuerbefehl oder dritter Wert mit einem entsprechenden Wert ausgefüllt wird und die anderen Werte leer gelassen werden.Control method according to claim 1, characterized in that per detected optical or acoustic command ( 3 ) a digital value ( 41 ) is generated, whereby either the component identifier, control command or third value is filled with a corresponding value and the other values are left blank. Steuerungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in die digitale Anweisung (43) mindestens die Gerätekennung und der Steuerbefehl eingespeichert werden. Control method according to claim 1 or 2, characterized in that in the digital instruction ( 43 ) at least the device identifier and the control command are stored. Steuerungsverfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass die Gerätekennung in der digitalen Anweisung (43) solange beibehalten wird, bis eine neue Gerätekennung erkannt wird und diese kommuniziert wird.Control method according to claim 1, 2 or 3, characterized in that the device identifier in the digital instruction ( 43 ) is maintained until a new device identifier is detected and it is communicated. Steuerungsverfahren nach Anspruch 1, 2, 3 oder 4, dadurch gekennzeichnet, dass das Erstellen und Bereitstellen des digitalen Befehls (42) umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer Schnittstelle erfolgt, die ähnlich einem Postfach ausgebildet ist, wobei die digitalen Befehle chronologisch abgelegt werden und entsprechend dem First-In-First-Out Prinzip entnommen werden.Control method according to claim 1, 2, 3 or 4, characterized in that the creation and provision of the digital command ( 42 ) comprising the device identifier, the control command and / or the third value in a first data structure in an interface that is similar to a mailbox, the digital commands are stored chronologically and are removed according to the first-in-first-out principle. Steuerungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass das letzte angesteuerte bzw. ausgewählte Gerät bzw. System (8, 8', 8'') bis zum nächsten Gerätewechsel beibehalten wird.Control method according to one of the preceding claims, characterized in that the last controlled or selected device or system ( 8th . 8th' . 8th'' ) is maintained until the next device change. Steuerungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Prozessschritte – Erstellen und Bereitstellen eines digitalen Befehls (42) umfassend die Gerätekennung, den Steuerbefehl und/oder den dritten Wert in einer ersten Datenstruktur in einer ersten Schnittstelle; – Auslesen oder Empfangen des digitalen Befehls (42) der ersten Schnittstelle und Umsetzung des digitalen Befehls (42) in eine neue Datenstruktur zu einer digitalen Anweisung (43) und – Ablegen und Bereitstellen der digitalen Anweisung (43) in einer zweiten Schnittstelle in einer geschlossenen Prozesskette erfolgen.Control method according to one of the preceding claims, characterized in that the process steps - creating and providing a digital command ( 42 ) comprising the device identifier, the control command and / or the third value in a first data structure in a first interface; - reading or receiving the digital command ( 42 ) of the first interface and implementation of the digital command ( 42 ) into a new data structure to a digital statement ( 43 ) and - storing and providing the digital instruction ( 43 ) in a second interface in a closed process chain. Steuerungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Ausführen einer Bewegung des Systems (8, 8', 8'') oder Teilen davon überprüft wird, ob eine Bewegung des Systems (8, 8', 8'') oder Teilen davon möglich ist.Control method according to one of the preceding claims, characterized in that, before carrying out a movement of the system ( 8th . 8th' . 8th'' ) or parts thereof, whether a movement of the system ( 8th . 8th' . 8th'' ) or parts of it is possible. Steuerungsverfahren nach Anspruch 8, dadurch gekennzeichnet, dass zum Überprüfen Sensoren ausgelesen werden, wobei die Sensoren Positionen und/oder Zustände des Systems (8, 8', 8'') oder von Teilen des Systems detektieren.Control method according to Claim 8, characterized in that sensors are read out for checking, the sensors determining positions and / or states of the system ( 8th . 8th' . 8th'' ) or parts of the system. Steuerungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass als dritter Wert eine Orts-, Richtungsangabe und/oder eine Regelgröße vorgegeben wird.Control method according to one of the preceding claims, characterized in that a location, direction and / or a controlled variable is specified as the third value. Steuerungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Arbeitsabläufe in Schrittketten vordefiniert werden und entsprechend in einer Maschinensteuerungsbefehlsdatenbank (61) hinterlegt werden.Control method according to one of the preceding claims, characterized in that work sequences are predefined in step sequences and correspondingly stored in a machine control command database ( 61 ) are deposited. Steuerungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der momentane Gesamt- oder Teilsystemzustand visualisiert wird.Control method according to one of the preceding claims, characterized in that the current overall or subsystem state is visualized. Steuerungsverfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der optische, akustische und/oder neuronale Befehl (3) „Notaus”, „Stopp”, „Handfläche entgegenstrecken” oder dgl. alle vorangehenden Befehle sofort überschreibt und dass das oder die Systeme (8, 8', 8'') oder Teile des Systems sofort in einen Halt-Modus gestellt werden.Control method according to one of the preceding claims, characterized in that the optical, acoustic and / or neural command ( 3 ) "Emergency stop", "stop", "palm out" or the like. Overwrite all previous commands immediately and that the system or systems ( 8th . 8th' . 8th'' ) or parts of the system immediately put into a hold mode. Steuerungsanordnung für ein Steuerungsverfahren nach einem der Ansprüche 1 bis 13 umfassend eine Hard- und Software zur Erfassung (21) und Umwandlung (23) von optischen, akustischen und/oder neuronalen Signalen (3) mit einer Erkennungssoftware (22) für Sprache, Mimik, Gestik, Handzeichen und/oder Bewegungen eines Bedieners, vorgesehen auf einem rechnergestützten System, eine Steuerungssoftware (6) für ein System (8, 8', 8'') oder einen Teil des Systems mit einer Verbindung zu diesem System (8, 8', 8'') oder einem Teil des Systems, eine Datenverbindung (1) zur Übertragung der erkannten optischen, akustischen und/oder neuronalen Signale (3) in weiterverarbeiteter Form in die Steuerungssoftware (6), einer ersten Datenbank (231) und einer Maschinensteuerungsbefehlsdatenbank (61), wobei die Hard- und Software (20) zur Erfassung und Umwandlung der optischen, akustischen und/oder neuronalen Signalen (3) mit der Erkennungssoftware (22) für Sprache, Mimik, Gestik, Handzeichen und/oder Bewegungen eines Bedieners, vorgesehen auf einem rechnergestützten System als Kommandoeinheit (2) ausgebildet ist, die Steuerungssoftware (6) auf einem zweiten rechnergestützten System abläuft und mit diesem eine Steuerungseinheit (60, 60') bildet und die Verbindung eine TCP/IP Socket-Verbindung, eine Server-Client Socket-Verbindung (52-51) ist.Control arrangement for a control method according to one of Claims 1 to 13, comprising hardware and software for the detection ( 21 ) and conversion ( 23 ) of optical, acoustic and / or neural signals ( 3 ) with a recognition software ( 22 ) for language, facial expressions, gestures, hand signs and / or movements an operator provided on a computerized system, a control software ( 6 ) for a system ( 8th . 8th' . 8th'' ) or part of the system with a connection to this system ( 8th . 8th' . 8th'' ) or part of the system, a data connection ( 1 ) for transmitting the detected optical, acoustic and / or neural signals ( 3 ) in further processed form into the control software ( 6 ), a first database ( 231 ) and a machine control command database ( 61 ), whereby the hardware and software ( 20 ) for detecting and converting the optical, acoustic and / or neuronal signals ( 3 ) with the recognition software ( 22 ) for speech, facial expressions, gestures, hand signs and / or movements of an operator, provided on a computerized system as a command unit ( 2 ), the control software ( 6 ) runs on a second computerized system and with this a control unit ( 60 . 60 ' ) and the connection forms a TCP / IP socket connection, a server-client socket connection ( 52 - 51 ). Steuerungsanordnung nach Anspruch 14, dadurch gekennzeichnet, dass die Steuerungssoftware (6) eine Softwareprogrammierbare Steuerung, eine SPS, oder eine mittels einer Software modellierte Softwareprogrammierbare Steuerung auf einem rechnergestützten System, eine SoftSPS, ist.Control arrangement according to claim 14, characterized in that the control software ( 6 ) is a software programmable controller, a PLC, or a software modeled software programmable controller on a computerized system, a SoftPLC. Steuerungsanordnung nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass zur Erfassung der akustischen Signale (3) ein Mikrofon oder Akustikempfänger vorgesehen ist, das der Bediener mit seiner Stimme erreicht.Control arrangement according to claim 14 or 15, characterized in that for detecting the acoustic signals ( 3 ) a microphone or acoustic receiver is provided, which reaches the operator with his voice. Steuerungsanordnung nach Anspruch 14, 15 oder 16, dadurch gekennzeichnet, dass zur Erfassung der optischen Signale ein Optischer Sensor, ein Video und/oder Kamerasystem vorgesehen ist, das die Mimik, Gestik, Zeichen, der Hand und/oder Bewegungen des Körpers oder der Extremitäten des Bedieners erfasst.Control arrangement according to claim 14, 15 or 16, characterized in that for detecting the optical signals, an optical sensor, a video and / or camera system is provided, the facial expressions, gestures, signs, the hand and / or movements of the body or extremities detected by the operator. Steuerungsanordnung nach einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass die Verbindung zwischen Steuerungssoftware (6) und System (8, 8', 8'') als Bus-System (7) ausgebildet ist.Control arrangement according to one of Claims 14 to 17, characterized in that the connection between control software ( 6 ) and system ( 8th . 8th' . 8th'' ) as a bus system ( 7 ) is trained. Steuerungsanordnung nach einem der Ansprüche 14 bis 18, dadurch gekennzeichnet, dass zur Verbindung der Erkennungssoftware mit der Steuerungssoftware eine zwischengeschaltete Softwarebridge mit einer Eingangsseite und einer Ausgangsseite vorgesehen ist.Control arrangement according to one of claims 14 to 18, characterized in that for connecting the detection software with the control software, an intermediate Softwarebridge is provided with an input side and an output side. Steuerungsanordnung nach einem der Ansprüche 14 bis 19, dadurch gekennzeichnet, dass mehrere Steuerungseinheiten (60, 60') und/oder mehrere Kommandoeinheiten (2) vorgesehen sind, wobei die Verbindung zwischen den Einheiten als Netzwerk (5) ausgebildet ist.Control arrangement according to one of claims 14 to 19, characterized in that a plurality of control units ( 60 . 60 ' ) and / or several command units ( 2 ), whereby the connection between the units as a network ( 5 ) is trained.
DE201110000689 2011-02-14 2011-02-14 Control method and arrangement Expired - Fee Related DE102011000689B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201110000689 DE102011000689B4 (en) 2011-02-14 2011-02-14 Control method and arrangement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201110000689 DE102011000689B4 (en) 2011-02-14 2011-02-14 Control method and arrangement

Publications (2)

Publication Number Publication Date
DE102011000689A1 DE102011000689A1 (en) 2012-08-16
DE102011000689B4 true DE102011000689B4 (en) 2014-10-30

Family

ID=46579419

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201110000689 Expired - Fee Related DE102011000689B4 (en) 2011-02-14 2011-02-14 Control method and arrangement

Country Status (1)

Country Link
DE (1) DE102011000689B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012212030A1 (en) * 2012-07-10 2013-10-02 E.G.O. Elektro-Gerätebau GmbH Method for operating household appliance, involves measuring brain waves of operating person at point on head, where measurement is performed by measuring device on head of operating person, while brain waves are transmitted as signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19715099A1 (en) * 1997-04-11 1998-10-15 Saechsisches Inst Fuer Die Dru Speech recognition and control system for graphics, esp. printing machine
DE10026263A1 (en) * 1999-08-27 2001-03-08 Siemens Ag Electric machine control
DE10344385A1 (en) * 2003-09-23 2005-05-04 Peter Wratil Providing emergency switch-off function for machine or system involves emergency shut-down device causing visual change in response to being activated that makes activation of emergency shut-down device visible to user
DE102004053775A1 (en) * 2004-11-08 2006-05-11 Siemens Ag Wireless operating and monitoring system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19715099A1 (en) * 1997-04-11 1998-10-15 Saechsisches Inst Fuer Die Dru Speech recognition and control system for graphics, esp. printing machine
DE10026263A1 (en) * 1999-08-27 2001-03-08 Siemens Ag Electric machine control
DE10344385A1 (en) * 2003-09-23 2005-05-04 Peter Wratil Providing emergency switch-off function for machine or system involves emergency shut-down device causing visual change in response to being activated that makes activation of emergency shut-down device visible to user
DE102004053775A1 (en) * 2004-11-08 2006-05-11 Siemens Ag Wireless operating and monitoring system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wikipedia: OSI-Modell (Stack). Version vom 27.01.2011, URL: http://de.wikipedia.org/w/index.php?title=OSI-Modell&oldid=84470449, abgerufen am 03.11.2011. *
Wikipedia: OSI-Modell. Version vom 27.01.2011, URL: http://de.wikipedia.org/w/index.php?title=OSI-Modell&oldid=84470449, abgerufen am 03.11.2011. *

Also Published As

Publication number Publication date
DE102011000689A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
DE102012212754B4 (en) Method for operating a sensor system and sensor system
DE112013003209T5 (en) Robot control device and robot control method
EP2051150A1 (en) Method for automatic modification of a program and automation system
EP3383598B1 (en) Manipulator system and method for identifying operating devices
EP2392434B1 (en) Robot control
DE102013100465A1 (en) Microprocessor-controlled control device for an injection molding plant
EP2734998B1 (en) Assistance system
DE102013013875A1 (en) Method for controlling a robot
WO2015007297A1 (en) Data-capture unit and automation system
EP1106309A2 (en) Robot control method and device
DE102010008240B4 (en) Method for operating a multi-axis, preferably six-axis, robot
DE112008003195T5 (en) Electrical circuit with a physical transmission layer diagnostic system
DE102007026502A1 (en) Training system for an automation system for controlling a technical process
DE102013220526A1 (en) Fail-safe sensor architecture for driver assistance systems
DE102011000689B4 (en) Control method and arrangement
DE10041109B4 (en) System and method for operating and monitoring in particular an automation system with a mobile operating device
EP0862763B1 (en) Simulator unit for simulating a peripheral unit of a modular programmable controller
EP2713301A1 (en) Method and system for connecting a controller for a machine to a higher level IT system
WO2008077358A1 (en) Network of devices with an automation device and an operating device, and method for operating such a network of devices
EP2697702B1 (en) Device and method for the gesture control of a screen in a control room
EP3969970A1 (en) Method for displaying and operating production means, in particular for the plastics processing industry
WO2005001582A1 (en) Electronic control unit and method for specifying a software architecture for an electronic control unit
DE102019132428A1 (en) Function-oriented electronics architecture
DE102018112361A1 (en) Drive unit of an automation component, in particular a gripping, tensioning and alternating or pivoting unit
DE102008004923B4 (en) Method for updating a control sequence of a machine control system and device for carrying out the method

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R082 Change of representative

Representative=s name: HANSEN, JOCHEN, DIPL.-GEOPHYS., DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee