WO2016034441A1 - Verfahren und vorrichtung zur zentralen bedienung von vernetzten elektrischen geräten in einem haus - Google Patents

Verfahren und vorrichtung zur zentralen bedienung von vernetzten elektrischen geräten in einem haus Download PDF

Info

Publication number
WO2016034441A1
WO2016034441A1 PCT/EP2015/069270 EP2015069270W WO2016034441A1 WO 2016034441 A1 WO2016034441 A1 WO 2016034441A1 EP 2015069270 W EP2015069270 W EP 2015069270W WO 2016034441 A1 WO2016034441 A1 WO 2016034441A1
Authority
WO
WIPO (PCT)
Prior art keywords
control
controlled device
image
physical
control panel
Prior art date
Application number
PCT/EP2015/069270
Other languages
English (en)
French (fr)
Inventor
Duc Hanh Bui Tran
Kay-Uwe CLEMENS
Original Assignee
BSH Hausgeräte GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BSH Hausgeräte GmbH filed Critical BSH Hausgeräte GmbH
Publication of WO2016034441A1 publication Critical patent/WO2016034441A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless

Definitions

  • the invention relates to a method and a corresponding device, by means of which networked electrical devices in a house can be operated efficiently.
  • Settings on electrical devices in a house are typically made by users today directly to the respective electrical device. For example, heaters in the basement of the house, thermostats on radiators, shading and blinds on windows and home appliances are set to the respective home appliances.
  • control systems are typically created completely new. This requires, in particular, a new programming of a user interface. Furthermore, the control systems typically require user familiarization, as the systems are typically far away from actual physical device operation.
  • the present document deals with the technical task of enabling a simplified remote control of one or more electrical appliances in a household.
  • the effort for the provision of a control system should be reduced.
  • the operation should be simplified for a user.
  • a method for remote control of a controlled device by means of a controller is described.
  • the controller is connected to the controlled device via a network.
  • the method includes determining an image of a control interface for the controlled device, wherein the image at a first position comprises a graphical representation of a physical control to change a setting of the controlled device.
  • the method comprises outputting the image on an input / output unit of the control device.
  • the method further comprises overlaying the output image at the first position with a physical control panel, the control panel being associated with a control command for changing the setting of the controlled device.
  • the method includes detecting actuation of the control panel from the input / output unit and, in response to the confirmation of the control panel, sending the control command to the controlled device.
  • a controller configured to operate a controlled device.
  • the controller includes a communication unit configured to communicate with the controlled device via a network, and an input / output unit configured to output an image and detect an operation of a control panel overlaid with the image.
  • the control device comprises a processor that is configured to determine an image of a control interface for the controlled device, the image comprising at a first position a graphical representation of a physical control element of the control interface.
  • the processor is further configured to output the image on the input / output unit.
  • the processor is configured to overlay the output image at the first position with a physical control panel, the control panel being associated with a controlled device control command.
  • the processor is arranged to detect actuation of the control panel from the input / output unit and to send the control command to the controlled apparatus in response to the confirmation of the control panel.
  • a software (SW) program is described.
  • the SW program may be set up to run on a processor (eg, on an electronic control unit processor) and thereby perform the method described in this document.
  • a storage medium is described.
  • the storage medium may include a SW program that is set up to run on a processor and thereby perform the method described in this document.
  • Figure 1 shows an exemplary network with a plurality of controlled electrical devices
  • Figure 2 shows an exemplary system for providing a virtual control interface for a controlled electrical device
  • FIG. 3 a shows an exemplary user interface of a controlled device
  • FIG. 3b shows an exemplary virtual control interface for a controlled device
  • FIG. 4 shows a flowchart of an exemplary method for the remote control of a controlled electrical device.
  • the present document is concerned with the efficient provision of a user interface for remote control of one or more networked electrical devices in a home. These devices are also referred to in this document as "controlled devices”.
  • 1 shows a plurality of electrical devices 103, in particular household appliances, in a house (eg one or more stoves, in particular baking ovens, one or more washing machines, one or more dryers, one or more dishwashers, etc.), preferably via a network 102 are connected to an electronic control unit 101.
  • the network 102 may include a wireless and / or a wired network.
  • Exemplary wireless networks include a WLAN, a UMTS and / or an LTE network.
  • the electronic control unit 101 may include a tablet PC, a smartphone or a laptop PC.
  • the electronic control unit 101 includes an input / output unit 104 (eg, a touch-sensitive screen) configured to output visual information and to detect inputs by a user.
  • the electronic control unit 101 includes a processor configured to execute one or more software programs and / or instructions.
  • the electronic control unit 101 may be set up to operate the plurality of controlled devices 103 via the network 102 and / or to obtain status information regarding the plurality of home appliances 103 via the network 102 based on an operating program executed by the processor.
  • the electronic control unit 101 may be configured to access an external computer (eg a server) 110 by means of the operating program.
  • the computer 1 10 may include a memory unit 1 1 1 on which information regarding one or more of the plurality of controlled devices 103 are stored.
  • the electronic controller 101 illustrated in FIG. 1 may be used to control one or more of the controlled devices 103 and / or to obtain status information regarding the one or more controlled devices 103.
  • the electronic control unit 101 may access the computer 1 10 in order to obtain information regarding the one or more controlled devices 103. Alternatively or additionally, such information may be provided at least partially on the electronic control unit 101.
  • the provision of a uniform operating program for a multiplicity of different controlled devices 103 is complicated.
  • the user interface of the operating program significantly different from a physical user interface of the controlled devices 103, resulting in difficult operation for a user.
  • FIG. 2 illustrates a system that enables efficient provision of a virtual user interface for a controlled device 103.
  • the system includes an optical sensor 200 (e.g., a camera) configured to capture an image of a controlled device 103.
  • a physical user interface 203 of the controlled device 103 can be imaged.
  • the image information can be transmitted via the network 102 to the control unit 101.
  • the transmitted image may be provided in a particular data format (e.g., bitmap or PNG, JPEG or livestream).
  • the controller 101 may be configured to identify the controlled device 103.
  • the control unit 101 may, for example, evaluate the image information captured by the optical sensor 200 (eg by means of suitable image analysis methods).
  • an identifier for the one or more controlled devices 103 can be stored in the control device 101, which can be remotely controlled by the control device 101.
  • the controlled device 103 may be identified by a user.
  • the controlled device 103 may be identified based on an ID of the optical sensor 200 through which the image of the physical user interface 203 is provided. In this case, also a position (eg an angle and a direction) of the controlled device 103 relative to the optical sensor 200 can be taken into account.
  • the controller 1 can be set up 10, eg on the basis of the ID of the optical sensor 200 and / or the position information to learn which controlled device 103 is present.
  • the one or more panels and their locations within the virtual user interface 204 may be determined based on the identified controlled device 103.
  • the one or more control fields for different controlled devices 103 can be stored on the central computer 1 10 and queried by the control unit 101 if necessary.
  • the one or more control fields typically do not (or not completely) define the graphical representation of the individual control elements of the virtual
  • setting options are defined for the one or more control fields which can be made by a user at the virtual user interface 204.
  • a virtual user interface 204 also known as
  • User interface 203 of the controlled device 103 corresponds.
  • FIG. 3a shows exemplary physical controls 303 of a physical user interface 203.
  • FIG. 3a shows a knob 303 that can be rotated by a user to change settings of the controlled device 103 directly on the controlled device 103.
  • different programs of a domestic appliance 103 can be selected via the rotary knob 303.
  • Fig. 3a shows a plurality of push buttons or keys 303, which can be switched on or off by the user.
  • 303 options can be activated or deactivated via the push buttons 303.
  • a domestic appliance 103 can typically be activated or deactivated via a pushbutton 303.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels 303 from FIG. 3a.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels 303 from FIG. 3a.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels 303 from FIG. 3a.
  • FIG. 3b shows corresponding control fields 304 for the physical control panels
  • 3 b shows an image 305 of the physical user interface 203, which is displayed within the virtual user interface 204.
  • the control panels 304 are located at the positions of the corresponding physical controls 303.
  • the control panels 304 have no or only rudimentary graphical representations (eg, only hinted borders) so that the physical controls 303 are still visible in the image 305 and so that the virtual control interface 204 has substantially the same visual appearance as the physical Operator interface 203.
  • a circular motion of the user within the control panel 304 results in a change in the settings of the controlled apparatus 103.
  • a circular motion of the user within the circular control field 304 may be interpreted as a corresponding rotational movement of the corresponding physical rotary knob 303.
  • a push movement of the user within the control panel 304 results in a change in the setting of the controlled device 103.
  • a push movement of the user within the rectangular control panel 304 may be interpreted as a push movement to the corresponding physical push button 303.
  • control fields 304 are defined and stored.
  • An exact virtual graphical representation of the physical user interface 203 is not required because the pictorial information is provided by the image 305 of the physical user interface 203. This allows a significant reduction in the effort for providing a virtual user interface 204. In addition, it can be ensured that the virtual user interface 204 with the physical user interface 203 matches, and thus a remote control of the controlled device 103 for a user is facilitated.
  • the controller 101 is further configured to detect an operation of a control panel 304 within the virtual operator interface 204 by a user. Such an operation can be detected via the input / output unit.
  • the actuation of the control field 304 may be translated into a control command for the controlled device 103.
  • a circular motion in a circular control field 304 may correspond to a control command that causes a program change of a controlled home appliance 103.
  • a pushing movement in a rectangular Control panel 304 may correspond to a control command that enables or disables an option of a controlled home appliance 103.
  • the control command may be communicated to the controlled device 103 via the network 102 and then implemented by the controlled device 103.
  • the control device 101 efficiently enables remote operation of the controlled device 103.
  • the controller 101 may be configured to generate in the one or more control fields 304 a graphical output representing a changed setting of the controlled device 103.
  • the controller 101 may be configured to generate in the one or more control fields 304 a graphical output representing a changed setting of the controlled device 103.
  • the system shown in FIG. 2 makes it possible to control and operate one or more electrically controllable devices 103 (eg a domestic appliance or an entertainment system) from a central point (ie from the control device 101).
  • the physical control panel 203 of the controlled device 103 or an exact visualization of the control panel 203 is displayed in real time on the control unit 101 and the settings are displayed on the control unit 101 via augmented reality. Augmented reality technologies can also be used to visualize the input and display it on the control unit 101.
  • control commands can be transmitted to the controller of the controlled device 103 and used there.
  • the controller 101 may be used as a hub for individual controlled devices 103 to provide increased security.
  • the control unit 101 may also be equipped with integrated security modifications (eg firewalls, etc.).
  • the individual controlled devices 103 are then not directly connected to the Internet (but via the central control unit 101).
  • the image 305 of a physical control interface 203 may be stored on a memory unit (for example, on a memory unit 1 1 1 of a central computer 1 10).
  • This pre-stored image 305 can then be used (without using an optical sensor 200) for the generation of a virtual user interface 204.
  • the controlled device 103 may in particular be a domestic appliance, e.g. an oven, a dishwasher, a washing machine, or a dryer.
  • the controller 101 may include a smartphone, a tablet PC or a laptop PC.
  • the controller 101 is connected to the controlled device 103 via a network 102.
  • the network 102 may in particular comprise a wireless network.
  • the controller 101 and the controlled device 103 may thus be spatially separated, e.g. in different rooms of a house.
  • the method 400 comprises determining 401 an image 305 of a control interface 203 for the controlled device 103.
  • the image 305 can be loaded, for example, from a memory unit and identified via an identifier of the controlled device 103.
  • a pre-stored image 305 of a physical control interface 203 of the controlled device 103 can be retrieved from the memory unit.
  • the image 305 comprises at a first position a graphic representation of a physical operating element 303 for changing a setting of the controlled device 103.
  • the method 400 further comprises outputting 402 the image 305 on an input / output unit 104 of the control device 101.
  • the input / output unit 104 may in particular comprise a touch-sensitive screen.
  • the method 400 may include determining that a user is approaching the controller 101 (this may be determined, for example, by an IR sensor and / or by a motion sensor).
  • the image 305 of the user interface 203 may then be output only in response to a user determining that the controller 101 is approaching.
  • power consumption of the control unit 101 can be reduced and / or ease of operation can be increased.
  • the method 400 includes overlaying 403 the output image 305 at the first position with a control panel 304 for the physical control 303.
  • the output image 305 may be activated at the first position for inputs via the input / output unit 104.
  • the control panel 304 for the physical control 303 may be stored on a storage unit.
  • an identifier of the controlled device 103 may be determined, and the control field 304 may then be determined (e.g., loaded from the storage device) based on the identifier of the controlled device 103.
  • the physical control panel 304 is typically associated with a control command for changing the setting of the controlled device 103 (ie, the control panel 304 may be used to change the same setting that may also be changed by the corresponding physical control 303) ,
  • the method 400 further comprises detecting 404 an actuation of the control panel 304 based on the input / output unit 104.
  • the actuation of the control panel 304 may include touching a touch-sensitive screen of the controller 101 at the first position of the output image 305.
  • the Control command to the controlled device 103 are sent (step 405).
  • remote control by the controller 101 can be enabled.
  • such an efficient and flexible remote control is made possible because a virtual user interface 204 can be provided in a cost-effective and flexible manner by overlaying the image 305 of the user interface 203 with one or more control panels 304.
  • the determining 401 of the image 305 of the user interface 203 may include capturing an image 305 of a physical control interface 203 of the controlled device 103 with an optical sensor 200 (e.g., with an image camera). The captured image 305 may then be communicated to the controller 101 (e.g., in a passive data format such as bitmap, PNG, or JPEG). Thus, it can be ensured that the visual appearance of the virtual user interface 204 matches the visual appearance of the physical user interface 203. Thus, the remote control can be made easy for a user.
  • a passive data format such as bitmap, PNG, or JPEG
  • the physical control 303 of the control interface 203 may enable one or more settings of the controlled device 103.
  • the physical control panel 304 may be associated with one or more control commands that effect the one or more same settings of the controlled device 103.
  • the physical control 303 of the control interface 203 may typically be actuated by a particular movement of a user to effect a corresponding particular adjustment of the controlled device 103.
  • the physical control panel 304 may be actuated with the same or a corresponding particular user movement to effect the transmission of a control command that effects the corresponding particular setting of the controlled device 103.
  • the physical control element 303 may include a rotary control and the corresponding control panel 304 may be actuated by a circular motion on the input / output unit 104.
  • the physical operating element 303 may include a button and the corresponding control panel 304 may be actuated by a push on the input / output unit 104.
  • the physical control element 303 may include a slider, and the corresponding control panel 304 may be actuated by a rectilinear motion on the input / output unit 104. This ensures that a user can operate the controlled device 103 in the same way via the physical user interface 203 and via the virtual user interface 204.
  • a control panel may be provided for confirmation on the virtual control interface 204.
  • Such additional control money may confirm a change in settings made to the virtual control interface 204 before sending appropriate control commands to the controlled device 103. This may be useful, in particular in the case of safety-relevant settings (for example, when blocking a gas supply).
  • the controlled device 103 may include a plurality of physical controls 303 at different locations of the physical control interface 203.
  • the output image 305 then includes, for each of the plurality of physical controls 303, a graphical representation at the respective different positions.
  • Each of the graphical representations may be overlaid with a corresponding control panel 304 for the corresponding control element 303.
  • presettings can be offered and saved.
  • a stored presetting can automatically make a combination of settings on the virtual user interface 204 and / or send corresponding control commands to the controlled device 103. This can simplify time-consuming adjustments.
  • the method 400 may further include outputting a graphical representation at the first position of the output image 305, wherein the graphic representation indicates a setting change of the controlled device 103 caused by the control command. This ensures that the user changes the ones Adjustment on the virtual operator interface 204, even if the changed setting is not displayed on the physical user interface 203. Alternatively or additionally, it can be effected that the changed setting is converted to one or more physical operating elements 303 by one or more actuators on the controlled device 103.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

Es wird ein Verfahren (400) zur Fernbedienung eines gesteuerten Geräts (103) mittels eines Steuergeräts (101) beschrieben. Das Steuergerät (101) ist über ein Netzwerk (102) mit dem gesteuerten Gerät (103) verbunden. Das Verfahren (400) umfasst das Ermitteln (401) eines Bildes (305) einer Bedienschnittstelle (203) für das gesteuerte Gerät (103), wobei das Bild (305) an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements (303) zur Änderung einer Einstellung des gesteuerten Geräts (103) umfasst. Das Verfahren (400) umfasst weiter das Ausgeben (402) des Bildes (305) auf einer Eingabe/Ausgabeeinheit (104) des Steuergeräts (101). Außerdem umfasst das Verfahren (400) das Überlagern (403) des ausgegebenen Bildes (305) an der ersten Position mit einen Steuerfeld (304) für das physikalische Bedienelement (303). Das Steuerfeld (304) ist dabei mit einem Steuerbefehl zur Änderung der Einstellung des gesteuerten Geräts (103) assoziiert. Desweiteren umfasst das Verfahren (400) das Erfassen (404) einer Betätigung des Steuerfeldes (304) anhand der Eingabe/Ausgabeeinheit (104) und in Reaktion auf die Bestätigung des Steuerfeldes (304), das Senden (405) des Steuerbefehls an das gesteuerte Gerät (103).

Description

Verfahren und Vorrichtung zur zentralen Bedienung von vernetzten elektrischen Geräten in einem Haus
Die Erfindung betrifft ein Verfahren und eine entsprechende Vorrichtung, durch die vernetzte elektrische Geräte in einem Haus in effizienter Weise bedient werden können.
Einstellungen an elektrischen Geräten in einem Haus werden heute typischerweise von Nutzern direkt an dem jeweiligen elektrischen Gerät vorgenommen. Beispielsweise werden Heizungen im Keller des Hauses, Thermostate an Heizkörpern, Beschattungen und Rollos an Fenstern und Hausgeräte an den jeweiligen Hausgeräten eingestellt.
Zur Fernbedienung derartiger elektrischer Geräte wurden zentrale Bedienelemente von Haussteuerungssystemen beschrieben, mit denen über ein elektronisches Steuergerät (z.B. über ein Smartphone / Tablet PC mit einer App und einem berührungsempfindlichen Bildschirm oder über einen PC) Steuerungsbefehle an die einzelnen elektrischen Geräte eines Hauses abgesetzt werden können.
Diese Steuerungssysteme werden typischerweise komplett neu geschaffen. Dafür ist insbesondere eine neue Programmierung eines User Interfaces erforderlich. Desweiteren erfordern die Steuersysteme typischerweise eine Eingewöhnung der Nutzer, da die Systeme grafisch meist weit von der tatsächlichen, physikalischen Gerätebedienung entfernt sind.
Das vorliegende Dokument befasst sich mit der technischen Aufgabe eine vereinfachte Fernbedienung von ein oder mehreren elektrischen Geräten in einem Haushalt zu ermöglichen. Insbesondere soll dabei der Aufwand für die Bereitstellung eines Steuerungssystems reduziert werden. Desweiteren soll die Bedienung für einen Nutzer vereinfacht werden.
Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen werden u.a. in den abhängigen Ansprüchen beschrieben. Gemäß einem Aspekt wird ein Verfahren zur Fernbedienung eines gesteuerten Geräts mittels eines Steuergeräts beschrieben. Das Steuergerät ist über ein Netzwerk mit dem gesteuerten Gerät verbunden. Das Verfahren umfasst das Ermitteln eines Bildes einer Bedienschnittstelle für das gesteuerte Gerät, wobei das Bild an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements zur Änderung einer Einstellung des gesteuerten Geräts umfasst. Desweiteren umfasst das Verfahren das Ausgeben des Bildes auf einer Eingabe/Ausgabeeinheit des Steuergeräts. Desweiteren umfasst das Verfahren das Überlagern des ausgegebenen Bildes an der ersten Position mit einen Steuerfeld für das physikalische Bedienelement, wobei das Steuerfeld mit einem Steuerbefehl zur Änderung der Einstellung des gesteuerten Geräts assoziiert ist. Außerdem umfasst das Verfahren das Erfassen einer Betätigung des Steuerfeldes anhand der Eingabe/Ausgabeeinheit und in Reaktion auf die Bestätigung des Steuerfeldes, das Senden des Steuerbefehls an das gesteuerte Gerät.
Gemäß einem weiteren Aspekt wird ein Steuergerät beschrieben, das eingerichtet ist, ein gesteuertes Gerät zu bedienen. Das Steuergerät umfasst eine Kommunikationseinheit, die eingerichtet ist, über ein Netzwerk mit dem gesteuerten Gerät zu kommunizieren, und eine Eingabe/Ausgabeeinheit, die eingerichtet ist, ein Bild auszugeben und eine Betätigung eines mit dem Bild überlagerten Steuerfeldes zu erfassen. Außerdem umfasst das Steuergerät einen Prozessor, der eingerichtet ist, ein Bild einer Bedienschnittstelle für das gesteuerte Gerät zu ermitteln, wobei das Bild an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements der Bedienschnittstelle umfasst. Der Prozessor ist weiter eingerichtet, das Bild auf der Eingabe/Ausgabeeinheit auszugeben. Außerdem ist der Prozessor eingerichtet, das ausgegebene Bild an der ersten Position mit einen Steuerfeld für das physikalische Bedienelement zu überlagern, wobei das Steuerfeld mit einem Steuerbefehl für das gesteuerte Gerät assoziiert ist. Desweiteren ist der Prozessor eingerichtet, eine Betätigung des Steuerfeldes anhand der Eingabe/Ausgabeeinheit zu erfassen und in Reaktion auf die Bestätigung des Steuerfeldes, den Steuerbefehl an das gesteuerte Gerät zu senden. Gemäß einem weiteren Aspekt wird ein Software (SW) Programm beschrieben. Das SW Programm kann eingerichtet werden, um auf einem Prozessor (z.B. auf einem Prozessor eines elektronischen Steuergeräts) ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen. Gemäß einem weiteren Aspekt wird ein Speichermedium beschrieben. Das Speichermedium kann ein SW Programm umfassen, welches eingerichtet ist, um auf einem Prozessor ausgeführt zu werden, und um dadurch das in diesem Dokument beschriebene Verfahren auszuführen.
Es ist zu beachten, dass die in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systeme sowohl alleine, als auch in Kombination mit anderen in diesem Dokument beschriebenen Verfahren, Vorrichtungen und Systemen verwendet werden können. Desweiteren können jegliche Aspekte der in diesem Dokument beschriebenen Verfahren, Vorrichtung und Systemen in vielfältiger Weise miteinander kombiniert werden. Insbesondere können die Merkmale der Ansprüche in vielfältiger Weise miteinander kombiniert werden.
Im Weiteren wird die Erfindung anhand von Ausführungsbeispielen näher beschrieben. Dabei zeigen
Figur 1 ein beispielhaftes Netzwerk mit einer Vielzahl von gesteuerten elektrischen Geräten; Figur 2 ein beispielhaftes System zur Bereitstellung einer virtuellen Bedienschnittstelle für ein gesteuertes elektrisches Gerät;
Figur 3a eine beispielhafte Bedienschnittstelle eines gesteuerten Geräts; Figur 3b eine beispielhafte virtuelle Bedienschnittstelle für ein gesteuertes Gerät; und
Figur 4 ein Flussdiagramm eines beispielhaften Verfahrens zur Fernbedienung eines gesteuerten elektrischen Geräts. Wie eingangs dargelegt, befasst sich das vorliegende Dokument mit der effizienten Bereitstellung einer Benutzerschnittstelle für die Fernbedienung von ein oder mehreren vernetzten elektrischen Geräten in einem Haus. Diese Geräte werden in diesem Dokument auch als„gesteuerte Geräte" bezeichnet. Fig. 1 zeigt eine Vielzahl von elektrischen Geräten 103 insbesondere Haushaltsgeräten, in einem Haus (z.B. ein oder mehrere Herde, insbesondere Backherde, ein oder mehrere Waschmaschinen, ein oder mehrere Trockner, ein oder mehrere Spülmaschinen, etc.), die bevorzugt über ein Netzwerk 102 mit einem elektronischen Steuergerät 101 verbunden sind. Das Netzwerk 102 kann ein drahtloses und/oder ein drahtgebundenes Netzwerk umfassen. Beispielhafte drahtlose Netzwerke umfassen ein WLAN, ein UMTS und/oder ein LTE Netzwerk. Das elektronische Steuergerät 101 kann einen Tablet PC, ein Smartphone oder einen Laptop PC umfassen. Das elektronische Steuergerät 101 umfasst eine Eingabe/Ausgabeeinheit 104 (z.B. einen berührungsempfindlichen Bildschirm), die eingerichtet ist, bildliche Informationen auszugeben und Eingaben durch einen Nutzer zu erfassen. Desweiteren umfasst das elektronische Steuergerät 101 einen Prozessor, der eingerichtet ist, ein oder mehrere Softwareprogramme und/oder Instruktionen auszuführen. Insbesondere kann das elektronische Steuergerät 101 eingerichtet sein, anhand eines von dem Prozessor ausgeführten Bedienprogramms die Vielzahl von gesteuerten Geräten 103 über das Netzwerk 102 zu bedienen und/oder Statusinformationen bzgl. der Vielzahl von Hausgeräten 103 über das Netzwerk 102 zu beziehen. Desweiteren kann das elektronische Steuergerät 101 eingerichtet sein, mittels des Bedienprogramms auf einen externen Rechner (z.B. einen Server) 1 10 zuzugreifen. Der Rechner 1 10 kann eine Speichereinheit 1 1 1 umfassen, auf der Informationen bzgl. ein oder mehrerer der Vielzahl von gesteuerten Geräten 103 gespeichert sind.
Somit kann das in Fig. 1 dargestellte elektronische Steuergerät 101 dazu verwendet werden, ein oder mehrere der gesteuerten Geräte 103 zu steuern und/oder Statusinformationen bzgl. der ein oder mehreren gesteuerten Geräte 103 zu beziehen. Dazu kann das elektronische Steuergerät 101 ggf. auf den Rechner 1 10 zugreifen, um Informationen bzgl. der ein oder mehreren gesteuerten Geräte 103 zu beziehen. Alternativ oder ergänzend können derartige Informationen zumindest teilweise auf dem elektronischen Steuergerät 101 bereitgestellt werden. Wie bereits oben dargelegt, ist die Bereitstellung von einem einheitlichen Bedienprogramm für einen Vielzahl von unterschiedlichen gesteuerten Geräten 103 aufwändig. Desweiteren kann sich die Benutzerschnittstelle des Bedienprogramms erheblich von einer physikalischen Benutzerschnittstelle der gesteuerten Geräte 103 unterscheiden, was zu einer erschwerten Bedienung für einen Nutzer führt.
Fig. 2 veranschaulicht ein System, welches eine effiziente Bereitstellung einer virtuellen Benutzerschnittstelle für ein gesteuertes Gerät 103 ermöglicht. Das System umfasst einen optischen Sensor 200 (z.B. eine Kamera), der eingerichtet ist, ein Bild eines gesteuerten Geräts 103 zu erfassen. Insbesondere kann eine physikalische Benutzerschnittstelle 203 des gesteuerten Geräts 103 bildlich erfasst werden. Die Bildinformationen können über das Netzwerk 102 an das Steuergerät 101 übermittelt werden. Das übermittelte Bild kann in einem bestimmten Datenformat (z.B. Bitmap oder PNG, JPEG oder Livestream) bereitgestellt werden.
Das Steuergerät 101 kann eingerichtet sein, auf Basis der empfangenen Bildinformationen ein Bild der physikalischen Benutzerschnittstelle 203 über die Eingabe/Ausgabeeinheit 104 des Steuergeräts 101 auszugeben. Desweiteren kann das Steuergerät 101 eingerichtet sein, das Bild der physikalischen Benutzerschnittstelle 203 mit ein oder mehreren Steuerfeldern zu überlagern, um so eine virtuelle Benutzerschnittstelle 204 bereitzustellen, wobei eine Steuerung des gesteuerten Geräts 103 durch Eingaben an den ein oder mehreren Steuerfeldern ermöglicht wird. Mit anderen Worten, das Bild der physikalischen Benutzerschnittstelle 203 kann mit ein oder mehreren Augmented Reality Anwendungen überlagert werden, durch die eine Veränderung der Einstellungen des gesteuerten Geräts 103 ermöglicht wird.
Das Steuergerät 101 kann eingerichtet sein, das gesteuerte Gerät 103 zu identifizieren. Zu diesem Zweck kann das Steuergerät 101 z.B. die von dem optischen Sensor 200 erfassten Bildinformationen auswerten (z.B. durch geeignete Bildanalyseverfahren). Alternativ oder ergänzend kann in dem Steuergerät 101 ein Identifier für die ein oder mehreren gesteuerten Geräte 103 hinterlegt werden, welche durch das Steuergerät 101 ferngesteuert werden können. Desweiteren kann das gesteuerte Gerät 103 durch einen Nutzer identifiziert werden. Außerdem kann das gesteuerte Gerät 103 auf Basis einer ID des optischen Sensors 200 identifiziert werden, durch den das Bild der physikalischen Benutzerschnittstelle 203 bereitgestellt wird. Dabei kann auch eine Stellung (z.B. ein Winkel und eine Richtung) des gesteuerten Geräts 103 relativ zu dem optischen Sensor 200 berücksichtigt werden. Desweiteren kann das Steuergerät 1 10 eingerichtet sein, z.B. auf Basis der ID des optischen Sensors 200 und/oder der Stellungsinformationen zu erlernen, welches gesteuerte Gerät 103 vorliegt.
Die ein oder mehreren Steuerfelder und deren Positionen innerhalb der virtuellen Benutzerschnittstelle 204 können auf Basis des identifizierten gesteuerten Geräts 103 ermittelt werden. Beispielsweise können die ein oder mehreren Steuerfelder für unterschiedliche gesteuerte Geräte 103 auf dem zentralen Rechner 1 10 hinterlegt werden und von dem Steuergerät 101 bei Bedarf abgefragt werden.
Die ein oder mehreren Steuerfelder definierten dabei typischerweise nicht (oder nicht vollständig) die graphische Darstellung der einzelnen Bedienelemente der virtuellen
Benutzerschnittstelle 204. Dies ist auch nicht erforderlich, da die graphische Darstellung durch das Bild der physikalischen Benutzerschnittstelle 203 bereitgestellt wird.
Andererseits sind für die ein oder mehreren Steuerfelder Einstellmöglichkeiten definiert, die durch einen Nutzer an der virtuellen Benutzerschnittstelle 204 vorgenommen werden können. So kann in effizienter Weise eine virtuelle Benutzerschnittstelle 204 (auch als
Bedienschnittstelle bezeichnet) bereitgestellt werden, die optisch der physikalischen
Benutzerschnittstelle 203 des gesteuerten Geräts 103 entspricht.
Fig. 3a zeigt beispielhafte physikalischen Bedienelemente 303 einer physikalischen Benutzerschnittstelle 203. Insbesondere zeigt Fig. 3a einen Drehknopf bzw. Drehregler 303, der durch einen Nutzer gedreht werden kann, um Einstellungen des gesteuerten Geräts 103 direkt am gesteuerten Gerät 103 zu verändern. Beispielsweise können über den Drehknopf 303 unterschiedliche Programme eines Hausgeräts 103 ausgewählt werden. Desweiteren zeigt Fig. 3a eine Vielzahl von Druckknöpfen bzw. Tasten 303, die von dem Nutzer ein- bzw. ausgeschaltet werden können. Beispielsweise können über die Druckknöpfe 303 Optionen aktiviert bzw. deaktiviert werde. Desweiteren kann typischerweise über einen Druckknopf 303 ein Hausgerät 103 aktiviert bzw. deaktiviert werden. Fig. 3b zeigt entsprechende Steuerfelder 304 für die physikalischen Bedienfelder 303 aus Fig. 3a. Desweiteren zeigt Fig. 3b ein Bild 305 der physikalischen Bedienschnittstelle 203, welches innerhalb der virtuellen Bedienschnittstelle 204 angezeigt wird. Die Steuerfelder 304 befinden sich an den Positionen der entsprechenden physikalischen Bedienelemente 303. Typischerweise weisen die Steuerfelder 304 keine oder nur rudimentäre graphische Darstellungen auf (z.B. nur angedeutete Umrandungen), so dass die physikalischen Bedienelemente 303 weiterhin im Bild 305 sichtbar sind, und so dass die virtuelle Bedienschnittstelle 204 weitestgehend die gleiche optische Erscheinungsform aufweist wie die physikalische Bedienschnittstelle 203.
Für das in Fig. 3b dargestellte runde Steuerfeld 304 kann festgelegt sein, dass eine Kreisbewegung des Nutzers innerhalb des Steuerfeldes 304 zu einer Veränderung der Einstellungen des gesteuerten Geräts 103 führt. Insbesondere kann eine Kreisbewegung des Nutzers innerhalb des runden Steuerfeldes 304 wie eine entsprechende Drehbewegung des entsprechenden physikalischen Drehknopfes 303 interpretiert werden. Für die rechteckigen Steuerfelder 304 kann festgelegt sein, dass eine Drückbewegung des Nutzers innerhalb des Steuerfeldes 304 zu einer Veränderung der Einstellung des gesteuerten Geräts 103 führt. Insbesondere kann eine Drückbewegung des Nutzers innerhalb des rechteckigen Steuerfeldes 304 wie eine Drückbewegung auf den entsprechenden physikalischen Druckknopf 303 interpretiert werden.
Für ein gesteuertes Gerät 103 werden somit nur ein oder mehrere Steuerfelder 304 definiert und hinterlegt. Eine exakte virtuelle graphische Abbildung der physikalischen Benutzerschnittstelle 203 ist nicht erforderlich, da die bildlichen Informationen durch das Bild 305 der physikalischen Benutzerschnittstelle 203 bereitgestellt werden. Dies ermöglicht eine signifikante Reduzierung des Aufwands für die Bereitstellung einer virtuellen Benutzerschnittstelle 204. Außerdem kann so gewährleistet werden, dass die virtuelle Benutzerschnittstelle 204 mit der physikalischen Benutzerschnittstelle 203 übereinstimmt, und somit eine Fernbedienung des gesteuerten Geräts 103 für einen Nutzer erleichtert wird.
Das Steuergerät 101 ist weiter eingerichtet, eine Betätigung eines Steuerfeldes 304 innerhalb der virtuellen Bedienschnittstelle 204 durch einen Nutzer zu erfassen. Eine derartige Betätigung kann über die Eingabe/Ausgabeeinheit erfasst werden. Die Betätigung des Steuerfeldes 304 kann in einen Steuerbefehl für das gesteuerte Gerät 103 übersetzt werden. Beispielsweise kann eine Kreisbewegung in einem runden Steuerfeld 304 einem Steuerbefehl entsprechen, durch den eine Programmänderung eines gesteuerten Hausgeräts 103 bewirkt wird. Eine Drückbewegung in einem rechteckigen Steuerfeld 304 kann einem Steuerbefehl entsprechen, durch den eine Option eines gesteuerten Hausgeräts 103 aktiviert bzw. deaktiviert wird.
Der Steuerbefehl kann über das Netzwerk 102 an das gesteuerte Gerät 103 übermittelt werden und dann durch das gesteuerte Gerät 103 umgesetzt werden. So wird über das Steuergerät 101 in effizienter Weise eine Fernbedienung des gesteuerten Geräts 103 ermöglicht.
Die physikalischen Bedienelemente 303 des gesteuerten Gerätes 103 können Aktuatoren umfassen, durch die die Bedienelemente 303 bewegt werden können. Insbesondere kann mittels der Aktuatoren eine dem Steuerbefehl entsprechende Veränderung der Einstellung von ein oder mehreren Bedienelementen 303 durchgeführt werden. Diese Änderung der physikalischen Bedienschnittstelle 203 kann durch den optischen Sensor 200 erfasst werden, so dass der Nutzer die geänderten Einstellungen auf der virtuellen Bedienschnittstelle 204 sehen kann.
Alternativ oder ergänzend kann das Steuergerät 101 eingerichtet sein, in den ein oder mehreren Steuerfeldern 304 eine graphische Ausgabe zu erzeugen, durch die eine geänderte Einstellung des gesteuerten Geräts 103 dargestellt wird. So können auch bei Nichtvorhandensein von Aktuatoren an den physikalischen Bedienelementen 303 die geänderten Einstellungen auf der virtuellen Bedienschnittstelle 204 sichtbar gemacht werden.
Das in Fig. 2 dargestellte System ermöglicht es, ein oder mehrere elektrisch ansteuerbare Geräte 103 (z.B. ein Hausgerät oder ein Unterhaltungssystem) von einem zentralen Punkt aus (d.h. von dem Steuergerät 101 aus) anzusteuern und zu bedienen. Dabei wird das physikalische Bedienfeld 203 des gesteuerten Geräts 103 oder eine exakte Visualisierung des Bedienfelds 203 in Echtzeit auf dem Steuergerät 101 angezeigt und die Einstellungen über Augmented Reality auf dem Steuergerät 101 dargestellt. Über Augmented Reality Technologien kann auch eine Visualisierung der Eingabe vorgenommen und am Steuergerät 101 dargestellt werden. Nach einer Eingabe über das Steuergerät 101 können Steuerbefehle an die Steuerung des gesteuerten Gerätes 103 übermittelt und dort angewendet werden. Das Steuergerät 101 kann als Hub für einzelne gesteuerte Geräte 103 verwendet werden, um ein erhöhte Sicherheit bereitzustellen. Dabei kann das Steuergerät 101 auch mit integrierten Sicherheitsmodifikationen (z.B. Firewalls, etc.) ausgestattet sein. Die einzelnen gesteuerten Geräte 103 sind dann nicht direkt mit dem Internet verbunden (sondern über das zentrale Steuergerät 101 ).
Wie oben dargelegt, kann über ein Bild 305 der physikalischen Bedienschnittstelle 203 eines gesteuerten Geräts 103 eine ggf. unsichtbare Bedienmatrix (mit ein oder mehreren Steuerfeldern 304) für eine Touchfunktion gelegt werden, die die Interaktion für die einzelnen Funktionen gewährleistet. Sobald ein Nutzer auf einem Touchscreen 104 des Steuergeräts 101 eine entsprechende Aktion ausführt, wird diese auf das gesteuerte Gerät 103 übertragen und von diesem umgesetzt.
Ggf. kann das Bild 305 einer physikalischen Bedienschnittstelle 203 auf einer Speichereinheit hinterlegt sein (z.B. auf einer Speichereinheit 1 1 1 eines zentralen Rechners 1 10). Dieses vorgespeicherte Bild 305 kann dann (ohne Verwendung eines optischen Sensors 200) für die Erzeugung einer virtuellen Bedienschnittstelle 204 verwendet werden. Dies ermöglicht ggf. auch die Bereitstellung von gesteuerten Geräten 103, welche keine eigene physikalische Bedienschnittstelle 303 aufweisen. So können die Kosten von gesteuerten Geräten 103 reduziert werden.
Fig. 4 zeigt ein Flussdiagramm eines beispielhaften Verfahrens 400 zur Fernbedienung eines gesteuerten Geräts 103 mittels eines Steuergeräts 101. Das gesteuerte Gerät 103 kann insbesondere ein Hausgerät, z.B. einen Ofen, eine Spülmaschine, eine Waschmaschine, oder einen Trockner, umfassen. Das Steuergerät 101 kann ein Smartphone, ein Tablet PC oder einen Laptop PC umfassen. Das Steuergerät 101 ist über ein Netzwerk 102 mit dem gesteuerten Gerät 103 verbunden. Dabei kann das Netzwerk 102 insbesondere ein drahtloses Netzwerk umfassen. Das Steuergerät 101 und das gesteuerte Gerät 103 können somit örtlich voneinander getrennt sein, z.B. in unterschiedlichen Räumen eines Hauses.
Das Verfahren 400 umfasst das Ermitteln 401 eines Bildes 305 einer Bedienschnittstelle 203 für das gesteuerte Gerät 103. Das Bild 305 kann z.B. von einer Speichereinheit geladen werden und über einen Identifier des gesteuerten Geräts 103 identifiziert werden. Beispielsweise kann ein vorab gespeichertes Bild 305 einer physikalischen Bedienschnittstelle 203 des gesteuerten Geräts 103 von der Speichereinheit abgerufen werden. Dabei umfasst das Bild 305 an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements 303 zur Änderung einer Einstellung des gesteuerten Geräts 103.
Das Verfahren 400 umfasst weiter das Ausgeben 402 des Bildes 305 auf einer Eingabe/Ausgabeeinheit 104 des Steuergeräts 101 . Die Eingabe/Ausgabeeinheit 104 kann dabei insbesondere einen berührungsempfindlichen Bildschirm umfassen. Das Verfahren 400 kann umfassen, das Ermitteln, dass ein Nutzer an das Steuergerät 101 herantritt (dies kann z.B. durch einen IR Sensor und/oder durch einen Bewegungssensor ermittelt werden). Das Bild 305 der Bedienschnittstelle 203 kann dann erst in Reaktion darauf ausgegeben wird, dass ermittelt wird, dass ein Nutzer an das Steuergerät 101 herantritt. So kann ein Energieverbrauch des Steuergeräts 101 reduziert werden und/oder ein Bedienkomfort erhöht werden.
Außerdem umfasst das Verfahren 400 das Überlagern 403 des ausgegebenen Bildes 305 an der ersten Position mit einen Steuerfeld 304 für das physikalische Bedienelement 303. Mit anderen Worten, das ausgegebene Bild 305 kann an der ersten Position für Eingaben über die Eingabe/Ausgabeeinheit 104 aktiviert werden. Das Steuerfeld 304 für das physikalische Bedienelement 303 kann auf einer Speichereinheit gespeichert sein. Insbesondere kann ein Identifier des gesteuerten Geräts 103 ermittelt werden, und das Steuerfeld 304 kann dann auf Basis von dem Identifier des gesteuerten Geräts 103 ermittelt werden (z.B. von der Speichereinheit geladen werden). Das Steuerfeld 304 für das physikalische Bedienelement 303 ist dabei typischerweise mit einem Steuerbefehl zur Änderung der Einstellung des gesteuerten Geräts 103 assoziiert (d.h. das Steuerfeld 304 kann dazu verwendet werden, die gleiche Einstellung zu verändern, die auch durch das entsprechende physikalische Bedienelement 303 geändert werden kann.
Desweiteren umfasst das Verfahren 400 das Erfassen 404 einer Betätigung des Steuerfeldes 304 anhand der Eingabe/Ausgabeeinheit 104. Insbesondere kann dabei die Betätigung des Steuerfeldes 304 eine Berührung eines berührungsempfindlichen Bildschirms des Steuergeräts 101 an der ersten Position des ausgegeben Bildes 305 umfassen. Desweiteren kann in Reaktion auf die Bestätigung des Steuerfeldes 304, der Steuerbefehls an das gesteuerte Gerät 103 gesendet werden (Schritt 405). Somit kann eine Fernbedienung durch das Steuergerät 101 ermöglicht werden. Insbesondere wird so eine effiziente und flexible Fernbedienung ermöglicht, da durch die Überlagerung des Bildes 305 der Bedienschnittstelle 203 mit ein oder mehreren Steuerfeldern 304 in kosteneffektiver und flexibler Weise eine virtuelle Bedienschnittstelle 204 bereitgestellt werden kann.
Das Ermitteln 401 des Bildes 305 der Bedienschnittstelle 203 kann das Erfassen eines Bildes 305 einer physikalischen Bedienschnittstelle 203 des gesteuerten Geräts 103 mit einem optischen Sensor 200 (z.B. mit einer Bildkamera) umfassen. Das erfasste Bild 305 kann dann an das Steuergerät 101 übermittelt werden (z.B. in einem passiven Datenformat wie Bitmap, PNG oder JPEG). So kann gewährleistet werden, dass die optische Erscheinungsform der virtuellen Bedienschnittstelle 204 mit der optischen Erscheinungsform der physikalischen Bedienschnittstelle 203 übereinstimmt. Es kann somit die Fernbedienung für einen Nutzer erleichtet werden.
Das physikalische Bedienelement 303 der Bedienschnittstelle 203 kann ein oder mehrere Einstellungen des gesteuerten Geräts 103 ermöglichten. In entsprechender Weise kann typischerweise auch das Steuerfeld 304 für das physikalische Bedienelement 303 mit ein oder mehreren Steuerbefehlen assoziiert sein, die die ein oder mehreren gleichen Einstellungen des gesteuerten Geräts 103 bewirken. So kann eine Konsistenz zwischen physikalischer Bedienschnittstelle 203 und virtueller Bedienschnittstelle 204 gewährleistet werden.
Das physikalische Bedienelement 303 der Bedienschnittstelle 203 kann typischerweise durch eine bestimmte Bewegung eines Nutzers betätigt werden, um eine entsprechende bestimmte Einstellung des gesteuerten Geräts 103 zu bewirken. In entsprechender Weise kann das Steuerfeld 304 für das physikalische Bedienelement 303 mit der gleichen oder einer entsprechenden bestimmten Bewegung des Nutzers betätigt werden, um das Aussenden eines Steuerbefehls zu bewirken, durch den die entsprechende bestimmte Einstellung des gesteuerten Geräts 103 bewirkt wird. Beispielsweise kann das physikalische Bedienelement 303 einen Drehregler umfassen und das entsprechende Steuerfeld 304 kann durch eine kreisförmige Bewegung auf der Eingabe/Ausgabeeinheit 104 betätigt werden. Alternativ oder ergänzend kann das physikalische Bedienelement 303 eine Taste umfassen und das entsprechende Steuerfeld 304 kann durch eine Drückbewegung auf der Eingabe/Ausgabeeinheit 104 betätigt werden kann. Alternativ oder ergänzend kann das physikalische Bedienelement 303 einen Schieberegler umfassen und das entsprechende Steuerfeld 304 kann durch eine geradlinige Bewegung auf der Eingabe/Ausgabeeinheit 104 betätigt werden. So kann gewährleistet werden, dass ein Nutzer das gesteuerte Geräts 103 in gleicher Weise über die physikalische Bedienschnittstelle 203 und über die virtuelle Bedienschnittstelle 204 bedienen kann.
Ggf. kann auf der virtuellen Bedienschnittstelle 204 ein Steuerfeld für eine Bestätigung bereitgestellt werden. Durch ein derartiges zusätzliches Steuergeld kann eine vorgenommene Änderung von Einstellungen an der virtuellen Bedienschnittstelle 204 bestätigt werden, bevor entsprechende Steuerbefehle an das gesteuerte Gerät 103 gesendet werden. Dies kann insbesondere bei sicherheitsrelevanten Einstellungen (z.B. bei dem Blockieren einer Gaszufuhr) sinnvoll sein. Das gesteuerte Gerät 103 kann eine Vielzahl von physikalischen Bedienelementen 303 an unterschiedlichen Positionen der physikalischen Bedienschnittstelle 203 umfassen. Das ausgegebene Bild 305 umfasst dann für jede der Vielzahl von physikalischen Bedienelementen 303 eine graphische Darstellung an den entsprechenden unterschiedlichen Positionen. Jede der graphischen Darstellungen kann mit einem entsprechenden Steuerfeld 304 für das entsprechende Bedienelement 303 überlagert werden. So kann eine vollständige Abbildung der physikalischen Bedienschnittstelle 203 durch eine virtuelle Bedienschnittstelle 204 bewirkt werden.
Alternativ oder ergänzend können Voreinstellungen (z.B. Profile) angeboten und gespeichert werden. Durch eine gespeicherte Voreinstellung kann automatisch eine Kombination von Einstellungen an der virtuellen Bedienschnittstelle 204 vorgenommen werden und/oder entsprechende Steuerbefehle an das gesteuerte Gerät 103 gesendet werden. So können zeitaufwändige Einstellungen vereinfacht werden. Das Verfahren 400 kann weiter das Ausgeben einer graphischen Darstellung an der ersten Position des ausgegebenen Bildes 305 umfassen, wobei durch die graphische Darstellung eine durch den Steuerbefehl bewirkte Einstellungsänderung des gesteuerten Geräts 103 angezeigt wird. So kann gewährleistet werden, dass der Nutzer die geänderte Einstellung auf der virtuellen Bedienschnittstelle 204 wahrnehmen kann, auch wenn die geänderte Einstelllung nicht auf der physikalischen Bedienschnittstelle 203 angezeigt wird. Alternativ oder ergänzend kann bewirkt werden, dass durch ein oder mehreren Aktuatoren an dem gesteuerten Gerät 103 die geänderte Einstellung an ein oder mehreren physikalischen Bedienelementen 303 umgesetzt wird.
Das in diesem Dokument beschrieben Verfahren und System ermöglichen eine Vielzahl von Vorteilen. Insbesondere kann auf einem Steuergerät 101 die gleiche Bedienlogik wie auf einem gesteuerten Originalgerät 103 bereitgestellt werden. Dadurch muss sich ein Nutzer nicht umgewöhnen. Außerdem ist für die Bedienung keine zusätzliche App erforderlich. Desweiteren ist die beschriebene Lösung offen für eine Vielzahl von unterschiedlichen gesteuerten Geräten 103. Insbesondere können auch ältere Geräte 103 in einem vernetzten Haushalt verwendet und ferngesteuert werden. Das zentrale Steuergerät 101 kann als zentraler Bedienhub für alle Geräte 103 eines Haushalts verwendet werden, und so zu einer erhöhten Sicherheit beitragen. Beispielsweise kann das Steuergerät 101 auf einem Kühlschrank angeordnet sein.
Die vorliegende Erfindung ist nicht auf die gezeigten Ausführungsbeispiele beschränkt. Insbesondere ist zu beachten, dass die Beschreibung und die Figuren nur das Prinzip der vorgeschlagenen Verfahren, Vorrichtungen und Systeme veranschaulichen sollen.
Bezugszeichenliste
101 Steuergerät
102 (ggf. drahtloses) Netzwerk
103 gesteuertes Gerät
104 Eingabe/Ausgabeeinheit des Steuergeräts 101
1 10 externer Rechner
1 1 1 Speichereinheit des Rechners 1 10
200 optischer Sensor
203 physikalische Bedienschnittstelle
204 virtuelle Bedienschnittstelle
303 physikalisches Bedienelement
304 Steuerfeld
305 Bild einer physikalischen Bedienschnittstelle
400 Verfahren zur Fernbedienung eines gesteuerten Geräts 103
401 , 402, 403, 404, 405
Schritte des Verfahrens 400

Claims

PATENTANSPRÜCHE
Verfahren (400) zur Fernbedienung eines gesteuerten Geräts (103) mittels eines Steuergeräts (101 ), welches über ein Netzwerk (102) mit dem gesteuerten Gerät (103) verbunden ist; wobei das Verfahren (400) umfasst,
- Ermitteln (401 ) eines Bildes (305) einer Bedienschnittstelle (203) für das gesteuerte Gerät (103); wobei das Bild (305) an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements (303) zur Änderung einer Einstellung des gesteuerten Geräts (103) umfasst;
- Ausgeben (402) des Bildes (305) auf einer Eingabe/Ausgabeeinheit (104) des Steuergeräts (101 );
- Überlagern (403) des ausgegebenen Bildes (305) an der ersten Position mit einem Steuerfeld (304) für das physikalische Bedienelement (303); wobei das Steuerfeld (304) mit einem Steuerbefehl zur Änderung der Einstellung des gesteuerten Geräts (103) assoziiert ist;
- Erfassen (404) einer Betätigung des Steuerfeldes (304) anhand der Eingabe/Ausgabeeinheit (104); und
- in Reaktion auf die Bestätigung des Steuerfeldes (304), Senden (405) des Steuerbefehls an das gesteuerte Gerät (103).
Verfahren (400) gemäß Anspruch 1 , wobei das Ermitteln (401 ) des Bildes (305) der Bedienschnittstelle (203) umfasst,
- Erfassen eines Bildes (305) einer physikalischen Bedienschnittstelle (203) des gesteuerten Geräts (103) mit einem optischen Sensor (200); und
- Übermitteln des erfassten Bildes (305) an das Steuergerät (101 ). 3) Verfahren (400) gemäß Anspruch 2, wobei der optische Sensor (200) eine Kamera umfasst.
4) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei
- das physikalische Bedienelement (303) ein oder mehreren Einstellungen des gesteuerten Geräts (103) ermöglicht; und
- das Steuerfeld (304) für das physikalische Bedienelement (303) mit ein oder mehreren Steuerbefehlen assoziiert ist, die die ein oder mehreren Einstellungen des gesteuerten Geräts (103) bewirken.
5) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei
- das physikalische Bedienelement (303) durch eine bestimmte Bewegung eines Nutzers betätigt werden kann, um eine entsprechende bestimmte Einstellung des gesteuerten Geräts (103) zu bewirken; und das Steuerfeld (304) für das physikalische Bedienelement (303) mit der gleichen oder einer entsprechenden bestimmten Bewegung des Nutzers betätigt werden kann, um das Aussenden eines Steuerbefehls zu bewirken, durch den die entsprechende bestimmte Einstellung des gesteuerten Geräts (103) bewirkt wird. 6) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei
- das physikalische Bedienelement (303) einen Drehregler umfasst und das entsprechende Steuerfeld (304) durch eine kreisförmige Bewegung auf der Eingabe/Ausgabeeinheit (104) betätigt werden kann; und/oder
- das physikalische Bedienelement (303) eine Taste umfasst und das entsprechende Steuerfeld (304) durch eine Drückbewegung auf der Eingabe/Ausgabeeinheit (104) betätigt werden kann; und/oder - das physikalische Bedienelement (303) einen Schieberegler umfasst und das entsprechende Steuerfeld (304) durch eine geradlinige Bewegung auf der Eingabe/Ausgabeeinheit (104) betätigt werden kann. 7) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei
- die Eingabe/Ausgabeeinheit (104) einen berührungsempfindlichen Bildschirm umfasst; und - die Betätigung des Steuerfeldes (304) eine Berührung des berührungsempfindlichen Bildschirms an der ersten Position des ausgegeben Bildes (305) umfasst.
Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei
- das gesteuerte Gerät (103) eine Vielzahl von physikalischen Bedienelementen
(303) an unterschiedlichen Positionen einer physikalischen Bedienschnittstelle (203) umfasst; - das ausgegebene Bild (305) für jede der Vielzahl von physikalischen
Bedienelementen (303) eine graphische Darstellung umfasst; und
- jede der graphischen Darstellungen mit einem entsprechenden Steuerfeld
(304) für das entsprechende Bedienelement (303) überlagert wird.
9) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei das gesteuerte Gerät (103) ein Hausgerät, z.B. einen Ofen, eine Spülmaschine, eine Waschmaschine, oder einen Trockner, umfasst. 10) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, weiter umfassend,
- Ermitteln von einem Identifier des gesteuerten Geräts (103); und - Ermitteln des Steuerfeldes (304) auf Basis von dem Identifier.
1 1 ) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, weiter umfassend, - Ausgeben einer graphischen Darstellung an der ersten Position des ausgegebenen Bildes (305), durch die eine durch den Steuerbefehl bewirkte Einstellungsänderung des gesteuerten Geräts (103) angezeigt wird.
12) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei
- das Verfahren (400) weiter umfasst, das Ermitteln, dass ein Nutzer an das Steuergerät (101 ) herantritt; und
- das Bild (305) der Bedienschnittstelle (203) erst in Reaktion darauf ausgegeben wird, dass ermittelt wird, dass ein Nutzer an das Steuergerät
(101 ) herantritt.
13) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei das Netzwerk (102) ein drahtloses Netzwerk umfasst.
14) Verfahren (400) gemäß einem der vorhergehenden Ansprüche, wobei das gesteuerte Gerät (103) und das Steuergerät (101 ) örtlich voneinander getrennt sind.
15) Steuergerät (101 ), das eingerichtet ist, ein gesteuertes Gerät (103) zu bedienen, wobei das Steuergerät (101 ) umfasst,
- eine Kommunikationseinheit, die eingerichtet ist, über ein Netzwerk (102) mit dem gesteuerten Gerät (103) zu kommunizieren; - eine Eingabe/Ausgabeeinheit (104), die eingerichtet ist, ein Bild (305) auszugeben und eine Betätigung eines mit dem Bild (305) überlagerten Steuerfeldes (304) zu erfassen; und - einen Prozessor, der eingerichtet ist,
- ein Bild (305) einer Bedienschnittstelle (203) für das gesteuerte Gerät (103) zu ermitteln; wobei das Bild (305) an einer ersten Position eine graphische Darstellung eines physikalischen Bedienelements (303) der Bedienschnittstelle (203) umfasst;
- das Bild (305) auf der Eingabe/Ausgabeeinheit (104) auszugeben;
- das ausgegebene Bild an der ersten Position mit einen Steuerfeld (304) für das physikalische Bedienelement (303) zu überlagern; wobei das
Steuerfeld (304) mit einem Steuerbefehl für das gesteuerte Gerät (103) assoziiert ist;
- eine Betätigung des Steuerfeldes (304) anhand der Eingabe/Ausgabeeinheit (104) zu erfassen; und
- in Reaktion auf die Bestätigung des Steuerfeldes (304), den Steuerbefehl an das gesteuerte Gerät (103) zu senden.
PCT/EP2015/069270 2014-09-03 2015-08-21 Verfahren und vorrichtung zur zentralen bedienung von vernetzten elektrischen geräten in einem haus WO2016034441A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014217615.8A DE102014217615A1 (de) 2014-09-03 2014-09-03 Verfahren und Vorrichtung zur zentralen Bedienung von vernetzten elektrischen Geräten in einem Haus
DE102014217615.8 2014-09-03

Publications (1)

Publication Number Publication Date
WO2016034441A1 true WO2016034441A1 (de) 2016-03-10

Family

ID=54014800

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2015/069270 WO2016034441A1 (de) 2014-09-03 2015-08-21 Verfahren und vorrichtung zur zentralen bedienung von vernetzten elektrischen geräten in einem haus

Country Status (2)

Country Link
DE (1) DE102014217615A1 (de)
WO (1) WO2016034441A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017219260A1 (de) * 2017-10-26 2019-05-02 BSH Hausgeräte GmbH Steuerung eines Hausgeräts
DE102022213646B3 (de) 2022-12-14 2024-05-23 BSH Hausgeräte GmbH Demonstration eines Haushaltsgeräts

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004203A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법
US20110037609A1 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US20110138317A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller, method for operating the augmented remote controller, and system for the same
US20120293551A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated User interface elements augmented with force detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110004203A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법
US20110037609A1 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US20110138317A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller, method for operating the augmented remote controller, and system for the same
US20120293551A1 (en) * 2011-05-19 2012-11-22 Qualcomm Incorporated User interface elements augmented with force detection

Also Published As

Publication number Publication date
DE102014217615A1 (de) 2016-03-03

Similar Documents

Publication Publication Date Title
EP2710777B1 (de) Heimautomatisierungssteuerungssystem sowie verfahren zum steuern einer einrichtung eines heimautomatisierungssystems
EP3058427B1 (de) Verfahren und system zum fernbedienen einer werkzeugmaschine mittels eines mobilen kommunikationsgeräts
EP3084742B1 (de) Tragbare bedienvorrichtung zur fernsteuerung einer mehrzahl von haushaltsgeräten, system, entsprechendes verfahren und computerprogrammprodukt
EP3383598B1 (de) Manipulatorsystem und verfahren zur identifikation von bedienvorrichtungen
DE102011077572A1 (de) Verfahren zum Betreiben eines programmgesteuerten Haushaltsgeräts, Haushaltsgerät und System mit einem Haushaltsgerät
EP3189383A1 (de) Generisches bedienelement für vernetzte hausgeräte
DE102014007177A1 (de) System zum Steuern wenigstens eines Hausgerätes
WO2016034441A1 (de) Verfahren und vorrichtung zur zentralen bedienung von vernetzten elektrischen geräten in einem haus
US20160117086A1 (en) Method of setting user interface of remote control system
DE102013219053B4 (de) Verfahren zum Bereitstellen einer graphischen Benutzeroberfläche für einen Benutzer eines Haushaltsgeräts mittels eines tragbaren Kommunikationsendgeräts, Computerprogrammprodukt und tragbares Kommunikationsendgerät
EP3116167B1 (de) Raumsteuerung mittels smartphone-sensoren
DE102014210000A1 (de) Vorortbedienung von Geräten eines Installationsbuses
DE102013210525A1 (de) Gebäudeautomationssystem
DE102016124894B4 (de) Verfahren und Vorrichtung zum Erstellen einer Bedienoberfläche zum Bedienen eines Gebäudeautomationssystems mittels eines Reinigungsroboters, Reinigungsroboter und Gebäudeautomationssystem
EP3456005B1 (de) Mobiles kommunikationsgerät mit einer benutzerschnittstellendarstellung abhängig von einem an einer schnittstelle erfassten parameter
DE102014117117B3 (de) Verfahren zum Ansteuern wenigstens eines Aktors mit einem tragbaren Bedienteil
EP2634969A2 (de) Verfahren zum Betreiben eines Systems zur Heimautomatisierung sowie ein Heimautomatisierungssteuerungssystem
WO2016134935A1 (de) Verfahren und system zur projektion von information in einem raum
WO2015075031A1 (de) Verfahren zum zulassen, dass ein benutzer durch bedieneingaben an seiner kommunikationseinrichtung den betrieb von haushaltsgeräten fernsteuert und/oder fernüberwacht, sowie entsprechendes system
DE102015220830A1 (de) Haushaltsgerät
EP3701847A1 (de) Küchenmaschine und verfahren zum betrieb einer küchenmaschine
AT515724B1 (de) Benutzerkonfigurierbare Automatisierungsinstallation
DE102019207840A1 (de) Verfahren und System zur Autorisierung einer Prozessausführung
DE102015107143A1 (de) Verfahren und Vorrichtung zum Steuern zumindest eines Hausgerätes in einem Haushalt sowie System zur Gebäudeautomatisierung für einen Haushalt
DE102019200075A1 (de) Bedienelement

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15756883

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15756883

Country of ref document: EP

Kind code of ref document: A1